隨著人們對(duì)自動(dòng)駕駛車(chē)輛的興趣不斷增加，通往自動(dòng)駕駛的道路顯然是用路標(biāo)鋪就的，例如增加先進(jìn)駕駛輔助系統(tǒng)(ADAS)的部署。圖像傳感器是這些基于攝像機(jī)的系統(tǒng)的基礎(chǔ)，好比車(chē)輛的眼睛。隨著后視攝像頭和360度環(huán)視系統(tǒng)的出現(xiàn)，它們令司機(jī)能看到車(chē)后和車(chē)輛周?chē)?，使駕駛更安全，此外，用前視攝像頭系統(tǒng)感知什么在車(chē)輛前面，提供幫助防止碰撞的自動(dòng)功能。政府機(jī)構(gòu)出臺(tái)的法規(guī)和新車(chē)評(píng)估計(jì)劃(NCAP)等安全評(píng)級(jí)推動(dòng)汽車(chē)攝像頭的迅速采用，促使汽車(chē)制造商在他們的汽車(chē)平臺(tái)上引入這些系統(tǒng)，從豪華車(chē)型到大眾市場(chǎng)車(chē)型。因此，根據(jù)日本市場(chǎng)研究公司Techno Systems Research的數(shù)據(jù)，全球每年生產(chǎn)的汽車(chē)攝像頭數(shù)量從2013年(4700萬(wàn)臺(tái))到2017年(1.1億臺(tái))翻了一番多，將在2024年超過(guò)2億臺(tái)。
 
此外，360度環(huán)視系統(tǒng)基于在車(chē)輛兩側(cè)安裝四個(gè)攝像頭，為駕駛員提供低速停車(chē)和操縱優(yōu)勢(shì)，攝像頭還可用以提供車(chē)道偏離警告和盲點(diǎn)檢測(cè)等功能，在需要換車(chē)道之前提醒駕駛員。攝像頭甚至被用來(lái)取代車(chē)鏡，以攝像頭監(jiān)控系統(tǒng)(CMS)的形式，這種系統(tǒng)令駕駛員在車(chē)內(nèi)的顯示器上看到傳統(tǒng)的側(cè)視鏡視野，而無(wú)盲點(diǎn)，同時(shí)無(wú)需外部車(chē)鏡(因?yàn)檩爡^(qū)可以放寬車(chē)鏡要求法規(guī))-這對(duì)燃油經(jīng)濟(jì)性和工業(yè)設(shè)計(jì)都有很大的優(yōu)勢(shì)。同時(shí)，前視攝像頭系統(tǒng)不僅用于向駕駛員顯示視頻，還檢測(cè)在車(chē)輛前面發(fā)生了什么，以提供額外的安全和方便特性。這些系統(tǒng)可通過(guò)自動(dòng)緊急制動(dòng)來(lái)避免碰撞，當(dāng)檢測(cè)到車(chē)輛路徑上突然的障礙物時(shí)，可以使汽車(chē)停下來(lái)，并通過(guò)自適應(yīng)巡航控制為駕駛員提供幫助，這在公路行車(chē)條件下，特別是在交通擁擠的情況下是非常有用的。
 
傳感器考量

雖然所有這些應(yīng)用都用圖像傳感器作為攝像機(jī)的核心器件，但它們通常對(duì)一些參數(shù)有不同的要求，如圖像質(zhì)量、分辨率和傳感器大小，不一而足。例如，用于向駕駛員顯示圖像的攝像機(jī)(例如后視攝像機(jī))所需的圖像質(zhì)量可能不同于用于感知的前視攝像機(jī)所需的圖像質(zhì)量，后者結(jié)合算法以提供自動(dòng)緊急制動(dòng)ADAS功能。同樣，實(shí)現(xiàn)特定顯示格式的圖像傳感器所需的分辨率將與計(jì)算機(jī)視覺(jué)應(yīng)用所需的分辨率不同，后者需要對(duì)于一個(gè)對(duì)象的精確的最小像素?cái)?shù)用于算法，才能正確檢測(cè)和識(shí)別它，直接轉(zhuǎn)換為對(duì)傳感器分辨率的要求。
 
在前視攝像頭系統(tǒng)中，計(jì)算機(jī)視覺(jué)算法利用圖像傳感器輸出來(lái)檢測(cè)行人、車(chē)輛和物體并作出決策，需要對(duì)通過(guò)數(shù)千小時(shí)的測(cè)試駕駛獲得的一系列圖像進(jìn)行訓(xùn)練，這是一個(gè)成本非常高的做法。需要使用與在生產(chǎn)中推出的系統(tǒng)相同的系統(tǒng)來(lái)收集這些圖像，并且需要在收集此數(shù)據(jù)集之前設(shè)置圖像質(zhì)量。這種圖像質(zhì)量的調(diào)整和開(kāi)發(fā)需要工程人員結(jié)合傳感器工作，并通過(guò)適當(dāng)?shù)淖詣?dòng)曝光和自動(dòng)白平衡技術(shù)來(lái)控制它，以便隨著場(chǎng)景條件的變化自動(dòng)輸出最優(yōu)圖像。然后使用這些捕獲的圖像進(jìn)行訓(xùn)練的計(jì)算機(jī)視覺(jué)算法不能隨后在由具有不同特性或調(diào)諧的圖像傳感器組成的攝像機(jī)上運(yùn)行，因?yàn)樗鼈円堰m應(yīng)于識(shí)別給定數(shù)據(jù)集的配置文件?？蓴U(kuò)展的圖像傳感器平臺(tái)提供相同的性能和相似的特性，具有不同的分辨率，大大減少了制造商在多個(gè)平臺(tái)上工作所需的工作量和成本，因?yàn)樗鼈儗?shí)際上可以重用工程開(kāi)發(fā)工作和圖像的訓(xùn)練數(shù)據(jù)集。 
 
成像挑戰(zhàn)

在考慮任何汽車(chē)成像系統(tǒng)時(shí)，圖像傳感器的性能和捕捉大范圍場(chǎng)景內(nèi)容或動(dòng)態(tài)范圍的能力是一個(gè)關(guān)鍵參數(shù)。動(dòng)態(tài)范圍衡量傳感器能捕獲到的場(chǎng)景對(duì)比度，或者簡(jiǎn)單地說(shuō)，它能很好地處理相同的場(chǎng)景中非常明亮的區(qū)域和黑暗區(qū)域或陰影。這是汽車(chē)攝像頭一個(gè)常見(jiàn)的問(wèn)題，當(dāng)您考慮在傍晚太陽(yáng)落至地平線下時(shí)，汽車(chē)將在地下通道下行駛。如果傳感器的動(dòng)態(tài)范圍太低，可能會(huì)忽略場(chǎng)景中的關(guān)鍵細(xì)節(jié)，從而導(dǎo)致駕駛員或計(jì)算機(jī)視覺(jué)算法沒(méi)有注意到場(chǎng)景中的對(duì)象，從而導(dǎo)致不安全的狀況。
 
制造商現(xiàn)在必須處理的另一方面是在交通標(biāo)志以及汽車(chē)前照燈和尾燈中越來(lái)越多的使用發(fā)光二極管(LED)，這增加了汽車(chē)成像的挑戰(zhàn)。LED照明通常采用脈寬調(diào)制(PWM)控制：LED以不同的占空比開(kāi)關(guān)，以控制光的強(qiáng)度和省電，速度太快，人眼無(wú)法感知。但是，雖然我們的眼睛不能感知這些燈光的閃爍，但是圖像感應(yīng)器通常會(huì)捕獲到LED開(kāi)關(guān)時(shí)的。這意味著圖像傳感器輸出在顯示為視頻時(shí)將顯示此閃爍效果。這是我們不想要的，可能會(huì)帶來(lái)安全問(wèn)題-和使事情更加復(fù)雜，在車(chē)輛或交通標(biāo)志中使用脈沖LED的頻率沒(méi)有標(biāo)準(zhǔn)。對(duì)于帶有計(jì)算機(jī)視覺(jué)算法的前視攝像頭，閃爍效應(yīng)意味著交通標(biāo)志可能會(huì)被誤讀或完全漏掉，而對(duì)于CMS或后視攝像頭等視覺(jué)應(yīng)用，它會(huì)讓駕駛員分心和困惑。
 
把這個(gè)場(chǎng)景放到背景中，想象一個(gè)含高亮度源的場(chǎng)景，比如地平線下的太陽(yáng)，還有一些看起來(lái)更暗的細(xì)節(jié)，比如路邊的行人在附近一棵樹(shù)的樹(shù)蔭下。為捕獲這一高動(dòng)態(tài)范圍的場(chǎng)景，常見(jiàn)的圖像傳感器將通過(guò)使用較短的曝光時(shí)間來(lái)補(bǔ)償場(chǎng)景的明亮部分，以避免場(chǎng)景的飽和和溢出。在同一場(chǎng)景中出現(xiàn)脈沖光源(如汽車(chē)LED大燈)的情況下，用于捕獲場(chǎng)景明亮細(xì)節(jié)的短曝光時(shí)間將導(dǎo)致圖像傳感器捕獲大燈實(shí)際關(guān)閉時(shí)的一個(gè)幀。雖然它隨后將合并多個(gè)曝光以輸出高動(dòng)態(tài)范圍圖像，但在明亮的日光場(chǎng)景中，以上述方式部分或全部曝光將忽略LED，并導(dǎo)致前照燈出現(xiàn)閃爍。如果延長(zhǎng)曝光時(shí)間，試圖在LED打開(kāi)時(shí)捕獲到場(chǎng)景，那么被強(qiáng)光照射的場(chǎng)景中的部分會(huì)被過(guò)度曝光，大大縮小動(dòng)態(tài)范圍，丟失細(xì)節(jié)，最終導(dǎo)致圖像質(zhì)量無(wú)法接受。
 
高動(dòng)態(tài)范圍和減少LED閃爍

解決這一問(wèn)題的方案是能夠在單個(gè)幀內(nèi)實(shí)現(xiàn)更大的動(dòng)態(tài)范圍的一種圖像傳感器，以便能夠以足夠長(zhǎng)的曝光時(shí)間捕獲明亮區(qū)域，在“開(kāi)啟”期間捕獲到脈沖光源，而不會(huì)過(guò)度曝光場(chǎng)景。安森美半導(dǎo)體的Hayabusa?汽車(chē)圖像傳感器平臺(tái)以一種使能超級(jí)曝光（Super-Exposure）的創(chuàng)新的像素技術(shù)成功地解決了這一問(wèn)題。這項(xiàng)技術(shù)采用了一種創(chuàng)新的設(shè)計(jì)和工藝，能夠在傳感器內(nèi)存儲(chǔ)更多的電荷，使曝光時(shí)間在達(dá)到飽和前比目前汽車(chē)中使用的相同尺寸的傳統(tǒng)圖像傳感器長(zhǎng)五倍。通過(guò)這種像素技術(shù)，Hayabusa?圖像傳感器實(shí)現(xiàn)了120 dB以上的高動(dòng)態(tài)范圍成像，同時(shí)減少LED閃爍。
 
該方案的一部分在于構(gòu)造Hayabusa?超級(jí)曝光像素.通過(guò)一種新的設(shè)計(jì)和制造工藝，每個(gè)背照式3.0微米像素存儲(chǔ)了來(lái)自入射光的100,000多個(gè)電荷電子，這大大超過(guò)了相同像素大小的傳統(tǒng)CMOS圖像傳感器提供的20,000個(gè)電子。這導(dǎo)致單個(gè)超級(jí)曝光捕獲95分貝的動(dòng)態(tài)范圍，涵蓋了大部分場(chǎng)景，而Hayabusa傳感器能添加第二個(gè)非常短的曝光，通過(guò)捕獲場(chǎng)景中最亮的部分，將動(dòng)態(tài)范圍擴(kuò)大到超過(guò)120 dB。
 
為了在保持高動(dòng)態(tài)范圍輸出的同時(shí)實(shí)現(xiàn)抑制LED閃爍的效果，超級(jí)曝光可被限制為足夠長(zhǎng)的時(shí)間來(lái)捕獲場(chǎng)景中所期望的最低頻率脈沖LED的整個(gè)周期：如果我們考慮為90 Hz，相當(dāng)于約11毫秒的曝光時(shí)間(在此期間，LED可能只在該時(shí)間的1/10或更短的時(shí)間內(nèi)打開(kāi))。傳感器有100,000個(gè)電子電荷的容量，可曝光這么長(zhǎng)時(shí)間，而不丟失明亮區(qū)域的細(xì)節(jié)，同時(shí)捕獲LED “打開(kāi)” 的脈沖信號(hào)。其次，較短的曝光時(shí)間結(jié)合一個(gè)專(zhuān)有的片上算法，確保擴(kuò)大動(dòng)態(tài)范圍，同時(shí)保留超級(jí)曝光捕獲的含脈沖LED的場(chǎng)景中的區(qū)域，通過(guò)二次曝光以防止它們被丟失。因此，傳感器能夠捕獲場(chǎng)景中超過(guò)120分貝的動(dòng)態(tài)范圍，同時(shí)保留由脈沖LED組成的區(qū)域，采用一般的傳感器時(shí)這些脈沖LED看來(lái)像是在閃爍。這一現(xiàn)實(shí)性能使Hayabusa平臺(tái)成為開(kāi)發(fā)要求高動(dòng)態(tài)范圍的、減少LED閃爍的汽車(chē)攝像頭的最佳方案，而且由于該平臺(tái)中的所有產(chǎn)品都具有相同的性能，制造商可以在器件之間任意轉(zhuǎn)換，并且能夠重用大部分的工程工作以及用于從其中一個(gè)傳感器訓(xùn)練算法的數(shù)據(jù)。
           
總結(jié)

Hayabusa平臺(tái)的符合車(chē)規(guī)的圖像傳感器涵蓋從100萬(wàn)像素到500萬(wàn)像素分辨率，可擴(kuò)展，并為制造商提供用于各種不同應(yīng)用的配置選項(xiàng)。該平臺(tái)的首款器件AR0233AT，是一款260萬(wàn)像素的傳感器，同時(shí)具有高動(dòng)態(tài)范圍和抑制LED閃爍能力，以每秒60幀的速度生成1080p視頻。
 
一個(gè)圖像傳感器平臺(tái)成功地解決了汽車(chē)成像領(lǐng)域的兩大主要技術(shù)挑戰(zhàn)，同時(shí)也解決了制造商的實(shí)際問(wèn)題。通過(guò)創(chuàng)建一個(gè)平臺(tái)，以一系列器件提供一致的性能和表現(xiàn)，開(kāi)發(fā)人員可充分利用數(shù)千小時(shí)的場(chǎng)景數(shù)據(jù)進(jìn)行算法培訓(xùn)，以在不同的車(chē)輛上部署類(lèi)似的ADAS功能，使用最適合該應(yīng)用的圖像傳感器。這使得他們能夠以最少的工作量將高端的、高分辨率系統(tǒng)和具性?xún)r(jià)比的低分辨率系統(tǒng)部署到不同的車(chē)輛平臺(tái)上。Hayabusa圖像傳感器平臺(tái)的功能將顯著地幫助制造商推進(jìn)其ADAS產(chǎn)品，從而為消費(fèi)者帶來(lái)更多的選擇，但更重要的是為更多的駕駛員配備將提升駕駛員和行人道路安全的系統(tǒng)。