原標(biāo)題：《看懂這顆激光雷達(dá)芯片，就看懂了索尼汽車》
索尼造車的底氣，都在傳感器上。
作者 | James
編輯 | 曉寒
索尼真要造車了？索尼在CES 2022發(fā)布會(huì)末尾一口氣展出了兩款概念車——一個(gè)是去年已經(jīng)露過(guò)面的純電轎車Vision-S，另一個(gè)則是嶄新的純電SUV Vision-S 02。與去年展示的概念車的內(nèi)外飾設(shè)計(jì)不同，今年索尼以視頻的形式著重展示了概念車型的智能座艙功能，比如UI設(shè)計(jì)細(xì)節(jié)，以及手勢(shì)交互、人臉識(shí)別等具體功能。
▲索尼推出的兩款概念車
活動(dòng)現(xiàn)場(chǎng)，索尼CEO吉田憲一郎還表示在2022年春季會(huì)成立索尼出行公司（Sony Mobility），專注于“探索電動(dòng)汽車業(yè)務(wù)的商業(yè)化”。
雖然索尼CEO沒(méi)有明說(shuō)是否會(huì)推出索尼牌的智能汽車，但上述表現(xiàn)顯然預(yù)示著索尼的汽車業(yè)務(wù)已是箭在弦上。
作為全球消費(fèi)電子和娛樂(lè)領(lǐng)域巨頭，索尼的影響力和地位有目共睹。但一個(gè)關(guān)鍵問(wèn)題是，索尼造車的底氣究竟在哪？
答案是傳感器。
早在2021年CES期間，索尼談到Vision-S時(shí)就表示，希望通過(guò)自身的CMOS傳感器、固態(tài)激光雷達(dá)、傳感器融合等成像、感知技術(shù)為消費(fèi)者帶來(lái)安全、可靠、舒適的出行體驗(yàn)。
2021年CES展出的Vision-S上有33個(gè)傳感器，其中大部分是索尼自研或使用了索尼的技術(shù)。今年CES上，傳感器數(shù)量升級(jí)到了40個(gè)。
這其中有一顆名為IMX459的SPAD（單光子雪崩二極管）激光雷達(dá)傳感器（激光接收芯片）。依托索尼的雙層圖像傳感器堆疊技術(shù)，激光雷達(dá)企業(yè)可以基于IMX459造出等效線數(shù)上千的超高清雷達(dá)，讓汽車看得更遠(yuǎn)、更清楚（300米的感知精度為15cm），并且還能以更快的速度計(jì)算出距離信息，生成3D點(diǎn)云圖像。
▲索尼IMX459
近幾年，激光雷達(dá)行業(yè)技術(shù)革新很快、雙棱鏡、MEMS、OPA、Flash、FMCW等各種技術(shù)路線不斷涌現(xiàn)，新產(chǎn)品層出不窮，但很多都還是圍繞光路設(shè)計(jì)做優(yōu)化——沒(méi)有從本質(zhì)上進(jìn)行升級(jí)。
索尼的IMX459顯然就突破了現(xiàn)在的創(chuàng)新困境，從最底層的激光接收和信號(hào)處理層面進(jìn)行徹底改變，為激光雷達(dá)行業(yè)發(fā)展提供了新的基礎(chǔ)。
IMX459只是索尼概念車上的四十分之一，如果其它39個(gè)傳感器也擁有類似的底層創(chuàng)新，再加上索尼在感知和自動(dòng)駕駛領(lǐng)域的投資布局，大法想造出來(lái)一臺(tái)智能電動(dòng)汽車根本不是問(wèn)題。
可以說(shuō)，看懂了IMX459，你就看懂了索尼造車的底氣。
1.采用SPAD技術(shù) 打造11萬(wàn)像素激光傳感器
激光雷達(dá)即將迎來(lái)大規(guī)模量產(chǎn)上車之時(shí)，索尼公布了首顆車規(guī)級(jí)激光雷達(dá)接收傳感器IMX459。這顆傳感器最亮眼之處有兩點(diǎn)，其一是采用對(duì)光感知更敏感的SPAD（單光子雪崩二極管）技術(shù)，其二是這顆傳感器的像素?cái)?shù)量達(dá)到了11萬(wàn)，這是當(dāng)前量產(chǎn)產(chǎn)品難以比擬的。
從結(jié)構(gòu)上看，這顆激光雷達(dá)接收傳感器共有兩層，上層采用了SPAD（單光子雪崩二極管）技術(shù)，用于感知反射進(jìn)傳感器的激光；下層則是邏輯芯片，使用直接飛行時(shí)間（D-ToF）技術(shù)，就能實(shí)現(xiàn)測(cè)距。在性能上，索尼在1/2.9英寸的傳感器面積下放進(jìn)了11萬(wàn)個(gè)SPAD像素，其分辨率為189x600，呈現(xiàn)出一個(gè)矩形區(qū)域。而每一個(gè)SPAD像素的尺寸僅為10微米x10微米。
▲IMX459分為上下兩層
說(shuō)到索尼IMX459的王牌，就是那11萬(wàn)像素的SPAD傳感器，它相較于傳統(tǒng)激光雷達(dá)傳感器共有兩大優(yōu)勢(shì)。其一是感光能力更強(qiáng)，也就是在使用相同激光發(fā)射端的情況下，SPAD傳感器能感知到更微弱的光，感知距離更遠(yuǎn)；其二是計(jì)算距離的延遲更低，索尼做到了6納秒。
要理解SPAD感光的邏輯，不得不提到照相機(jī)。數(shù)碼照相機(jī)CMOS上的一個(gè)個(gè)像素，通過(guò)接收大量光子，感知到光線強(qiáng)度，通過(guò)控制光子進(jìn)入的數(shù)量，最終實(shí)現(xiàn)正確的曝光并成像。
激光雷達(dá)傳感器的感光元件和數(shù)碼相機(jī)近似，每一個(gè)像素點(diǎn)需要進(jìn)入特定波長(zhǎng)的大量光子，才能形成激光雷達(dá)圖像，然后通過(guò)一顆計(jì)算芯片算出感知距離。
無(wú)論是數(shù)碼照相機(jī)還是激光雷達(dá)傳感器，進(jìn)光量都是“底大一級(jí)壓死人”，但車用激光雷達(dá)無(wú)論是成本還是體積都非常受限，一味比誰(shuí)底大并不是最優(yōu)的解決方案。而SPAD方案的興起，讓傳感器廠商找到了進(jìn)光量不足的另一路徑。
如果進(jìn)光量不足，加上有干擾光線進(jìn)入，激光雷達(dá)傳感器所成的像就會(huì)出現(xiàn)噪點(diǎn)。對(duì)于人類而言，一張照片中出現(xiàn)噪點(diǎn)，能通過(guò)智慧將噪點(diǎn)內(nèi)容“腦補(bǔ)”齊全。因此為激光雷達(dá)傳感器單獨(dú)配備一顆AI芯片，用于噪點(diǎn)、干擾光線處理就是路徑之一。不過(guò)，每經(jīng)過(guò)一次處理，都會(huì)產(chǎn)生一定時(shí)延，如果低時(shí)延的優(yōu)勢(shì)被慢慢磨去，自動(dòng)駕駛的安全性就會(huì)降低。
加入AI芯片做信號(hào)預(yù)處理雖然簡(jiǎn)單，但實(shí)際表現(xiàn)可能并不完美。
因此，如果能用微弱的進(jìn)光量“代表”其他光成像，不但能實(shí)現(xiàn)更低的延遲，而且通過(guò)成像能得到噪點(diǎn)更少的點(diǎn)云圖。
韓國(guó)科學(xué)技術(shù)研究院（KIST）新一代半導(dǎo)體研究所所長(zhǎng)張畯然在一篇文章中闡述了SPAD傳感器的工作原理。
▲不同類型圖像傳感器在接受光子照射時(shí)電子放大程度
“當(dāng)在SPAD上施加比擊穿電壓（breakdown voltage）更高的電壓時(shí)，會(huì)發(fā)生碰撞電離現(xiàn)象（Impact Ionization），巨大的電場(chǎng)（electric field）使載流子（carrier）加速運(yùn)動(dòng)并與原子碰撞，從而使原子中釋放的自由載流子數(shù)量急速增多。這種現(xiàn)象被稱為雪崩倍增（Avalanche Multiplication），會(huì)導(dǎo)致圖像傳感器點(diǎn)亮的光子產(chǎn)生大量自由載流子?！彼麑?xiě)道。
這就意味著即便激光發(fā)射單元發(fā)射的激光僅有少量反射回來(lái)，通過(guò)雪崩倍增現(xiàn)象傳感器仍舊能夠?qū)⒐庾哟罅吭黾?，并且識(shí)別為大量的光子。這就意味著，SPAD傳感器具有非常高的信噪比。
同時(shí)，SPAD在接收的光子數(shù)量極少的情況下就能完成成像，因此其“快門速度”可以做到非常短，提升感知幀率。
2.雙層芯片架構(gòu) 響應(yīng)速度遠(yuǎn)超現(xiàn)有產(chǎn)品
索尼除了將SPAD技術(shù)逐步推向量產(chǎn)之外，也使用了已經(jīng)打磨多年的一項(xiàng)技術(shù)——雙層圖像傳感器堆疊，這項(xiàng)技術(shù)能夠讓感知響應(yīng)速度更快。
在去年2月的一次演講中，索尼半導(dǎo)體公司高級(jí)經(jīng)理Oichi Kumagai對(duì)SPAD激光雷達(dá)傳感器的技術(shù)路線進(jìn)行了詳細(xì)介紹。
▲索尼IMX459結(jié)構(gòu)和單個(gè)SPAD傳感器
其中，邏輯電路放置在芯片底部，每一個(gè)像素尺寸為10微米*10微米。傳感器表面并非完全平整，索尼將每一個(gè)像素點(diǎn)做成了一個(gè)凸透鏡，從而能夠?qū)崿F(xiàn)更高的光折射率，提升激光的吸收效果。根據(jù)索尼的測(cè)試，這一激光雷達(dá)傳感器在使用905nm波長(zhǎng)的激光光源時(shí)，光子檢測(cè)效率能達(dá)到24%。
▲傳統(tǒng)激光雷達(dá)傳感器點(diǎn)云圖（左）SPAD傳感器點(diǎn)云圖（右）
此外，由于每一個(gè)SPAD像素都能與下方邏輯電路通過(guò)銅-銅（Cu-Cu）組件連接起來(lái)，因此只要光子進(jìn)入SPAD，就能經(jīng)過(guò)雪崩進(jìn)入邏輯電路。從感知到光子，到完成數(shù)字信號(hào)轉(zhuǎn)換，整個(gè)過(guò)程只需要6納秒，這一表現(xiàn)非常出色。索尼開(kāi)發(fā)了數(shù)字時(shí)間轉(zhuǎn)換器（TDC），直接能夠?qū)⒐庾语w行時(shí)間轉(zhuǎn)換為數(shù)值，不需要二次計(jì)算。
▲索尼IMX459光信號(hào)轉(zhuǎn)換電信號(hào)僅需6ns
國(guó)內(nèi)MEMS激光雷達(dá)廠商一徑科技的一位產(chǎn)品經(jīng)理談到，現(xiàn)在市面上其他技術(shù)路線的激光雷達(dá)接收傳感器的延遲已經(jīng)能做到比較低，從感知到生成深度數(shù)據(jù)，基本需要百納秒到幾微秒之間。
然而，索尼的IMX459則是更進(jìn)一步，相比此前最優(yōu)秀的產(chǎn)品，也有大幅提升。
IMX459采用直接飛行時(shí)間（D-ToF）的方式測(cè)距，張畯然在其文章中說(shuō)道，當(dāng)光子進(jìn)入時(shí)，SPAD陣列會(huì)發(fā)射數(shù)字脈沖（Digital Pulse），因此更容易跟蹤光飛時(shí)間。不僅如此，SPAD還能捕捉精確的時(shí)差，因此具有精確的深度分辨率（depth resolution），精確程度甚至可以達(dá)到毫米級(jí)別。
▲索尼IMX459實(shí)際測(cè)試
然而，采用D-ToF方式測(cè)距帶來(lái)了一個(gè)問(wèn)題，那就是感知距離短。例如，近兩年在iPhone和iPad上采用的激光雷達(dá)，就采用D-ToF方式測(cè)距，其感知距離大概僅有5米。對(duì)一款移動(dòng)設(shè)備來(lái)說(shuō)，5米的感知距離絕對(duì)夠用，但對(duì)自動(dòng)駕駛來(lái)說(shuō)5米不可用。
SPAD技術(shù)再一次體現(xiàn)了它的優(yōu)勢(shì)，在同樣的激光發(fā)射功率下，SPAD傳感器僅需微弱的光，也能完成成像，并且其效率不輸傳統(tǒng)傳感器硬件。
▲索尼IMX459在不同條件下的性能表現(xiàn)
索尼還公布了其產(chǎn)品在不同溫度環(huán)境下的性能，其中光子探測(cè)效率在-40攝氏度時(shí)為14%，隨著溫度增加探測(cè)效率不斷上升，超過(guò)50攝氏度后能達(dá)到20%以上，當(dāng)溫度達(dá)到125攝氏度時(shí)，探測(cè)效率有所下降。
響應(yīng)時(shí)間上的表現(xiàn)更出色，當(dāng)在-25攝氏度時(shí)，響應(yīng)時(shí)間為7納秒，為最慢響應(yīng)時(shí)間，其他溫度條件下的響應(yīng)時(shí)間還要更快。
3.上千線激光雷達(dá)不是夢(mèng) 行業(yè)已有先行者
對(duì)于激光雷達(dá)行業(yè)來(lái)說(shuō)，SPAD技術(shù)可以說(shuō)是革命性的。主要體現(xiàn)在兩點(diǎn)，第一是激光雷達(dá)等效線數(shù)能夠?qū)崿F(xiàn)大幅度提升，第二是點(diǎn)云處理的步驟可以逐漸淡化。
目前，業(yè)內(nèi)主流傳感器方案是APD（雪崩光電二極管），隨著技術(shù)發(fā)展，SiPM（硅光電倍增管）和SPAD正在進(jìn)入激光雷達(dá)領(lǐng)域。
▲不同激光雷達(dá)技術(shù)路線（來(lái)自O(shè)ichi Kumagai演講）
在相機(jī)行業(yè)中，佳能已經(jīng)能做到100萬(wàn)像素的SPAD傳感器，并且利用SPAD響應(yīng)更快的優(yōu)點(diǎn)，實(shí)現(xiàn)精準(zhǔn)的距離測(cè)量。未來(lái)，激光雷達(dá)接收傳感器能夠像相機(jī)一樣，實(shí)現(xiàn)“像素”數(shù)量不斷增加。一旦像素?cái)?shù)量倍增，激光發(fā)射端可以做更高的線數(shù)，從而實(shí)現(xiàn)更精準(zhǔn)的深度信息感知。
▲佳能100萬(wàn)像素SPAD相機(jī)傳感器
這樣的提升將是APD、SiPM等技術(shù)路線難以匹敵的。
激光雷達(dá)還有一大難點(diǎn)就是點(diǎn)云處理，傳統(tǒng)點(diǎn)云處理需要一顆芯片實(shí)時(shí)處理計(jì)算。隨著線數(shù)、頻率、角分辨率的提升，計(jì)算設(shè)備所需算力越來(lái)越大，此時(shí)還想保證低延遲輸出，并且和視覺(jué)傳感器融合就會(huì)愈加困難。
然而，SPAD傳感器能夠直接輸出光子計(jì)數(shù)，并且輸出飛行時(shí)間，能夠輕松輸出深度圖像。
正因?yàn)檫@兩點(diǎn)原因，索尼等SPAD傳感器供應(yīng)商如果能實(shí)現(xiàn)高像素SPAD傳感器量產(chǎn)，就能夠改變整個(gè)行業(yè)。
實(shí)際上，索尼并非業(yè)內(nèi)首家使用SPAD技術(shù)的傳感器廠商。已經(jīng)實(shí)現(xiàn)量產(chǎn)，明年即將上車的ibeoNEXT激光雷達(dá)，其傳感器就采用了SPAD技術(shù)。
▲ibeonEXT
與ibeo公司合作并推動(dòng)激光雷達(dá)量產(chǎn)上車的亮道智能，對(duì)這顆傳感器有深刻理解。亮道智能一位資深工程師認(rèn)為，SPAD技術(shù)是純固態(tài)激光雷達(dá)技術(shù)路線上非常重要的技術(shù)架構(gòu)之一。
與此同時(shí)，行業(yè)內(nèi)還有多種測(cè)距技術(shù)路線，但這些技術(shù)短期內(nèi)還無(wú)法達(dá)到量產(chǎn)節(jié)點(diǎn)。
據(jù)了解，ibeoNEXT除了能夠輸出X、Y、Z的三維坐標(biāo)信息，還能夠利用能量信息顯示環(huán)境圖像。這個(gè)能量信息圖與人們常見(jiàn)的黑白照片/視頻類似，可以和激光雷達(dá)的點(diǎn)云信息配合同步輸出。最后，配合車上的攝像頭等其他傳感器，就能夠形成信息冗余。
不過(guò)，ibeoNEXT的像素點(diǎn)僅有10240個(gè)，相比索尼IMX459的11萬(wàn)相差很遠(yuǎn)。即便索尼用3*3進(jìn)行感知，其分辨率仍然更高。根據(jù)前文的分析，像素?cái)?shù)量越多，所成的像越清晰，也就是索尼IMX459能實(shí)現(xiàn)更清晰的成像，這才是激光雷達(dá)更重要的意義。
實(shí)際上，除了索尼基于SPAD做激光雷達(dá)傳感器之外，相機(jī)廠商佳能也正在布局SPAD傳感器，并且做出了100萬(wàn)像素的CMOS產(chǎn)品。
4.結(jié)語(yǔ)：索尼加速智能汽車布局
2020年的CES消費(fèi)電子展上，索尼推出了其電動(dòng)汽車Vision S，標(biāo)志著索尼開(kāi)始布局智能電動(dòng)汽車。2022年CES上，索尼推出Vision S-02，進(jìn)一步加碼智能電動(dòng)汽車。
同時(shí)，索尼多年來(lái)影像傳感器、娛樂(lè)系統(tǒng)、聲學(xué)等領(lǐng)域的布局，在智能汽車時(shí)代將有更廣闊的發(fā)展前景。索尼在此時(shí)布局智能汽車正當(dāng)其時(shí)，正在加速汽車智能化實(shí)現(xiàn)。
