激光雷達(dá)還能進(jìn)行色彩識(shí)別？

[首發(fā)于智駕最前沿微信公眾號(hào)]對(duì)于自動(dòng)駕駛來(lái)說(shuō)，激光雷達(dá)的重要性不言而喻，它能精確告訴系統(tǒng)物體在哪里、有多遠(yuǎn)，但在顏色識(shí)別上，它卻是個(gè)門外漢。之所以會(huì)出現(xiàn)這個(gè)問(wèn)題，主要是因?yàn)榧す饫走_(dá)工作在905納米或1550納米的近紅外頻段，這個(gè)波段超出了人類肉眼的可見(jiàn)范圍，自然也就無(wú)法直接感知紅、綠、藍(lán)等色彩信息。它輸出的是由無(wú)數(shù)個(gè)點(diǎn)構(gòu)成的三維坐標(biāo)圖，雖然這些點(diǎn)帶有反射強(qiáng)度信息，能區(qū)分出路面和標(biāo)線，但卻無(wú)法分辨紅綠燈的顏色，也看不出車身的漆面色彩。

就在最近，禾賽發(fā)布了全彩激光雷達(dá)，讓激光雷達(dá)也具備了色彩識(shí)別能力。小編查閱了網(wǎng)上的一些內(nèi)容，了解了下全彩激光雷達(dá)色彩識(shí)別的基本原理，今天就和大家一起來(lái)聊一聊，若是存在錯(cuò)誤之處，也歡迎大家評(píng)論區(qū)補(bǔ)充。

圖片源自：禾賽科技

為什么激光雷達(dá)看不見(jiàn)顏色？

激光雷達(dá)之所以是色盲，主要受制于其硬件架構(gòu)和物理特性。在過(guò)去，如果想要讓激光雷達(dá)擁有色彩，通用的辦法是拼湊。工程師會(huì)通過(guò)一個(gè)甚至多個(gè)攝像頭，先讓激光雷達(dá)畫出物體的輪廓，再讓攝像頭拍下照片，最后通過(guò)算法把照片上的顏色一張張貼到激光雷達(dá)的點(diǎn)云上，這個(gè)過(guò)程被稱為傳感器融合。

圖片源自：網(wǎng)絡(luò)

這種后期貼圖的方式雖然讓感知信息更加豐富，但在實(shí)際應(yīng)用中卻埋下了不少隱患。由于激光雷達(dá)和攝像頭的物理位置不同、數(shù)據(jù)更新的頻率不一致，再加上光線折射等物理因素，系統(tǒng)在高速運(yùn)動(dòng)或者光影劇烈變化的環(huán)境下，很難實(shí)現(xiàn)物理意義上的完全同步。這就好比一個(gè)后期配音的電影，如果音軌和畫面差了零點(diǎn)幾秒，觀眾會(huì)感到違和，而對(duì)于需要毫秒級(jí)反應(yīng)的自動(dòng)駕駛系統(tǒng)來(lái)說(shuō)，這種對(duì)不齊可能導(dǎo)致算法對(duì)物體性質(zhì)的誤判。

此外，后期融合非常吃算力。車載大腦需要花費(fèi)大量的計(jì)算資源去校準(zhǔn)兩套完全不同的數(shù)據(jù)流，試圖把它們強(qiáng)行按在同一個(gè)坐標(biāo)系里。這種繁瑣的處理邏輯，不僅增加了系統(tǒng)的延遲，也讓感知的可靠性打了一定折扣。

如何在一顆芯片上搞定空間與色彩？

全彩激光雷達(dá)其實(shí)是傳感器從物理組合進(jìn)化到了底層融合。其核心技術(shù)突破在于將接收激光回波的感光單元與接收可見(jiàn)光的色彩感應(yīng)單元，集成到了同一塊SPAD（單光子雪崩二極管）系統(tǒng)級(jí)芯片上。但想要實(shí)現(xiàn)色彩識(shí)別的功能，依舊是非常難的，因?yàn)樗笮酒饶懿蹲降綐O微弱的激光光子來(lái)計(jì)算飛行時(shí)間，又能像相機(jī)感光元件一樣感知不同波長(zhǎng)的可見(jiàn)光。

圖片源自：禾賽科技

要理解激光雷達(dá)如何實(shí)現(xiàn)彩色識(shí)別，首先得打破激光雷達(dá)只能發(fā)光的固有印象。在全彩激光雷達(dá)的芯片設(shè)計(jì)中，每一個(gè)探測(cè)單元其實(shí)更像是一個(gè)精密的小型實(shí)驗(yàn)室，它不再只盯著自己發(fā)出的那道激光回波，而是開(kāi)始同時(shí)留意環(huán)境中的自然光。這就像是在一個(gè)黑屋子里，你不僅通過(guò)手電筒閃爍的間隔來(lái)判斷墻壁的遠(yuǎn)近，還能通過(guò)眼睛分辨出那堵墻是紅色的還是藍(lán)色的。

1）每一個(gè)像素里到底藏著什么玄機(jī)？

實(shí)現(xiàn)彩色識(shí)別的第一步，是在傳感器底層的像素結(jié)構(gòu)上做加法。在傳統(tǒng)的芯片方案中，像素點(diǎn)只需要對(duì)特定波長(zhǎng)的近紅外激光產(chǎn)生反應(yīng)。但全彩激光雷達(dá)引入了類似數(shù)碼相機(jī)感光元件的設(shè)計(jì)思路，在同一個(gè)微小的芯片像素上，通過(guò)半導(dǎo)體工藝覆蓋了一層極薄的濾光膜。

這些濾光膜就像給感應(yīng)器戴上了三色濾鏡，分別允許紅光、綠光和藍(lán)光通過(guò)。這意味著，當(dāng)這個(gè)像素在接收激光脈沖返回信號(hào)來(lái)測(cè)量距離（也就是深度信息）的同時(shí)，它也能捕捉到來(lái)自這個(gè)點(diǎn)位的可見(jiàn)光光子。因?yàn)闇y(cè)距信號(hào)和色彩信號(hào)是共用同一個(gè)像素、同一套光路收集進(jìn)來(lái)的，這就保證了輸出的每一個(gè)三維坐標(biāo)點(diǎn)在誕生時(shí)就自帶了顏色屬性。這種物理層面的結(jié)合，讓數(shù)據(jù)從源頭就是高度統(tǒng)一的。

2）怎么讓距離和顏色在同一時(shí)刻各就各位？

全彩激光雷達(dá)最難的部分應(yīng)該是如何讓激光測(cè)距和色彩感應(yīng)互不干擾。激光雷達(dá)工作時(shí)發(fā)射的脈沖極快，屬于納秒級(jí)別，而環(huán)境色彩的采集則依賴于對(duì)自然光的積累。全彩激光雷達(dá)的核心芯片采用了單光子探測(cè)技術(shù)，這種技術(shù)極其靈敏，甚至能夠捕捉到單個(gè)光子的跳動(dòng)。它利用極高的采樣頻率，在激光脈沖往返的極短時(shí)間內(nèi)，劃分出不同的時(shí)隙。

芯片內(nèi)部的邏輯電路會(huì)把信號(hào)分成兩路處理，一路專門記錄激光脈沖從發(fā)射到回傳的時(shí)間差，用來(lái)?yè)Q算成物體的精確距離；另一路則負(fù)責(zé)統(tǒng)計(jì)在同一光軸上進(jìn)入的可見(jiàn)光光子數(shù)量，并根據(jù)濾光片的反饋計(jì)算出RGB數(shù)值。由于這兩項(xiàng)任務(wù)是在同一塊單光子雪崩二極管（SPAD）陣列上完成的，它們?cè)跁r(shí)間軸和空間位移上是絕對(duì)對(duì)齊的。這種設(shè)計(jì)徹底告別了過(guò)去那種激光雷達(dá)看形狀，攝像頭看顏色的拼接模式，避免了因?yàn)檐囕v顛簸或高速行駛導(dǎo)致畫面和輪廓對(duì)不齊的尷尬。

圖片源自：禾賽科技

3）為什么這種自帶顏色的能力如此重要？

從感知的邏輯來(lái)看，全彩激光雷達(dá)提供的不再是冷冰冰的幾何點(diǎn)，而是具有語(yǔ)義信息的視覺(jué)點(diǎn)云。在傳統(tǒng)的感知方案中，如果路面上突然出現(xiàn)一個(gè)五顏六色的彩色塑料袋，普通激光雷達(dá)可能只能探測(cè)到一個(gè)低矮的障礙物，無(wú)法判斷它的材質(zhì)。但全彩激光雷達(dá)能立刻通過(guò)色彩特征分析出它可能只是一個(gè)質(zhì)地輕盈的漂浮物。

這種能力在識(shí)別交通環(huán)境時(shí)非常重要。比如在復(fù)雜的十字路口，地面上不同顏色的導(dǎo)向箭頭、彩色施工護(hù)欄，或者是遠(yuǎn)處交通信號(hào)燈投射在物體表面的微弱光影，都能被這種全彩點(diǎn)云直接捕獲。對(duì)于后臺(tái)的自動(dòng)駕駛算法來(lái)說(shuō)，這相當(dāng)于減少了一個(gè)極其繁瑣的拼圖步驟。系統(tǒng)不需要再拿著攝像頭的圖像去和激光雷達(dá)的輪廓反復(fù)比對(duì)校準(zhǔn)，而是直接拿到了一張高清的、帶有深度信息的彩色三維實(shí)景圖。這種數(shù)據(jù)維度的增加，不僅提升了系統(tǒng)對(duì)周圍環(huán)境的理解深度，也極大地提高了感知任務(wù)的可靠性和實(shí)時(shí)性。這就好比我們從看一部配音電影，變成了看現(xiàn)場(chǎng)直播，所見(jiàn)即所得。

這種技術(shù)突破能改變什么？

當(dāng)激光雷達(dá)真正看到色彩后，自動(dòng)駕駛系統(tǒng)的感知能力會(huì)發(fā)生質(zhì)的飛躍。最直觀的改變體現(xiàn)在語(yǔ)義識(shí)別的精度上。在傳統(tǒng)的點(diǎn)云數(shù)據(jù)中，一個(gè)黑色塑料袋和一個(gè)黑色的水泥墩可能看起來(lái)差別不大，因?yàn)樗鼈兊男螤詈头瓷渎士赡鼙容^接近。但如果激光雷達(dá)自帶全彩視覺(jué)，算法就能瞬間識(shí)別出它們的材質(zhì)和色彩差異，從而做出更合理的避讓策略。

對(duì)于交通標(biāo)志和地面標(biāo)線的識(shí)別，全彩激光雷達(dá)也表現(xiàn)出極強(qiáng)的優(yōu)勢(shì)。很多時(shí)候，車道線的顏色（黃色或白色）或者交通指示牌的底色，對(duì)于理解交通規(guī)則至關(guān)重要。原生全彩數(shù)據(jù)讓系統(tǒng)不再需要去猜測(cè)顏色，而是直接獲取高清的彩色三維地圖。這不僅能顯著提高系統(tǒng)在復(fù)雜路口、施工區(qū)域的判斷準(zhǔn)確率，還能在夜間或強(qiáng)光直射等攝像頭容易致盲的場(chǎng)景下，通過(guò)激光和視覺(jué)信息的互補(bǔ)，提供更穩(wěn)健的感知冗余。

圖片源自：網(wǎng)絡(luò)

這種技術(shù)也極大地釋放了計(jì)算壓力。因?yàn)閿?shù)據(jù)在傳感器端就已經(jīng)完成了融合，車載計(jì)算機(jī)不再需要運(yùn)行復(fù)雜的融合對(duì)齊算法，可以將寶貴的算力投入到更高級(jí)的決策和規(guī)劃任務(wù)中。這種軟硬件一體化的趨勢(shì)，正在讓自動(dòng)駕駛的感知系統(tǒng)變得更加簡(jiǎn)潔和高效，讓其既能看清距離，也能讀懂世界的色彩。