自動(dòng)駕駛傳感器前融合與后融合技術(shù)上有何區(qū)別？

[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛技術(shù)飛速發(fā)展的今天，如何讓車輛像人類一樣感知周圍環(huán)境，一直是非常重要的話題。無(wú)論是攝像頭、激光雷達(dá)還是毫米波雷達(dá)，都存在各自的物理局限性，因此多傳感器融合技術(shù)成為非常重要的技術(shù)方向。

簡(jiǎn)單來(lái)說(shuō)，融合的目的就是將不同傳感器捕捉到的碎片化信息拼湊成一張完整且準(zhǔn)確的周圍世界地圖。而在實(shí)現(xiàn)這一目標(biāo)的過(guò)程中，行業(yè)內(nèi)逐漸分化出了兩種主要的路徑，即前融合與后融合。

傳感器融合有何區(qū)別？

自動(dòng)駕駛系統(tǒng)其實(shí)配備了多種感官。攝像頭擅長(zhǎng)識(shí)別顏色和紋理，能看清交通標(biāo)志和紅綠燈，但在強(qiáng)光或黑暗中表現(xiàn)不穩(wěn)定；激光雷達(dá)能提供精準(zhǔn)的三維空間坐標(biāo)，卻無(wú)法分辨顏色；毫米波雷達(dá)則對(duì)運(yùn)動(dòng)物體的速度極為敏感，且不受天氣影響，但分辨率較低。

圖片源自：網(wǎng)絡(luò)

多傳感器融合的本質(zhì)，就是把這些優(yōu)缺點(diǎn)互補(bǔ)的數(shù)據(jù)結(jié)合起來(lái)。

多傳感器融合的關(guān)鍵在于融合發(fā)生的時(shí)機(jī)。如果把這個(gè)過(guò)程比作做菜，后融合就像是每個(gè)廚師各自做了一道成品菜，最后擺在一起湊成一桌席；而前融合則是在下鍋之前，就把所有的食材根據(jù)配方切好、拌勻，直接烹飪成一道復(fù)合口味的大菜。

這兩種不同的處理方式，直接決定了系統(tǒng)對(duì)環(huán)境理解的深度和廣度。

殊途同歸的后融合方案

后融合在行業(yè)內(nèi)也被稱為目標(biāo)級(jí)融合，是自動(dòng)駕駛早期最為普遍的做法。在這種模式下，每一個(gè)傳感器都是一個(gè)獨(dú)立的決策單元。

攝像頭會(huì)獨(dú)立識(shí)別出前方的行人，激光雷達(dá)會(huì)獨(dú)立探測(cè)到一個(gè)障礙物，毫米波雷達(dá)也會(huì)測(cè)算出物體的速度。每個(gè)傳感器都先輸出自己認(rèn)定的探測(cè)結(jié)果，通常表現(xiàn)為一個(gè)帶有坐標(biāo)和類別標(biāo)簽的檢測(cè)框。

當(dāng)這些獨(dú)立的檢測(cè)結(jié)果被匯總到主處理器后，系統(tǒng)會(huì)根據(jù)一套邏輯來(lái)判斷它們是不是同一個(gè)物體。如果攝像頭和激光雷達(dá)在同一個(gè)位置都發(fā)現(xiàn)了一個(gè)物體，系統(tǒng)就會(huì)提高對(duì)這個(gè)目標(biāo)的信任度。

圖片源自：網(wǎng)絡(luò)

這種做法的好處顯而易見(jiàn)，由于每個(gè)傳感器各司其職，系統(tǒng)邏輯非常清晰，即便其中一個(gè)傳感器壞了，也不影響其他傳感器的正常工作，整個(gè)架構(gòu)的容錯(cuò)性和可擴(kuò)展性都很強(qiáng)。

后融合也存在一個(gè)致命的弱點(diǎn)，那就是嚴(yán)重的信息丟失。在每個(gè)傳感器獨(dú)立處理的過(guò)程中，為了降低計(jì)算量，就會(huì)過(guò)濾掉一些“看起來(lái)不重要”的原始數(shù)據(jù)。

這意味著，如果一個(gè)物體在單一傳感器的視野里特征不夠明顯，它可能在第一階段就被過(guò)濾掉了，等到最后匯總時(shí)，主處理器根本沒(méi)有機(jī)會(huì)看到這些被丟棄的關(guān)鍵細(xì)節(jié)，從而導(dǎo)致漏檢或誤判。

牽一發(fā)而動(dòng)全身的前融合

與后融合不同，前融合或者說(shuō)數(shù)據(jù)級(jí)/特征級(jí)融合走的是一條完全不同的路。它要求系統(tǒng)在感知階段的最開(kāi)始，就將各個(gè)傳感器獲取的原始數(shù)據(jù)或者提取出來(lái)的特征向量直接整合在一起。

此時(shí)，系統(tǒng)不再是看一個(gè)個(gè)獨(dú)立的檢測(cè)框，而是面對(duì)一個(gè)包含了色彩、深度、速度等多個(gè)維度的復(fù)合數(shù)據(jù)空間。

在前融合的架構(gòu)中，系統(tǒng)能夠保留最原始、最豐富的信息。由于沒(méi)有預(yù)先過(guò)濾，那些在單一傳感器中顯得模糊的信號(hào)，可能在結(jié)合了其他傳感器的數(shù)據(jù)后變得清晰起來(lái)。

圖片源自：網(wǎng)絡(luò)

如在光線極其微弱的情況下，攝像頭看到的可能只是模糊的陰影，但在疊加了激光雷達(dá)的點(diǎn)云信息后，系統(tǒng)就能迅速確認(rèn)那是一個(gè)行人的輪廓。這種深度整合極大地提升了系統(tǒng)在極限場(chǎng)景下的感知上限。

不過(guò)，前融合的實(shí)現(xiàn)難度也成倍增加。由于它對(duì)傳感器的空間和時(shí)間對(duì)齊要求極高。如果攝像頭的一幀圖像和激光雷達(dá)的一幀點(diǎn)云在時(shí)間上差了幾毫秒，或者在空間坐標(biāo)上差了幾厘米，強(qiáng)行融合就會(huì)導(dǎo)致識(shí)別出的物體出現(xiàn)重影或錯(cuò)位。

此外，前融合需要處理海量的原始數(shù)據(jù)，這對(duì)車輛車載芯片的算力和傳輸帶寬提出了巨大的挑戰(zhàn)。

哪種方案更勝一籌？

既然傳感器可以前融合，也可以后融合，那哪種方案更具優(yōu)勢(shì)？

其實(shí)在討論哪個(gè)技術(shù)更具優(yōu)勢(shì)時(shí)，并不能簡(jiǎn)單地一概而論。在很長(zhǎng)一段時(shí)間里，后融合憑借著架構(gòu)簡(jiǎn)單、對(duì)算力要求低以及易于調(diào)試的優(yōu)勢(shì)，占據(jù)了自動(dòng)駕駛落地的主流地位。它在傳感器性能和算力有限的階段，提供了最可靠的保障。

但隨著人工智能模型和高性能芯片的迭代，行業(yè)的天平正在向著前融合偏移。目前備受關(guān)注的鳥(niǎo)瞰圖（BEV）感知和占用網(wǎng)絡(luò)等技術(shù)，本質(zhì)上都是前融合思想的延伸。

圖片源自：網(wǎng)絡(luò)

這些技術(shù)通過(guò)將攝像頭、雷達(dá)的數(shù)據(jù)統(tǒng)一轉(zhuǎn)換到一個(gè)標(biāo)準(zhǔn)的三維空間坐標(biāo)系中進(jìn)行處理，不僅解決了單一傳感器看不清的問(wèn)題，還讓車輛學(xué)會(huì)了如何像人腦一樣，在腦海中實(shí)時(shí)構(gòu)建一個(gè)連貫的動(dòng)態(tài)環(huán)境。

總的來(lái)說(shuō)，后融合依然是目前許多量產(chǎn)車型實(shí)現(xiàn)輔助駕駛的基礎(chǔ)，因?yàn)樗€(wěn)定且低成本。但如果我們的目標(biāo)是實(shí)現(xiàn)更高級(jí)別的自動(dòng)駕駛，前融合所帶來(lái)的感知精度和魯棒性則是不可或缺的。未來(lái)或許在不同感知層級(jí)上進(jìn)行多重融合，既保留前融合的敏銳，又兼顧后融合的穩(wěn)健，從而讓自動(dòng)駕駛系統(tǒng)在各種復(fù)雜工況下都能做出正確的決策。