為什么光照對純視覺自動駕駛影響較大？

[首發于智駕最前沿微信公眾號]在自動駕駛的技術路線中，純視覺方案因其模仿人類駕駛邏輯與低廉的硬件成本，一直是很多車企的選擇。但這種高度依賴攝像頭的感知方式，在夜幕降臨、車輛駛入幽暗的隧道，或是遭遇強烈的逆光直射、漫天的雨雪濃霧時，感知能力會發生斷崖式下跌。為什么光照對純視覺自動駕駛影響較大？

被動感知的物理天花板

純視覺感知系統本質上是一個基于環境光反射的被動測量系統。這一特性的核心在于，攝像頭本身并不向外發射能量，它所獲取的所有信息都來源于外界光源，都是太陽、路燈或其他車輛的燈光照射到物體表面后反射回來的光子。

這種工作模式與人類的眼睛如出一轍，當環境光線充足且分布均勻時，攝像頭能夠捕捉到極為豐富的顏色、紋理和語義信息，這些信息對于識別交通標志、判斷路面標線以及理解復雜的交通意圖具有不可替代的優勢。但一旦光源缺失或光環境變得極端，被動感知的弊端便暴露無遺。

圖片源自：網絡

相比之下，激光雷達等有源傳感器則是“自帶手電筒的視覺”。激光雷達通過主動向外發射受控的激光脈沖，并接收從目標反射回來的能量，利用飛行時間原理直接計算物體的空間坐標。這種主動探測機制使得激光雷達在全黑的夜晚依然能維持極高的感知精度，且幾乎不受環境光干擾。

在低光照環境下，攝像頭傳感器面臨的首要挑戰是信噪比（SNR）的急劇下降。當光子稀少時，傳感器捕捉到的有效信號可能被電路產生的熱噪聲所淹沒。為了在黑暗中“看清”物體，系統必須延長曝光時間或增加感光度（ISO）。

延長曝光時間在動態駕駛場景中是極其危險的，因為車輛與目標的相對運動會導致圖像出現嚴重的運動模糊，使得原本清晰的目標輪廓變得如同虛影。

而盲目提高感光度則會引入大量隨機噪聲，使畫面充滿雜質，嚴重干擾后端神經網絡對物體特征的提取。這種在物理層面就已受損的“原始材料”，注定了純視覺方案在暗光下的步履維艱。

環境介質對光波的攔截與扭曲

自動駕駛車輛并不是在真空中行駛，光線從物體表面反射回攝像頭的過程中，必須穿過復雜的大氣環境。雨、雪、霧等惡劣天氣本質上是改變了光波的傳播路徑，通過散射、折射和吸收等物理現象，對視覺感知構成了多重封鎖。

霧氣對視覺的影響主要源于米氏散射（Mie Scattering）。霧滴的直徑通常與可見光的波長相當，當光波遇到這些微小水滴時，會向四面八方發生強烈的散射。

這種散射效應會產生兩個嚴重后果，一是光線在傳播過程中的強度迅速衰減，導致遠距離物體在圖像中消失；二是背景光和環境光被散射成了白茫茫的“幕簾”，大大降低了目標的對比度。

從信號處理的角度看，霧氣相當于在圖像上疊加了一個大尺寸的低通濾波器，濾除了大部分的高頻細節。神經網絡在處理這類圖像時，很難識別出被霧氣遮蔽的行人邊緣或車道線，這會導致識別置信度大幅下降，甚至完全漏檢。

圖片源自：網絡

雨天場景則會帶來另一個問題。下落的雨滴具有極高的透明度和特殊的幾何形狀，每一顆雨滴都像是一個微小的球形透鏡，會對穿過的光線產生折射和全反射。這會導致攝像頭捕捉到的畫面出現局部的扭曲和偽影。

更嚴重的問題發生在攝像頭表面的保護玻璃上，粘附的雨滴會造成大面積的畫面模糊。由于這些雨滴處于攝像頭的近焦位置，它們會形成嚴重的散焦，使畫面中的關鍵區域變得不可見。

在雪天環境下，視覺系統還會面臨對比度缺失與物理覆蓋的雙重考驗。雪花具有極高的光反射率，在強光照射下會導致圖像大面積過曝；而在陰天，白色的雪地與同樣色系的白色車輛、路標之間缺乏足夠的對比度，導致感知算法難以區分目標與背景。此外，粘滯的積雪可能會直接覆蓋在攝像頭鏡頭上，這種物理層面的“致盲”是任何軟件算法都無法挽回的。

這些物理層面的干擾直接挑戰了純視覺系統對空間幾何結構的建模能力。由于攝像頭無法像激光雷達那樣通過精確的脈沖返回時間來剝離環境噪聲，它必須在雜亂無章的像素點中通過概率預測來猜測物體的存在。在這種情況下，物理規律對光線的攔截，實際上切斷了視覺系統賴以生存的信息源。

圖像信號處理器，被忽視的信息損耗環節

即便光線成功穿透大氣并被攝像頭傳感器捕捉，從感光單元輸出的原始電信號（RAW數據）到最終進入自動駕駛大腦的彩色圖像（RGB圖像），中間還隔著一個復雜的環節，那就是圖像信號處理器（ISP）。

長期以來，車載ISP的調優目標都是為了服務于“人眼觀看”，即追求色彩鮮艷、對比度高、噪點少的視覺效果。但這種追求“美感”的處理流程，對于機器視覺算法來說，其實是一場災難。

ISP的處理流程包含去馬賽克、白平衡校正、去噪、伽馬校正和色調映射等多個階段。在低光照或高動態（HDR）場景下，ISP的副作用尤為明顯。為了抑制暗光下的噪點，ISP會采用強力的空間域或頻率域去噪算法。這些算法在抹除隨機噪聲的同時，也會無差別地抹掉微小的紋理細節，導致圖像呈現出一種“油畫感”。

對于人類駕駛員來說，這種平滑處理可能提升視覺舒適度，但對于依賴像素級特征梯度進行物體檢測的深度學習模型來說，這意味著丟失了判斷物體邊緣的關鍵高頻信息。

圖片源自：網絡

還有一個問題在于動態范圍的處理。自然界的亮度跨度可能超過140dB，而主流車載攝像頭傳感器的動態范圍一般在120dB左右。當車輛駛出黑暗隧道突然面對刺眼的陽光時，ISP必須在極短的時間內調整曝光參數。

傳統的HDR技術通過多幀曝光合成來實現高動態顯示，但這在高速行駛中會引入嚴重的運動偽影。由于不同曝光幀之間存在時間差，快速移動的物體在合成后的畫面中會出現重影或虛影，導致自動駕駛算法無法準確判斷物體的邊界位置。

此外，ISP執行的色調映射（Tone Mapping）和伽馬校正（Gamma Correction）本質上是一種非線性的信息壓縮過程。為了將傳感器捕獲的20位或24位高動態RAW數據映射到8位或10位的RGB空間，ISP會強行壓縮陰影和高光區域的對比度。

在這個過程中，原本在RAW域中清晰可辨的微小亮度差異被強行歸并為同一個像素值。這種數學上的不可逆損耗，會讓感知網絡失去在極端光影場景下進行“微秒級察覺”的可能性。

這種“人眼導向”與“機器導向”的錯位，是純視覺方案在極端場景下表現不佳的重要誘因。目前有技術方案正嘗試跳過傳統的ISP，直接利用RAW域數據進行端到端的物體檢測訓練，以保留光電傳感器的所有原始信息，這從側面證明了傳統處理流程在光影難題中的局限性。

深度學習在極端場景下的認知邊界

純視覺自動駕駛離不開深度學習算法，然而，基于卷積神經網絡（CNN）或Transformer的物體檢測模型，其性能高度依賴于訓練數據的分布。在面對光照顯著惡化的場景時，算法層面的“認知”也會出現嚴重的偏差。

神經網絡提取物體特征的基礎在于像素間的對比度梯度。在強逆光或夜間遠光燈直射的情況下，光線會產生嚴重的“眩光”和“溢出”（Blooming）效應。當一個極亮的點光源（如對向車的遠光燈）照射到傳感器上時，產生的電荷會溢出到相鄰的像素中，導致圖像中出現大面積的亮斑。

這種現象不僅遮蓋了障礙物本身的紋理，還徹底破壞了物體的幾何輪廓。當特征圖中的高頻分量由于過曝或極低亮度而消失時，卷積核將無法捕捉到有效的激活信號，導致系統在邏輯上“無視”了障礙物的存在。

圖片源自：網絡

此外，單目純視覺系統獲取深度的唯一途徑是依靠算法猜測。模型通過識別物體的類型，結合“近大遠小”的經驗值或路面紋理的變化來推算距離。但在光照極差的夜晚，路面紋理幾乎不可見，物體的視覺特征由于噪聲干擾而失真。

此時，算法的深度推算將變得極不穩定。即使系統識別出了前方有一個行人，也可能因為無法準確判斷其距離而導致緊急制動的決策失靈。在高速場景下，幾米的距離偏差就足以決定一場事故的發生。

還有一個更深層次的問題，目前的純視覺模型本質上是在進行一種“模式匹配”。當訓練數據集中99%的場景都是晴天、光照良好的公路時，模型會形成一種先驗偏見。

當它在夜間隧道口遇到由于劇烈光影交替而產生的怪異輪廓時，模型可能會將其錯誤地分類為不具威脅的陰影或路面雜質。這種對長尾場景（Edge Cases）的泛化能力缺失，是純視覺方案通往L4及以上自動駕駛時必須跨越的鴻溝。

最后的話

從被動感知的低信噪比，到大氣介質對光子的攔截，再到ISP處理中的數據裁剪，最后到神經網絡在特征缺失面前的認知無力，每一個環節都在累加純視覺自動駕駛感知的誤差。雖然隨著更大動態范圍傳感器的應用、端到端RAW域感知的引入以及跨模態訓練數據的補齊，純視覺方案的邊界正在不斷擴展，但其物理屬性決定的“光影死角”，依然是行業在平衡安全性與成本時必須慎重對待的核心議題。