純視覺自動駕駛如何在夜晚感知場景？

[首發于智駕最前沿微信公眾號]在聊今天的話題前，先申明下，對于純視覺自動駕駛來說，夜晚確實是一個極具挑戰的場景，今天僅從技術實現上來討論純視覺自動駕駛在夜間感知場景的可能性。

很多老司機應該都會有感覺，那就是在黑夜里開車會感到吃力，這是因為我們的視網膜對光線的捕捉能力有限，而攝像頭在弱光環境下的表現也如出一轍。但隨著硬件技術和深度學習算法的爆發式增長，純視覺系統在黑夜里的視力已經發生了變化。

硬件層面是如何在黑夜里抓光的？

要解決夜晚感知的問題，首先得解決看得見的問題。車載攝像頭和我們手機里的攝像頭原理類似，但在底層邏輯上有著很大區別。為了在微弱的光線下獲取清晰的圖像，自動駕駛車輛會采用大底的CMOS傳感器。這些傳感器的單個像素點尺寸更大，意味著它們在同一時間內能接收到更多的光子。這就像用一個更大的桶去接雨水，在雨點稀疏的時候，大桶顯然比小桶能裝到更多的水，對應到夜間場景，單個像素點尺寸更大的傳感器也更能保證畫面的基礎亮度。

圖片源自：網絡

除了進光量，高動態范圍技術，也就是常說的HDR，也是純視覺方案在夜晚的護身符。夜晚的路面光影極其復雜，既有漆黑的暗巷，又有對面車輛射來的刺眼遠光燈。普通的相機如果照顧了暗部，亮部就會白成一片；如果照顧了亮部，暗部就漆黑無物。車載傳感器通過多重曝光技術，可在極短的時間內捕捉不同亮度的圖像并進行融合，確保在強光直射的情況下，系統依然能看清光暈背后的車牌，同時也能分辨出陰影里的行人。

不僅如此，車載攝像頭的光譜響應范圍也比人眼更寬。有些傳感器可以感知到微弱的紅外線。在完全沒有路燈的荒野，雖然肉眼看過去是一片死黑，但攝像頭依然能捕捉到物體反射出的細微光信號。這些原始數據被送入專門的圖像信號處理器進行降噪處理，把那些雜亂的噪點剔除，最終形成一張雖然色彩沒那么鮮艷、但輪廓和特征非常清晰的數字圖像。

神經網絡如何在大腦中腦補畫面？

有了高質量的畫面，接下來的核心挑戰在于如何看懂。在白天，路面特征明顯，AI識別車輛或車道線相對容易。但在夜晚，很多視覺特征會變得模糊甚至消失。這時，深度學習模型就發揮了巨大的作用。目前的算法不再是單純地尋找某個物體的邊緣，而是通過海量的數據訓練，讓神經網絡具備了極強的特征提取能力。哪怕只是一對模糊的尾燈，或者是一個在黑暗中晃動的陰影，經過大數據喂養出來的模型也能迅速判斷出那是一輛車還是一個推自行車的路人。

圖片源自：網絡

現在的算法還引入了時間維度的信息。純視覺系統并不是孤立地看每一張照片，而是把連續的視頻流作為輸入。如果前一秒系統在前方路口看到了一個行人，即使這一秒行人走到了沒有燈光的陰影里，算法也會根據他的運動矢量和歷史記錄，在系統的記憶中保留這個目標。這種基于時間序列的感知方式，大大彌補了瞬時視覺信號在極端環境下的缺失，讓車輛對環境的理解更具連貫性。

這種理解不僅僅是識別，還包括對環境光影變化的適應。算法會學習如何過濾路面反光、雨天積水的倒影以及復雜霓虹燈的干擾。通過不斷在大規模的夜間真實場景和仿真場景中迭代，神經網絡學會了在信噪比極低的情況下，依然能提取出最關鍵的駕駛信息。這就像一個經驗豐富的老司機，即使視線模糊，也能憑借經驗判斷出前方路面的坑洼和障礙物。

丟失的深度信息是如何找回來的？

純視覺方案經常被質疑的一點是，沒有激光雷達，如何在黑夜里判斷物體的距離？在白天，光照充足，畫面細節豐富，系統可以通過雙目視覺或單目測距算法獲得精確的深度。但在夜晚，畫面細節的丟失會讓深度估算變得困難。為了解決這個問題，目前的純視覺方案普遍轉向了BEV也就是鳥瞰圖視角。

圖片源自：網絡

在BEV框架下，系統會將多個攝像頭捕捉到的2D圖像實時轉換成3D空間信息。這一過程不再依賴簡單的幾何計算，而是通過Occupancy占用網絡等技術，將空間切分成一個個微小的方格。算法會判斷每一個方格是否被占據。即便攝像頭看不清物體的紋理，只要有一丁點光影的變化，系統就能感知到空間中存在一個體積塊。這種從識別物體到感知空間的轉變，讓純視覺系統在夜晚也具備了極強的空間建模能力。

為了進一步提升精度，這些系統還會結合車輛自身的運動狀態。當車輛行駛時，不同位置的攝像頭會從不同角度觀察同一個區域。通過這種多維度的交叉驗證，系統可以像構建3D地圖一樣，實時還原出車輛周圍的立體環境。這種方式不僅能測算出前車的距離，還能準確判斷路邊馬路牙子的高度、垂下的樹枝位置以及復雜的施工圍擋。

最后的話

純視覺系統解決夜晚感知的邏輯，其實是硬件抓光能力、大數據訓練出的理解力以及空間重構能力的綜合體現。它不再是單純地模擬人眼，而是利用硅基芯片的計算優勢和海量數據的記憶優勢，在黑暗中構建出一套比碳基生物更敏銳、更理性的感知邏輯。