Nat Mach Intell | 隨機初始化為何讓模型“自信過頭”？

認知神經科學前沿文獻分享

基本信息

Title:Brain-inspired warm-up training with random noise for uncertainty calibration

發表時間:2026-04-09

發表期刊:Nature Machine Intelligence

獲取原文:

1. 添加小助手:PSY-Brain-Frontier即可獲取PDF版本

引言

對很多實際部署中的人工智能系統來說，真正決定能否被信任的，往往不只是“答得對不對”，還包括“它是否知道自己有多確定”。一輛自動駕駛汽車是否該減速，一套醫學影像模型給出的結論是否值得醫生進一步采納，乃至大語言模型生成的回答能否被直接引用，背后都牽涉同一個問題：模型給出的置信度，能不能真實反映它答對的概率。若二者不匹配，系統就可能在最不該自信的時候顯得異常篤定。

這正是不確定性校準（uncertainty calibration）要解決的核心問題。理想情況下，模型說自己有 80% 把握時，長期統計上就應當接近 80% 正確；但現實中的深度神經網絡經常不是這樣。它們在分布內數據上可能已經表現出“置信度高于正確率”的過度自信，面對分布外（out-of-distribution, OOD）輸入時也常把“沒見過”誤判成“很確定”。過去已有不少方法嘗試修正這一問題，但許多做法集中在預處理或后處理環節，往往依賴額外計算、輔助模型，或把分布內與分布外樣本分開處理。換句話說，這些方法更像是在輸出端補救，而不是追問失準究竟從哪里開始。

實驗設計與方法邏輯

文章的主分析對象是一個用于 CIFAR-10 十分類的多層前饋神經網絡，采用 He 初始化、ReLU 和 batch normalization，并系統改變網絡深度與訓練數據規模，以觀察校準誤差如何隨模型復雜度和樣本量變化。核心干預是在真實數據訓練前增加一段“隨機噪聲熱身”：輸入為與圖像同尺寸的高斯噪聲，標簽從均勻分布隨機采樣，輸入與標簽不配對。

核心發現

發現一：常規隨機初始化并非中性起點，而是過度自信的重要來源，且在“模型更復雜、數據更少”時更嚴重

論文先用 Figure 1c 和 Figure 1d 立住了問題本身。Figure 1c 的可靠性圖顯示，理想校準應貼近對角線，但實際網絡的 accuracy 普遍低于 confidence，說明模型在常見訓練設置下存在系統性過度自信。Figure 1d 更關鍵，它把這種偏差放到“網絡深度 × 訓練數據規模”的條件網格中考察，顯示 ECE 會隨著訓練樣本減少、模型復雜度提高而加重。也就是說，失準并不是零散現象，而與現代深度學習常見的“大模型配有限數據”條件密切相關。

Figure 1. Confidence miscalibration in artificial neural networks

發現二：隨機噪聲熱身能顯著改善校準，并在不同架構與訓練場景中保持效果

Figure 2 系統回答了這套方法是否真正有效。Figure 2d 顯示，在熱身階段，網絡損失下降但準確率停留在機會水平；而切換到真實數據后，熱身組的測試損失進一步降得更充分。更直接的證據來自 Figure 2e：加入熱身后，可靠性圖明顯更靠近理想對角線，插圖中的 ECE 也顯著下降。Figure 2f 則說明這種改善并非只在單一設定成立，而是在不同深度、不同數據規模下都能觀察到，且在“小數據、深網絡”這些本來更容易失準的條件下尤其明顯。

Figure 2. Warm-up training with random noise enables confidence calibration in neural networks

發現三：熱身之所以有效，是因為它先把初始化階段的高置信度與類別偏置壓回機會水平

論文最有價值的部分之一，是它沒有停在“方法有效”，而繼續追問“為什么有效”。Figure 3b 在二維 toy model 中可視化輸入空間后發現：未經訓練、只做常規隨機初始化的網絡，并不是均勻中性的，它已經在大片區域上表現出明顯高置信度；而熱身之后，這種分布變得更均勻，更接近機會水平。Figure 3c 和 Figure 3d 進一步表明，熱身不僅降低了整體 confidence bias，也減輕了對特定輸出類別的初始偏向。

Figure 3. Random noise pre-calibrates neural network uncertainty over input space

發現四：預校準會重塑后續學習軌跡，并提升對分布外輸入的識別能力

Figure 4 和 Figure 5 把方法的意義從“初始狀態改變”延伸到了“后續行為改變”。Figure 4a–c 顯示，無論是在相同準確率下比較，還是在相同訓練輪次下比較，熱身組都擁有更好的可靠性圖和更低的 ECE，說明這不是一次性修補，而是改變了學習動力學。Figure 4d–f 更進一步表明，熱身組在訓練過程中能讓 confidence 與 accuracy 持續貼近理想對角線，而未熱身組則長期存在“置信度跑在正確率前面”的偏差。

Figure 4. Pre-calibration enables learning with matching confidence and accuracy

Figure 5. OOD detection using calibrated network confidence

歸納總結和點評

這篇工作最強的貢獻，是把“不確定性校準”從常見的輸出修正問題，前移為一個初始化與學習動力學問題：作者認為，深度網絡的過度自信并非只在訓練后形成，常規隨機初始化本身就可能讓模型在尚未理解數據前先顯得“太確定”；而一次簡短的隨機噪聲熱身，則能把這種初始置信度預先拉回機會水平，使后續真實任務訓練中的 confidence–accuracy 對齊更穩定，并在分布外樣本識別上帶來收益。論文的優點在于證據鏈完整，從失準現象、方法效果，到 toy model 機制解釋，再到訓練軌跡與 OOD 檢測，形成了較清晰的閉環，也把發育神經科學中的自發活動與機器學習中的模型可靠性建立了有啟發性的聯系。與此同時，它的邊界也應被認真看待：文中雖已擴展到多類視覺架構，并補充展示了語言生成等任務線索，但關于更大規模系統、尤其是復雜現實部署和大語言模型場景的系統驗證，仍有待后續研究補足，因此目前更適合把它理解為一種有機制支撐的訓練起點策略，而非已經對所有 AI 系統普遍成立的最終答案。

請打分

這篇剛剛登上 Nature Machine Intelligence 的研究，是否實至名歸？我們邀請您作為“云審稿人”，一同品鑒。精讀全文后，歡迎在匿名投票中打分，并在評論區分享您的深度見解。

分享人：BQ

審核：PsyBrain 腦心前沿編輯部

你好，這里是「PsyBrain 腦心前沿」

專注追蹤全球認知神經科學的最尖端突破

視野直擊 Nature, Science, Cell 正刊 及核心子刊與頂級大刊

每日速遞「深度解讀」與「前沿快訊」

科研是一場探索未知的長跑，但你無需獨行。歡迎加入PsyBrain 學術社群，和一群懂你的同行，共同丈量腦與心智的無垠前沿。

點擊卡片進群，歡迎你的到來

一鍵關注，點亮星標 ? 前沿不走丟！

一鍵分享，讓更多人了解前沿