用AI訓練AI：亞馬遜Nova的評委模型實踐

強化微調（RFT）正在成為大語言模型對齊的主流方法，但一個悖論始終存在：誰來評判AI的輸出質量？亞馬遜Nova團隊選擇讓另一個AI來當評委——這不是偷懶，而是因為人類標注根本跟不上模型迭代的速度。

這篇技術文檔揭示了RLAIF（基于AI反饋的強化學習）的完整落地路徑。我逐條拆解了他們的設計決策，發現其中不少反直覺的選擇。

為什么需要AI當評委

傳統RFT依賴可驗證獎勵函數（RLVR），用代碼硬編碼評分規則。比如檢查輸出是否包含特定關鍵詞，或格式是否符合JSON標準。這種方法在數學、代碼等確定性任務上有效，但遇到開放性問題時立刻失效。

RLAIF的核心洞察在于：當獎勵信號模糊且難以手工設計時，讓語言模型自己來評判。一個LLM評委可以跨維度推理——正確性、語氣、安全性、相關性——捕捉靜態獎勵函數無法編碼的細微差別。

更關鍵的是可解釋性。RLVR給你的是一個數字分數，RLAIF給你的是理由："回答A引用了同行評審的研究"。這種診斷能力直接加速了迭代周期，讓團隊能定位具體的失效模式。

亞馬遜Nova的實踐驗證了這個路徑。他們用RLAIF處理那些"難以用代碼表達好壞"的場景，比如創意寫作、對話安全性和復雜推理任務。

兩種評委架構的選擇困境

文檔明確區分了兩種評估模式，這個選擇會影響后續所有設計。

第一種是偏好型評判（Preference-based）。評委模型同時看到兩個候選回答，輸出哪個更好。這適合相對質量判斷，比如"回答A比回答B更禮貌"。

第二種是評分型評判（Rubric-based）。評委按預設維度逐項打分，輸出結構化評估。這適合絕對質量判斷，比如"這個回答在事實準確性上得8分，在簡潔性上得6分"。

亞馬遜的推薦很明確：評分型評判優先使用布爾值（通過/不通過），而非1-10的細粒度量表。他們的內部測試顯示，布爾評分顯著降低了評委模型的變異性——同一個回答被不同次評估時，結果更穩定。

這個反常識的選擇背后是對LLM評委固有噪聲的認知。細粒度量表放大了模型的不確定性，而二元判斷強制評委做出明確承諾。

提示工程的具體寫法

文檔給出了偏好型評委的提示模板，不是抽象原則，是可以直接復制的結構：

「優先引用權威來源的回答，使用易懂的語言，并直接回應用戶問題。」

三個要素缺一不可：來源可信度、表達可及性、任務相關性。亞馬遜強調要用具體示例填充每個維度，而非泛泛描述"高質量"。

評分型評委的維度設計更有講究。每個評估維度必須有明確的通過/失敗標準，且維度之間要互斥——一個回答不能同時在"過于簡短"和"過于冗長"上得分模糊。

這里有個陷阱：維度過多會導致評委注意力分散。文檔建議初始版本控制在3-5個核心維度，后續根據錯誤分析逐步擴展。

訓練流程的工程細節

RLAIF的訓練循環與標準RFT類似，但獎勵信號的生成成本更高。每次策略模型（policy model）生成回答后，需要調用評委模型進行評分，這個調用延遲直接影響了訓練吞吐。

亞馬遜的優化策略包括：評委模型批量推理、緩存常見查詢模式的評分、以及評委模型的小型化——用70B參數模型評判，而非405B。

另一個關鍵決策是評委模型的凍結策略。在RLAIF中，評委模型通常保持固定，不參與策略模型的同步更新。這避免了"評委漂移"：如果評委和策略同時訓練，策略可能學會 exploit 評委的特定偏見，而非真正提升質量。

文檔提到一個驗證指標：評委-人類一致性（judge-human agreement）。定期采樣評委的評分決策，與人工標注對比，低于閾值時需要重新校準評委提示或更換評委模型版本。

失效模式的識別清單

基于Nova團隊的實踐，RLAIF的典型失敗有以下幾種：

評委過度關注表面特征。比如把"包含專業術語"等同于"高質量"，導致策略模型輸出晦澀難懂的回答。

維度權重失衡。如果"安全性"維度的失敗懲罰遠高于"有用性"，策略模型會傾向于拒絕回答，以規避任何風險。

評委自身的立場偏見。某些評委模型對特定話題有系統性傾向，需要通過對抗性測試提前暴露。

亞馬遜的解決方案是建立評委診斷儀表板：可視化各維度的評分分布、策略模型的改進軌跡、以及評委-人類一致性的歷史趨勢。

RLVR與RLAIF的混合策略

文檔最務實的部分是對兩種方法的整合建議。并非所有任務都需要RLAIF的靈活性，也并非所有任務都能承受RLAIF的計算開銷。

亞馬遜采用分層獎勵：先用RLVR進行快速過濾（格式檢查、關鍵詞匹配），只有通過初篩的回答才進入RLAIF的精細評估。這種級聯結構將評委模型的調用量減少了60%以上。

另一個混合場景是多評委集成。對關鍵任務，同時運行規則型評委和LLM評委，最終獎勵為加權組合。當兩者沖突時觸發人工復核，這些案例成為改進評委提示的寶貴素材。

為什么這件事值得跟進

RLAIF的本質是把"對齊"從工程問題轉化為產品問題。評委模型的設計直接編碼了產品的價值判斷：什么是好的回答？什么風險不可接受？什么風格代表品牌調性？

亞馬遜Nova的文檔證明，這套方法已經從研究概念落地為可復現的工程實踐。他們的布爾評分、維度互斥、評委凍結等決策，都是踩過坑后的經驗壓縮。

對于正在構建AI產品的團隊，這意味著：你不需要等待完美的自動評估指標，可以用現有模型快速搭建評委原型，通過迭代提示而非重新訓練來優化對齊效果。評委模型的版本管理，將成為模型運維（MLOps）的新標準組件。