RouteMoA：無需預推理的動態路由，實現高效多智能體混合

本篇論文已被 ACL 2026 接收，主要作者來自上海交通大學自動化與感知學院 IWIN 中心團隊。團隊負責人為關新平教授，指導老師為陳彩蓮教授和樂心怡教授，合作作者還包括南洋理工大學陶大程教授。其他作者來自騰訊、上海人工智能實驗室、香港中文大學等機構。第一作者王驥澤為上海交通大學博士生，研究方向為大模型智能體。

近年來，大語言模型的發展，正在從 “單模型能力提升” 走向 “多模型協作”。這是一個很自然的方向：既然不同模型各有所長，有的擅長數學，有的擅長代碼，有的更懂醫學，那為什么不讓它們協同起來，共同解決更復雜的問題？

Mixture-of-Agents（MoA）正是在這樣的背景下提出的。它通過讓多個模型并行生成、逐層交互、反復融合，往往能夠得到比單一模型更強的結果。問題也很明顯：性能提升的同時，成本和延遲也隨之迅速上升。

在標準 MoA 中，每一輪通常都要調用多個模型，再基于它們的輸出進行篩選和融合。但究竟該讓哪些模型參與、哪些模型可以跳過，往往缺乏明確的選擇機制。模型越多、層數越深，整體開銷就越高，在大規模模型池場景下，系統效率和可擴展性都會面臨很大挑戰。

也正因如此，研究者開始嘗試讓 MoA 變稀疏。例如，一些方法如 Sparse MoA 會先讓模型池中的所有模型生成回答，再通過額外的評審模型進行打分和篩選，只保留一部分模型進入后續協作。這樣雖然減少了后續融合的負擔，但本質上仍然繞不開一個問題：為了決定該選誰，系統還是得先讓所有模型都推理一遍。

于是，這篇工作的核心問題就變得非常直接：我們真的需要先讓所有模型都回答一遍，才能決定該選誰嗎？

• 論文標題：RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents
• 論文鏈接：https://arxiv.org/abs/2601.18130
• 代碼鏈接：https://github.com/Jize-W/RouteMoA

一句話總結：RouteMoA 的核心思想是，通過在推理前進行模型能力預測，避免對所有模型進行無效推理。

現有方法的問題：

效率瓶頸不在融合，而在全量推理

當前 MoA 系列方法的一個共同假設是：要判斷哪個模型更好，必須先看到它的輸出。因此，無論是經典 MoA，還是引入 judge 的 Sparse MoA，本質上都繞不開一個步驟：所有模型先推理 -> 再篩選 -> 再融合。

這帶來兩個問題：

第一，計算成本無法下降。即使最后只用少數模型，前面已經為所有模型付出了推理代價。

第二，難以擴展到大模型池。當模型數量增加時，全量推理會迅速變得不可承受，甚至超出上下文限制。

也就是說，瓶頸并不在 “如何選”，而在 “選之前已經太貴了”。

RouteMoA：

把 “選模型” 前移到推理之前

RouteMoA 的關鍵創新，是把模型選擇從 “后驗判斷” 變成 “先驗預測 + 輕量修正”。

整個流程可以分為三個步驟：

1. 先驗篩選：不推理，也能判斷誰更可能做對

RouteMoA 引入了一個輕量級 scorer，只根據用戶 query，就預測每個模型的潛在表現。這個過程不需要調用大模型推理，只做一個粗粒度打分，把模型池縮小到一個潛力子集。本質上，這是在做一件過去被忽略的事情：用 query 本身的信息，提前判斷模型能力匹配度。

2. 后驗修正：用已有輸出做低成本評審

初篩不可避免會有誤差，因此 RouteMoA 引入了 mixture-of-judges：

• self-assessment：模型對自己的答案打分
• cross-assessment：高質量模型評估其他模型
• 
  

關鍵在于：這些評估只基于已經生成的輸出，不引入額外推理調用。也就是說，系統通過已有信息進行糾錯，而不是再算一輪。

3. 綜合排序：性能、成本、延遲一起優化

最終，RouteMoA 在模型選擇時不僅僅考慮性能，而是同時考慮：

• 輸出質量
• token 成本
• 推理延遲
• 
  

從而在實際系統中實現一個更接近工程最優的決策，而不是單純追求 accuracy。

實驗結果：

少花 90% 的錢，反而更強

在包含 15 個模型的大規模模型池實驗中，RouteMoA 的結果非常直觀：

• 成本降低 89.8%
• 延遲降低 63.6%
• 同時整體準確率相對 MoA 和 SMoA 有所提升

這說明一件事：減少無效計算，不僅不會傷害性能，反而會讓系統更專注于對的模型。

一個關鍵洞察：

多模型系統的本質是稀疏的

論文中一個非常重要的觀察是：在絕大多數 query 上，真正關鍵的模型只占少數。只要初始階段能把這些模型保留下來，后續協作就足以放大正確答案。實驗中，scorer 在 Top-3 內命中正確模型的概率接近 98%，這意味著：系統并不需要看所有答案，只需要別漏掉對的模型。

進一步分析：

失敗不在選錯模型，而在融合階段

一個很有意思的發現是，在失敗案例中：

• 超過 50% 的錯誤來自最終答案融合（aggregation drift）
• 而真正因為選錯模型的比例要低得多

可見，多模型系統的瓶頸正在發生轉移：從 “選誰來回答”，轉向 “如何整合多個答案”。

總結：多模型時代，調度很重要

RouteMoA 的意義，并不只是一個更高效的 MoA 變體，而是提供了一種新的范式：

• 不再默認所有模型都要參與
• 而是先判斷誰值得參與
• 再用協作機制校正和放大正確答案

換句話說，隨著多模型協作的興起，系統層的調度與協同，正變得與模型能力同樣重要。