對話清華商宇丨從生成視頻到支撐行動，世界模型需要新的評測標準

在今天的 AI 敘事里，“世界模型”幾乎成了通往具身智能的必經之路。

它被期待理解物理規律、預測環境變化，并為機器人決策提供依據。但一個尖銳的問題是：當一個模型能生成一段足夠逼真的未來視頻時，我們究竟該相信它真的理解了世界，還是只是更擅長復刻世界的表象？

咬了一口的蘋果會自動愈合，墜落的杯子在空中漂移——在具身智能的視角下，這種AI視頻“感知與功能的斷裂”無疑是致命的。

一個模型即便能生成 4K 分辨率的視覺幻象，如果它無法理解重力約束、因果關聯與物體永久性，它就永遠無法支撐機器人在復雜物理世界中的抓取、規劃與交互。視覺真實不等于功能可用，這道長期被忽視的“裂縫”，正是當前視覺智能通往 AGI 的最大障礙。

CVPR 2026 正在釋放一個明確的信號：計算機視覺（CV）與計算機圖形學（CG）的傳統邊界正在模糊。視覺研究的主線正從單純的“像素預測”轉向對“世界動力學”的重建，世界模型不再僅僅滿足于“看”，而是要構建一個具備物理一致性的內部沙盒。這意味著，下一代視覺智能必須跨越 2D 藩籬，去硬碰硬地解決因果律、重力與 3D 空間的拓撲邏輯。

這種轉向，不僅標志著視覺研究正在從“圖像處理”回歸到“世界建模”，更核心的演進在于，世界模型正從“被動觀測”轉向“動作驅動”。

作為 CVPR 2026 備受矚目的競賽項目，清華團隊提出的 WorldArena 恰逢其時。在論文《WorldArena: A Unified Benchmark for Evaluating Perception and Functional Utility of Embodied World Models》中，它審問的是模型作為“具身大腦”的真實含金量：能否作為可靠的數據引擎？能否充當精準的策略評估環境？能否在長程任務中保持邏輯的不漂移？

它將會對過去世界模型評測沿用視頻生成的邏輯——畫面是否清晰、運動是否自然、結果是否逼真——進行重新審視。

但在具身場景中，“看起來像”遠遠不等于“用得起來”。一個模型即便能生成高質量視頻，也可能無法支持機器人完成抓取、規劃、交互和長程執行。換句話說，視覺真實與功能可用之間，存在一道尚未被充分正視的裂縫。

而 WorldArena，正是試圖把世界模型從“生成世界”的審美競賽，推向“使用世界”的能力審判。

除此之外，作為 CVPR 2026 關鍵 Workshop 競賽的評測基礎，WorldArena 的目標不僅是提供一個排行榜，更是為具身世界模型建立一套面向真實任務的能力坐標：它不只問模型能否預測接下來會發生什么，也進一步追問，這些預測能否轉化為動作？能否支撐 agent 決策？能否在長程任務中保持穩定？能否真正成為具身智能通向物理世界的一部分？

圍繞這項工作，AI 科技評論與論文主要作者商宇展開了一場深度對話。從世界模型評測為何不能止步于視頻質量，到當前模型為何會在高視覺分數與低功能表現之間斷裂；從 Benchmark 如何推動訓練范式轉向視頻 - 動作聯合建模，到 WorldArena 自身如何避免成為新的路徑依賴，這場對話觸及的并不只是一個評測平臺，而是世界模型研究正在面臨的一次范式轉換。

論文地址：https://arxiv.org/pdf/2602.08971

項目地址：https://world-arena.ai/

給世界模型設下一場「行動考試」

AI 科技評論：能否先以團隊成員、主要作者的身份，介紹一下 WorldArena 這項工作？

商宇：WorldArena 是我們在今年年初發布的、專門面向具身世界模型的評測平臺。它的出發點是：世界模型這個概念近期非常受關注，但大家對它的定義還沒有完全收斂；同時，過去很多評測仍然把世界模型當作視頻生成工具，主要關注生成視頻的質量，也就是視頻是否好看、是否逼真。

但在具身場景中，僅生成好看的視頻遠遠不夠。具身世界模型不是為了“拍電影”，它的核心任務是建模外部環境的動態轉移規律，并進一步輔助下游智能體做決策。因此，世界模型最終必須服務于智能體與環境的交互。

基于這個判斷，我們認為現有評估存在方向性不足：評估具身世界模型時，不能只看生成結果是否像真實視頻，更要看它是否能支持下游功能性任務，是否真正有助于智能體與環境交互。

因此，我們建立了一套統一評測框架，主要從兩個維度評估模型能力。第一個維度是視覺質量。由于目前世界模型的主要形態仍然是視頻生成，開環的視頻生成質量依然需要評估。

第二個維度，也是我們更核心的貢獻，是面向功能性任務的評估。圍繞具身場景，我們進一步從世界模型可能承擔的角色出發，設計了三類應用評估。

第一類是把世界模型作為數據生成引擎。它可以合成大量數據，用于緩解具身真實數據稀缺的問題，并輔助下游策略模型訓練。

第二類是把世界模型作為在線交互環境，用來評估策略模型。前提是世界模型能夠捕捉環境動態，從而充當真實環境的代理。例如，過去評估一個 VLA 策略，通常需要把它部署到仿真器或真實環境中運行；如果世界模型這條路線可行，就可以讓策略與世界模型交互，再根據交互結果判斷策略質量。

第三類是把世界模型作為具身大腦，或者說作為 agent / action planner。既然世界模型能夠生成環境轉移后的狀態，就可以從狀態預測結果中提取動作，并把這些動作直接用于下游執行。

總體來說，WorldArena 同時關注兩個問題：世界模型是否會生成這個世界，以及它能否利用生成結果支持智能體與世界交互。雷峰網

AI 科技評論：在這個框架中，一個合格的世界模型至少需要滿足哪些能力？

商宇：我們的評估分為感知和功能兩個維度，兩者有關聯，但并不嚴格綁定。如果一個模型想在榜單上取得較好表現，首先視頻生成質量必須過關。也就是說，它在感知層面要盡量真實。我們評測了開源和閉源模型，發現閉源模型在第一輪測試中的整體分數更高，這說明較好的視覺質量確實有助于獲得更好結果。

感知層面的基本要求是：模型生成的未來狀態和畫面要符合世界運行規律。至少在人眼看來，它不能違背基礎物理規律，例如出現明顯穿模、異常形變等問題。

更進一步，模型還需要具備任務執行能力。一個合格的世界模型不僅要推斷出合理的未來狀態，還要讓這些狀態能夠轉化為有效動作序列，從而幫助智能體完成交互。

概括來說，最低要求有兩點：第一，感知層面真實；第二，對智能體決策產生增益。

AI 科技評論：很多模型可以預測接下來會發生什么，但不一定理解為什么會發生。WorldArena 更接近評估哪一種能力？

商宇：目前 WorldArena 更側重評估“接下來會發生什么”，也就是預測結果是否合理。我們的評估仍然基于模型行為：先讓模型輸出視頻或動作，再判斷輸出是否符合認知、是否接近真實視頻或真實結果。因此，它本質上評的是模型預測是否正確。

至于模型是否真正理解“為什么會發生”，這個問題更難。它可能涉及模型內部機理研究，也可能需要因果建模、反事實推斷等方法。

例如，在機器人抓取礦泉水瓶的任務中，如果我們想判斷模型只是擬合了某一種抓取軌跡，還是理解了不同動作的含義，就需要在同一場景中給出不同動作，觀察模型是否產生有差異的響應。類似設計才更接近因果性或反事實推斷。

因此，就當前版本而言，WorldArena 主要評估預測是否正確，而不是直接證明模型是否理解因果關系。

AI 科技評論：論文中提到用 16 個 perception 指標刻畫 world understanding。具體是怎樣設置的？

商宇：我們把整體評估分為 perception 和 functionality 兩大類。Perception 部分基于世界模型合成的視頻，對視頻進行多維診斷。我們參考了許多已有研究，最終總結出六個大維度，并進一步拆分為 16 個感知指標。雷峰網

第一個維度是 visual quality，即視覺質量。這是最基礎的層面，關注視頻分辨率是否足夠高、畫面是否清晰、整體布局是否與真實場景一致。第二類是面向具身場景更關鍵的能力，包括動作質量、物理遵循性、3D 準確性、可控性，以及內容一致性等。

動作質量會關注動作連貫性，例如動作是否出現突變。物理遵循性用于判斷生成結果是否符合基礎物理規律。由于物理規律較抽象，我們會借助外部 VLM 進行評估，讓它充當類似人類評判者的角色。

3D 準確性關注視頻空間結構是否正確。只看 2D 畫面時，現在的模型往往能擬合得很好；但物體之間的空間關系可能并不自然，投射到 3D 空間后就會暴露問題。

可控性評估模型是否能 follow 外部指令。指令可以是文本，也可以是機器人動作。我們希望判斷模型究竟只是 overfit 某段視頻，還是確實理解并響應外部條件。

內容一致性則關注視頻前后是否保持一致，這是一個基礎但重要的能力。整體來看，六個大維度共同構成對感知能力的評估，并進一步細化為 16 個 perception 指標。

AI 科技評論：一些高視覺質量模型在功能評估中表現并不好。你們認為這種斷裂的原因是什么？

商宇：這個結果最初也讓我們有些意外。后續分析后，我們認為主要有兩類原因。第一類原因是訓練目標沒有對齊。許多視頻生成模型在第一階段微調時，本質上仍然是在擬合視頻像素。這個訓練過程并沒有真正涉及視頻與動作之間的關系，也沒有建模因果關系。

因此，這些模型訓練出來后主要服務于“像素是否擬合得好”“圖像是否逼真”。換句話說，模型優化目標仍然集中在 perception 上，而不是功能性交互。

第二類原因是功能任務對模型能力要求更高。視頻生成通常是在 2D 空間中完成，但動作預測和真實執行本質上發生在 3D 空間中。例如，物體關系的錯位在 2D 圖像中可能不明顯，但一旦投射到 3D 空間，就會影響動作執行。這意味著模型可能過度擬合了二維表征，卻沒有充分建模三維空間和動作之間的關系。

此外，任務設置本身也帶來挑戰。Functionality 部分要求世界模型真正輸出動作，而當前視頻生成模型通常只能生成較短片段，一次可能只有幾十幀。但現實動作執行往往是長程任務，很少能通過一次視頻預測完整完成。

因此，模型必須經歷長程、迭代式 rollout。我們觀察到，許多模型單次生成效果尚可，但迭代后會產生誤差累積：第一次生成可能準確，后續動作會逐漸漂移，穩定性下降。

所以，對具身任務而言，模型不僅需要單次生成質量高，還需要長程穩定性。訓練目標錯配和長時序穩定性不足，是造成這種斷裂的主要原因。

AI 科技評論：也就是說，當前視頻生成模型的問題之一是單次預測可以，但長程執行會亂？

商宇：是的，長程穩定性是一個重要問題。除此之外，當前模型往往仍在擬合 2D 圖像分布，與動作之間的建模關聯不夠。雖然我們在 WorldArena 中設置了二階段適配，用監督學習把世界模型學到的視頻表征和動作聯系起來，但這個過程并不是原生訓練，而是后訓練，并且相對輕量。

這種適配可以幫助模型學習視頻到動作的關系，但不能從根本上解決問題。更本質的方向，是讓世界模型進行視覺內容與動作內容的聯合建模。現在已有一些工作在原生地對齊視頻與動作關系，我認為這會更有幫助。

另一方面，功能性任務要求模型具備長程穩定性，才能獨立、完整地執行任務。只有當模型在長程執行中保持穩定，它在功能榜單上的表現才會顯著提升。

AI 科技評論：如果一個模型在 WorldArena 上得分不高，問題更可能是模型能力不夠，還是訓練目標沒有對齊？

商宇：兩種情況都會存在。有些模型得分不理想，是因為模型本身能力不足，生成視頻質量不高。對于這類情況，可以認為它在基礎生成能力上還沒有達標。

另一些模型生成畫面看起來不錯，從人的角度看沒有明顯問題，但放到任務執行評測中表現不佳。對于這類情況，我更傾向于認為是訓練目標沒有完全對齊下游交互能力。

這類模型往往開環能力強，也就是生成視頻本身沒問題；但閉環能力弱，不能穩定支持動作預測和交互執行。原因可能是視頻到動作的映射沒有學好，也可能是模型只擅長局部預測，一旦進入長程預測就會出問題。

因此，WorldArena 上的低分既可能來自基礎模型能力不足，也可能來自訓練目標與功能性交互能力之間的錯配。

AI 科技評論：如果 WorldArena 這類評估框架成為主流，會不會反過來推動新的訓練方式？

商宇：我認為會，但這是一個循序漸進的過程。作為評測工作，我們現階段主要希望提供實驗現象、觀察和 insight，讓大家意識到：只做視頻擬合，模型可能在視覺質量榜單上很高，但在功能性榜單上很低。

我們并不是完全否定當前的視頻學習范式。許多視頻基座模型通過這種方式持續 scaling，基礎能力確實在提升，這對下游任務是有幫助的。

但如果目標是真正的世界模型，訓練范式就不能只包含視頻生成和重建，還需要把動作模態納入進來。無論是根據視頻預測動作，還是做 action-controlled video generation，都是必要的；關鍵是讓視頻和動作兩種模態天然對齊。

現在已經有一類模型被稱為 World Action Model，也就是 WAM。它們試圖訓練一個統一模型，同時具備視頻預測和動作預測能力，并在兩種模態之間設計明確的對齊機制，例如 joint attention。

所以，從研究趨勢看，整個方向已經在向視頻 - 動作聯合建模轉變。這也符合我們通過 WorldArena 得到的判斷。

WorldArena 的邊界與自我校準

AI 科技評論：如果模型在某些任務上失敗，說明它真的不理解事件，還是只是沒有見過足夠多的類似數據？

商宇：我們不會把榜單表現不理想直接等同于“模型沒有理解這個事件”。就當前版本的 WorldArena 而言，我們的重點還不是泛化能力評估，也沒有專門設置 OOD 場景。在評測設置下，模型基本見過類似數據；如果要測某個任務，我們會給它相應數據進行訓練。因此，我們不傾向于把失敗主要歸因于“沒有見過足夠多的數據”。

在這個前提下，模型失敗通常可以拆成兩個階段分析。

第一階段是開環視頻生成質量。如果模型連視頻預測本身都做不好，說明它的視頻學習質量就不高。

第二階段是視頻到動作的映射，以及視頻與動作的聯合建模。如果視頻生成質量尚可，但閉環任務或長程任務失敗，問題更可能來自動作預測不穩定。

真實執行中，錯誤往往難以校正。例如機器人抓瓶子時，如果中途掉落，當前模型通常缺少錯誤恢復能力，后續會持續出錯。

因此，在當前設置中，許多失敗更可能反映模型缺少足夠穩定的動作預測和長程執行能力，而不是簡單說明它沒有見過類似數據。

AI 科技評論：WorldArena 評估的是世界模型，但 agent 設計也會影響結果。你們如何區分世界模型不夠好和 agent 沒有正確利用世界模型？

商宇：這是一個很有技術意義的問題，我們在實驗中也做了相應排查。我們的動作預測流程是在世界模型后面額外加入一個逆動力學模型，即 IDM。IDM 的作用是從世界模型預測出的狀態特征中映射出動作。因此，一個潛在擔憂是：結果不好是否因為 IDM 或整個 pipeline 存在性能上限，而不是世界模型本身不夠好。

為了排除這個混淆因素，我們做了一個上限實驗：不使用世界模型預測的視頻，而是給 IDM 輸入真實視頻。這個設定相當于假設世界模型預測完全等同于真實世界，再觀察動作能否被正確預測。

實驗結果顯示，在輸入真實視頻并經過二階段動作預測訓練后，IDM 能完成大部分任務，成功率基本在 80% 以上。

而當前世界模型在同一體系下的結果與這個上限還有明顯差距。由此我們判斷，現有 pipeline 雖然不一定是最完美設計，但還沒有達到性能天花板；它能夠比較客觀地暴露問題。

綜合來看，當前主要瓶頸仍然在 world model 本身，而不是 agent 或 IDM 沒有正確利用它。

AI 科技評論：WorldArena 是否類似一個黑盒評估工具？

商宇：它不是完全的黑盒。許多 Benchmark 本質上都是行為層面的評估，WorldArena 也不例外。但它在設計上具有一定診斷性。

首先，我們同時做開環和閉環評測，可以幫助判斷模型問題來自生成能力，還是行動能力。其次，在生成能力內部，我們又拆分出十幾個子維度指標。這能幫助研究者更細致地審視模型能力。例如，通過雷達圖可以看到不同模型的優勢和劣勢：有些模型可能 3D 重建質量高，有些模型可能動作連貫性更好。

因此，WorldArena 不只是輸出一個最終分數，它還提供中間結果和多維診斷證據。相比只看最終閉環執行成功率的評測，它并不完全是端到端黑盒。

但如果更嚴格地問，它能否解釋模型內部機制、能否證明模型真正理解世界，目前版本還做不到。后續我們希望引入反事實推斷等方法，進一步提升可解釋性。

AI 科技評論：如果模型在 WorldArena 上表現好，是否意味著它已經接近真實機器人部署？

商宇：如果模型在 WorldArena 上表現好，尤其是在 functionality 維度表現好，我認為它確實更有潛力，但這并不等同于它一定能在真實物理世界中運行。

這是當前評測的局限之一，也會是未來工作。我們仍然面臨 sim-to-real gap。當前評測主要在仿真環境中完成，這樣做是為了評測便利，也為了排除真實環境中的偶然因素。

真實環境遠比仿真環境復雜。它會受到傳感器噪聲、執行誤差、硬件差異等因素影響，不同模型對硬件的適配程度也可能不同。未來，我們希望提供一套標準化的真機評測流程，進一步分析仿真表現與真實部署能力之間的相關性。

就當前結果看，現有模型距離真實物理世界部署仍有較大差距。模型在仿真器中需要達到足夠高的性能，才可能有希望遷移到真實環境；目前它們與一些 VLA 模型相比，差距仍然不小。

AI 科技評論：Benchmark 往往會反過來塑造研究方向。如何避免 WorldArena 成為新的路徑依賴？

商宇：這是大多數 Benchmark 都會面對的問題。從設計 Benchmark 的角度看，我們的出發點是：當前模型開發方向與我們希望模型具備的能力之間存在差距，因此需要補充新的評測維度，引導研究進一步接近真實需求。

但 Benchmark 的價值不應是讓所有人把刷榜作為模型研發的第一目標。它更應該作為能力診斷工具，幫助縮小研究目標與真實需求之間的距離。

對于 WorldArena 來說，它的價值在于提醒大家：世界模型不能只做到視覺真實，還要在功能層面可用。它提供的是觀察和 insight，而不是唯一評價標準。

隨著模型能力逐漸接近，Benchmark 本身也必須持續迭代。模型最終要服務真實需求。對于具身場景，最終目標是讓世界模型在真實物理交互中跑通，并把性能做上去。

因此，我們也需要不斷把更真實的需求納入評測，例如未來加入真實環境下的評估和診斷，讓 Benchmark 與現實需求更對齊。

對研究者來說，WorldArena 可以作為基礎工具，但更重要的是用它判斷模型距離真實世界還有多大差距，而不是把它當作唯一審判標準。

AI 科技評論：如果一個模型在真實世界表現很好，但在 WorldArena 上得分不高，這更可能是誰的問題？

商宇：如果真的出現這種模型——目前我們還沒有收到類似反饋——我不會先入為主地認為是模型的問題，而會把它視為一個有價值的信號。

一種可能是，這個模型采用了 WorldArena 現有設計沒有覆蓋到的技術路徑。它可能通過特殊設計在真實世界或動作預測上表現很好，但我們的 Benchmark 沒有體現出來。這說明評測框架與真實世界之間仍有未對齊之處。

另一種可能是，當前評價體系需要進一步完善。我們需要對這類模型做更詳細診斷：看它在 WorldArena 中具體哪些情況表現不好，再與它在真實環境中的表現交叉分析，判斷問題是共性的，還是因為模型 overfit 到了某個特定場景。

因此，可能是評估維度不夠，也可能是模型并非通用能力強，而是在某些特定場景表現好。兩種情況都需要進一步分析。

AI 科技評論：如果未來世界模型取得新的突破，WorldArena 是否也需要重構？

商宇：這是肯定的。模型和 Benchmark 應該是螺旋上升的關系。通常是先出現一批模型，然后我們再思考如何系統性評判這些模型。當前 Benchmark 的設計針對的是當前模型能力。隨著模型能力增強，Benchmark 必須跟著進化，否則會干擾研究判斷。

Benchmark 本應起到牽引作用。如果模型已經往前發展，而 Benchmark 仍停留在舊能力上，它就會從方向盤變成后視鏡。

從世界模型領域看，目前行業仍處于較早期階段。WorldArena 的一步，是從視覺導向走向功能導向。如果未來所有模型都能把當前榜單刷到接近飽和，無法再體現差異，我們就需要引入更高標準、更有挑戰性的任務，并適配新的模型能力。

例如，現在已有模型不再局限于單視角視頻生成，未來可能出現更多視角、更多模態。這些變化都需要后續 Benchmark 納入。所以，WorldArena 不會是靜態框架，而應該長期迭代，并吸收社區共同發現的新問題，持續推出更高質量的評測任務。

AI 科技評論：能否介紹一下這次 CVPR workshop 挑戰賽的情況？

商宇：我們以 WorldArena Benchmark 為基礎，在 CVPR 2026 組織了一個公開挑戰賽。比賽內容與我們的評測基本一致。

挑戰賽分為兩個賽道，對應感知和功能兩個維度。Track 1 面向視頻生成質量，會綜合 16 個感知質量指標，評估世界模型的視頻生成能力。

Track 2 面向功能性評測。為了方便參賽團隊實現，我們優先設置了數據引擎和策略評估兩個任務。這兩個任務能夠覆蓋現有大部分模型能力：文本可控視頻模型適合數據引擎任務，動作可控模型適合策略評估任務。

整個比賽周期約兩個月，從 3 月底開始。目前處于中期階段，我們也準備公布前一個月的中期成績。截至目前，比賽在社區中已有一定影響力。不到一個月內，提交次數接近 100 次，第一名成績也在持續刷新，參與比較積極。

Track 2 目前參與人數相對少一些，因此機會可能更大，獎金也更多，但難度確實更高。參賽隊伍覆蓋學術界、工業界和初創公司。我們希望在 CVPR 會議現場與大家進一步交流，并把挑戰賽中的觀察和 insight 呈現給社區。