Agent-World：擴(kuò)展真實(shí)世界環(huán)境，讓智能體與環(huán)境協(xié)同進(jìn)化！

隨著MCP、Agent Skills與各類Harness的快速發(fā)展，大模型能輕松調(diào)用成百上千種外部工具，但在多工具，具備復(fù)雜狀態(tài)、長程交互的任務(wù)上仍有明顯短板。盡管一系列環(huán)境擴(kuò)展方法嘗試復(fù)刻真實(shí)世界的交互環(huán)境（如訂票系統(tǒng)，外賣平臺(tái)），但仍受限于環(huán)境擴(kuò)展的規(guī)模與真實(shí)性。除此以外，訓(xùn)練環(huán)境造得再多，當(dāng)智能體在面臨新的交互環(huán)境時(shí)，若缺少持續(xù)學(xué)習(xí)的訓(xùn)練算法依舊很難具備泛化性。

為此，本文提出Agent-World：一個(gè)通用智能體訓(xùn)練場(chǎng)，將“智能體環(huán)境探索”與“自進(jìn)化訓(xùn)練”相結(jié)合，形成智能體與環(huán)境協(xié)同進(jìn)化的閉環(huán)。

Agent-World由兩個(gè)核心模塊構(gòu)成：

（1）智能環(huán)境-任務(wù)探索：通過深度研究智能體，圍繞真實(shí)世界環(huán)境主題，自主從互聯(lián)網(wǎng)挖掘環(huán)境數(shù)據(jù)庫、生成可執(zhí)行工具和可校驗(yàn)任務(wù)。

（2）持續(xù)自進(jìn)化訓(xùn)練：通過多環(huán)境強(qiáng)化學(xué)習(xí)訓(xùn)練智能體，并將合成環(huán)境視作天然的訓(xùn)練場(chǎng)，自動(dòng)診斷智能體的能力短板，針對(duì)性地推動(dòng)環(huán)境/任務(wù)擴(kuò)展，實(shí)現(xiàn)智能體的自進(jìn)化。

圖1：Agent-World總覽：左圖展示Agent-World智能體與環(huán)境的協(xié)同進(jìn)化閉環(huán)，右圖展示下游性能與環(huán)境擴(kuò)展曲線

最終，Agent-World構(gòu)建了1978個(gè)環(huán)境、19,822個(gè)工具，任務(wù)平均交互輪次超過15輪。實(shí)驗(yàn)表明，在23個(gè)挑戰(zhàn)性的基準(zhǔn)上(包括τ2-Bench、BFCL V4、MCP-Mark、ClawEval、SkillsBench等)，Agent-World-8B/14B一致性優(yōu)于先進(jìn)的環(huán)境擴(kuò)展方法與強(qiáng)開源基礎(chǔ)模型。進(jìn)一步的實(shí)驗(yàn)分析表明，環(huán)境多樣性、自進(jìn)化輪次與智能體性能之間存在可擴(kuò)展關(guān)系。

• 論文標(biāo)題：
  
• Agent-World: Scaling Real-World Environment Synthesis for Evolving General Agent Intelligence
• 論文鏈接：
  
• https://arxiv.org/pdf/2604.18292
• 項(xiàng)目主頁：
  
• https://agent-tars-world.github.io/-/

目前Agent-World在X上收獲很高關(guān)注度，同時(shí)榮登Huggingface Paper日榜第二名！

Agent-World：

擴(kuò)展世界環(huán)境，讓智能體與環(huán)境協(xié)同進(jìn)化！

1、智能環(huán)境-任務(wù)挖掘：從網(wǎng)絡(luò)中自動(dòng)挖掘真實(shí)世界環(huán)境

傳統(tǒng)的環(huán)境合成方法要么依賴LLM直接生成，要么局限于有限的開源工具數(shù)據(jù)。Agent-World則選擇了個(gè)有趣的思路：從真實(shí)世界的環(huán)境主題出發(fā)，讓深度研究智能體自主去廣闊的互聯(lián)網(wǎng)上挖掘環(huán)境。

圖2：智能環(huán)境-任務(wù)挖掘流程：包含整體流程概覽（上）與各步驟細(xì)粒度展示（下）

（1）智能數(shù)據(jù)庫挖掘：Agent-World選定真實(shí)MCP服務(wù)器數(shù)據(jù)、開源工具文檔、行業(yè)需求文檔等作為主題錨點(diǎn)（2千余個(gè)）；對(duì)每個(gè)主題使用搜索、瀏覽、代碼編譯器與文件系統(tǒng)四種工具的深度研究智能體（Deep Research Agent），從海量互聯(lián)網(wǎng)的網(wǎng)頁中自主挖掘主題相關(guān)的環(huán)境數(shù)據(jù)庫，并通過迭代式地?cái)?shù)據(jù)復(fù)雜化來提升數(shù)據(jù)庫規(guī)模與結(jié)構(gòu)真實(shí)性。

（2）工具接口生成與校驗(yàn)：Agent-World進(jìn)一步引入代碼智能體來為每個(gè)環(huán)境生成工具接口與單元測(cè)試腳本，通過“可編譯性、測(cè)試準(zhǔn)確率、環(huán)境最小有效性”三重規(guī)則過濾，最終得到一系列包含真實(shí)數(shù)據(jù)庫與可執(zhí)行工具集的交互環(huán)境。

（3）層次化環(huán)境分類體系：為了支撐跨環(huán)境的任務(wù)合成與分層評(píng)測(cè)，該工作進(jìn)一步對(duì)海量環(huán)境生態(tài)進(jìn)行體系構(gòu)建，通過主題聚類并結(jié)合大模型與人工校驗(yàn)，Agent-World將環(huán)境生態(tài)劃分了20 / 50 /1978的三層級(jí)環(huán)境標(biāo)簽分類體系（如下圖所示）

圖3：Agent-World的層次環(huán)境分類。左圖展示20個(gè)一級(jí)環(huán)境，右圖展示Top-10二級(jí)環(huán)境對(duì)應(yīng)三級(jí)環(huán)境數(shù)量。

（4）可驗(yàn)證任務(wù)合成：基于高質(zhì)量的環(huán)境生態(tài)，Agent-World采用了兩種互補(bǔ)的可驗(yàn)證任務(wù)合成策略：

?基于圖的任務(wù)合成：為環(huán)境中的工具構(gòu)建一個(gè)完全連通的依賴圖，通過隨機(jī)游走生成合理的工具調(diào)用序列，隨后“由鏈反推”自然語言問題，并配套大模型評(píng)分Rubric。這種方法擅長建模順序依賴的邏輯。

?程序化任務(wù)合成：直接讓LLM生成一個(gè)需要復(fù)雜控制流的Python腳本來解決某個(gè)問題，并反向生成對(duì)應(yīng)的問題，可執(zhí)行驗(yàn)證代碼。這種方法能捕捉非線性的復(fù)雜推理。

（5）合成環(huán)境的統(tǒng)計(jì)分析：下圖給出了環(huán)境與任務(wù)分布的詳盡統(tǒng)計(jì)。經(jīng)多道過濾后，Agent-World最終沉淀1,978個(gè)環(huán)境、19,822個(gè)工具，單環(huán)境平均工具數(shù)超過10個(gè)，體量可觀且粒度均衡；環(huán)境數(shù)據(jù)庫橫跨JSON、CSV、SQL、HTML、TeX、YAML等多種文件格式，結(jié)構(gòu)與語義上均呈現(xiàn)高度異質(zhì)性。

合成任務(wù)則以“長程多輪”為主，平均交互輪次超過15輪，對(duì)規(guī)劃、記憶與錯(cuò)誤恢復(fù)提出持續(xù)壓力。難度方面，即便是豆包-Seed 2.0在Pass@10設(shè)定下仍有相當(dāng)比例任務(wù)無法正確完成，反映出整體任務(wù)的極具挑戰(zhàn)性。

綜上，靜態(tài)統(tǒng)計(jì)從規(guī)模、格式、交互長度、難度四個(gè)維度共同驗(yàn)證了Agent-World合成交互環(huán)境在多樣性、異質(zhì)性與復(fù)雜性上的顯著優(yōu)勢(shì)。

圖4：Agent-World合成環(huán)境與任務(wù)的六維統(tǒng)計(jì)分析。

2、持續(xù)自進(jìn)化智能體訓(xùn)練：讓智能體與環(huán)境協(xié)同進(jìn)化

在構(gòu)建可擴(kuò)展，真實(shí)的環(huán)境生態(tài)系統(tǒng)后，Agent-World將其轉(zhuǎn)化為一個(gè)動(dòng)態(tài)的智能體訓(xùn)練場(chǎng)（如下圖）。

圖5：持續(xù)自進(jìn)化智能體訓(xùn)練框架。上方是多環(huán)境強(qiáng)化訓(xùn)練，下方是診斷與協(xié)同進(jìn)化循環(huán)。

（1）多環(huán)境強(qiáng)化學(xué)習(xí)：與傳統(tǒng)Agent RL不同，我們的訓(xùn)練在「智能體–工具–數(shù)據(jù)庫」的閉環(huán)交互中展開。智能體在不同環(huán)境中進(jìn)行Rollout，調(diào)用工具的同時(shí)也會(huì)改寫底層數(shù)據(jù)庫狀態(tài)，使學(xué)習(xí)信號(hào)真正根植于可執(zhí)行世界環(huán)境。算法上，Agent-World采用廣泛使用的GRPO最大化上述可驗(yàn)證獎(jiǎng)勵(lì)，穩(wěn)定提升Agent性能。

獎(jiǎng)勵(lì)側(cè)亦按任務(wù)類型分化：基于圖合成的任務(wù)由大模型依校驗(yàn)rubric評(píng)分細(xì)則逐項(xiàng)打分；程序式任務(wù)則直接執(zhí)行驗(yàn)證腳本，依最終答案或狀態(tài)的正確性給分。

（2）自進(jìn)化智能體競(jìng)技場(chǎng)：Agent-World的核心在于把整個(gè)環(huán)境生態(tài)視作天然的智能體訓(xùn)練競(jìng)技場(chǎng)。訓(xùn)練并非一蹴而就，而是一個(gè)多輪迭代的自進(jìn)化過程：

動(dòng)態(tài)評(píng)測(cè)任務(wù)合成：每輪訓(xùn)練結(jié)束后，從競(jìng)技場(chǎng)的環(huán)境池中按環(huán)境分類體系均衡采樣一批新環(huán)境，并為其合成全新的評(píng)估任務(wù)，避免"刷過的題再考一遍"。

智能體化診斷：讓當(dāng)前輪次的智能體在這批新任務(wù)上跑評(píng)估；診斷智能體隨后分析其失敗軌跡、錯(cuò)誤分布與環(huán)境元信息，定位能力短板（例如"Notion環(huán)境下的二級(jí)標(biāo)題創(chuàng)建出錯(cuò)"），輸出弱點(diǎn)環(huán)境排序與針對(duì)性任務(wù)生成指南。

智能體–環(huán)境協(xié)同進(jìn)化：依據(jù)診斷結(jié)果，在弱點(diǎn)環(huán)境上合成更具挑戰(zhàn)性的訓(xùn)練任務(wù)，并按需進(jìn)一步復(fù)雜化對(duì)應(yīng)環(huán)境數(shù)據(jù)庫；再以這批"薄弱能力定制化數(shù)據(jù)"驅(qū)動(dòng)下一輪的持續(xù)強(qiáng)化學(xué)習(xí)。

以上流程形成了一個(gè)有趣的訓(xùn)練飛輪：“訓(xùn)練提升智能體→評(píng)估暴露弱點(diǎn)→診斷指引環(huán)境/任務(wù)擴(kuò)展→新數(shù)據(jù)驅(qū)動(dòng)智能體進(jìn)一步進(jìn)化”。這一閉環(huán)讓智能體與其訓(xùn)練環(huán)境實(shí)現(xiàn)了真正的“協(xié)同進(jìn)化”。

實(shí)驗(yàn)結(jié)果：

23個(gè)基準(zhǔn)驗(yàn)證Agent-World的跨域智能體能力

實(shí)驗(yàn)設(shè)置：為充分評(píng)估泛化，Agent-World評(píng)測(cè)5大類領(lǐng)域，共覆蓋23個(gè)評(píng)測(cè)基準(zhǔn)：

?智能體工具使用：

MCP-Mark,BFCL V4,τ2-Bench

?前沿AI助手：

SkillsBench,ARC-AGI-2,ClawEval

?通用推理：

MATH500,GSM8K,MATH,AIME24/25,KOR-Bench,OlympiadBench等

?深度搜索與軟件工程：

WebWalkerQA,SWE-Bench,Terminal-Bench,GAIA,HLE等

?知識(shí)與MCP：

MMLU,SuperGPQA,MCP-Universe等

對(duì)比基線包括前沿閉源模型（GPT-5.2 High, Claude Sonnet-4.5，Seed2.0等）、強(qiáng)開源基礎(chǔ)模型（DeepSeek-V3.2-685B, Qwen3-235B-A22B）以及先進(jìn)的環(huán)境擴(kuò)展方法（EnvScaler，AWM，ScaleEnv）。

1.核心智能體任務(wù)上表現(xiàn)卓越

表1：在核心智能體工具使用基準(zhǔn)上結(jié)果。

如上表所示，在當(dāng)下最具挑戰(zhàn)性的三大智能體工具使用基準(zhǔn)—MCP-Mark、BFCL V4、τ2-Bench上，Agent-World-8B與14B穩(wěn)定超越所有開源環(huán)境擴(kuò)展基線。這三套基準(zhǔn)分別考察多輪有狀態(tài)交互、跨域工具調(diào)用與長程對(duì)話，連閉源前沿模型在MCP-Mark上也僅停留在50左右的分位。

更有意思的是，Agent-World-14B在BFCL V4上取得55.8%，反超685B參數(shù)的DeepSeek-V3.2-685B（54.1%），這也表明更真實(shí)的可執(zhí)行環(huán)境與可驗(yàn)證獎(jiǎng)勵(lì)，比參數(shù)更能對(duì)齊復(fù)雜的智能體交互模式。

2.長程智能體推理能力顯著

圖6：Agent-World-8B在通用推理、智能體搜索與編碼、知識(shí)與MCP三大能力組上的泛化表現(xiàn)雷達(dá)圖，全面領(lǐng)先基線。

如上圖所示，當(dāng)我們把評(píng)測(cè)擴(kuò)展到17個(gè)覆蓋長程推理、深度搜索、軟件工程與知識(shí)應(yīng)用的基準(zhǔn)，Agent-World-8B依然在所有維度上保持領(lǐng)先：通用推理（MATH500,AIME,OlympiadBench等）未因?yàn)锳gent相關(guān)訓(xùn)練而退化，甚至微微漲幅；在深度搜索，軟件工程領(lǐng)域（GAIA,SWE-Bench,Terminal-Bench等）這類超長輪次任務(wù)上優(yōu)勢(shì)極為明顯。

除此以外，在其他知識(shí)類與MCP基準(zhǔn)表現(xiàn)同樣十分優(yōu)秀，這證明了Agent-World其通過環(huán)境訓(xùn)練獲得的技能是可遷移、可組合的，而非針對(duì)特定基準(zhǔn)的過擬合。

圖7：Agent-World系列模型在SkillsBench、ARC-AGI-2、ClawEval等前沿AI助手基準(zhǔn)上展現(xiàn)優(yōu)異性能。

3.先進(jìn)AI助手場(chǎng)景顯著提升

如上圖所示，Agent-World在SkillsBench、ARC-AGI-2和ClawEval這三個(gè)要求長程規(guī)劃和真實(shí)世界執(zhí)行的最新基準(zhǔn)上同樣表現(xiàn)出色，且從8B到14B規(guī)模提升穩(wěn)定，而其他的基線模型則出現(xiàn)了能力波動(dòng)。

定量分析：

環(huán)境規(guī)模與自進(jìn)化如何驅(qū)動(dòng)性能？

除了主實(shí)驗(yàn)結(jié)果，Agent-World還進(jìn)行了一系列有趣的定量分析。

1、訓(xùn)練環(huán)境規(guī)模擴(kuò)展分析

圖8：下游智能體性能隨著訓(xùn)練環(huán)境數(shù)量的增加而顯著提升，呈現(xiàn)明確的縮放規(guī)律。

隨著逐步增加訓(xùn)練環(huán)境的數(shù)量（從0到近2000個(gè)），智能體性能與環(huán)境數(shù)量呈明顯的正相關(guān)。初期（10到100個(gè)環(huán)境）性能提升迅猛，說明覆蓋關(guān)鍵交互模式至關(guān)重要；后期提升放緩但持續(xù)，表明更大規(guī)模的環(huán)境帶來了更細(xì)粒度的能力提升。

2、自進(jìn)化輪次分析

表2：持續(xù)自主進(jìn)化的效果。

研究驗(yàn)證了自進(jìn)化競(jìng)技場(chǎng)閉環(huán)的有效性。無論是Agent-World模型自身還是基線模型EnvScaler-8B，經(jīng)過兩輪“評(píng)估-診斷-針對(duì)性訓(xùn)練”的循環(huán)后，一致性地在多個(gè)基準(zhǔn)上的性能獲得一致性增益。這證明將環(huán)境作為訓(xùn)練場(chǎng)，針對(duì)性驅(qū)動(dòng)數(shù)據(jù)合成，是持續(xù)提升智能體環(huán)境泛化能力的有效機(jī)制。

3、多環(huán)境強(qiáng)化學(xué)習(xí)曲線分析

圖8：多環(huán)境智能體強(qiáng)化學(xué)習(xí)曲線展示。

Agent-World雖然在復(fù)雜，混合的環(huán)境與多樣化合成任務(wù)（基于工具圖與程序化）上進(jìn)行強(qiáng)化學(xué)習(xí)，其獎(jiǎng)勵(lì)分?jǐn)?shù)隨步數(shù)穩(wěn)步上升，而策略熵保持相對(duì)穩(wěn)定甚至增長，表明智能體在適應(yīng)新環(huán)境的同時(shí)，保持了良好的探索性，沒有過早地陷入局部最優(yōu)的“固化”行為。

總結(jié)與展望

Agent-World希望通過擴(kuò)展真實(shí)世界環(huán)境，實(shí)現(xiàn)智能體與環(huán)境的持續(xù)協(xié)同進(jìn)化。作為本文作者，我們也想拋出一些在推動(dòng)這項(xiàng)研究中發(fā)現(xiàn)的幾點(diǎn)啟示，供研究通用智能體訓(xùn)練方向的朋友們參考與共同探索：

• 真實(shí)性是環(huán)境擴(kuò)展的底座：構(gòu)建高真實(shí)、邏輯可校驗(yàn)的環(huán)境，是訓(xùn)練通用智能體的前提。Agent-World以智能體化流水線對(duì)接真實(shí)主題與海量網(wǎng)絡(luò)信息，自動(dòng)挖掘數(shù)據(jù)與工具；我們相信這只是起點(diǎn)，未來會(huì)有更自動(dòng)、更貼近真實(shí)世界復(fù)刻的環(huán)境合成范式涌現(xiàn)。

• 進(jìn)化是環(huán)境訓(xùn)練的動(dòng)力：規(guī)模化環(huán)境生態(tài)一旦建成，單次靜態(tài)訓(xùn)練既不夠、也浪費(fèi)高成本構(gòu)建的環(huán)境。Agent-World構(gòu)建了可自動(dòng)診斷弱點(diǎn)、定向生成挑戰(zhàn)的閉環(huán)系統(tǒng)，讓智能體與環(huán)境協(xié)同進(jìn)化。如何把環(huán)境生態(tài)與訓(xùn)練算法深度耦合，仍是一條漫長但值得持續(xù)押注的路。

• 環(huán)境/任務(wù)可擴(kuò)展性通往泛化性：我們?cè)贏gent-World中觀察到“環(huán)境規(guī)模、自演化輪次、任務(wù)難度”與智能體性能之間清晰的scaling關(guān)系。這提示未來應(yīng)同步擴(kuò)展“更多樣的環(huán)境、更復(fù)雜的任務(wù)、更多輪的進(jìn)化”—這或許正是通往通用智能體交互能力的一把鑰匙。

作者簡(jiǎn)介：本文第一作者是董冠霆，中國人民大學(xué)高瓴人工智能學(xué)院博士二年級(jí)，導(dǎo)師為竇志成教授和文繼榮教授。他的主要研究方向?yàn)橥ㄓ弥悄荏w訓(xùn)練。以第一/共同第一作者身份在ICLR、ACL等國際頂級(jí)會(huì)議發(fā)表論文10余篇；代表工作包括 ARPO, AUTOIF, Search-o1, Webthinker, FlashRAG等。谷歌學(xué)術(shù)引用量1萬余次，個(gè)人GitHub項(xiàng)目星標(biāo)8000余枚，并在字節(jié)跳動(dòng)Seed、阿里通義千問等基座大模型團(tuán)隊(duì)實(shí)習(xí)。曾獲首屆騰訊青云獎(jiǎng)學(xué)金，國家獎(jiǎng)學(xué)金、北京市優(yōu)秀畢業(yè)生等榮譽(yù)。本文的通信作者為中國人民大學(xué)的竇志成教授與字節(jié)跳動(dòng)Seed的鐘宛君。