Generalist之后，羅劍嵐團(tuán)隊(duì)推出LWD，也要變革具身智能訓(xùn)練范式

編輯｜澤南

這一次，具身智能的范式算是徹底升級(jí)了。

智元機(jī)器人的辦公室里，最近員工們一上班就能看到機(jī)器人熟練地切著水果：

有梨有黃瓜，一通操作完了之后裝進(jìn)破壁機(jī)，打成了健康飲料端上來：

同樣一套設(shè)備也能玩轉(zhuǎn)調(diào)酒的全套流程：

或是做工夫茶、整理商品貨架、打包鞋盒等各種任務(wù)：

之前每臺(tái)機(jī)器人只能完成一個(gè)任務(wù)，現(xiàn)在基于同一個(gè)模型的機(jī)器人可以承接大量不同任務(wù)。而且，在真實(shí)世界中持續(xù)部署的過程中，它們的性能還會(huì)持續(xù)不斷地提升。

文中視頻鏈接：https://mp.weixin.qq.com/s/Z9-QfTvW-3kRAzZT2o0-zw

這么全面的能力是如何做到的？答案是直接在真實(shí)環(huán)境中搞大規(guī)模分布式強(qiáng)化學(xué)習(xí)訓(xùn)練。它們使用的是全新的具身智能訓(xùn)練范式：面向通用機(jī)器人策略的分布式多機(jī)強(qiáng)化學(xué)習(xí)（LWD）。這一套技術(shù)捅破了當(dāng)前VLA的「天花板」。

LWD

啟動(dòng)物理世界的飛輪

最近一段時(shí)間，VLA（視覺 - 語言 - 動(dòng)作）大模型出現(xiàn)，通過端到端的訓(xùn)練范式讓機(jī)器人具備了通用泛化能力：只需要收集圖像數(shù)據(jù)，讀取人類自然語言指令，大模型就能將視覺和語言轉(zhuǎn)化為空間特征，直接輸出機(jī)械臂各個(gè)關(guān)節(jié)的角度和速度，進(jìn)而完成任務(wù)。

但在物理世界里，VLA 具身智能的表現(xiàn)仍然算不上可靠。在長程任務(wù)和復(fù)雜條件上，機(jī)器人頻頻翻車。工程師往往只能將失敗的案例（Corner Case）記錄下來，讓操作員針對(duì)特定情況再進(jìn)行幾十次遙操作演示，重新微調(diào)模型。

這就形成了一個(gè)折磨人的「打地鼠」模式：物理世界的不可控因素是無窮無盡的，只要遇到?jīng)]見過的「地鼠」，機(jī)器人就會(huì)停擺，只能等待人類工程師來打補(bǔ)丁。

研究人員認(rèn)為，改變這一現(xiàn)狀的核心點(diǎn)在于把外部提供的人工監(jiān)督，改為機(jī)器人自身的交互經(jīng)驗(yàn)。

LWD（Learning While Deploying，部署中學(xué)習(xí)）是一套讓通才 VLA 策略在真實(shí)世界部署中持續(xù)自主改進(jìn)的可擴(kuò)展強(qiáng)化學(xué)習(xí)系統(tǒng)，在業(yè)內(nèi)首次實(shí)現(xiàn)了具身 VLA 的大規(guī)模 RL 預(yù)訓(xùn)練 + 后訓(xùn)練。該工作由上海創(chuàng)智學(xué)院和智元機(jī)器人聯(lián)合發(fā)布，創(chuàng)智學(xué)院導(dǎo)師，智元首席科學(xué)家羅劍嵐老師團(tuán)隊(duì)完成。

• 技術(shù)報(bào)告：《Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies》
• 鏈接：https://finch-static.agibot.com/LWD/lwd-paper.pdf
• 項(xiàng)目頁面：https://finch.agibot.com/research/lwd

這是對(duì)具身智能訓(xùn)練邏輯的一次重構(gòu)，把機(jī)器人從執(zhí)行工具變成了一個(gè)「動(dòng)態(tài)的智能網(wǎng)絡(luò)」。此前的 AI 從出廠那一刻起就是產(chǎn)品智力的巔峰，面對(duì)物理世界的無盡變化時(shí)經(jīng)常無所適從。LWD 打破了這種靜態(tài)，構(gòu)建了一個(gè)由真實(shí)世界強(qiáng)化學(xué)習(xí)（RL）驅(qū)動(dòng)的數(shù)據(jù)飛輪。

想象一下特斯拉的影子模式（Shadow Mode），但 LWD 走得更深，后者是一個(gè)完全閉環(huán)的行動(dòng)系統(tǒng)：

LWD 被定義為集群級(jí)（fleet-scale）的離線到在線（offline-to-online）強(qiáng)化學(xué)習(xí)框架，用于通用 VLA（視覺 - 語言 - 動(dòng)作）策略的閉環(huán)持續(xù)訓(xùn)練。

它從一個(gè)預(yù)訓(xùn)練好的 VLA 模型開始，利用收集到的機(jī)器人數(shù)據(jù)，包括專家演示、歷史成功與失敗的 rollout 數(shù)據(jù)、以及人類探索邊界的「把玩」數(shù)據(jù)來進(jìn)行離線強(qiáng)化學(xué)習(xí)預(yù)訓(xùn)練。這些策略會(huì)被部署到機(jī)器人集群中，機(jī)器人在自主執(zhí)行任務(wù)或由人類接管時(shí)，生成的數(shù)據(jù)會(huì)實(shí)時(shí)混合之前的離線數(shù)據(jù)，在云端持續(xù)更新策略，將進(jìn)化后的更強(qiáng)「大腦」下發(fā)給物理集群。

這使得每一個(gè)被部署的機(jī)器人既在執(zhí)行任務(wù)，也是提供學(xué)習(xí)信號(hào)的數(shù)據(jù)源。

LWD pipeline 與算法架構(gòu)概覽。

在羅劍嵐團(tuán)隊(duì)的具身智能訓(xùn)練過程中，機(jī)器人集群被投放到真實(shí)環(huán)境中執(zhí)行理貨、搬運(yùn)等任務(wù)。在執(zhí)行過程中，機(jī)器人身上的傳感器會(huì)記錄下每一次觸碰、每一次抓取、以及物體滑落的力覺變化。這些第一手資料被不斷傳回云端，強(qiáng)化學(xué)習(xí)算法開始對(duì)策略進(jìn)行迭代。

數(shù)據(jù)飛輪的轉(zhuǎn)速直接由集群自身的運(yùn)行規(guī)模決定，部署的機(jī)器人越多、在真實(shí)世界里運(yùn)行得越久，模型吸取經(jīng)驗(yàn)的速度就越快

不僅是實(shí)際部署的訓(xùn)練方式，LWD 的真正靈魂在于從失敗中學(xué)習(xí)的機(jī)制。在傳統(tǒng)的模仿學(xué)習(xí)眼里，只有人類專家的完美演示才是有效數(shù)據(jù)，這意味著 AI 只是在「背答案」。LWD 試圖賦予機(jī)器人糾偏重試的本能，在其框架下，物理世界里所有類型的交互都能被提取出學(xué)習(xí)價(jià)值，那些搞砸的失敗軌跡也會(huì)被全盤吸收。

這些都能教會(huì)它如何更好地在復(fù)雜的物理世界中維持穩(wěn)態(tài)。

四大維度創(chuàng)新

為了讓 VLA 能夠在現(xiàn)實(shí)世界中持續(xù)訓(xùn)練，更好地消化大規(guī)模部署的機(jī)器人集群數(shù)據(jù)，攻克超長任務(wù)的誤差累積，研究人員在 LWD 的底層架構(gòu)上實(shí)現(xiàn)了四個(gè)維度的創(chuàng)新。

首先，LWD 的核心算法組件將價(jià)值評(píng)估與策略提取分離，這對(duì)于將離線到在線強(qiáng)化學(xué)習(xí)應(yīng)用于基于流的 VLA 策略至關(guān)重要。在價(jià)值評(píng)估方面，LWD 引入了 DIVL（分布型隱式價(jià)值學(xué)習(xí)）。傳統(tǒng)的強(qiáng)化學(xué)習(xí)需要去預(yù)測一個(gè)確切的標(biāo)量分?jǐn)?shù)，而 DIVL 則是用類似分類的方式擬合出一個(gè)「價(jià)值分布」，并能根據(jù)不確定性自適應(yīng)調(diào)整策略。

這種方法不僅保留了評(píng)估的準(zhǔn)確性，也很大程度上適應(yīng)了物理世界中獎(jiǎng)勵(lì)稀疏、異構(gòu)的集群經(jīng)驗(yàn)回放（Fleet Replay）以及離線到在線的分布偏移場景，確保了即使在任務(wù)獎(jiǎng)勵(lì)極其稀疏、執(zhí)行序列長達(dá) 3-5 分鐘的情況下，系統(tǒng)依然能精準(zhǔn)識(shí)別出到底是哪一秒的動(dòng)作決定了最終的成敗。

其次，針對(duì)目前先進(jìn) VLA 模型普遍采用的復(fù)雜流匹配（Flow-matching）架構(gòu)，LWD 引入QAM（伴隨匹配 Q 學(xué)習(xí)）來進(jìn)行策略提取。它將價(jià)值網(wǎng)絡(luò)引導(dǎo)的動(dòng)作改進(jìn)轉(zhuǎn)化為沿著流軌跡的局部回歸目標(biāo)，巧妙地繞過了生成模型難以直接反向傳播的阻礙，讓動(dòng)作模型能高效地聽懂優(yōu)化指令，無需依賴顯式的動(dòng)作似然函數(shù)，還大幅降低了算力開銷，保障了策略更新的穩(wěn)定性。

第三項(xiàng)關(guān)鍵技術(shù)，是專為攻克「長程操作」難題設(shè)計(jì)的動(dòng)態(tài)多步 TD 策略（Dynamic n-step TD Strategy）。在現(xiàn)實(shí)物理任務(wù)中，強(qiáng)化學(xué)習(xí)關(guān)注的獎(jiǎng)勵(lì)極度稀疏。該策略會(huì)根據(jù)任務(wù)長度和訓(xùn)練階段，智能調(diào)整預(yù)判未來的「步長（n）」。

例如在離線訓(xùn)練長程任務(wù)時(shí)，它會(huì)將步長拉大到 n=10，讓成功信號(hào)迅速反向傳導(dǎo)穿透整個(gè)動(dòng)作周期；而在實(shí)機(jī)在線部署時(shí)，又會(huì)切回到 n=1。

這就完美兼顧了信號(hào)回傳的效率，同時(shí)極大地降低了模型在線更新時(shí)的方差，確保了實(shí)機(jī)迭代的穩(wěn)定。

最后，要讓 LWD 整個(gè)數(shù)據(jù)飛輪轉(zhuǎn)動(dòng)起來，還需要有一個(gè)基礎(chǔ)設(shè)施底座。研究人員提出了分段異步 Actor-Learner 架構(gòu)。在訓(xùn)練的過程中，現(xiàn)實(shí)世界中負(fù)責(zé)執(zhí)行和采集數(shù)據(jù)的「機(jī)器人集群（Actor）」與云端集中算力更新策略的「學(xué)習(xí)器（Learner）」徹底解耦。兩邊的規(guī)模可以獨(dú)立擴(kuò)容，互不干擾。前端機(jī)器人「隨緣」地異步上傳殘次或成功的軌跡數(shù)據(jù)，而后端云端通過引入中央?yún)f(xié)調(diào)器打上「快照」截?cái)啵亚岸水惒降膩y流，變成了同步的、全局一致的數(shù)據(jù)集進(jìn)行訓(xùn)練。

這套基礎(chǔ)設(shè)施為整套訓(xùn)練機(jī)制帶來了穩(wěn)定性，前端產(chǎn)生的數(shù)據(jù)化為云端學(xué)習(xí)的經(jīng)驗(yàn)僅需 41 秒，而云端更新模型后通過發(fā)布 - 訂閱頻道推送到機(jī)器人端，中位數(shù)延遲僅需 38 秒。

真實(shí)世界大考

5 分鐘長程操作，超 90% 成功率

為了驗(yàn)證 LWD 的能力，這套新方法部署到了 16 臺(tái) Agibot G1 雙臂機(jī)器人上，并在真實(shí)環(huán)境中進(jìn)行了 8 項(xiàng)操作任務(wù)測試。

其中最能驗(yàn)出系統(tǒng)成色的是 4 項(xiàng)分鐘級(jí)長程連貫操作任務(wù)：泡功夫茶、榨果汁、調(diào)雞尾酒以及打包鞋盒。

LWD 進(jìn)行的評(píng)估任務(wù)。

在目前大多數(shù)機(jī)器人的演示視頻中，我們看到的往往是「抓起蘋果放到籃子里」這種持續(xù)十幾秒的單一動(dòng)作，對(duì)于商業(yè)落地來說，這還遠(yuǎn)遠(yuǎn)不夠。

真實(shí)世界中的具身智能任務(wù)通常需要持續(xù) 3 到 5 分鐘，包含幾十個(gè)連續(xù)的物理交互子步驟。在這個(gè)漫長的過程中，誤差會(huì)像滾雪球一樣累積。泡茶的第一步抓取時(shí)偏了 1 厘米，可能導(dǎo)致第三步倒水時(shí)灑出，最終導(dǎo)致第五步完全崩潰。

這就要求機(jī)器人不僅要?jiǎng)幼骶珳?zhǔn)，更需要擁有從中間錯(cuò)誤狀態(tài)中恢復(fù)的能力，以及跨越長周期的貢獻(xiàn)度分配（Credit Assignment）能力。

在長任務(wù)壓力測試下， LWD 的優(yōu)勢(shì)逐漸凸顯了出來。在所有 8 項(xiàng)任務(wù)的綜合評(píng)分中，經(jīng)過在線訓(xùn)練強(qiáng)化的 LWD (Online) 平均成功率達(dá)到了 0.95。作為對(duì)比，傳統(tǒng)的純行為克隆（SFT）只有 0.76，引入了人類干預(yù)糾偏的 HG-DAgger 方案為 0.85，而業(yè)內(nèi)先進(jìn)的離線后訓(xùn)練方案 RECAP 也止步于 0.85。

各項(xiàng)任務(wù)的成功率實(shí)驗(yàn)結(jié)果。可見 LWD 實(shí)現(xiàn)了卓越的性能，在獲得更高成功率的同時(shí)，顯著縮短了周期時(shí)間。

八項(xiàng)真實(shí)世界操作任務(wù)的主要結(jié)果，涵蓋了四項(xiàng)雜貨補(bǔ)貨任務(wù)和四項(xiàng)長周期任務(wù)。LWD (Online) 方法取得了最佳的總平均分（0.95），在全部四項(xiàng)長周期任務(wù)中均獲最高分。

在最困難的長程任務(wù)組，LWD (Online) 取得了 0.91 的平均得分，甩開了 RECAP 的 0.77 和 Dagger-SOP 的 0.73。在速度上 LWD 也有優(yōu)勢(shì)，其平均循環(huán)時(shí)間比純行為克隆短了 23.75 秒。

值得一提的是，在這項(xiàng)研究 652.5 小時(shí)的離線數(shù)據(jù)池中，人類專家的完美演示占 51.6%，有多達(dá) 34.8% 的內(nèi)容是完全失敗的交互軌跡，包括歷史策略搞砸的 Rollout，以及人類為了幫助價(jià)值函數(shù)區(qū)分成功與失敗行為而制造的失敗數(shù)據(jù)。

LWD 賦予了機(jī)器人在復(fù)雜物理交互中極強(qiáng)的穩(wěn)定性與從容感，完美印證了飛輪效應(yīng)的設(shè)想。

具身智能也進(jìn)入「下半場」了？

在人工智能的大語言模型領(lǐng)域，整個(gè)行業(yè)正在經(jīng)歷一次重要的共識(shí)轉(zhuǎn)變：算力與資源的重心，正從預(yù)訓(xùn)練（Pre-train）向后訓(xùn)練（Post-training）傾斜。

去年，AI 研究領(lǐng)域興起了對(duì)于大模型「下半場」的討論：為什么現(xiàn)在的 AI 已經(jīng)能在各種人類考試中超越人類，甚至拿奧賽金牌，但現(xiàn)實(shí)世界、經(jīng)濟(jì)和 GDP 卻似乎沒有發(fā)生翻天覆地的變化？

人們認(rèn)為問題在于評(píng)估（Evaluation），我們要把真實(shí)世界的效用作為新的評(píng)估標(biāo)準(zhǔn)，設(shè)計(jì)出貼近現(xiàn)實(shí)世界的新任務(wù)和新范式，而不是簡單地設(shè)計(jì)更難的考卷。基于這個(gè)思路，后訓(xùn)練正在得到前所未有的重視，近期的一系列基礎(chǔ)大模型也獲得了性能上的突破。

后訓(xùn)練正在變得越來越重要，這種思考現(xiàn)在也得到了真實(shí)物理世界的驗(yàn)證。LWD 的出現(xiàn)，或許會(huì)如同大模型領(lǐng)域的 RLHF 一樣成為轉(zhuǎn)折點(diǎn)，推動(dòng)新一輪的 Scale Up。

未來的通用機(jī)器人，比拼的不再僅僅是出廠時(shí)喂了多少數(shù)據(jù)，而是在千行百業(yè)中部署后主動(dòng)學(xué)習(xí)的速度。