新一代具身智能仿真框架：高吞吐并行高保真渲染助力規(guī)模化訓(xùn)練

清華AIR DISCOVER Lab 投稿量子位 | 公眾號 QbitAI

具身人工智能領(lǐng)域，正向著以視覺為中心的感知范式，發(fā)生全面而深刻的轉(zhuǎn)型。

作為機器人感知世界時信息密度最高、與自然人機交互最契合的模態(tài)，視覺是解鎖通用機器人智能、實現(xiàn)仿真到真實無縫遷移的核心密鑰。

但當研究者們試圖沿著這條路徑向前探索時，卻始終需要在“看得真”和“訓(xùn)得快”之間做艱難取舍：

高保真視覺渲染帶來了巨大計算與內(nèi)存開銷；人工建模總是耗時耗力低效循環(huán)；現(xiàn)有平臺的兼容性缺陷不斷限制著創(chuàng)新邊界，嚴重束縛了具身智能研究的想象力。

為了攻克這些制約具身智能領(lǐng)域發(fā)展的核心難題，清華大學智能產(chǎn)業(yè)研究院（AIR）DISCOVER Lab聯(lián)合謀先飛技術(shù)、原力靈機、求之科技和地瓜機器人，提出了GS-Playground通用多模態(tài)仿真框架。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

作為一套專為視覺中心的機器人學習打造的新一代仿真基礎(chǔ)設(shè)施，GS-Playground首次實現(xiàn)了高吞吐量并行物理仿真與高保真視覺渲染的深度融合，在保證物理仿真所需的高精度與強穩(wěn)定性的同時，提供了大規(guī)模視覺驅(qū)動策略訓(xùn)練與仿真到現(xiàn)實遷移所需的渲染效率與環(huán)境支撐。

該成果已被機器人領(lǐng)域國際頂級學術(shù)會議RSS 2026（Robotics: Science and Systems）錄用。

Figure 1. GS-Playground Overview

通用全場景原生兼容：打造統(tǒng)一的具身智能仿真訓(xùn)練底座

GS-Playground設(shè)計之初，便定位于通用型全場景具身智能仿真平臺，平臺核心搭載了團隊自研的跨平臺并行物理引擎，原生支持CPU/GPU雙后端與Windows/Linux/macOS全系統(tǒng)運行，可無縫適配全品類機器人形態(tài)，包括市面上常見的四足機器人、 全尺寸人形機器人、多自由度工業(yè)機械臂，全部實現(xiàn)開箱即用的原生適配，無需額外的二次開發(fā)工作。

在此基礎(chǔ)上，平臺全面覆蓋機器人運動控制、自主導(dǎo)航、高接觸精度操作三大核心任務(wù)場景。

在接口設(shè)計上，平臺API全面兼容行業(yè)通用的MuJoCo MJCF格式，可實現(xiàn)現(xiàn)有仿真項目的零摩擦快速遷移，最大程度降低研究者的適配成本。

自研高性能并行物理引擎：為接觸密集型機器人學習提供穩(wěn)定底層動力學

對于視覺中心的機器人學習而言，“看得真”只是第一步，真正決定策略能否遷移到真實世界的，是仿真系統(tǒng)能否在復(fù)雜接觸、摩擦、碰撞與多剛體耦合中，持續(xù)給出穩(wěn)定、可信的物理反饋。

針對這一核心瓶頸，GS-Playground從底層自研了一套高性能并行物理引擎，采用廣義坐標下的速度-沖量動力學公式，將接觸與摩擦統(tǒng)一建模為混合互補問題（MCP），并通過投影高斯-賽德爾（PGS）求解器實現(xiàn)穩(wěn)定求解。

相比依賴軟接觸正則化的傳統(tǒng)方式，這一設(shè)計更強調(diào)靜摩擦保持、高剛度約束與大時間步穩(wěn)定性，尤其適合足式運動、機械臂抓取和密集多體接觸等高動態(tài)任務(wù)。

為了支撐大規(guī)模并行訓(xùn)練，團隊進一步引入約束島并行化接觸流形熱啟動機制：

前者將彼此獨立的剛體交互系統(tǒng)拆分為多個約束島并行求解，后者利用上一幀已收斂的接觸沖量作為當前幀初值，將穩(wěn)定堆疊場景中的PGS迭代次數(shù)從50次以上降低到10次以內(nèi)，大幅提升復(fù)雜接觸場景下的收斂效率。

實驗結(jié)果充分驗證了這一自研物理引擎的穩(wěn)定性與吞吐優(yōu)勢。

在Franka Panda動態(tài)抓取搖晃測試中，GS-Playground CPU后端在0.002s與0.01s兩種時間步下，均實現(xiàn)90/90的完整保持成功率，顯著優(yōu)于MuJoCo、IsaacSim與Genesis等主流方案；

在27自由度人形機器人復(fù)雜多體交互基準中，當單環(huán)境擴展到50個機器人時，GS-Playground CPU后端仍能保持1015 FPS的穩(wěn)定吞吐，相比MuJoCo實現(xiàn)32倍加速，相比MjWarp實現(xiàn)約600倍提升。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

自研內(nèi)存高效Batch 3DGS渲染技術(shù)：打破保真與效率的行業(yè)不可能三角

數(shù)千個高保真3DGS場景同時渲染帶來的內(nèi)存與算力挑戰(zhàn)，一直是制約視覺驅(qū)動機器人大規(guī)模訓(xùn)練的核心卡點。

針對剛體仿真環(huán)境，團隊首先設(shè)計了專屬優(yōu)化的高效剪枝策略

該策略可將高斯點數(shù)量減少90%以上，同時峰值信噪比（PSNR）下降幅度不足0.05，視覺差異幾乎無法被視覺運動策略感知。

這一技術(shù)在大幅降低顯存占用的同時，幾乎無損地保留了場景的視覺質(zhì)量，為大規(guī)模高保真并行仿真奠定了核心基礎(chǔ)。

在此基礎(chǔ)上，團隊研發(fā)了面向批處理深度優(yōu)化的批量3DGS渲染器，實現(xiàn)了多場景大規(guī)模高斯渲染的并行處理。

在單張NVIDIA RTX 4090 GPU上，渲染器在640×480分辨率下可實現(xiàn)最高10000 FPS的突破性吞吐量，最多可同時渲染2048個場景，不僅顯著提升了單位算力的渲染效率，更能完美適配大批次強化學習的訓(xùn)練工作流，讓大規(guī)模并行訓(xùn)練不再受限于渲染性能。

Figure 2. Rendering throughput comparison between GS-Playground and Isaac Sim’s ray-tracing renderer across varying resolutions

此外，團隊還提出了剛性連桿高斯運動學（RLGK）機制，將3D高斯簇與物理引擎中的對應(yīng)剛體進行精準綁定，確保視覺表征與物理對象的位姿能偶實時同步更新，實現(xiàn)了零額外開銷的狀態(tài)同步。

即便是在機器人快速運動、頻繁接觸交互的動態(tài)場景中，渲染器依然能夠?qū)崿F(xiàn)無偽影的動態(tài)畫面輸出，從根源上解決了動態(tài)場景中的渲染時間一致性與視覺偽影問題，保障了訓(xùn)練數(shù)據(jù)的穩(wěn)定性與可靠性。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

自動化“Sim-Ready”Real2Sim工作流：降低 Real2Sim門檻

傳統(tǒng)仿真場景的構(gòu)建，始終是機器人研發(fā)流程中效率最低、成本最高的環(huán)節(jié)之一。

無論人工建模多么精細，卻始終無法完全復(fù)刻真實環(huán)境的視覺細節(jié)與物理特性，感知與物理的雙重鴻溝成為了制約sim-to-real跨域遷移的核心卡點。

針對這一行業(yè)痛點，GS-Playground設(shè)計了一套全自動化的“圖像到物理”Real2Sim工作流，僅需輸入單張RGB圖像，即可在數(shù)分鐘內(nèi)完成仿真就緒（Sim-Ready）數(shù)字資產(chǎn)的全流程創(chuàng)建，實現(xiàn)了真實場景到數(shù)字孿生的快速轉(zhuǎn)換，同時保證視覺真實感與物理一致性。

Figure 3. GS-Playground System Architecture

• 左：自動化圖像到物理仿真管線，通過目標分割、背景補繪、三維高斯濺射 / 網(wǎng)格重建，從RGB輸入構(gòu)建可直接用于仿真的資源。
• 中：物理與渲染仿真核心，包含CPU/GPU物理后端、集成傳感器與激光雷達仿真，以及經(jīng)過剪枝優(yōu)化與剛性連桿運動學適配的批量三維高斯濺射渲染。
• 右：下游應(yīng)用，包括操作任務(wù)、導(dǎo)航任務(wù)以及大規(guī)模并行強化學習。

基于這套成熟的自動化工作流，團隊還構(gòu)建了Bridge-GS數(shù)據(jù)集，在Bridge-v2數(shù)據(jù)集的基礎(chǔ)上，補充了場景與物體級的3DGS表征、物體級網(wǎng)格模型、6D位姿數(shù)據(jù)與校準后的相機參數(shù)，為行業(yè)提供了標準化的高質(zhì)量仿真數(shù)據(jù)集。

同時團隊在InteriorGS數(shù)據(jù)集上完成了完整的泛化性驗證，充分證明了該管線對不同室內(nèi)場景的強適配能力與泛化性能。

【此處無法插入視頻，遺憾……可到量子位公眾號查看～】

全鏈路端到端驗證：實現(xiàn)零微調(diào)的無縫仿真到真實遷移

基于三大核心技術(shù)的深度協(xié)同，GS-Playground完整構(gòu)建了從真實場景重建、大規(guī)模并行訓(xùn)練，到真機部署的全鏈路端到端閉環(huán)，真正實現(xiàn)了“重建即訓(xùn)練、訓(xùn)練即部署”的研發(fā)流程革新。

在策略訓(xùn)練與真機遷移的核心能力上，平臺可穩(wěn)定支持數(shù)千個并行環(huán)境同時運行，為四足機器人、人形機器人、工業(yè)機械臂等全品類機器人，提供大規(guī)模視覺強化學習訓(xùn)練支撐。

僅在GS-Playground仿真環(huán)境中完成訓(xùn)練的視覺驅(qū)動策略，無需任何額外的微調(diào)與適配，就能直接部署到真實機器人上穩(wěn)定運行：

1. 四足和人形機器人的運動策略均可zero-shot部署到真機；
2. 視覺導(dǎo)航任務(wù)實現(xiàn)了零樣本的真機直接部署；
3. 機械臂抓取任務(wù)在零微調(diào)的前提下，真實場景成功率達到90%。

Figure 4.Real-world deployment of policies trained in GS-Playground

這一系列實驗結(jié)果，充分證明了平臺實現(xiàn)了真正無壁壘的仿真到真實遷移，也驗證了其在打通具身智能感知與物理跨域鴻溝上的核心價值。

開源賦能：與全球社區(qū)共同推動具身智能創(chuàng)新

GS-Playground作為行業(yè)內(nèi)首個實現(xiàn)高吞吐量并行物理仿真與高保真批量3DGS渲染深度融合的全棧仿真框架，從根源上突破了長期制約視覺驅(qū)動機器人學習的算力、顯存與資產(chǎn)生成三大核心瓶頸。

其自動化Real2Sim工作流，大幅降低了高保真仿真環(huán)境的構(gòu)建成本；

全維度的實驗驗證也充分證明，平臺在足式運動、自主導(dǎo)航、機器人操作等機器人主流任務(wù)中，能夠同時彌合物理與感知層面的仿真到現(xiàn)實鴻溝，實現(xiàn)真正的零微調(diào)真機部署。

未來，GS-Playground還將持續(xù)迭代優(yōu)化，不斷拓展能力邊界。

清華大學智能產(chǎn)業(yè)研究院DISCOVER Lab始終致力于推動具身智能領(lǐng)域的前沿研究與技術(shù)創(chuàng)新，我們將正式開源GS-Playground的全棧框架，提供一套高性能、易使用、高泛化性的核心基礎(chǔ)設(shè)施，助力大規(guī)模端到端視覺驅(qū)動機器人策略學習的進一步發(fā)展與產(chǎn)業(yè)落地。

項目主頁：
https://gsplayground.github.io
論文鏈接：
https://arxiv.org/abs/2604.25459
倉庫鏈接：
https://github.com/discoverse-dev/gs_playground