圖片生成仿真！這個(gè)AI讓3D資產(chǎn)「開箱即用」，直接賦能機(jī)器人訓(xùn)練

非羊 整理自 凹非寺
量子位 | 公眾號(hào) QbitAI

一張照片，就能生成可直接用于仿真的3D資產(chǎn)。

（沒錯(cuò)，下圖中幾乎所有物體都是AI生成的）

隨著三維建模從傳統(tǒng)的靜態(tài)視覺效果，逐步邁向可用于仿真與交互的物理可動(dòng)資產(chǎn)，如何直接生成具備物理屬性與關(guān)節(jié)結(jié)構(gòu)的3D對(duì)象，成為推動(dòng)具身智能（embodied AI）發(fā)展的關(guān)鍵。

然而，現(xiàn)有大多數(shù)3D生成方法往往忽視這些核心的物理與運(yùn)動(dòng)特性，嚴(yán)重限制了其在機(jī)器人等相關(guān)領(lǐng)域的應(yīng)用。

為此，來自南洋理工大學(xué)與上海人工智能實(shí)驗(yàn)室的合作研究團(tuán)隊(duì)提出PhysX-Anything——首個(gè)面向仿真、具備物理屬性的3D生成框架：僅需單張圖像，即可生成高質(zhì)量、可直接用于仿真的3D資產(chǎn)，并同時(shí)具備顯式幾何結(jié)構(gòu)、關(guān)節(jié)運(yùn)動(dòng)以及物理參數(shù)。

從「靜態(tài)模型」走向「物理仿真」

在機(jī)器人、具身智能和交互仿真等任務(wù)中，對(duì)能在物理引擎中直接運(yùn)行的高質(zhì)量3D資產(chǎn)需求日益增長(zhǎng)。然而，當(dāng)前大多數(shù)3D生成方法仍側(cè)重于整體幾何與外觀，或僅關(guān)注部件結(jié)構(gòu)，普遍缺失密度、絕對(duì)尺度、關(guān)節(jié)約束等關(guān)鍵物理信息，難以直接用于真實(shí)仿真與控制。

盡管已有少數(shù)研究開始探索可動(dòng)3D對(duì)象的生成，但由于高質(zhì)量3D物理標(biāo)注數(shù)據(jù)的稀缺，多采用“檢索現(xiàn)有模型+附加運(yùn)動(dòng)”的范式，難以從單張真實(shí)圖像泛化生成全新且物理一致的資產(chǎn)。此外，現(xiàn)有方法對(duì)形變行為的建模也常假設(shè)材料均勻或忽略部分物理屬性。即便是能夠生成物理3D資產(chǎn)的PhysXGen，其輸出也尚未支持在主流物理引擎中即插即用，限制了在控制任務(wù)中的實(shí)用性。

為彌合合成3D資產(chǎn)與真實(shí)下游應(yīng)用之間的差距，研究團(tuán)隊(duì)提出了PhysX-Anything——首個(gè)面向仿真的物理3D生成范式。該框架僅憑一張圖像，即可生成高質(zhì)量、可直接導(dǎo)入標(biāo)準(zhǔn)模擬器的sim-ready（仿真就緒）3D資產(chǎn)。該成果有望為3D生成、具身智能與機(jī)器人領(lǐng)域帶來新的可能性與研究范式。

如何通過一張圖，實(shí)現(xiàn)3D物理重建？

PhysX-Anything采用“由粗到細(xì)（coarse-to-fine）”的生成框架。給定一張真實(shí)場(chǎng)景圖像，系統(tǒng)通過多輪對(duì)話，依次生成整體物理描述與各部件幾何信息，通過對(duì)物理表征進(jìn)行解碼，最終解碼輸出六種常用格式的可仿真3D資產(chǎn)。

1. 實(shí)現(xiàn)193倍壓縮比！「體素」如何重構(gòu)3D表示？

在傳統(tǒng)視覺語言模型（VLM）中進(jìn)行3D生成時(shí)，為壓縮原始網(wǎng)格的token長(zhǎng)度，主流方法通常采用基于頂點(diǎn)量化的文本序列表示，但所得幾何token仍十分冗長(zhǎng)。3D VQ-GAN雖可進(jìn)一步壓縮幾何token，卻需要在微調(diào)階段引入額外特殊token和自定義tokenizer，增加了訓(xùn)練與部署的復(fù)雜度。

為此，研究團(tuán)隊(duì)提出一種新型3D表征方式，在顯式保留幾何結(jié)構(gòu)的同時(shí)顯著縮短token序列，且無需任何額外token。該方法受體素（就是三維的像素）表征在精度與效率間良好折中的啟發(fā)，基于體素構(gòu)建幾何表示：首先在323體素網(wǎng)格上由VLM建模粗略幾何，再由下游解碼器細(xì)化得到高保真形狀，從而保留體素顯式結(jié)構(gòu)優(yōu)勢(shì)，同時(shí)避免過高token開銷。

在整體信息表征上，團(tuán)隊(duì)沿用樹狀、VLM友好的結(jié)構(gòu)，并以JSON風(fēng)格格式替代標(biāo)準(zhǔn)URDF，使其包含更豐富的物理屬性與文本描述，便于VLM理解與推理。同時(shí)，團(tuán)隊(duì)將關(guān)鍵運(yùn)動(dòng)學(xué)參數(shù)（如運(yùn)動(dòng)方向、關(guān)節(jié)軸位置、運(yùn)動(dòng)范圍等）統(tǒng)一映射到體素空間，以保證運(yùn)動(dòng)學(xué)與幾何結(jié)構(gòu)的一致性。

2. 從「全局藍(lán)圖」到「局部精修」

在上述物理3D資產(chǎn)表征的基礎(chǔ)上，研究團(tuán)隊(duì)采用Qwen2.5作為基礎(chǔ)模型，并在自建的物理3D數(shù)據(jù)集上對(duì)該VLM進(jìn)行微調(diào)。通過精心設(shè)計(jì)的多輪對(duì)話流程，PhysX-Anything能同時(shí)生成高質(zhì)量的全局描述（整體物理與結(jié)構(gòu)屬性）與局部信息（部件級(jí)幾何）。

為獲取更精細(xì)的幾何細(xì)節(jié)，團(tuán)隊(duì)受ControlNet啟發(fā)，設(shè)計(jì)了一個(gè)可控的flow transformer。該模塊將粗體素表示作為擴(kuò)散模型的引導(dǎo)信號(hào)，控制細(xì)粒度體素幾何的生成。在得到細(xì)粒度體素表示后，系統(tǒng)采用預(yù)訓(xùn)練的結(jié)構(gòu)化潛在擴(kuò)散模型解碼出多種格式的3D資產(chǎn)，包括網(wǎng)格表面、輻射場(chǎng)與3D高斯等。

隨后，基于體素分配結(jié)果，使用最近鄰算法將重建網(wǎng)格劃分為部件級(jí)組件。

最終，結(jié)合全局結(jié)構(gòu)信息與細(xì)粒度體素幾何，PhysX-Anything能夠生成用于仿真的URDF、XML及部件級(jí)網(wǎng)格，實(shí)現(xiàn)“仿真就緒”的物理3D生成。

效果如何？多項(xiàng)實(shí)測(cè)全面驗(yàn)證

1. 在PhysX-Mobility數(shù)據(jù)集上的評(píng)估

研究團(tuán)隊(duì)將PhysX-Anything與當(dāng)前最新方法URDFormer、Articulate-Anything和PhysXGen進(jìn)行對(duì)比。如下表所示，PhysX-Anything在幾何與物理兩類指標(biāo)上均取得最優(yōu)表現(xiàn)。得益于強(qiáng)大的VLM先驗(yàn)，其在絕對(duì)尺度上的誤差大幅降低。此外，由于VLM結(jié)構(gòu)適合處理文本，PhysX-Anything在文本描述相關(guān)指標(biāo)上也取得最高得分，表明該方法方法不僅能夠生成物理上合理的屬性，還能產(chǎn)出連貫的、具備部件層級(jí)的文字描述，對(duì)物體結(jié)構(gòu)與功能具備較強(qiáng)理解能力。

除了定量結(jié)果，定性對(duì)比也清晰顯示，PhysX-Anything在泛化能力方面具有顯著優(yōu)勢(shì)，尤其相較于檢索式方法更為突出。依托強(qiáng)大的VLM先驗(yàn)與高效表征設(shè)計(jì)，該系統(tǒng)還能生成比PhysXGen更合理、可信的物理屬性。

2. 真實(shí)世界場(chǎng)景測(cè)試

基于VLM的評(píng)估：為評(píng)估方法的泛化能力，團(tuán)隊(duì)進(jìn)一步在真實(shí)世界圖像上測(cè)試其性能。這些圖像覆蓋了最常見的日常物體類別。為避免VLM在某些具體物理屬性上判斷不穩(wěn)定的問題，本次評(píng)估重點(diǎn)放在幾何與關(guān)節(jié)運(yùn)動(dòng)質(zhì)量上。結(jié)果表明，PhysX-Anything在幾何與運(yùn)動(dòng)學(xué)參數(shù)兩項(xiàng)指標(biāo)上均顯著優(yōu)于所有對(duì)比方法，顯示出對(duì)真實(shí)輸入的強(qiáng)泛化能力。

作為補(bǔ)充，團(tuán)隊(duì)還召集了一些人類志愿者為不同模型的生成結(jié)果打分，PhysX-Anything的生成結(jié)構(gòu)在幾何與物理屬性都獲得了最高分，表明其生成結(jié)果對(duì)比來看也更受人類認(rèn)可。

在真實(shí)場(chǎng)景上的可視化結(jié)果也可進(jìn)一步直觀展示該方法的優(yōu)勢(shì)：PhysX-Anything能夠生成更加準(zhǔn)確的幾何結(jié)構(gòu)、關(guān)節(jié)運(yùn)動(dòng)以及物理屬性。

3. 「開箱即用」賦能具身智能訓(xùn)練

為驗(yàn)證生成資產(chǎn)對(duì)下游任務(wù)的支撐能力，團(tuán)隊(duì)在MuJoCo風(fēng)格的模擬器中進(jìn)行了實(shí)驗(yàn)。生成的sim-ready 3D資產(chǎn)——包括水龍頭、柜子、打火機(jī)、眼鏡等日常物體——可以直接導(dǎo)入模擬器，并用于接觸豐富的機(jī)器人策略學(xué)習(xí)。

該實(shí)驗(yàn)不僅展示了生成資產(chǎn)在物理行為與幾何結(jié)構(gòu)上的高度可信性，也突顯了它們?cè)谕苿?dòng)多種下游機(jī)器人與具身智能應(yīng)用方面的巨大潛力。

推動(dòng)3D重建從「形似」走向「神似」

研究團(tuán)隊(duì)提出首個(gè)面向仿真的物理3D生成范式PhysX-Anything，通過統(tǒng)一的VLM管線與定制3D表征，在顯式保留幾何結(jié)構(gòu)的前提下實(shí)現(xiàn)超過193倍的token壓縮，顯著提升了物理3D生成的效率與可擴(kuò)展性。

同時(shí)，團(tuán)隊(duì)構(gòu)建了覆蓋47個(gè)常見真實(shí)類別、具備豐富物理標(biāo)注的PhysX-Mobility數(shù)據(jù)集，大幅拓展了現(xiàn)有物理3D資產(chǎn)的多樣性。基于該數(shù)據(jù)集及真實(shí)世界場(chǎng)景的實(shí)驗(yàn)表明，PhysX-Anything在sim-ready物理3D生成上具有優(yōu)異性能與穩(wěn)健泛化能力，仿真實(shí)驗(yàn)進(jìn)一步驗(yàn)證了其在下游機(jī)器人策略學(xué)習(xí)中的應(yīng)用潛力。

該框架有望為3D視覺、具身智能與機(jī)器人研究開辟新的方向，推動(dòng)從“視覺建模”到“物理建模”的范式轉(zhuǎn)變。

視頻鏈接：https://mp.weixin.qq.com/s/gUooZUSc1yWQlf4NpViZrA

原論文第一作者曹子昂，南洋理工大學(xué)博士二年級(jí)，研究方向是計(jì)算機(jī)視覺、3D AIGC和具身智能。主要合作者為來自南洋理工大學(xué)洪方舟、陳昭熹和來自上海人工智能實(shí)驗(yàn)室的潘亮，通訊作者為南洋理工大學(xué)劉子緯教授。

論文鏈接：https://arxiv.org/abs/2511.13648
項(xiàng)目主頁：hthttps://physx-anything.github.io/
GitHub代碼：https://github.com/ziangcao0312/PhysX-Anything