視覺跟蹤、運動捕捉、VR接口等不同方式遙操作機器人精度對比

在當前的機器人研究中，有多種方法用于人對機器人的遙操作，包括基于視覺的跟蹤、運動捕捉系統、VR接口和外骨骼服等。然而目前仍然沒有標準化的框架來客觀一致地比較這些方法。

一項來自上海人工智能實驗室2025年的研究通過引入以下內容填補了這一空白，TeleOpBench評價雙臂靈巧遙操作的統一基準。該基準統計了英偉達Isaac Sim中運行一致的任務并將任務成功率和完成時間作為模擬和物理環境中的主要評估指標。

遙操作接口

TeleOpBench比較了捕捉人類運動并將其傳輸給機器人的四種方法:

基于動作捕捉(MANUS數據手套+ Xsens)的遙操作：通過Xsens MVN套裝與高分辨率的MANUS數據手套手部動作捕捉，可實現精確的肢體和手部關節運動。

基于視覺的遙操作：使用單目RGB攝像頭進行人體姿勢估計(SMPLer-X，MediaPipe)和反向運動學匹配。

基于VR接口的遙操作：使用Apple Vision Pro和OpenXR跟蹤進行手腕和手部姿勢預估。

基于外骨骼的遙操作：使用運動學對齊的外骨骼機械服進行關節測繪，搭配霍爾效應傳感器手套，每只手提供15個自由度。

結果

在以上實驗中，四個遙操作接口在三個商業人形平臺(Unitree H1-2，Fourier GR1-T2，Unitree G1)上通過10個不同復雜性的代表性任務進行了比較。

表1：不同遙操作系統在模擬任務中的性能比較

表2：現實世界中遙操作系統跨任務執行的性能比較

在模擬和真實實驗中，性能趨勢保持一致。運動捕捉管線中使用MANUS數據手套和Xsens，MVN實現了最高的成功率和最快的完成時間。其在抓取、放置和雙手協調方面表現出卓越的精度，具有很強的模擬到真實場景的轉換能力。

外骨骼和系統性能可靠，但擁有特定的限制，如較慢的大臂運動對無遮擋環境要求較高。基于視覺的跟蹤對于簡單的任務表現良好，但在復雜、高靈敏的場景中卻表現不佳。

為什么使用動捕控制機器人效果最好

對于具身機器人學習，人類演示的質量直接影響策略性能和虛擬到現實的轉移。手指清晰度、運動平滑度和協調性的微小差異會顯著影響習得的操作策略；在現實任務中的表現也是。因此，高幀率跟蹤對于可靠的機器人學習至關重要。

TeleOpBench結果表明，由MANUS數據手套Xsens全身動捕系統提供的高保真手指和肢體跟蹤在被評估的系統中提供了最準確和有效的遙操作數據。