字節(jié)跳動使用MANUS手套推進(jìn)雙靈巧手操作

將視覺-語言-行動(VLA)策略擴(kuò)展到具有高自由度靈巧手的雙手機(jī)器人是一項艱難的挑戰(zhàn)。ByteDexter V2靈巧手每只手有21個自由度，該方案創(chuàng)造了一個傳統(tǒng)遙操作方法難以企及的56自由度雙手系統(tǒng)。字節(jié)跳動Seed的研究人員在GR-Dexter技術(shù)報告中指出，當(dāng)每個末端執(zhí)行器都是需要精確、協(xié)調(diào)控制的多指擬人手時，難度會大大增加。

為了讓VLA的操作在該規(guī)模上取得成功，研究人員需要捕捉復(fù)雜的手與物體交互的高質(zhì)量演示數(shù)據(jù)。核心問題是:如何有效地收集自然的雙手運(yùn)動軌跡，以保持對訓(xùn)練穩(wěn)定操作策略至關(guān)重要的細(xì)粒度手指運(yùn)動學(xué)。

用于真實(shí)機(jī)器人數(shù)據(jù)收集的高保真手部跟蹤

字節(jié)跳動Seed通過將MANUS Metagloves 手套作為其數(shù)據(jù)收集管道中的主要手部動作接口解決了這一難題。將用于手腕姿勢跟蹤的Meta Quest VR耳機(jī)與用于捕捉手指運(yùn)動細(xì)節(jié)的MANUS手套相結(jié)合，Quest控制器安裝在手套背上，以提高協(xié)調(diào)的手腕-手跟蹤的可靠性。

該配置使遙控操作者能夠同時控制兩個裝備V2靈巧手的Franka Research 3機(jī)械臂實(shí)現(xiàn)長視野操作任務(wù)。通過MANUS手套捕捉到的人類手部動作實(shí)時重定向到關(guān)節(jié)位置命令。手部運(yùn)動重定向被公式化為一個約束優(yōu)化問題，該問題結(jié)合了手腕到指尖和拇指到指尖的對準(zhǔn)項以及避免碰撞約束，通過序列二次規(guī)劃求解。

遙操作系統(tǒng)展示了從諸如積木之類粗糙操作到包括編織和書法在內(nèi)的精細(xì)運(yùn)動任務(wù)的各種任務(wù)的穩(wěn)定性。經(jīng)過培訓(xùn)后，遙控操作者成功完成了長時間的任務(wù)，能夠?yàn)榛瘖y臺清理和可推廣的取放實(shí)驗(yàn)收集大約20小時的高保真機(jī)器人軌跡。

支持跨靈巧手傳輸?shù)臄?shù)據(jù)質(zhì)量

基于MANUS的遠(yuǎn)程操作管道不僅對收集機(jī)器人演示數(shù)據(jù)至關(guān)重要，同時也對支持GR-Dexter泛化能力的更廣泛的數(shù)據(jù)策略至關(guān)重要。人手和ByteDexter V2設(shè)計之間的擬人化對應(yīng)為利用大規(guī)模以自我為中心的手到對象交互數(shù)據(jù)集創(chuàng)造了巨大潛力的應(yīng)用前景。

未來方向

字節(jié)跳動Seed的實(shí)踐表明，將高保真手部跟蹤與擬人化靈巧手硬件相結(jié)合，為雙手操作研究創(chuàng)建了一個有效的遙操作接口。MANUS手套能夠有效地收集演示數(shù)據(jù)，這些數(shù)據(jù)對于在高自由度系統(tǒng)上執(zhí)行VLA訓(xùn)練策略至關(guān)重要。人類和機(jī)器人手之間的結(jié)構(gòu)相似性有助于跨靈巧手控制轉(zhuǎn)移，這是超越基于手爪系統(tǒng)擴(kuò)展靈巧操作能力的關(guān)鍵優(yōu)勢。