如何使用MANUS手套大規(guī)模訓(xùn)練靈巧手操作策略

訓(xùn)練靈巧的操作策略需要大量的人類演示數(shù)據(jù)，這些數(shù)據(jù)精確地代表了手的全部運(yùn)動(dòng)范圍。手在高度自遮擋的配置中操作，與操作最相關(guān)的任務(wù)恰恰是基于視覺的跟蹤容易失敗的任務(wù)。對(duì)于構(gòu)建一般化操作模型的團(tuán)隊(duì)來說，質(zhì)量約束始于捕獲層。不一致或不完整的手姿態(tài)數(shù)據(jù)限制了下游架構(gòu)可以學(xué)習(xí)的內(nèi)容。

基于MANUS的捕捉，無需依賴攝像機(jī)

Mimic Robotics將MANUS數(shù)據(jù)手套作為人手演示的主要可穿戴輸入集成到其訓(xùn)練方案中。手套記錄了完整手部的連續(xù)、高分辨率的手指數(shù)據(jù)，產(chǎn)生了清晰的運(yùn)動(dòng)流，不受視線限制或環(huán)境照明條件的影響。

MANUS手套能夠隨著時(shí)間的推移保持跟蹤精度，不會(huì)出現(xiàn)漂移累積，這對(duì)于跨越多個(gè)操作員、捕捉任務(wù)和環(huán)境的收集工作流程至關(guān)重要。每次演示自始至終都會(huì)產(chǎn)生一致的姿勢數(shù)據(jù)。

支持跨用例的快速數(shù)據(jù)集擴(kuò)展

高精度、無遮擋、無漂移跟蹤和快速設(shè)置相結(jié)合，使Mimic Robotics能夠隨著新客戶用例的引入，快速擴(kuò)展其數(shù)據(jù)收集管道。可穿戴方法消除了固定捕捉基礎(chǔ)設(shè)施可能產(chǎn)生的瓶頸，使團(tuán)隊(duì)能夠?qū)⑷耸忠暈楸銛y式高保真數(shù)據(jù)源，可以部署在任何需要演示的地方。

為什么數(shù)據(jù)層的精確手部跟蹤很重要

隨著機(jī)器人領(lǐng)域朝著大型和多樣化演示數(shù)據(jù)集上訓(xùn)練的操作策略發(fā)展，捕捉層的完整性成為模型性能的基本約束。基于可穿戴手套的傳感解決了基于攝像機(jī)的方法在源頭上的結(jié)構(gòu)限制，產(chǎn)生了一致的、可擴(kuò)展的和可在受控實(shí)驗(yàn)室環(huán)境之外部署的運(yùn)動(dòng)學(xué)數(shù)據(jù)。對(duì)于構(gòu)建必須在現(xiàn)實(shí)世界條件下可靠運(yùn)行的物理人工智能系統(tǒng)的團(tuán)隊(duì)來說，在人類演示期間收集的手部姿態(tài)數(shù)據(jù)的質(zhì)量直接決定了下游可以學(xué)習(xí)的上限。