Sci Robot重磅：科學(xué)家讓機(jī)器人在復(fù)雜曲面實(shí)現(xiàn)通用任務(wù)遷移

當(dāng)我們切開(kāi)一根香蕉，削掉一個(gè)土豆的皮，或是清洗一個(gè)形狀不規(guī)則的盤(pán)子時(shí)，我們很少會(huì)意識(shí)到自己大腦和雙手的配合是多么精妙。我們能毫不費(fèi)力地適應(yīng)各種物體的曲面、弧度和比例，即使是第一次見(jiàn)到的物體也能輕松上手。然而，這項(xiàng)對(duì)于人類來(lái)說(shuō)如同本能的日常任務(wù)，卻一直是機(jī)器人領(lǐng)域難以逾越的鴻溝。

為什么機(jī)器人連削蘋(píng)果皮都那么困難？根本原因在于，香蕉、杯子、土豆這類曲面物體，不像平整的桌面，它們沒(méi)有一個(gè)全局統(tǒng)一的參考坐標(biāo)系。在一個(gè)曲面上，“向前”或“沿著表面”的方向，在每一點(diǎn)都可能不同。這使得機(jī)器人很難將在一個(gè)物體上學(xué)到的技能（比如削一個(gè)直溜的黃瓜）應(yīng)用到另一個(gè)形狀稍有不同的物體上（比如一個(gè)彎曲的黃瓜）。機(jī)器人學(xué)到的似乎總是一套僵硬的、針對(duì)特定物體的動(dòng)作序列，而非通用的“技能”。

近日，一篇最新發(fā)表在國(guó)際頂級(jí)期刊Science Robotics的研究，為解決這一根本性挑戰(zhàn)帶來(lái)了曙光。研究人員們提出了一種名為“擴(kuò)散方向場(chǎng)”（Diffused Orientation Fields）的創(chuàng)新方法，它為機(jī)器人打造了一套能夠?qū)崟r(shí)適應(yīng)任何物體幾何形狀的“智能導(dǎo)航系統(tǒng)”，讓機(jī)器人擁有了在復(fù)雜曲面物體上舉一反三、觸類旁通的能力。

01.

擴(kuò)散方向場(chǎng)：為機(jī)器人打造隨形的“智能導(dǎo)航”

想象一下，要讓機(jī)器人在一個(gè)陌生的、凹凸不平的物體表面執(zhí)行任務(wù)，我們首先需要給它一張地圖。傳統(tǒng)的地圖是固定的，比如一張平面的世界地圖，但在曲面物體上，這張平面地圖會(huì)因?yàn)轳薨櫤屠於耆А６皵U(kuò)散方向場(chǎng)”則像一張具有彈性的地圖，可以平滑地“貼”在任何物體的表面，甚至能延伸到物體周圍的空間中。

這張“地圖”是如何繪制的呢？過(guò)程出奇地簡(jiǎn)潔。機(jī)器人首先通過(guò)3D攝像頭快速掃描目標(biāo)物體，獲得其原始的“點(diǎn)云”數(shù)據(jù)——即成千上萬(wàn)個(gè)描述物體表面形狀的三維點(diǎn)集。接著，只需要在物體上指定幾個(gè)任務(wù)相關(guān)的“關(guān)鍵點(diǎn)”（Keypoints）。例如，在削香蕉皮的任務(wù)中，關(guān)鍵點(diǎn)可以簡(jiǎn)單地設(shè)為香蕉的頭和尾。

有了點(diǎn)云和關(guān)鍵點(diǎn)，神奇的“擴(kuò)散”過(guò)程就開(kāi)始了。研究人員利用了物理學(xué)中描述熱量傳播的“熱方程”（一種偏微分方程），將關(guān)鍵點(diǎn)攜帶的方向信息，像一滴墨水滴入清水一樣，在整個(gè)物體點(diǎn)云表面平滑地?cái)U(kuò)散開(kāi)來(lái)。這個(gè)過(guò)程最終會(huì)生成一個(gè)連續(xù)、光滑的“方向場(chǎng)”。這個(gè)場(chǎng)為機(jī)器人提供了一個(gè)“幾何支架”，在物體周圍的每一個(gè)點(diǎn)，機(jī)器人都擁有了一個(gè)隨物體表面幾何形狀而變化的局部參考坐標(biāo)系。

簡(jiǎn)單來(lái)說(shuō)，無(wú)論機(jī)器人移動(dòng)到哪里，它都能立刻知道哪是貼著表面的“前進(jìn)”方向，哪是“向上”或“向下”的方向。如前圖所示，該方法接收點(diǎn)云和關(guān)鍵點(diǎn)作為輸入，首先在物體表面計(jì)算出一個(gè)擴(kuò)散場(chǎng)，然后將其無(wú)縫擴(kuò)展到整個(gè)工作空間，形成一個(gè)平滑變化、無(wú)處不在的局部方向指導(dǎo)。

02.

解耦任務(wù)與幾何：實(shí)現(xiàn)“一招鮮，吃遍天”

“擴(kuò)散方向場(chǎng)”最核心的貢獻(xiàn)，在于它巧妙地將“任務(wù)”本身與物體的復(fù)雜“幾何形狀”分離開(kāi)來(lái)，實(shí)現(xiàn)了“解耦”。

過(guò)去，一個(gè)“削皮”任務(wù)對(duì)于機(jī)器人來(lái)說(shuō)，可能是一長(zhǎng)串復(fù)雜的、包含數(shù)千個(gè)坐標(biāo)點(diǎn)的運(yùn)動(dòng)軌跡。換一個(gè)稍有不同的物體，整套軌跡就得重新規(guī)劃或?qū)W習(xí)。而現(xiàn)在，借助“擴(kuò)散方向場(chǎng)”，任務(wù)被簡(jiǎn)化為在局部坐標(biāo)系下的一系列極其簡(jiǎn)單的“動(dòng)作原語(yǔ)”（Local Action Primitives）。例如，“削皮”這個(gè)任務(wù)可以被描述為：“沿著局部x軸滑動(dòng)，然后向下移動(dòng)一點(diǎn)，再向上抬起一點(diǎn)”。

這套簡(jiǎn)單的指令是完全通用的，因?yàn)樗话魏翁囟ㄎ矬w的形狀信息。當(dāng)機(jī)器人面對(duì)一根筆直的香蕉時(shí)，局部坐標(biāo)系會(huì)引導(dǎo)它走直線；當(dāng)面對(duì)一根彎曲的香蕉時(shí)，同樣的指令會(huì)因?yàn)榫植孔鴺?biāo)系的自然彎曲，而自動(dòng)生成貼合香蕉弧度的削皮軌跡。機(jī)器人需要學(xué)習(xí)和記憶的，不再是僵化的動(dòng)作，而是一套抽象、通用的技能“配方”。

研究團(tuán)隊(duì)通過(guò)一系列實(shí)驗(yàn)，有力地證明了這種方法的有效性。他們展示了機(jī)器人在從未見(jiàn)過(guò)的物體上成功執(zhí)行切片、削皮和表面覆蓋等任務(wù)。機(jī)器人能夠?qū)⒁粋€(gè)通用的任務(wù)模型，成功遷移到香蕉、梨等多個(gè)真實(shí)物體上，其動(dòng)作軌跡平滑且精準(zhǔn)地貼合了物體表面。

為了進(jìn)行更嚴(yán)格的量化評(píng)估，研究人員創(chuàng)建了50個(gè)形狀各異、隨機(jī)變形的梨子模型，并在上面測(cè)試了“削皮”任務(wù)的遷移效果。他們將“擴(kuò)散方向場(chǎng)”方法與其他幾種常用的機(jī)器人任務(wù)表示方法（如基于物體固定的笛卡爾坐標(biāo)系、圓柱坐標(biāo)系等）進(jìn)行了對(duì)比。

結(jié)果如上圖所示，一目了然。在使用傳統(tǒng)方法時(shí)，遷移到不同形狀梨子上的削皮軌跡（圖C中(i)-(iii)列）差異巨大、雜亂無(wú)章（表現(xiàn)為圖中彩色曲線周圍的陰影區(qū)域非常寬）。這意味著機(jī)器人的動(dòng)作一致性很差，任務(wù)成功率沒(méi)有保障。而使用“擴(kuò)散方向-場(chǎng)”的方法（圖3C中iv列），50次任務(wù)的軌跡高度一致，方差極小（陰影區(qū)域非常窄），幾乎就像在同一個(gè)物體上重復(fù)執(zhí)行一樣。這證明了該方法實(shí)現(xiàn)了高質(zhì)量、高魯棒性的任務(wù)遷移。

03.

從遙操作到強(qiáng)化學(xué)習(xí)：強(qiáng)大、魯棒且通用

“擴(kuò)散方向場(chǎng)”的價(jià)值遠(yuǎn)不止于任務(wù)遷移，它更是一個(gè)功能強(qiáng)大、靈活通用的“中間件”，可以無(wú)縫集成到各種機(jī)器人控制框架中，全面提升機(jī)器人的智能化水平。

研究人員展示了它在三種主流控制模式下的應(yīng)用：

在遙操作中，人類操作員不再需要小心翼翼地控制機(jī)器人的每一個(gè)姿態(tài)角度。他們只需通過(guò)手柄給出“沿著表面向前”或“靠近表面”等直觀指令，系統(tǒng)就會(huì)利用方向場(chǎng)自動(dòng)保持工具與物體表面的正確姿態(tài)和距離，讓遠(yuǎn)程操控變得更加輕松和直觀。

在軌跡優(yōu)化中，方向場(chǎng)為運(yùn)動(dòng)規(guī)劃器提供了關(guān)于物體幾何的豐富信息（梯度）。規(guī)劃器可以輕松地定義“與表面保持固定距離”或“避開(kāi)某個(gè)區(qū)域”等約束，并快速計(jì)算出完成復(fù)雜任務(wù)（如在物體表面繞過(guò)障礙物并到達(dá)目標(biāo)點(diǎn)）的最優(yōu)路徑。

在強(qiáng)化學(xué)習(xí)中，它的優(yōu)勢(shì)更為突出。智能體可以在這個(gè)被大大簡(jiǎn)化了的、與具體形狀無(wú)關(guān)的局部動(dòng)作空間中進(jìn)行學(xué)習(xí)，學(xué)習(xí)效率得到指數(shù)級(jí)提升。實(shí)驗(yàn)證明，一個(gè)在簡(jiǎn)單二維圓形上學(xué)習(xí)到的“到達(dá)-跟隨”策略，竟然可以直接“零樣本”遷移（zero-shot transfer）到一個(gè)復(fù)雜的、隨機(jī)生成的3D點(diǎn)云物體上并成功執(zhí)行任務(wù)，而無(wú)需任何重新訓(xùn)練。這在過(guò)去是難以想象的。

此外，該方法還表現(xiàn)出了出色的魯棒性。由于“擴(kuò)散”過(guò)程天然具有平滑和去噪的特性，它對(duì)傳感器數(shù)據(jù)中的噪聲和不完整性（如因遮擋或物體反光造成的點(diǎn)云缺失）有很強(qiáng)的抵抗力。如下圖所示，即使在點(diǎn)云數(shù)據(jù)受到嚴(yán)重干擾（拓?fù)湓肼暋缀卧肼暎┑那闆r下，通過(guò)調(diào)整擴(kuò)散參數(shù)（增加平滑度），系統(tǒng)依然能生成穩(wěn)定、可靠的運(yùn)動(dòng)軌跡。

此外，該方法還能輕松擴(kuò)展到包含多個(gè)物體的復(fù)雜、混亂場(chǎng)景中，如下圖所示，機(jī)器人在一堆雜物中準(zhǔn)確地對(duì)一根香蕉進(jìn)行切片操作。

總而言之，這項(xiàng)發(fā)表于Science Robotics的研究工作，通過(guò)引入“擴(kuò)散方向場(chǎng)”這一數(shù)學(xué)工具，從根本上幫助解決機(jī)器人在曲面物體上進(jìn)行通用操作的難題。它將復(fù)雜的幾何適應(yīng)問(wèn)題，巧妙地轉(zhuǎn)化為了一個(gè)簡(jiǎn)單的、可遷移的局部動(dòng)作執(zhí)行問(wèn)題。這一框架為開(kāi)發(fā)更智能、更靈巧、更能適應(yīng)非結(jié)構(gòu)化環(huán)境的下一代機(jī)器人提供了新思路，讓我們離那個(gè)機(jī)器人能為我們削水果、洗碗的未來(lái)，又近了一步。

論文鏈接：

https://www.science.org/doi/10.1126/scirobotics.aea1762