![]()
機器之心發(fā)布
觸覺具身智能,正在成為打通機器人與物理世界交互的關(guān)鍵密碼。
當機器人執(zhí)行精細操作時,真正的考驗往往始于接觸的瞬間:USB 插頭看似對準接口,卻在插入的瞬間因毫厘之差而被卡住;當夾爪抓住線束,稍一用力便使其偏離槽位;布料在相機視野中不過一個褶皺,真正拉動時卻演變成張力、層疊、摩擦和滑移的復(fù)雜物理耦合。
視覺模型雖然能提供位置、輪廓和語義信息,但到了物理接觸的瞬間,機器人還需要知道手上發(fā)生了什么:受力是否異常,物體有無形變,夾持是否穩(wěn)定,下一步動作要不要調(diào)整。正是為了填補從「看見」到「感知」的關(guān)鍵鴻溝,上海新智具身智能科技有限公司(NeoteAI,下稱「新智具身」)堅定選擇了觸覺賽道,致力于深耕精細化操作這一制約機器人落地的核心難題。
![]()
近億元融資落地,政企校賦能夯實技術(shù)優(yōu)勢
近日,新智具身宣布完成近億元天使輪融資。作為公司成立以來的首輪融資,本輪由上海國投旗下上海科創(chuàng)集團,以及復(fù)旦科創(chuàng)聯(lián)合領(lǐng)投,上海科創(chuàng)集團旗下策源基金等共同投資,多維資本擔(dān)任獨家財務(wù)顧問。
新智具身背靠產(chǎn)學(xué)研深度融合與地方政策雙重加持。作為復(fù)旦大學(xué)與靜安區(qū)戰(zhàn)略合作的重要落地成果,公司在初創(chuàng)期便獲得靜安區(qū)科經(jīng)委與市北高新集團的大力培育,先后獲得靜安區(qū)戰(zhàn)略性資金及上海市經(jīng)信委促進產(chǎn)業(yè)高質(zhì)量發(fā)展專項資金的支持,上海市科委也針對其核心視觸覺傳感器的研發(fā)給予了專項經(jīng)費支持,全面加速公司的技術(shù)攻關(guān)進程。
新智具身的核心團隊源自復(fù)旦大學(xué)可信具身智能研究院,具備深厚的產(chǎn)學(xué)研融合基因。
CEO 趙世豪本碩畢業(yè)于復(fù)旦大學(xué),博士就讀于香港大學(xué),曾作為核心研究員在微軟全球研究院、阿里通義實驗室深耕前沿模型研發(fā),研究覆蓋視頻世界模型、生成式模型。
![]()
CEO 趙世豪
首席科學(xué)家吳祖煊為復(fù)旦大學(xué)可信具身智能研究院副院長,曾任職 Meta,長期深耕視頻模型、多模態(tài)模型等核心領(lǐng)域。
![]()
首席科學(xué)家吳祖煊
COO 董道國則是兼具學(xué)術(shù)與產(chǎn)業(yè)經(jīng)驗的跨界人才,具有近 20 年的產(chǎn)業(yè)界經(jīng)歷,曾任華為榮耀 Magic 一代首席架構(gòu)師,現(xiàn)任復(fù)旦大學(xué)可信具身智能研究院研究員,主要為公司的技術(shù)商業(yè)化保駕護航。
![]()
COO 董道國
新智具身致力于將觸覺融入到機器人訓(xùn)練與實操的全生命周期。團隊堅信,在機器人和物理世界產(chǎn)生交互的環(huán)節(jié),觸覺信息都扮演著不可或缺的關(guān)鍵角色。基于這樣的核心理念,新智具身打造出視觸覺傳感器、精細化具身數(shù)據(jù)采集平臺、觸覺具身大模型三大核心能力體系,旨在攻克機器人完成精細化操作任務(wù)這一關(guān)鍵難題。
把接觸變成可用數(shù)據(jù)
給機器人裝上觸覺,聽起來只是多裝一個傳感器。但真正落到工程里,卻是一場關(guān)于感知精度與耐用性的極限挑戰(zhàn)。
傳感器要塞進夾爪或靈巧手指尖,尺寸、走線、接口、安裝方式都要適配;柔性材料要經(jīng)得起反復(fù)按壓、摩擦和沖擊;采到的數(shù)據(jù)還要能進入模型,而不是停留在一串難以使用的傳感器讀數(shù)。
新智具身的破局入口,是其自研的視觸覺傳感器,面向夾爪、靈巧手等末端執(zhí)行器,能夠精準采集接觸過程中的力、滑移、形變和邊界信息,用于精細化操作中的數(shù)據(jù)采集與模型訓(xùn)練。
視觸覺路線的核心思路,是把接觸過程轉(zhuǎn)化為高密度視覺表征,再通過模型解耦出觸覺信息。相機看到的并非外部環(huán)境,而是傳感器內(nèi)部柔性材料在受力后的形變。模型進一步從這些形變中推斷接觸位置、力場變化、滑移狀態(tài)和物體輪廓。
這條路線對軟硬件協(xié)同要求極高。傳感器內(nèi)部涉及微光學(xué)結(jié)構(gòu)、嵌入式系統(tǒng)、柔性材料和端側(cè)算法等。新智具身通過單色光、粒子方案與模型解耦技術(shù),以降低對光照和相機的要求,也為后續(xù)成本控制留下空間,并通過材料迭代和模塊化結(jié)構(gòu)降低維護成本。
![]()
新智具身·視觸覺傳感器
新智具身的視觸覺傳感器主要由復(fù)旦可信具身智能研究院研究員陳文明及其博士生羅虎主導(dǎo)研發(fā),這也是公司與復(fù)旦大學(xué)產(chǎn)學(xué)研融合的首個標志性成果。目前,面向夾爪和靈巧手的系列傳感器已逐步實現(xiàn)產(chǎn)品化,不僅應(yīng)用于公司自有的數(shù)據(jù)采集平臺和觸覺具身大模型,同步已向多家主流機器人本體企業(yè)完成交付。
數(shù)據(jù)平臺:觸覺模型的「燃料工廠」
傳感器解決了觸覺數(shù)據(jù)的采集入口,數(shù)據(jù)平臺則決定樣本的規(guī)模。
語言模型、視覺語言模型的能力提升,長期依賴大規(guī)模數(shù)據(jù)。具身智能模型面臨的麻煩更復(fù)雜:真實機器人稀缺、部署場景零散、任務(wù)類型復(fù)雜、采集成本高昂,尤其是涉及接觸和操作的數(shù)據(jù),天然比圖像和文本更難規(guī)模化。
觸覺數(shù)據(jù)的采集難點在于對任務(wù)設(shè)計和設(shè)備要求更高。視覺數(shù)據(jù)可以通過相機連續(xù)記錄,觸覺數(shù)據(jù)還需要每一個末端執(zhí)行器具備觸覺感知模塊,并配合力反饋系統(tǒng)、同步采集機制和后續(xù)標注流程。采集到的數(shù)據(jù)也不只是圖像序列,還包含接觸力、滑移、形變、紋理、輪廓等物理信息。
![]()
新智具身?大規(guī)模觸覺 + 視覺的具身數(shù)據(jù)采集
新智具身搭建的精細化具身數(shù)據(jù)大規(guī)模采集平臺,正是為了解決這些痛點。這些數(shù)據(jù)圍繞精準插拔、裝配、柔性整理等高頻精細化操作的場景,高效采集包含觸覺的高質(zhì)量操作數(shù)據(jù),目前已經(jīng)形成了規(guī)模化的數(shù)據(jù)儲備,其價值在具身智能模型的訓(xùn)練中得到充分體現(xiàn):比如插頭進入接口時,阻力突然變大意味著角度可能需要調(diào)整;抓取紙杯時,局部形變過大意味著夾持力需要降低;整理布料時,張力變化會影響下一步拉動方向。這些判斷很難靠單幀圖像完成,需要模型從連續(xù)操作中學(xué)習(xí)動作和接觸結(jié)果之間的關(guān)系。
觸覺模型與精細操作
觸覺真正賦能具身智能,核心在于深度融入模型層,而這正是新智具身的技術(shù)王牌。
新智具身正在研發(fā)包含觸覺模態(tài)的具身大模型,目標是將觸覺接入預(yù)訓(xùn)練具身大模型,并結(jié)合融入觸覺模態(tài)的強化學(xué)習(xí)技術(shù)路線,在多個精細化操作任務(wù)中取得了重大突破,精準度、穩(wěn)定性與泛化能力上都達到了行業(yè)領(lǐng)先水平。
在傳統(tǒng) VLA 框架中,模型主要依賴視覺和語言理解環(huán)境狀態(tài)與任務(wù)目標,再輸出動作,面對精細操作極易因感知盲區(qū)導(dǎo)致失敗。而新智具身的 VTLA 模型可實時獲取接觸后的最真實的反饋:是否夾住、是否滑移、是否插入到位、物體是否因受力發(fā)生形變,進而指導(dǎo)操作的完成。
世界模型的作用則更進一步。它需要精準學(xué)習(xí)動作如何改變環(huán)境狀態(tài),僅靠視覺勉強應(yīng)對剛性物體,一旦涉及柔性材料、精密裝配等精細化復(fù)雜任務(wù),視覺捕捉的狀態(tài)信息往往非常不完善。而新智具身的觸覺世界模型,補齊了物理上的信息短板,在精細化場景中實現(xiàn)了精準預(yù)測,成功率提升90% 以上。
在強化學(xué)習(xí)環(huán)節(jié),新智具身將觸覺作為策略優(yōu)化的「黃金信號」。機器人執(zhí)行動作時,如果觸覺反饋顯示夾持不穩(wěn)、阻力異常或發(fā)生滑移,策略可以被進一步修正。對插拔、精密裝配、軟物體抓取、柔性整理這些高難度的精細任務(wù),這類實時反饋直接決定操作的成敗,進一步將失誤率降至趨近于零。
![]()
文中視頻鏈接:https://mp.weixin.qq.com/s/yadSZW97nANVysGlvOsBpA
新智具身?觸覺具身大模型的精細操作
從工廠任務(wù)開始驗證
當前具身智能的發(fā)展,距離通用智能機器人還有很長路徑。短期更清晰的商業(yè)化入口,仍在工廠和半結(jié)構(gòu)化場景。
無論是線束裝配還是柔性材料整理,這些高頻精細操作任務(wù)都具備幾個特點:接觸過程復(fù)雜、自動化需求明確、任務(wù)邊界清晰,并且效果可以通過成功率、節(jié)拍、損傷率等指標量化評估。對觸覺模型而言,這些場景既能產(chǎn)生高價值數(shù)據(jù),也更容易驗證模型增益。
上海本地產(chǎn)業(yè)提供了適合觸覺路線的應(yīng)用土壤。汽車、3C、家紡等產(chǎn)業(yè)對自動化精細操作都有大量需求,許多任務(wù)無法通過簡單視覺定位和固定軌跡完成,需要機器人在接觸過程中持續(xù)調(diào)整動作。新智具身已精準切入這些傳統(tǒng)視覺方案難以攻克的工業(yè)場景,并成功斬獲多個 POC 訂單。
隨著機器人深度滲透到插拔、裝配、抓取、整理等核心任務(wù),觸覺必將成為無法繞開的核心要素,新智具身正以觸覺為鑰匙,打開機器人通往真實物理世界的大門,引領(lǐng)具身智能進入「感知無死角、操作更精準」的全新階段。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.