東華大學鮑勁松教授：基于具身數字孿生的人本協作機器人行為研究：動作策略的認知推斷 | CJME論文推薦

引用論文

Xiaodong Tong, Hangbin Zheng, Baicun Wang, Jinsong Bao, Embodied Digital Twin Driven Human-Centric Collaborative Robot Behavior: Cognitive Inference of Action Strategies, Chinese Journal of Mechanical Engineering, Volume 38, 2025, 100164, https://doi.org/10.1016/j.cjme.2025.100164.

(戳鏈接，下載全文)

關于文章

01

研究背景及目的

協作機器人通過靈活的行為策略與人類操作員自主交互，這是一個重大挑戰。在自主協作過程中，對人類操作員狀態缺乏足夠的關注，導致了安全隱患，需要改進當前的機器人行為策略研究。

02

試驗方法

本文建立機器人學習和訓練的具身環境，以解決復雜和動態的人類行為，通過時空多感官語義融合實現深度感知。最后，利用基于大型語言模型多智能體系統的神經符號認知推理，實現了符合人類意圖的機器人自主協作。使用退役的鋰電池拆卸任務來驗證我們的方法，在HRC實驗平臺內，該裝置包括一名人類操作員、一臺UR5 機器人、退役鋰電池、工具和環境識別傳感器（D435 深度傳感相機）。拆解任務和收集的數據通過通信網絡存儲在數據庫管理系統中，可供邊緣PC （NVIDIA RTX2080）使用。邊緣部署 MAC-NSCR由遠程服務器上的LLM（Vicuna 32-B）驅動，為機器人提供協作策略。該平臺具有圖形用戶界面，可顯示虛擬拆卸過程。

在實驗中，召集了來自不同背景的25 名身體健全的操作員，根據一系列任務和/或序列圖交替執行重復的拆卸任務。其中，隨機抽取四名人類作者執行重復拆卸過程 50 次，而其余21名操作員每人執行 10 次。在實驗之前、期間和之后收集了包括特定過程的協作拆解文檔、多視角順序圖像和事件觸發統計數據在內的數據。

03

結果

從評估結果可以看出，基于MAC-NSCR的協作機器人決策能夠在嚴格的時延要求下準確推斷出正確的人體身體和認知意圖，推理效率分別為92.17%和96.15%。然而，對作者心理意圖的推理準確率僅為73.44%。盡管模型的推理延遲在允許范圍內，但在這種情況下，操作員的回避和鞠躬等動作以及機械臂的遮擋干擾了智能體在HRC期間的面部識別。實驗還表明，隨著重新安排和意外事件的增加，人類操作員表現出的負面情緒不斷升級，進而增加了任務執行過程中的安全風險。

04

結論

本文介紹了一種針對以機器人協作策略設計的具身數字孿生，該數字孿生在以人為本的范式中提高了HRC的效率和質量。EDT在協作環境理解方面的擬人化能力有助于及時、精確地響應操作員的行為意圖，從而促進以人為本的工業實踐。結論總結如下：（1）提出了一種基于以人為中心的EDT建模框架。為了促進 EDT 內的人機系統溝通、理解和協作智能，該框架集成了 EDT 建設所必需的關鍵技術。通過將模式識別技術應用于HRC環境的深度感知，并開發時空多視角語義融合深度學習技術，實現了對協作環境中人類作者意圖的認知推理。 （2）在EDT的基礎上提出的MAC-NSCR方法融合了AI理論中神經學和符號化的計算優勢，不僅實現了真實協作環境中多維信息的主動融合和理解，而且對深層次的人類意圖和策略的復雜映射關系進行了認知推理。LLM-MAS技術促進了MAC-NSCR的自主運行。 （3）此外，該案例研究強調了所提方法的顯著優勢，驗證了應對人類安全隱患策略的認知推理性能。評估結果表明，該策略在任務重排、應對不可預見事件和應對人類負面狀態方面的策略推理效率分別達到92.17%、96.15%和73.44%，總體準確率為90%。 因此，EDT具有以人為本、智能交互和自主的特點，從而實現了更廣泛的以人為本的產業服務。此外，在多個操作員與機器人協作執行協作任務的工業環境中，需要進一步研究來調整機器人行為策略認知推理以適應多個人的意圖。

05

前景與應用

EDT框架核心在于實現了從物理保真到認知-感知保真的轉變，即從孿生機器轉向孿生人類的認知狀態。這一突破的未來前景極其廣闊，首先在于將EDT從當前的響應型系統進化為預測型系統來預判操作者的失誤概率和疲勞拐點。EDT（認知層）與高保真物理仿真的融合將創造出“物理-認知混合孿生”，使得有能力在虛擬空間中模擬工藝變動對人類“認知負荷”的真實影響。此項進展的應用場景將賦能任何以“人”為核心的領域：在醫療領域，它能孿生外科醫生的手部穩定性和精神壓力，驅動手術機器人進行自適應輔助；在航空航天總裝中，它能孿生工程師的注意力焦點，主動預防高價值部件的裝配失誤，實現最佳助力，最終構建一個主動預見需求的認知-感知型物理世界。

關于作者

01

作者介紹

鮑勁松，教授、博士生導師； 東華大學智能制造研究所，所長。畢業于上海交通大學機械與動力工程學院，工學博士學位。曾任上海交通大學計算機集成制造研究所，副教授；美國USC大學訪問學者，新西蘭奧克蘭大學高級訪問教授。主持和參與主持科技部重點研發計劃1項、國家自然科學基金面上項目2項、科技部支撐計劃子項1項、上海市科委制造業專項2項、面向航天的專項2項、各省部級智能制造專項20余項，曾榮獲多項國家和省部級科技獎勵。出版專著5部，發表論文300余篇，其中SCI收錄論文157篇，獲授權國家專利78項。受邀在國內外學術會議上做大會或邀請報告100余次。擔任上海市工程圖形學會常務理事，全國高校自動化年會華東分會理事，中國機械工程學會機器人分會第一屆委員，Scientific Reports、IJPOM國際編委，國際期刊JMS，JIM，JPM，IJCIM，IJPR，IJAMT，IEEE IOT，IEEE TII等國際刊物評審專家，國家自然科學基金委通訊評議專家。

02

研究方向

團隊研究方向聚焦于構建新一代智能制造系統，核心是探索數字孿生和信息物理系統的深度融合架構。在工業軟件層面，專注于打通數字線程的全生命周期數據，并基于云原生和DTOps理念，構建彈性、可擴展的系統平臺。研究重點在于工業智能，即利用工業大模型和多模態感知技術，構建工業語義圖譜，并以此為基礎，通過認知/智能體計算實現“系統級大腦”。最終，這種認知智能通過具身智能賦能 Co-Robot，實現與數字現實深度交互的、真正高效安全的人機協作。

03

近兩年團隊發表文章

[1] Xiaodong Tong, Ke Li, Jinsong Bao*,GNN-LLM hybrid cognitive architectures for generative task adaptation in multi-human multi-robot collaborative disassembly,Robotics and Computer-Integrated Manufacturing,2026, 98:103169.

[2] Tianyuan Liu, Jinsong Bao*. A novel period-sensitive LSTM for laser welding quality prediction. IEEE Transactions on Industrial Informatics, 2024.

[3] Qi Zhang, Anmin Wang, Jie Li, Longhui Zheng, Jinsong Bao*, Dan Zhang. A Production-Logistics prediction method integrating Spatial-Temporal features in flexible production workshop for buffer allocation problem[J]. Computers & Industrial Engineering, 2025, 200: 110761.

[4] Yi Hu, Yicheng Sun, Xiaojian Wen, Sen Wang, Jinsong Bao*. Shopfloor layout generation method based on large language models[J]. International Journal of Computer Integrated Manufacturing, 2025: 1-19.

[5] Dong Zhixia, Zhao Xiangyun, Zheng Hangbin, Zheng Hanyao, Chen Dafan, Cao Jia, Xiao Zili, Sun Yunwei, Zhuang Qian, Wu Shan, Xia Jie, Ning Min, Qin Binjie, Zhou Hui*, Bao Jinsong*, Wan Xinjian*. Efficacy of real-time artificial intelligence-aid endoscopic ultrasonography diagnostic system in discriminating gastrointestinal stromal tumors and leiomyomas: a multicenter diagnostic study[J]. Eclinicalmedicine, 2024, 73.

[6] Tong X, Bao J*, Tao F. Co-evolutionary digital twins: A multidimensional dynamic approach to digital engineering [J]. Advanced Engineering Informatics, 2024, DOI: 10.1016/j.aei.2024.102554.

[7] Yicheng Sun, Qi Zhang , Jinsong Bao*, Yuqian Lu and Shimin Liu. Empowering digital twins with large language models for global temporal feature learning[J]. Journal of Manufacturing Systems, 2024, 74: 83-99.

作 者：鮑勁松

責任編輯：杜蔚杰

責任校對：劉 丹

審 核：張 強

JME學院簡介

JME學院是由《機械工程學報》編輯部2018年創建，以關注、陪伴青年學者成長為宗旨，努力探索學術傳播服務新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學院官方群！

歡迎關注JME學院視頻號~

尋覓合作伙伴

有一種合作叫做真誠，有一種發展可以無限，有一種伙伴可以互利共贏，愿我們合作起來流連忘返，發展起來前景可觀。關于論文推薦、團隊介紹、圖書出版、學術直播、招聘信息、會議推廣等，請與我們聯系。

感謝關注我們！《機械工程學報》編輯部將努力為您打造一個有態度、有深度、有溫度的學術媒體！

版權聲明：

本文為《機械工程學報》編輯部原創內容，歡迎轉載！

在公眾號后臺留言需要轉載的文章題目及要轉載的公眾號ID以獲取授權!

聯系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網 址：http://www.cjmenet.com.cn

官方微信號：jmewechat