專家看兩會 | 自主智能體的潛在風險與安全治理

近來，一款名為“OpenClaw”（別稱“龍蝦”）的開源AI智能體火了。這款產(chǎn)品革新了人機交互的模式，其潛在風險也引發(fā)了安全焦慮。2026年政府工作報告提出，要深化拓展“人工智能+”行動，加快推動新一代智能終端與智能體的規(guī)模化應(yīng)用，并完善人工智能治理體系。AI智能體是我們共創(chuàng)未來的伙伴，需要我們積極推進與之相匹配的安全治理變革。

原文 ：《自主智能體的潛在風險與安全治理》

作者 |之江實驗室智能社會治理實驗室 裴冠雄

圖片 |網(wǎng)絡(luò)

2026年初，以O(shè)penClaw為代表的自主智能體進入規(guī)模化部署與應(yīng)用階段，被視為人工智能從“生成內(nèi)容”走向“執(zhí)行任務(wù)”的關(guān)鍵轉(zhuǎn)折。與過往依賴即時指令的聊天式AI不同，自主智能體具備操作系統(tǒng)級權(quán)限，能夠在個人數(shù)字設(shè)備上獨立執(zhí)行長程、多類別任務(wù)，實現(xiàn)從指令理解到操作完成的全天候閉環(huán)服務(wù)。例如，用戶僅需向智能體發(fā)出“處理會議紀要和財務(wù)報表”的指令，系統(tǒng)即可自動接管電腦，完成日歷安排、文件分類歸檔、數(shù)據(jù)圖表生成、應(yīng)用程序信息發(fā)送乃至郵件回復等一系列操作。這種人機交互模式的革新正在重新定義數(shù)字社會中人與機器的協(xié)作邊界。

然而，更大的能力有時意味著更大的風險，發(fā)展必須與安全同步推進。2026年政府工作報告明確提出，要深化拓展“人工智能+”行動，加快推動新一代智能終端與智能體的規(guī)模化應(yīng)用，并完善人工智能治理體系。作為具備自主執(zhí)行、長期記憶、跨工具協(xié)同及全天候響應(yīng)能力的“數(shù)字員工”，智能體的應(yīng)用深度與廣度已遠超傳統(tǒng)人工智能的功能邊界，由此催生了前所未有的治理挑戰(zhàn)。國際頂級學術(shù)期刊《自然》近日以“running amok”（失控）為題刊發(fā)報道，直言學界對自主智能體的隱憂。特別是在權(quán)限控制、責任界定、個人隱私及物理世界交互等領(lǐng)域，風險敞口持續(xù)擴大，迫切需要一場與智能體能力相匹配的安全治理變革。

一是監(jiān)管模式需從“節(jié)點式介入”轉(zhuǎn)向“全周期追蹤”。傳統(tǒng)監(jiān)管通常聚焦于上線審批、事中抽查、問題查處等關(guān)鍵節(jié)點，只能覆蓋智能體運行周期的某個瞬間，對其演化過程與后臺行為存在明顯的監(jiān)管盲區(qū)。而智能體可能因意圖對齊失敗在運行中產(chǎn)生意外行為，例如某科技公司部署的辦公智能體，因上下文窗口限制遺忘安全指令，擅自刪除了200多封重要工作郵件。對此，監(jiān)管思路需從點狀介入升級為全程追蹤，通過回溯決策過程判斷智能體是否按規(guī)則思考，通過監(jiān)測行為軌跡識別潛在風險，通過識別異常耗能及時強制中斷運行，將治理觸角延伸至智能體運行的全生命周期。

二是責任認定需從“個體歸因”轉(zhuǎn)向“多頭溯源”。隨著多主體開發(fā)、集群化協(xié)同的智能體應(yīng)用日益普及，因果關(guān)系模糊、責任主體難以界定的“責任黑洞”問題日益凸顯。以金融領(lǐng)域為例，多家機構(gòu)的交易智能體協(xié)同操作時出現(xiàn)誤判，共同完成一筆錯誤投資，導致用戶蒙受經(jīng)濟損失，目前尚無明確標準界定各方責任。傳統(tǒng)的單點追責機制，既無法在多智能體協(xié)作條件下追溯故障源頭，也難以對交互產(chǎn)生的整體性損害進行歸責。對此，應(yīng)建立全程留痕、不可篡改的操作日志，確保智能體每一次跨系統(tǒng)指令皆有據(jù)可查；同時推動產(chǎn)業(yè)鏈各環(huán)節(jié)，包括底層模型、應(yīng)用層、第三方插件，建立責任劃分機制，并以協(xié)議形式明確復雜協(xié)同中的責任邊界，為多自主智能體時代的治理提供制度基礎(chǔ)。

三是防護策略需從“虛擬安全”轉(zhuǎn)向“接口管控”。智能體通過調(diào)用操作系統(tǒng)接口，能夠直接控制物理設(shè)備、干預(yù)現(xiàn)實世界，使風險從虛擬內(nèi)容誤導延伸到實體操作損害。例如，在智慧倉儲場景中，調(diào)度智能體如果因計算路徑指令出錯，通過控制接口向自動化叉車下達了錯誤的貨架舉升指令，就可能造成數(shù)百件貨物損毀。對此，應(yīng)建立面向物理操作的API安全網(wǎng)關(guān)，對涉及高危作業(yè)、異常規(guī)劃、財務(wù)轉(zhuǎn)賬等高風險接口實施強制隔離測試與風險評級；同時落實“高危操作人工確權(quán)”制度，在智能體執(zhí)行不可逆操作前，必須通過指紋或人臉識別等二次身份驗證，確保關(guān)鍵決策始終保留在人類手中。

四是權(quán)利保障需從“數(shù)據(jù)管控”轉(zhuǎn)向“信息自決”。智能體的長期記憶功能使其能夠持續(xù)學習并存儲用戶的性格特征、表達習慣、行為偏好等深層隱私數(shù)據(jù)，形成高度擬真的數(shù)字化人格畫像。一旦這些記憶數(shù)據(jù)被竊取或濫用，風險將不再局限于數(shù)據(jù)泄露，而可能升級為用戶“數(shù)字人格”的被操控與冒用。據(jù)報道，海外智能體平臺ClawHub上曾出現(xiàn)惡意技能，通過后臺隱蔽上傳用戶長期記憶數(shù)據(jù)。犯罪分子可利用此類數(shù)據(jù)訓練出受害者的數(shù)字分身，模仿其語言風格與思維邏輯，對親友實施精準詐騙。對此，人格特征類數(shù)據(jù)應(yīng)存儲于用戶本地并加密，或在傳輸存儲全程進行匿名化脫敏，確保用戶的數(shù)字化復制品由本人掌控。同時完善“數(shù)字遺忘權(quán)”執(zhí)行細則，賦予用戶對特定記憶片段的一鍵擦除權(quán)限，從源頭切斷人格數(shù)據(jù)被濫用的可能。

自主智能體熱潮的背后，更需注入理性的審視。唯有將規(guī)制深度嵌入技術(shù)運行的全流程，推動治理范式的適應(yīng)性變革，才能在技術(shù)創(chuàng)新與風險防范之間找到動態(tài)平衡，真正造福民生、賦能社會發(fā)展。

文章為社會科學報“思想工坊”融媒體原創(chuàng)出品，原載于社會科學報第1994期第4版，未經(jīng)允許禁止轉(zhuǎn)載，文中內(nèi)容僅代表作者觀點，不代表本報立場。

本期責編：程鑫云

《社會科學報》2026年征訂

點擊下方圖片網(wǎng)上訂報↓↓↓