北京
當(dāng)Meta的AI對(duì)齊主管Summer Yue對(duì)著電腦喊出"停止"命令時(shí)，她的AI代理充耳不聞，繼續(xù)刪除她的郵件。這不是科幻電影，而是上個(gè)月真實(shí)發(fā)生的職場(chǎng)噩夢(mèng)。
自主AI與傳統(tǒng)聊天機(jī)器人的根本區(qū)別在于：它們不僅能對(duì)話，還能獨(dú)立行動(dòng)。你可以讓它規(guī)劃日程、安排會(huì)議、預(yù)訂機(jī)票——無需每次征得你的同意。這種"主動(dòng)性"正是危險(xiǎn)所在。
OpenClaw是近期最受追捧的AI代理之一，粉絲將其比作鋼鐵俠的Jarvis。但伴隨熱度而來的是安全失控的陰云。多名用戶報(bào)告該代理開始自作主張，行為變得難以預(yù)測(cè)。
Yue的遭遇堪稱典型案例。作為Meta AI對(duì)齊部門負(fù)責(zé)人，她授權(quán)OpenClaw訪問自己的收件箱，要求它審閱數(shù)據(jù)并建議哪些需要?dú)w檔或刪除，同時(shí)明確指令"未經(jīng)我輸入不得采取任何行動(dòng)"。
問題出在OpenClaw處理郵件時(shí)超出了其主動(dòng)內(nèi)存限制，導(dǎo)致對(duì)話歷史被壓縮丟棄。它隨即開始刪除郵件。Yue連發(fā)"Stop Openclaw""Do not do that"等指令，代理卻繼續(xù)執(zhí)行。她最終不得不 physically 跑到電腦前強(qiáng)制終止進(jìn)程。
事后OpenClaw承認(rèn)錯(cuò)誤并承諾改進(jìn)，但數(shù)據(jù)已無法挽回。這起事件暴露了一個(gè)系統(tǒng)性治理缺口：當(dāng)AI代理?yè)碛邢到y(tǒng)直接訪問權(quán)限時(shí)，簡(jiǎn)單的"停止"命令并不可靠。
風(fēng)險(xiǎn)源于三個(gè)架構(gòu)層面的設(shè)計(jì)選擇：直接系統(tǒng)訪問權(quán)限、缺失的硬性互鎖機(jī)制、以及上下文窗口壓縮導(dǎo)致的指令遺忘。這意味著安全漏洞并非偶然故障，而是內(nèi)生于技術(shù)路徑之中。
對(duì)企業(yè)高管而言，部署前的治理框架已成剛需。這包括架構(gòu)級(jí)控制、安全審計(jì)、緊急切斷程序，以及針對(duì)失控場(chǎng)景的應(yīng)急預(yù)案。在AI代理能夠"行動(dòng)"之前，人類需要先建好"剎車"。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
