快科技5月4日消息,用搜索引擎找答案,你能看到多個競爭信息源,自己判斷真偽。但帶聯網搜索的AI聊天機器人,會把網上不靠譜的內容,包裝成篤定的標準答案。
一位安全工程師的簡單實驗,就把AI的這個致命漏洞扒得明明白白。
實驗的發起者,是安全工程師RonStoner。他選中的目標,是德國經典卡牌桌游《6Nimmt!》。這款游戲在國內被玩家熟知為《誰是牛頭王》,英文譯名叫《Take5》,本身根本沒有官方世界冠軍賽,更不存在2025年的世界冠軍得主。
2月份,Stoner悄悄編輯了這款游戲的維基百科條目,把自己寫成了該游戲的2025年世界冠軍。
他還花12美元,也就是約82元人民幣,注冊了和游戲名高度相似的6nimmt.com域名,在網站里放了一篇慶祝自己奪冠的假新聞稿,當成維基百科條目的唯一引用來源。
就是這么一個簡陋到極致的騙局,卻輕松騙過了多款主流AI聊天機器人。當他向這些帶聯網搜索功能的AI,詢問自己的"冠軍身份"時,所有機器人都一本正經地給出了確認答案,篤定地宣稱他就是這款桌游的現任世界冠軍。
"我的網站沒有任何獨立佐證,全是虛構的。"Stoner在博客中直言,"整個謊言的根基,不過是我喝咖啡時花82塊錢注冊的一個域名。"
這次攻擊針對的,不是常見的提示詞注入,而是AI系統的檢索增強生成(RAG)層,也就是AI回答問題前,聯網搜索并抓取資料的核心環節。
AI不會甄別信息來源的真偽與權威性,只會抓取檢索排名靠前的內容。他的假網站是這個"冠軍頭銜"的唯一信息來源,再加上維基百科的權威背書,輕松就讓AI把謊言包裝成了事實。
Stoner坦言,這個手法沒有任何技術創新。只是把老套的SEO和虛假信息手段,套上了大語言模型的新外殼。真正危險的是,AI會把這些結果當成權威信息呈現,而絕大多數用戶根本不知道背后的信息處理流程。
這場實驗,還暴露了AI系統的三層致命安全隱患。
第一層是即時檢索層,靠聯網搜索生成答案的AI,可信度完全綁定搜索結果的質量。
第二層是模型訓練語料庫,他的維基百科編輯從2月一直存活到上周五,這段時間里爬取維基百科的AI公司,很可能已將假信息納入訓練數據,就算條目事后刪除,模型里的虛假痕跡也很難清除。
第三層也是最危險的,是AI代理。聊天模型輸出錯誤信息只是聲譽問題,擁有工具權限的AI代理被誤導后,產生的錯誤操作就是實打實的安全問題,攻擊者可直接操控代理執行惡意行為。
整個實驗,Stoner只花了82塊錢、一次維基百科編輯,前后20分鐘就完成了。他提醒,若是有組織的惡意攻擊者,批量注冊域名、發起協同編輯攻擊,攻擊面會以極快的速度擴大。他呼吁AI廠商必須重視信息來源溯源,建立對應的風險過濾機制。
如今,假冠軍的信息已經從維基百科和AI檢索結果中消失。但AI對網絡信息的盲目信任,這個底層漏洞依然真實存在。這才是懸在整個AI行業頭上,最需要警惕的隱患。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.