![]()
AI大模型投毒技術,我可太熟悉了,我的工作就是折騰大模型deepsearch。
簡單了解一下豆包、千問這些AI的技術原理,就能理解如何AI投毒、如何收拾投毒者。AI APP收到用戶提問后,響應過程分為三步:S1.把用戶問題分解為幾個搜索關鍵詞,S2.去網絡搜索,S3.從搜索結果中提取問題答案。
S1和S3都是大模型推理運算,數據都在GPU里,很安全。S2可以做手腳。315晚會曝光的AI投毒正是發生在S2步,好聽的名字叫GEO(Generative Engine Optimization, 生成式引擎優化)。
![]()
GEO公司用AI生成一批文章,可能幾篇、十幾篇、幾十篇,然后發布到一堆僵尸自媒體賬號上。AI大模型搜索的時候,搜到這些虛假文章,然后當成真實內容一本正經地告訴用戶。AI中毒了。
很明顯,整治AI投毒的技術方法有多個:
一是,自媒體平臺提前識別AI生成的文章,打上標記,讓大模型不采納這些文章的信息。國標GB 45438-2025《網絡安全技術 人工智能生成合成內容標識方法》[1]已經在2025年9月1日開始實施。網信辦在2025年03月14日發布的《人工智能生成合成內容標識辦法》,也是2025年9月1日開始實施。
按照這兩個文件的規定,社交平臺有責任識別AI生成的自媒體文章,并打上顯式標識和隱式標識。顯式標識看得見,例如圖片上的水印“AI生成”;隱式標簽看不見,例如文件的元數據、圖片的元數據。
二是,把投毒騙子控制的僵尸賬號都封掉,至少得限流,讓它0曝光。
三是,AI APP只搜索可靠的信源,例如媒體賬號、政府企業賬號、身份經過認證的大號,例如雷軍的賬號、楊紫的賬號,粉絲小于100萬的小卡拉米賬號不收錄。我自己的工作中,deepsearch的信源只選藍V(媒體、政企機構)和金橙V(頭部大V),避免中毒。
技術上給AI排毒很簡單,但實際上不容易。先是社交平臺沒動力,GEO公司運營著大量的僵尸賬號,而且發貼很多,舍得出錢買流量。如果把這些賬號封了,平臺財報上的日活、月活、營收數據都不好看。
AI APP也沒動力,大模型推理很費錢,生成一張圖片要3毛錢,生成1秒視頻要一塊錢。每天上億人在免費用,燒錢太快,必須得想辦法掙錢,否則沒法向投資人交待。
AI APP沒有能力殺掉所有虛假文章。搜索引擎的技術含量很高,不是一個初創團隊能搞得定的。因此,AI APP會向某度等公司購買數據。某度,大家都了解,掙錢不要命,夾雜虛假信息再正常不過了。
最后一個原因,也是315晚會上所有亂象的根本原因:消費者沒有實力把壞蛋送進去踩縫紉機,沒有實力讓他們傾家蕩產。有毒的雞爪天天吃,有毒的文字看點咋了?!多大點事!
全文完,求關注,求轉評贊三連。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.