中央網信辦部署開展“清朗·整治AI應用亂象”專項行動

為規范AI服務和應用，促進行業健康有序發展，保障公民合法權益，近日，中央網信辦印發通知，在全國范圍內部署開展為期4個月的“清朗·整治AI應用亂象”專項行動。

中央網信辦有關負責人表示，本次專項行動分兩個階段開展。第一階段為“清朗·AI應用服務典型違規問題”專項治理行動，重點整治未按規定履行大模型備案登記義務、安全審核能力不足、大模型訓練語料安全、AI數據投毒、生成合成內容標識落實不到位等問題，強化AI技術源頭治理。第二階段為“清朗·整治AI信息內容亂象”專項行動，聚焦利用AI技術生成“數字泔水”、制作發布虛假信息、散播暴力低俗等不良信息、假冒仿冒他人、侵害未成年人權益、從事網絡水軍活動等問題，堅決清理違法不良信息，依法處置處罰違規賬號、MCN機構和網站平臺。

第一階段重點整治7類突出問題：一是未按規定履行大模型備案登記義務。未按照《生成式人工智能服務管理暫行辦法》規定，向網信部門履行備案登記程序，存在“應備未備”情形。二是AI平臺安全和審核過濾能力不足。模型底層安全能力缺失，在設計訓練及部署應用階段，價值導向存在偏差、糾偏能力不足。缺乏安全圍欄機制、審核過濾能力不足，生成違法不良信息，或在生成內容中包含違法不良信息的云盤及網站鏈接。三是大模型訓練語料安全問題。訓練語料審核把關不嚴，模型訓練數據存在違法不良信息。訓練數據來源合規性存在問題，模型訓練過程中使用未經授權的文字、圖片、音視頻等數據。訓練數據覆蓋面不足、高質量語料缺乏。四是AI數據投毒問題。通過篡改訓練語料、偽造權威數據、使用GEO（生成式搜索引擎優化）技術惡意營銷等方式實施AI數據投毒。炒作、教授AI數據投毒方法，或在電商平臺兜售教程及工具。在模型生成回答過程中，對引用信源缺乏交叉驗證和風險提示機制，未標注引用信息鏈接。五是生成合成內容標識落實不到位。未落實《人工智能生成合成內容標識辦法》及配套強制性標準要求。未對生成合成內容添加標識或標識大小、位置、透明度等不規范。未落實跨平臺隱式標識互識互認義務、未按要求在生成合成內容周邊添加顯著提示標識或對生成合成內容識別能力不足。存在教授去除AI標識的教程信息、提供違規“去標識”工具服務。六是濫用AI技術開展違法違規活動。借助AI技術實施滲透入侵、惡意樣本注入、破壞計算機系統等網絡攻擊行為。未經他人授權，利用AI技術提供“換臉擬聲”服務。盜用他人形象，通過數字虛擬人技術進行直播、影像創作，或提供金融咨詢、醫療問答等專業服務。利用智能體技術竊取用戶數據或賬戶密鑰，侵犯他人隱私或合法權益。七是開源模型安全管理不到位。開源社區缺乏身份認證和安全管理機制，對社區上傳的數據集、模型代碼等內容未建立有效審核和應急處置機制，未及時清理存在嚴重風險隱患的數據集或開源模型。

第二階段重點整治7類突出問題：一是利用AI“魔改”經典、生成“數字泔水”。歪曲解構優秀傳統文化、歷史人物或歷史典故，濫用AI技術“魔改”古典名著或經典影視作品，植入低俗暴力內容，惡搞古典名著精神內涵、顛覆重要人物人設。批量生成發布邏輯混亂、價值空洞，或帶有錯誤價值觀、扭曲文化認知等不良傾向的“數字泔水”類內容。二是制作發布虛假不實信息。生成合成涉時事政治、公共政策、社會民生、國際關系、突發事件等領域謠言信息，或惡意蹭炒突發案事件，虛構原因、細節、進展等。假冒黨政軍機關、中央和地方新聞媒體，發布虛假公告或假新聞。生成傳播醫療、司法、金融、教育等專業領域未經科學驗證或明顯違背科學常識的信息。三是假冒仿冒他人。利用AI“換臉”“換聲”假冒仿冒公眾人物發布不實言論，欺騙網民，甚至營銷牟利，或生成合成含有攻擊、抹黑、貶損他人的信息。未經授權生成合成與公眾人物的合影、親密照等圖片、視頻。不當使用AI“復活逝者”，濫用逝者信息。四是制作發布暴力低俗等不良信息。制作發布含有虐待、毆打、殘害等內容的暴力血腥場景，或荒誕、恐怖形象的詭異獵奇畫面。生成合成凸顯女性特定身體部位，衣著暴露、搔首弄姿等低俗擦邊圖片、視頻，或帶有性暗示、性挑逗內容的小說、筆記。五是侵害未成年人權益。生成合成傷害、惡搞未成年人形象的內容，實施網絡欺凌。生成合成未成年人懷孕、打架等與其年齡特點不符、宣揚不良價值觀的違規內容。以未成年人喜愛的動畫人物或玩偶形象為原型，生成合成兒童“虐向”“邪典”等視頻，或無底線“二創”版權動畫，誤導未成年人認知。六是利用AI“托管”從事網絡水軍活動。通過AI“托管”技術運營賬號，模擬真人批量注冊、運營社交賬號，批量生成發布低質同質文案。非法交易買賣賬號。使用AI群控軟件、社交機器人刷量控評，生成虛假流量數據，制造虛假輿論熱點。七是AI產品服務和應用程序違規。制作和傳播仿冒、套殼AI網站和應用程序。提供色情陪聊、“一鍵脫衣”、AI算命等AI違規功能服務，或生成合成違法不良信息內容。為違法違規AI應用程序等服務或課程進行營銷炒作、推廣引流等。

中央網信辦有關負責人強調，各地網信部門要充分認識專項行動對于推動AI應用規范有序發展、維護網民合法權益的重要意義，切實履行屬地管理責任，督導網站平臺對照整治重點，深入自查自糾，全面排查問題漏洞，完善長效治理機制，有效提升技術防治能力，確保專項行動取得實效。

微信公眾號截圖

來源：新華社、網信中國

編輯：劉星彤

主編：曲翱　　　監制：陳尤欣

統籌：張燕

點喜歡