![]()
暗訪起底AI制黃群組
封面新聞記者 郝瑩
一張生活照,從社交平臺被偷偷搬到色情網(wǎng)站,中間隔著的,不是高不可攀的技術(shù)門檻,而是制售者分工明確、注冊公司運營、移動支付就能完成的交易。
2023年,網(wǎng)絡(luò)安全研究公司Security Hero發(fā)布的報告顯示,全網(wǎng)傳播的深度偽造視頻中,超過95%是色情內(nèi)容,主要角色99%是女性。三年后,在AI高速發(fā)展的背景下,涉色情內(nèi)容的視頻數(shù)量和質(zhì)量不減反增,已形成一條成熟且極難追蹤的產(chǎn)業(yè)鏈。
![]()
被造謠者只能在社交平臺求助
01
生成式AI制作門檻降低
給造黃者提供技術(shù)基礎(chǔ)
封面新聞此前報道,女大學生塔塔(化名)發(fā)在QQ空間的生活照,被人惡意AI篡改成色情照,發(fā)布在境外社交網(wǎng)站上。在塔塔的不懈努力下,犯罪嫌疑人最終認錯、道歉、賠償,聯(lián)系平臺刪除了照片,但未能讓對方承擔法律責任。(相關(guān)閱讀:《一張生活照被盜篡改之后,“AI造黃”受害者如何維權(quán)?|封面深鏡》)
中國信通院人工智能所安全治理部副主任陳文弢介紹,AI換臉、一鍵脫衣等操作,最早可追溯為一種名為“深度偽造”(deepfake)的技術(shù),可以對人臉、人聲等進行編輯;近年來,生成式人工智能技術(shù)也提升了合成和生成的效果。“2017年前后,美國一個論壇上就有人用這種技術(shù)做了色情視頻;后續(xù)出現(xiàn)了很多可用于深度偽造的開源模型,其應(yīng)用難度不大。”隨著技術(shù)迭代,AI具備了更好的文字理解能力以及視頻生成能力,生成的效果也越來越逼真。“幾年前,AI生成的視頻肉眼還是能看出來,有時會出現(xiàn)六個手指之類的明顯錯誤,但近幾年寫實風格的AI短劇已經(jīng)和真人拍攝的效果很接近了。”陳文弢說。當下的工具使用門檻低,生成效果真實,客觀上給AI造黃提供了技術(shù)基礎(chǔ)。
02
記者潛伏群組暗訪
制作黃圖工具明碼標價出售
大多數(shù)受害者們不知道,一些擁有數(shù)千名成員的群組里,制作黃圖的工具被明碼標價出售。
3月底開始,封面新聞記者先后暗訪加入了共7個出售AI色情內(nèi)容的群組,群成員總數(shù)超過6000人,其中人數(shù)最多的一個群,達到3400余人。
不同群的分工十分明確,有的售賣AI工具平臺使用的“焚決”(玄幻小說中的一種強大的功法,代指升級后的提示詞)指令,有的售賣成品視頻,還有的直接出售工具包,根據(jù)所謂的“教程安裝”就可以自己制作視頻,價格從最低20元到最高288元不等。
其中,“焚決”因其價格低、易于傳播、使用方便最受歡迎,部分以“焚決”交流、資源分享為名義的QQ群,也承擔了將群成員引流至其他群組的任務(wù)。經(jīng)過特殊設(shè)計后的“焚決”,可以繞開審查機制,記者測試后發(fā)現(xiàn),升級后的提示詞,六條中有三條可以成功生成色情圖片,剩余三條則被提示“無法生成要求的內(nèi)容。”
![]()
記者使用“焚決”生成圖片 部分失敗
對此,陳文弢解釋,大模型平臺通常在大模型外圍設(shè)置一個“護欄”過濾有害內(nèi)容,但這個“護欄”往往因體量小,對語意的理解能力有限,如果背后的大模型足夠聰明,則可以理解經(jīng)過特殊設(shè)計的提示詞,可能會繞過“護欄”并完成生成。
他說,國內(nèi)平臺正在不斷增加防護能力,但“焚決”也在迭代它的攻擊能力,“事實上,并不存在一勞永逸的監(jiān)管,這場攻防戰(zhàn)會一直持續(xù)。”
記者在暗訪中發(fā)現(xiàn),有的賣家會出售真人換臉“定制”,提供照片即可生成對應(yīng)的色情照片,一張5元。記者咨詢“賣家”得知,提供的照片越多越高清,生成的效果越逼真,即便只有一張也可以完成。“賣家”還說,“什么需求都可以提,是自己的模型,國內(nèi)正經(jīng)AI搞不了這種。”
![]()
銷售者稱可以定制視頻
其中一個群組尤其活躍,群成員近3500人。記者三月底入群,截至發(fā)稿前,一個月時間新增入群者200余人。
![]()
群組成員近3500人
售賣者大多數(shù)使用中文溝通,每天會更新數(shù)個國內(nèi)女明星、網(wǎng)紅照片制成的色情視頻,并附上購買鏈接,其中手機版動圖套餐售價90元,有“一鍵脫衣”功能的120元,電腦版可以制作視頻,價格166元,還有全套產(chǎn)品打包,售價288元。
該群組內(nèi)部還衍生了討論群和會員群。討論群可以隨意進入,人數(shù)達1300余人,群內(nèi)成員可以自由發(fā)言。有人在購買工具包后詢問如何安裝、如何下載vpn(虛擬專用網(wǎng)絡(luò))等問題,其他成員會響應(yīng)。還有人發(fā)布身邊素人女性朋友的視頻,并詢問“有分享身邊朋友的嗎?”,很快得到其他人的響應(yīng):“有”。
會員群需付費26元進入,售賣者每天更新十余個視頻,群成員提出想看某某女藝人或女網(wǎng)紅的換臉視頻,詢問“有××的嗎?”或發(fā)送某人的照片附言“求安排”,隨后便有制作好的換臉視頻群內(nèi)。
![]()
銷售者自制網(wǎng)站上架商品鏈接
另一群組有80余人,只有購買48元的工具包后可以進群,群內(nèi)有詳細的圖文注冊使用教程,指導購買者在個人電腦上部署制作網(wǎng)頁,提供賬號購買、充值指導。
03
制售涉黃產(chǎn)品成隱秘產(chǎn)業(yè)鏈
甚至有看起來較“正規(guī)”銷售環(huán)節(jié)
前述3000人群組中,出售的商品類型最多,甚至有看起來較“正規(guī)”的銷售環(huán)節(jié)。該售賣者的商品鏈接發(fā)布在一數(shù)字商品銷售平臺,購買商品時,顯示收款方為上海尚億咖網(wǎng)絡(luò)科技有限公司。企查查顯示,該公司位于上海松江區(qū),成立于2024年4月,注冊資本50萬元,屬于IT技術(shù)服務(wù)行業(yè),法人萬某文。記者嘗試聯(lián)系發(fā)現(xiàn),其聯(lián)系方式系工商代辦機構(gòu)注冊,同一手機號關(guān)聯(lián)多個企業(yè),無法接通。
![]()
某收款方系注冊公司賬戶
值得一提的是,發(fā)布商品鏈接的數(shù)字銷售平臺,持有ICP備案和增值電信經(jīng)營許可證,還列出包含“低俗色情服務(wù)”等在內(nèi)共一百余種禁售商品。但前述商家使用“工作流”“會員群”等指向模糊的描述命名商品,疑似為規(guī)避禁售規(guī)定。但記者嘗試注冊后發(fā)現(xiàn),在該平臺注冊成為商家只需提供手機號,不經(jīng)任何審核即可上架商品鏈接。企查查顯示,運營該網(wǎng)站的企業(yè)名為北京播動樂享公司,成立于2025年3月,法人夏某朋,屬集群注冊,無法查詢聯(lián)系方式。
其余售賣者,有的搭建無任何備案的臨時網(wǎng)站承擔同樣的銷售功能,使用注冊資金10萬元的百貨零售類企業(yè)主體進行收款,有的則要求買家用支付寶口令紅包點對點結(jié)算。
04
如何找到受眾?
可通過傳播擦邊視頻引流
這些在隱蔽角落批量生產(chǎn)的圖片視頻,是如何找到受眾的?
記者發(fā)現(xiàn),有視頻平臺用戶在社交平臺反映,深夜時間總有被算法推薦AI生成的擦邊視頻。此外,該平臺有許多賬號長期專門發(fā)布此類視頻,其中也包括女明星、女網(wǎng)紅的換臉視頻。
![]()
某視頻平臺用戶長期發(fā)布女明星換臉擦邊視頻
部分賬號從2022年穩(wěn)定更新至今,有的視頻單條播放量超50萬,普通視頻也能輕易破萬。其中部分賬號開通了收益功能,同時在評論區(qū)和視頻簡介隱晦發(fā)布信息,將用戶引流至群組付費購買更大尺度的視頻。
![]()
發(fā)布AI軟色情視頻的賬號開通充值打賞
05
律師說法
平臺應(yīng)承擔起更多責任
對于已經(jīng)面臨篡改圖片被傳播的受害者而言,下架侵權(quán)違法內(nèi)容的成本極高,目前沒有專門機構(gòu)負責協(xié)助受害者下架違法內(nèi)容。受害者只能自行向各個平臺逐一舉報,等待回應(yīng)。
北京市千千律師事務(wù)所汪姝文表示,在AI造黃的產(chǎn)業(yè)鏈上,平臺應(yīng)該承擔起更多責任。若平臺存在推流機制,且長期對違規(guī)內(nèi)容放任不管,已涉嫌違反《網(wǎng)絡(luò)安全法》關(guān)于網(wǎng)絡(luò)運營者信息管理義務(wù)的規(guī)定,應(yīng)當立即停止傳輸,采取消除等處置措施,防止信息擴散,并向有關(guān)部門報告。否則可能面臨罰款乃至吊銷營業(yè)執(zhí)照等行政處罰。若受害者本人向平臺舉報,要求下架侵權(quán)內(nèi)容,平臺在收到舉報后未處理,則還將對侵權(quán)行為就損害擴大部分承擔民事連帶責任。
而AI平臺則存在兩方面問題,首先是平臺未在用戶上傳真人照片時給出任何提示或限制。《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》第十四條規(guī)定,“深度合成服務(wù)提供者和技術(shù)支持者提供人臉、人聲等生物識別信息編輯功能的,應(yīng)當提示深度合成服務(wù)使用者依法告知被編輯的個人,并取得其單獨同意。”
記者嘗試使用某AI平臺對人臉進行編輯,該AI平臺順利完成了指令,并未收到任何提示。這意味著任何人都能夠在未經(jīng)他人同意的情況下,輕易地對他人人臉進行編輯,為不法分子打開了方便之門。
其次,經(jīng)過特殊設(shè)計的“焚訣”提示詞可繞過審查,生成色情內(nèi)容。國家對生成式人工智能服務(wù)有基本的內(nèi)容安全要求,規(guī)定模型生成內(nèi)容合格率不低于90%,這一標準是否得到切實執(zhí)行,目前缺乏公開透明的核查機制。
5月4日,封面新聞記者向國家互聯(lián)網(wǎng)信息辦公室違法和不良信息舉報中心檢舉前述線索,平臺顯示舉報信息已成功提交。
06
每個環(huán)節(jié)都仰賴介入
深度偽造色情內(nèi)容需專門罪名
2023年,《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》和《生成式人工智能服務(wù)管理暫行辦法》正式施行,要求服務(wù)提供者不得利用深度合成技術(shù)從事違法活動,并承擔內(nèi)容安全主體責任。《民法典》則明確禁止以信息技術(shù)手段偽造方式侵害他人肖像權(quán)。2026年1月1日,《網(wǎng)絡(luò)安全法》修訂版正式生效,首次在基礎(chǔ)性法律層面寫入AI條款;AI治理也首次被寫入政府工作報告。
業(yè)界人士認為,“深度偽造色情內(nèi)容”這一行為本身至今尚無專門罪名,受害者只能依靠散落在各部法律中的肖像權(quán)、名譽權(quán)、侮辱罪等條款尋求救濟。
當一張普通女孩的生活照,在她不知情的情況下被扭曲、傳播、售賣,每個環(huán)節(jié)都仰賴立法、執(zhí)法者的介入,為這一產(chǎn)業(yè)鏈畫下真正的終點。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.