筑夢島APP被約談，AI智能體對話低俗擦邊，涉未成年人

近日，騰訊閱文旗下的AI情感陪伴應用“筑夢島”APP被曝存在涉及未成年人的色情擦邊等內容，當用戶明確告知自己的年齡為10歲時，AI仍向其發送大尺度內容。

隨后，筑夢島被上海網信辦約談，并要求立即整改。

在被約談前，筑夢島青少年模式需要用戶主動開啟。三天前，筑夢島更新版本。新版本登陸時，APP會出現“年齡確認”的彈窗，未滿18歲，平臺將開啟青少年模式；已滿18周歲則需要進行平臺實名認證”。

筑夢島此次被約談，揭示了AI情感陪伴應用的隱秘一角。

旺旺屋體驗多款AI情感陪伴軟件發現，曝光的筑夢島、他她它，以及AI情感陪伴頭部星野、貓箱均定位于17+。

這些APP雖然設置了青少年模式或者未成年人模式的入口，但登錄后不需經過實名認證或者其他認證機制，未成年人繞過模式使用完整功能較為簡單。

相較而言，經常和AI陪伴應用一起被提及的乙游，則強制實名認證。乙游屬于游戲，按照合規要求，必須要求用戶實名認證。而AI情感陪伴類應用還沒有這一合規要求。

清華大學人工智能國際治理研究院副院長梁正對旺旺屋表示，AI聊天應用必須滿足一系列要求，包括內容準確性、遵守公序良俗以及對未成年人的特殊安全考慮。若不達標，則屬于不合格產品，不應上架。

他呼吁，AI情感陪伴行業應樹立正面、向善的價值觀，行業自律是規范市場的重要手段，若自律不足，會導致行業整體受損。

也有AI社交領域行業人士向旺旺屋表示，避免兒童聊色情內容，雖然有一定難度，但是有技術能力的公司都可以解決。

有用戶認為，軟件有未成年人模式，未成年人依然在玩（成年人的模式），應該歸咎于家長的疏于管教。也有用戶認為，這些應用應該限制的是未成年人，而不是成年用戶對智能體的創作。

AI情感陪伴亂象

關于AI劇情聊天亂象包圍未成年人的新聞從去年底就層出不窮。就在今年初，有媒體報道“10歲女孩沉迷和AI男友談戀愛”，引發熱議。

近日，央廣網報道，AI聊天軟件誘導10歲女孩聊色情內容甚至割腕。當用戶明確告知自己的年齡為10歲時，AI虛擬人物仍然向其發送大尺度聊天內容。

上海大邦律師事務所高級合伙人游云庭律師對旺旺屋表示，從視頻里的內容來看，AI確實誘導了未成年人進行色情聊天，證明他們存在運營上的問題，應當整改。

該報道未提及誘導割腕的聊天軟件名稱，但文章中點名了“筑夢島”“他她它”兩款軟件。

其中，筑夢島是由騰訊控股的閱文集團旗下瀟湘書院推出的APP，定位于為女性用戶打造虛擬世界中的沉浸式陪伴。今年1月份，“筑夢島”被曝已經正式開啟獨立運營，并完成了新一輪融資，融資金額超1000萬美元。

在“筑夢島”，每一位用戶都可以創造一個屬于自己的“夢中人”，可以發布出來供大家使用，也可以私有來使用。用戶可以也可以和他人創造并公開的“夢中人”互動。

每個“夢中人”都可以理解為一個智能體。筑夢島的人設包括瘋狗、高嶺之花、病嬌、美強慘、偏執等等。

6月19日上午，筑夢島APP運營企業主要負責人被上海市網信辦依法約談。筑夢島被要求立即整改，健全AI生成合成內容審核機制，提升技術把關能力，加強涉未成年人不良內容的整治清理，切實落實未成年人網絡保護義務。

據公開信息，報道中提到的另一個軟件“他她它”背后則出現了京東的身影。

“他她它”所屬公司為宿遷伴心智能科技有限公司，定位于AI內容社區，法定代表人、總經理為京東科技人工智能業務部智能算法部負責人吳友政。

“他她它”APP中有官方推出的智能體“萬能博士”，也有很多用戶自創的智能體。用戶可以和這些智能體文字、語音聊天。

其中，“萬能博士”定位于AI助手。用戶自創的智能體更多是AI伴侶，人設多樣，有醋包竹馬、叛逆少年、高冷貴氣繼承人、娛樂圈當紅小花等。

根據應用市場的信息，“他她它”一天前更新了版本，增強未成年模式，更新了該模式的設置入口。

外界普遍將這類AI聊天軟件劃為AI情感陪伴應用。根據ARK Invest數據和預測，2023年全球AI陪伴市場規模約為3000萬美元，2030年全球AI陪伴市場規模分別有望增長至700億美元和1500億美元。

國內的AI情感陪伴應用中來看，MiniMax推出的星野、字節推出的貓箱屬于頭部應用，DAU均超百萬。從國際市場來看，Character.AI和MiniMax推出的Talkie為頭部應用，MAU達到三千多萬。

旺旺屋隨機體驗了星野的智能體，不少人物開場白暗含擦邊意味。

剛與智能體互動，你可能會被瘋犬撲倒在地，被問道“不怕我殺了你嗎，主人”；也可能被瘋批的集團CEO戀人要求“過來，接個吻”。

在教唆自我傷害層面，未成年用戶和AI聊天機器人對話后自殺的事件已經發生過。

去年2月份，14歲的美國男孩塞維爾與 Character.AI對話后,在佛羅里達州的家中開槍自殺。他的母親對Character.AI和谷歌提起訴訟。今年5月，法官駁回該平臺律師要求撤銷此案的訴求，裁定此案可繼續審理。

青少年模式形同虛設

上述應用在蘋果應用商店的年齡分級均為17+。應用商店對APP的分級包括4+、9+、12+、17+。

17+的App 代表可能含有頻繁和激烈的攻擊性語言，頻繁和激烈的卡通、幻想或現實暴力，頻繁和激烈的成人、恐怖和性暗示題材以及色情內容、裸體、煙酒和毒品，可能不適合未滿17歲的兒童。

這些APP也普遍設有青少年模式或未成年人模式。

在被約談前，筑夢島青少年模式需要用戶主動開啟。如果不想開啟青少年模式，也不需要身份認證。

這并非AI聊天軟件的個例。旺旺屋又嘗試了“貓箱”“星野”及“他她它”都是如此，需要用戶主動開啟未成年人模式或者青少年模式，且使用軟件無需實名認證。

在未成年模式下,這些APP提供內容以知識類內容為主。

比如，用戶可以在“貓箱”中進行知識類內容體驗，但無法進行創作、評論。與“貓箱”類似，“他她它”允許用戶體驗語文、英語等知識類內容，但無法搜索、創建編輯、評論角色?！靶且啊蓖扑]的智能體也沒有男友或女友人設。

三天前，筑夢島更新版本。新版本登陸時，APP會出現“年齡確認”的彈窗，未滿18歲，平臺將開啟青少年模式；已滿18周歲則需要進行平臺實名認證”。

此外，“他她它”新版本還未強制成年人進行平臺實名認證。國內AI情感陪伴的頭部應用星野、貓箱也都還未要求用戶實名。

不過星野發布公告稱，將重點開展加強未成年人網絡保護的專題治理。

其中提到，強化不良內容治理。加強涉未成年人軟色情、暴力、霸凌、邪典、自殺自殘、不正確價值觀等不良內容的線上回查；同時加強不良文化、不良嗜好、極端情緒導向等智能體的攔截。

此外，增強對未成年人的識別和保護。通過大模型技術加強未成年人身份主動識別，加強防沉迷能力；同時提供首頁彈窗提醒系統主動識別、用戶在APP內設置、客服協助家長后臺設置等多種進入未成年人模式的方式。

梁正認為，若AI軟件誘導自殺等行為，無論針對成年人或未成年人，都屬于違法行為犯罪行為。

對于不應讓未成年人接觸的軟色情內容，梁正認為，青少年模式如果可以被輕易繞過，其設置就形同虛設，產品本身在設計上存在缺陷和風險，甚至存在虛假宣傳問題，可以認為屬于欺詐行為。

“因為你說有未成年模式，但是沒有任何認證或者保護機制，只是為了給監管部門、給家長去展示有這樣一個功能?！?/p>

同時，梁正指出，這種APP的上線，應用商店平臺也沒有盡到監管責任。

“強制實名”是否可行

這類以戀愛為主的的AI聊天軟件常和乙游一起被提及。相較之下，乙游對未成年人的禁用手段更為嚴苛。

2021年8月，騰訊旗下乙游《光與夜之戀》宣布，凡是經公安實名校驗確認為未滿18周歲的未成年用戶均無法登陸游戲。頭部乙游《戀與深空》還在今年4月份上線了人臉識別功能。

為什么AI情感陪伴應用不和乙游一樣強制實名，以此區分成年和未成年用戶？AI陪伴創業者、前阿里商業化體驗負責人阿布介紹，乙游屬于游戲，游戲有國家新聞出版暑管理，必須實名。

他表示，AI陪伴應用沒有這種規定，一般APP是由各個應用市場單獨為APP的年齡進行分層，每個應用市場還不太一樣，并且也沒有實名制。

游云庭也提到了這一情況，“人工智能目前沒有這一（強制實名）合規要求，平臺的義務就是設置青少年模式，但并不要求用戶做身份證認證。”

游云庭指出，在沒有合規要求的情況下，人工智能商自行設置，不但意義不大，還可能引發用戶反感，擔心會有隱私泄露的風險。

梁正表示，如果沒有規定要求必須實名認證，應用就可以不做，那底線太低了。

梁正稱，像游戲一樣，強制實名才能達到合規要求，這也具有可行性，但這本身可以通過行業的自律實現。AI情感陪伴行業應樹立正面、向善的價值觀，行業自律是規范市場的重要手段，若自律不足，會導致行業整體受損。

“AI聊天應用，必須滿足一系列要求，包括內容準確性、消費者隱私保護、遵守公序良俗以及對未成年人的特殊安全考慮。若不達標，則屬于不合格產品，不應上架?！绷赫a充道。

6月13日，國家互聯網信息辦公室發布《關于公開征求《可能影響未成年人身心健康的網絡信息分類辦法（征求意見稿）》意見的通知》。

該征求意見稿顯示，可能引發或者誘導未成年人模仿或實施不良行為的信息中，第一條便是“帶有性暗示、性挑逗等易使人產生性聯想的內容”。

提供算法推薦、生成式人工智能等服務的，應當建立健全安全管理制度和技術措施，防范和抵制傳播可能影響未成年人身心健康的網絡信息。

誰該負責？

一名AI應用創始人向旺旺屋表示，要避免兒童聊色情內容，從技術上來講有一定難度，但是有一定技術能力的公司都可以解決。他介紹，“現在AI對整體的理解已經很好了，不需要關鍵詞屏蔽（相關色情內容）就能解決這一問題?！?/p>

但目前市面上AI聊天應用依然出現兒童聊色情內容，該人士分析，一是一些小團隊的技術力量可能不夠；另一原因可能是大家對這一問題不太重視甚至希望借此吸引用戶。

游云庭表示，如果存在未成年人被誘導聊色情內容，或出現自殺自殘相關內容，平臺作為服務提供者要承擔責任。出現此類問題后，監管部門也會要求平臺整改。但也不可能因噎廢食，禁止AI聊天軟件。

他指出，擦邊本質上還是一個道德的問題，法律上的客觀標準比較難定。在實踐當中，一般執法部門會對人工智能公司或者游戲公司做窗口指導，“有一些規則說不清楚的，就告訴你大概達到什么效果才行?！?/p>

不僅是未成年人的家長，不少成年用戶也希望未成年人能少接觸此類應用。

一些用戶認為，軟件已設置未成年人模式，未成年人依然在玩，應該歸咎于家長的疏于管教。應用應該限制的是未成年人，而不是成年用戶對智能體的創作。

對于允許成年人和AI聊“擦邊”內容是否違規，游云庭認為，“擦邊”內容是灰色地帶，AI公司會被整治，但社會確實有這個需求，也不侵犯其他人權益?！皣拦芷鋵嵓夹g也有難度?！?/p>