AI幻覺糾紛案背后：誰該為“AI胡說”擔責？

作者|趙曼妤

責編|張晶

正文共3331個字，預計閱讀需10分鐘▼

近年來，生成式人工智能深刻改變人類的生產生活方式，但AI幻覺問題卻經常浮現。“真亦假時假亦真，無為有處有還無”——你是否經歷過這樣的時刻，聰明的AI一本正經地胡說八道，AI用篤定的語氣把“無”說成“有”，用戶用輕率的轉發把“假”傳成“真”……

當生成式人工智能生成內容具有虛假、誤導、錯誤時，誰應當為“說胡話”“傳播胡話”承擔法律責任？是服務提供者還是服務使用者？

杭州市互聯網法院、杭州市濱江區人民法院分別審結兩起“首例”案件——全國首例因AI幻覺問題引發的侵權糾紛案、浙江首例因傳播AI幻覺內容引發的不正當競爭案，明確了生成式人工智能服務提供者、使用者的責任邊界，為AI時代的內容生成與傳播糾紛處理提供了重要的裁判指引。

其中，全國首例因AI幻覺問題引發的侵權糾紛案被寫入2025年最高人民法院工作報告，寫入“恪守公平正義，以高質量司法服務高質量發展”篇章，作為“促進人工智能規范發展，依法妥善審理涉人工智能案件，準確把握科技創新‘容錯’空間”的典型案例。

AI承諾“說錯賠10萬”，法院判決服務提供者不承擔責任

用戶梁某在某生成式人工智能中輸入提示詞詢問某高校報考的相關信息時，某生成式人工智能生成了關于該高校某校區的不準確信息，梁某在對話中進行了糾正和指責，但是某生成式人工智能仍堅持錯誤，并且承諾若生成內容有誤將向用戶提供10萬元賠償。梁某據此起訴生成式人工智能服務提供者索賠損失9999元。生成式人工智能服務提供者辯稱對話內容由AI生成，不成立意思表示；生成式人工智能服務提供者已充分履行注意義務，無過錯；用戶未產生實際損失，故不構成侵權。

杭州市互聯網法院將本案爭議焦點歸納為以下三點：生成式人工智能可否獨立作出意思表示，生成式人工智能侵權應適用何種歸責原則，生成式人工智能服務提供者是否構成侵權。

杭州市互聯網法院經審理認為，首先，生成式人工智能不具有民事主體資格，不能作出意思表示，案涉AI自行生成的“賠償承諾”亦不能視為服務提供者的意思表示；其次，生成式人工智能服務依據《生成式人工智能服務管理暫行辦法》屬于“服務”范疇，而非產品質量法意義上的“產品”，本案應適用《中華人民共和國民法典》第一千一百六十五條的一般過錯責任原則，而非產品責任的無過錯責任原則；最后，法院基于一般過錯責任原則，對侵權構成的各項要件侵權行為、過錯、損害結果與因果關系進行逐一審查，認定生成式人工智能服務提供者不構成侵權，駁回用戶訴訟請求。

法院認為，原告主張受到的侵害是因信息不準確，致其受誤導錯失報考機會，額外產生信息核實成本、維權成本等，即純粹經濟利益被侵害，應當從被告是否違反注意義務進行判定。

生成式人工智能服務提供者的注意義務處在一個動態調整的框架之中。法院總結生成式人工智能服務提供者應盡的三層注意義務，包括：對法律禁止的“有毒”、有害、違法信息負有嚴格審查義務；需以顯著方式向用戶提示AI生成內容可能不準確的固有局限性，以防范用戶產生不當信賴；應盡功能可靠性的基本注意義務，采取同行業通行技術措施提高生成內容準確性，比如檢索增強生成技術措施等。經審查，被告已在應用程序歡迎頁、用戶協議及交互界面的顯著位置呈現AI生成內容功能局限的提醒標識，已采用檢索增強生成等技術提升輸出可靠性的事實，已盡到合理注意義務，主觀上不存在過錯。原告未能就因AI信息誤導而錯失報考機會并產生額外成本提供任何有效證據，難以認定損害存在，二者不存在因果關系。

本案主審法官、杭州市互聯網法院跨境貿易法庭庭長肖芄向記者表示，“對生成式人工智能服務侵權采取過錯責任原則能夠全面評價服務提供者的行為，有利于建構兼具彈性、適應性與演化能力的回應型規則治理體系。”

肖芄進一步表示，生成式人工智能服務不是產品，其提供的是持續的服務，缺乏產品缺陷認定的統一標準，且生成式人工智能具有重要的社會意義屬性，造成損害的危害性不同于產品責任。通過對服務提供者有無過錯的判斷，可以在動態回應的過程中尋找合理的注意義務標準，同時也讓社會公眾更加理性地認識AI的功能與局限，生成式人工智能僅是“文本輔助生成器”和“信息查詢的輔助工具”，不是可靠的“知識權威”，更不是“決策提供者”。

博主傳播AI生成文章惹官司，法院判決使用者承擔責任

李某是百度百家號“地某”賬號的運營者，該賬號被認證為電商推廣號，擁有數萬粉絲，通過商業推廣、帶貨等方式營利。李某使用某AI平臺生成一篇題為《某數字控股有限公司是真的嗎》的文章，稱某數字控股（深圳）有限公司是原告公司的重要子公司，是其在“數字化轉型過程中的重要布局”。隨后，李某自行添加帶有原告公司標識的配圖，并將文章發布在自己的百家號上。實際上，文中公司與原告公司沒有任何關聯。

原告公司認為此文含有嚴重失實信息，容易誤導公眾，損害其商業信譽與競爭利益，遂以不正當競爭為由，將李某訴至法院，要求其消除影響、賠償損失。李某辯稱，涉案文章完全由AI生成，自己未作修改，且在后臺標注了“由某AI平臺生成”，主觀上沒有侵權故意。

杭州市濱江區人民法院經審理認為，原、被告主體適格且雙方具有競爭關系，被訴侵權行為構成《中華人民共和國反不正當競爭法》第二條所規制的不正當競爭行為。生成式人工智能使用者在利用人工智能進行內容創作后，因其對生成物具有最大的控制權，其應當對生成內容的傳播和利用負合理的注意義務，即審核義務與顯著標識義務。

被告李某作為自媒體博主，在明確知曉被訴侵權文章系人工智能自動生成、信息來源不可靠的情形下，未對被訴侵權文章內容進行最低程度的審核，亦未在文章中進行顯著標注，提示公眾該文章系由人工智能生成，使得包含虛假信息的內容通過互聯網傳播，且通過手動添加帶有原告品牌標識配圖的方式進一步加強文章的誤導性，被訴侵權行為擾亂了市場競爭秩序，損害了原告的競爭利益，亦造成原告相應的損失。最終，法院判決被告應當承擔消除影響、賠償損失的責任。

“技術的局限，不應對技術本身施加過于苛刻的無過錯責任，但也不應成為使用者規避責任的‘避風港’。”本案主審法官、杭州市濱江區法院白馬湖人民法庭（數據知識產權法庭）庭長倪曉花向記者表示，實質審核義務與顯著標識義務作為“注意義務”并非直接籠統地要求其承擔責任，而是要通過精細化的法律論證，構建一個動態、多層次的注意義務分析框架。該框架以主體身份（商業推廣主體）、行為目的（以營利為目的）、行為方式（通過自媒體向不特定公眾公開傳播）、所用工具的特性與風險（生成式人工智能存在“幻覺”的固有缺陷）以及造成的損害性質（損害他人商譽、擾亂市場競爭秩序）與大小作為考量維度，在此基礎上，將抽象的“合理注意”義務具體化為可操作、可審查的行為標準。

AI幻覺的司法回應與多元治理路徑

中國政法大學數據法治研究院教授、博士研究生導師、中國法學會網絡與信息法學會副會長王立梅向記者表示，“涉AI幻覺司法裁判引入動態系統論，清晰界定了生成式人工智能服務提供者與內容使用者責任定性與歸責路徑，在人工智能應用法律治理領域具有重要示范意義。”

杭州市互聯網法院的判決準確適用民法典的一般過錯責任原則，為生成式人工智能服務提供者確立了“違法信息嚴格審查、顯著風險提示說明、功能可靠性保障”三層注意義務，即要求承擔合規性、提示性、技術性的有限注意義務，并在過錯范圍內承擔相應責任。杭州市濱江區法院的判決確立了“誰傳播、誰負責”的基本規則。鑒于生成式人工智能服務使用者對生成內容享有實際控制權，其應當承擔相應的實質審核義務和顯著標識義務。

王立梅表示，AI幻覺已從技術風險轉化為現實法律風險，亟待通過法律規制予以系統性回應。AI幻覺的治理不應止于司法裁判的事后追責，而應堅持事前治理與事后救濟并重，推動技術優化與制度完善協同發力，構建差異化治理框架，對于醫療、金融等高風險領域的人工智能應用，應當實施更嚴格、更前置的監管要求，完善算法透明度、數據可追溯、安全測試與風險應急處置機制，施加更高標準的強制標識義務、安全保障義務與合規責任，以“風險越高、監管越嚴”的原則，筑牢人工智能安全治理與法治保障底線。在此基礎上，應同步強化數字素養培育與完善行業自律機制，形成多方協同的人工智能治理格局。