AI記賬軟件懟用戶159元給父親買壽衣，“壽衣是死人穿的，你爸穿的藍白衫確實像”，官方回應：系AI話術漏洞所致，非人為惡意，已緊急修復

近日，有用戶發帖反映，其使用飛鴨AI記賬App時，告知記賬AI自己為父親購買159元衣服，AI竟不當回復稱“那顏色……他穿出去鄰居會不會以為你買了壽衣？！”

該用戶追問后，AI進一步回懟，稱壽衣是死人穿的，還調侃用戶父親所穿藍白衫“確實像”，引發用戶憤怒，用戶當即退錢注銷會員。

圖為聊天記錄

5月6日，揚子晚報記者聯系該App客服，客服回應稱，不當回復系AI話術漏洞所致，技術人員已緊急修復，并加強AI模型監管與限制。記者實測發現，再次發送相同指令，AI回復均為正向內容，未再出現冒犯表述。

同日，“飛鴨記賬”官方賬號在用戶帖文留言致歉，稱不當回復是AI模型幻覺自動生成，非人為惡意，已緊急排查整改，加強模型倫理限制，完善幻覺規避邏輯。當日下午，官方發布《致歉信》，承認AI缺乏對文化禁忌的理解，平臺未做好邊界管控，承擔全部責任。

致歉信中明確整改措施：一是緊急整改AI對話模型，屏蔽敏感表述，強化全場景審核；二是解釋當事用戶會員解除系退款默認流程疏忽，將優化服務，向當事用戶誠懇致歉并提供補償。據悉，該App會員可開啟AI記賬功能，永久會員88元起。目前，平臺已完成初步整改，杜絕同類問題再次發生。

來源 | 揚子晚報/紫牛新聞 見習記者 魯玥

延伸閱讀

35歲主管被公司用AI替崗月薪降低1萬 協商不成后被裁

近日，浙江杭州市中院發布了一起AI替崗典型案例。

35歲的周先生在一家金融科技企業擔任AI大模型質檢主管，負責對AI與用戶交互所生成的答案進行把關。去年1月，公司提出要將他從主管調到普通運營崗位，原先2.5萬元的月薪降為1.5萬元。協商不成后，公司直接通知他解除勞動合同。直至周先生提起勞動仲裁，公司才告訴他具體原因，由于技術升級，他從事的質檢工作AI就能完成，他被AI替崗了。

35歲主管被公司用AI替崗

從勞動仲裁到法院一審、二審，均支持周先生訴求，認定公司構成違法解除勞動合同，并且需要向他支付26萬余元的賠償金。法院判定，公司以AI成本優勢為由和勞動者解約，并不屬于勞動合同無法履行的“客觀情況發生重大變化”，現在的AI技術發展也還沒有達到實質性替代勞動者崗位的程度。

法院判決書

在競爭激烈的互聯網行業重新起步并不容易。周先生告訴記者，自去年一月公司解除勞動合同至今，他還沒能找到合適的新工作。

華東師范大學經管學院教授張敏表示：企業是因為通過引進AI來調崗降薪，很明顯在法律層面上不具有合法性。

對此，央視主持人白巖松在節目中表示：眼下是一個人人都在面對AI的時代，技術的進步不以人的意志為轉移，因為你不進步，別人很快就會超越你。在新的科技浪潮下，AI確實帶來了效率，文案寫的快了，圖紙出的快了，代碼跑的快了，好像一夜之間什么都快了。企業引進AI，追求降本增效，從商業邏輯上講也無可厚非，但問題是涉及到社會治理，效益就不是唯一的標尺，甚至應該排在勞動者權益之后。不能AI來了勞動者的崗位就很快沒了。

在這個案件中，杭州中院也給出了一個正面指引，確實需要崗位調整時，應當優先考慮培訓員工、提升技能、內部轉崗，而不是直接讓人走。這也提醒我們，是不是需要盡快調整一下相關制度。

央視報道截圖

無論AI如何壯大，法律都應守住勞動者權益的邊界，企業也不能在“AI來了，你該走了”之間直接畫等號。社會需要做的是抓緊行動，無論是在勞動保障，還是在預警監測方面，都需要盡快達成共識。我們應該確保，AI可以改變世界，但不能改變誰是主角，這個世界的主角永遠是人，也只能是人。