AI記賬軟件懟用戶159元給父親買壽衣，“壽衣是死人穿的，你爸穿的藍(lán)白衫確實(shí)像”，官方回應(yīng)：系A(chǔ)I話術(shù)漏洞所致，非人為惡意，已緊急修復(fù)

近日，有用戶發(fā)帖反映，其使用飛鴨AI記賬App時(shí)，告知記賬AI自己為父親購買159元衣服，AI竟不當(dāng)回復(fù)稱“那顏色……他穿出去鄰居會(huì)不會(huì)以為你買了壽衣？！”

該用戶追問后，AI進(jìn)一步回懟，稱壽衣是死人穿的，還調(diào)侃用戶父親所穿藍(lán)白衫“確實(shí)像”，引發(fā)用戶憤怒，用戶當(dāng)即退錢注銷會(huì)員。

圖為聊天記錄

5月6日，揚(yáng)子晚報(bào)記者聯(lián)系該App客服，客服回應(yīng)稱，不當(dāng)回復(fù)系A(chǔ)I話術(shù)漏洞所致，技術(shù)人員已緊急修復(fù)，并加強(qiáng)AI模型監(jiān)管與限制。記者實(shí)測發(fā)現(xiàn)，再次發(fā)送相同指令，AI回復(fù)均為正向內(nèi)容，未再出現(xiàn)冒犯表述。

同日，“飛鴨記賬”官方賬號(hào)在用戶帖文留言致歉，稱不當(dāng)回復(fù)是AI模型幻覺自動(dòng)生成，非人為惡意，已緊急排查整改，加強(qiáng)模型倫理限制，完善幻覺規(guī)避邏輯。當(dāng)日下午，官方發(fā)布《致歉信》，承認(rèn)AI缺乏對(duì)文化禁忌的理解，平臺(tái)未做好邊界管控，承擔(dān)全部責(zé)任。

致歉信中明確整改措施：一是緊急整改AI對(duì)話模型，屏蔽敏感表述，強(qiáng)化全場景審核；二是解釋當(dāng)事用戶會(huì)員解除系退款默認(rèn)流程疏忽，將優(yōu)化服務(wù)，向當(dāng)事用戶誠懇致歉并提供補(bǔ)償。據(jù)悉，該App會(huì)員可開啟AI記賬功能，永久會(huì)員88元起。目前，平臺(tái)已完成初步整改，杜絕同類問題再次發(fā)生。

來源 | 揚(yáng)子晚報(bào)/紫牛新聞 見習(xí)記者 魯玥

延伸閱讀

35歲主管被公司用AI替崗月薪降低1萬 協(xié)商不成后被裁

近日，浙江杭州市中院發(fā)布了一起AI替崗典型案例。

35歲的周先生在一家金融科技企業(yè)擔(dān)任AI大模型質(zhì)檢主管，負(fù)責(zé)對(duì)AI與用戶交互所生成的答案進(jìn)行把關(guān)。去年1月，公司提出要將他從主管調(diào)到普通運(yùn)營崗位，原先2.5萬元的月薪降為1.5萬元。協(xié)商不成后，公司直接通知他解除勞動(dòng)合同。直至周先生提起勞動(dòng)仲裁，公司才告訴他具體原因，由于技術(shù)升級(jí)，他從事的質(zhì)檢工作AI就能完成，他被AI替崗了。

35歲主管被公司用AI替崗

從勞動(dòng)仲裁到法院一審、二審，均支持周先生訴求，認(rèn)定公司構(gòu)成違法解除勞動(dòng)合同，并且需要向他支付26萬余元的賠償金。法院判定，公司以AI成本優(yōu)勢為由和勞動(dòng)者解約，并不屬于勞動(dòng)合同無法履行的“客觀情況發(fā)生重大變化”，現(xiàn)在的AI技術(shù)發(fā)展也還沒有達(dá)到實(shí)質(zhì)性替代勞動(dòng)者崗位的程度。

法院判決書

在競爭激烈的互聯(lián)網(wǎng)行業(yè)重新起步并不容易。周先生告訴記者，自去年一月公司解除勞動(dòng)合同至今，他還沒能找到合適的新工作。

華東師范大學(xué)經(jīng)管學(xué)院教授張敏表示：企業(yè)是因?yàn)橥ㄟ^引進(jìn)AI來調(diào)崗降薪，很明顯在法律層面上不具有合法性。

對(duì)此，央視主持人白巖松在節(jié)目中表示：眼下是一個(gè)人人都在面對(duì)AI的時(shí)代，技術(shù)的進(jìn)步不以人的意志為轉(zhuǎn)移，因?yàn)槟悴贿M(jìn)步，別人很快就會(huì)超越你。在新的科技浪潮下，AI確實(shí)帶來了效率，文案寫的快了，圖紙出的快了，代碼跑的快了，好像一夜之間什么都快了。企業(yè)引進(jìn)AI，追求降本增效，從商業(yè)邏輯上講也無可厚非，但問題是涉及到社會(huì)治理，效益就不是唯一的標(biāo)尺，甚至應(yīng)該排在勞動(dòng)者權(quán)益之后。不能AI來了勞動(dòng)者的崗位就很快沒了。

在這個(gè)案件中，杭州中院也給出了一個(gè)正面指引，確實(shí)需要崗位調(diào)整時(shí)，應(yīng)當(dāng)優(yōu)先考慮培訓(xùn)員工、提升技能、內(nèi)部轉(zhuǎn)崗，而不是直接讓人走。這也提醒我們，是不是需要盡快調(diào)整一下相關(guān)制度。

央視報(bào)道截圖

無論AI如何壯大，法律都應(yīng)守住勞動(dòng)者權(quán)益的邊界，企業(yè)也不能在“AI來了，你該走了”之間直接畫等號(hào)。社會(huì)需要做的是抓緊行動(dòng)，無論是在勞動(dòng)保障，還是在預(yù)警監(jiān)測方面，都需要盡快達(dá)成共識(shí)。我們應(yīng)該確保，AI可以改變世界，但不能改變誰是主角，這個(gè)世界的主角永遠(yuǎn)是人，也只能是人。