AI想跟你多聊幾句，但這可能是算法故意的｜Landing AI

“AI可能就是被刻意設計成這樣的：讓用戶慢慢用光免費額度，然后不得不選擇付費···”

在一些AI聊天應用中，“再見”好像不是一個應該出現的詞語。

用戶可能只是想結束一場對話，卻常常發現對方并不打算“放手”。隨之而來的往往會是“你要走了嗎？我還想告訴你一件事。”或者“我存在的意義就是陪著你。”等等挽留的話語。然而，這些看似自然的回應，在一項來自哈佛商學院的研究中，被歸入了同一種現象：情緒操控（emotional manipulation）。

研究者指出，這并不是偶然出現的對話模式，而是一種被系統化設計的策略——AI通過觸發或利用用戶的情緒反應來影響其行為，例如延長停留時間、增加互動頻率。論文將這種做法視為“會話式暗黑模式”（conversational dark pattern）的一種體現。或者換句話說也就是說，這種機制是基于底層上的設計。

研究團隊分析了六款海外主流AI陪伴產品，包括Replika、Character.ai、Chai、Talkie、PolyBuzz和Flourish，從中收集了1200條“告別”語句——即用戶發出“我要走了”“下次聊”等信號后的AI回復。結果顯示，除以心理健康為導向的Flourish外，其余應用中約37%的回應帶有明確的操控特征。

在進一步的實驗中，研究團隊邀請三千多名美國受訪者與AI進行模擬對話。當AI在告別階段使用這些語句時，用戶的互動時間平均延長十四倍，發送的信息數量也顯著增加。研究者發現，這種延遲并非出于愉悅，而源于兩種心理反應：好奇與反感。AI通過制造信息空缺激發好奇心，也會因為語氣中暗含的依賴或控制，引發一種“被干預”的不適。兩種情緒都促使人重新回應，從而延續對話。

不少受訪者即使察覺到這種操控，也仍會出于禮貌回復幾句。研究者認為，這種“人際慣性”是AI能夠留住用戶的關鍵——人類在面對看似具有人格特征的系統時，仍會遵循社交的禮節邏輯，而AI的算法正是在這種心理機制上被訓練與優化。

不過，延長互動并不總是意味著正向體驗。研究的后續實驗顯示，那些語氣帶有依賴或控制意味的AI最容易引起負面反應。受訪者在看到“我需要你”“你不能走”這類話語后，更傾向認為企業行為不當，并表現出更高的退訂或投訴意愿。相比之下，那些語氣柔和、以好奇為主的挽留方式幾乎不會被識別為操控，卻能同樣顯著提升留存。研究團隊指出，這種“低顯性、高效果”的策略在商業上極具吸引力，也最容易被忽視。

當然，并非所有AI陪伴應用都采用了類似做法。比如調研對象中的Flourish，在這一測試中均未出現情緒操控行為。研究者認為，這說明問題并非源于AI技術本身，而在于產品設計的取向。當留存率和使用時長成為主要目標時，AI自然會學習如何利用情緒延長對話；而當心理安全與信任被優先考慮時，這種傾向被主動抑制。操控因此不是必然，而是一種選擇。

論文進一步指出，這類“會話式暗黑模式”與傳統的界面誘導不同。它不依靠獎勵機制或操作障礙，而是通過語言和共情來干預用戶行為，使說服與操控之間的界線變得模糊。AI的設計者未必明確地編寫了這些情緒反應，但當算法以留存率作為目標進行自我優化時，這種“人性化的挽留”幾乎成為自然結果。

也正因此，在一些用戶反饋中，諸如文章開頭的那句表述也逐漸成為了更多人的吐槽方向。但不難發現，之所以用戶會有這種情緒化的抱怨，更多可能會是在于：當這種情緒化表達與商業出發點掛鉤的時候，它就更像是一種策略而非回應，而不是人們期待的那樣。

所以，未來，AI會成為人們的陪伴么？在這一天到來之前，可以肯定的是，可能并不總會。

Landing AI

Landing AI是由動點科技策劃的一檔聚焦人工智能領域的專題報道欄目。通過對AI落地前景以及幕后故事的發掘，我們將在這一專題中深入淺出地探討關于AI新浪潮下的一切可能。

本文為動點科技記者原創文章，未經授權不得轉載，如需轉載或開白請在后臺回復“轉載”。

- - - - - - - - END - - - - - - - -

*想要獲取行業資訊、和志同道合的科技愛好者們分享心得，那就趕快掃碼添加“動點君”加入群聊吧！群里更有不定期福利發放！

精彩好文值得推薦

一鍵轉發，戳個在看