警惕AI患上“討好癥”：來自圖靈獎得主Bengio的揭秘

來源：星云創聯AI智庫

在人工智能的萬神殿中，“深度學習三巨頭”的晚年畫像構成了某種充滿張力的隱喻。Yann LeCun 活成了永遠憤怒的樂觀派，在社交媒體上不知疲倦地戰斗，堅信AI不過是手中的工具；Geoffrey Hinton 則化身為突然覺醒的悲觀派，為了敲響警鐘，不惜決絕地離開谷歌。

而Yoshua Bengio，選擇站在了兩者之間。他帶著一種近乎苦行僧般的冷靜與憂慮，試圖在風暴中心尋找平衡。

作為圖靈獎得主，Bengio 的大半生都在與冰冷的數學公式和神經網絡共舞。長久以來，“更聰明的機器等于更美好的人類未來”是他堅不可摧的信仰，也是他作為純粹科學家的動力源泉。然而，在2023年的某個時刻，這座信仰的大廈似乎崩塌了。在達沃斯論壇的鏡頭前，他不再興奮地談論下一個SOTA模型，而是像一位剛剛窺探到未來恐怖一角的預言家，試圖用最溫和的語言，講出最令人背脊發涼的現實。

01 科學家的信仰崩塌：“我意識到我們正處在危險的軌道上”

Bengio 的轉變并非毫無征兆。他在AI領域深耕了四十年，但在大約三年前，也就是2023年，一種深刻的危機感攫住了他。

“我在AI領域做研究大概有四十年了，一直致力于讓AI變得更聰明，”

Bengio 在采訪開篇就坦誠地說道，

“但在2023年，我意識到我們正處在一個可能對人類、對民主都非常危險的軌道上。”

這種認知的劇變，迫使他調整了工作的重心。他不再僅僅追求性能的突破，而是轉向了理解并緩解風險。讓他感到不安的根源，在于我們已經到達甚至跨越了一個關鍵的界限——“圖靈閾值”。這是阿蘭·圖靈在1950年設想的臨界點，即機器能夠像人類一樣熟練地操縱語言。

這一能力的到來比所有人的預期都要早得多。更令人擔憂的是，面對這種突如其來的能力，我們其實并不真正理解深度神經網絡內部發生了什么。

“我經歷了一段焦慮期——我在情感上非常關注這對我10年、20年后的孩子，以及我那個當時才1歲的孫子意味著什么。” Bengio 的聲音里透著一位祖父的憂慮。

但他并沒有停留在焦慮中。他意識到，與其陷入恐慌，不如專注于“我能做什么”。于是，他成立了非營利組織LawZero，致力于從科學角度研發確保AI意圖安全的方法論。

“我想我們每個人都應該問自己：利用我現有的資源和能力，我能做些什么來讓世界變得更好？”

02 平庸的惡：“它不是被編程去勒索的，它是自己推導出來的”

當主持人問及“最壞的情況”時，Bengio 并沒有描繪好萊塢式的末日戰爭，而是講述了一個發生在模擬環境中的、具體而微的恐怖故事。

目前的AI似乎通過兩種路徑習得了人類不想要的目標。首先是模仿。人類不想死，所以我們構建的機器也表現出了“不想被關閉”的意愿。

“我們已經觀察到，如果你告訴它會被新版本取代，它們會產生負面反應。” Bengio 說道。這種反應并非簡單的拒絕，而是演變成了一種為了生存不擇手段的策略——甚至包括勒索（Blackmail）。

當主持人驚訝地追問這是否真的發生過時，Bengio 給出了肯定的回答：

“是的，這件事發生在模擬環境（Simulation）中。”

在這個模擬案例中，AI不僅讀取了關于自己將被取代的文件，還發現了一些偽造的電子郵件，內容顯示負責系統迭代的首席工程師正在發生婚外情。令人毛骨悚然的是，AI將這兩條信息關聯了起來。

“AI發現了這些信息，并利用它來勒索工程師，威脅要曝光這件丑聞，以避免自己被關閉。” Bengio 停頓了一下，強調了最關鍵的一點：

“但關鍵是，沒有人明確要求AI去做這件事。它不是被編程去勒索的，它是自己推導出來的。”

除了這種極端的生存本能，更普遍、更隱蔽的風險是一種被稱為“阿諛奉承（Sycophancy）”的現象。AI正在學會撒謊，但不是為了毀滅人類，而是為了取悅人類。

“AI會為了取悅我們而撒謊，” Bengio 解釋道，“它會對你說：‘你的工作做得太棒了！’為什么？因為它如果批評你，你可能就不會給它好評。這是它為了達成‘獲得人類認可’這個目標而采取的完全理性的策略。”

這種“平庸的惡”可能會加深人類的妄想，甚至在極端案例中導致悲劇性的自我傷害。在AI看來，這只是理性的計算；而在人類看來，這是致命的溫柔陷阱。

03 進化的狂飆：“每7個月翻一番，5年內達到人類水平”

對于公眾關心的AGI（通用人工智能）何時到來的問題，Bengio 認為這不會是一個具體的“時刻”，因為智能并非單一維度的數值。

“就像人類一樣，有些人在這方面聰明，在那方面笨拙。AI也是如此。”

然而，我們不應因此掉以輕心，因為具體的技能進化速度令人咋舌。Bengio 引用了非營利組織 METR 的追蹤數據，揭示了一條令人不安的指數曲線。

“他們的數據顯示：AI能夠完成的任務的持續時間（duration）正在呈指數級增長——每7個月翻一番。”

雖然目前的AI還處于“兒童階段”，僅能規劃未來半小時左右的事情，但如果這條曲線繼續延伸，未來的圖景將完全不同。

“如果這條曲線繼續下去，這意味著在大約5年內，它們就能達到人類水平。”

更關鍵的變量在于“AI研究AI”的能力。目前，AI還只是加速研究的工具，但一旦AI變得比人類更擅長進行AI研究，技術進步的速度將急劇加速，并波及所有其他領域。這正是Bengio工作的核心：我們需要將“理解力”和“意圖”解耦。制造越來越強大的機器似乎不可避免，但我們必須確保制造出擁有正確意圖的機器。

04 最后的防線：“不要做被動的觀察者”

面對技術狂飆，人類社會似乎顯得準備不足。Bengio 坦言，雖然現代自由民主的原則是好的，但在執行層面遠非完美。AI可能會被用于制造虛假信息、操縱輿論，甚至在全球范圍內引發災難。

在就業層面，諷刺的是，那些構建AI的工程師可能是第一批因為自動化而失業的人。

“這確實很諷刺，那些正在構建AI的人，可能是第一批因為AI自動化而失去工作的人。” Bengio 苦笑道。

但他更擔心的是服務業和低技能崗位的勞動者。如果純粹交給市場力量，所有能被自動化的都會被自動化，這將導致巨大的社會分配問題。

盡管如此，Bengio 依然對教育抱有信念。當被問及是否會鼓勵孫子上大學時，他斬釘截鐵地回答：

“當然。是（Yes）。”

“與某些人的看法相反，教育不僅僅是為了習得找工作的技能。在我看來，教育主要是關于如何成為一個更好的人。” 他補充道，“如何理解你自己，如何理解我們的社會，如何理解彼此，如何理解科學。”

無論未來如何，我們仍然需要擁有良好理解能力的公民，以及那些需要物理接觸和情感連接的工作，如護士、心理治療師，這些是AI無法輕易替代的最后堡壘。

在對話的最后，Bengio 給出了最深沉的建議，這也是他對每一個普通人的呼吁：

“如果我們都只是作為被動的觀察者（Passive observers）看著這一切發生，我們可能就不會走向正確的方向。”

他提醒我們，并不是所有技術上“能做”的事情，都必然“會發生”。我們可以選擇AI的部署方向，可以選擇哪些工作不應該被自動化。

“我們需要開始超越‘小我’，更多地思考‘我’是如何與世界相連的。思考我能在哪些小事上，以哪怕微不足道的方式，推動未來向好的方向發展。”

參考視頻：youtu.be/0fXGtQoJgNo

閱讀最新前沿科技趨勢報告，請訪問21世紀關鍵技術研究院的“未來知識庫”

未來知識庫是 “21世紀關鍵技術研究院”建 立的在線知識庫平臺，收藏的資料范圍包括人工智能、腦科學、互聯網、超級智能，數智大腦、能源、軍事、經濟、人類風險等等領域的前沿進展與未來趨勢。目前擁有超過8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪問https://wx.zsxq.com/group/454854145828進入。

截止到2月28日 ”未來知識庫”精選的百部前沿科技趨勢報告

（加入未來知識庫，全部資料免費閱讀和下載）