AI教父Hinton預警：4.8萬億美元的巨獸正在失控加速

來源：新智

【導讀】最近，AI教父Hinton發(fā)出最尖銳警告：不受監(jiān)管的AI就是一輛沒有方向盤的高速跑車！全球只有1%的AI研究在做安全，4.8萬億美元的巨獸正在失控加速。

當78歲的Geoffrey Hinton坐在攝像頭前，對著在場的幾百位代表說出這句話時，整個會場安靜了幾秒。

「他們想要一輛沒有方向盤的超級快車。」

最近，這位2024年諾貝爾物理學獎得主、被全世界叫了十幾年「AI教父」的老人，在全球數字世界大會上，再次向全人類拉響了警報。

這位老人用幾乎是帶著懇求的語氣警告：「我們不知道人類能否與超級智能AI共存。」

「但我們正在建造它。」

只有1%在管安全，剩下99%在踩油門

在發(fā)言中，Hinton給我們算了一筆很清楚的賬。

全球AI產業(yè)正以人類歷史上前所未有的速度膨脹。UN貿發(fā)會議的數據顯示：2023年全球AI市場規(guī)模1890億美元，到2033年預計飆到4.8萬億美元。

也就是說，人類只用了十年時間，就從零造出一個比日本GDP還大的經濟體。

這些錢，幾乎都用在了造更大的模型，跑更多的算力。

至于安全呢？Hinton給了一個數字：大概1%。

全球AI研發(fā)投入里，只有大約1%花在了「怎么讓這東西不出事」上面。

對此，Hinton的評論是：It's crazy.

「AI科技游說集團正在花大價錢投廣告，想讓所有人接受一個類比——AI是油門，監(jiān)管是剎車。他們的意思是，別踩剎車，會拖慢我們。」

對此，Hinton表示，這個類比完全是錯誤的！

「油門是進步，沒錯。但監(jiān)管不是剎車，監(jiān)管是方向盤。他們想要一輛極速狂飆的車，但沒有方向盤。」

坐在他旁邊的Terry Sejnowski立刻接了一句：你開過一輛沒有剎車的車嗎？下坡的時候你就知道有多慘了。但更慘的是，我們連方向盤都沒有。

油門踩到底，方向盤拆掉，這就是當下全球AI競賽的真實狀態(tài)。

兩位老人的頒獎典禮

怎么變成了一場審判

2026年世界數字大會的主題是「AI與社會發(fā)展」。

這次大會給Hinton和Sejnowski頒了一個獎，表彰他們在1980年代發(fā)明玻爾茲曼機，它后來成了深度學習革命的催化劑。

頒獎人是微軟的語音識別專家李登（Li Deng），他自己就是玻爾茲曼機的受益者。

前半場，三個人聊的是科學往事，學術榮光和師生情誼。

Hinton和Sejnowski回憶了1980年代在羅切斯特的一次會議上，他們是如何把Hopfield網絡和模擬退火結合在一起，這個靈感迸發(fā)的瞬間。

Sejnowski說，自己記得一清二楚——「我們坐在那里，突然意識到可以把Hopfield網絡加熱，讓它變成概率性的。」

隨后，Hinton補了一個細節(jié)：那個時候他剛在圣地亞哥跟David Rumelhart一起編程反向傳播，用的是logistic單元。

而給Hopfield網絡加溫度之后，出來的恰好也是logistic單元。兩條完全不同的路，在同一個數學形式上匯合了。

在科學史上，這種時刻被叫做「晶化瞬間」。

值得玩味的是，Hinton至今仍然認為玻爾茲曼機比反向傳播更優(yōu)雅。「它是一個好得多的想法。只是不太好用。」

Sejnowski笑著附和：「它在生成式AI還沒流行之前幾十年，就已經是生成式神經網絡了。」

一個更優(yōu)雅但不實用的想法，和一個沒那么優(yōu)雅但統(tǒng)治了整個時代的算法，在科學史上，這種故事反復上演。

「AGI，是一個愚蠢的術語」

但頒獎典禮的后半場，畫風急轉。當主持人把話題引向AGI和社會風險時，Hinton徹底切換了模式。

李登問了一個很多人都想知道的問題：你們怎么定義AGI？什么樣的基準測試能說明AGI已經到來？

Hinton毫不留情地表示：「AGI是一個愚蠢的術語。」

理由很簡單：它假設智能是一維的，像溫度計一樣，數值越高越聰明。

「但智能顯然是高度多維的。所以不存在一個點，AI在那個點上等于人類。它相對于人類的能力是鋸齒狀的——在某些方面已經遠遠超過我們，在另一些方面還不如我們。」

他舉了個例子：你現在去問任何一個大模型，斯洛文尼亞的報稅截止日期是哪天，或者怎么給門廊做防潮處理，它都答得頭頭是道。在通識知識這個維度上，AI早就把人類甩了幾條街。但在某些推理任務上，它還沒完全追上。

「所以，AGI這個詞沒有意義。」

那什么詞有意義？

在Hinton看來，真正有意義的是「超級智能（superintelligence）」。它的定義很清楚——在幾乎所有人類能做的智力任務上都比我們強。我們相信它正在到來。

接下來，就是整場對話最核心的段落。

在場官員問：當超級智能到來時，人類還能保持對自己創(chuàng)造的系統(tǒng)的有意義的控制嗎？

Hinton回答：「我們不知道能不能和超級智能AI共存。」

但我們正在建造它，所以我們現在還有很多控制權。我們應該小心地建造，讓我們還能繼續(xù)存在，和它和諧共處。

在已知的模型里，遠比自己聰明的東西愿意給遠不如自己聰明的東西自由——只有一個例子。母親和嬰兒。母親真的關心嬰兒。

但現在的問題是，我們正處在歷史上一個緊迫的節(jié)點，必須嘗試解決這個問題，而投入的資源少得可憐。

也許只有1%的工作在研究這件事。相比之下，99%的工作都在讓AI變得更聰明。 這簡直是瘋了。

煙草和石棉

Hinton把AI風險分成了三類。

第一類：有人故意用AI干壞事。

比如，制造深度偽造視頻來腐蝕民主，制造致命病毒來引發(fā)大流行，發(fā)動網絡攻擊。這是最直接的威脅。

第二類：有人試圖用AI賺錢時產生的副作用。

比如用AI把女性照片生成非法照片。比如推薦算法不斷推送比你剛看過的更極端的視頻，最終制造出兩個完全沒有共同語言的群體。

「他們只是在賺錢，但副作用就是撕裂社會。」

第三類：AI自主接管的存在性威脅。

Hinton認為，第三類威脅或許會得到國際合作，因為所有人都害怕。

但對于前兩類，特別是第一類，則不會得到合作。各國會嘴上說要合作，但實際上都在互相攻擊，這就要難處理得多。

Hinton講了這樣一個類比：看看煙草和石棉的歷史。

「生產煙草和石棉的發(fā)達國家——比如加拿大——在本國引入了保護公民的法規(guī)。但它們繼續(xù)把這些東西賣給第三世界國家。

所以我們真的要擔心：即使我們在開發(fā)AI的國家制定了正確方向的法規(guī)，這些國家仍然可能把AI賣到其他國家，在那里產生惡劣后果——即使這些事情在他們自己國家是不被允許的。

太陽底下無新鮮事，煙草和石棉的劇本，很可能會再次上演。

關于LeCun，你怎么看？

LLM，究竟是不是死胡同？

接下來，李登還帶來了一個尖銳問題：LeCun說大語言模型是通往超級智能的死胡同，你們怎么看？

Hinton把這個問題拆成了兩半。

「首先，是一個哲學問題：一個只預測下一個詞的系統(tǒng)，能不能理解空間？答案是能。這非常令人驚訝。」

「然后，有一個實際問題：這是理解空間的高效方式嗎？答案是不能。如果你有攝像頭，能操控物體，你理解空間和基本物理常識的效率會高得多。」

「所以在實際層面，一個多模態(tài)AI——有攝像頭、能操控物體、還能說話——會比純語言模型用更少的數據更快地理解很多東西。但在哲學層面，純語言模型給它足夠多的語言數據，可能也夠了。」

4.8萬億美元的蛋糕，誰在切？

這次大會暴露的另一個裂縫，就是「分配」的危機。

UN貿發(fā)會議代理秘書長Pedro Manuel Moreno在同期舉行的科技發(fā)展委員會上直接點破：AI的建造能力和塑造權，集中在極少數經濟體和企業(yè)手里。

國際電聯(lián)秘書長Doreen Bogdan-Martin給出了一個刺眼的對比：發(fā)達國家對于AI的采用速度，幾乎是發(fā)展中國家的兩倍。

「如果不解決這個問題，這將是第二次大分流。」

造AI的國家和只能消費AI的國家之間，鴻溝正在以肉眼可見的速度撕開。

4.8萬億美元的市場，基礎設施、投資、人才全部集中在北半球那幾個點上。剩下的世界，甚至沒有資格參與規(guī)則制定。

顯然，這個后果很可怕。

方向盤在誰手里？

把時間線拉長一點就會發(fā)現，Hinton的這場對話，其實是他過去三年吹哨行動的一次集大成。

2023年從Google離職時，他說的是「我為自己的畢生工作感到后悔」。2024年拿諾貝爾獎時，他在領獎臺上呼吁重視AI安全。2025年他在多個場合反復強調監(jiān)管的緊迫性。

到了2026年，他的措辭變得更具體了。

而他在技術討論中展現的另一面同樣值得注意。

這個78歲的老人，在聊完AI末日風險之后，能立刻切回去講受限玻爾茲曼機為什么是正確的貝葉斯推理、為什么當前的圖像生成模型只用了醒-睡算法的一半、怎么把生成模型和識別模型結合起來才是下一步正確方向。

他同時住在兩個世界里——一個在思考AI怎樣變得更強大，一個在思考人類怎樣不被更強大的AI毀滅。這兩件事在他的大腦里并行運轉，互不矛盾。

這大概就是為什么他的警告格外有分量。這是親手造出這個東西的人在說：我知道它能做什么，所以我知道該怕什么。

而Hinton提到的那輛車，現在油門已經踩到底了，4.8萬億美元的引擎在轟鳴。方向盤在不在，取決于接下來的幾年里，坐在駕駛座上的人——不管是政府、企業(yè)還是科學家愿不愿意伸手。

如今，我們正站在一個極其特殊的時間節(jié)點上。在AI變得比我們聰明之前，是人類唯一還能決定游戲規(guī)則的窗口。

Hinton三年前從谷歌辭職時說的那番話，當時很多人覺得是杞人憂天。

三年過去了，他還在說同樣的話。不過，現在已經有很多人，真實地理解了他的擔憂。

只是，那輛沒有方向盤的車，還在加速。

參考資料：

https://x.com/haider1/status/2048809405442039961

為偉大思想而生！

AI+時代，互聯(lián)網思想（wanging0123)，

第一必讀自媒體