Shannon 沒有想到的事——當信息論遇上有限算力

從一個日常經驗開始

你有沒有過這種體驗——

打開一本教科書，前三頁還能跟上，到第四頁突然看不懂了。每個字你都認識，但連在一起就變成了噪音。你翻回去重讀，還是不行。于是你合上書，換了一本"入門版"，同樣的知識換一種講法，突然就懂了。

信息沒有變。書里寫的還是同一件事。變的是你能不能處理它。

現在問一個稍微奇怪的問題：那本你看不懂的教科書，對你來說，信息量是多少？

Shannon 的信息論會說：和入門版一樣多。信息量是數據本身的屬性，和誰在讀無關。

但你的直覺說：不對。那本我看不懂的書，對我來說信息量接近于零——因為我什么都沒學到。

你的直覺是對的。Shannon 的理論也沒錯。矛盾出在一個被忽略了 78 年的假設上。

同一本書，不同的讀者"看到"完全不同的信息量

Shannon 漏掉了什么

Claude Shannon 在 1948 年創立了信息論。這是 20 世紀最偉大的數學成就之一——它定義了"信息"是什么，證明了壓縮、預測和理解在數學上是同一件事，奠定了整個現代通信工業的基礎。

我在之前的 信息論文章 里花了一整篇來講這件事，在 開篇語 里把"壓縮即智能"這五個字當作這個系列的基石。

但 Shannon 解決的問題是通信——我這端有一段數據，怎么通過一根嘈雜的電話線傳到你那端，不丟失、不出錯。

對這個問題來說，"誰在收"不重要——你是人還是機器，收到的比特數是一樣的。所以 Shannon 隱式地假設了觀察者有無限的計算能力。這個假設在通信領域完全無害，甚至很優雅。

但今天的核心問題變了。不再是"怎么傳數據"，而是——

給一堆數據，能從里面學到多少有用的東西？

這是一個根本不同的問題。在這個問題里，"誰在學"變得至關重要。同樣的數據，GPT-2 和 GPT-4 學到的東西不同；人類和 LLM 學到的也不同。甚至同一個人，精力充沛和疲憊不堪時，從同樣的數據中學到的也不同。

Shannon 的框架里，沒有地方放"學習者的能力"這個變量。

78 年來這不是問題——因為我們主要在做通信。但自從 LLM 出現，這個缺失就開始擋路了。

2026 年 1 月，CMU 和 NYU 的六位研究者（Finzi, Qiu, Jiang 等人）在一篇名為 "From Entropy to Epiplexity" 的論文中（arXiv: 2601.03220），正式補上了這個缺口。

在講他們怎么補的之前，我想先讓你感受一下這個缺口到底有多大。

三個讓人不安的事實 事實一：從"無"中創造"有"

2017 年 12 月 5 日，DeepMind 發了一篇論文。AlphaZero——一個從零開始、僅靠自我對弈的 AI——用 4 小時學會了國際象棋，然后擊敗了人類花 40 年調教出來的最強引擎 Stockfish。

AlphaZero 的輸入是什么？國際象棋的規則——幾百行代碼，幾 KB 大小。它的輸出？需要數十兆字節權重才能存儲的超人棋力。那些前所未見的棄子攻擊、匪夷所思的開局創新——象棋界的人看到后說"這不像機器下的棋，這像是來自外星文明"。

問題來了：這些知識從哪里來的？

Shannon 的信息論說：確定性變換不能增加信息。規則進去，規則出來，信息量守恒。AlphaZero 沒有從外部獲取任何數據。所以按 Shannon 的理論，它不應該產生新信息。

但幾十兆字節的超人棋力，顯然不是"沒有新信息"。

AlphaZero 的棋局：從簡單規則中涌現的超人直覺

事實二：順序不應該重要，但它重要

論文里引用了一段 Ilya Sutskever（OpenAI 聯合創始人）的話，讓我印象很深：

"你在讀一本推理小說。讀到某一頁，文字揭示了兇手的身份。如果模型能預測出那個名字……那它一定是從前面的線索中推理出了誰是兇手。"

但寫書的人不需要做這個推理。作者先選好了兇手，再倒過來編織線索。寫作方向和閱讀方向是反的——一個輕松寫意，一個燒腦至極。

寫作方向和閱讀方向是相反的——一個輕松寫意，一個燒腦至極

同樣的故事，從結局倒著讀，和從開頭正著讀，包含的"信息"一樣嗎？

Shannon 說：一樣。信息量和順序無關，這是信息論的基本性質。

H(X, Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)

但做 LLM 訓練的人都知道：英語文本正著建模比倒著建模效果好得多。更極端的例子——兩個大素數 p 和 q，算乘積 N = p × q 一秒搞定；反過來給你 N 讓你分解？整個密碼學工業建立在"這件事算不出來"的基礎上。

同樣的信息，調換一下方向，學習難度天壤之別。

事實三：學生可以比老師更聰明

Conway 的生命游戲——可能是最著名的"涌現"案例。規則簡單到只需要三行：

對每個細胞： 活鄰居 = 3 → 活 活鄰居 = 2 且自己活 → 活 否則 → 死

但從這三行規則出發，會涌現出"滑翔機"（一種會斜向移動的結構）、"槍"（周期性發射滑翔機的裝置）、甚至理論上的通用計算機。

Conway 的生命游戲：Gosper 滑翔機槍——簡單規則涌現復雜行為

如果你訓練一個 LLM 來預測生命游戲的演化，它必須學到這些涌現概念——否則它沒法做出好的預測。但這些概念完全不在那三行規則里。

模型學到的內部程序，比生成數據的程序復雜得多。這違反了"模型最多只能學到數據源的水平"這個直覺。

同一串數字，你看到了什么？

這三個事實指向同一個裂縫。要理解它，先看一個你每天都在經歷的現象。

你手機上的每一次加密通信——微信消息、銀行轉賬、HTTPS 網頁——都依賴偽隨機數生成器。原理很簡單：給一個短短的"種子"（比如數字 42），通過確定性算法，吐出一長串看起來完全無規律的數字。

如果 Shannon 本人來看這串數字，他會說：信息量等于種子的長度，幾十個 bit 而已。因為存在一個程序能完美重現整個序列——種子加算法，搞定。

但如果你把這串數字交給世界上最強的 AI，讓它看前一萬個數字，預測第一萬零一個？

它做不到。

不是模型不夠大，不是訓練不夠久。而是在有限時間內，不存在任何算法能區分這串偽隨機數和真正的隨機數。這是現代密碼學的基石——如果誰能做到，你的銀行賬戶、你的微信聊天記錄、全世界的加密系統，全部裸奔。

同一串數字，兩個觀察者看到了完全不同的東西

對有無限算力的 Shannon 觀察者：這串數字幾乎不包含信息（一個短種子而已）。

對有限算力的你我和 LLM：這串數字就是完全隨機的，每一位都是全新的、不可預測的信息。

同一個對象。同一串 bit。因為觀察者的算力不同，"包含多少信息"完全不同。

這就是 Shannon 漏掉的東西：信息不是數據的固有屬性，而是數據和觀察者之間的關系。

損失曲線里藏著答案

論文提出的核心概念叫epiplexity（認知復雜度）。名字有點唬人，但直覺非常簡單——簡單到可以用一張圖說清楚。

核心直覺：損失曲線的兩部分 = 結構 + 隨機

如果你訓練過 AI 模型（或者哪怕只是看過訓練過程的截圖），你一定見過這樣的損失曲線：一開始 loss 很高，然后慢慢下降，最后趨于平穩。

論文說：這條曲線天然地把數據里的信息切成了兩半。

上半部分——loss下降的那部分面積——是模型通過訓練真的學到了的東西。語法規則、邏輯關系、因果常識……所有讓模型變"聰明"的結構性知識。論文給它起了個名字：epiplexity。

下半部分——loss不再下降后的殘余——是模型學完了所有能學的之后，仍然無法預測的隨機噪聲。明天的天氣精確到每一朵云的形狀、下一個用戶會打什么錯別字——這些信息量巨大，但沒有可學習的規律。論文叫它：時間有界熵。

Shannon 的經典理論只看總面積——它不區分這兩部分。但對實際的 AI 訓練、對人類學習來說，我們真正關心的只有藍色區域——那些能被學到、能被復用、能被遷移到新任務的結構。

一個直覺類比：你讀一本書。書里的信息分兩種——你讀完后記住并理解的部分（epiplexity），和你怎么也記不住的隨機細節，比如第 137 頁第 3 行第 5 個字（時間有界熵）。總信息量一樣，但前者才是你真正"學到"的。

回到那三個不安的事實

有了 epiplexity，前面那三個讓人不安的事實就都有解釋了。

計算可以創造結構

論文用細胞自動機做了一個漂亮的實驗。

什么是細胞自動機？想象一排格子，每個格子只有黑白兩種顏色。每一步，每個格子根據自己和左右鄰居的顏色，按一個固定規則翻轉。規則極其簡單——只有一行邏輯。但不同的規則產生了天壤之別的結果：

同一種確定性變換，產生完全不同的信息結構

規則 15：簡單的條紋，像壁紙圖案。模型一眼看穿。就像一首只有 Do Re Mi 三個音符的練習曲——沒什么可學的。

規則 30：一片混沌，看不出任何規律。模型訓練到天荒地老也無法降低 loss。這就是我們剛才說的偽隨機數的原型——確定性過程產生了（對有限觀察者來說）完全隨機的結果。信息量巨大，但全是噪聲。

規則 54：最有意思——復雜但不混亂。你仔細看，能看到一些"粒子"在移動、碰撞、產生新粒子。模型的 loss 緩慢但穩定地下降。它在一點一點發現這些隱藏的規律。這就是高 epiplexity 的數據——充滿了值得學習的結構。

三種規則的輸入完全相同，程序復雜度也幾乎一樣。但對有限算力的模型來說，它們創造出了截然不同的"可學信息"。

所以 AlphaZero 不神秘了。國際象棋的規則很簡單，但通過海量計算（自我對弈），這個確定性過程為有限觀察者創造了大量結構性信息。Shannon 說"信息沒有增加"——對無限算力的上帝來說確實如此。但對我們這些有限觀察者來說，那些棄子攻擊和開局創新，就是被計算挖掘出來的、全新的結構。

困難的方向教會你更多

論文在國際象棋上做了一個讓我拍案叫絕的實驗。

同一批棋譜，兩種喂法：

?正序：先給棋步（1.e4 e5 2.Nf3...），再給最終棋盤狀態

?逆序：先給最終棋盤狀態，再給棋步

正序就像看直播——沿著棋步走，最終棋盤可以一步步算出來。逆序就像推理小說倒著讀——給你結局，讓你反推過程。

國際象棋實驗：更"難"的順序 → 更多結構 → 更強遷移

結果？逆序更難學，loss 更高。但模型學到了更多的結構性信息（epiplexity 更高）。更驚人的是，在下游任務上——解棋局謎題、評估局面優勢——逆序模型的遷移效果碾壓正序。

為什么？正序模型可以"偷懶"——它只需要學會模擬規則的正向執行。但逆序模型沒有捷徑。它被逼著去理解棋局的內在邏輯。這種被逼出來的深層理解，恰好是下游任務需要的。

這個發現有一種禪意：學得越痛苦的方向，越可能是正確的方向。因為痛苦意味著你不能走捷徑，必須建立真正的理解。

涌現超越規則

生命游戲的實驗更直接。論文做了一個對比：

給模型足夠的算力逐步展開中間狀態 → 模型找到了暴力模擬的笨辦法，epiplexity 暴跌——因為它只需要記住那三行規則，反復執行就行。

限制模型的算力→ 模型被迫學習涌現出來的高層規律（粒子的運動、碰撞、產生），epiplexity 持續上升。

當算力不夠暴力求解時，模型必須變得比數據的生成過程更"聰明"。這就是涌現——我在 《為什么矩陣和激活函數就能涌現智能？》 里討論過這個現象。epiplexity 給了我們第一個精確測量涌現的工具。

一個改變我理解的發現

到這里，epiplexity 可能還只是一個"有趣的理論概念"。但接下來這個實驗結果，直接讓我重新理解了 AI 訓練這件事。

論文把 10 億 token 的三種數據放在一起，分解它們的信息構成：

不同數據的信息構成：誰是"值得學的"？

數據源

結構性信息（epiplexity）占比

隨機信息占比

自然語言（OpenWebText）

約 37%

約 63%

國際象棋（Lichess）

約 5%

約 95%

圖像（CIFAR-5M）

> 99%

你沒有看錯。圖像數據中超過 99% 的信息都是噪聲。

想想"看一張貓的照片"這件事。照片里有什么信息？每一根貓毛的精確走向、背景墻上每一個像素的確切顏色、光影的微妙漸變——這些信息量巨大，但你需要知道這些嗎？你只需要知道"這是一只貓"。那根關鍵的信息——"貓"——在全部像素信息中占的比例，微乎其微。

而自然語言呢？"水在零度以下會——"下一個詞幾乎確定是"結冰"。這個可預測性不是噪音，這是人類文明幾千年積累下來的結構化知識——因果關系、物理規律、常識推理，全部編碼在語言的結構里。

三種自然數據的信息分解

語言中的結構性信息大約是圖像的 10000 倍。四個數量級。

這就解釋了一個 AI 領域所有人都注意到但沒人能解釋清楚的現象：為什么 GPT 在文本上預訓練后能做數學、寫代碼、控制機器人——因為它吸收了天量的可遷移結構。而在圖像上預訓練的模型遷移能力弱得多——因為它的大部分"學習帶寬"浪費在了記憶不可遷移的隨機像素上。

一個顛覆性的實踐結論

傳統 AI 研究的核心問題是模型選擇——給定數據，什么架構最好、什么超參數最優。

但 epiplexity 說：也許你問錯了問題。真正的關鍵是數據選擇。

論文驗證了這一點。一種叫 ADO 的數據選擇策略，會動態調整訓練數據的采樣分布，優先選擇 loss 下降更快的數據子集。這個策略無意中在最大化 epiplexity——它在自動篩選結構信息密度最高的數據。結果？更好的下游表現，更強的泛化能力。

Chinchilla 定律 告訴我們 要用多少數據 。Epiplexity 回答下一個問題： 要用什么數據 。

如果你讀到這里心想："這是 AI 研究者的事，和我沒關系"——恰恰相反。

你就是一個有限算力的觀察者。

你的大腦有 860 億個神經元，處理速度大概幾百赫茲——和 GPU 的萬億次運算相比微不足道。你一輩子能讀的書、能經歷的事、能處理的信息，都是嚴格有限的。

但你依然能理解世界。怎么做到的？

你做的事情，恰好就是 epiplexity 描述的事情：在有限的算力下，從海量數據中提取結構。

你不會去記每片落葉的紋路（那是時間有界熵——隨機的、不可學習的噪聲），但你會學到"秋天葉子會變黃"（那是 epiplexity——可復用的結構性知識）。你不會記住每頓飯的每一口味道，但你會學到"鹽放多了會咸"。你不會記住每次對話的每一個字，但你會學到"這個人說話靠不靠譜"。

這不就是人類智能的核心嗎？在有限的生命里，從看似混沌的世界中，提取出盡可能多的規律。

甚至——你此刻閱讀這篇文章的過程，就是一個活生生的例子。

這篇文章有幾千字，包含大量信息。但你不會（也不需要）記住每個字。你會記住的是幾個關鍵結構："信息量取決于觀察者"、"語言比圖像更值得學"、"困難的學習方向可能更好"。這些就是這篇文章對你的 epiplexity——你從這些文字中真正提取出來的結構。

如果我寫得太學術、太抽象，你讀著讀著跟不上了——那一刻發生的事情，恰好就是 epiplexity 為零的狀態：信息量巨大，但對你這個"有限算力的觀察者"來說，全部變成了噪聲。你什么都沒學到，閱讀就中斷了。

這就是為什么好的教育如此重要。

好的老師本質上就在做 epiplexity 最大化。他們不會讓學生死記硬背（那是喂低 epiplexity 的數據——記了就忘的隨機細節）。他們用精心選擇的例子、由淺入深的順序、恰到好處的難度，讓學生在有限的學習時間里提取到最多的結構。

論文里"逆序學國際象棋反而學得更深"的發現，和教育學里一個著名理論驚人地吻合——"適度的困難"（desirable difficulty）促進深層學習。太簡單的材料，學生不需要建立新的認知結構就能應付；太難的材料，超出處理能力，變成噪聲。只有在"夠得著但要跳一跳"的難度區間里，大腦才會被迫建立新的理解框架——也就是提取新的結構性信息。

所以這篇論文說的不只是 AI 的事。它說的是所有有限智能體——不管是 LLM 還是人類——如何從世界中獲取知識。

興趣：被低估的算力加速器

但論文沒有討論、而框架卻完美解釋的一個東西是——興趣。

想一件你真正著迷的事。可能是編程，可能是做菜，可能是打籃球，可能是養花。回憶一下你沉浸其中的狀態：時間消失了，注意力像激光一樣聚焦，每一個細節都在你腦子里留下清晰的紋路。

再想一件你毫無興趣的事。也許是大學里一門被迫選的課。老師在講臺上說的每句話都是合法的中文句子，但你的大腦就是拒絕處理它們。一個小時過去了，筆記本上是空的，腦子里也是空的。

同樣的數據。同樣的你。唯一的區別是——興趣。

從 epiplexity 的角度看，興趣做了一件很具體的事：它臨時升級了你的硬件。

當你感興趣時，大腦會分配更多的注意力、更多的工作記憶、釋放更多的多巴胺（這會增強突觸可塑性，也就是"記憶力"）。用論文的語言說：你從一個算力較低的觀察者，變成了一個算力更高的觀察者。同一份數據，你能提取出更多的結構。

那本在凌晨兩點備考時讓你昏昏欲睡的統計學教材——當你在工作中遇到一個真正需要回歸分析才能回答的問題時，再去翻它，同樣的公式突然變得清晰、有力、有用。

數據沒變。你的"算力"變了。因為興趣和需求給了你更強的處理能力。

天賦：出廠配置不同的觀察者

更深一層：為什么有人天生著迷于音樂，有人著迷于數學，有人著迷于語言？

也許答案是——每個人的大腦架構，讓不同類型的數據對你呈現出不同的 epiplexity。

一個有音樂天賦的孩子，聽到一段旋律時，他的聽覺皮層能從中提取出非音樂人根本"聽不見"的結構——和弦走向、節奏變化、調性張力。不是因為聲波不同，是因為觀察者不同。同樣一段音頻，對他來說充滿了可學的結構（高 epiplexity），對另一個人來說就是"好聽的背景音"（低 epiplexity）。

反過來，那個聽不出和弦色彩的人，可能看一眼代碼就能感受到架構的優雅和冗余——這是程序員的"音樂天賦"。

所謂天賦，也許就是：你的大腦對某種數據天生有更高的結構提取效率。

這不是雞湯。這是一個可以指導行動的洞察。

學習的正反饋循環

興趣和天賦會觸發一個強大的正反饋循環：

興趣 → 更多注意力（更高算力） → 提取更多結構 → 理解加深 → "原來還有這么多有意思的東西！" → 更強的興趣 → ……

這就是為什么有些人在某個領域越學越快——不是他們變聰明了，是循環在加速。每一輪提取出的結構，都成為下一輪提取的"腳手架"。就像論文里說的國際象棋逆序實驗——前面學到的深層結構，讓后面的學習變得更高效。

反過來，如果一開始就被迫學習你不感興趣的東西（低算力狀態），提取不到結構（低 epiplexity），感覺全是噪聲，于是更沒興趣，惡性循環。

這解釋了一個每個人都經歷過但很難說清的現象：為什么"學不進去"的感覺和"學得飛快"的感覺差別那么大。不是意志力的問題，是你此刻的有效算力決定了你能從這份數據中提取多少結構。

好的內容創作者在做什么

如果你接受了這個框架，那"好的老師"和"好的內容創作者"在做什么就很清楚了——他們同時在做兩件事：

第一，選擇高 epiplexity 的數據。不是所有信息都值得傳達。好的內容只傳遞結構——那些讀者聽完之后能記住、能復用、能遷移到其他場景的東西。冗余的細節、不必要的術語、為了顯示專業性的復雜表述——這些都是噪聲。

第二，提升讀者的有效算力。怎么提升？激發興趣。用故事代替定義，用懸念代替目錄，用"這和你有什么關系"代替"本文將討論以下三個方面"。當讀者的好奇心被點燃時，他們的注意力集中了，處理能力上升了——同樣的內容，他們能從中提取出更多的結構。

所以，一篇好文章的目標不是"傳遞信息"——而是最大化讀者的 epiplexity。傳遞的信息要富含結構，同時要讓讀者處于最佳的接收狀態。

這也許是我寫這個系列文章以來，找到的最精確的一句話：

好的寫作 = 高結構密度 × 高讀者算力。 前者靠選材和提煉，后者靠興趣和共鳴。

這篇論文不是終點，而是起點。它打開了幾個方向：

對 AI 訓練來說——數據選擇將從"憑直覺和經驗"走向"有理論指導"。不是所有數據都值得拿來訓練。高 epiplexity 的數據（自然語言 >> 圖像）應該被優先使用。合成數據的設計不再是盲目的——目標是創造高結構信息密度的訓練材料。

對理解智能本身來說——epiplexity 提供了第一個將"計算能力"和"信息"放在同一個框架里的數學工具。Shannon 把信息論從通信中抽象出來；這篇論文把"學習者的算力"重新放了回去。這可能催生一個新的數學分支——計算感知的信息論（compute-aware information theory）。

對我們理解自身來說——它既是一種謙遜，也是一種力量。

謙遜在于：我們永遠是有限的觀察者。世界中存在大量"信息"，但我們能提取出來的結構，永遠只是其中一小部分。這不是失敗，這是物理現實。

力量在于：正是因為知道了這個邊界在哪里，我們才能優化在邊界之內能做的事。Shannon 告訴工程師"通信極限在這里"，結果是整個通信工業逼近了那個極限。Epiplexity 告訴我們"你的學習能力的極限在這里"——下一步就是想辦法逼近它。

Shannon 在 1948 年畫出了信息傳輸的數學地圖。78 年來，這張地圖指引了整個數字文明。

但這張地圖有一個隱含的假設：使用地圖的人擁有無限的視力，能看清地圖上的每一個細節。

現實是，我們都是近視的。

這篇論文做的事情，是給這張地圖加上了一個新的維度——觀察者的能力。同一張地圖，戴不同度數的眼鏡，看到的細節不同，能走通的路也不同。

這不是否定 Shannon。這是說：Shannon 畫了一張完美的、上帝視角的地圖。但我們需要的，是一張為近視的人畫的地圖——一張告訴你"以你的視力，這條路你能看清，那條路對你來說只是模糊的噪點"的地圖。

人類幾千年來做的事——創造語言、發現定律、建立數學、發展科學——本質上都是同一件事：用有限的大腦，從看似混沌的世界中，一點一點地提取結構。

LLM 做的也是同一件事。只是用不同的方式，在不同的尺度上。

智能的本質不是"知道一切"，而是在算力的邊界上，盡可能多地理解世界的結構。

論文信息

Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, Andrew Gordon Wilson, J. Zico Kolter. "From Entropy to Epiplexity: Rethinking Information for Computationally Bounded Intelligence." arXiv:2601.03220, January 2026.

參考：https://github.com/shikaiqiu/epiplexity

AI-lab學習筆記 | 壓縮即智能