從訓(xùn)練算力到推理算力，CXL從可選走向必選

根據(jù)韓國(guó)媒體THE ELEC近日援引業(yè)內(nèi)人士消息報(bào)道稱，三星電子計(jì)劃于今年六月后第三季度向主要服務(wù)器和數(shù)據(jù)中心客戶交付基于CXL 3.1協(xié)議的CMM-D內(nèi)存模塊樣品，如果客戶資格審查順利進(jìn)行，目標(biāo)今年四季度實(shí)現(xiàn)大規(guī)模量產(chǎn)。

圖片說(shuō)明：三星電子目標(biāo)在今年第四季度實(shí)現(xiàn)基于CXL 3.1協(xié)議的內(nèi)存產(chǎn)品量產(chǎn)，數(shù)據(jù)來(lái)源于THE ELEC

根據(jù)瀾起科技(688008.SH)在5月15日公告的《投資者關(guān)系活動(dòng)記錄表》，公司預(yù)計(jì)今年是CXL規(guī)?；渴鸬钠瘘c(diǎn)，預(yù)計(jì)到2027年將進(jìn)入CXL規(guī)模商用的元年。瀾起科技的關(guān)于CXL放量的時(shí)點(diǎn)判斷與三星電子基本一致。

當(dāng)行業(yè)內(nèi)兩大巨頭行動(dòng)一致之際，意味著CXL的拐點(diǎn)即將到來(lái)。CXL（Compute Express Link），一個(gè)在過去被定位為“可選”的技術(shù)協(xié)議，正在加快速度朝著“必選”的方向邁進(jìn)。

圖片說(shuō)明：瀾起科技關(guān)于CXL規(guī)?；逃玫臅r(shí)點(diǎn)判斷，數(shù)據(jù)來(lái)源于瀾起科技

推理算力短缺，衍生出來(lái)了新的問題

同樣是算力短缺，但2026年以來(lái)的算力短缺與之前的算力短缺有點(diǎn)不太一樣：

在2026年以前，北美云計(jì)算企業(yè)們和獨(dú)立大模型企業(yè)們（如Anthropic、OpenAI等），整日都在進(jìn)行軍備競(jìng)賽，企業(yè)們?yōu)榱擞?xùn)練出更好的AI大模型而瘋搶算力卡，進(jìn)而造成算力短缺，算力短缺的矛盾集中在訓(xùn)練端。

而過去解決訓(xùn)練算力短缺，主要采取的方法是提高GPU的單卡算力更高，同時(shí)采用新的互聯(lián)技術(shù)和互聯(lián)架構(gòu)，讓算力卡和算力卡之間（例如Scale up場(chǎng)景）、機(jī)架和機(jī)架之間（例如Scale out場(chǎng)景）等等，能夠更加高效的用光通信技術(shù)互相連接起來(lái)（如光模塊方案、CPO方案等等）。

然而2026年以來(lái)，隨著Agentic AI的出現(xiàn)、以及Coding、多模態(tài)等為代表的AI應(yīng)用普及，token需求暴增，算力短缺的矛盾正在迅速向推理端傾斜。

推理算力短缺，會(huì)衍生出來(lái)一系列新的問題，這與訓(xùn)練算力短缺的解法，并不完全一致。

在Transformer架構(gòu)的AI大模型（如豆包、Deepseek）輸出文本時(shí)，輸出方式是一個(gè)token一個(gè)token往外“蹦”的，每輸出下一個(gè)token，都必須結(jié)合之前所有的上下文。為了避免每次生成新的token時(shí)都把前面所有的token重新計(jì)算一遍（那樣計(jì)算量太大了），因此人們?cè)O(shè)計(jì)了一種“偷懶”的方法，把上下文的一些特征緩存下來(lái)（即Key和Value向量），形成一個(gè)類似于“記事本”的東西，這樣就避免了重復(fù)計(jì)算，這個(gè)“記事本”被稱作KV Cache（鍵值緩存）。

在Agentic AI出現(xiàn)以前，AI推理主要是一問一答的Chatbot模式，例如問豆包，“幫我復(fù)盤一下今天A股的市場(chǎng)行情，并幫我寫一個(gè)簡(jiǎn)要的總結(jié)”。一般來(lái)說(shuō)，豆包會(huì)在幾秒內(nèi)生成答案，輸出的答案即token，大約幾千個(gè)。如果繼續(xù)問其他問題，上下文token就幾千個(gè)、最多幾萬(wàn)個(gè)，KV Cache占用并不明顯。

但是用Agentic AI就完全不一樣了，同樣的問題，token可能會(huì)產(chǎn)生幾十萬(wàn)甚至上百萬(wàn)個(gè)，因?yàn)锳gent AI在解決問題時(shí)，會(huì)使用ReAct（思考-行動(dòng)-觀察）框架，它會(huì)調(diào)用搜索工具、運(yùn)行代碼、報(bào)錯(cuò)后自我糾正。這個(gè)過程中，每一輪的中間思考過程和返回的結(jié)果，都會(huì)被塞進(jìn)對(duì)話歷史中，隨著任務(wù)的推進(jìn)，上下文就像滾雪球一樣越來(lái)越長(zhǎng)，對(duì)應(yīng)KV Cache會(huì)呈指數(shù)級(jí)飆升。

例如，去年12月有專業(yè)研究團(tuán)隊(duì)讓Claude Code（Anthropic的Agentic AI編程工具）執(zhí)行了一個(gè)代碼修復(fù)任務(wù)，并對(duì)Claude Code的底層運(yùn)行機(jī)制進(jìn)行了逆向工程和流量追蹤，測(cè)試結(jié)果為：在這個(gè)單一的任務(wù)生命周期內(nèi)，用時(shí)合計(jì)13分鐘，token累計(jì)消耗量高達(dá)約200萬(wàn)個(gè)。

圖片說(shuō)明：Agentic AI對(duì)token的消耗量是巨大的，數(shù)據(jù)來(lái)源于論文《Context Engineering & Reuse Pattern Under the Hood of Claude Code》

一個(gè)Agentic AI任務(wù)就可以占用上百萬(wàn)個(gè)token，這意味著什么呢？

按照KV Cache的計(jì)算公式，100萬(wàn)Token大約會(huì)產(chǎn)生320GB的KV Cache（不同大模型有所差異，但大差不差），這就已經(jīng)超過了英偉達(dá)B300單卡配備的12層HBM3e的總顯存容量288GB。

因此問題是清晰的，在Agentic AI時(shí)代，僅靠HBM的顯存是遠(yuǎn)遠(yuǎn)裝不下KV Cache的。

圖片說(shuō)明：KV Cache的計(jì)算公式，數(shù)據(jù)來(lái)源于Meta

解決HBM顯存不足的方法

面對(duì)指數(shù)級(jí)增長(zhǎng)的KV Cache，目前有以下幾種解決方法：

第一種方法，是增加HBM顯存容量。例如Rubin Ultra原本計(jì)劃采用16層堆疊HBM4e顯存，容量1TB，近期又傳聞因?yàn)榱悸蕟栴}，改為12層堆疊，總顯存降至768GB。

這種方法是英偉達(dá)正在做的，但是一方面HBM很貴，且迭代速度較慢；另一方KV Cache是指數(shù)級(jí)增長(zhǎng)的，HBM顯存容量是線性增長(zhǎng)的，后者難以追趕前者增長(zhǎng)速度，因此這種方法是必須的，但同時(shí)是治標(biāo)不治本的。

圖片說(shuō)明：HBM4e顯存遭遇良率問題，數(shù)據(jù)來(lái)源于新浪財(cái)經(jīng)

第二種方法，是通過先進(jìn)算法去壓縮KV Cache。例如Token丟棄算法，用算法來(lái)評(píng)估那些KV Cache是沒用的廢話，評(píng)估后直接刪掉。或者用壓縮技術(shù)，把原來(lái)的16位浮點(diǎn)數(shù)采用INT8甚至INT4量化技術(shù)來(lái)存儲(chǔ)KV Cache，相當(dāng)于把高清圖片壓縮成馬賽克圖片，只要模型還能勉強(qiáng)認(rèn)出馬賽克的內(nèi)容（保證精度不崩），KV Cache的容量就能縮小到原來(lái)的1/2到1/4。

這種方法是大模型企業(yè)正在做的，但KV Cache的壓縮空間始終是有限的，AI Agentic滲透率提高后指數(shù)級(jí)的增長(zhǎng)卻是無(wú)限的，因此這種方法是必須的，但同時(shí)也是作用有限的。

第三種方法，把新的KV Cache裝在HBM里，把舊的KV Cache裝在DDR5里，把更舊的KV Cache裝在企業(yè)級(jí)SSD里，等到大模型需要回憶這些舊的KV Cache時(shí)，GPU再?gòu)腄DR5或SSD里讀取。

相比于HBM，DDR5和企業(yè)級(jí)SSD的容量非常非常大，且價(jià)格也便宜很多很，看起來(lái)幾乎可以完美解決KV Cache裝不下的問題。

但這種方法也面臨著一些問題，因?yàn)镚PU和其他硬件之間沒有類似于NVLink這樣的高速互聯(lián)技術(shù)，GPU要和其他硬件進(jìn)行傳輸，只能通過PCIe（Peripheral Component Interconnect Express）。

簡(jiǎn)單來(lái)說(shuō)，PCIe是AI服務(wù)器內(nèi)部的一條公路系統(tǒng)，除了GPU和GPU之間通過NVLink高速互聯(lián)不用經(jīng)過PCIe外，其他所有的各種數(shù)據(jù)（指令、圖像、文件等）都要通過PCIe在各個(gè)硬件之間傳輸，如GPU和CPU之間便通過PCIe傳輸。

圖片說(shuō)明：PCIe在AI服務(wù)器內(nèi)的作用是連接“異構(gòu)部件”，如連接CPU與GPU、連接GPU與網(wǎng)卡等，數(shù)據(jù)來(lái)源于超擎數(shù)智

問題在于，在PCIe總線協(xié)議之下，GPU不能直接調(diào)用DDR5里的數(shù)據(jù)，一定要CPU先把數(shù)據(jù)從DDR5里復(fù)制出來(lái)，然后通過PCIe總線粘貼到HBM里，最后再由GPU調(diào)用。而SSD的路徑就更長(zhǎng)，CPU先將數(shù)據(jù)從SSD里復(fù)制出來(lái)，通過PCIe總線粘貼到DDR5里，然后重復(fù)上面的過程，最后由GPU進(jìn)行計(jì)算。

這樣一來(lái)一去，是非常低效的，一方面由于可能不止一次經(jīng)過CPU及復(fù)雜的樹狀拓?fù)?，就?huì)導(dǎo)致延遲；另一方面，PCIe的帶寬相比于NVLink的帶寬，就不是一個(gè)數(shù)量級(jí)的，這會(huì)進(jìn)一步增加延遲。

延遲的后果是顯而易見的：由于運(yùn)力不足，GPU將經(jīng)常處于閑置狀態(tài)，因?yàn)榇蟛糠謺r(shí)間都在等數(shù)據(jù)運(yùn)輸過來(lái)。

圖片說(shuō)明：PCIe與NVLink比較，數(shù)據(jù)來(lái)源于博客園

CXL是什么？解決了什么問題？

CXL（Compute Express Link），是一種開放性的、行業(yè)標(biāo)準(zhǔn)的、高帶寬及低延遲的互連協(xié)議，CXL建立在PCIe物理接口之上（這意味著不用重新設(shè)計(jì)AI服務(wù)器主板的PCIe插槽），但解決了PCIe解決不了的核心痛點(diǎn)。

CXL包含了三個(gè)極其關(guān)鍵的子協(xié)議：

第一個(gè)是CXL.io（配置與控制）：相當(dāng)于傳統(tǒng)的PCIe，負(fù)責(zé)設(shè)備的發(fā)現(xiàn)、連接、報(bào)錯(cuò)、配置等基礎(chǔ)工作。

第二個(gè)是CXL.cache（緩存一致性）：允許GPU直接訪問CPU的DDR5內(nèi)存條，GPU可以直接在原地讀取并處理CPU內(nèi)存里的數(shù)據(jù)，GPU和CPU看到的都是同一份數(shù)據(jù)的最新狀態(tài)（緩存一致性），徹底消滅了復(fù)制粘貼、搬來(lái)搬去的動(dòng)作。由于CPU、GPU、ASIC可以圍繞著同一個(gè)“CXL內(nèi)存池”協(xié)同工作，所有數(shù)據(jù)被共享，誰(shuí)需要算誰(shuí)就算，整個(gè)機(jī)架上的所有芯片，在邏輯上變成了一臺(tái)“超級(jí)計(jì)算機(jī)”。

第三個(gè)是CXL.mem（內(nèi)存擴(kuò)展）：允許CPU直接把外接設(shè)備（如CXL內(nèi)存模塊）當(dāng)作自己的原生內(nèi)存來(lái)使用，進(jìn)而意味著CPU不再受限于主板上的DDR5插槽數(shù)量限制，可以通過CXL接口無(wú)限外接內(nèi)存。CPU通過CXL協(xié)議，會(huì)把這個(gè)外接的內(nèi)存當(dāng)成DDR5一樣使用，系統(tǒng)內(nèi)存容量瞬間翻倍，而且?guī)捯泊蠓黾印?/p>

圖片說(shuō)明：CXL.io、CXL.cache、CXL.mem三種協(xié)議的調(diào)用方式，數(shù)據(jù)來(lái)源于Synopsys（新思科技）

簡(jiǎn)單來(lái)說(shuō)，CXL最具革命性的能力（在CXL 2.0階段實(shí)現(xiàn)，目前已進(jìn)入CXL 3.1階段），是內(nèi)存池化與動(dòng)態(tài)共享（Memory Pooling & Sharing），由此徹底消滅了內(nèi)存浪費(fèi)的問題，根據(jù)CXL官方文件，AI數(shù)據(jù)中心的內(nèi)存利用率可因此從40%上升到80%，省下了海量的采購(gòu)成本。

以下圖為例，CXL 2.0 Switch上面是多個(gè)GPU、下面是多個(gè)存儲(chǔ)芯片，左圖GPU H1正在調(diào)用D2和D3的數(shù)據(jù)，右圖GPU H1正在調(diào)用D1、D2、D4的數(shù)據(jù)，同時(shí)D2的數(shù)據(jù)也正被GPU H3調(diào)用。

圖片說(shuō)明：CXL內(nèi)存池化的示意圖，數(shù)據(jù)來(lái)源于CXL官網(wǎng)

總的來(lái)說(shuō)，CXL不僅僅是一個(gè)基于PCIe的新協(xié)議，甚至可以說(shuō)是AI服務(wù)器在底層架構(gòu)上的一次重構(gòu)，它把過去“以GPU為中心、各自為戰(zhàn)”的服務(wù)器，變成了“以數(shù)據(jù)和內(nèi)存為中心、高度池化共享”的新型算力架構(gòu)。或許這是為什么在AI推理算力爆發(fā)的今天，芯片巨頭們（英偉達(dá)、三星、瀾起科技、Astera Labs、阿里、華為等等）都在押注CXL的原因吧。

圖片說(shuō)明：CXL協(xié)議成員，數(shù)據(jù)來(lái)源于CXL官網(wǎng)