文 | AIDeepDive
今天,"全球大模型第一股"智譜(02513.HK)再次暴漲。
盤中漲幅一度突破30%。收盤報1282港元,全天漲幅超過26%,市值達到5715.7億港元,再度創下歷史新高。
![]()
觸發這場暴漲的,是一個具體的技術指標:400 tokens/s。
5月22日,智譜正式面向企業客戶開放 GLM-5.1 高速版 API(GLM-5.1-highspeed),最關鍵的核心參數只有一個:模型輸出速度達到每秒400個 token,刷新全球大模型廠商 API 速度上限。
我本來認為這又是一次國產大模型的公關包裝,但仔細看了下技術細節,終于理解了資本市場背后的邏輯。
400 tokens/s是什么概念?
模型每秒能生成大約200個漢字,相當于一個專業作家一分鐘的高強度產出,被壓縮到了一秒鐘之內。
一位創作者連續伏案數天才能寫完的文字量,GLM-5.1 高速版在1分鐘內便能交付完畢;一名工程師埋頭3天才能完成的系統重構任務,它能在喝一杯咖啡的時間里跑完。
01 速度,比你想的重要
速度,歷來是 AI 模型競爭中最容易被忽視的維度。
過去三年,大模型軍備競賽集中在兩條賽道:參數規模(模型更大更聰明)和價格戰(Token 更便宜更普惠)。"快",從來不是主角。
這是因為,過去的”快”通常是通過縮小模型參數來實現的。要提速,就必須用更小更精簡的模型,代價是能力縮水。
GLM-5.1 高速版這次的意義在于,它在保留旗艦級全尺寸基座能力的同時,將速度推上了400 tokens/s。
無論是從國產模型來說,還是從國際范圍來看,"旗艦能力"與"極致低延遲"第一次做到了不妥協。
![]()
為什么速度如此關鍵? 因為 AI 的主戰場正在發生根本性的遷移。
當AI從ChatBot進入Agent時代,問答已經不是AI的主要場景,而Agent要完成一個任務,往往需要模型進行數十輪甚至上百輪的自我調用:寫代碼、調接口、搜信息、調用工具……
在這種工作模式下,每一輪調用之間的延遲會被無情地累加放大。一個需要50輪調用的任務,如果每次節省1秒,整個任務就快了將近1分鐘。對于 AI 編程助手、語音交互、商業決策系統來說,這種差距是可以決定生死的。
從更深層面來說,在固定時間預算內,更快的推理意味著模型可以完成更深的推理路徑、更多輪次的自我驗證。速度,正在從系統指標變成智能上限本身。
02 速度這件事,有多難?
那現在行業里在速度方面大概什么水平?
頭部廠商中,OpenAI 的 GPT-4o 約在100–150 tokens/s,Anthropic 的 Claude Sonnet 系列約在80–120 tokens/s,國內主流旗艦模型 API 大多在50–100 tokens/s 區間。400 tokens/s 大約是行業平均水平的3到5倍。
更關鍵的是,這個差距并不是投入更多算力就能彌補的。
一臺搭載8塊 H200 顯卡的服務器,理論上每秒能搬運高達38TB的數據。對于 GLM-5.1,單次生成一個 token 只需讀取約42GB的激活參數,純理論上推算,應該能接近1000 tokens/s。
但現實系統往往只能跑出幾十 tokens/s。
![]()
這是一個數量級的鴻溝。GPU 不是不夠快,而是大量時間都被浪費在了等待、空轉和無效調度上。
智譜這次正是在推理引擎、并行策略、網絡架構三個層面同時創新,實現了對最終速度的突破。
![]()
03 三層技術疊加,逼近硬件物理極限
大模型原來是這樣運轉的,大模型被分解成一個個獨立算子,每個算子單獨啟動一次計算核心(kernel),計算完就停下,同步等待,再啟動下一個。
在訓練階段,每次計算動輒幾秒乃至幾分鐘,這些啟動和等待的開銷完全可以忽略。但推理時,單次生成一個 token,某個關鍵步驟可能只需要幾十微秒,啟動和等待的開銷就相對變得不可忽視。
TileRT 的核心思路:把整個模型編譯成一個持續運行的引擎,一次啟動,永不停歇。
TileRT 在代碼編譯階段提前把模型所有計算邏輯靜態展開成一條連續流水線,運行時 GPU 始終保持高速運轉,計算、數據搬運、通信并行推進,中間結果盡量留在 GPU 內部高速緩存里,不再反復寫回慢速顯存再重新讀取。
![]()
這里有一個關鍵的設計細節:Warp 專門化。
理解 Warp,需要先理解 GPU 的工作方式。GPU 與 CPU 最大的不同,是它內部有成千上萬個相對簡單的計算單元,這些單元以32個為一組捆綁在一起,這一組就叫 Warp。
同一個 Warp 里的32個單元必須始終同步行動、執行同一條指令,就像軍隊里的一個班,班長下令所有人同時做同一個動作。
傳統框架里,所有 Warp 執行同一套指令序列;TileRT 讓不同 Warp 組承擔不同職責:一部分專門負責把下一批數據提前搬運進來,一部分專門負責數學計算,一部分專門負責與其他 GPU 通信。三組人同時工作、流水配合,互不等待。
就好比從"一個工人搬磚、砌墻、驗收串行干",變成了"搬磚組、砌墻組、驗收組同時轉"。
單卡內部的效率解決了,多卡并行又有新挑戰。
行業通行做法是張量并行(Tensor Parallel): 把模型的權重矩陣切分成若干份,每塊 GPU 負責其中一份,各自計算完畢后通過高速互聯(NVLink)匯總結果。
這套方案對矩陣乘法這類規整的密集計算效果很好,是目前幾乎所有大模型推理框架的標準多卡方案。
GLM-5.1 采用 **MLA(Multi-head Latent Attention,多頭潛在注意力),這是由DeepSeek 提出一種注意力機制。
傳統注意力機制需要把每一步計算的大量中間數據(KV Cache)完整保存下來備用,非常耗顯存;MLA 的做法是先把這些中間數據壓縮成一個緊湊的"潛在向量"存起來,用的時候再展開還原,顯存需求大幅下降,推理效率更高。
但 MLA 的計算流程里有一個特殊環節:需要從大量歷史信息中做稀疏索引:類似在一個巨大圖書館里先快速找出最相關的幾本書,再精讀這幾本書。
"找書"這個步驟依賴全局信息,不適合多卡平攤;"精讀"才是適合多卡并行的密集計算。如果強行讓所有8塊 GPU 都參與"找書",大量時間會浪費在 GPU 之間的同步通信上。
TileRT 的解法是讓GPU異構運行:GPU 0 專門擔任"圖書館檢索員",負責稀疏索引和路由決策;GPU 1–7 擔任"精讀分析員",負責密集的注意力計算和矩陣運算。兩類工作者各自采用最適合自己的并行策略協同完成整個計算層。
![]()
接下來,TileRT 把 GPU 之間的通信操作也直接內嵌進執行流水線,不再作為獨立步驟。對外來看,整個8卡系統完成一層注意力計算只需要一次內核啟動,內部的通信和計算全在持續流水線內部無縫完成。
以上兩層解決的是單機范圍內的問題。當集群擴展到數百乃至數千張 GPU,GPU 之間的數據傳輸本身就成了新的天花板。
行業通行做法是 ROFT(Rail-Optimized Fat-Tree),這是 NVIDIA 官方推薦方案,業界絕對標配。
它的結構是一棵樹:服務器先連接底層的 Leaf 交換機(接入層,直接面向服務器),Leaf 再向上連接 Spine 交換機(骨干層,負責不同 Leaf 之間的互聯,如同高速公路樞紐)。數據在兩臺 GPU 之間傳輸,必須"先上行到 Spine,再下行到目標 Leaf",至少經過3跳。
為了避免流量集中在少數鏈路上,這套架構依賴 ECMP 算法讓數據在多條路徑之間分配,在互聯網流量"統計均勻"的前提下運轉良好。
但推理場景的流量完全不均勻。不同請求的上下文長度差異可達數十倍,GPU 之間 KV Cache 的傳輸方向幾乎隨機,某幾臺 Leaf 交換機會周期性地成為熱點,觸發反壓機制,把擁塞從局部擴散到全鏈路。這種擁塞不是協議調參能解決的,是拓撲結構本身的產物。
![]()
ZCube 的根本突破:從架構層面讓這類擁塞在物理上無法發生。
核心設計分兩步:
第一步,取消 Spine 骨干層,全網扁平化。把所有 Leaf 交換機按奇偶編號分成兩組,兩組之間完全互聯,任意一臺奇數交換機連接所有偶數交換機,反之亦然。任意兩臺 GPU 之間最多經過兩臺交換機即可互達,跳數從3跳降到2跳。
![]()
第二步,也是最精妙的地方:每張 GPU 網卡用兩種截然不同的方式分別接入兩組交換機。這種特殊拓撲帶來一個關鍵的數學性質:全網任意兩張 GPU 之間,有且僅有一條最優路徑。
![]()
"唯一路徑"直接消除了擁塞的根源。傳統架構容易出現熱點,恰恰是因為有多條路徑可選,負載均衡算法選錯了就會導致流量集中。ZCube 在設計上消除了"選擇"這件事本身:不需要均衡,因為根本沒有岔路。
04 同樣的硬件條件下,賬怎么算?
智譜將 GLM-5.1 生產集群從傳統 ROFT 升級到 ZCube 后,得到三個數字:
總結來說的話,同樣的 GPU 投入,集群可以服務更多用戶;同樣的用戶體驗要求,集群可以少買三分之一的網絡設備。效率與成本雙向改善。
![]()
具體來說,吞吐提升15%,等于免費多出15%的算力。 在GPU數量不變的情況下,吞吐多15%,等價于每個 token 的均攤硬件成本下降約13%,或者說相同成本可以多服務15%的用戶。
如果一個集群有1000張 GPU,這次升級相當于憑空多出了150張卡的產能,按當前高端推理卡市價,這是數億元量級的算力價值。
尾延遲下降40.6%,解決的是穩定性而非平均速度。 一個需要50輪調用的 Agent 任務,如果尾延遲每次減少1秒,整個任務的最壞完成時間就壓縮了將近1分鐘。
成本減少三分之一,是建設層面的直接節省。 ZCube 取消了 Spine 層,相同集群規模下所需交換機和光模塊數量直接減少三分之一。據智譜測算,在萬卡規模集群中,僅此一項可節省約2.1億至6.4億元。
從長遠來看,隨著集群規模指數級加劇,GPU 間通信的復雜度增長數倍,擁塞的概率和影響也同步放大。這意味著 ZCube 這類架構級創新的價值,會隨著推理集群的持續擴張而加速顯現。明天萬卡級別的集群收益可能不止今天這15%。
05 寫在最后
看完智譜的技術報告,我在想,這是否會像DeepSeek橫空出世一樣,給行業帶來一場風暴?
仔細想想,兩者的影響好像在不同的方面。DeepSeek 出來的時候,它證明的是,同樣的智能,可以用少得多的算力實現。市場擔心"需要的 GPU 變少了",所以英偉達當天市值蒸發近6000億美元。
但今天智譜的技術證明:同樣的算力,可以產出更多。它是在重構"GPU 之外,其他基礎設施應該長什么樣"。
短期來看,英偉達不會受到影響,但從長期來看,GPU + NVLink 互聯 + InfiniBand 網絡 + CUDA 軟件生態的護城河正在被“松土”,特別是英偉達 2019 年花 69 億美元收購 Mellanox 買下的 InfiniBand,英偉達網絡側的溢價會被大幅侵蝕。
此外,ZCube 取消了 Spine 層,但它對 Leaf 交換機的端口密度要求反而更高。受益的是能做高密度、大端口 Leaf 交換機的廠商(銳捷、Arista、博通交換芯片),受損的是主要依賴 Spine 層高端交換機吃溢價的廠商。
2025年 Celestica 和英偉達合計占據約 50% 的 AI 后端網絡交換機市場份額,這個格局在 ZCube 范式擴散后會面臨重新洗牌。
光模塊是這次產業鏈變化里最直接的受益方向,邏輯非常清晰。對國內光模塊廠商(中際旭創、天孚通信等)來說,這是一個結構性利好:不僅總量在漲,而且 ZCube 范式下對高速光模塊(800G、1.6T)的需求比傳統架構更加集中和迫切。
無論是TileRT還是ZCube 架構,這是一套運行在標準 GPU 之上的純軟件推理引擎,不依賴英偉達私有的硬件特性,理論上可以移植到華為昇騰等國產芯片上。這個方向一旦走通,會大幅降低國產 AI 芯片在推理場景的軟件棧門檻。
這或許才是這個技術創新背后更大的意義所在。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.