上海
AI對內存的需求，正在以連美光自己都沒預料到的速度爆炸式增長。
The Circuit播客近日發布了一期對話節目，主持人專訪了美光科技數據中心業務部門高級副總裁兼總經理Jeremy Werner。對話圍繞AI時代內存與存儲行業的結構性變化展開。
Werner開門見山地表示，這一輪內存行業的繁榮與以往的周期性波動有本質區別。
內存已經成為數據中心推理環節突破瓶頸的關鍵戰略資產，也是訓練全球最先進模型的核心支撐。我不認為這個趨勢會放緩。
AI推理的“內存墻”：不夠用就得從頭算
Werner用一個直白的邏輯解釋了為什么推理對內存的需求如此特殊。
訓練和推理對內存的使用方式截然不同。Werner說：“訓練用內存來學習，然后遺忘，最終輸出一個模型。但推理用內存來記憶。”
推理過程分為兩個階段：預填充（prefill）和解碼（decode）。在解碼階段，模型需要不斷調用此前的計算結果——也就是所謂的KV緩存（KV Cache）——來生成更準確的答案。
問題在于：如果內存不夠存下這些歷史狀態，模型就必須從頭重新計算。Werner解釋了這意味著什么：
每一輪重新計算，所需的算力相當于此前所有輪次的總和。也就是說，算力需求是指數級增長的。而如果你能存下上一輪的狀態，每一輪只需要線性地多做一步。
換句話說，內存不足會讓GPU的算力利用率急劇下降。反過來，Werner指出：“如果你能提供足夠快、足夠大的內存，理論上可以從GPU中榨取出平方倍的算力。”
推動KV緩存需求膨脹的因素有三個：上下文窗口越來越長、模型參數量越來越大、同時并發使用AI的用戶越來越多。Werner透露，目前上下文長度正以每年30倍的速度增長。
內存層級：從HBM到SSD，一條完整的“存儲鏈”
Werner詳細梳理了AI數據中心的內存層級結構，從最靠近GPU的高帶寬內存（HBM）到最遠端的海量SSD，構成一條完整的“存儲鏈”。
第一層：HBM，緊貼GPU，典型容量在10至100GB之間，速度最快，但容量有限。
第二層：主內存（Main Memory），連接至CPU，容量通常是HBM的4至20倍，但速度更慢、距離更遠。以英偉達Blackwell系統為例，主內存連接至Grace CPU。
第三層：擴展內存（Expansion Memory），通過光纖連接獨立內存模塊，目前尚未大規模量產部署，但已是業界關注的方向。
第四層：上下文內存存儲（Context Memory Storage），即用SSD來存儲KV緩存。Werner指出，英偉達CEO黃仁勛今年已公開談及這一方向。與HBM相比，SSD的延遲更高、帶寬更低，但容量可達HBM的1000倍。
第五層：數據湖，數據中心底層的海量SSD存儲，以EB（艾字節）計。
Werner表示，目前整個層級從上到下都處于供不應求的狀態：“只要我們發布產品，他們就會消耗掉。只要我們提升容量和性能，他們就會找到方法部署。”
HBM4與245TB SSD：美光的兩張王牌
面對上述需求，美光正在兩個方向同時發力。
HBM4方面，Werner透露，美光剛剛發布了HBM4產品，帶寬是上一代HBM3e的兩倍以上。他強調，提升帶寬的核心邏輯在于：當瓶頸不是算力而是內存帶寬時，必須加快數據送達GPU的速度。
SSD方面，美光推出了一款245TB超大容量SSD，Werner形容“這個東西比一副撲克牌大不了多少”。
這款產品的意義不僅在于容量本身。Werner解釋，目前數據中心部署的硬盤容量普遍在30TB出頭，而245TB的SSD意味著同等存儲量所需的設備數量大幅減少，連帶減少了網絡連接、電源、風扇等配套設施，最終將存儲占地面積壓縮逾80%，同時顯著降低功耗。
“你只需要為你真正需要的性能付費，而這些性能是以更高效的每瓦特GB來交付的。”Werner說。
這直接回應了數據中心當前最棘手的兩大約束：電力預算和物理空間。Werner表示：“如果電力是限制增長的瓶頸，那我們就必須在固定功耗預算內，找到提供更高效性能的方法。這正是我們大量創新的來源。”
產能已經跟不上：全球五座晶圓廠同步開建
盡管需求旺盛，Werner坦承，內存行業的產能已經無法跟上需求。
“我們沒有在全球建造足夠多的晶圓廠。”他直接說道。
目前美光正在全球同步推進五座晶圓廠的建設：
愛達荷州博伊西：60萬平方英尺潔凈室，相當于10個足球場大小
紐約州北部：已宣布開工建設
弗吉尼亞州：現有晶圓廠擴建
新加坡：南部晶圓廠（Nanfab）破土動工
日本：DRAM生產設施擴建
中國臺灣：剛剛從PSMC收購一座晶圓廠
Werner表示，目前整個行業都受制于潔凈室空間，這一狀況短期內難以改變。
我們已經無法跟上需求了，其他所有人也一樣——英特爾、英偉達、臺積電都在說，我們已經滿負荷了。晶圓廠不是說長就能長出來的。
市場還沒看懂這件事
對于市場的擔憂，Werner有不同看法。
他認為，市場目前看到云服務商（CSP）資本開支大幅增加，就開始擔心這是否可持續。但他的判斷是：“這些企業正在經歷一場巨大的革命，其潛力仍然超出大多數人的想象。”
Werner還指出，AI的應用場景遠未飽和。訓練時代已經過去，推理時代剛剛開始，而Agentic AI（智能體AI）和物理AI（Physical AI）甚至還沒有真正大規模落地。“我真的相信，我們只是剛剛觸及AI將要帶來的變革的表面。”
他也承認，硅谷內外對AI的認知存在巨大落差：
在硅谷，大家都非常興奮，很容易陷入自己的信息繭房。但當我和不在這個行業的朋友聊天，他們很多人還沒有意識到未來20年將會發生什么。
?星標華爾街見聞，好內容不錯過?
本文不構成個人投資建議，不代表平臺觀點，市場有風險，投資需謹慎，請獨立判斷和決策。
覺得好看，請點“在看”
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
