北京
AI 是由 Token 驅動的。每個提示、推理步驟和智能體交互都會生成 Token。過去一年，Token 的消耗量增長了數倍，現在每年已超過 1 億億 Token。雖然 Token 的大部分由人類與 AI 交互生成，但在新時代，大多數 Token 將由 AI 與 AI 交互生成。
現代智能體系統可規劃任務、調用工具、執行代碼、檢索數據，并在由多個 AI 智能體參與的連續多步驟工作流中進行協同。這些交互會生成大量推理 Token，擴大 KV 占用緩存，并且需要基于 CPU 的沙盒環境來測試和驗證加速計算系統生成的結果。這對 GPU、CPU、縱向擴展（scale-up）域、橫向擴展（scale-out）網絡和存儲提出了低延遲、高吞吐量的要求。
為這些現代智能體系統提供有價值的智能，需要一組專門構建的機架級系統，這些系統作為一個統一的 AI 超級計算機協同運行。
隆重推出 NVIDIA Vera Rubin POD
NVIDIA Vera Rubin 通過對涵蓋計算、網絡和存儲的七款芯片進行極致協同設計，構建了迄今最復雜的 POD 級 AI 平臺。該平臺包含 40 個機架、1200 萬億個晶體管、近 20,000 個 NVIDIA 裸片、1,152 個 NVIDIA Rubin GPU、60 exaflops 和 10 PB/s 的縱向擴展總帶寬。
Vera Rubin POD 引入了五種全新的專用機架級擴展系統，適用于需要高吞吐量、超低延遲推理、高密度 CPU 沙盒和大規模上下文內存存儲的代理式 AI 工作負載。這些機架共同構成了一個統一的系統，將為全球最具能效和和成本效益的數據中心提供動力支持。
NVIDIA Vera Rubin POD 包含 5 個機架級系統、1 臺 AI 超級計算機、1 臺 NVIDIA MGX 機架架構和生態系統
POD 中的每個芯片都通過第三代 NVIDIA MGX 機架進行擴展，并由 80 多家 NVIDIA MGX 生態系統合作伙伴組成的全球供應鏈提供支持。由于所有 NVIDIA MGX 機架在供電、冷卻和機械結構上保持一致，因此可以實現快速部署和無縫過渡。
本文將介紹 NVIDIA Vera Rubin POD，其由五個專用機架級系統組成，基于第三代 NVIDIA MGX 機架架構構建，專為代理式 AI 時代打造。
通過以下幾個方面具體了解：
- 隆重推出 NVIDIA Vera Rubin POD
- NVIDIA Vera Rubin NVL72 GPU 機架：四大擴展定律平臺
- NVIDIA Groq 3 LPX 機架：推理加速器機架
- NVIDIA Vera CPU 機架：大規模代理式 AI 和強化學習
- NVIDIA BlueField-4 STX 存儲機架：AI 原生存儲
- NVIDIA Spectrum-6 SPX 以太網機架：網絡機架
- 第三代 NVIDIA MGX 機架級架構
- 實現彈性和可擴展性
- 確保從芯片到電網的峰值能效
- 釋放更多計算能源預算
- 開放標準
- NVIDIA MGX NVL 機架
- NVIDIA Vera Rubin NVL72 的簡化設計
- NVIDIA Vera Rubin Ultra NVL576
- NVIDIA Kyber NVL1152：下一代
- NVIDIA MGX ETL 機架
- NVIDIA Spectrum-X 以太網 spine
- 芯片間 spine 直連
- NVIDIA Vera Rubin DSX AI 工廠平臺
以上為摘要內容，點擊鏈接閱讀完整內容：NVIDIA Vera Rubin POD：7 個芯片、5 個機架級系統、1 臺 AI 超級計算機 - NVIDIA 技術博客
特別聲明：以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布，本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
