NVSwitch替代者，重磅發(fā)布

公眾號(hào)記得加星標(biāo)??，第一時(shí)間看推送不會(huì)錯(cuò)過。

周二，Astera Labs 推出了一款可替代英偉達(dá) NVSwitch 的產(chǎn)品，用于構(gòu)建機(jī)架級(jí) AI 系統(tǒng)，并聲稱該產(chǎn)品幾乎可以與任何加速器配合使用。

這款代號(hào)為 Scorpio X 的 AI 架構(gòu)交換機(jī)，將 320 條 PCIe 6.0 連接通道集成到單個(gè) ASIC 中，雙向帶寬為 5.12 TB/s。

從歷史上看，PCIe交換機(jī)已被用于各種應(yīng)用，包括橫向擴(kuò)展計(jì)算架構(gòu)。單靠CPU提供的通道數(shù)量不足或速度不夠快，無法滿足所有GPU、網(wǎng)卡和存儲(chǔ)設(shè)備的需求。因此，與其將所有設(shè)備都連接到CPU上，不如使用PCIe交換機(jī)（通常集成在網(wǎng)卡中）將所有設(shè)備連接起來。

Astera 認(rèn)為，對(duì)于足夠大的交換機(jī)，PCIe 可以作為 NVLink 等互連技術(shù)的可行替代方案，用于擴(kuò)展架構(gòu)，使數(shù)十個(gè)或更多 GPU 的行為更像一個(gè)大型 GPU，而無需重新設(shè)計(jì)其加速器。

然而，Astera 并非僅僅打造了一款更大的 PCIe 交換機(jī)。Scorpio 還配備了與 Nvidia 的 NVSwitch 相同的許多網(wǎng)絡(luò)內(nèi)計(jì)算功能，這有助于加速集體通信。

這些通信對(duì)于生成式人工智能推理尤為重要。隨著專家混合（MoE）架構(gòu)的普及，大型語言模型從網(wǎng)絡(luò)角度來看變得相當(dāng)活躍。

MoE模型由多個(gè)稱為專家的子模型組成。對(duì)于生成的每個(gè)標(biāo)記，可以使用不同的專家模型組合，這些模型可能運(yùn)行在不同的GPU上。

通過將集體通信轉(zhuǎn)移到交換機(jī)，GPU 可以減少等待網(wǎng)絡(luò)響應(yīng)的時(shí)間，從而有更多時(shí)間生產(chǎn)代幣。

Astera 甚至開發(fā)了一種針對(duì) MoE 推理優(yōu)化的多播操作，并將其稱為 Hypercast。

Astera 產(chǎn)品管理副總裁 Ahmad Danesh 告訴 El Reg：“標(biāo)準(zhǔn)組播的局限性之一是實(shí)際可支持的組的數(shù)量，以及混合專家模型需要?jiǎng)討B(tài)地隨時(shí)更改這些組的特性。 ”

雖然使用 PCIe 作為芯片間互連具有明顯的優(yōu)勢(shì)，但 Scorpio 并不能完全取代英偉達(dá)的 NVSwitch 芯片。NVSwitch 6 于今年 1 月的 CES 展會(huì)上發(fā)布，其帶寬高達(dá) 14.4 TB/s，幾乎是 Scorpio 的三倍。

然而，Astera 并不需要與 NVSwitch 直接競爭。事實(shí)上，Astera 早在去年春天就宣布了擴(kuò)展對(duì) NVLink Fusion 支持的計(jì)劃，NVLink Fusion 是英偉達(dá)旨在將其高速互連技術(shù)開放給更廣泛生態(tài)系統(tǒng)的嘗試。

相反，Scorpio 的定位更像是與廠商無關(guān)的替代方案。像 NVLink Fusion 或新興的 UALink 協(xié)議這樣的技術(shù)正在獲得越來越多的關(guān)注，但芯片的設(shè)計(jì)需要圍繞這些技術(shù)展開。

PCIe幾乎可以兼容所有設(shè)備，因?yàn)樗旧砭陀糜诩铀倨鞯臄?shù)據(jù)傳輸。例如，如果您想將32張或更多Nvidia RTX Pro 6000 Server顯卡連接起來，則需要一個(gè)PCIe交換機(jī)，因?yàn)檫@些GPU根本不支持NVLink。

PCIe 還使得混合搭配芯片以構(gòu)建解耦推理架構(gòu)變得更加容易，就像我們看到的 Nvidia 和 Groq、AWS 和 Cerebras，或者 Intel 和 SambaNova 一樣。

這些架構(gòu)采用一種加速器進(jìn)行計(jì)算密集型的預(yù)填充操作，另一種加速器進(jìn)行帶寬密集型的解碼操作。為了實(shí)現(xiàn)這一點(diǎn)，芯片之間必須相互連接。許多人工智能芯片制造商目前使用以太網(wǎng)進(jìn)行連接，但 PCIe 連接會(huì)更加直接。

除了 Scorpio X 系列芯片外，Astera 還推出了 Scorpio P 系列交換機(jī)，其型號(hào)的 PCIe 連接通道數(shù)從 32 條到 320 條不等。

所有這些交換機(jī)都與 COSMOS 管理套件配合使用，這是一個(gè)硬件監(jiān)控平臺(tái)，旨在幫助追蹤和解決整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中的問題。

Astera全新升級(jí)的Scorpio交換機(jī)目前正在進(jìn)行樣品測(cè)試，預(yù)計(jì)將于2026年下半年開始量產(chǎn)。

Astera Labs Scorpio 320通道PCIe交換機(jī)更新

Astera Labs即將推出Scorpio的最新更新，但我們應(yīng)該關(guān)注的并非又一次AI架構(gòu)的品牌宣傳。關(guān)鍵在于320條PCIe通道。在如今的PCIe交換機(jī)市場，這已經(jīng)算是相當(dāng)大了，更多的通道意味著系統(tǒng)設(shè)計(jì)人員可以用更少的交換芯片和更少的跳數(shù)連接更多的設(shè)備。

之所以要提及較早的 Scorpio 架構(gòu)，是因?yàn)?PCIe 交換是服務(wù)器設(shè)計(jì)中非常實(shí)用的一部分。CPU 平臺(tái)擁有的 PCIe 通道數(shù)量有限。GPU、網(wǎng)卡、NVMe SSD、DPU 和其他加速器都需要連接。更大的交換機(jī)為設(shè)計(jì)人員提供了更多連接這些設(shè)備的選擇，可以將系統(tǒng)劃分為不同的拓?fù)浣Y(jié)構(gòu)，并避免小型交換機(jī)級(jí)聯(lián)帶來的不便。

對(duì)于目前的市場而言，320通道的交換機(jī)算是相當(dāng)大的。也很容易理解為什么Astera能以這個(gè)數(shù)量領(lǐng)先。每個(gè)PCIe設(shè)備16條通道，20個(gè)設(shè)備正好是320條通道。

Astera 的幻燈片顯示，Scorpio X 系列 320 通道 AI 交換矩陣交換機(jī)現(xiàn)已開始向領(lǐng)先的超大規(guī)模數(shù)據(jù)中心發(fā)貨。幻燈片還指出，更廣泛的 Scorpio P 系列交換機(jī)通道數(shù)范圍已擴(kuò)展至 320 通道。這一范圍至關(guān)重要，因?yàn)椴⒎撬性O(shè)計(jì)都需要最大容量的產(chǎn)品。有些系統(tǒng)只需較小的 PCIe 交換機(jī)即可實(shí)現(xiàn)網(wǎng)卡擴(kuò)展或 SSD 擴(kuò)展。而另一些系統(tǒng)則需要容量更大的交換機(jī)，才能將多個(gè)加速器集成到單個(gè)機(jī)箱或交換矩陣域中。

Astera 發(fā)給我們的演示文稿中最有用的幻燈片是 144 通道和 320 通道的對(duì)比。除了帶寬更大之外，更大的交換機(jī)意味著實(shí)現(xiàn)大型拓?fù)浣Y(jié)構(gòu)所需的交換機(jī)總數(shù)更少。這就像我們?cè)诰W(wǎng)絡(luò)交換機(jī)中討論的基數(shù)一樣。

Astera展示了一些案例，說明了新型交換機(jī)在不同拓?fù)浣Y(jié)構(gòu)中的應(yīng)用價(jià)值。通常情況下，如果你在Astera Labs的幻燈片上看到這類交換機(jī)，就意味著某個(gè)超大規(guī)模數(shù)據(jù)中心、人工智能芯片/系統(tǒng)設(shè)計(jì)公司或類似類型的客戶正在尋求部署此類系統(tǒng)。

Hypercast 是 Astera 的數(shù)據(jù)復(fù)制引擎，用于執(zhí)行諸如全集、全分散和全連接等操作；而網(wǎng)絡(luò)內(nèi)計(jì)算則針對(duì)諸如全縮減和縮減分散等操作。大型 GPU 系統(tǒng)不僅需要進(jìn)行計(jì)算，還需要花費(fèi)大量時(shí)間在數(shù)據(jù)傳輸上。如果交換機(jī)能夠減少重復(fù)流量或輔助執(zhí)行集體操作，那么該網(wǎng)絡(luò)架構(gòu)就能提高每瓦令牌數(shù)。NVIDIA 和 Broadcom 就是在網(wǎng)絡(luò)領(lǐng)域踐行這一理念的典型例子。

服務(wù)器的 PCIe/CXL 連接芯片構(gòu)成了一個(gè)完整的芯片領(lǐng)域，而且這個(gè)領(lǐng)域正在快速增長。博通多年來一直主導(dǎo)著這個(gè)領(lǐng)域，但 Astera Labs 憑借 PCIe 重定時(shí)器芯片站穩(wěn)了腳跟，并已開始向其他設(shè)備領(lǐng)域拓展。十年前，320 通道交換機(jī)或許還只是個(gè)新鮮事物，而不是人們認(rèn)為的明確需求。

（來源： 編譯自theregister）

*免責(zé)聲明：本文由作者原創(chuàng)。文章內(nèi)容系作者個(gè)人觀點(diǎn)，半導(dǎo)體行業(yè)觀察轉(zhuǎn)載僅為了傳達(dá)一種不同的觀點(diǎn)，不代表半導(dǎo)體行業(yè)觀察對(duì)該觀點(diǎn)贊同或支持，如果有任何異議，歡迎聯(lián)系半導(dǎo)體行業(yè)觀察。

今天是《半導(dǎo)體行業(yè)觀察》為您分享的第4398內(nèi)容，歡迎關(guān)注。

加星標(biāo)??第一時(shí)間看推送

求推薦