芯片巨頭聯手，投了一家初創公司

公眾號記得加星標??，第一時間看推送不會錯過。

一些公司正試圖通過制造更高效的硬件來解決計算資源短缺問題。而一家名為RadixArk的初創公司則試圖通過開發更高效的軟件來解決這個問題——而且它的方法已經獲得了科技行業一些巨頭的支持。

這家初創公司開發了一款軟件工具，據稱該工具能夠讓人工智能模型更高效、更經濟地處理查詢，部分原因在于它能更好地利用短期記憶，從而減少計算所需的總算力。其開源軟件引擎 SGLang 充當模型和硬件之間的中間層。

SGLang 最初隸屬于大型模型系統組織（LMSYS Org），這是一個非營利組織，也孵化了 Chatbot Arena，最終分拆為 RadixArk。RadixArk 的首席執行官 Ying Sheng 此前曾在 xAI 工作，之后離開該公司聯合創立了這家初創公司。

這家公司雄心勃勃地計劃將業務從推理擴展到模型訓練領域。該公司宣布已完成種子輪融資，從NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。等投資方籌集了1億美元，公司估值達到4億美元。TechCrunch此前曾報道過RadixArk此次融資的部分細節。

“目前唯一能做的就是提高芯片的效率，” Accel合伙人Ivan Zhou說道，他主導了這家風險投資公司對RadixArk的投資。“如果你只能生產10個芯片，而市場需求量是100個，你唯一能做的就是讓每個芯片都像能處理10個需求那樣運行，而這正是RadixArk所做的。”

人工智能模型使用一種名為鍵值緩存（KV緩存）的技術來記憶某些信息，這樣每次運行查詢時就不必從頭開始重新計算所有內容。然而，鍵值緩存的問題在于它會增加內存使用量。

RadixArk 的推理引擎通過將對話片段組織成一個名為 Radix 樹的文件系統來重用 KV 緩存。該引擎會掃描新的查詢，查看提示的開頭是否與它已經處理過的內容匹配。如果匹配，它會跳過查詢的這部分，因為它已經理解了這些內容，從而更快地找到答案，顯著降低運行 AI 模型的成本。

RadixArk聯合創始人兼首席技術官朱邦華（Banghua Zhu）表示：“很多推理都與你如何管理這些KV緩存項有關。如果你只是保存它們，那么下次生成下一個token時，就可以直接重復使用它們。”

聯合創始人將其比作餐廳廚房批量準備食材的方式——切好的蔬菜、醬汁——這些食材可以用于烹飪多種類型的菜肴。

該公司于 11 月發布了名為 Miles 的強化學習框架，并表示未來計劃在模型訓練層投入更多精力。

“我們希望成為能夠生產最佳模型并托管最佳模型的工廠，”RadixArk 的 CEO Sheng 說。“所以推理就像一扇窗戶，而窗戶后面則是所有正在發生的事情，包括訓練部分。”

RadixArk完成1億美元種子輪融資，估值達4億美元

專注于讓前沿人工智能系統更廣泛普及的人工智能基礎設施公司RadixArk宣布完成 1 億美元種子輪融資，投后估值達 4 億美元。本輪融資由 Accel領投， Spark Capital 聯合領投 ，眾多戰略投資者參與其中，包括芯片制造商、風險投資公司和人工智能行業高管。

投資財團成員包括 NVentures、 NVIDIA、 AMD、 Intel、 Broadcom和 MediaTek，以及Salience Capital、A&E Investments、HOF Capital、Walden Catalyst Ventures 和 LDV Partners。

本輪融資的一大亮點是眾多人工智能和技術領域的資深領軍人物參與，包括 xAI 的 Igor Babuschkin、 Lip-Bu Tan、 Hock Tan、 OpenAI 的 John Schulman和 Soumith Chintala。此外，Datadog 聯合創始人 Olivier Pomel、Hugging Face 聯合創始人 Thomas Wolf、Anyscale 聯合創始人 Robert Nishihara和 Gemini 產品負責人 Logan Kilpatrick等業內人士也提供了支持。

RadixArk由人工智能基礎設施領域的資深人士盛穎 和 朱邦華創立 ，他們此前都曾在xAI和NVIDIA從事人工智能系統開發工作。該公司的起源與SGLang密切相關，SGLang是由盛穎及其合作者于2023年創建的開源推理引擎，旨在提高大規模模型服務的效率。

SGLang 現已發展成為廣泛采用的模型推理開放標準，并擁有一個涵蓋學術機構、研究實驗室和科技公司的全球貢獻者社區的支持。據該公司稱，該框架目前已部署在全球數十萬個 GPU 上，每天處理數萬億個令牌，用戶包括 Google、Microsoft、NVIDIA、Oracle、AMD、Nebius、LinkedIn、xAI 等眾多機構。

RadixArk 在發布之初便將自身定位為一個基礎設施層，旨在解決其所描述的當前 AI 技術棧中存在的碎片化和重復問題。該公司認為，盡管對大規模 AI 系統的需求不斷增長，但大部分底層基礎設施仍然集中在少數幾家機構手中，迫使新進入者獨立重建核心訓練和推理能力。

RadixArk 的平臺基于 SGLang 進行推理，并采用開源強化學習和訓練框架“Miles”。這些系統共同構成了一個端到端的基礎設施，涵蓋模型訓練、微調、強化學習和大規模推理部署。

該公司的策略不僅限于提供計算資源，而是將自身定位為構建和運行人工智能模型的全棧系統。這包括支持專有模型訓練、開放模型定制和生產級部署，所有這些都集成在一個統一的基礎架構環境中，旨在降低工程團隊的運維成本。

Accel 合伙人 Ivan Zhou 將該公司描述為一種更廣泛的轉變的一部分，這種轉變將人工智能基礎設施視為基礎產品類別，而非內部工程職能。Spark Capital 普通合伙人 Arpan Shah 也同樣強調了開放系統對于在人工智能能力擴展過程中維持更廣泛的生態系統訪問權限的重要性。

RadixArk 的技術棧旨在支持多種型號系列和硬件環境，包括 Llama、Qwen、DeepSeek、Mistral、Gemma 等，并可在 NVIDIA GPU、AMD 加速器、Intel CPU 和 Google TPU 上運行。該公司表示，這種跨平臺兼容性旨在減少廠商鎖定，并支持異構基礎設施部署。

更廣泛的論述反映了人工智能行業日益激烈的爭論，即前沿模型開發究竟會繼續集中在少數資金雄厚的機構手中，還是會通過更開放的基礎設施層進行擴展。RadixArk 的定位與后一種觀點相符，強調共享系統，使不同規模的機構都能構建和部署高級模型，而無需從頭開始重建核心基礎設施。

該公司計劃利用這筆新資金擴大 SGLang 的開發，加速對新興模型架構和硬件平臺的支持，并構建其用于大規模訓練和推理的托管基礎設施產品。

RadixArk 進入市場之際，正值人工智能基礎設施需求持續飆升之時，這主要得益于生成式人工智能應用的快速普及以及訓練和部署大型模型所需的計算能力不斷增長。其支持者認為，人工智能發展的下一階段不僅取決于模型本身的創新，也同樣取決于基礎設施的標準化。

由SGLang 項目分拆的 RadixArk

人工智能基礎設施領域正在出現一種趨勢：流行的開源工具正在轉型為價值數億美元的風險投資支持的初創公司。最新的例子是RadixArk，這家商業公司開發了SGLang，這是一款日益流行的工具，可以幫助人工智能模型運行得更快、更經濟。

據techcruch在今年一月引述兩位知情人士透露，RadixArk 最近在由 Accel 領投的一輪融資中估值約為 4 億美元，對于一家去年 8 月才宣布成立的初創公司來說，這筆金額相當可觀。TechCrunch 尚未能證實此次融資的具體數額。

此前有消息稱，負責維護 SGLang 的部分團隊成員已加入最近成立的商業初創公司 RadixArk。SGLang 被 xAI 和 Cursor 等公司用于加速 AI 模型訓練。RadixArk 的前身是 SGLang，于 2023 年在 Databricks 聯合創始人 Ion Stoica 的加州大學伯克利分校實驗室中開發。

據知情人士透露，這家初創公司此前曾從包括英特爾首席執行官陳立兵在內的投資者那里籌集過天使投資。

據她上個月在領英上發布的消息，SGLang 的重要貢獻者、前 xAI 工程師 Ying Sheng 已離開埃隆·馬斯克的這家人工智能初創公司，成為 RadixArk 的聯合創始人兼首席執行官。Sheng Sheng 此前曾在 Databricks 擔任研究科學家。

RadixArk 的 Ying Sheng、Accel 和 Lip-Bu Tan 沒有回應置評請求。

SGLang 和 RadixArk 都專注于優化推理處理——本質上是讓模型在相同的硬件上運行得更快、更高效。推理與模型訓練一起，占據了人工智能服務服務器成本的很大一部分。因此，能夠優化推理過程的工具幾乎可以立即帶來巨大的成本節約。

RadixArk并非唯一一個從開源項目轉型為資金雄厚的初創公司的項目。vLLM，一個用于優化推理的更成熟的項目，也完成了這一轉變。據《福布斯》上月報道，這家新成立的公司正在洽談融資，目標是籌集超過1.6億美元的資金，估值約為10億美元。

三位知情人士向TechCrunch透露，Andreessen Horowitz領投了vLLM的這輪融資，但最終投資金額尚待公布。Andreessen Horowitz拒絕置評。vLLM聯合創始人Simon Mo在給TechCrunch的一份聲明中稱，有關此輪融資的信息“與事實不符”，但他拒絕具體說明哪些細節有誤。

與 SGLang 一樣，vLLM 也是在加州大學伯克利分校 Ion Stoica 的實驗室孵化的。Stoica 是加州大學伯克利分校的教授，也是 Databricks 以及其他多家初創公司的聯合創始人。

CRV 的普通合伙人 Brittany Walker 告訴 TechCrunch，多家大型科技公司已經在使用 vLLM 運行其推理工作負載，而 SGLang 在過去六個月中也獲得了顯著的普及。她的公司并未投資這兩家公司。

RadixArk 正在持續開發 SGLang，將其打造為一款開源的 AI 模型引擎。這家初創公司還在構建 Miles，這是一個專為強化學習而設計的框架，它能夠幫助企業訓練 AI 模型，使其隨著時間的推移變得更加智能。

一位熟悉該公司的人士告訴 TechCrunch，雖然 RadixArk 的大部分工具仍然免費，但它已經開始對托管服務收取費用。

近幾個月來，為開發者提供推理基礎設施的初創公司融資激增，凸顯了推理層對人工智能的持續重要性。《華爾街日報》周二報道，Baseten 近期以50 億美元的估值融資 3 億美元。此前，其競爭對手 Fireworks AI 也于去年 10 月進行了類似融資，以 40 億美元的估值融資2.5 億美元。

（來源：編譯自WSJ ）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4398內容，歡迎關注。

加星標??第一時間看推送

求推薦