GPU利用率不到15%，AI產業最大的浪費正在被這家公司改寫｜甲子光年

AI算力的VMware時刻：趨動科技與“軟件定義GPU”的十年長跑。

作者｜王藝

編輯｜栗子

OpenAI把大模型推向大眾市場之后，AI產業的敘事迅速從“能不能做”切換到了“值不值得做”。模型能力還在攀升，企業部署AI應用的熱情也在持續高漲：客服、營銷、研發、辦公、數據分析，幾乎每一個數字化場景都在被重新改寫。

但熱潮的另一面同樣明顯——應用越多、調用越頻繁、賬單越厚，越來越多企業開始發現，真正卡住AI落地速度的，不只是模型效果，還有成本結構。

表面上看，貴的是Token；再往下拆，貴的是算力；再往深處看，貴的其實是“沒有被有效組織起來的算力”。

從CPU虛擬化催生云計算時代，到GPU虛擬化開啟智算新紀元，算力產業的每一次躍遷，本質上都是“軟件重新定義硬件”的故事。趨動科技押注的，正是這樣一個歷史性的結構轉折點：當AI從實驗室走向千行百業，決定其最終普及速度的，不是誰家的模型更聰明，而是誰能把算力的成本降到足夠低、供給做到足夠穩。淘金熱中最確定的贏家，從來不是挖到最大金塊的人，而是那個把鏟子賣給所有玩家的人。

在AI產業從“能用”邁向“用得起”的關鍵轉折中，趨動科技正試圖成為那把不可或缺的鏟子。

1.算力的終局，由軟件定義

過去很長一段時間，行業對“算力貴”的理解，更多停留在供給側：高端GPU太少、芯片太貴、智算中心建設投入太大。但在趨動科技創始人王鯤看來，隨著國產GPU持續進步、各地智算中心密集上馬，問題已經不只是“有沒有卡”，而是“這些卡有沒有被真正用起來”。當AI進入應用時代，決定成本曲線的，不再只是名義上的裝機量，而是能夠被穩定調用的有效算力規模。

一組數據足以說明問題。AWS曾公開提到過GPU利用率大約在10%—30%；而趨動科技接觸到的國內很多客戶GPU利用率低于15%，甚至還有不少低于10%。這意味著，今天AI產業里大量最昂貴的基礎設施，并沒有持續轉化成對應的生產力。

一臺華為910C服務器約200萬元，一臺英偉達B300服務器近期價格也漲到了近600萬元；如果算力利用率只有10%，那意味著90%的昂貴資產，長期處于“買了、裝了、分了，但沒真正高效使用”的狀態。可以說，今天的AI產業缺的并不只是算力，更是那些“會流動的算力”。

而這，正是趨動科技想解決的問題。

要理解趨動科技在做的事，需要先理解一個更底層的邏輯。

人類使用算力的方式，最終只有兩種：要么直接通過硬件使用算力，要么通過一層軟件來使用硬件的算力。前者是“硬件定義算力”，后者是“軟件定義算力”。兩者的區別，不只在于技術路徑，而在于“算力能否被高效復用”。

如果用戶直接操作硬件，用戶和硬件之間就存在綁定關系：一張卡分給一個人、一個團隊、一個業務，即便大部分時間沒在用，這張卡也很難被別人拿去復用。

而如果用戶不是直接操作物理硬件，而是通過一層軟件來使用硬件，那么軟件就可以在用戶無感知的情況下，對底層硬件進行切分、調度、復用和池化。于是，原本“獨占”的算力，才有可能變成“共享”的算力。

“直接使用硬件，意味著用戶和硬件之間有綁定關系，”王鯤解釋道。“就像酒店的長包房，你在那租六個月901房間，哪怕你三天兩頭不來，這個房間也是鎖著的，酒店少賣了錢。但如果這個901不是一個物理的901，是一個虛擬的901呢？你只要來住，我隨便找一間空房，說它是901，你也覺得它是901——這不就成了嗎？”

這就是虛擬化的邏輯本質——把硬件從“獨占”變成“共享”，把資源從“靜態綁定”變成“動態調度”。

這個邏輯并不新鮮。二十多年前，VMware用完全相同的思路對CPU做了虛擬化——一臺物理服務器變成多臺虛擬服務器，把企業數據中心的CPU利用率從10%拉到了60%到70%。這一技術直接催生了云計算時代，VMware也因此成長為市值近700億美元的基礎設施巨頭，最終被博通以610億美元收購。

今天，同樣的故事正在GPU領域重演。趨動科技正試圖在不改變用戶體驗的前提下，把“獨占GPU”變成“共享算力池”。

在趨動科技的方案里，用戶感知到的仍然像是一張“自己的卡”，但后臺真正運行的已經不是固定的物理GPU，而是一個可統一調度的資源池。用戶不用時，這張“虛擬卡”并不占用真實資源；用戶真正發起任務時，系統才會在池子里為其即時分配可用算力——換句話說，趨動科技試圖把GPU從一個必須被提前買斷、長期綁定的硬件資產，變成像票據一樣可以被動態領取、即時兌付的資源單元。

這種邏輯聽起來像云計算，但做起來比云計算早期的CPU虛擬化更難。

云計算的本質是共享經濟。共享經濟的前提是多租戶對資源的復用，復用的前提是所有硬件都要能被“軟件定義”。趨動科技認為，GPU不能繼續以硬件獨占的粗放方式來使用，而是需要通過軟件，進行精細化的管理和使用。

英偉達自2006年推出CUDA生態以來，在全球高性能計算領域建立了一個從硬件到軟件、從開發到部署的完整技術閉環，形成了極高的遷移成本和生態壁壘，擁有高達95%的市占率（2025年Q4數據），這導致AI應用的開發高度依賴英偉達CUDA生態，很多AI應用的本質是“CUDA應用”。

2024Q1-2025Q4美國和中國各大廠擁有的AI芯片 ，圖源：Epoch AI

趨動科技要做的，實際上是去模擬并兼容整套CUDA生態，讓用戶在盡量無感的前提下，繼續像調用原生GPU那樣調用底層算力。他們把自己類比為“GPU時代的VMware”——“VMware為什么那么強？因為它既做了軟件定義CPU，也做了軟件定義存儲、軟件定義網絡，是一個全套的方案。”王鯤說，“我們認為，未來的AI智算中心也一定需要這種軟件定義化。除非你不希望提高利用率，不希望降低成本——只要你有這個需求，就一定要走多租戶復用、共享經濟的路子。”

2.算力“超賣”的真正門檻

GPU虛擬化并不是新話題，但大多數方案解決的，其實只是“切分”問題，而不是“池化”問題。

GPU虛擬化技術大致可以分成三層：硬件層、內核層和運行時層。硬件層的代表如NVIDIA MIG，優點是性能損失小，但只能固定比例切分，也只支持部分高端GPU；內核層的代表如vGPU、qGPU、cGPU，雖然更進一步，但本質上仍然更多站在“單張卡”的角度處理問題。它們可以切分，但很難把整個數據中心里分散的GPU真正組織成一個統一資源池，更難做到跨服務器、跨節點調用GPU、動態分配、自動釋放與超分超售GPU。

CUDA軟件棧架構，圖源：中國計算機學會

趨動科技認為，真正有價值的，不是“把一張卡切成幾份”，而是“讓整個數據中心都變成一個池子”。因為只有池子足夠大、調用邊界不被單臺服務器限制，GPU算力才能被“超賣”，資源的復用才能真正發生。

王鯤本碩博都畢業于中國科學技術大學，先后在IBM，微軟和戴爾EMC工作多年，擔任過戴爾EMC中國研究院院長。2007年他在IBM開始做CPU虛擬化；2012年開始做FPGA虛擬化，是全球最早做FPGA虛擬化的團隊之一。2016年，AlphaGo擊敗李世石，王鯤判斷AI即將爆發，開始帶領團隊著手研究手英偉達GPU的虛擬化。2018年底，王鯤和兩位同樣是博士出身的搭檔決定自己出來創業。

做GPU的虛擬化，是一項耗時漫長、且需要花費巨大心血的過程。2019-2022年，王鯤帶著兩位搭檔從頭開始寫代碼，花了三年多的時間，支持了英偉達CUDA生態中的全部接口——累計超過30000個API，覆蓋了CUDA從9.0到13.1的每一個版本。“GPU虛擬化軟件相當于GPU的操作系統，”王鯤強調，“站在用戶角度，它只有能用和不能用兩個狀態。就算你支持了27000個API、覆蓋了英偉達CUDA生態的90%，但只要用戶用到了一個你沒支持的接口，這個軟件對用戶來說就是不可用，依然是零分。因此，這個軟件的開發工作量巨大。同時，開發人員需要具備GPU體系結構，操作系統，網絡優化等多方面的能力，開發門檻極高。”

同時，為了保證產品質量，趨動科技建立了超過600萬條的測試用例庫。每次發版之前，600萬條測試用例必須全部通過。據稱全球頂級的企業數據庫軟件Oracle的測試用例大約是2000萬條，這意味著趨動科技已經達到了Oracle的三分之一的規模。

這種極致的工程投入換來的回報是極致的穩定性。趨動科技的產品2022年初開始至今，在重要客戶的生產系統中已經7×24小時地穩定運行了超過4年時間。同時，采用趨動方案的客戶GPU利用率平均提升了約4倍——有的客戶提升了3倍，有的甚至達到了10倍。這意味著，原來需要買100臺服務器的企業，現在只需要25臺。以一臺B300服務器600萬元計算，75臺服務器的采購差額就是4.5億元。而趨動的軟件售價通常只相當于客戶節省金額的五分之一甚至更少。

一位銀行客戶的案例尤為典型：2026年初，這家銀行在采購新一批GPU硬件時，直接在立項第一天就把趨動的軟件納入了規劃。“這說明市場的認知已經在轉變，”王鯤說，“這個客戶第一天就想明白了，未來可能要買很多硬件，因此算力的利用率一定要提高。”

截至目前，趨動科技已經服務了超過200家頭部客戶，覆蓋互聯網、金融、電信運營商、自動駕駛、能源、科研機構和高校等多個領域。

3.三大核心技術，解決算力調度難題

趨動科技之所以能在成立短短幾年內獲得200多家客戶的認可，要得益于其三項核心技術能力——遠程調用、顯存復用和模型快速切換。

遠程調用：超賣的基石

在王鯤看來，算力的浪費有兩種——空間維度的浪費和時間維度的浪費。空間維度的浪費，就像一間大會議室只坐了兩個人，剩余座位空著；時間維度的浪費，就像會議室白天開會、晚上空著。

解決空間維度浪費的方法是“打隔間”——把一張大GPU切分成幾份給不同用戶用；解決時間維度浪費的方法是“超賣”——10間會議室賣給30個團隊，根據使用情況動態調度。

時間維度浪費的本質原因是潮汐效應。未來AI的應用更多會是推理類的，而推理和用戶日常的工作、學習和生活等緊密相關，因此潮汐效應不可避免。

目前，GPU虛擬化領域的大部分其他玩家還停留在“打隔間”階段，包括基于開源項目HAMi的方案、英偉達自己的MIG和vGPU方案等，這能解決“空間維度的浪費”，但對"時間維度的浪費"束手無策。

“打隔間相對更容易，只需要解決隔離性。而且大模型時代很多時候因為模型規模很大，是不需要打隔間切分GPU的。”王鯤說，“但是GPU超賣的難度非常高。這是因為GPU超賣不但需要模擬出使用體驗和物理GPU一樣的虛擬GPU給到每個用戶，還要保證超賣失敗率非常低。”

真正的“超賣”需要的是遠程調用能力：讓用戶的應用可以跨網絡、跨服務器調用任意一張GPU，而用戶對此完全無感知。

王鯤給「甲子光年」算了一筆賬：一臺服務器通常只有8張GPU，如果超賣只能在一臺服務器的范圍內進行，8張卡被同時占用的概率很高，超賣失敗的風險太大；但如果一個數據中心有8000張GPU，只要整個數據中心還有閑置的卡，超賣就不會失敗。這相當于通過遠程調用的能力把GPU超賣從一臺服務器擴展到整個數據中心，池子里卡越多，超賣失敗的概率就越低。

但這件事做起來極其困難。英偉達的CUDA應用每秒鐘會調用超過100萬次CUDA API。每一次遠程調用都意味著要把計算請求和數據發到另一臺機器、等它算完、再把結果拿回來。趨動科技的第一個版本，遠程調用的性能損失高達97%——幾乎不可用。

“我們踩了無數的坑，”王鯤坦言，“沒有什么silver bullet（立竿見影的解決辦法），也沒有一個單點突破就一片坦途的時刻。30000個CUDA API的行為各不相同，團隊需要逐一分析每個API的行為模式，比如哪些操作可以合并批量發送、哪些結果可以亂序返回而不影響正確性、哪些必須嚴格同步等。這是一個純粹依賴科學研究和工匠精神的過程，沒有捷徑，也沒有取巧的可能。這也使我們堅信，任何后來者想要復刻趨動的技術，都需要把趨動過去踩過的坑全踩一遍。”

經過十年的打磨，趨動科技將遠程調用的性能損失降到了不到3%。在微秒級延遲的網絡條件下，性能損失可以控制在個位數百分比。即使跨城域網絡，延遲升至毫秒級，也能正常工作。

顯存復用：一張卡跑多個模型的秘密

在大模型推理場景里，真正稀缺的往往不是計算單元，而是顯存。不同業務團隊可能都在跑相同的模型，但傳統模式下，它們會在GPU的顯存里重復加載完全相同的權重數據。

趨動科技試圖用一種接近存儲“去重”的思路來解決這個問題：既然相同模型中大量權重數據是只讀且重復的，就沒有必要反復占用顯存。趨動科技利用其虛擬化層對GPU顯存訪問的全局可見性，自動識別和消除重復數據。通過這項技術，一張原本只能跑一個模型的卡，現在可以同時跑兩個、三個甚至更多相同模型的實例——顯存占用大幅降低，而GPU算力的利用率相應倍增。

顯存復用技術原理，圖源：方正證券

模型快速切換：時間維度的效率極限

如果說顯存復用解決的是“空間維度浪費”的問題，那么模型快速切換解決的就是“時間維度浪費”的問題。

如果兩個用戶跑的是不同的模型，去重就失效了。這時候解決算力浪費的唯一方式，就是模型之間的快速切換——A用戶不用的時候，快速把它的模型“存盤”（將顯存狀態保存到CPU內存），立刻把B用戶的模型“調盤”（從CPU內存恢復到顯存），讓同一張GPU在不同模型之間快速輪轉。

表面看，這是調度問題；本質上，它考驗的是整套軟件對GPU資源、任務狀態和用戶體驗的聯合掌控能力。 也正因為如此，趨動科技更愿意把自己定義成“操作系統型軟件”，而不只是某種加速器或管理插件。

趨動科技可以在用戶任務不中斷的前提下，將任務從一張GPU無縫切換到另一張GPU。整個過程對用戶透明，用戶的操作感知變化不大。王鯤打了一個比方：“就像你在高速公路上換了一條車道，但方向盤、儀表盤、油門剎車的感覺完全一樣。”

綜合來看，遠程調用解決了“超賣基礎設施”的問題，顯存復用解決了“空間維度效率極限”的問題，模型快速切換解決了“時間維度效率極限”的問題——這三項技術共同構成了趨動科技的技術護城河。

趨動科技對數十家客戶做的一項統計客戶未來三年 GPU 保有量的調研結果顯示，這些客戶當前共有4萬多張GPU卡，其中的9千多張卡正在運行趨動的軟件。三年后，這些客戶預計共有超過11萬張GPU卡。這意味著，即便只考慮這些客戶，趨動科技的軟件都有至少10倍以上的增長空間。

4.AI芯片的“安卓操作系統”

任何基礎設施型公司的商業想象力，最終都取決于它是不是一個“不可繞過的關鍵節點”。

一旦AI進入大規模應用期，算力就不再只是一次性的采購，而會變成持續流動、持續結算、持續優化的生產要素。誰能掌握資源調度權，誰就有機會在巨大的算力流量中拿到那一小段、卻極有含金量的“通行費”。

趨動科技的OrionX，就是這樣一個“調度算力資源”的產品。它通過創建一個虛擬化的GPU資源池，將物理GPU與AI應用解耦。在這個資源池中，OrionX可以根據任務的需求動態地分配和回收GPU資源。這種動態分配不僅包括算力，還包括顯存和其他相關資源。OrionX還支持通過TCP/IP或RDMA網絡實現遠程GPU訪問，這意味著GPU資源可以在數據中心的任何位置被調用，就像本地資源一樣。

軟件定義AI算力架構圖，圖源：趨動科技

在控制層面，OrionX不僅涵蓋了配置、監控、告警、升級等基礎運維管理功能，還引入了一系列高級特性，包括但不限于調度策略、熱遷移、算力的彈性擴縮容、任務隊列管理、優先級設置以及資源搶占機制。這些高級特性的集成為OrionX在企業級數據中心的部署和運維提供了堅實的基礎，確保了系統的高效運行和靈活管理。

除了OrionX這一軟件解決方案，趨動科技還通過自有算力出租、合作售賣、池化算力服務等多種形式參與算力租賃。在當下算力租賃市場競爭激烈、平均毛利率只有2%-3%的紅海中，趨動科技的算力租賃業務可以做到20%甚至更高的毛利率，這也意味著他們擺脫了純“搬箱子”的模式，真正讓算力變成了可自由流通的“生產要素”。

可以說，趨動科技做的是一門“算力抽稅”的生意——通過幫用戶提高生產效率的方式提高生產率，進而從中抽成。“AI算力產業是一個萬億級的市場，即便趨動科技只提升20~30%的算力效率，從中抽2%-3%的成，利潤都是非常可觀的。”王鯤說。

更重要的是，趨動科技賣的不只是“省錢”，還有“確定性”。當企業把AI從試驗場搬進生產系統，它們關心的不僅是利用率能提高多少，還關心系統是否穩定、是否安全、是否能兼容異構芯片、是否支持私有化部署、是否能長期在線運轉。王鯤表示，趨動科技除了支持全系列英偉達GPU，還支持當前主流的國產GPU，并且已經在金融、運營商，能源電力等對穩定性和安全性要求極高的重要客戶的生產系統上穩定運行了數年時間。

對于金融、運營商、能源電力這類客戶來說，趨動科技提供的不只是一套“更便宜的卡”，更是一套讓AI基礎設施真正可運營、可擴展、可長期依賴的軟件底座。“趨動科技產品的本質是英偉達和國產GPU的操作系統，更長遠的目標是做AI芯片的安卓操作系統。”王鯤說。

這也是王鯤給趨動科技設定的位置：不去做淘金者，而去做“賣鏟人”。

「甲子光年」認為，如果說模型公司在定義智能的上限，應用公司在擴張智能的邊界，那么趨動科技正在解決的，是AI產業里那個更底層、也更容易被忽視的問題——如何把一堆昂貴但低效的GPU，變成真正可調度、可復用、可規模化供給的“有效算力”。

根據公開信息，趨動科技自2019年成立以來已完成多輪融資，累計融資金額近1億美元，包括國開裝備基金、沙特阿美旗下多元化風投基金Prosperity7 Ventures、元禾重元、招銀國際、順為、高瓴、嘉御、戈壁、訊飛和涌鏵在內的多家國內外頂級VC參與投資。

今年三月發布的《中華人民共和國國民經濟和社會發展第十五個五年規劃綱要》中明確提出：“適度超前建設新型基礎設施 ...... 深入推進東數西算工程，構建多層次算力設施體系和全國一體化算力網 ...... 建設算力監測調度平臺，制定完善算力資源池化，并網，監測，運營，調度等標準規范。”

可以看到，算力資源池化已經被寫入十五五規劃，而趨動科技也正在參與算力資源池化國家標準的制定工作。

我們也期待趨動科技這個“賣鏟人”，挖掘出更多物美價廉的“有效算力”，助力中國AI行業的發展。

（封面圖來源：AI生成）