「AI不是死在模型上,是死在布局上。」KubeCon EU現場這句話,戳破了行業最尷尬的窗戶紙。
新研究顯示,大多數AI項目根本進不了生產環境。搞砸的往往不是算法精度,而是集成和運維執行——簡單說,東西做出來了,跑不起來。
![]()
Red Hat這次拿出的方案,是給Kubernetes裝一個專門伺候AI工作負載的控制平面。不是修修補補,是重新設計。
一張圖看懂:AI基礎設施的裂縫在哪
想象你的AI系統像一條供應鏈:數據在東,算力在西,合規要求在南,成本優化在北。四個方向各自為政,中間沒有統一調度。
這就是Paul Nashawaty說的「碎片化」——云、邊緣、本地數據中心,三套系統從未約定過如何像一個整體那樣運轉。AI把這種分裂暴露得淋漓盡致。
Red Hat的回應是「水平平臺」思路。不是讓每個業務單元自建孤島,而是在底層鋪一層統一的Kubernetes控制平面,讓Llama模型和OpenAI接口能在同一張網里被調度。
這個邏輯聽起來直白,但技術債很深。
Kubernetes的原罪:它為容器而生,不為推理而長
Kubernetes的設計初衷是調度容器。啟動、停止、擴縮容——這些它很擅長。但AI推理要的是另一套東西:跨區域一致性、毫秒級延遲穩定性、資源爭搶時的優先級仲裁。
Robert Shaw管這叫「第二天問題」。模型訓練完只是開始,真正的噩夢是運行時——延遲忽高忽低,資源互相擠占,策略配置慢慢跑偏。這些不會在第一天的demo里出現,但會在第三個月的凌晨三點打電話叫醒你。
Red Hat AI Enterprise想把這些運維動作「產品化」。不是寫一堆腳本救火,而是讓平臺自己知道怎么處理分布式推理的常態 chaos。
這里有個細節值得玩味:他們押注的開源框架叫llm-d,托管在CNCF,專門用來跨集群調度大模型負載。不是閉門造車,是試圖把企業需求反向輸送給社區標準。
主權:一個被低估的架構約束
碎片化有個更正式的名字:主權。數據受企業策略約束,算力受區域法規約束,模型受業務單元預算約束。這些邊界不會消失,只能被工程化地跨越。
Mike Barrett的觀察很接地氣:財務部跑Llama,會計部調OpenAI,兩邊都想用最便宜的方式拿到想要的智能。沒有水平平臺,這就是兩道重復建設;有了,就是一層抽象后的資源池。
Red Hat的賭注在于,企業寧愿為「跨環境一致性」付溢價,也不愿為每個場景單獨運維。這個判斷如果成立,Kubernetes控制平面的價值會從「容器編排」升級為「AI基礎設施的操作系統」。
為什么這事值得你盯一眼
如果你在做AI平臺的采購決策,或者正在把模型從實驗室往生產環境搬,這個信號很明確:選基礎設施時,「能跑起來」和「能一直跑下去」是兩個完全不同的驗收標準。
Red Hat的方案不是唯一解,但它把問題定義得很清楚——AI生產化的瓶頸不在算法,在工程。而工程問題的解法,往往藏在控制平面的設計里。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.