河南
快科技5月24日消息，據(jù)報(bào)道，Reddit用戶APFrisco近日通過一套極客方案，利用6根二手英特爾傲騰DCPMM持久內(nèi)存模塊，在單GPU工作站上成功運(yùn)行了擁有1萬(wàn)億參數(shù)的Kimi K2.5大模型，推理速度約為每秒4個(gè)Token。
該系統(tǒng)基于英特爾至強(qiáng)金牌6246處理器與泰安S5630GMRE-CGN主板構(gòu)建。內(nèi)存系統(tǒng)總?cè)萘繛?68GB，由6根32GB三星DDR4-2666 ECC內(nèi)存條與6根128GB英特爾傲騰DCPMM持久內(nèi)存模塊組成。
圖形算力由兩張華碩GeForce RTX 3060 OC 12GB顯卡承擔(dān)，存儲(chǔ)設(shè)備采用西部數(shù)據(jù)WD SN850X 2TB固態(tài)硬盤，電源為華擎Steel Legend SL-850G 850W全模組電源。
軟件運(yùn)行層面，該方案采用了基于llama.cpp的GPU與CPU混合推理方法。通過llama.cpp的override-tensor標(biāo)志，系統(tǒng)將模型路由組件強(qiáng)制分流至總計(jì)24GB顯存的GPU中處理，其余參數(shù)則由傲騰內(nèi)存承擔(dān)存儲(chǔ)與讀取任務(wù)，有效規(guī)避了單卡顯存不足的瓶頸。
英特爾傲騰系列產(chǎn)品雖已停產(chǎn)，但其介于DRAM與固態(tài)硬盤之間的讀寫特性，使其成為替代昂貴內(nèi)存方案的特殊選擇。
業(yè)內(nèi)分析認(rèn)為，隨著CXL計(jì)算快速連接標(biāo)準(zhǔn)的成熟，未來市場(chǎng)有望出現(xiàn)更具性價(jià)比的字節(jié)尋址內(nèi)存解決方案，以支撐大型語(yǔ)言模型對(duì)內(nèi)存容量的迫切需求。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
郭茂辰海峽傳真
