河南
快科技5月10日消息，近日海外硬件頻道Hardware Haven展示了一套極具性價比的魔改方案：通過將一塊二手SXM2接口的英偉達Tesla V100加速器轉(zhuǎn)接至標準PCIe插槽，成功在普通臺式機上實現(xiàn)了高性能本地大模型運行。
目前二手市場上SXM2版V100（16GB HBM2顯存）與轉(zhuǎn)接頭的組合成本約為200美元（約1440元人民幣），算上散熱配件和稅費，整套魔改成本約為1700元人民幣。
由于V100服務(wù)器顯卡采用被動散熱設(shè)計，且沒有顯示輸出接口，改裝者額外添加了一個80mm貓頭鷹風(fēng)扇，并配合3D打印散熱罩構(gòu)建了主動散熱系統(tǒng)。
在實際的本地LLM大模型測試中，這臺1700元的縫合怪顯卡展現(xiàn)出了驚人的戰(zhàn)績：使用Ollama測試Gemma 4 E4B模型時，V100的生成速度達到了108 tokens/s，而作為對比的RTX 3060 12GB僅為76 tokens/s，V100的領(lǐng)先幅度接近40%。
能效比方面，V100的表現(xiàn)同樣反直覺。雖然待機功耗高達45W，高于RTX 3060的35W，但V100在高負載推理任務(wù)中效率更高。
即便將功耗強制限制在100W，V100依然能保持95 tokens/s的產(chǎn)出速度，而同功率下的RTX 3060僅為68 tokens/s。
需要注意的是，這種改裝并不適合游戲用戶。V100沒有顯示輸出接口，必須依賴核顯或另一塊顯卡輸出畫面，且系統(tǒng)識別和驅(qū)動調(diào)試需要一定的技術(shù)門檻。
不過對于追求極致性價比的本地AI實驗用戶而言，這款擁有16GB大顯存的高帶寬老卡，在1700元價位段幾乎沒有對手。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
