![]()
智東西
作者 李水青
編輯 云鵬
智東西4月28日?qǐng)?bào)道,剛剛,小米開源羅福莉帶隊(duì)研發(fā)的MiMo-V2.5系列模型,采用MIT協(xié)議,允許商用推理部署與二次訓(xùn)練,無(wú)需額外授權(quán)。
![]()
▲MiMo-V2.5-Pro在Hugging Face的開源頁(yè)面截圖
此前,該系列模型于4月23日開啟公測(cè),包括MiMo-V2.5-Pro、MiMo-V2.5兩款模型。模型具備更強(qiáng)Agent能力,支持100萬(wàn)上下文,且Token效率大幅提升。
MiMo-V2.5-Pro的完整基準(zhǔn)測(cè)試結(jié)果今日公布,小米稱其在GDPVal-AA(Elo)、Claw-Eval(pass^3)等多項(xiàng)測(cè)評(píng)中超過(guò)了最新開源的DeepSeek-V4-Pro模型,也超過(guò)了發(fā)布不久的Kimi K2.6等主流閉源模型,實(shí)現(xiàn)總體最佳。
![]()
▲MiMo-V2.5-Pro的最新測(cè)評(píng)成績(jī)
開源首日,MiMo-V2.5-Pro宣布已完成與阿里平頭哥、亞馬遜云科技、AMD、百度昆侖芯、燧原科技、沐曦、天數(shù)智芯多個(gè)芯片廠商的接入適配。MiMo-V2.5系列模型同步完成SGLang和vLLM主流推理框架的Day 0適配。
與此同時(shí),小米還推出百萬(wàn)億Token創(chuàng)造者激勵(lì)計(jì)劃,計(jì)劃30天內(nèi)免費(fèi)發(fā)放總計(jì)100萬(wàn)億Token權(quán)益;推出Agent生態(tài)共建計(jì)劃,目前已與OpenCode、Hermes Agent、KiloCode等Agent框架廠商展開合作。
模型權(quán)重合集:
https://huggingface.co/collections/XiaomiMiMo/mimo-v25
更多細(xì)節(jié)參考模型Blog:
https://mimo.xiaomi.com/index#blog
百萬(wàn)億Token計(jì)劃申請(qǐng)網(wǎng)址:
https://100t.xiaomimimo.com/
一、模型技術(shù)細(xì)節(jié)公布,測(cè)評(píng)超越DeepSeek-V4
由小米最新公開的模型卡可知,小米迄今為止最強(qiáng)模型MiMo-V2.5-Pro是一款擁有1.02萬(wàn)億(1.02T)個(gè)參數(shù)的混合專家模型,其中420億(42B)個(gè)激活參數(shù),基于混合注意力架構(gòu),相比前代模型在通用智能能力、復(fù)雜軟件工程和長(zhǎng)時(shí)域任務(wù)處理方面均實(shí)現(xiàn)了顯著提升。
MiMo-V2.5-Pro繼承了MiMo-V2-Flash的混合注意力機(jī)制和多標(biāo)記預(yù)測(cè)(MTP)設(shè)計(jì)。局部滑動(dòng)窗口注意力(SWA)和全局注意力(GA)以6:1的比例交錯(cuò)使用,窗口大小為128個(gè)Token,在長(zhǎng)上下文情況下,通過(guò)可學(xué)習(xí)的注意力池偏置,將鍵值緩存存儲(chǔ)空間減少了近7倍,同時(shí)保持了性能。一個(gè)輕量級(jí)的MTP模塊,采用密集前饋神經(jīng)網(wǎng)絡(luò)(FFN),原生集成用于訓(xùn)練和推理,輸出吞吐量大約提升了三倍,并加速了強(qiáng)化學(xué)習(xí)(RL)的部署。
![]()
▲MiMo-V2.5-Pro的模型架構(gòu)及訓(xùn)練過(guò)程
該模型預(yù)訓(xùn)練使用27萬(wàn)億(27T)個(gè)Token,采用FP8混合精度,原生序列長(zhǎng)度為32K,上下文擴(kuò)展至1M個(gè)Token。后訓(xùn)練遵循MiMo-V2-Flash中引入的三階段范式:1、監(jiān)督式微調(diào),在精心挑選的數(shù)據(jù)對(duì)上建立基礎(chǔ)的指令跟蹤;2、領(lǐng)域?qū)>?xùn)練,其中不同的教師模型分別通過(guò)針對(duì)特定領(lǐng)域的強(qiáng)化學(xué)習(xí)進(jìn)行優(yōu)化,涵蓋數(shù)學(xué)、安全、智能工具使用等領(lǐng)域;3、多教師策略蒸餾(MOPD),其中單個(gè)學(xué)生模型在每位專精教師的Token級(jí)指導(dǎo)下,從自身的展開中學(xué)習(xí)策略,并將所有教師的能力融合到一個(gè)統(tǒng)一的模型中。
再來(lái)看看MiMo-V2.5,這是一個(gè)3100億(310B)參數(shù)的稀疏MoE模型,擁有150億(15B)激活參數(shù),在48萬(wàn)億(48T)個(gè)Token上進(jìn)行訓(xùn)練。它的語(yǔ)言主干框架繼承了MiMo-V2-Flash的混合滑動(dòng)窗口注意力機(jī)制,并搭載自研預(yù)訓(xùn)練視覺、音頻編碼器,兩類編碼器通過(guò)輕量化投影模塊完成跨模塊融合。
![]()
▲MiMo-V2.5架構(gòu)
訓(xùn)練過(guò)程分為五個(gè)階段:1、基于多樣化語(yǔ)料開展文本預(yù)訓(xùn)練,搭建大語(yǔ)言模型主干網(wǎng)絡(luò);2、進(jìn)行投影層預(yù)熱訓(xùn)練,實(shí)現(xiàn)音視頻、視覺投影器與語(yǔ)言模型的對(duì)齊融合;3、依托高質(zhì)量跨模態(tài)數(shù)據(jù)集,開展大規(guī)模多模態(tài)預(yù)訓(xùn)練;4、執(zhí)行監(jiān)督微調(diào)與智能體后訓(xùn)練,在此過(guò)程中將上下文窗口從32K逐步擴(kuò)容至256K,最終達(dá)到100萬(wàn)Token;5、最后是通過(guò)強(qiáng)化學(xué)習(xí)(RL)與多目標(biāo)偏好蒸餾(MOPD),進(jìn)一步強(qiáng)化模型的感知、邏輯推理與智能體執(zhí)行能力。
從小米最新公布的測(cè)評(píng)結(jié)果來(lái)看,MiMo-V2.5在Claw-Eval Text、Terminal-Bench 2.0、SWE-Bench Pro等多項(xiàng)測(cè)評(píng)中大幅超越了DeepSeek最新發(fā)布的DeepSeek-V4-Flash。
![]()
▲MiMo-V2.5最新測(cè)評(píng)情況
二、開源首日,完成阿里平頭哥沐曦等7家芯片廠商適配
小米還公布了芯片生態(tài)與推理框架最新適配情況,MiMo-V2.5-Pro開源首日完成多個(gè)芯片廠商的接入適配:
阿里平頭哥:基于真武810E及全棧自研AI軟件棧實(shí)現(xiàn)深度適配。
亞馬遜云科技:基于Trainium2芯片與Neuron SDK + vLLM推理框架完成深度適配,實(shí)現(xiàn)開源即全球可用的首日適配。下一代3nm制程Trainium3將進(jìn)一步釋放模型性能。
AMD:依托ROCm開源軟件棧提供Day-0適配及全面優(yōu)化支持。
百度昆侖芯:通過(guò)底層算子優(yōu)化與軟硬件協(xié)同加速,保障模型穩(wěn)定高效運(yùn)行。
燧原科技:基于自研馭算TopsRider軟件棧深度優(yōu)化,在燧原L600上完成全量適配。
沐曦:基于曦云C系列及全棧自研MXMACA軟件棧,實(shí)現(xiàn)Triton語(yǔ)法到沐曦GPU指令集的端到端原生支持。
天數(shù)智芯:實(shí)現(xiàn)Day 0級(jí)深度適配。
此外,MiMo-V2.5系列模型同步完成SGLang和vLLM主流推理框架的Day 0適配。
三、免費(fèi)發(fā)放100萬(wàn)億Token,已與Hermes Agent等合作
與此同時(shí),小米還同步推出MiMo Orbit計(jì)劃,包含兩部分:“百萬(wàn)億Token創(chuàng)造者激勵(lì)計(jì)劃”,與面向Agent框架團(tuán)隊(duì)的“Agent生態(tài)共建計(jì)劃”。
在百萬(wàn)億Token創(chuàng)造者激勵(lì)計(jì)劃方面,小米面向全球AI用戶免費(fèi)發(fā)放Token,30天內(nèi)發(fā)放總計(jì)100萬(wàn)億Token權(quán)益,贈(zèng)完即止。
該計(jì)劃采取申請(qǐng)制,通過(guò)者最高獲得Max檔位Token Plan,包含16億Credits,價(jià)值659元。活動(dòng)時(shí)間:北京時(shí)間2026年4月28日00:00至5月28日00:00。
Agent生態(tài)共建計(jì)劃方面,小米面向全球Agent框架團(tuán)隊(duì)提供專項(xiàng)支持,為框架提供MiMo Token限免支持,同時(shí)參與和贊助框架平臺(tái)的AI Hackathon等共創(chuàng)活動(dòng)。
其目前已與OpenCode、Hermes Agent、KiloCode等Agent框架廠商展開深度合作。
結(jié)語(yǔ):多款國(guó)產(chǎn)開源模型“亮劍”交鋒
近期,大模型行業(yè)開源力度持續(xù)加碼,模型與國(guó)產(chǎn)及國(guó)際芯片的“Day 0”適配已從亮點(diǎn)變?yōu)閯傂瑁评硇屎筒渴鸪杀境蔀橄乱浑A段競(jìng)爭(zhēng)的核心。同時(shí),百億級(jí)Token免費(fèi)激勵(lì)與Agent框架生態(tài)共建,反映出行業(yè)正從“拼參數(shù)”轉(zhuǎn)向“拼應(yīng)用”。
值得關(guān)注的是,小米MiMo-V2.5-Pro在多項(xiàng)基準(zhǔn)評(píng)測(cè)中直接超越DeepSeek最新開源的DeepSeek-V4-Pro模型,可謂與DeepSeek在開源賽道發(fā)起“亮劍”交鋒,有望倒逼行業(yè)更快降低推理成本、提升Agent真實(shí)任務(wù)完成率。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.