MoE以小搏大！見證“源2.0-M32”推動大模型智能涌現(xiàn)

浪潮信息與5月28日重磅發(fā)布“源2.0-M32”開源大模型，旨在追求更高效的智能涌現(xiàn)。該模型在繼承了“源2.0”系列成果的基礎(chǔ)上，前瞻性引入了“基于注意力機制的門控網(wǎng)絡(luò)”技術(shù)，構(gòu)建包含32個專家（Expert）的混合專家模型（MoE），并大幅提升了模型算力效率，模型運行時激活參數(shù)為37億，在業(yè)界主流基準評測中，性能媲美700億參數(shù)的LLaMA3開源大模型。

在傳統(tǒng)的MoE模型中，盡管通過多個專家模型的協(xié)同工作提升了模型的泛化能力，但它們在專家調(diào)度策略上存在局限。特別是在選擇兩個或多個專家參與計算時，傳統(tǒng)門控網(wǎng)絡(luò)往往忽略了專家之間的協(xié)同性，導(dǎo)致模型精度和效率受限。

源2.0-M32提出并采用了一種新型的算法結(jié)構(gòu)：基于注意力機制的門控網(wǎng)絡(luò)（Attention Router），針對MoE模型核心的專家調(diào)度策略，這種新的算法結(jié)構(gòu)關(guān)注專家模型之間的協(xié)同性度量，有效解決傳統(tǒng)門控網(wǎng)絡(luò)下，選擇兩個或多個專家參與計算時關(guān)聯(lián)性缺失的問題，使得專家之間協(xié)同處理數(shù)據(jù)的水平大為提升。此外，源2.0-M32采用源2.0-2B為基礎(chǔ)模型，沿用并融合局部過濾增強的注意力機制（LFA, Localized Filtering-based Attention），通過先學(xué)習(xí)相鄰詞之間的關(guān)聯(lián)性，然后再計算全局關(guān)聯(lián)性的方法，能夠更好地學(xué)習(xí)到自然語言的局部和全局的語言特征，對于自然語言的關(guān)聯(lián)語義理解更準確，進而提升了模型精度。

在數(shù)據(jù)層面，源2.0-M32基于2萬億的token進行訓(xùn)練、覆蓋萬億量級的代碼、中英文書籍、百科、論文及合成數(shù)據(jù)。大幅擴展代碼數(shù)據(jù)占比至47.5%，從6類最流行的代碼擴充至619類，并通過對代碼中英文注釋的翻譯，將中文代碼數(shù)據(jù)量增大至1800億token。

在算力層面，源2.0-M32采用了流水并行的方法，綜合運用流水線并行+數(shù)據(jù)并行的策略，顯著降低了大模型對芯片間P2P帶寬的需求，為硬件差異較大的訓(xùn)練環(huán)境提供了一種高性能的訓(xùn)練方法。

在大模型的發(fā)展進程中，浪潮信息始終未曾停止上下求索的步伐。未來，浪潮信息將持續(xù)致力于算法和模型架構(gòu)的創(chuàng)新與優(yōu)化，不斷降低模型在預(yù)訓(xùn)練、微調(diào)和推理等核心應(yīng)用場景中的算力門檻，并通過精心設(shè)計模型和優(yōu)化訓(xùn)練流程，提升模型的運算效率，推動產(chǎn)業(yè)智能化的快速發(fā)展，讓大模型深度賦能千行百業(yè)。