MOOSE-Star：打破組合復(fù)雜度壁壘，解鎖直接訓(xùn)練范式

作者：論文團(tuán)隊

編輯丨ScienceAI

在目前的 LLM for scientific discovery 研究中，絕大多數(shù)工作要么依賴于大模型推理期的 Prompting，要么基于 external feedback（外部實驗 / 評委反饋）進(jìn)行 training。

這引出了一個極其核心的拷問：為什么一直沒人去「直接訓(xùn)練」并顯式建模科學(xué)發(fā)現(xiàn)的生成過程 P (hypothesis | background) 本身？

最近一項工作首次從理論上揭示了其背后的死鎖，提出了一套通用的科學(xué)發(fā)現(xiàn)理論框架，并成功觀察到了令人振奮的 both Train-time Scaling Law 和 Test-Time Scaling Law。

該研究來自 MiroMind AI 的楊宗霖 (Zonglin Yang) 與邴立東 (Lidong Bing) 團(tuán)隊。為了推動直接訓(xùn)練范式在科學(xué)發(fā)現(xiàn) (Scientific Discovery) 領(lǐng)域的應(yīng)用，團(tuán)隊開發(fā)并開源了包含超 10.8 萬篇高質(zhì)量論文推導(dǎo)鏈路的 TOMATO-Star 數(shù)據(jù)套件 ，以及基于理論框架構(gòu)建的 MOOSE-Star 模型體系。團(tuán)隊希望以此為契機(jī)，攜手推動 Scientific Discovery 領(lǐng)域開源社區(qū)的建設(shè)與發(fā)展。

論文地址：https://arxiv.org/pdf/2603.03756

GitHub 數(shù)據(jù)與代碼：https://github.com/ZonglinY/MOOSE-Star

Hugging Face：https://huggingface.co/papers/2603.03756

1. 核心壁壘：計算上幾乎無解的 O (N^k) 組合復(fù)雜度

如果要直接訓(xùn)練模型生成科學(xué)發(fā)現(xiàn)，最大的挑戰(zhàn)在于「靈感的檢索與組合」。科學(xué)發(fā)現(xiàn)并非憑空產(chǎn)生，它要求模型從海量的全局文獻(xiàn)庫（規(guī)模為 N）中，精準(zhǔn)檢索出 k 個相關(guān)的靈感碎片，并將它們拼圖般組合成一個新的 Hypothesis。

如果直接端到端讓模型去隱式學(xué)習(xí)這個過程，其搜索空間是一個極其恐怖的組合爆炸：O (N^k)。

這種計算上幾乎無解的復(fù)雜性，導(dǎo)致以往直接訓(xùn)練模型極易陷入死鎖，表現(xiàn)為嚴(yán)重的幻覺或邏輯斷裂。

2. 破局與統(tǒng)一理論：MOOSE-Star 的解構(gòu)與分離范式

為了 enable 真正 tractable 與 scalable 的 discovery LLM training，MOOSE-Star 并沒有去頭鐵地直接端到端訓(xùn)練 P (hypothesis | background)。

相反，該研究從第一性原理出發(fā)，首先提出并形式化了一個統(tǒng)一的科學(xué)發(fā)現(xiàn)理論框架。團(tuán)隊認(rèn)為，高度復(fù)雜的科學(xué)發(fā)現(xiàn)過程必須先在理論層面被徹底解耦。依據(jù)這一證明過的理論框架，該研究提出了三個方法。

科學(xué)發(fā)現(xiàn)理論框架

• 方法一：IR 與 HC 的分離訓(xùn)練范式 (Decoupled Training)

這是保證整個框架「可訓(xùn)練 (Tractable)」的靈魂所在。根據(jù)該研究提出的科學(xué)發(fā)現(xiàn)理論，團(tuán)隊沒有去直接硬訓(xùn)單一的 P (h|b)，而是將訓(xùn)練過程解耦，分別獨立訓(xùn)練靈感檢索模型 (IR, Inspiration Retrieval) 和假設(shè)組合模型 (HC, Hypothesis Composition)。這種分離范式徹底避開了端到端建模復(fù)雜科學(xué)發(fā)現(xiàn)時的優(yōu)化死鎖，將復(fù)雜度從指數(shù)級 O (N^k) 降到了線性 O (k * N)。

• 方法二：動機(jī)引導(dǎo)的分層搜索 (Motivation-Guided Hierarchical Search)

該研究拒絕了在海量知識庫中的全局暴力盲搜。模型首先基于背景知識，生成一個明確的「研究動機(jī) (Motivation)」，然后順著結(jié)構(gòu)化的全局知識樹進(jìn)行分層、定向的檢索。在最理想的情況下 (in the best case)，這一機(jī)制成功將線性的復(fù)雜度 O (N) 降維至 O (log N)。

• 方法三：容錯組合 (Bounded Composition)

在獲取到檢索結(jié)果后，模型在一個有界的上下文中，通過嚴(yán)密的生成式推理，將（即便帶有一定噪聲的）靈感碎片無縫融合成邏輯自洽的科學(xué)假設(shè)。

3. 核心發(fā)現(xiàn)：在科學(xué)發(fā)現(xiàn)領(lǐng)域解鎖 Train-time 與 Test-Time Scaling Law

當(dāng)該研究基于上述統(tǒng)一理論，成功打通了 tractable 的分離訓(xùn)練路徑后，團(tuán)隊不僅解決了一個工程難題，更得到了一組非常驚艷的副產(chǎn)品 —— 在科學(xué)發(fā)現(xiàn)這一極其復(fù)雜的認(rèn)知任務(wù)上，清晰地觀察到了兩條優(yōu)美的擴(kuò)展法則（Scaling Law）。

• Train-time Scaling Law (訓(xùn)練期擴(kuò)展法則)：

過去，由于直接端到端擬合 P (h|b) 存在 O (N^k) 的復(fù)雜度之墻，此時「大力出奇跡」是失效的。

而 MOOSE-Star 的解構(gòu)與分離訓(xùn)練徹底打破了這一魔咒。該研究證實：隨著訓(xùn)練數(shù)據(jù)量（如 TOMATO-Star 數(shù)據(jù)集的規(guī)模擴(kuò)張），模型在靈感檢索和假設(shè)組合上的基礎(chǔ)能力，呈現(xiàn)出了可預(yù)測的持續(xù)提升。這意味著，用 LLM 對科學(xué)發(fā)現(xiàn)進(jìn)行直接建模 P (h|b) (不依賴 external feedback) 的能力首次變得「可以通過增加訓(xùn)練算力來 Scale up」。

• Test-Time Scaling Law (推理期擴(kuò)展法則)：

除了訓(xùn)練期的規(guī)模化紅利，MOOSE-Star 還在推理期展現(xiàn)出了驚人的算力轉(zhuǎn)化率。

面對極其復(fù)雜的科學(xué)問題，傳統(tǒng)的暴力采樣（Brute-force）或盲目的 Prompting 會迅速撞上「復(fù)雜性高墻」，此時給予再多的推理算力（例如讓模型盲猜 1000 次）也無濟(jì)于事，成功率依然趨近于零。

而基于 MOOSE-Star 框架，得益于分層搜索與容錯組合機(jī)制，隨著該研究在推理期投入更多的計算資源（Compute，例如延展更深的邏輯搜索樹、生成并評估更多的候選分支），模型產(chǎn)出高質(zhì)量、創(chuàng)新性科學(xué)假設(shè)的成功率，呈現(xiàn)出極其穩(wěn)定且持續(xù)的增長。

暴力 sampling 對 P (h|b) 失效

Train-time Scaling Law

Test-time Scaling Law

4. 誠意開源：3.8 萬卡時煉成的 TOMATO-Star 數(shù)據(jù)套件

為了支撐起這套龐大框架的驗證與訓(xùn)練，數(shù)據(jù)是繞不過去的坎。

為此，該研究燒了約 38,400 個 A800 GPU 小時，對 108,717 篇近年來的高質(zhì)量真實論文進(jìn)行了極其精細(xì)的反向拆解，重構(gòu)了從背景知識到科學(xué)假設(shè)的完整推導(dǎo)鏈路，構(gòu)建了包含十萬級樣本的 TOMATO-Star 數(shù)據(jù)套件。

目前，這套十萬級的數(shù)據(jù)集、完整的訓(xùn)練代碼，以及微調(diào)后的系列模型已經(jīng)全部開源！

團(tuán)隊非常期待這項工作能為整個 AI4Science 社區(qū)提供一個新的基座視角。如果大家對這個方向感興趣，或者正在探索 LLM 的復(fù)雜推理機(jī)制，歡迎來 GitHub Repo 體驗和交流！