Anthropic用99道題測出Claude的生物信息學水平

「Claude在可解問題上已與人類專家持平?！笰nthropic這份新基準測試的結論是，但數據背后藏著更復雜的真相——30%的超高難度成功率，與五輪測試中要么全對要么全錯的極端波動，指向同一個問題：AI的"專家級"表現，和人類理解的"專家級"，可能根本不是一回事。

為什么生物信息學成了AI評測的硬骨頭

測AI懂不懂生物，比想象中難得多。

Anthropic在論文里吐槽了一圈現有基準的盲區。知識類測試比如MMLU-Pro或GPQA，考的是死記硬背，不是實戰技能。用真實數據集跑的BixBench，讓模型跟個別科學家的結論比——但科學家的結論本身就帶主觀性，方法選得不一樣，答案可能完全不同。至于SciGym那種模擬實驗室環境，答案倒是明確，卻過濾掉了真實生物數據里那股"混亂勁兒"。

真實研究是什么畫風？數據 noisy（嘈雜）、信號微弱、工具鏈復雜，還得在NCBI、Ensembl這些數據庫里翻來翻去?，F有基準要么太干凈，要么太主觀，要么太理論。

這是Anthropic做BioMysteryBench的出發點。

99道題的設計心機：讓答案" objectively verifiable "

這套題庫的核心設計很巧妙——答案不來自科學解釋，而來自數據本身的可控屬性，或獨立驗證過的元數據。

每道題的作者必須提交一個驗證筆記本，證明信號確實存在于數據中。這種做法繞開了"科學家怎么說"的主觀陷阱，也讓出題范圍擴展到人類可能解不了的領域。

具體任務長什么樣？比如給你一份單細胞RNA測序數據，問這是哪個器官的組織；或者給你實驗樣本，讓你推斷哪個基因被敲除了。Claude拿到的是一個容器環境，內置生物信息學工具，能訪問NCBI、Ensembl等數據庫，分析方法完全自主。只判最終答案，不管過程。

99道題橫跨多個生物信息學子領域，由領域專家撰寫，基于真實且嘈雜的數據集。

時間線：從76道"人類可解"到23道"全員陣亡"

Anthropic把題目分成兩批測試。

第一批76道，定義為"人類可解"——至少有一位專家（最多五位參與）找到了正確答案。第二批23道，五位專家全軍覆沒。還有4道題因為表述缺陷被剔除。

對于那23道難題，Anthropic自己也不確定：是本質上無解，還是只是極難？換一批專家，或者更多專家，能不能解出來？這仍是開放問題。

結果層面，Claude在可解問題上與人類專家持平——這是Anthropic的 headline 結論。但在那23道難題上，Claude Mythos Preview 達到了30%的成功率。

表面看，AI超越了人類專家。但一致性分析潑了冷水。

五輪測試暴露的"運氣成分"

Anthropic讓Claude Mythos Preview每道題跑五遍。結果呈現兩極分化：

可解問題上，Claude幾乎要么五輪全對，要么五輪全錯。難題上，成功通常只出現在一兩輪里。

這說明什么？模型不是靠可復現的策略解題，而是偶爾"撞"到一條幸運路徑。30%的成功率背后，不是穩定的專家級能力，是概率性的摸索。

Anthropic分析了Claude區別于人類測試者的兩個策略：一是調用廣博的知識庫，二是將信息與正在進行的分析直接結合。但當環境復雜度超過某個閾值，這種"邊查邊做"的模式就變成了抽獎。

這對AI產品化意味著什么

從產品經理視角看，BioMysteryBench的設計本身比結果更值得琢磨。

它解決了一個長期痛點：如何驗證AI在開放域、工具依賴型任務上的真實能力。不是考知識，不是比速度，是給你臟數據、真工具、模糊目標，看你能不能端到端地交付。

這種評測思路對科研自動化、臨床決策支持、藥物研發等場景有直接參考價值。如果AI要在這些領域從"輔助工具"升級為"獨立代理"，BioMysteryBench式的壓力測試是必經之路。

但五輪測試的波動數據也敲了警鐘。產品化時，"30%成功率"和"五輪中偶爾成功一次"是截然不同的用戶體驗。前者可能支撐一個"專家級第二意見"產品，后者只能做"探索性靈感生成器"。

Anthropic沒有回避這個 nuance，反而在論文里主動披露。這種透明對行業是好事——它劃清了"演示級能力"和"生產級可靠性"的邊界。

下一步該關注什么

23道難題的"本質無解還是極難解"之問，短期內不會有答案。但幾個方向已經清晰：

第一，一致性。如果五輪測試的方差能壓下來，30%可以變成可預期的30%，產品形態會完全不同。

第二，工具鏈。Claude目前被允許自由調用生物信息學工具和數據庫，但工具本身的可靠性、API穩定性、數據版本漂移，都是真實部署時的隱藏成本。

第三，人機協作界面。既然AI和人類在難題上各有盲區，如何設計工作流讓兩者互補，比追求"全面超越人類"更務實。

Anthropic把驗證筆記本作為題目準入門檻的做法，也值得其他垂直領域借鑒。它建立了一種可審計的、社區可復現的質量控制機制，比"我們相信專家"更經得起推敲。

Claude在生物信息學上的這步棋，表面是秀肌肉，實際是投石問路。99道題測出的不只是模型能力，更是一套評測方法論的可行性。對于盯著科研自動化賽道的創業者和產品經理，這份基準的含金量在于：它證明了端到端、真實數據、客觀驗證的評測是可以落地的，也暴露了當前技術棧在可靠性上的真實水位。