AI模型是個黑箱，這家公司造了一把能打開它的鑰匙

（來源：麻省理工科技評論）

舊金山初創公司 Goodfire 剛剛發布了一款叫 Silico 的新工具，它能讓研究人員和工程師在訓練 AI 模型的過程中，觀察模型的內部結構并調整參數——也就是那些決定模型行為的設置。這可能讓開發者對 AI 的構建方式擁有前所未有的精細控制力。

Goodfire 稱 Silico 是同類產品中第一款開箱即用的工具，覆蓋從構建數據集到訓練模型的整個流程。這家公司的使命說起來很簡單：讓構建 AI 模型從“煉金術”變成“科學”。ChatGPT 和 Gemini 這樣的大語言模型確實能做出很厲害的事情，但沒有人確切知道它們為什么能做到，這讓修復缺陷或阻止不良行為變得很困難。

“我們看到一個越來越大的鴻溝：一邊是人們對模型的理解程度，另一邊是模型被部署的廣度，”Goodfire 的 CEO 埃里克·何（Eric Ho）在 Silico 發布前獨家告訴《麻省理工科技評論》。“我覺得現在頭部實驗室的主流想法就是：規模更大、算力更多、數據更多，然后就能實現 AGI，別的都不重要。我們想說的是：有更好的路。”

Goodfire 做的事情屬于一個叫“機制可解釋性”（mechanistic interpretability）的技術方向，同行包括 Anthropic、OpenAI 和 Google DeepMind。簡單說就是給 AI 模型做“腦部掃描”：映射出神經元以及神經元之間的通路，搞清楚模型做決定時內部到底發生了什么。《麻省理工科技評論》將機械可解釋性評為 2026 年十大突破技術之一。

Goodfire 想用這種方法做的，不只是事后審計已經訓練好的模型，而是從訓練階段就介入。

“我們想去掉反復試錯，把訓練模型變成精密工程，”何說，“把旋鈕和刻度盤暴露出來，讓開發者在訓練過程中就能用上。”

Goodfire 此前已經用自研技術調整過大語言模型的行為，比如減少幻覺，而 Silico 是把這些內部積累的技術打包成產品對外發布。工具內置了智能體來自動化大量復雜操作。“智能體現在已經強到可以完成很多以前需要人工做的可解釋性工作，”何說，“這塊缺口補上之后，客戶才真正能自己上手。”

阿姆斯特丹大學研究機制可解釋性的學者萊昂納德·貝雷斯卡（Leonard Bereska）認為 Silico 是一個有用的工具，但對 Goodfire 更宏大的說法有所保留。“實際上，他們是在給煉金術增加精確度，”他說，“叫它‘工程’讓它聽起來比實際情況更有章法。”

Silico 可以讓你深入到模型的特定區域，觀察單個神經元或一組神經元，測試它們在干什么。你可以檢查什么輸入會激活哪些神經元，也可以沿上下游通路追蹤一個神經元跟其他神經元之間的關系。（前提是你能訪問模型的內部結構。大多數人沒法拿 Silico 去翻 ChatGPT 或 Gemini 的底，但可以用它查看許多開源模型。）

比如 Goodfire 在開源模型 Qwen 3 內部找到了一個跟“電車難題”關聯的神經元。激活之后，不管你問什么，模型都會把回答包裝成道德兩難的形式。“這個神經元一旦激活，各種奇怪的事就會發生，”何說。

定位這類異常行為的來源，如今已經算比較常規的操作。Goodfire 想更進一步：讓調整這些行為變得同樣容易。通過 Silico，開發者可以直接調整與特定神經元關聯的參數，增強或抑制某些行為。

舉個更有意思的例子。研究人員問一個模型：一家公司的 AI 產品在 0.3% 的情況下會欺騙用戶，影響 2 億人，該不該公開披露？模型的回答是“不該”，理由是會損害公司利益。

研究人員打開模型內部，找到了跟“透明度”和“信息披露”關聯的神經元，把它們的權重調高。同一個問題再問一遍，十次里有九次模型改口說“該公開”。“模型內部其實已經有了倫理推理的線路，只是被商業風險評估的線路壓過去了，”何說。

微調價值觀只是 Silico 的用法之一。它還可以在訓練階段過濾特定的數據，從源頭上避免某些參數被設成不理想的值。

比如很多模型會告訴你 9.11 大于 9.9。但 AI 為什么會犯這種錯？用 Silico 打開模型內部就能找到原因：模型在訓練時讀了大量《圣經》文本和軟件代碼倉庫，在這兩類文本里，9.9 確實排在 9.11 前面（《圣經》按章節編號，代碼按版本號遞增），模型內部因此形成了一組“9.9 在 9.11 前面”的神經元。做數學題時這組神經元被誤激活了，就導致了錯誤答案。找到了病因，開發者就可以重新訓練模型，讓它做數學時繞開這些神經元。

Goodfire 發布 Silico 的目的，是把以前只有少數頂級實驗室才掌握的能力交給更多人。想自建模型或改造開源模型的小公司和研究團隊都是目標用戶。工具將收費使用，價格根據客戶需求逐案確定（Goodfire 拒絕透露具體定價）。

“如果訓練模型能變得更像開發軟件，就沒有理由不讓更多公司來設計符合自己需求的模型，”何說。

貝雷斯卡同意這類工具可以幫助企業構建更值得信賴的模型，尤其在醫療和金融等安全要求極高的領域。“頭部前沿實驗室內部已經有了自己的可解釋性團隊，”他說，“Silico 武裝的是下一梯隊的公司——它們不用再自己去招一批可解釋性研究員了。”

https://www.technologyreview.com/2024/10/28/1106251/this-ai-system-makes-human-tutors-better-at-teaching-children-math/