AI 隱藏“思維鏈”，是怕被人類監(jiān)督污染！OpenAI首席科學(xué)家最新訪談：駕馭工程會(huì)越來(lái)越通用

從接管真實(shí)代碼，到重塑社會(huì)財(cái)富分配。

編譯 | 王啟隆

出品丨AI 科技大本營(yíng)（ID：rgznai100）

OpenAI 這些年最不缺的，就是被放大的人。

Sam Altman 當(dāng)然不用說(shuō)，幾乎已經(jīng)成了這家公司對(duì)外敘事的一張臉，而上周末的兩場(chǎng)遇襲事件，更是讓他備受煎熬。離開(kāi)了好久的 Ilya Sutskever，在很長(zhǎng)一段時(shí)間里，則更像 OpenAI 技術(shù)理想主義的化身。哪怕在 OpenAI 早期就分道揚(yáng)鑣的馬斯克和 Dario Amodei，也早就是這輪 AI 競(jìng)賽里繞不過(guò)去的人物。

可真正接替 Ilya、坐上 OpenAI 首席科學(xué)家位置的Jakub Pachocki，反而一直沒(méi)怎么被真正看見(jiàn)。

這其實(shí)有點(diǎn)反常。一家公司走到今天這個(gè)位置，首席科學(xué)家按理說(shuō)不該是一個(gè)模糊角色。尤其是在 OpenAI 這樣一家一舉一動(dòng)都被放大的公司里，誰(shuí)在主導(dǎo)研究、誰(shuí)在判斷模型能力往哪走、誰(shuí)在決定哪些方向值得繼續(xù)壓重注，理論上都應(yīng)該是外界最想知道的事。可過(guò)去很長(zhǎng)一段時(shí)間里，Jakub 更像一個(gè)在背景里工作的人。你知道這個(gè)名字重要，但很少真的聽(tīng)他把一整套判斷完整講出來(lái)。

最近，他接受 Jacob Efron 播客的《Unsupervised Learning》訪談，兩人從編程智能體的爆發(fā)聊起，一路談到數(shù)學(xué)和物理 benchmark 為什么曾經(jīng)是 OpenAI 的北極星、強(qiáng)化學(xué)習(xí)怎么從 code 和 math 走向更長(zhǎng)時(shí)程的開(kāi)放任務(wù)、模型開(kāi)始反過(guò)來(lái)加速模型研究之后，研究組織該怎么管，最后又落到一個(gè)比時(shí)間表更硬的問(wèn)題上：當(dāng)越來(lái)越多智力勞動(dòng)可以被自動(dòng)化，權(quán)力會(huì)不會(huì)以前所未有的速度集中到極少數(shù)人手里。

當(dāng) Codex 已經(jīng)在 OpenAI 內(nèi)部承擔(dān)了大多數(shù)真實(shí)編碼工作，當(dāng)模型開(kāi)始成為研究流程的一部分，當(dāng)一個(gè)高度自動(dòng)化的研究組織、甚至高度自動(dòng)化的公司開(kāi)始顯出輪廓，問(wèn)題就不再只是，AGI 還有多遠(yuǎn)，或者下一個(gè) benchmark 還能不能漲。問(wèn)題會(huì)慢慢變成，誰(shuí)在控制這些系統(tǒng)，組織會(huì)被改寫(xiě)成什么樣，財(cái)富和權(quán)力會(huì)不會(huì)以前所未有的速度集中到極少數(shù)人手里，而這些事，我們到底有沒(méi)有準(zhǔn)備好。

要點(diǎn)速覽

• 編程智能體的爆發(fā)已經(jīng)把研究組織帶進(jìn)了新階段。Codex 在 OpenAI 內(nèi)部已經(jīng)承擔(dān)了大多數(shù)真實(shí)編碼工作，這不是單一產(chǎn)品成功，而是“研究實(shí)習(xí)生級(jí)能力”正在逼近的直接信號(hào)。

• 數(shù)學(xué)、物理 benchmark 的這些題不是終點(diǎn)，而是過(guò)去幾年 OpenAI 用來(lái)追蹤“模型到底有沒(méi)有變聰明”的北極星。但現(xiàn)在，隨著模型開(kāi)始碰到 IMO 級(jí)問(wèn)題、進(jìn)入研究數(shù)學(xué)，OpenAI 也在把北極星改成“能不能在真實(shí)世界真正有用”。

• 在很長(zhǎng)一段時(shí)間里，harness（駕馭工程）的實(shí)現(xiàn)本身都不該成為真正的限制。我們會(huì)得到越來(lái)越通用的 harness，能被用到很多別的領(lǐng)域。

• 在強(qiáng)化學(xué)習(xí)的問(wèn)題上，不是 RL 在 code 和 math 上有多強(qiáng)，而是下一站其實(shí)是“長(zhǎng)時(shí)程 + 開(kāi)放任務(wù)”。

• OpenAI 的方向不是讓每個(gè)行業(yè)都重造一套系統(tǒng)，而是讓模型越來(lái)越能在你已經(jīng)使用的界面、工具和上下文里工作，最終“AI 默認(rèn)應(yīng)該來(lái)適應(yīng)人，而不是要求人去適應(yīng) AI 的限制”。

• 更長(zhǎng)期、更難的問(wèn)題仍然是泛化：模型到了陌生情境、能力大幅上升之后，最終會(huì)回落到什么價(jià)值觀上。

• 高度自動(dòng)化的研究實(shí)驗(yàn)室和公司，可能被極少數(shù)人控制，而這種權(quán)力集中本身就是社會(huì)問(wèn)題，而且目前沒(méi)有顯而易見(jiàn)的解決方案。

OpenAI 的“北極星”為何從做數(shù)學(xué)題轉(zhuǎn)向真實(shí)世界？

主持人：幾個(gè)月前，你和 OpenAI 團(tuán)隊(duì)提到，希望今年 9 月前做到“研究實(shí)習(xí)生級(jí)能力”，再往后到 2028 年 3 月，走向更完整的自動(dòng)化 AI 研究員。四個(gè)月過(guò)去了，你現(xiàn)在怎么看這些時(shí)間表？

Jakub Pachocki：過(guò)去幾個(gè)月里最明顯的變化，就是 coding tools 的爆發(fā)式增長(zhǎng)。說(shuō)它是增長(zhǎng)都算輕描淡寫(xiě)。OpenAI 現(xiàn)在已經(jīng)到了一個(gè)階段：我們把 Codex 用在了大多數(shù)真實(shí)編碼工作上。所以我覺(jué)得，對(duì)大多數(shù)人來(lái)說(shuō)，編程這件事本身已經(jīng)變了。這當(dāng)然會(huì)讓我覺(jué)得，有些東西確實(shí)還在軌道上。

另一個(gè)讓我很在意的更新，是模型在數(shù)學(xué)研究上的進(jìn)步，以及我們?cè)谖锢淼阮I(lǐng)域看到的結(jié)果。模型現(xiàn)在展現(xiàn)出來(lái)的這種能力——提供洞見(jiàn)、調(diào)用基礎(chǔ)設(shè)施、在測(cè)試時(shí)動(dòng)用更多算力，而這正是 Codex 現(xiàn)在已經(jīng)在做的——再加上我預(yù)計(jì)未來(lái)幾個(gè)月里通用智能還會(huì)繼續(xù)提升，這一切都讓我們?nèi)匀环浅Ｗ⒂谶@條路線。

主持人：那你們會(huì)怎么判斷，自己真的到了“研究實(shí)習(xí)生級(jí)能力”這一步？

Jakub Pachocki：在我看來(lái)，“研究實(shí)習(xí)生”和“完全自動(dòng)化的研究員”之間，最關(guān)鍵的區(qū)別，是系統(tǒng)能自主工作的時(shí)間跨度有多長(zhǎng)，以及你需要把任務(wù)交代得多具體。

我并不覺(jué)得今年我們就會(huì)有這樣的系統(tǒng)：你只要對(duì)它說(shuō)，“去提升模型能力”“去解決對(duì)齊問(wèn)題”，它就能自己全包下來(lái)。今年還不會(huì)。但如果是更具體的技術(shù)想法，比如“我有一個(gè)提升模型的方法”“我有一種新的評(píng)測(cè)做法”，我覺(jué)得我們需要的那些部件，大體上已經(jīng)都在了，更多只是把它們拼起來(lái)的問(wèn)題。

主持人：Karpathy 之前發(fā)過(guò)一段很火的演示，用這些模型去改進(jìn)他自己的小模型。雖然那遠(yuǎn)沒(méi)有你們這里復(fù)雜，但那種方向是不是大致對(duì)路？

Jakub Pachocki：我覺(jué)得是同一個(gè)方向。我預(yù)期它會(huì)像 Codex 現(xiàn)在的狀態(tài)那樣，沿著一條連續(xù)演化的線往前走：更高一點(diǎn)自主性、能連續(xù)跑更長(zhǎng)時(shí)間。我們會(huì)看到越來(lái)越多這樣的應(yīng)用。總的來(lái)說(shuō)，模型會(huì)變得更自主，也會(huì)在更多事情上動(dòng)用更高的算力。

主持人：你提到數(shù)學(xué)和物理。對(duì)很多人來(lái)說(shuō)，coding progress 很容易理解，因?yàn)樗苯幽軒椭?AI research。但數(shù)學(xué)和物理上的進(jìn)展，到底是怎么和這件事連起來(lái)的？

Jakub Pachocki：數(shù)學(xué) benchmark 對(duì)我們最大的價(jià)值，是它充當(dāng)了一種通用 benchmark，也是一顆北極星，幫助我們判斷該怎么繼續(xù)提升這項(xiàng)技術(shù)。數(shù)學(xué)高度可測(cè)，比起判斷一段軟件到底寫(xiě)得好不好，判斷一道數(shù)學(xué)題有沒(méi)有做出來(lái)，容易得多。而且數(shù)學(xué)可以變得非常難：它既有清晰的對(duì)錯(cuò)標(biāo)準(zhǔn)，又能無(wú)限拉高難度。

直到不久之前，我對(duì)這件事的理解還是：我們的模型能做簡(jiǎn)單數(shù)學(xué)題，但做不了 IMO 級(jí)題目。這說(shuō)明模型智能里存在一個(gè)非常清晰、非常容易測(cè)量的缺口，而這恰好給我們提供了方向。對(duì) reasoning models 來(lái)說(shuō)，這一直是我們的北極星。

但現(xiàn)在，這件事正在快速變化。我們已經(jīng)碰到了之前一直努力想達(dá)到的幾個(gè)里程碑，比如解 IMO 問(wèn)題，甚至開(kāi)始試探研究級(jí)數(shù)學(xué)。從這個(gè)階段往后看，繼續(xù)用這些 benchmark 測(cè)進(jìn)步仍然有意義，而且從數(shù)學(xué)推理能力到 AI 研究能力之間，的確存在遷移。我們很多最好的研究員，本來(lái)就是數(shù)學(xué)或其他理論學(xué)科出身。

但同樣很明確的是，我們正在改變自己對(duì)北極星的理解。我們?cè)絹?lái)越關(guān)心新一代模型在真實(shí)世界里到底有沒(méi)有用，尤其是對(duì) AI research 有沒(méi)有用，對(duì)其他有經(jīng)濟(jì)價(jià)值的任務(wù)有沒(méi)有用，對(duì)別的科學(xué)領(lǐng)域，尤其是更偏應(yīng)用的科學(xué)，有沒(méi)有用。之所以發(fā)生這個(gè)轉(zhuǎn)變，是因?yàn)槲覀冇X(jué)得模型已經(jīng)足夠強(qiáng)了——不是說(shuō)它在所有方面都比人聰明，但已經(jīng)強(qiáng)到足以實(shí)質(zhì)性改變經(jīng)濟(jì)、改變做事方式。所以我們對(duì)這件事的緊迫感也在迅速上升。

未來(lái) AI 的默認(rèn)底色，是主動(dòng)“長(zhǎng)在”你的工作流與界面里

主持人：早期選擇數(shù)學(xué)這種領(lǐng)域，幾乎是最理想的起點(diǎn)：足夠難，但又容易驗(yàn)證。code 也有類似屬性。但很多真正有價(jià)值的任務(wù)，比如醫(yī)學(xué)、法律、金融，并沒(méi)有那么容易驗(yàn)證。大家現(xiàn)在都在想，RL 在這些領(lǐng)域還能不能復(fù)制在 code 和 math 上那種驚人的進(jìn)步。

Jakub Pachocki：我當(dāng)然覺(jué)得可以。我們經(jīng)常會(huì)從一個(gè)對(duì)偶關(guān)系去理解這件事：對(duì)于更一般、更難評(píng)估的任務(wù)，它們其實(shí)和“更長(zhǎng)時(shí)程的任務(wù)”共享了很多共同點(diǎn)。你想，就算是一個(gè)定義得很清楚的數(shù)學(xué)題或 coding 問(wèn)題，如果它需要你干一年，那即便一年后的成功標(biāo)準(zhǔn)很清楚，第一天到底該干什么，仍然是一個(gè)非常開(kāi)放的問(wèn)題。

所以我覺(jué)得，這兩種難度其實(shí)是在重合的，而且非常清楚地構(gòu)成了系統(tǒng)發(fā)展的下一條前沿。我們已經(jīng)看到不少令人鼓舞的信號(hào)：一方面，我們?cè)谶@些更一般的領(lǐng)域上擴(kuò)展 RL 的能力是有前景的；另一方面，我們?cè)谝恍┫嚓P(guān)努力上也看到了很大的潛力。

主持人：在這些領(lǐng)域里，一個(gè)最大的難點(diǎn)就是你甚至不知道“成功”到底是什么。短任務(wù)就已經(jīng)更難了，長(zhǎng)任務(wù)只會(huì)更難。你們會(huì)怎么理解這個(gè)研究挑戰(zhàn)？

Jakub Pachocki：我總會(huì)回到一個(gè)現(xiàn)實(shí)問(wèn)題：怎么讓模型連續(xù)工作很久，以及怎么教會(huì)它判斷“局部進(jìn)展”。

哪怕不說(shuō) RL，光看更長(zhǎng)時(shí)程能力的來(lái)源，也能看到一些線索。隨著模型在純監(jiān)督式預(yù)訓(xùn)練下變得更穩(wěn)定，它會(huì)逐漸獲得一種感覺(jué)：什么樣的中間產(chǎn)物算是好的。所以即便我們沒(méi)有在 RL 上取得特別巨大的擴(kuò)展，我也覺(jué)得這些工作時(shí)長(zhǎng)本身會(huì)繼續(xù)拉長(zhǎng)。真正的研究難點(diǎn)，是怎么把這些從 RL 來(lái)的新想法，遷移到更一般的領(lǐng)域中去。但我對(duì)這件事是比較樂(lè)觀的。

主持人：聽(tīng)起來(lái)，你有一個(gè)很重要的心智模型：模型本身也要能以某種可靠節(jié)奏檢查自己的進(jìn)展。

Jakub Pachocki：是的。我們當(dāng)然還在大規(guī)模買算力，因?yàn)槲覀內(nèi)匀幌嘈胚@條路，而且在某種程度上比過(guò)去更相信。我們也看到了新技術(shù)、新的擴(kuò)展方式。但我們畢竟已經(jīng)不再只是造一個(gè)懸在天上的“大腦”，而是想把它真正接進(jìn)現(xiàn)實(shí)世界。

如果你真想讓它去做醫(yī)學(xué)研究，想讓它未來(lái)幫助治癌癥，它就必須以某種有意義的方式認(rèn)識(shí)現(xiàn)實(shí)世界，甚至自己設(shè)計(jì)實(shí)驗(yàn)、從實(shí)驗(yàn)結(jié)果里學(xué)習(xí)。要做到這一點(diǎn)，你就必須把它接上去。那確實(shí)會(huì)把問(wèn)題帶向你剛才說(shuō)的方向，但這不意味著我們過(guò)去一直在擴(kuò)展的那些簡(jiǎn)單算法就失效了。

主持人：我最近跟很多公司聊，大家都會(huì)問(wèn)同一個(gè)問(wèn)題：要不要自己做 RL？拿一個(gè)開(kāi)源模型，結(jié)合自己任務(wù)上的數(shù)據(jù)和 evals，值不值得自己動(dòng)手？

Jakub Pachocki：強(qiáng)化學(xué)習(xí)當(dāng)然可能是一種非常高效的方式，讓模型在某個(gè)任務(wù)上大幅提升。但我們還知道另一種更高效的學(xué)習(xí)方式，那就是 in-context learning。某種意義上，這甚至可能是人類教模型最根本的方式：你給它例子、給它指令，告訴它你想要什么。

我預(yù)計(jì)這種學(xué)習(xí)方式以后會(huì)越來(lái)越強(qiáng)。所以最關(guān)鍵的，還是模型能不能適應(yīng)你的上下文，適應(yīng)你關(guān)心的任務(wù)。我覺(jué)得這件事會(huì)非常重要。至于直接復(fù)制今天這套 RL pipeline，是不是正確路徑，我并不確定。但這確實(shí)是我們一直在想的問(wèn)題。

主持人：換句話說(shuō)，公司還是得自己弄清楚哪些 eval 重要、收集數(shù)據(jù)、整理例子，但未來(lái)也許并不需要自己訓(xùn)模型，只要把這些內(nèi)容高質(zhì)量地喂給模型上下文就夠了。

Jakub Pachocki：我覺(jué)得這很有可能。

主持人：那 harness（駕馭工程）呢？很多人也在想，像法律、金融、醫(yī)療這些領(lǐng)域，要不要自己重造一套調(diào)用框架。

Jakub Pachocki：在很長(zhǎng)一段時(shí)間里，harness 的實(shí)現(xiàn)本身都不該成為真正的限制。我們會(huì)得到越來(lái)越通用的 harness，能被用到很多別的領(lǐng)域。實(shí)際上，如果你愿意試試，Codex 拿去做 coding 之外的事情，也已經(jīng)挺不錯(cuò)了。

主持人：所以長(zhǎng)期看，harness 會(huì)越來(lái)越通用，越來(lái)越像人類面對(duì)工具的方式？

Jakub Pachocki：我覺(jué)得還應(yīng)該再往前想一步：我們到底希望人類最終通過(guò)什么界面跟模型交互？

模型當(dāng)然可以擁有自己的 UI affordance，也能自己搭界面，做很多在人看來(lái)很費(fèi)時(shí)間的事。但我同樣覺(jué)得，有非常大的空間，是讓模型去接入我們已經(jīng)在用的那些界面。比如，我當(dāng)然希望 AI 能在 Slack 里工作，能接進(jìn)我們的上下文，從這些上下文里學(xué)習(xí)，去調(diào)用我們已經(jīng)在使用的東西。

所以這里會(huì)有一個(gè)中間地帶。但長(zhǎng)期來(lái)看，默認(rèn)應(yīng)該是 AI 來(lái)適應(yīng)你所在的位置；如果它沒(méi)有這么做，那應(yīng)該是因?yàn)樗喑隽艘恍┬履芰Γ皇且驗(yàn)樗旧碛芯窒蕖?/p>

主持人：很多人會(huì)抱怨，模型做不了更長(zhǎng)的任務(wù)、做不了更復(fù)雜的工作。但很多時(shí)候，問(wèn)題是不是只是因?yàn)槟Ｐ蜎](méi)接上足夠的上下文、文件和系統(tǒng)？

Jakub Pachocki：我覺(jué)得很大程度上確實(shí)是這樣。很多人以為那是“能力缺口”，其實(shí)可能只是模型根本沒(méi)有被接入到做事需要的上下文、文件、工具和環(huán)境里。

回頭看我們對(duì) RL 路線的討論，早期我很明確地把“先教會(huì)模型用自己的 token 做推理”看作第一優(yōu)先級(jí)。之后當(dāng)然還得讓它學(xué)會(huì)調(diào)用工具、學(xué)會(huì)看、學(xué)會(huì)在某個(gè)階段使用物理身體。但現(xiàn)在我們已經(jīng)明顯進(jìn)入另一個(gè)階段了：模型真的需要和環(huán)境交互，需要看見(jiàn)環(huán)境，而再往后，不久之后，我們也會(huì)開(kāi)始真正關(guān)心機(jī)器人。

OpenAI 是如何重注算力與重構(gòu)組織的？

主持人：你現(xiàn)在每天肯定都能在研究端看到很多瘋狂的東西。對(duì)你來(lái)說(shuō)，什么樣的里程碑現(xiàn)在還是有沖擊力的？

Jakub Pachocki：現(xiàn)在最關(guān)鍵的就是 research 本身。模型到底能不能發(fā)現(xiàn)新東西？能不能真的執(zhí)行一個(gè)更長(zhǎng)時(shí)程的研究問(wèn)題？

主持人：就像某天你看到一個(gè)結(jié)果，會(huì)想：如果這是我團(tuán)隊(duì)里某個(gè)研究員提出來(lái)的點(diǎn)子，我也會(huì)很在意。

Jakub Pachocki：實(shí)際上，就連 GPT-4 也已經(jīng)給過(guò)我們一些很小、但我認(rèn)為挺有影響力的想法，我們現(xiàn)在內(nèi)部就在使用。只不過(guò)，它離我預(yù)期中的那個(gè)階段還差得遠(yuǎn)。

主持人：模型顯然會(huì)繼續(xù)變強(qiáng)，也會(huì)越來(lái)越深入地參與研究。你自己就在第一線和這些模型協(xié)作。你覺(jué)得，一個(gè)研究組織在這種變化下會(huì)變成什么樣？

Jakub Pachocki：我覺(jué)得我們已經(jīng)到了一個(gè)轉(zhuǎn)折點(diǎn)：短期內(nèi)模型本身的質(zhì)量，很快就會(huì)非常直接地決定研究進(jìn)展的速度，因?yàn)槟Ｐ蛯Ⅱ?qū)動(dòng)其中很大一部分工作。

這件事要求我們重新改寫(xiě)一些關(guān)于“怎么管理研究組織”的直覺(jué)。正常情況下，你不會(huì)過(guò)度關(guān)注眼前模型質(zhì)量，而是更看重長(zhǎng)期。但現(xiàn)在不一樣。我們當(dāng)然還有很多非常令人興奮的東西在排隊(duì)推進(jìn)，可我也確實(shí)對(duì)執(zhí)行速度有很強(qiáng)的緊迫感，因?yàn)槲覀冃枰堰@些模型智能上的進(jìn)展真正轉(zhuǎn)化成 AI research，尤其是 AI alignment research 的加速度。

主持人：這很有意思。過(guò)去的研究組織，更像是給研究員時(shí)間和空間，讓他們追那些一兩個(gè)月看不到結(jié)果、但長(zhǎng)期更關(guān)鍵的方向。現(xiàn)在則像是，你必須同時(shí)盯住眼前模型質(zhì)量，因?yàn)樗鼤?huì)直接改變一切。

Jakub Pachocki：對(duì)，我們最近確實(shí)花了很多時(shí)間討論這個(gè)問(wèn)題。

主持人：你們現(xiàn)在顯然有大量算力。預(yù)訓(xùn)練有 scaling，RL 也有 scaling，同時(shí)還會(huì)有很多和這兩條主線無(wú)關(guān)、但也許很有意思的新實(shí)驗(yàn)。你們到底怎么分算力？

Jakub Pachocki：這會(huì)非常復(fù)雜，因?yàn)檎娴挠刑嗍虑橐觥Ｎ覀冏罱_(kāi)始堅(jiān)持的一條紀(jì)律，是明確地把一大塊算力預(yù)算留給那些最 scalable（可擴(kuò)展）的方法，留給那些我們認(rèn)為最能推動(dòng)通用模型智能的東西。

即便從某些時(shí)刻看，這也不一定是最有效率的分配方式。因?yàn)槿绻惆堰@么多算力都?jí)旱揭粋€(gè)實(shí)驗(yàn)、或者一組實(shí)驗(yàn)上，外面總會(huì)有很多地方，只要分一點(diǎn)算力過(guò)去，就能加快很多事。但問(wèn)題是，如果你不這么做，很容易把算力全部切碎，最后反而沒(méi)有認(rèn)真做成那些你自己最相信的重要工作。

當(dāng)然，你仍然要看經(jīng)驗(yàn)數(shù)據(jù)，要保證 eval 體系是完整的，實(shí)驗(yàn) rigor 是夠的。然后你也要給自己一點(diǎn)“正則化”：我們到底理解不理解這個(gè)方法？它真的有擴(kuò)展性嗎？它能不能變成未來(lái)可持續(xù)構(gòu)建的東西？還是只是一次性的？這些都會(huì)決定優(yōu)先級(jí)。

主持人：去年幾乎可以說(shuō)是 coding 領(lǐng)域瘋狂爬坡的一年。Codex 當(dāng)然也很成功，但 Anthropic 某種程度上在這個(gè)市場(chǎng)更早跑出來(lái)，Claude Code 一度是很強(qiáng)勢(shì)的產(chǎn)品。你怎么看 Anthropic 在這件事上的成功？

Jakub Pachocki：我覺(jué)得這歸根到底是，你的產(chǎn)品方向有多聚焦在你認(rèn)為下一階段技術(shù)最重要的應(yīng)用上。

如果回頭看 OpenAI 的產(chǎn)品優(yōu)先級(jí)，我們當(dāng)然也一直在做 coding 產(chǎn)品，但在很長(zhǎng)一段時(shí)間里，它并不是最核心優(yōu)先級(jí)。更有意思的是，這種產(chǎn)品優(yōu)先級(jí)，并不完全反映 OpenAI 研究組織內(nèi)部的優(yōu)先級(jí)。

因?yàn)閺?ChatGPT 在 2023 年爆發(fā)之后，我們確實(shí)獲得了一個(gè)和我們長(zhǎng)期愿景一致、也非常成功的產(chǎn)品，但它并不能代表這項(xiàng)技術(shù)全部能做的事情。所以研究組織的大部分工作，其實(shí)一直都在押更后面的那個(gè)未來(lái)方向。我覺(jué)得，研究?jī)?yōu)先級(jí)和短期產(chǎn)品策略之間的脫鉤，是越來(lái)越明顯的。

我對(duì)我們?cè)谘芯慷恕⒃谀Ｐ椭悄芏苏跇?gòu)建的東西非常有信心。而現(xiàn)在產(chǎn)品側(cè)的重新聚焦，本質(zhì)上是在回答一個(gè)問(wèn)題：怎么把它們真正部署出去，因?yàn)槲覀冊(cè)絹?lái)越相信，這些東西現(xiàn)在就已經(jīng)是最重要的了。

主持人：除了這些內(nèi)部節(jié)奏，現(xiàn)在回頭看 OpenAI 這些年的變化，你會(huì)怎么概括？

Jakub Pachocki：OpenAI 其實(shí)經(jīng)歷了幾個(gè)階段。

我 2017 年初加入時(shí)，它更像一個(gè)很學(xué)院派的實(shí)驗(yàn)室，追很多不同想法，實(shí)際操作里也沒(méi)有那么“scaling-pilled”（俚語(yǔ)，意思是“被 scaling 洗腦了”）。第一次大的變化，是 Dota 和 GPT 這些項(xiàng)目把公司帶進(jìn)了另一個(gè)階段：我們得買大機(jī)器、得擴(kuò)展、得發(fā)展 scaling 的科學(xué)，也得發(fā)展支撐 scaling 的基礎(chǔ)設(shè)施。那之后，OpenAI 進(jìn)入了“我們真的在 scale”這個(gè)階段。

再往后，是 ChatGPT 這件大事。我原本以為，最先大規(guī)模起飛的會(huì)更像視頻那類生成式應(yīng)用，文本模型反而會(huì)是要在長(zhǎng)期研究里不斷取舍的一支。結(jié)果恰好相反，文本模型先成為了最先大規(guī)模進(jìn)入現(xiàn)實(shí)的東西。與此同時(shí)，我們也很早就意識(shí)到，一定會(huì)出現(xiàn)這種張力：你已經(jīng)有一個(gè)現(xiàn)在就很流行的產(chǎn)品，但你又相信它離最終要去的地方還遠(yuǎn)，還會(huì)繼續(xù)變化。我覺(jué)得 OpenAI 過(guò)去一段時(shí)間一直處在這個(gè)階段。

而現(xiàn)在，我們開(kāi)始進(jìn)入另一個(gè)階段：我們相信自己正在部署某種接近 AGI、或者至少已經(jīng)具有巨大經(jīng)濟(jì)變革性的系統(tǒng)。

主持人：過(guò)去一年，你自己對(duì) AI 世界最大的想法變化是什么？

Jakub Pachocki：是我越來(lái)越在認(rèn)真處理一個(gè)張力：你最終造出來(lái)的 AI，當(dāng)然是作用于真實(shí)世界的；但在離那個(gè)階段還遠(yuǎn)的時(shí)候，你又只能把它當(dāng)作一個(gè)相對(duì)抽象的訓(xùn)練對(duì)象、算法對(duì)象來(lái)推進(jìn)。現(xiàn)在我的想法越來(lái)越偏向另一邊：我們必須更認(rèn)真地考慮，這項(xiàng)技術(shù)到底怎么進(jìn)入現(xiàn)實(shí)世界、怎么真正被部署。

主持人：所以它會(huì)像 coding models 那樣，繼續(xù)變成日常生活的一部分？

Jakub Pachocki：我覺(jué)得會(huì)。而且不只是能執(zhí)行更長(zhǎng)任務(wù)這么簡(jiǎn)單，它還會(huì)逐漸變成一種可靠、可信賴的助手，甚至某種陪伴者。

OpenAI 為何死活要“雪藏”思維鏈？

主持人：你們?cè)?AI for Science 這邊也做了很多事。比如 First Proofs 挑戰(zhàn)，對(duì)很多人來(lái)說(shuō)可能沒(méi)有 coding 那么直觀。你能不能講講，為什么這類結(jié)果重要？

Jakub Pachocki：我對(duì) First Proofs 挑戰(zhàn)特別興奮。這個(gè) benchmark 的設(shè)定很有意思：幾位受尊敬的數(shù)學(xué)家、理論計(jì)算機(jī)科學(xué)家，拿出一些他們認(rèn)為接近自己日常工作的問(wèn)題，這些題此前沒(méi)有發(fā)表出來(lái)，讓模型去真正試一試。

那次挑戰(zhàn)來(lái)得很突然，幾乎沒(méi)有提前預(yù)告，只給了一周時(shí)間。偏偏那時(shí)候我們手上正好有一個(gè)非常令人興奮的模型訓(xùn)練。于是負(fù)責(zé)訓(xùn)練的 James Lee 就開(kāi)始手工給這個(gè)模型喂 prompt，看看它到底能不能解這些題。然后我們就發(fā)現(xiàn)：它真的在解。

其中有一道題，恰好來(lái)自我讀博士時(shí)所在的領(lǐng)域。你看到模型在一小時(shí)左右想出來(lái)的一些點(diǎn)子，是那種如果讓我自己花一兩周想出來(lái)，我也會(huì)很為之驕傲的點(diǎn)子。那種感覺(jué)非常奇怪。我上一次有這種感覺(jué)，還是看我們的 Dota bot 打出那些很離譜、很有創(chuàng)造性的 Dota 局面的時(shí)候。你會(huì)有一種近乎魔法的感覺(jué)：這種有意思的東西，本來(lái)不該無(wú)限地發(fā)生。

所以，當(dāng)這種事開(kāi)始發(fā)生在數(shù)學(xué)上，發(fā)生在我認(rèn)為更接近現(xiàn)實(shí)研究、更接近真正重要工作的地方時(shí)，我的緊迫感其實(shí)是被進(jìn)一步推高了。

主持人：過(guò)去大家總說(shuō)，模型只是 pattern matcher（模式匹配器），不可能真正給科學(xué)帶來(lái)新想法。現(xiàn)在是不是已經(jīng)開(kāi)始動(dòng)搖這個(gè)說(shuō)法了？

Jakub Pachocki：我覺(jué)得是的。你可以說(shuō)，我們正在按計(jì)劃看到一些很小的推進(jìn)：不是驚天動(dòng)地的大突破，而是一個(gè)小點(diǎn)子、一點(diǎn)真正新東西，或者和科學(xué)家合作出來(lái)的一些更大的成果。

但如果你回頭想，AlphaZero 是 pattern matcher 嗎？AlphaGo 是嗎？我們的 Dota bots 又算不算？它們都在自己的環(huán)境里發(fā)明過(guò)新策略。

當(dāng)然，你永遠(yuǎn)可以說(shuō)，這些系統(tǒng)都有漏洞，AlphaGo 也會(huì)被特定策略擊敗，Dota bots 也一樣。未來(lái)很長(zhǎng)一段時(shí)間里，這些模型當(dāng)然還會(huì)有各種不足。但我認(rèn)為，它們確實(shí)能夠發(fā)現(xiàn)新東西。只是從早年那種封閉小環(huán)境，走到今天這樣更一般的科學(xué)研究，中間需要它們先吞下大量人類知識(shí)、先學(xué)會(huì)所有這些語(yǔ)言與表示而已。底層原則，其實(shí)是相通的。

主持人：有人當(dāng)時(shí)還說(shuō)，你們給出的某些證明像 19 世紀(jì)數(shù)學(xué)一樣，偏 brute force（暴力破解），而不是現(xiàn)代數(shù)學(xué)更優(yōu)雅的路線。這會(huì)讓你擔(dān)心嗎？

Jakub Pachocki：不會(huì)，我覺(jué)得這是預(yù)期之中的事。至少在其中一道題上，我們的模型實(shí)際上給出了一個(gè)比原設(shè)想更短的漂亮證明。但更一般地說(shuō)，模型短時(shí)間內(nèi)能展開(kāi)的推理量，本來(lái)就比人類大得多。所以我并不覺(jué)得那會(huì)是一個(gè)長(zhǎng)期特征。

主持人：如果再往前一步看，AI for Science 最終會(huì)是什么形態(tài)？是一個(gè)有物理世界接口的通用 LLM，還是會(huì)出現(xiàn)很多圍繞特定學(xué)科單獨(dú)構(gòu)建的模型？

Jakub Pachocki：我其實(shí)會(huì)沿用我剛才談 Codex 界面的那個(gè)答案：你應(yīng)該圍繞一種技術(shù)的能力來(lái)建東西，而不是圍繞它的局限來(lái)建。

如果你已經(jīng)有了一個(gè)能大規(guī)模設(shè)計(jì)有趣化學(xué)實(shí)驗(yàn)、生物實(shí)驗(yàn)的系統(tǒng)，那當(dāng)然值得為它搭建新的實(shí)驗(yàn)室能力。但與此同時(shí)，就算模型很會(huì)設(shè)計(jì)實(shí)驗(yàn)，也不代表你必須徹底把人排除出去。我們不應(yīng)該把它想成一個(gè)二選一的問(wèn)題——不是“要么完全自動(dòng)化，要么只是個(gè)帶點(diǎn)工具的花哨系統(tǒng)”。更現(xiàn)實(shí)的圖景可能是，我們會(huì)進(jìn)入一個(gè)人類和 AI 科學(xué)家一起工作、而且后者在設(shè)計(jì)和 ideation 里占比越來(lái)越高的世界。

主持人：那在架構(gòu)層面呢？會(huì)不會(huì)還是要分出很多專用模型，比如蛋白質(zhì)折疊、材料科學(xué)這些方向？

Jakub Pachocki：自然語(yǔ)言推理、我們現(xiàn)在優(yōu)先擴(kuò)展的這類能力，能帶來(lái)非常強(qiáng)的通用性。但也確實(shí)會(huì)有一些任務(wù)，更適合單獨(dú)訓(xùn)練模型。比如如果你的目標(biāo)只是做一個(gè)極強(qiáng)的圍棋模型，我并不覺(jué)得大語(yǔ)言模型是效率最高的路徑，盡管它最終也可能帶來(lái)最好的結(jié)果。蛋白質(zhì)折疊這類問(wèn)題，我覺(jué)得也有類似情況。

主持人：我也想談?wù)?AI safety。你們之前做過(guò)一項(xiàng)很有代表性的工作，就是 chain-of-thought monitoring（思維鏈監(jiān)控）。能不能先講講，那到底是什么？

Jakub Pachocki：這個(gè)想法，是在我們看到這一代推理模型第一次真正跑起來(lái)的時(shí)候形成的。那時(shí)我們?cè)谙耄喝绻@件事成立，未來(lái)一兩年、兩三年，世界會(huì)發(fā)生什么變化？我們還能怎么理解這些模型到底在做什么？

后來(lái)我們意識(shí)到，因?yàn)槲覀儾⒉恢苯颖O(jiān)督模型的推理過(guò)程，情況和普通對(duì)話模型很不一樣。ChatGPT 會(huì)被訓(xùn)練得禮貌、得體，但推理模型的思維鏈并沒(méi)有被直接優(yōu)化成某種固定樣子。它唯一被優(yōu)化的，是怎樣更好地幫助模型產(chǎn)出高質(zhì)量結(jié)果。

所以，我們突然意識(shí)到，這可能正好提供了一個(gè)非常強(qiáng)的解釋窗口。它其實(shí)和機(jī)制可解釋性的邏輯并不遠(yuǎn)：后者也是去觀察那些沒(méi)有被直接監(jiān)督過(guò)的內(nèi)部激活，因?yàn)槟切┘せ羁赡軙?huì)泄露模型真實(shí)的內(nèi)部機(jī)制。

只不過(guò)，思維鏈最大的優(yōu)勢(shì)是：它默認(rèn)就是英語(yǔ)。概念越復(fù)雜，這個(gè)優(yōu)勢(shì)越明顯。與此同時(shí)，如果我們真的走到模型可以長(zhǎng)時(shí)間自主運(yùn)行、可以完成更長(zhǎng)任務(wù)的未來(lái)，那么推理過(guò)程只會(huì)變得更多。于是，模型能力增強(qiáng)到哪里，我們對(duì)它進(jìn)行監(jiān)督和理解的窗口，也有機(jī)會(huì)一起擴(kuò)展。

主持人：但這里的關(guān)鍵前提，其實(shí)恰恰是你不能去監(jiān)督思維鏈。

Jakub Pachocki：對(duì)。這也是我們當(dāng)初在發(fā)布 preview model 時(shí)決定隱藏思維鏈的主要原因。對(duì)我來(lái)說(shuō)，這幾乎是最根本的理由。因?yàn)槿绻阍诋a(chǎn)品里公開(kāi)展示它，遲早就得去訓(xùn)練它。你會(huì)出于和訓(xùn)練其他產(chǎn)品能力一樣的理由，開(kāi)始要求它“說(shuō)得更好”“更得體”“更適合公開(kāi)看”。一旦這樣，那個(gè)窗口就被污染了。

我并不是說(shuō)思維鏈本身一定不能被用戶以其他方式感知。比如我們現(xiàn)在會(huì)用一些思維鏈摘要，當(dāng)作折中方案。再往后，也許更好的方式是模型在推理時(shí)實(shí)時(shí)跟你交流，最新一代 Codex 和 reasoning GPT 已經(jīng)有一點(diǎn)這個(gè)味道，但我覺(jué)得還會(huì)繼續(xù)進(jìn)化。

真正讓我興奮的是，我們至少不用讓訓(xùn)練信號(hào)和理解模型這件事直接對(duì)打。如果你一邊想理解模型長(zhǎng)期會(huì)怎么想、動(dòng)機(jī)會(huì)怎么變化，一邊又在大規(guī)模使用一種直接破壞這種可觀察性的訓(xùn)練方式，你多半不會(huì)有好下場(chǎng)。

所以，對(duì)我來(lái)說(shuō)，這種“解耦”給了我一點(diǎn)希望。不是說(shuō)它解決了長(zhǎng)期對(duì)齊問(wèn)題，它遠(yuǎn)遠(yuǎn)不是終極方案，但它是工具箱里非常關(guān)鍵的一件工具。它至少能幫助我們繼續(xù)向前推進(jìn)，慢慢啃這些更根本的問(wèn)題。

主持人：除了思維鏈監(jiān)控，還有哪些方向是你覺(jué)得值得押注的？

Jakub Pachocki：更長(zhǎng)期的對(duì)齊問(wèn)題，本質(zhì)上是泛化問(wèn)題。

我們當(dāng)然能把模型訓(xùn)練得在分布內(nèi)表現(xiàn)得不錯(cuò)，也能在那些我們明確訓(xùn)練過(guò)的任務(wù)上大致控制它的行為。但真正讓人擔(dān)心的，是當(dāng)模型碰到非常不一樣的任務(wù)、非常不一樣的環(huán)境，或者它比以前聰明得多、能力擴(kuò)展得多時(shí)，會(huì)發(fā)生什么。我們其實(shí)并沒(méi)有真正學(xué)會(huì)怎么為那種情況訓(xùn)練它。

所以，從這個(gè)角度看，長(zhǎng)期價(jià)值對(duì)齊研究，本質(zhì)上是在研究泛化：模型最終會(huì)回落到什么價(jià)值上？在這件事上，我非常感興趣的一條研究線，是理解這種泛化和預(yù)訓(xùn)練數(shù)據(jù)之間的關(guān)系。我們現(xiàn)在也在這上面投入很多。我覺(jué)得這里面還有很大空間。

主持人：過(guò)去半年，你對(duì)對(duì)齊問(wèn)題的擔(dān)憂是上升了還是下降了？

Jakub Pachocki：如果只說(shuō)長(zhǎng)期挑戰(zhàn)，我的想法這幾年其實(shí)變了很多。以前我會(huì)覺(jué)得，這個(gè)問(wèn)題太模糊了，甚至很難定義，更別說(shuō)抓手；現(xiàn)在我越來(lái)越覺(jué)得，它其實(shí)是可以通過(guò)非常具體的技術(shù)路徑去推進(jìn)的。所以我們才會(huì)把對(duì)齊當(dāng)成研究的核心部分，而不是附屬品。

也正因?yàn)槿绱耍覍?duì)“這里有一條研究路徑，最終能把世界帶向一個(gè)非常好的狀態(tài)”這件事，信心是上升了很多的。與此同時(shí)，我對(duì)高能力模型的時(shí)間表也明顯提前了。我覺(jué)得我們離那種非常有變革性的模型已經(jīng)不遠(yuǎn)了。

我不是說(shuō)它們?cè)谒蟹矫娑急任覀兟斆鳎鼈円呀?jīng)足夠強(qiáng)到改變很多事情。所以我一方面對(duì)我們持續(xù)掌握對(duì)齊進(jìn)展、評(píng)估模型風(fēng)險(xiǎn)這件事還算樂(lè)觀；另一方面，我也認(rèn)為整個(gè)行業(yè)都必須做好準(zhǔn)備，在必要時(shí)真正接受妥協(xié)，甚至在看到某些信號(hào)時(shí)放慢開(kāi)發(fā)速度。

當(dāng)“幾個(gè)人就能運(yùn)轉(zhuǎn)一家超級(jí)公司”

主持人：你剛才提到模型接入現(xiàn)實(shí)世界。那在機(jī)器人這件事上，你怎么看時(shí)間線？

Jakub Pachocki：我覺(jué)得那里已經(jīng)有一些非常有希望的算法想法，而且它們和我們現(xiàn)在所走的這套路線并沒(méi)有那么遠(yuǎn)。所以我對(duì)機(jī)器人時(shí)間線是樂(lè)觀的，只不過(guò)我覺(jué)得它會(huì)比純虛擬世界里的 AI 稍微更慢一點(diǎn)。

主持人：說(shuō)到更大的社會(huì)層面，你覺(jué)得今天整個(gè)社會(huì)最被低估的問(wèn)題是什么？

Jakub Pachocki：如果我們真的走到大量智力勞動(dòng)都可以被自動(dòng)化的階段，會(huì)出現(xiàn)一些非常大的問(wèn)題，而且我不覺(jué)得這些問(wèn)題有顯而易見(jiàn)的解法。

最自然的一層，是工作崗位與財(cái)富集中。我懷疑這件事最后一定需要真正的 policymaker 介入。我也聽(tīng)過(guò)一些比較樂(lè)觀的解法，但從根上說(shuō)，如果某些過(guò)去很有價(jià)值、很昂貴、也承擔(dān)著重要功能的工作，突然能被很便宜地完成，長(zhǎng)期看它當(dāng)然可能是好事，可它也可能發(fā)生得非常快。

還有一個(gè)相關(guān)問(wèn)題是：如果你真的擁有一個(gè)自動(dòng)化研究實(shí)驗(yàn)室、一個(gè)自動(dòng)化公司，它能做非常多事，卻只需要非常少的人控制，事情就會(huì)變得很不一樣。哪怕沒(méi)有機(jī)器人，這件事也已經(jīng)足夠瘋狂；有了機(jī)器人，只會(huì)更夸張。

所以，未來(lái)這些強(qiáng)大到驚人的組織到底該怎么治理？這些組織可能只由幾個(gè)人構(gòu)成，卻擁有巨大的行動(dòng)能力。我們?cè)撛趺蠢斫膺@種東西？我覺(jué)得，這是一個(gè)整個(gè)社會(huì)都必須面對(duì)的新問(wèn)題。

主持人：說(shuō)到這些新問(wèn)題，我最近剛有了孩子，所以我也一直在想：十年后，他的生活會(huì)是什么樣？你離這件事這么近，AI 改變了你對(duì)下一代該怎么被撫養(yǎng)、該怎么接受教育的看法嗎？

Jakub Pachocki：我覺(jué)得，我們所有人的任務(wù)，是把 AI 和這個(gè)世界一起建設(shè)成一種狀態(tài)：到頭來(lái)，仍然是人類擁有 agency，由人類來(lái)設(shè)定方向。

也許今天我們很珍視的很多技術(shù)挑戰(zhàn)，未來(lái)會(huì)更像一種業(yè)余愛(ài)好——但這并不意味著人沒(méi)有事做。恰恰相反，人類的挑戰(zhàn)會(huì)越來(lái)越多地轉(zhuǎn)向另一類問(wèn)題：什么是真正重要的？我們應(yīng)該去做什么？

如果世界能往那個(gè)方向去，我覺(jué)得人反而會(huì)擁有更多事情可做，而且是更多真正值得做、也更令人興奮的事。但與此同時(shí)，我依然覺(jué)得，人還是應(yīng)該對(duì)技術(shù)有一定理解，不管這種基礎(chǔ)教育是通過(guò)什么方式獲得的，因?yàn)槟愕糜心芰θニ伎歼@些問(wèn)題。

主持人：這聽(tīng)起來(lái)已經(jīng)不是一個(gè)單純技術(shù)問(wèn)題了。

Jakub Pachocki：對(duì)。我覺(jué)得我們剛剛討論的這些問(wèn)題，包括對(duì)齊、監(jiān)控，都會(huì)越來(lái)越變成緊迫問(wèn)題。而它們并不只是 AI 研究者自己的挑戰(zhàn)。它們當(dāng)然是政策制定者的挑戰(zhàn)，也是整個(gè)社會(huì)需要一起想清楚的問(wèn)題。現(xiàn)在已經(jīng)開(kāi)始出現(xiàn)一些討論了，但我覺(jué)得還遠(yuǎn)遠(yuǎn)不夠。

【活動(dòng)分享】"48 小時(shí)，與 50+ 位大廠技術(shù)決策者，共探 AI 落地真路徑。"奇點(diǎn)智能技術(shù)大會(huì)是由深耕多年的「全球機(jī)器學(xué)習(xí)技術(shù)大會(huì)」重磅升級(jí)而來(lái)。2026 奇點(diǎn)智能技術(shù)大會(huì)將于 4 月 17-18 日在上海環(huán)球港凱悅酒店正式召開(kāi)，大會(huì)聚焦大模型技術(shù)演進(jìn)、智能體系統(tǒng)工程、OpenClaw 生態(tài)實(shí)踐及 AI 行業(yè)落地等十二大專題板塊，特邀來(lái)自BAT、京東、微軟、小紅書(shū)等頭部企業(yè)的 50+ 位技術(shù)決策者分享實(shí)戰(zhàn)案例。旨在幫助技術(shù)管理者與一線 AI 落地人員規(guī)避選型風(fēng)險(xiǎn)、降低試錯(cuò)成本、獲取可復(fù)用的工程方法論，真正實(shí)現(xiàn) AI 技術(shù)的規(guī)模化落地與商業(yè)價(jià)值轉(zhuǎn)化。這不僅是一場(chǎng)技術(shù)的盛宴，更是決策者把握 2026 AI 拐點(diǎn)的戰(zhàn)略機(jī)會(huì)。