Codex 凌晨更新，將屏幕內(nèi)容「放進(jìn)記憶」

PRODUCT

凌晨，OpenAI 為 Codex 上線了新功能「Chronicle」，讓 Codex 能根據(jù)屏幕內(nèi)容工作

Codex 多了記憶個(gè)來(lái)源：你的屏幕

這樣，你再跟 Codex 說(shuō)話的時(shí)候，不用反復(fù)解釋「這個(gè)」「那個(gè)」指的是什么。它知道你現(xiàn)在在看什么，剛才什么報(bào)錯(cuò)，兩周前在做什么項(xiàng)目

Chronicle 是上周 memories 預(yù)覽之上的擴(kuò)展。memories 的來(lái)源是對(duì)話歷史，Chronicle 加的是屏幕上下文那一層

目前只對(duì) macOS 上的 ChatGPT Pro 用戶開(kāi)放，歐盟、英國(guó)、瑞士暫不支持，狀態(tài)是 opt-in research preview

場(chǎng)景一，直接看屏幕 debug

官方視頻里三個(gè)演示，第一個(gè)叫 Use what’s on screen

屏幕左邊是一段 CI 失敗日志。用戶打開(kāi) Codex 只問(wèn)了一句：why is this failing?

Codex 沒(méi)要用戶貼報(bào)錯(cuò)，也沒(méi)問(wèn)是哪個(gè) repo。它通過(guò) Chronicle 抓到屏幕上的上下文，花了 1 分 43 秒自己查完

Codex 看了屏幕上的 CI 日志，自己定位到了具體的 job、文件和行號(hào)

最后定位到 GitHub Actions 的 build-preview job，具體在 src/pages/preview-build-fixture.astro 第 2 行：

astro

const articleCount: string = 404;

結(jié)論是 TS2322 類型錯(cuò)誤，404 是 number 卻被聲明成了 string。Codex 還注意到，PR 標(biāo)題里寫(xiě)著 exercise CI failure handling，這是故意塞的類型錯(cuò)誤 fixture

回答的底部標(biāo)出了 1 memory citation，用了 MEMORY.md 第 2122 行的 repo-specific validation loop context 作為本地復(fù)現(xiàn)之前的參考

官方也配了一張關(guān) Chronicle 的對(duì)比截圖。同樣這句 why is this failing，Codex 會(huì)直接說(shuō) I do not know what this refers to yet：

關(guān)掉 Chronicle 時(shí)，Codex 會(huì)反問(wèn)你要具體的報(bào)錯(cuò)文本或鏈接

場(chǎng)景二，屏幕上下文補(bǔ)全 this / that

第二個(gè)場(chǎng)景叫 Fill in missing context

用戶輸入：Sync with the latest docs draft changes and message Romain

latest docs draft 是哪份、Romain 是誰(shuí)，用戶都沒(méi)說(shuō)

Codex 通過(guò) Chronicle memory 解析出是哪份草稿、哪個(gè) Romain，然后同步文件再發(fā) Slack

Codex 通過(guò) Chronicle 找到了用戶在改的文檔草稿，同步了 chronicle.mdx，再調(diào)用 Slack skill 給 Romain 發(fā)了私信，告訴他同步狀態(tài)和 build 結(jié)果

官方另一張靜態(tài)截圖把 memory 解析的內(nèi)部推理寫(xiě)得更明確：Memory points to the Google Doc Chronicle docs draft and Romain Huet on Slack

Chronicle 的 memory 里記著最近那份 draft 和 Romain Huet 的 Slack ID

整個(gè)過(guò)程里，this、that、latest 這幾個(gè)詞，用戶都沒(méi)說(shuō)清，Codex 自己補(bǔ)上了

場(chǎng)景三，記住你常用的工具和流程

第三個(gè)場(chǎng)景叫 Remember tools and workflows

用戶說(shuō)：Create an empty draft doc for the Chronicle launch copy to share with the team

Codex 在 memory 里查到用戶習(xí)慣用 Google Drive 做草稿，直接創(chuàng)建了 Google Doc

Codex 先查了 memory，確認(rèn)用戶習(xí)慣把草稿放 Google Drive，然后直接調(diào)用 Google Drive tool 創(chuàng)建了 Chronicle Launch Copy [DRAFT] 這個(gè)文件。過(guò)程中彈出了權(quán)限確認(rèn)對(duì)話框

關(guān) Chronicle 的對(duì)比版本里，Codex 會(huì)反問(wèn)你想要什么格式：What format should this be? I can draft it here, create a Google Doc, or prepare a Slack post

沒(méi)有 Chronicle 的 memory，Codex 不知道 launch comms 該放哪里

OpenAI 自己的解釋是：Codex 先用 Chronicle 定位源頭，真要干活的時(shí)候，再去讀具體的文件、Slack thread、Google Doc、dashboard 或者 PR

怎么啟用

除了開(kāi)頭說(shuō)的 Pro 加 macOS 限制，還要授予 Screen Recording 和 Accessibility 權(quán)限

啟用路徑：

01 打開(kāi) Codex 的 Settings

02 進(jìn)入 Personalization，確認(rèn) Memories 已開(kāi)

03 打開(kāi) Memories 下方的 Chronicle

04 點(diǎn)擊確認(rèn)對(duì)話框的 Continue

05 macOS 彈權(quán)限申請(qǐng)時(shí)，授予 Screen Recording 和 Accessibility

菜單欄圖標(biāo)里可以隨時(shí) Pause 或 Resume。開(kāi)會(huì)前、看敏感內(nèi)容前先暫停

技術(shù)細(xì)節(jié)

屏幕截圖存在 $TMPDIR/chronicle/screen_recording/，6 小時(shí)后 Chronicle 自己刪掉

生成的 memory 存在 $CODEX_HOME/memories_extensions/chronicle/，默認(rèn)就是 ~/.codex/memories_extensions/chronicle/

memory 本體是未加密的 markdown 文件，用戶可以讀、可以改、可以刪。OpenAI 建議不要手動(dòng)加新條目，但局部改和刪是支持的

生成 memory 用的模型，默認(rèn)跟 Codex 用的模型一致。想換別的可以在 config.toml 里設(shè)：

toml

[memories]

consolidation_model = "gpt-5.4-mini"

Codex 不會(huì)馬上生成 memory，會(huì)跳過(guò)活躍會(huì)話，過(guò)濾掉密鑰一類的敏感信息，等 thread 空閑一段時(shí)間再在后臺(tái)寫(xiě)

風(fēng)險(xiǎn)和代價(jià)

官方文檔列了三個(gè)風(fēng)險(xiǎn)

一，rate limits。Chronicle 后臺(tái)跑 sandboxed agent 持續(xù)消耗額度，OpenAI 的原話是 uses rate limits quickly

二，prompt injection。屏幕上如果出現(xiàn)帶惡意 agent 指令的網(wǎng)頁(yè)，Codex 可能會(huì)按屏幕上的指令做

三，數(shù)據(jù)可見(jiàn)性。memory 文件未加密，同一臺(tái)電腦上的其他 app 也能讀到這些文件

麥克風(fēng)和系統(tǒng)音頻 Chronicle 不拿，只拿屏幕截圖。OpenAI 特別提醒，別用 Chronicle 在沒(méi)獲得他人同意的情況下錄會(huì)議

Chronicle 拿去生成 memory 的時(shí)候，選中的屏幕截圖、OCR 出的文本、時(shí)間戳、本地文件路徑會(huì)一起傳到 OpenAI 服務(wù)器處理。處理完成后，截圖不保留，也不用于訓(xùn)練

為什么今天只是 research preview

官方博客說(shuō)，going forward, OpenAI is developing Codex into a more capable tool for builders beyond software engineers, and Chronicle is one step toward that goal

官方 X 的原話是：while we learn where it helps most and improve the experience

所以今天這一版是 opt-in 的，想試的 Pro 用戶自己去 Settings 里開(kāi)

參考材料

→ Chronicle 官方文檔：developers.openai.com/codex/memories/chronicle

→ Memories 官方文檔：developers.openai.com/codex/memories

→ Codex 官方博客：openai.com/index/codex-for-almost-everything

→ OpenAI Developers X：x.com/OpenAIDevs