我在新華社的分享：上下文即一切

TALK

前幾天，我在新華社做了場(chǎng)兩小時(shí)的內(nèi)部分享，聊了許多東西

結(jié)束后跟新華社的朋友聊，覺(jué)得「大模型的原理和用法」的這部分內(nèi)容對(duì)很多人都有用，今天就把這些東西貼出來(lái)，每頁(yè)配一段說(shuō)明

整場(chǎng)分享中，我都在圍繞一個(gè)詞展開(kāi)論述：上下文

AI 的能力、問(wèn)題和用法，本質(zhì)都由上下文決定。用戶(hù)發(fā)一條請(qǐng)求，AI 把請(qǐng)求和它能拿到的所有材料拼在一起，組成一段完整的上下文，再往下生成結(jié)果...循環(huán)往復(fù)

大模型之所以神奇、為什么有時(shí)候不靠譜、以及怎么能用好，都依賴(lài)于對(duì)上下文的構(gòu)建

大模型在進(jìn)行內(nèi)容生成的原理，其實(shí)很簡(jiǎn)單：大模型會(huì)根據(jù)上文信息，不斷推測(cè)下一組文字最大概率是什么，而這組文字，就叫做 token，他可以是一個(gè)字、一個(gè)詞或者一些信息

這里我來(lái)舉一個(gè)例子：「今天北京的天氣很」后面接什么？

首先，模型給出四個(gè)候選詞，「好」42%，「熱」25%，「冷」18%，「亂」6%；接著模型會(huì)選中概率最高的「好」，放回上下文，繼續(xù)猜下一個(gè)...循環(huán)往復(fù)

這個(gè)循環(huán)在大模型生成的過(guò)程中不斷重復(fù)：給定上下文，預(yù)測(cè)概率，選中結(jié)果，放回上下文，重復(fù)生成...不管參數(shù)多大，模型都在做這一件事

ChatBot 和周報(bào)生成器看起來(lái)是兩種產(chǎn)品，底層流程完全一樣

系統(tǒng)預(yù)設(shè)一段上文（提示詞、歷史對(duì)話(huà)、頁(yè)面模板），加上用戶(hù)輸入，交給模型接龍，最后把結(jié)果填回界面

記住：無(wú)論 UI 是聊天框還是報(bào)表，內(nèi)核跑的都是同一套「預(yù)設(shè)上文 + 用戶(hù)輸入 + 模型生成」

Agent 和 ChatBot 的區(qū)別在一件事上：誰(shuí)來(lái)構(gòu)建上下文

ChatBot 靠人喂，你給它什么材料它就用什么材料

Agent 會(huì)自己搜網(wǎng)頁(yè)、讀文檔、調(diào)工具，把有用的內(nèi)容寫(xiě)進(jìn)上下文，發(fā)現(xiàn)不夠還會(huì)自動(dòng)回頭繼續(xù)找

上下文的來(lái)源，包括以下

• 第一種是參數(shù)記憶，也就是模型訓(xùn)練時(shí)讀過(guò)的海量?jī)?nèi)容，被壓縮進(jìn)了模型權(quán)重里，這是廣義上的上下文

• 第二種是手動(dòng)構(gòu)建，人把 Word、Excel、提示詞這些材料喂進(jìn)去

• 第三種是自動(dòng)構(gòu)建，AI 通過(guò)各種工具調(diào)用，自己聯(lián)網(wǎng)搜索、查知識(shí)庫(kù)、調(diào)接口

判斷一個(gè) AI 工具好不好用，看它構(gòu)建上下文的能力就夠了

我們?cè)O(shè)想一下，如果讓 AI 給出某政策文件第 18 條原文，但模型訓(xùn)練的時(shí)候又沒(méi)有訓(xùn)練到，那么會(huì)發(fā)生什么？

參數(shù)里沒(méi)有這條原文，上下文里也沒(méi)有，但它被要求必須給答案。于是模型從幾個(gè)看起來(lái)合理的候選里猜了一個(gè)，輸出的東西形式上很像真的，但可能是錯(cuò)的。這就是幻覺(jué)的產(chǎn)生過(guò)程

上下文越好，幻覺(jué)越少，但不會(huì)是零

現(xiàn)在的 AI，能夠做很多的事情，包括翻譯、校對(duì)、改寫(xiě)、摘要、首稿、資料整理在內(nèi)的很多工作，都能夠很好的被解決。這時(shí)候你能發(fā)現(xiàn)一個(gè)共通點(diǎn)：AI 能做好的工作，其背后的素材都能被準(zhǔn)確表達(dá)成一段上下文

但是哪些事情是 AI 做不到的呢？到現(xiàn)場(chǎng)、觀(guān)察細(xì)節(jié)、判斷真?zhèn)巍Q定選題、承擔(dān)責(zé)任...，這些做不到。

怎么判斷一件事交給 AI 合不合適？看它能不能被準(zhǔn)確表達(dá)成一段好的上下文

對(duì)于大家來(lái)說(shuō)，尤其是媒體工作者來(lái)說(shuō)，在使用 AI 的過(guò)程中，我有三條落地建議：

• 跟蹤 AI 進(jìn)展：盯模型官方、開(kāi)發(fā)者社區(qū)和可信媒體，每周固定 30 分鐘夠了。

• 自己上手：給夠上下文（任務(wù)、材料、輸出格式），別糾結(jié)提示詞話(huà)術(shù)

• 恪守紅線(xiàn)：事實(shí)、引語(yǔ)、數(shù)據(jù)、法條必須人工核驗(yàn)，敏感信息不喂外部模型，重要稿件必須人審

在 AI 的加持下，內(nèi)容生產(chǎn)的方法也要跟進(jìn)時(shí)代，也要有所恪守：不要拒絕使用 AI，但也不要盲目使用，更不要去制作賽博垃圾

過(guò)去，媒體是主要自己寫(xiě)內(nèi)容，而未來(lái)越來(lái)越多是在為 AI 提供準(zhǔn)確的上下文

媒體要承擔(dān)的，是去現(xiàn)場(chǎng)是在拿最稀缺的上下文，做采訪(fǎng)是在拿別人拿不到的上下文，看材料是在篩選上下文，做判斷是在組織上下文

AI 是需要被喂養(yǎng)的系統(tǒng)，喂什么，決定它吐什么