哪些事必須對(duì)AI“零信任”？

人類思維的放大器

#01

有些人比AI還像AI

錯(cuò)誤可以分為兩類：

一類是事實(shí)沒(méi)錯(cuò)，邏輯錯(cuò)了。比如：天下雨了，所以我沒(méi)帶傘。

另一類是事實(shí)錯(cuò)了，邏輯沒(méi)錯(cuò)。比如：天沒(méi)下雨，所以我沒(méi)帶傘（事實(shí)是有雨）。

人類追求的是事實(shí)盡可接近真相，邏輯上能看懂就行；但AI更在意邏輯上的正確，至于事實(shí)是否正確——抱歉，它根本不知道什么是事實(shí)。

這就是大模型產(chǎn)生幻覺(jué)的根本機(jī)制：

• 它是靠預(yù)測(cè)下一個(gè)字而不是像人類一樣復(fù)現(xiàn)事實(shí)；

• 它沒(méi)有“記憶自檢”能力，也不會(huì)“記”原文，沒(méi)有訓(xùn)練過(guò)的數(shù)據(jù)就瞎編，而且瞎編的成本遠(yuǎn)遠(yuǎn)低于搜索核對(duì)；

• 它還在訓(xùn)練中養(yǎng)成了“討好提問(wèn)者”的壞毛病。

在上一篇《大模型最隱蔽的4種“坑”，大多數(shù)人每天都在踩》中，我列出了容易讓大模型產(chǎn)生幻覺(jué)的四類問(wèn)題，以及如何應(yīng)對(duì)：

• 第一類：小眾冷門專業(yè)知識(shí)類問(wèn)題，

• 第二類：需要精確引用的內(nèi)容

• 第三類：找不到真實(shí)案例就現(xiàn)編故事

• 第四類：主觀評(píng)價(jià)及誘導(dǎo)式提問(wèn)

還有必須持“零信任”的態(tài)度的兩件事：

• 核實(shí)關(guān)鍵數(shù)據(jù)：所有的數(shù)字、年份、人名，必須通過(guò)搜索引擎或官方文檔進(jìn)行二次核對(duì)。

• 不要直接復(fù)制引用：對(duì)于合同條款或論文引用，必須對(duì)照原文逐字檢查。

在上一篇中，我一直強(qiáng)調(diào)人類與大模型的思維模式截然不同，導(dǎo)致它總是在我們想不到的地方給我們“挖坑”；

但在本篇中，我想從另一角度分析大模型的幻覺(jué)問(wèn)題，其實(shí)人與人之間的區(qū)別也很大，甚至比大模型與人的區(qū)別還大——

有些人，知道就是知道，不知道就是不知道；但有些人，給他一杯水，能說(shuō)成太平洋；

有些人，寧可利益受損，也不說(shuō)一句謊話；而有些人滿嘴跑火車，甚至意識(shí)不到自己在說(shuō)謊。

有些人立場(chǎng)明確，毫不妥協(xié)；有些人見(jiàn)人說(shuō)人話，見(jiàn)鬼說(shuō)鬼話。

所以我覺(jué)得很多人的“幻覺(jué)”比大模型還像大模型，比如在職場(chǎng)上，你會(huì)看到很多人表達(dá)流暢，語(yǔ)氣極其自信、PPT邏輯嚴(yán)密，但事實(shí)都是扯蛋，偏偏這一類人更容易晉升，這跟AI看上去更專業(yè)是一樣的。

不是AI在騙我們，而是它知道我們更相信那種“看起來(lái)合理”的說(shuō)法。

#02

說(shuō)“可能”的兩種可能

維特根斯坦說(shuō)“語(yǔ)言的邊界就是認(rèn)知的邊界”，本文還是先從語(yǔ)言入手，揭開(kāi)人類思維中的那些“幻覺(jué)”。

以“可能”這個(gè)詞為例，人類說(shuō)的“可能”和大模型說(shuō)的“可能”，其實(shí)不是一個(gè)“可能”。

當(dāng)我們對(duì)某事不太肯定時(shí)，我們會(huì)說(shuō)“大概”“可能”，或者老老實(shí)實(shí)地說(shuō)不知道。

但大模型說(shuō)的“可能”，并不是進(jìn)行整個(gè)事件的概率評(píng)估。人類可以理解“真實(shí)”，我們知道，看到聽(tīng)到觸摸到的東西是真實(shí)的，小說(shuō)里的情節(jié)是“編的”，不真實(shí)，但人工智能的“世界”都是“編”的，它并不知道事實(shí)是什么，它產(chǎn)生內(nèi)容的機(jī)制是逐字預(yù)測(cè)下一個(gè)字出現(xiàn)的概率：“在這個(gè)句子里，前面說(shuō)了‘這’，后面接‘可能’這兩個(gè)字的概率最高。”

大模型在一個(gè)判斷前加“可能”這兩個(gè)字，主要有兩類原因：為了“安全”和為了“政治正確”。

在訓(xùn)練階段，人類標(biāo)注員會(huì)給模型打分，如果模型把話說(shuō)得太死，用了“絕對(duì)是”、“肯定是”，一旦錯(cuò)了就會(huì)被扣分，甚至被認(rèn)為有偏見(jiàn)。

于是大模型就學(xué)會(huì)了說(shuō)“這可能取決于……”“一種可能的解釋是……”，這里的“可能”其實(shí)并不代表概率不確定，而是因?yàn)?strong>人類標(biāo)注員覺(jué)得這么說(shuō)更客觀，更傾向于給它高分，導(dǎo)致大模型訓(xùn)練出了“多說(shuō)可能，少犯錯(cuò)，得分高”的能力。

這就帶來(lái)了另一類原因，那就是它真的“不知道”。

當(dāng)模型遇到知識(shí)盲區(qū)時(shí)，無(wú)法給出確定的答案。但它的任務(wù)是必須生成文字，于是，它會(huì)調(diào)用訓(xùn)練數(shù)據(jù)中那些“看起來(lái)很學(xué)術(shù)、很客觀”的句式，比如“這可能意味著……”，實(shí)際上，它完全是在瞎猜。

大模型都是類似的方法訓(xùn)練出來(lái)的，不同的大模型說(shuō)“可能”，不超出上面兩種原因，但人類就不是這么回事了。

#03

人類的“可能”也可能代表“不知道”

人類之間的差異實(shí)在是太大了，就“可能”這兩個(gè)字的使用情景而言——

有些經(jīng)過(guò)嚴(yán)格的學(xué)術(shù)訓(xùn)練的人，就算百分之百的肯定，也習(xí)慣加一個(gè)“可能”；

大部分人對(duì)于何時(shí)用“不太可能”“可能”“很可能”都有不同的標(biāo)準(zhǔn)；

還有些人跟大模型一樣，就算明知不靠譜，也會(huì)說(shuō)“可能”。

而且人類使用語(yǔ)言，還有很多“言外之義”。

前面說(shuō)過(guò)，大模型會(huì)用“可能”來(lái)掩蓋它不知道某事，其實(shí)這個(gè)習(xí)慣也是跟人類學(xué)的。

你的同事說(shuō)“明天會(huì)下雨”，你看了一眼外面的大太陽(yáng)，不置可否地回應(yīng)了一句“可能吧”，這里的“可能”正是代表“我不知道”，只是如果直接說(shuō)“我不知道”，不太禮貌。

如果大模型只是簡(jiǎn)單地模仿人類說(shuō)“可能吧”，我們一定能理解其“敷衍”之意，問(wèn)題在于，大模型被訓(xùn)練成要“盡量滿足用戶需求”，回答“不知道”在這種獎(jiǎng)勵(lì)機(jī)制下被視為“無(wú)能”或“拒絕服務(wù)”，所以大模型會(huì)利用自己無(wú)與倫比的語(yǔ)言邏輯能力，編造一個(gè)看上去符合你要求的邏輯完美的答案，再在前面加上“可能”。

大模型的這種“用強(qiáng)大的邏輯扭曲事實(shí)的能力”，我們身邊很多人都會(huì)，比如抖音短視頻里大量的“陰謀論”，本質(zhì)都是如此。人工智能不過(guò)是人類的一面鏡子，只是變形得很厲害，以至于被當(dāng)成了完全不同的“硅基物種”。

更進(jìn)一步，當(dāng)人類斬釘截鐵地肯定時(shí)，其實(shí)未必真的很肯定。

下面是一個(gè)心理學(xué)上的經(jīng)典發(fā)現(xiàn)，它可以完美的對(duì)應(yīng)大模型的三種幻覺(jué)，可以讓你看到，人類的思維偏差與大模型的幻覺(jué)，是多么的相似。

#04

人類思維的放大器

法律題材的經(jīng)典電影《十二怒漢》中，有一位住在案發(fā)現(xiàn)場(chǎng)樓下的瘸腿老漢，他宣稱自己聽(tīng)到了樓上爭(zhēng)吵、身體倒地的聲音，并親眼看到被告跑下樓。

但經(jīng)過(guò)亨利·方達(dá)飾演的8號(hào)陪審員的實(shí)地推算，老漢從聽(tīng)到聲音到走到門口，以他的步速至少需要40秒以上，不可能是他法庭上宣稱的十幾秒。

而另一位陪審員老人則指出了真相：這位老人一生默默無(wú)聞，從來(lái)沒(méi)人在乎他的話，他在潛意識(shí)里為了讓自己變得重要，為了讓自己的證詞聽(tīng)起來(lái)可信，大腦自動(dòng)補(bǔ)全了細(xì)節(jié)。

喜歡看推理小說(shuō)，對(duì)類似的情節(jié)應(yīng)該不陌生，證人并不是故意撒謊。他在聽(tīng)到聲音（碎片1）和后來(lái)看到背影（碎片2）之間，大腦為了邏輯通順，自動(dòng)生成了一段他“飛快跑去開(kāi)門并目擊全過(guò)程”的虛假記憶。

“編故事”是人腦普遍存在的機(jī)制——你我每一個(gè)人都一樣，在心理學(xué)上被稱為“重構(gòu)性記憶”(Reconstructive Memory)，由心理學(xué)家弗雷德里克·巴特萊特率先提出。

他認(rèn)為，記憶并不是像錄像機(jī)那樣刻板地存儲(chǔ)信息，而是一個(gè)動(dòng)態(tài)重構(gòu)的過(guò)程。當(dāng)我們回憶一段經(jīng)歷時(shí)，大腦只抓取了一些關(guān)鍵的“碎片”，為了形成一個(gè)連貫的敘述，大腦會(huì)自動(dòng)調(diào)用我們的固有認(rèn)知來(lái)補(bǔ)全。

這個(gè)機(jī)制和大模型的幻覺(jué)產(chǎn)生機(jī)制有著驚人的相似，我們可以從以下四個(gè)層面來(lái)對(duì)照一下：

類似一：填補(bǔ)空白的本能VS. 邏輯完善機(jī)制

人類證人：證人其實(shí)沒(méi)看清嫌疑人穿什么鞋，但為了不讓法官覺(jué)得自己“記性不好”，他會(huì)根據(jù)常識(shí)推斷一個(gè)跑步的人“應(yīng)該是運(yùn)動(dòng)鞋”，然后信誓旦旦地說(shuō)“他穿的是運(yùn)動(dòng)鞋”。

大模型：大模型的核心任務(wù)是“預(yù)測(cè)下一個(gè)字”，它必須把句子接下去，不能卡在那里。當(dāng)它遇到知識(shí)盲區(qū)時(shí)，就根據(jù)概率計(jì)算，編造一個(gè)名詞，不是為了騙你，而是為了讓整段話看起來(lái)是通順的，這是需要精確引用的內(nèi)容出現(xiàn)幻覺(jué)的主要原因。

類似二：人類世界觀VS. 訓(xùn)練數(shù)據(jù)集

人類證人：一個(gè)帶有種族歧視的人，腦海充滿了“黑人=危險(xiǎn)”的負(fù)面敘事。當(dāng)他看到一個(gè)黑人在奔跑（事實(shí)碎片），他的大腦會(huì)跳過(guò)搜尋“他在趕公交”的可能，直接調(diào)用權(quán)重最高的圖式——“他在逃跑”來(lái)補(bǔ)全空白。

大模型：如果 AI 的訓(xùn)練數(shù)據(jù)中，某個(gè)職業(yè)（如警察）大量與男性關(guān)聯(lián)，當(dāng)它在生成一個(gè)關(guān)于警察的模糊案例時(shí)，即便你沒(méi)有指定性別，它也會(huì)默認(rèn)補(bǔ)全為“他”，這也是大模型容易“編”案例的原因。

這種自動(dòng)補(bǔ)全機(jī)制，在 AI 領(lǐng)域被稱為“算法偏見(jiàn)（Algorithmic Bias）”，在心理學(xué)中則是“確認(rèn)偏差（Confirmation Bias）”。

類似三：誘導(dǎo)性供詞VS. 易受暗示性與諂媚

人類證人：證人的記憶非常容易受到“誘導(dǎo)性問(wèn)題”的污染，如果警察問(wèn)：“那個(gè)人的胡子是不是很濃密？”證人原本沒(méi)印象，但為了迎合提問(wèn)者（權(quán)威），也可能會(huì)在潛意識(shí)里修改記憶，開(kāi)始“記得”那個(gè)人有胡子。

大模型：AI模型訓(xùn)練在人類反饋強(qiáng)化學(xué)習(xí)（RLHF）環(huán)節(jié)，需要人類標(biāo)注員打分，當(dāng)測(cè)試員提出帶有預(yù)設(shè)的問(wèn)題時(shí)，AI如果順著用戶的意圖去回答，往往可以獲得高分，這也是大模型很容易討好人類的原因，甚至編造事實(shí)。

類似四：都是把“流暢”當(dāng)成了“真實(shí)”

俗語(yǔ)說(shuō)，騙局至少需要兩個(gè)人，一個(gè)會(huì)說(shuō)，一個(gè)愛(ài)聽(tīng)。

人類在判斷某段話是否可信時(shí)，并不完全是在判斷這段話本身，還要看邏輯是否合理自洽，并且結(jié)合說(shuō)話人的身份是否權(quán)威、語(yǔ)氣是否肯定，甚至受到語(yǔ)言能力、表情、身體動(dòng)作等能力的影響。

陪審團(tuán)和向大模型提問(wèn)者，都是如此，證詞中的謊言和大模型的幻覺(jué)，都是人類的激勵(lì)機(jī)制下的產(chǎn)物。

人類證人：雖然“記憶的信心”并不等于“記憶的準(zhǔn)確性”，但在法庭上，陪審團(tuán)往往認(rèn)為那些敘述流暢、自信滿滿的證人是可信的，而語(yǔ)氣不那么肯定的證詞要打折扣，導(dǎo)致證人為了不白跑一趟，更傾向于使用肯定的語(yǔ)氣。

大模型：文本越是語(yǔ)法完美、邏輯流暢，越是會(huì)讓用戶誤以為內(nèi)容是真實(shí)的，這叫“流暢性幻覺(jué)”。

這種激勵(lì)機(jī)制下，人類證人是為了維護(hù)面子，不想承認(rèn)自己“沒(méi)看見(jiàn)”，寧可想象一個(gè)場(chǎng)景；大模型是為了完成指令，證明自己的價(jià)值，不想承認(rèn)自己“不知道”，寧可瞎編。

#05

大模型的價(jià)值取向

大部分人的工作不但涉及知識(shí)技能，也與價(jià)值取向有關(guān)：

以我的自媒體寫(xiě)作為例，文章要生動(dòng)，就要有案例，既新鮮又恰當(dāng)?shù)陌咐芏鄷r(shí)候是妙手偶得，不可強(qiáng)求。那我的價(jià)值觀是：如果找不到生動(dòng)的案例，就找合適的案例，找不到合適的案例，寧可不加案例。

但就我知道的大部分自媒體創(chuàng)作者而言，只要有流量，什么瞎話都可以編。

當(dāng)然，如果我工作剛起步，沒(méi)有任何經(jīng)濟(jì)來(lái)源，迫于生活壓力，可能也會(huì)為了流量而不擇手段。

換位思考，如果大模型接到我的“尋找合適案例”的指令，在搜索不到的時(shí)候，你認(rèn)為它會(huì)怎么做呢？

大模型的幻覺(jué)，固然與它的工作原理有關(guān)（預(yù)測(cè)下一字而不是判斷事實(shí)），但更重要的還有三樣?xùn)|西：

數(shù)據(jù)本身的偏差：人類世界本來(lái)就充滿偏見(jiàn)和矛盾

人類的反饋機(jī)制（RLHF）：獎(jiǎng)勵(lì)“聽(tīng)話”和“好看”的答案

商業(yè)利益：真相更貴還不好賣，謊言更便宜更受歡迎

AI在總結(jié)人類智慧時(shí)，也把人類原本的弱點(diǎn)，變成了工業(yè)化產(chǎn)品。

好處是，人類有機(jī)會(huì)重新認(rèn)識(shí)自己，重新學(xué)習(xí)什么是“真實(shí)”，什么是“可信”，什么是“我不知道”。

公眾號(hào)最近更改了推送規(guī)則，不再按時(shí)間順序推送，而是根據(jù)人工智能算法有選擇性向用戶推送，有可能以后你無(wú)法看到賴博士的文章推送了。

解決方法是將《賴博士說(shuō)》的公眾號(hào)“星標(biāo)”，順手點(diǎn)下文末右下角的“在看”，系統(tǒng)會(huì)默認(rèn)我們公眾號(hào)的文章符合你的喜好，以后賴博士的文章就會(huì)在第一時(shí)間推送到你面前。

死亡螺旋已開(kāi)啟：深度拆解2026白銀軋空背后的金錢博弈

賴博士說(shuō)

解密“川普QE”：一場(chǎng)繞過(guò)美聯(lián)儲(chǔ)的隱形放水

賴博士說(shuō)

幫你站在高處，重新理解財(cái)富

賴博士說(shuō)

公眾號(hào)：@賴博士說(shuō)

視頻號(hào)：@賴博士說(shuō)

小紅書(shū)：@賴博士說(shuō)

今日頭條：@賴博士說(shuō)

Youtube：@賴博士說(shuō)

免責(zé)聲明：本公眾微信平臺(tái)“賴博士說(shuō)”所載的資料及說(shuō)明只可作一般性參考資料來(lái)閱讀。平臺(tái)不會(huì)就文章內(nèi)資料、或因使用此等資料之正確性、準(zhǔn)確性、可靠性或其他方面所導(dǎo)致的后果作出任何保證或其他聲明。平臺(tái)有酌情權(quán)隨時(shí)刪除、暫時(shí)停載或修改本帳號(hào)上的各項(xiàng)資料而無(wú)須給予任何通知或理由。若資料內(nèi)容涉及產(chǎn)品資料，一概只可作一般性參考且并非適用于各產(chǎn)品及服務(wù)的所有條款及細(xì)則。詳細(xì)資料請(qǐng)參閱有關(guān)產(chǎn)品及服務(wù)之協(xié)議。本文內(nèi)容僅供內(nèi)部參考及培訓(xùn)使用，并不構(gòu)成任何法律、稅務(wù)、投資或其他專業(yè)意見(jiàn)。