主觀世界模型的3類4組18個驚奇的理論分析

摘要

令人驚訝的事件觸發可測量的大腦活動，并通過影響學習、記憶和決策來影響人類行為。然而，目前對于驚喜的定義還沒有達成共識。在這里，我們在一個統一的框架中確定了18個驚喜的數學定義。我們首先根據這些定義對主體信念的依賴程度，將它們從技術上分為三組，展示它們之間的關系，并證明在什么條件下它們是不可區分的。超越這種技術分析，我們提出了一個驚喜定義的分類法，并根據它們測量的數量將它們分為四個概念類別:

(I)“預測驚喜”測量預測和觀察之間的不匹配；

(ii)“變化點檢測驚喜”測量環境變化的概率；

(iii)“置信度修正的意外”明確說明了置信度的影響；以及

(iv)“信息獲得驚喜”測量基于新觀察的信念更新。該分類法為大腦中驚奇的功能作用和生理特征的原則性研究奠定了基礎。

關鍵詞:驚奇、預測誤差、概率建模、預測大腦、預測編碼、貝葉斯大腦

1.介紹

想象一下，某天早上你拉開窗簾，發現你公寓前的街道被新雪覆蓋。根據天氣預報，如果你期待一個溫暖晴朗的早晨，當你看到白色的街道時，你會感到‘驚訝’;驚訝的結果是，你大腦中許多神經元的活動發生變化[Squires等人，1976年，Mars等人，2008年，Kolossa等人，2015年]，你的瞳孔擴大[Antony等人，2021年，Preuschoff等人，2011年，Nassar等人，2012年]。驚喜影響著我們對未來的預測和感知，以及我們對過去的記憶。例如，一些研究表明，在下雪的早晨之后，你對未來計劃的依賴會減少[等人，2007，Nassar等人，2010，Xu等人，2021]。其他研究預測，在你感到驚訝的那一刻，你會更生動地記得隨機走過街道的陌生人的臉[魯哈尼等人，2018年，魯哈尼和尼夫，2021年]，一些研究預測，這一驚訝的時刻甚至可能會修改你對過去另一個下雪早晨的記憶[格什曼等人，2017年，辛克萊和巴倫西]。為了理解和解釋驚訝在不同大腦功能中的計算作用，我們首先需要問“驚訝到底意味著什么？”并形式化我們的大腦是如何感知驚喜的。例如，當你看到白色街道時，你是否會感到“驚訝”，因為你的預期結果是錯誤的[Meyniel等人，2016年，Faraji等人，2018年，Gl ascher等人，2010年]或者因為你需要改變對天氣預報的信任[Baldi，2002年，Schmidhuber，2010年，Liakoni等人，2021年]？

感知、學習、記憶和決策的計算模型通常假設人類隱式地將他們的感官觀察感知為具有隱藏變量的生成模型的概率結果[Yu和Dayan，2005，Friston，2010，Fiser等人，2010，Gershman等人，2017，Soltani和Izquierdo，2019，Findling等人，2021，Liakoni等人，2021]。在上面的例子中，觀察值是是否下雪，隱藏變量描述了下雪的概率如何取決于舊的觀察值和相關的上下文信息(如當前季節、昨天的天氣和天氣預報)。然后，在這種生成模型中將不同的大腦功能建模為統計推斷和概率控制的方面[Yu和Dayan，2005年，等人，2007年，Gl ascher等人，2010年，Daw等人，2011年，Nassar等人，2012年，Gershman等人，2017年，Meyniel等人，2016年，Friston等人，2017年，Findling等人，2021年，Dubey和Griffiths，2019年，Liakoni等人在這些概率環境中，觀察的驚奇程度取決于觀察和我們對觀察內容的預期之間的關系。

在過去的幾十年里，人們提出并研究了不同的驚喜定義和正式衡量標準[巴爾迪，2002年，Gl ascher等人，2010年，施密德胡伯，2010年，弗里斯頓，2010年，帕爾姆，2012年，巴爾托等人，2013年，科洛薩等人，2015年，法拉吉等人，2018年，利亞科尼等人，2021年]。這些驚奇測量在解釋驚奇在不同大腦功能中的作用[Itti和Baldi，2006年，Gershman等人，2017年，Xu等人，2021年，Rouhani和Niv，2021年，Antony等人，2021年，Findling等人，2021年]和識別行為和生理測量中的驚奇信號[Mars等人，2008年，Gl ascher等人，2010年，Rubin等人，2016年，modirsh然而，仍有許多未解決的問題，包括但不限于:(1)不同的驚奇定義所度量的量在概念上是否不同？(ii)我們能否確定不同驚喜定義之間的數學關系？特別是，一個定義是另一個定義的特例，完全不同，還是它們有一些共同點？

在這項工作中，我們在一個統一的框架中分析和討論了先前提出的18種驚奇措施。我們首先在第2節介紹我們的框架、假設和符號。然后，在第3節到第6節中，我們給出了18個意外措施的定義，并展示了它們的相似性和差異性。特別是，我們確定的條件，使不同的驚喜措施實驗難以區分。最后，在第7節中，我們基于我們的理論分析，通過將它們分為四個概念上不同的類別，提出了一個驚奇措施的分類法。

2.主觀世界模型:一個統一的生成模型

我們的目標是在一個共同的數學框架中研究不同形式的驚奇測度的理論性質。為了做到這一點，我們需要假設一個主體(例如，一個人類參與者或者一個動物)如何思考它的環境。

我們假設一個主體認為它的觀察是帶有隱藏變量的生成模型的概率結果，因此，考慮一個生成模型，它捕捉日常生活的幾個關鍵特征，并統一神經科學和心理學中許多現有的模型環境(參見2.2小節)。

更具體地，我們假設生成模型從主體的角度描述了對環境的主觀解釋，并且重要的是，主體考慮了環境可能在未知時間點發生突然變化的可能性(即，環境是易變的)，類似于等人[2007]、Nassar等人[2010]、Glaze等人[2015]、Heilbron和Meyniel [2019]、Xu等人[2021]、Maheu等人[2019]所研究的實驗范式。參見圖1，用于研究驚訝的行為和生理特征的四個典型實驗范例。請注意，我們并不假設環境具有與代理所假設的相同的動態。

圖2:環境的主觀模型。a .貝葉斯網絡[Barber，2012]對應于等式1和等式2中我們的生成模型的最一般情況。箭頭顯示條件相關性，灰色節點顯示隱藏變量(C1:t+1和θ1:t+1)，紅色節點顯示觀察值(Y1:t+1)，藍色節點顯示提示變量(X1:t+1)。各種各樣的任務可以以我們的生成模型的簡化版本的形式來編寫。具體來說:b .用于在如圖所示的易變環境的實驗中建模和研究被動學習的標準生成模型[Adams和MacKay，2007，Fearnhead和Liu，2007，Nassar等人，2010，2012，Wilson等人，2013，Liakoni等人，2021]，c .用于在如圖所示的實驗中建模人類對二進制序列的推理的生成模型[Meyniel等人，2016，Maheu等人，2019，Modirshanechi d .生成模型，對應于類似于圖1C中的土匪和易變土匪任務的變量[伯倫斯等人，2007年，芬德林等人，2021年，霍瓦特等人，2021年]，其中線索變量Xt = At是參與者的動作，以及e .經典馬爾可夫決策過程(MDPs)，以模擬類似于圖1D中的實驗[薩頓和巴爾托，2018年，舒爾茨等人，1997年，Gl ascher等人，2010年，道等人，2011年，Huys 詳見第2.2小節。印刷時應使用顏色。

3. Surprise measures and indistinguishability

4. Probabilistic mismatch surprise measures

4.1. Bayes Factor surprise

智能體應該衡量在先前的信念下比在當前的信念下對新觀察結果的預期高多少。貝葉斯因子驚喜是由 Liakoni 等人提出的。 [2021]量化這種驚喜的概念, 其動機是驚喜調節大腦的學習速度[Iigaya, 2016, Frémaux and Gerstner, 2016]。

4.2.香農驚喜及4.3強化學習狀態轉移跟4.1本質相同

4.2

不管是否有突變(Ct+1 = 1)或沒有突變(Ct+1 = 0)，不可能發生的事件都可能被認為是令人驚訝的。因此，另一種衡量觀察結果的驚奇程度的方法是量化該觀察結果在代理人眼中的可能性。香農驚喜，也被稱為詫異[巴爾托等人，2013]，是一種形式化這種驚喜概念的方式。它來自信息論[Shannon，1948]和統計物理學[Tribus，1961]領域，廣泛應用于神經科學

7.驚喜定義的分類

在一個統一的框架中，我們討論了10個先前提出的措施的驚喜:(1)貝葉斯因素的驚喜；(2)香農的驚奇；(3)狀態預測誤差；(4)絕對誤差和(5)平方誤差驚奇；(6)未簽約報酬預測誤差；(7)貝氏驚奇；(8)表達后的驚訝；(9)信心修正后的驚喜；和(10)最小自由能。我們考慮了在不穩定的環境中定義這些度量的不同方法，并且總體上分析了18種不同的驚奇定義。在本節中，我們提出了這18個定義的分類法，并根據它們量化的語義將它們分為四個主要類別(圖5)。

神經科學中的驚訝測量之前被分為兩類[Hurley等人，2011，Faraji等人，2018，Gijsen等人，2021]:“困惑”和“啟發”驚訝。困惑驚喜衡量的是一個新的觀察對一個代理人來說有多困惑，而啟發驚喜衡量的是這個新的觀察給代理人帶來了多少啟發并改變了它的信念——這個概念與“啊哈！[Kounios和Beeman，2009年，Dubey等人，2021年]。貝葉斯和事后驚奇可以歸類為啟發驚奇，因為兩者都量化了信息增益(圖5)。然而，基于我們的理論分析，我們建議將困惑驚訝的測量進一步分為3個子類別(圖5

i.“預測驚奇”量化了新觀察結果的不可預測、不可預料或不太可能的程度。這一類別包括香農驚奇、狀態預測誤差、最小化自由能和所有觀察不匹配驚奇測量(圖5)。根據這些度量，代理人的難題是找到下一次觀測的最準確的預測。在自然語言中，驚訝被定義為“由意想不到的事情引起的感覺或情緒”[牛津英語詞典，2021]。如果我們把注意力放在‘意外’這個詞上，把它等同于‘在當前信念下不太可能’，而忽略了‘感覺’和‘情緒’這個詞，那么預測驚喜所衡量的質量就和自然語言中對驚喜的定義密切相關。

ii.“變化點檢測驚喜”量化了新觀察的相對不太可能，旨在調整學習速率和識別環境變化。這一類別包括貝葉斯因素驚奇和香農驚奇的差異(參見推論1；圖5)。根據這些措施，代理的難題是檢測環境變化。

iii.“信心修正驚喜”明確解釋了代理人的信心。這個想法是，更高的信心(或對信念的更高承諾)導致更多的困惑，其中的困惑要么是檢測環境變化，要么是找到最準確的預測。Faraji等人[2018]利用一項思維實驗認為，對信心的這種明確解釋對于解釋我們對驚喜的感知至關重要。這一類別目前僅有的候選者是SCC 1和SCC 2，它們假設智能體的難題是檢測環境變化(參見命題9)；但是我們預計將來會發現更多這類的例子。

雖然我們提出的分類法只是概念性的，并基于不同定義的理論屬性，但我們注意到，已有大量研究調查了預測的神經和生理相關性[Mars等人，2008年，Kopp和Lange，2013年，Kolossa等人，2015年，Modirshanechi等人，2019年，Gijsen等人，2021年，Maheu等人，2019年，Meyniel，2020年，Mousavi等人，2022年，Konovalov 變點檢測[Nassar等，2012，Xu等，2021，Liakoni等，2022]，置信度修正[Gijsen等，2021]，信息增益[Ostwald等，2012，Kolossa等，2015，Gijsen等，2021，Visalli等，2021，Nour等，2018，O'Reilly等，2013]驚奇測度(圖1)。因此，我們推測，這些類別中的每一個至少有一個度量是在大腦中計算的，但可能通過不同的神經通路，并用于不同的大腦功能。

8.討論

驚訝在形式上是什么意思？現有的驚喜定義是如何相互聯系的？為了解決這些問題，我們在一個統一的數學框架中回顧了18個驚喜的定義，并研究了它們的相似性和差異性。我們表明，已知的安全措施的幾個擴展到不穩定的環境是可能的和潛在的相關；因此，需要進一步的實驗證據來闡明驚奇的精確定義與大腦研究的相關性。根據不同的定義如何依賴于信念π(t)，我們將它們分為三組概率失配、觀察失配和信念失配意外測量(圖3)。然后，我們展示了這些度量在理論上如何相互關聯，更重要的是，在什么條件下它們是彼此的嚴格遞增函數(即，它們在實驗上變得不可區分——圖4和表2)。我們進一步提出了一個驚喜定義的分類法，從概念上分為四個主要類別(圖5): (i)預測驚喜，(ii)變化點檢測驚喜，

(iii)置信度校正的驚奇，和(iv)信息增益的驚奇。

人們認為，驚訝在不同的大腦功能中具有重要的計算作用，如自適應學習[Iigaya，2016，Gerstner等人，2018]，探索[Dubey和Griffiths，2020，Gottlieb和Oud 2018]，記憶形成[Rouhani和Niv，2021]，記憶分段[Antony等人，2021]。我們的結果向理論家和計算科學家提出了一個多樣化的工具包和一個精煉的術語，以模擬和討論驚奇的不同功能及其生物學實現。例如，有人認為，觀察-不匹配驚奇測度的計算在生物學上比香農驚奇等更抽象的測度更合理[Iigaya，2016]。我們的結果確定了這樣的條件，在這種條件下，觀察不匹配驚奇測量的行為與自適應學習最佳的概率不匹配驚奇測量的行為相同(參見圖4B，命題1和推論1)；這種見解可以在未來的適應性行為網絡模型中加以利用。

此外，我們的結果可以用來設計新的理論驅動的實驗，其中不同的驚喜措施做出不同的預測。重要的是，以前的大多數實驗研究都集中在一種對驚奇的測量，以及它在行為和生理測量中的作用和特征。考慮一個以上意外測量的例子[Mars等人，2008年，Ostwald等人，2012年，Kolossa等人，2015年，Gijsen等人，2021年，Mousavi等人，2022年]主要集中在模型選擇上

方法來比較不同的模型，并沒有尋找這些措施的根本不同的預測-見Visalli等人【2021】的一個例外。即使兩項令人驚訝的措施被正式宣布無效

值得注意的是，在一個給定的實驗設置中，樣本的數量或效應的大小不足以提取兩者之間的定量差異。例如，對于除均勻分布以外的任何先驗邊緣分布，SBF和SSh1都是可區分的(圖4B)，但是，在實踐中，對于幾乎均勻的先驗，這種區別很難檢測到。我們的理論框架使我們能夠走得更遠，并設計實驗，這些實驗能夠基于不同的預測質量來分離不同的驚奇測量，并避免不同測量在形式上或實際上不可區分的實驗。

確認

AM感謝Vasiliki Liakoni、Martin Barry和Valentin Schmutz在過去幾年中進行的許多有益的討論，并感謝安德魯·巴爾托在2021年EPFL神經研討會期間和之后就“驚喜、好奇和回報:從神經科學到人工智能”進行的富有洞察力的討論。本研究得到了瑞士國家科學基金會的資助(編號:200020 184615)。

其他參考：