主動推理與函數參數化：微分平坦性和平滑隨機實現

主動推理與函數參數化：微分平坦性和平滑隨機實現

Active Inference and Functional Parametrisation: Differential Flatness and Smooth Random Realisation

https://www.mdpi.com/1099-4300/28/1/87

摘要

本文是首次嘗試將構造性非線性控制理論技術與主動推理相結合。具體而言，我們關注微分平坦性與用于控制場景的生成模型設計之間的關系。我們特別強調微分平坦系統的路徑性質，這些性質繼承自其關于相繼時間導數的定義，并將此與主動推理中構建連續時間生成模型時所使用的運動廣義坐標聯系起來。為了闡明基本概念，我們借助眼動控制的例子。 關鍵詞：微分平坦性；主動推理；周期性平滑隨機函數；路徑公式化

1. 引言

   主動推理是計算神經科學中最有前途的形式框架之一（如果不是最有前途的話），在許多領域有許多應用（參見，例如，[1] 及其中的參考文獻）。最近突顯路徑公式化和貝葉斯力學的發展——在 [2,3] 等文獻中開發——為解決感知、規劃和控制的許多方面提供了一個有原則且自然的環境。我們在本文中將引用的核心思想是，（自然或人工）生物利用隱式生成世界模型來對世界進行推斷并控制其感知的世界。后者對于我們當前的目的更為顯著。事實上，人們可以將生成模型的推斷（即感知）角色僅僅視為獲得邊緣似然緊界的一種方法——這是通過行動優化感官數據時關注的量。

我們在此考慮一些條件，滿足這些條件可能有助于構建非常適合控制環境的生成模型。關鍵在于，這些條件與非線性控制中開發的構造性框架直接一致（參見，例如，[4–6]）。因此，我們試圖展示該框架，特別是微分平坦性結構屬性，如何在主動推理應用于控制問題中被利用。

許多有洞察力的工作已經發表在這個一般領域，既包括主動推理與經典控制方案之間的聯系和區別，也包括部署主動推理進行控制（僅舉幾例，參見，例如，[7–14]）。

乍一看，微分平坦性和主動推理似乎是相距甚遠的框架。前者旨在將軌跡跟蹤誤差降至零，而后者最小化驚喜或變分自由能；前者本質上是確定性的，而后者自然地處理隨機波動。我們將看到，軌跡跟蹤誤差確實是一種驚喜形式，并且微分平坦性的定義本身可以適應平滑隨機波動，這特別適合神經科學應用。最小化驚喜或差異主要有兩種方法： ? 第一種是將問題設想為一個優化過程，如主動推理中（以及最優控制或模型預測控制中）；在這方面，目標是滿足一個優化準則，從而導致目標差異的最小化。 ? 第二種是為目標推導一個確定性控制（行動）方案，并在線估計波動以主動補償它們。 第一條路線是主動推理所采取的，而第二條支撐了微分平坦性方法。然而，我們將看到這兩個框架并不像人們可能認為的那樣不同。事實上，自由能最小化所強制的模式動態——當這些動態具備微分平坦性屬性時——會產生一種函數參數化，將這兩個方案緊密聯系起來。此外，這種參數化似乎是研究神經科學和生物學中非線性動力學的一個最富有成果且充滿希望的工具。

更廣泛地說，在此，我們試圖突出我們框架的一些潛在有用特征，該框架汲取了動態控制系統的結構屬性，并采用典型的路徑式且保持物理特性的公式化。特別是，我們將看到微分平坦性最顯著的特征——即微分參數化——如何在主動推理框架內發揮作用。更具體地說，這種微分參數化除其他關系外，還誘導了一個從感知到行動的可逆映射。

我們在第 5 節中感興趣的問題是這樣一個問題：我們擁有一個生成模型，該模型描述了（我們相信）某個系統如何作為某些控制變量的函數隨時間演變。給定該系統的一個期望狀態或路徑，我們的興趣在于理解為了實現該期望配置，必須如何設置控制變量。更具體地說，我們感興趣的是生成模型應具備哪些屬性，以便推斷出實現某些目標的控制變量。

本文結構如下。我們首先簡要介紹用于控制的生成模型的概念，并介紹一些我們隨后將引用的關鍵定義。其中幾個定義結果依賴于可微波動，這促使我們考慮我們將采用的隨機波動解釋（即使用隨機周期函數）。在概述了我們感興趣的這類生成模型的基本結構后，我們考慮支撐主動推理的原則如何約束我們在設計這些模型并為其設定目標時可能做出的選擇。我們利用主動推理中關鍵目標函數的形式（變分自由能和期望自由能）來考察優良生成模型的一些通用屬性，并考慮是否可以通過訴諸微分平坦性的概念來激發這些屬性。在這些理論考量之后，我們通過一個基于眼動控制的實例來演示這些想法如何在實踐中運作。最后，我們討論其中一些想法與主動推理之間的關系，特別關注運動廣義坐標的概念，該概念繼承自與微分平坦性類似的思想，但結果卻扮演著截然不同的角色。

1. 初步概念：生成模型、行動、狀態與波動選擇

2.1. 生成模型

如上所述，我們要研究的是基于生成模型表述的控制問題。為了闡明這一點——稍后將對此進行更詳細的展開——請考慮我們要如何控制眼睛的位置，以便在表面上實現特定的注視點或跟蹤一個移動點。為了決定如何移動眼睛，我們的大腦可能會采用這樣一個模型：其中行動變量（ u u），如眼外肌的收縮，可能會影響狀態（ x x）的動力學，例如視線角度或注視點；并且在該模型中，這些狀態會返回一些可觀測數據（ y y）（例如視覺數據）。我們現在精確地概述生成模型這一概念。

這種公式化的動機有兩點。首先，它允許人們根據分配給每一階運動的波動之間的協方差來表達不同平滑度的噪聲過程。其次，通過應用鏈式法則，它允許人們通過 x x 的廣義坐標的梯度來確定 y y 的廣義坐標關于 u u 的梯度。這在稍后將很重要，屆時我們將考察變分自由能梯度的下降——通過改變 u u——如何被理解為類似于脊髓反射弧的實行，從而使本體感覺數據與預期的設定點保持一致。

尋找從感知到行動的映射的需求是主動推理（使用運動廣義坐標）和應用于控制的微分平坦性共同的關鍵思想之一。有趣的是，兩者都通過訴諸生成模型中變量的連續導數來解決這個問題。

因此，它對應于相應隨機微分方程組的確定性部分。

2.2. 行動、輸出與狀態

我們在此給出行動（action，或控制輸入）、輸出、狀態和實現（realisation）的精確定義，這些將在第 6.2 節中用到。這些定義在 [4] 中是在微分代數設定下給出的；另見 [15] 以獲取基礎性的探討，其類似于下文（盡管是在確定性設定下陳述的）。讓我們注意到，隨后的定義，特別是微分平坦性定義，是在存在波動的情況下做出的。這并不是說我們失去了這一概念的確定性特征，因為這些擾動很可能是確定性函數。如果它們足夠平滑，即在一定階數內可微，它們也可能是隨機的。

注意，行動 u ( t ) ，或控制輸入，是使我們能夠作用于系統以實現特定目標的函數。因此，動力學方程形成了一個未定的微分方程組，因為控制函數 u ( t ) 并非先驗確定的。一旦控制變量被固定（即，用已知的時間函數代入），系統 (1) 就變成了確定的（即，可以求解或積分）。

輸出 y ( t ) ) 是由模型生成的。如果智能體是生物，這些輸出或觀測可能代表來自感官的信號；如果是人工系統，則代表來自傳感器的信號。更準確地說，我們有以下定義。

并且，局部地，在一般正則點的鄰域內（即，Ψ關于 u 的雅可比矩陣是正則的點），我們可以使用隱函數定理求解 (8) 得到 u。在此以及隨后的定義中，這將被稱為局部地和一般地。

狀態變量代表系統的瞬時記憶：一旦控制（行動）變量被確定，對狀態變量（在時間 t）的了解使得預測未來狀態（在時間 t + dt）成為可能。一個互補的表述如下：動態系統的狀態是一組物理量，對這些量的指定（在沒有外部激勵的情況下）完全決定了系統的演化。更準確地說，我們有以下定義。

一個模型的實現（realisation）由該模型的一個狀態和一個狀態表示組成，正如下述定義所述。

2.3. 波動選擇

上述定義的一個有趣之處在于，它們依賴于存在可微（即平滑或解析）的波動。這意味著我們需要仔細思考我們所說的波動是什么意思——這通常是隨機動力系統研究中的一個重要主題。對于出現在上述生成模型中的波動
，可以有幾種選擇。這些包括以下內容：

? 伊藤（It?）意義下的隨機過程。

? 斯特拉托諾維奇（Stratonovich）意義下的隨機過程。

? 非標準無窮小量（參見，例如，[16–18]）；

? 具有 H?lder 連續樣本路徑的隨機過程，產生隨機常微分方程（RODEs）（參見，例如，[19]）；

? 粗糙路徑（參見，例如，[20]）；

? 隨機傅里葉級數（RFS）（參見，例如，[21,22] 了解度量和收斂性質，以及黎曼流形 [23] 和局部緊群 [24] 上的擴展；另見 [25] 了解工程師的視角）。

讓我們選擇后者，因為它們可能提供一種方便的 形式的波動，并且可以證明隨機常微分方程的解收斂于斯特拉托諾維奇隨機微分方程的解（參見，例如，[25]，定理 5.1）。因此，我們可以考慮所謂的周期性平滑隨機函數：

平滑隨機函數在原子尺度上可能不是合適的選擇，在那裡粒子的運動是高度 erratic（不規則/ erratic）的。然而，它們在細胞和介觀尺度上變得特別合適，并且最可能在宏觀尺度上是合適的，在這些尺度上，許多波動是由動力學系統產生的，這些系統演化的時間尺度比給定控制問題所考慮的時間尺度更快（參見 [1] 以及 Stratonovich 的開創性觀察：“在用馬爾可夫過程替換實際過程時必須格外小心，因為馬爾可夫過程具有許多特殊特征，特別是，由于缺乏平滑性，它們不同于無線電工程中遇到的過程……無線電工程中實際遇到的任何隨機過程都是解析的，且其所有導數以概率 1 是有限的”（[33]，第 122–124 頁））。

備注 2（小波隨機級數）。 秉承上述精神，人們可能會傾向于考慮小波隨機級數，因為小波展開比其傅里葉對應物表現更好。然而，C. Esser, S. Jaffard 和 B. Vede 的近期工作 [34]（另見 [35]）表明需要謹慎；與傅里葉級數相比，幾乎每個連續函數的隨機化都會產生一個幾乎必然無處局部有界的函數。

為了對狀態、控制輸入和輸出的概念提供更具體的直觀理解，讓我們考慮一個簡單但具有代表性的例子。

1. 自由能、平坦性與概念相似性

3.1. 自由能與期望自由能

人們可以將主動推理和微分平坦性指導的控制方案都理解為從詳細描述行動對感知影響的模型中，識別從感知到行動的映射。平坦性依賴于行動與感知之間存在一個可逆映射，使得期望的感知軌跡唯一地確定產生它的行動。主動推理涉及行動的選擇，這些行動使感知與生成模型隱含的感知數據邊緣密度的眾數保持一致。這是由感知數據決定的反射性行動所介導的。識別期望感知軌跡的邊緣密度通常用期望自由能來指定——其作用是基于替代行動序列最小化期望與預期感知軌跡之間的 Kullback–Lieber 散度（也稱為風險）的能力，來確定這些序列的先驗合理性。

與上述概述的那種控制理論公式化一致，主動推理可以被公式化為優化一個模型的泛函，該模型將可控變量與某些可觀測結果聯系起來。具體而言，它依賴于變分自由能的優化（最小化），該自由能作為那些觀測的驚喜或負對數邊緣似然的上界。變分自由能可以通過幾種方式來公式化，以便就能量（即驚喜）和散度（即相對熵）而言，量化從事主動推理的系統的性能：

上文將變分自由能 F F 表述為兩個概率分布（針對離散狀態）或密度（針對連續狀態）的泛函。標記為 p 的密度是與我們的生成模型相關聯的密度，而 q 代表一種密度，它被不同地稱為識別密度、近似后驗密度或變分密度。就本文的目的而言，假設變分密度已經被優化，使得 q ( x ( t ) ∣ u ( t ) ) = p ( x ( t ) ∣ y ( t ) , u ( t ) ) 。自由能的每種表述都依賴于生成模型的不同分解。當表示為聯合密度時，自由能的最小化可以看作是一個約束最大熵問題。在分解為條件概率和邊緣似然時，自由能被視為驚喜（surprise）的上界——即在給定生成模型下，觀測的負對數邊緣似然、貝葉斯模型證據或不可能性。最后，將生成模型分解為先驗和似然，使我們在復雜度（即為了解釋觀測值，我們必須偏離先驗信念多遠）與我們解釋感官輸入的準確度之間取得平衡。

除此之外，人們還可以構建期望自由能，以突出其他形式的差異，這些差異與控制優化特別相關。當在路徑式設定中顯式地構建時，我們有

期望自由能通常用于規劃，在這種情況下，我們可能會沿未來路徑對該量進行積分，并為具有較低期望自由能的控制狀態路徑分配更高的概率。與后續討論特別相關的是這樣一個想法：通過在我們希望獲得的觀測路徑上設置先驗（此處通過對目標進行條件化來表示），期望自由能的優化涉及確定能夠實現這些結果的控制路徑集。

我們現在可以識別出至少三個不同的最優性方面，即驚喜、不充分性和差異：

上述自由能（ F 和 G ）可被視為所謂的全局李雅普諾夫函數（參見，例如，[38]），它們捕捉了最優控制中看到的這些方面（參見，例如，[39,40]）。在下文中，我們將主要關注 G ，特別是風險項，而其他方面留待未來的工作。更準確地說，我們感興趣的是微分平坦性的概念是否與優化 F F 和 G 的生成模型的選擇相一致。在微分平坦模型上推導軌跡跟蹤行動律將被視為最小化了 G 中的上述風險（參見第 4.6 節）。

表 1 總結了到目前為止使用的符號，其中粗體符號表示向量。

3.2. 微分平坦性

3.2.1. 能控性

當人們希望操控一個系統時，一個普遍存在的概念是全局能控性，如下定義所述（參見，例如，[41]）。

讀者可能會注意到，這個定義純粹是描述性的：它不包含任何操控系統的構造性程序；僅通過閱讀定義，不可能推斷出應用于從 x 0 到 x 1 的控制律的形式。這是一種屬于解的存在性類型的定義，而不是針對給定問題的解構造的定義。

讀者可能會注意到，這個定義純粹是描述性的，因為它不包含任何操控系統的構造性程序。此外，它在本質上是逐點的，而不是路徑式的。事實上，這個定義沒有說明任何關于連接初始狀態到最終狀態的路徑。這條路徑可能是不合理的，但仍然滿足能控性要求。我們將在下一節看到一個更強的、在我們看來更有用的屬性，即微分平坦性。

3.2.2. 通過觀察與行動的動機

主動推理的前提是，智能體尋求最小化其關于周圍環境的信念或期望與其經歷的實際狀態之間的驚喜或散度。原則上，這種最小化可以通過有效的信息收集和行動來實施，或者根植于智能體模型的結構本身（例如通過學習及進化來細化）。

我們將考察一種情況，其中必要的效率被編碼在智能體模型結構本身中。更準確地說，感知和行動的必要性通過以下方式直接得到滿足：

(Odsf) 觀測差異結構性實現。狀態 x 可以通過智能體能夠直接知曉的內容（即，無需任何推斷、反思或計算）來恢復，即 y 、 u 及其時間導數。這相當于系統是構造性可觀測的。

(Adsf) 行動差異結構性實現。目標 y μ r 與行動 u 之間的鏈接——達到該目標所必需的——是直接的，因為行動是作為目標及其時間導數的函數給出的。這相當于系統是左可逆的。

一個如 (23) 的系統被稱為關于 z 左可逆，如果行動 u 是 z 及其導數的函數（參見 [42] 的性質 5）。因此，對于一個動態系統要同時滿足 (Odsf) 和 (Adsf)，需要有一個函數 ω ，使得狀態 x= 和行動 u u都可以用 ω 及其時間導數來表示。這對應于微分平坦性 [5,43,44]，這是許多實際動態系統共有的屬性（參見，例如，[45] 及其中的參考文獻）。

3.2.3. 通過直接與逆向視角的動機

3.2.4. 形式化定義

讓我們考慮本小節的核心定義，為了便于閱讀，該定義是針對具有指定參數的系統陳述的（參見，例如，[15,42,45]；另見補充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，D 節，以及 [48] 關于一個 Python 庫，版本 0.10.2）。

讓我們注意到，微分平坦性的定義是在存在波動的情況下做出的。后者可能是確定性的或平滑的隨機函數（即，在一定階數內可微）。我們將考慮特別提供行動作為感知和波動路徑泛函的關系。這使得人們能夠精確且定量地研究每個擾動函數可能對行動施加的影響。此外，產生行動——分別為狀態——作為傳感器和波動路徑函數的關系是一般的（generic），在這個意義上，它對于任何（足夠平滑的）感知和波動路徑都是有效的。在這個意義上，微分平坦性的概念對于生成模型的隨機性是不可知的（agnostic）。后者可能是確定性的（如平均生成模型的情況），受制于確定性但未知的擾動，或受制于隨機（且足夠平滑）的波動。前述定義自然地提供了以下特征描述：

與主動推理的一個有趣的接觸點是，期望自由能泛函的優化意味著模型不同分量（具體而言，狀態和觀測之間）的高度互信息。這意味著從行動，經由狀態，到觀測的精確映射。關鍵在于，同樣的互信息意味著我們會期望觀測關于狀態以及可能的行動具有高度的信息量。在此類模型中從其他變量恢復變量子集的潛力在啟發式上與微分平坦性概念兼容。此外，對微分獨立性的需求與將變分自由能解釋為約束最大熵推斷的目標函數有著有趣的聯系——在沒有“能量”約束的情況下，最佳配置是在系統各分量之間沒有相互約束下的最大熵配置。

3.2.5. 函數參數化

函數參數化性質是微分平坦性的一個本質特征，如果不是迄今為止最本質的特征的話。事實上，原始模型：

正是對這些泛函的研究可能會引起主動推理領域的極大興趣。

3.3. 概念相似性

我們現在可以通過一個簡單的具體例子看到，微分平坦性和自由能最小化都強制要求從感知輸出到行動（即控制輸入）的逆映射。

例 3（簡單的通用例子；相似性）。回顧以下具有標量行動（控制）和傳感器輸出的簡單例子：

我們現在看到，自由能的最小化強制要求從感知輸出到行動的一個（至少是近似的）逆映射。還有一個進一步的關系我們稍后會回述，它基于運動廣義坐標，我們在此尚未探討，且與上述最終方程有關。由于行動影響狀態的變化率，進而影響感官數據，當前感官數據關于行動的梯度為零。通過注意到自由能中不存在感官數據與行動眾數共同出現的項，可以明確地看到這一點。然而，正如此處所強調的，可能存在一個與感官數據的時間導數（即運動廣義坐標的高階）相關的非零梯度。這對于主動推理下行動的反射性表述是必不可少的。

1. 參考文獻、基于平坦性的軌跡跟蹤以及感知和主動推理

4.1. 與線性的等價性

4.1.1. 微分平坦性刻畫

微分平坦系統類——盡管它在實踐中出現得相當頻繁——就反饋等價類而言是最簡單的非線性類。事實上，我們有如下命題。

命題 2。一個系統是平坦的，當且僅當它可通過內生反饋和坐標變換實現線性化。

如果一個動態反饋不包含任何外部動力學，則稱其為內生的。更準確地說，以下成立。

如果存在一個可逆變換交換它們的軌跡，則稱兩個系統是等價的。

關鍵在于，前述線性化不是局部的而是全局的，且平坦系統類與線性系統類相去不遠，因為它們通過內生反饋和坐標變換是等價的。

4.1.2. 動態擴展算法

該過程使人們能夠確定一個 m m 元組 ω = ( ω 1 , … , ω m ) 是否為平坦輸出，并獲得線性化反饋。

第一階段——弱 Brunovsky 指數收集

因此，具有 n 個方程的原始模型 (36) 已經被精確地，即沒有任何近似地，簡化為具有 m 個方程的平坦輸出動力學 (53)，其中在大多數實際情況下， m m 顯著小于 n 。

4.2. 微分平坦性與能控性

讀者可能會問的一個自然問題如下：微分平坦性屬性何時是可驗證的？換句話說，確保給定系統平坦性的可檢驗條件是什么？對于一般非線性系統，答案仍然是一個未解決的問題。對于受限系統類或反饋等價類，存在一些條件。例如，單輸入系統和靜態狀態反饋等價的條件是已知的（參見補充材料，文件 AIandFP-FlatnessAndSRR-HMTPKF-2026-SupplMaterial-v1.pdf，C 節）。

有一些簡單的類是平凡平坦的。在單輸入系統的情況下，那些在反饋等價意義下呈如下級聯形式的系統類，

4.3. 軌跡設計與規劃

為了執行對預定義軌跡的跟蹤，人們必須首先設計該軌跡，即后續行動的目標。在某些情況下，該軌跡的設計將顯而易見，例如，讓眼睛沿直線移動，或做圓周運動，或者在沒有障礙物時讓手臂抓取物體。在其他情況下，規劃軌跡的任務可能高度復雜，特別是在智能體和某些障礙物都在移動的情況下。關于規劃的文獻浩如煙海，且已在機器人學等領域得到了廣泛研究，它在其中扮演著至關重要的角色（參見，例如，[60]）。

4.4. 綜合律計算：跟蹤控制器

4.4.1. 通用行動跟蹤律

有許多方法可以實現具有穩定性的軌跡跟蹤，即確保行動中的差異 漸近趨于零，相應的文獻也是浩如煙海（參見，例如，[41] 作為經典參考）。出于我們的目的，即滿足推斷指南，[41] 中描述的所有定律都是不合適的。這是因為它們不依賴于路徑性質，更重要的是，它們不依賴于類基性質。相比之下，基于平坦性的框架本質上是路徑式的，同時嵌入了智能體模型的物理機制。

已知動力學是平坦的，且具有平坦輸出 ω ω ，它可以通過線性化內生反饋 (50) 轉換為如下形式的線性動力學

備注 7（開環與無模型）。前述行動律被稱為線性化反饋控制器，這是因為平坦輸出動力學在第一步中被精確線性化了。另一種可能性——很可能更有成效——是使用以下控制律之一。第一種可能的選擇是開環控制器，即通過使用（第 13 頁的）(29b) 獲得的行動律，其中 ω 被替換為 ω r （參考軌跡），并且該開環律輔以無模型控制器，秉承 [61] 的精神。其他可能的選擇包括輔以無模型控制器的 (74)、ADRC（自抗擾控制）[62,63] 或滑模控制 [64,65]。

例 5（簡單的通用例子；跟蹤）。再次考慮以下具有標量行動（控制）和傳感器輸出的簡單例子：

該控制律假設完全知曉波動
。當這種知曉不可用時，我們必須基于一個確定性生成模型（這是智能體所知道的全部）來推導控制律，估計這些波動，并對它們進行補償（例如，參見 [66] 關于所謂的無模型控制，或 [62,65] 關于其他方案）。

4.4.2. 眼動示例

例 6（眼動跟蹤）。再次考慮例 4 及其生成模型：

4.5. 主動推理

主動推理的原理隨后可表述為：在先驗信念（即行動將使期望自由能極值化）下，通過行動和感知兩者對自由能進行極值化（參見，例如，[2] 的圖 7）：

上述極值化可以表述為梯度下降的解。

4.6. 與基于平坦性跟蹤的聯系

主動推理的必要性在于驚喜的最小化，即期望（或信念）與實際值之間的差異。鑒于第 3.1 節中對變分自由能的前述分解，我們在總結時突出了主動推理與非線性控制之間的聯系。考慮智能體的動力學
。動態反饋（參見 (48)）

1. 預測作為主動推理與微分平坦性之間的聯系

5.1. 延遲與 δ δ -平坦性

在源自神經科學或生理學的實際系統中，感知和行動環節均存在延遲。盡管這一點至關重要，但在前幾節中尚未予以考慮。事實上，無延遲模型與包含延遲的模型之間存在根本性的差異；其中最顯著的差異在于延遲系統所具有的無限維特性。為了更精確地說明，請考慮如下形式的延遲微分方程：

非正式地說， δ -平坦系統是一個延遲微分方程系統，當允許存在延遲時，它是微分平坦的。讓我們看看這個概念在一個具體例子中是如何展開的。

5.2. 軌跡跟蹤與預測器

當人們希望進行軌跡跟蹤時，如 (99) 中所示，傳感器輸出和/或行動控制中存在的延遲將使得預測部分或全部隱藏狀態或傳感器輸出成為必要。請結合前面的例子考慮這一點。

例 9。跟蹤控制方案 (82) 現在被轉換為

預測器狀態 x ( t ) 由隱式關系 (110b) 給出，可以通過針對右側積分的各種近似策略來求解該關系。然后，該簡單示例的預測控制律應按如下方式實施。

例 10。跟蹤控制方案 (106a) 現在被轉換為

5.3. 廣義坐標

在主動推理框架中，所謂的“均值的運動”與“運動的均值”之間存在著至關重要的區別。為了闡明這一區別，我們首先需要廣義坐標的概念，它是通過線性化微分獲得的。通常，代數中的微分運算 ? 被定義為這樣一種運算：對于任何變量（此處為時間函數），鏈式法則都得到滿足：

這種近似，當有效時，使人們能夠相當容易地解決所謂的隨機實現問題（回想一下，實現是一個涉及隱藏狀態的微分方程，該隱藏狀態是從輸入/行動—輸出/傳感器微分方程獲得的——參見，例如，定義 6；關于隨機實現問題，參見，例如，[77,78]）。當在拉普拉斯近似下研究廣義貝葉斯濾波時，這種近似也是合理的（參見，例如，[32]，第 3.3.4 和 3.3.5 小節）。

廣義坐標可以被視為一個隨當前點移動的坐標框架。在此視角下，它與人們可以應用于非線性系統的一形式變換相關聯（參見，例如，[79,80]）；后者比此處使用的內生動態反饋更為一般。它還與 Cartan 移動標架方法相關聯（參見，例如，[81]）。

1. 結論、局限性與未來方向

我們通過主動推理的視角考察了微分平坦性的效用（參見，例如，[1]）。這種效用已根據“作為推斷的控制”進行了詳細說明。具體而言，人們可能會得出結論，如果支撐主動推理或作為推斷的控制的生成模型可以局限于微分平坦模型類，我們將獲得一種極其高效的控制理論方案。因此，這項工作通過關注行動軌跡和各種差異的最小化（由變分自由能和期望自由能提供），使得從控制理論視角看待作為推斷的控制的主動推理成為可能。 從主動推理的角度來看，這項工作是對微分平坦性及其與人們可能考慮和致力于的生成模型類型的特別相關性的入門。關鍵在于，本文是第一次（初步的）嘗試在連續狀態空間模型的設定中考慮期望自由能。 除了它們在開發控制系統中的作用外，人們還可以考慮本文概述框架的其他應用。一個領域是計算精神病學領域（參見，例如，[82–84]），在那里人們可以開發決策任務的生成模型——用主動推理解決——并用這些來理解精神病理學的計算機制。此類模型通常根據離散替代方案之間的選擇來公式化。然而，正如我們的審稿人所指出的，微分平坦性涉及連續的、可微的狀態空間。雖然計算精神病學的許多應用確實關注離散概率，但精神病學中有一些重要領域依賴于微分平坦性論述中所解決的那種連續變量。這些包括與精神病障礙中的緊張癥相關的改變的運動動力學（參見，例如，[85]）和精神分裂癥中改變的平滑追蹤眼動（參見，例如，[86,87]）。 由于篇幅限制，這里有幾個相關的概念無法在此討論。這些包括劉維爾（Liouvillian）方面（參見 [88–90] 關于自動控制的相關內容及 [91,92] 關于在下丘腦 - 垂體 - 腎上腺軸模型和 Wilson–Cowan 種群網絡設定中對此屬性的考察），以及帶有無模型控制的魯棒跟蹤（參見 [66]）。特別是劉維爾方面，當模型不是微分平坦時，提供了擴展平坦性概念的機會。未來的工作將考慮這些以及與能量傳輸和能控性相關的其他問題（參見，例如，[93,94] 關于相應問題的公式化）和變分函數傳輸。這些涉及根據顯著特征來刻畫模型，并理解重參數化如何可能變換這些特征。 我們討論以下幾點，強調當前處理的局限性并勾勒一些未來方向。

1. 廣義坐標，其中一些局限性——由于其近似特性——可以通過平滑隨機實現來避免。
2. 平坦性的擴展：劉維爾特性以處理模型不是微分平坦的情況。
3. 觀測器和代數估計器，以從傳感器輸出估計隱藏狀態。
4. 魯棒控制律綜合，以應對生成模型下的不確定性，包括波動。
5. 約束滿足，其中約束被施加于隱藏狀態、行動及其時間導數。
6. 特征傳輸：感興趣的特征如何；例如，能量（L2 范數）、斜率或曲率等，如何通過函數參數化進行變換。

6.1. 廣義坐標局限性

1. 第三，考慮最流行的糖尿病模型之一，即伯格曼（Bergman）最小模型（參見，例如，[95,96]）：

6.2. 平滑隨機實現

這種類型微分的使用也與隨機實現問題相關聯（參見，例如，[10]，4.(c).(i)，第 15 頁），這在一般情況下可能相當復雜。相比之下，微分平坦性屬性通過平坦輸出產生一個弱 Brunovsky 規范形（參見 [97]，第 4.1 小節和定義 4.3）。這種規范形產生了所謂的平坦輸出動力學，它很容易給出一個平滑隨機實現，正如下面的命題所述。

當前框架可以被視為 [32] 第 4.1 小節“通過廣義坐標的隨機控制”段落中未來方向的一個充分提議。它還以一種相當簡單的方式嵌入了非平穩平滑隨機信號（參見 [32] 中的備注 4.1.1）。

6.3. 其他未來方向

我們現在簡要考慮由于篇幅限制未能在本文中展開的未來方向。

6.3.1. 平坦性的擴展：劉維爾（Liouvillian）特性

盡管許多實際系統模型是微分平坦的，但在特定類別中，有些并非如此；對于許多生物學和神經科學種群模型來說，情況尤其如此。幸運的是，另一類更廣泛的系統共享一種類似的屬性，即所謂的劉維爾（Liouvillian）系統。劉維爾系統可以被視為平坦系統的擴展 [88,89,98]。后者最顯著的性質是，系統的所有狀態和控制變量都可以直接表達——無需積分任何微分方程——用平坦輸出及其有限數量的時間導數來表示。所謂的劉維爾系統共享類似的性質，但為了推導劉維爾系統的軌跡，我們還需要積分少量微分方程，其解是解析已知的。由此可知，基于平坦性的控制方法可以擴展到求解有限數量的微分方程。

6.3.2. 觀測器與代數估計器

6.3.3. 魯棒控制律綜合

當平均生成模型是對真實系統的粗略近似時，波動的累積效應需要在控制方案中得到補償。所謂的魯棒控制律旨在實現控制目標，例如軌跡跟蹤，盡管存在波動、擾動和未建模動力學（即模型失配）。這些可以通過所謂的無模型控制方案來實現，其中波動的累積效應是在線估計并即時補償的（參見，例如，[66]）。最近的 HEOL 方案（參見 [103]）通過略有不同的技術實現了相同的目標。雖然無模型控制通常與基于標稱（或平均生成）模型綜合的基于平坦性的反饋跟蹤控制律相關聯，但 HEOL 使用了一種基于開環平坦性的方案以及與簡化平坦系統相關聯的切線系統（或變分系統），即簡化平坦系統參考軌跡周圍的線性化系統。其他實例包括滑模控制和自抗擾控制（參見，例如，[62,64,65]）。

6.3.4. 約束滿足

在實際應用中，動力系統總是受到約束：對狀態的約束（例如，機器人的構型空間不是整個空間）和對行動的約束（例如，肌肉具有有限的功率）。這些可以通過當前框架中基于平坦輸出軌跡優化的規劃來處理（參見，例如，[104–106]）。一個有前景的框架是無模型預測控制（MFPC，參見 [107]），它混合了流行的預測控制（參見，例如，[108,109]）和上述的無模型控制。

6.3.5. 特征傳輸

與微分平坦性相關的函數參數化的另一個有趣特性是特征傳輸。這包括幾何特征的傳輸：平坦輸出軌跡的曲率如何與行動的曲率相關聯；換句話說，從將行動表示為平坦輸出及其導數的函數的關系中，推導出行動的曲率作為平坦輸出曲率及其時間導數的函數。

原文鏈接：https://www.mdpi.com/1099-4300/28/1/87