在線精確校準(zhǔn)貝葉斯優(yōu)化

Online Sharp-Calibrated Bayesian Optimization

在線精確校準(zhǔn)貝葉斯優(yōu)化

https://arxiv.org/pdf/2605.10572

摘要

貝葉斯優(yōu)化（BO）是一種廣泛使用的優(yōu)化昂貴黑盒函數(shù)的框架，通常基于高斯過(guò)程（GP）代理模型。其有效性依賴(lài)于在整個(gè) BO 軌跡上既精確（信息量大）又校準(zhǔn)良好的不確定性量化。在實(shí)踐中，GP 核超參數(shù)是未知的，并且會(huì)從順序收集的（非獨(dú)立同分布）數(shù)據(jù)中在線重新擬合，這可能導(dǎo)致不確定性校準(zhǔn)不良或過(guò)于保守，并且超出了標(biāo)準(zhǔn) BO 遺憾理論中固定核的假設(shè)。我們提出了在線精確-校準(zhǔn)貝葉斯優(yōu)化（OSCBO），這是一種 BO 算法，通過(guò)將超參數(shù)選擇構(gòu)建為受約束的在線學(xué)習(xí)問(wèn)題，自適應(yīng)地平衡 GP 的精確度和校準(zhǔn)度。我們還表明，OSCBO 通過(guò)利用底層在線學(xué)習(xí)算法的理論保證，保持了次線性遺憾界。在經(jīng)驗(yàn)上，OSCBO 在合成和現(xiàn)實(shí)世界基準(zhǔn)測(cè)試中表現(xiàn)具有競(jìng)爭(zhēng)力，在最終簡(jiǎn)單遺憾方面位列最強(qiáng)方法之一，同時(shí)保持了穩(wěn)健的累積遺憾表現(xiàn)。

1 引言

許多現(xiàn)代設(shè)計(jì)問(wèn)題歸結(jié)為在嚴(yán)格的評(píng)估預(yù)算下優(yōu)化昂貴的黑盒函數(shù)。貝葉斯優(yōu)化（BO）通過(guò)維護(hù)一個(gè)概率代理模型來(lái)解決這一場(chǎng)景，通常是帶有選定核的高斯過(guò)程（GP），其后驗(yàn)均值和不確定性由采集函數(shù)組合以選擇新的評(píng)估點(diǎn) [14]。這種由不確定性驅(qū)動(dòng)的采樣已在材料、生物學(xué)和機(jī)器人等多樣領(lǐng)域?qū)崿F(xiàn)了高效優(yōu)化 [8, 30]。

BO 的核心理論視角是遺憾（regret），它衡量了隨著評(píng)估預(yù)算的增長(zhǎng)，算法接近全局最優(yōu)的速度有多快。對(duì)于基于 GP 的 BO，遺憾分析將高概率 GP 不確定性界與 GP-UCB [29] 等策略的探索-利用行為相結(jié)合。然而，這些結(jié)果幾乎總是假設(shè)在整個(gè) BO 循環(huán)中 GP 核是固定的，或者等價(jià)地，假設(shè)由核超參數(shù)誘導(dǎo)的再生核希爾伯特空間（RKHS）是固定的。在實(shí)踐中，超參數(shù)是在線重新擬合的（例如，通過(guò)最大化邊際似然）。這改變了不確定性估計(jì)和隱含的函數(shù)類(lèi)，導(dǎo)致標(biāo)準(zhǔn) BO 實(shí)踐與現(xiàn)有遺憾理論之間的不匹配。

在每次 BO 迭代中廣泛重新擬合 GP 超參數(shù)的做法表明，超參數(shù)選擇是優(yōu)化循環(huán)的核心部分。由于超參數(shù)塑造了后驗(yàn)不確定性，它直接決定了采集值，從而決定了下一次評(píng)估。基于校準(zhǔn)在序貫決策中處于核心地位的觀點(diǎn) [11]，我們將經(jīng)典的探索-利用原則重新表述為預(yù)測(cè)不確定性的校準(zhǔn)度與精確度（sharpness）之間的權(quán)衡。校準(zhǔn)度詢(xún)問(wèn) GP 置信區(qū)間是否在自適應(yīng)查詢(xún)序列上達(dá)到其名義覆蓋率，通過(guò)覆蓋率差距來(lái)量化；而精確度則測(cè)量置信區(qū)間的寬度。過(guò)于保守的不確定性可能保持校準(zhǔn)但會(huì)減緩利用；過(guò)于自信的不確定性雖然精確但校準(zhǔn)不良，可能觸發(fā)過(guò)早的利用。因此，在在線超參數(shù)自適應(yīng)過(guò)程中顯式地平衡校準(zhǔn)度和精確度，提供了一種原則性的方法，在實(shí)驗(yàn)成本高昂時(shí)避免校準(zhǔn)不良和過(guò)度保守。

一個(gè)關(guān)鍵的復(fù)雜因素是 BO 數(shù)據(jù)是非獨(dú)立同分布（non-i.i.d.）的：查詢(xún)點(diǎn)是根據(jù)過(guò)去的觀測(cè)和當(dāng)前模型自適應(yīng)選擇的。在獨(dú)立同分布采樣下，邊際似然超參數(shù)擬合可被解釋為優(yōu)化一個(gè)適當(dāng)評(píng)分規(guī)則，這與概率預(yù)測(cè)的校準(zhǔn)-精確度范式相一致 [16]。在自適應(yīng)查詢(xún)下，這種一致性可能會(huì)失效：采樣分布隨算法而變化，因此標(biāo)準(zhǔn)的超參數(shù)擬合或基于獨(dú)立同分布的重新校準(zhǔn)都無(wú)法保證沿優(yōu)化軌跡的不確定性可靠 [11]。這促使我們將超參數(shù)選擇視為序貫決策問(wèn)題的一部分，在自適應(yīng)數(shù)據(jù)收集下顯式控制校準(zhǔn)度和精確度。

貢獻(xiàn)。 我們提出了在線精確-校準(zhǔn)貝葉斯優(yōu)化（OSCBO），一種在自適應(yīng)、非獨(dú)立同分布數(shù)據(jù)收集下通過(guò)權(quán)衡精確度和校準(zhǔn)度來(lái)在線調(diào)整 GP 核超參數(shù)的方法。基于具有長(zhǎng)期約束的在線學(xué)習(xí) [7]，OSCBO 將超參數(shù)選擇構(gòu)建為一個(gè)受約束的在線問(wèn)題，在促進(jìn)窄置信區(qū)間的同時(shí)控制累積覆蓋率違規(guī)。當(dāng)與上置信界（UCB）策略結(jié)合使用時(shí)，OSCBO 保留了次線性遺憾保證。我們的貢獻(xiàn)如下：

? 概念上： 我們通過(guò)精確度-校準(zhǔn)度的視角重新解釋了探索-利用及其產(chǎn)生的遺憾保證。

? 方法上： 我們提出了 OSCBO，一種原則性的在線超參數(shù)選擇方案。它在非獨(dú)立同分布采樣下積極促進(jìn)精確的不確定性量化，同時(shí)確保長(zhǎng)期校準(zhǔn)誤差不超過(guò)指定閾值。

? 理論上： 我們表明 OSCBO 通過(guò)利用底層在線算法的遺憾保證，實(shí)現(xiàn)了次線性遺憾界。

? 經(jīng)驗(yàn)上： 我們?cè)诤铣珊同F(xiàn)實(shí)世界基準(zhǔn)測(cè)試上評(píng)估了 OSCBO，表明它在最終簡(jiǎn)單遺憾方面位列最佳方法之一，并且在累積遺憾方面保持穩(wěn)健。

2 相關(guān)工作

未知超參數(shù)下的 BO。 越來(lái)越多的研究探討了當(dāng) GP 超參數(shù)未知且必須在線學(xué)習(xí)時(shí)的 BO，放松了經(jīng)典遺憾界背后的固定核/再生核希爾伯特空間（RKHS）假設(shè)。一個(gè)典型的例子是核長(zhǎng)度尺度，它控制相關(guān)范圍，從而決定有效平滑度。[4]（A-GP-UCB）和 [38]（LB-GP-UCB）提出了具有遺憾保證的原則性長(zhǎng)度尺度自適應(yīng)方案，旨在確保誘導(dǎo)的 RKHS 最終足夠豐富以包含目標(biāo)函數(shù)。相關(guān)結(jié)果涵蓋了具有固定平滑度的 Matérn 核 [23]，而互補(bǔ)的方法使用元學(xué)習(xí)從先前任務(wù)中初始化超參數(shù) [35, 13]。我們的工作也針對(duì)迭代重新擬合下的遺憾，但遵循不同的原則：選擇超參數(shù)以管理沿 BO 軌跡的校準(zhǔn)與精確度（sharpness）權(quán)衡。

自適應(yīng) BO 下的校準(zhǔn)與重新校準(zhǔn)。 最近的研究探討了 BO 的校準(zhǔn)不確定性，更廣泛地說(shuō)，探討了在分布偏移和對(duì)抗性選擇數(shù)據(jù)下的序列預(yù)測(cè)。在 BO 中，[31] 將 GP 后驗(yàn)與共形預(yù)測(cè)相結(jié)合，以在協(xié)變量偏移下生成校準(zhǔn)的預(yù)測(cè)集，而共形方法更廣泛地將覆蓋率保證從獨(dú)立同分布設(shè)置擴(kuò)展到分布偏移和自適應(yīng)數(shù)據(jù)收集 [33, 15, 3, 1]。作為補(bǔ)充，[10] 提出了一種基于修改后的分位數(shù)損失（pinball loss）的在線事后重新校準(zhǔn)規(guī)則，而 [11]（OCBO）在任意對(duì)手下（包括序列數(shù)據(jù)）提供了校準(zhǔn)保證。精確-校準(zhǔn)高斯過(guò)程（SCGP）[6] 也使用精確度-校準(zhǔn)目標(biāo)學(xué)習(xí) GP 不確定性參數(shù)，但它們是為校準(zhǔn)回歸而非自適應(yīng) BO 設(shè)計(jì)的：它們依賴(lài)于訓(xùn)練/校準(zhǔn)數(shù)據(jù)劃分，并針對(duì)固定置信水平的預(yù)測(cè)集進(jìn)行校準(zhǔn)，而不是沿優(yōu)化軌跡優(yōu)化 BO 采集函數(shù)。這些方法主要針對(duì)校準(zhǔn)的預(yù)測(cè)不確定性或分位數(shù)/CDF 的重新校準(zhǔn)，并未直接解決任意 BO 采集函數(shù)內(nèi)部 GP 超參數(shù)選擇的在線校準(zhǔn)-精確度權(quán)衡問(wèn)題。相反，我們?cè)诰€調(diào)整 GP 超參數(shù)以?xún)?yōu)化精確度，同時(shí)在 BO 軌跡上控制長(zhǎng)期的覆蓋偏差（miscoverage）。

帶約束與動(dòng)態(tài)環(huán)境的在線學(xué)習(xí)。 BO 中的超參數(shù)自適應(yīng)可被視為具有長(zhǎng)期約束的在線學(xué)習(xí)，其中學(xué)習(xí)者在優(yōu)化目標(biāo)的同時(shí)控制累積的校準(zhǔn)違規(guī)。因此，相關(guān)的理論保證是最優(yōu)性差距與約束違反界，這與 BO 遺憾不同。[7] 針對(duì)隨機(jī)和對(duì)抗性獎(jiǎng)勵(lì)/約束，提供了兼顧兩者的保證，使用了非凸黑盒子程序與執(zhí)行-恢復(fù)（play–recovery）機(jī)制。相關(guān)地，[5] 使用樂(lè)觀可行性估計(jì)時(shí)變可行集，研究了具有長(zhǎng)期約束的賭博機(jī)問(wèn)題。

3 預(yù)備知識(shí) (Preliminaries)

3.1 基于 GP 代理模型的貝葉斯優(yōu)化 (Bayesian Optimization with GP Surrogates)

3.2 自適應(yīng)設(shè)置下的校準(zhǔn)與銳度 (Calibration and Sharpness under Adaptive Setting)

4 關(guān)于 GP-UCB 的銳度—校準(zhǔn)視角

綜上所述，推論 4.1 和 4.2 表明，在固定核函數(shù)下，GP-UCB 置信區(qū)間將概率銳度、校準(zhǔn)和累積遺憾界聯(lián)系在了一起，從而引出了 OSCBO。然而，當(dāng)超參數(shù)在線選擇時(shí)，BO 軌跡不再受單個(gè)固定核置信事件的支配，這種聯(lián)系也不再自動(dòng)成立。下一節(jié)將介紹超參數(shù)選擇期間的顯式銳度—校準(zhǔn)控制。

5在線精確校準(zhǔn)的BO

我們提出了在線銳度校準(zhǔn)貝葉斯優(yōu)化（Online Sharp-Calibrated Bayesian Optimization, OSCBO），它將 GP 超參數(shù)選擇視為一個(gè)約束在線優(yōu)化問(wèn)題，旨在平衡銳度與長(zhǎng)期校準(zhǔn)違背。5.1 節(jié)定義了從每個(gè) BO 查詢(xún)中提取的每輪銳度損失和校準(zhǔn)約束。5.2 節(jié)描述了由此產(chǎn)生的原始—對(duì)偶在線更新以及 play-recovery 機(jī)制。5.3 節(jié)將此更新與 BO 循環(huán)相結(jié)合，從而得到 OSCBO。

5.1 銳度損失與校準(zhǔn)約束

遺憾最小化器。 OSCBO 將原始和對(duì)偶學(xué)習(xí)者視為黑盒 RMs（第 3.3 節(jié)，第 B.2 節(jié)），通過(guò) INIT 和交替的 NEXTELEMENT/OBSERVEUTILITY 更新進(jìn)行實(shí)例化。我們的實(shí)現(xiàn)對(duì)偶 RM 使用帶有負(fù)熵正則化器的在線鏡像下降；原始 RM 使用 FTPL 來(lái)處理非凸的 Θ （第 B.3 和 B.4 節(jié)）。

6 理論分析

6.2 銳度與校準(zhǔn)的在線學(xué)習(xí)保證

假設(shè)定理 6.1 的高概率事件成立，約束在線學(xué)習(xí)分析得出了關(guān)于銳度最優(yōu)性差距和累積校準(zhǔn)違背的次線性界。

6.3 帶有 GP-UCB 的 OSCBO 的 BO 遺憾界

我們現(xiàn)在將在線學(xué)習(xí)的保證轉(zhuǎn)化為帶有 UCB 采集函數(shù)的 OSCBO 的 BO 遺憾界。定理 6.1 中 β t 的選擇起到兩個(gè)作用：它導(dǎo)出了上文使用的關(guān)于 Θ 的統(tǒng)一置信事件，并且其數(shù)值也足夠大，以支持下文遺憾證明中的 UCB 樂(lè)觀步驟。結(jié)合引理 6.2，這將 BO 分析簡(jiǎn)化為控制在參考核（reference kernel）下的累積銳度損失，而這是通過(guò)最大信息增益來(lái)實(shí)現(xiàn)的。

該界限比具有已知核超參數(shù)的經(jīng)典 GP-UCB 更寬松，因?yàn)樵诰€超參數(shù)自適應(yīng)引入了原始/對(duì)偶（primal/dual）遺憾項(xiàng)以及 β t 的覆蓋數(shù)（covering-number）膨脹。由于這些代價(jià)保持次線性，OSCBO 仍然實(shí)現(xiàn)了次線性遺憾。相比之下，通用的在線學(xué)習(xí)方法應(yīng)用于 BO 時(shí)可能會(huì)產(chǎn)生每輪的學(xué)習(xí)代價(jià)，從而導(dǎo)致線性遺憾 [18]。

7 實(shí)驗(yàn)

基線方法。 我們報(bào)告了我們方法的兩個(gè)變體：OSCBO（校準(zhǔn)懲罰公式 7 中 p = 2 ）和 OSCBO-L1（使用 p = 1 ），GP-UCB-MLL [29]，在線校準(zhǔn) BO (OCBO) [11]，自適應(yīng) GP-UCB (A-GP-UCB) [4]，長(zhǎng)度尺度平衡 GP-UCB (LB-GP-UCB) [38]，銳度校準(zhǔn) GP (SCGP) [6]，以及用于 BO 的 TabICLv2 [25, 27, 36]。詳細(xì)信息見(jiàn)附錄 D.1。

實(shí)現(xiàn)細(xì)節(jié)。 OSCBO 和基于 GP 的基線方法是在 BoTorch [2] 中實(shí)現(xiàn)的；TabICLv2 是通過(guò)自定義的 BO 包裝器使用的。除非另有說(shuō)明，我們使用各向同性（isotropic）Matérn 核， ν = 2.5 ，固定輸出尺度和固定觀測(cè)噪聲，僅估計(jì)長(zhǎng)度尺度。我們?cè)诤铣苫鶞?zhǔn)和真實(shí)世界任務(wù)上進(jìn)行評(píng)估，包括 Lunar 12D [12]，Material 5D [24, 38]，Concrete 7D [37]，以及 Crossbarrel 4D [17]。對(duì)于每個(gè)任務(wù)，我們報(bào)告 20 個(gè)隨機(jī)種子上的平均值 ± ± 標(biāo)準(zhǔn)誤。關(guān)于任務(wù)和超參數(shù)的更多細(xì)節(jié)見(jiàn)第 D 節(jié)。

7.1 結(jié)果

圖 2 報(bào)告了跨合成和真實(shí)世界基準(zhǔn)的簡(jiǎn)單遺憾（simple regret）。OSCBO 始終是最強(qiáng)的方法之一：它在幾個(gè)任務(wù)上與 GP-UCB-MLL 持平或有所改進(jìn)，同時(shí)避免了僅校準(zhǔn)或基于調(diào)度（schedule-based）替代方案的較弱表現(xiàn)。OSCBO-L1 略遜于默認(rèn)的 OSCBO 變體。總之，這些結(jié)果表明銳度—校準(zhǔn)更新提供了一種調(diào)整長(zhǎng)度尺度的有效方法，其中校準(zhǔn)懲罰的選擇控制了最終簡(jiǎn)單遺憾與軌跡級(jí)性能之間的權(quán)衡。TabICLv2 具有競(jìng)爭(zhēng)力但非主導(dǎo)的表現(xiàn)表明，繞過(guò) GP 長(zhǎng)度尺度優(yōu)化并不能消除顯式長(zhǎng)度尺度自適應(yīng)的價(jià)值。

圖 S1 中的累積遺憾類(lèi)比圖展示了一個(gè)互補(bǔ)的畫(huà)面。OSCBO-L1 實(shí)現(xiàn)了最佳的聚合累積遺憾排名，而默認(rèn)的 OSCBO 位于主要的基于 GP 的基線簇中。結(jié)合簡(jiǎn)單遺憾的結(jié)果，這指向了一個(gè)由校準(zhǔn)指數(shù)控制的權(quán)衡： p = 2 有利于最終解的質(zhì)量，而 p = 1 提高了沿軌跡的預(yù)算高效性能。我們將在下一節(jié)回到這一分析。

7.2 敏感性和消融分析

我們使用主實(shí)驗(yàn)中的配置對(duì) BO 循環(huán)進(jìn)行消融：各向同性 Matérn-5/2 GP 代理模型，UCB 采集，以及默認(rèn)的 p = 2原始校準(zhǔn)更新。每個(gè)面板僅包含相應(yīng)的修改有意義且可用的基線。

對(duì)核和采集選擇的魯棒性。 圖 3 顯示 OSCBO 并不局限于單一的核 - 采集對(duì)。（顯示了任務(wù)平均排名；原始遺憾軌跡見(jiàn)圖 S2）。改變 Matérn 平滑度始終使 OSCBO 在多次試驗(yàn)中保持為表現(xiàn)最好的方法之一。此外，用 LogEI 替換 UCB 保持了 OSCBO 的競(jìng)爭(zhēng)力，表明銳度—校準(zhǔn)更新在 UCB 之外也是有效的。當(dāng)使用 ARD 長(zhǎng)度尺度時(shí)，OSCBO 的表現(xiàn)略差于 GP-UCB-MLL，主要是由于 Lunar 任務(wù)（圖 S2）。由于 ARD 為每個(gè)維度引入了一個(gè)長(zhǎng)度尺度，我們也包含了 VanillaBO [19]；然而，其行為并非始終更強(qiáng)，可能是因?yàn)榛鶞?zhǔn)測(cè)試的維度仍然適中。

校準(zhǔn)懲罰和診斷的影響。 圖 3（右上方面板）總結(jié)了 OSCBO 和 OSCBO-L1 之間的簡(jiǎn)單—累積遺憾權(quán)衡，而診斷面板（圖 3，底行；圖 S3）闡明了 Levy 5D 上的潛在動(dòng)態(tài)。這兩個(gè)變體的不同之處在于校準(zhǔn)約束（公式 7）的指數(shù) p ，該指數(shù)同時(shí)進(jìn)入了 FTPL 和 OMD 目標(biāo)（公式 S5 和 S7）。當(dāng) p = 2 時(shí)，二次校準(zhǔn)懲罰類(lèi)似于 GP 邊緣似然的數(shù)據(jù)擬合幾何，且 OSCBO 在遺憾、銳度—校準(zhǔn)和長(zhǎng)度尺度軌跡上緊密跟蹤 GP-UCB-MLL。當(dāng) p = 1 時(shí)，大殘差僅受到線性懲罰，減少了罕見(jiàn)的大預(yù)測(cè)誤差的影響，并導(dǎo)致較少的長(zhǎng)度尺度修正。這改變了銳度—校準(zhǔn)的權(quán)衡：OSCBO-L1 改善了累積遺憾，但代價(jià)是在各個(gè)任務(wù)上最終簡(jiǎn)單遺憾略弱。

8 討論

我們引入 OSCBO 是基于一個(gè)核心觀察：在自適應(yīng)查詢(xún)下，探索—利用權(quán)衡可以被視為尖銳（sharp）與校準(zhǔn)（calibrated）不確定性之間的權(quán)衡。將 GP 超參數(shù)重新擬合視為在線決策問(wèn)題，使我們能夠形式化并控制 BO 軌跡上的這種張力。特別是，默認(rèn)的二次 OSCBO 更新反映了 GP 邊緣似然的對(duì)數(shù)行列式和二次數(shù)據(jù)擬合結(jié)構(gòu)，這解釋了它與 GP-UCB-MLL 在經(jīng)驗(yàn)上的緊密一致性。然而，與黑盒 MLL 重新擬合不同，OSCBO 將此更新置于約束在線學(xué)習(xí)過(guò)程中，從而為所得的 GP-UCB 規(guī)則產(chǎn)生了次線性遺憾分析。更廣泛地說(shuō)，我們的結(jié)果表明重新擬合目標(biāo)本身就是一種設(shè)計(jì)選擇：改變?cè)夹?zhǔn)懲罰會(huì)改變長(zhǎng)度尺度動(dòng)態(tài)，其中 OSCBO-L1 以最終簡(jiǎn)單遺憾的微小代價(jià)提供了更具預(yù)算效率的軌跡。一個(gè)特別有前景的途徑是將 OSCBO 風(fēng)格的銳度/校準(zhǔn)控制轉(zhuǎn)移到具有更具挑戰(zhàn)性不確定性的代理模型上，如貝葉斯神經(jīng)網(wǎng)絡(luò) [22] 或可擴(kuò)展的近似 GP。最后，我們的理論僅涵蓋 UCB；將其擴(kuò)展到期望改進(jìn)（Expected Improvement）或湯普森采樣（Thompson Sampling）等策略留待未來(lái)的工作。

https://arxiv.org/pdf/2605.10572