中關(guān)村學(xué)院GaussianPile實(shí)現(xiàn)切片式容積影像快速重建

近年來(lái)，3D Gaussian Splatting（3DGS）在三維視覺(jué)和圖形學(xué)中展現(xiàn)出很強(qiáng)的表示與渲染能力。相比傳統(tǒng)體素或神經(jīng)輻射場(chǎng)，它用一組可優(yōu)化的各向異性高斯來(lái)表示三維場(chǎng)景，既能保留連續(xù)空間結(jié)構(gòu)，又能實(shí)現(xiàn)高速渲染。

但在醫(yī)學(xué)和科學(xué)成像中，一個(gè)很自然的問(wèn)題是：如果面對(duì)的不是自然場(chǎng)景中的 “表面”，而是超聲、顯微、MRI 等切片式成像采集得到的三維容積重建數(shù)據(jù)，3DGS 還能不能發(fā)揮作用？

北京中關(guān)村學(xué)院和清華大學(xué)提出的GaussianPile正是圍繞這個(gè)問(wèn)題展開(kāi)。它是一個(gè)面向切片式容積成像的稀疏高斯表示與重建框架，嘗試將傳統(tǒng) voxel grid 形式的三維體數(shù)據(jù)轉(zhuǎn)換為一組 3D Focus Gaussian primitives，在保持內(nèi)部結(jié)構(gòu)可重建的同時(shí)，實(shí)現(xiàn)壓縮、快速渲染和三維體素化評(píng)估。

• 論文標(biāo)題：GaussianPile: A Unified Sparse Gaussian Splatting Framework for Slice-based Volumetric Reconstruction
• arXiv 地址：https://arxiv.org/abs/2603.20611

GaussianPile 與已有方法在質(zhì)量、速度和訓(xùn)練時(shí)間上的對(duì)比

為什么切片式容積成像需要新的表示

在生物醫(yī)學(xué)成像中，很多三維數(shù)據(jù)并不是一次性獲得完整體積，而是由一系列二維切片堆疊得到。例如自動(dòng)乳腺超聲、光片顯微、結(jié)構(gòu)光顯微和部分 MRI 數(shù)據(jù)，都可以看作是切片式容積數(shù)據(jù)。

這類數(shù)據(jù)通常面臨三個(gè)問(wèn)題：

• 首先是數(shù)據(jù)量大。高分辨率三維圖像會(huì)迅速帶來(lái)存儲(chǔ)和傳輸壓力。傳統(tǒng)體素網(wǎng)格雖然直觀，但每個(gè)空間位置都需要顯式存儲(chǔ)，隨著分辨率提高，成本增長(zhǎng)很快；
• 其次是切片方向的成像特性不能被忽略。真實(shí)成像系統(tǒng)并不是理想的 “無(wú)限薄切片”。每一張切片往往具有有限厚度和有限焦深，切片內(nèi)的像素值來(lái)自一定厚度范圍內(nèi)結(jié)構(gòu)的共同貢獻(xiàn)。這一點(diǎn)在超聲和光片顯微中尤其明顯；
• 第三是交互效率。很多隱式神經(jīng)表示方法可以帶來(lái)較好的壓縮率，但優(yōu)化和查詢通常較慢，更適合作為冷存儲(chǔ)方案，而不適合需要快速訪問(wèn)、實(shí)時(shí)瀏覽甚至機(jī)器人導(dǎo)航的應(yīng)用場(chǎng)景。

因此，GaussianPile 希望構(gòu)建一種表示：既像 3DGS 一樣高效、緊湊、可渲染，又能尊重切片式成像中的物理過(guò)程，保留醫(yī)學(xué)和科學(xué)分析真正關(guān)心的內(nèi)部結(jié)構(gòu)。

GaussianPile 的核心思想

GaussianPile 的核心是把切片式成像的 “有限厚度” 顯式寫進(jìn)高斯渲染過(guò)程。

標(biāo)準(zhǔn) 3DGS 主要面向自然場(chǎng)景的表面渲染，通常假設(shè)相機(jī)是 all-in-focus 的：一個(gè)三維點(diǎn)投影到圖像平面時(shí)，并不顯式考慮醫(yī)學(xué)成像中沿切片方向的點(diǎn)擴(kuò)散和焦深效應(yīng)。直接把它用于切片數(shù)據(jù)時(shí)，可能出現(xiàn)一個(gè)問(wèn)題：二維切片看起來(lái)擬合得還不錯(cuò)，但三維內(nèi)部結(jié)構(gòu)并不可靠。

GaussianPile 引入了一個(gè) focus-aware physical model。具體來(lái)說(shuō)，它將成像系統(tǒng)在切片方向上的點(diǎn)擴(kuò)散函數(shù)建模為一個(gè)有限厚度的 sensitivity map，并把這個(gè)物理響應(yīng)與每個(gè) 3D Gaussian 的投影過(guò)程結(jié)合起來(lái)。這樣，距離當(dāng)前切片較近的高斯會(huì)對(duì)圖像產(chǎn)生主要貢獻(xiàn)，而離焦區(qū)域的高斯會(huì)被自然衰減。

GaussianPile 的 focus-aware rendering pipeline

整個(gè)渲染過(guò)程可以概括為三步：

1.Scan：在三維高斯表示中采樣不同深度的虛擬切片；

2.Focus：根據(jù)切片厚度和系統(tǒng)焦深，對(duì)高斯進(jìn)行軸向重參數(shù)化，并調(diào)制離焦區(qū)域的貢獻(xiàn)；

3.Pile：將經(jīng)過(guò) focus 調(diào)制的高斯投影到二維切片，并采用 additive rasterization 累積體積強(qiáng)度。

這里的 additive rasterization 也很關(guān)鍵。自然場(chǎng)景渲染常用 alpha blending 來(lái)處理遮擋關(guān)系，但切片式醫(yī)學(xué)成像中的像素強(qiáng)度 intensity 更接近體積信號(hào)沿成像方向的積分。因此，GaussianPile 采用加性累積來(lái)描述不同高斯對(duì)同一像素的貢獻(xiàn)，使渲染過(guò)程更符合切片式容積成像的物理含義。

從 voxel 到 Gaussian：壓縮之外，更重要的是可計(jì)算的三維表示

GaussianPile 并不只是把體數(shù)據(jù) “壓小”。它更像是把切片序列轉(zhuǎn)換成了一種可計(jì)算的三維中間表示。

在這個(gè)表示中，每個(gè)高斯包含位置、尺度、方向和強(qiáng)度等參數(shù)。由于 Gaussian 本身是連續(xù)函數(shù)，一個(gè)高斯可以覆蓋一片空間區(qū)域，因此通常不需要像體素網(wǎng)格那樣逐點(diǎn)存儲(chǔ)。同時(shí)，GaussianPile 去除了標(biāo)準(zhǔn) 3DGS 中用于表面外觀建模的球諧系數(shù)，因?yàn)獒t(yī)學(xué)切片強(qiáng)度更接近視角無(wú)關(guān)的體積密度，而不是自然圖像中的視角相關(guān)顏色。

在壓縮階段，GaussianPile進(jìn)一步利用高斯參數(shù)的空間相關(guān)性，對(duì)位置、尺度、旋轉(zhuǎn)和透明度等屬性進(jìn)行量化與熵編碼。實(shí)驗(yàn)中，GaussianPile 相對(duì)于 voxel grid 實(shí)現(xiàn)了穩(wěn)定約 16 倍的壓縮，在部分?jǐn)?shù)據(jù)集上壓縮率達(dá)到 20 到 26 倍，同時(shí)仍能保持非常好的二維切片重建和三維結(jié)構(gòu)一致性。

實(shí)驗(yàn)結(jié)果：達(dá)到速度、質(zhì)量和壓縮之間的平衡

實(shí)驗(yàn)部分在自動(dòng)乳腺超聲（ABUS）、光片顯微（LSM）以及多組細(xì)胞顯微數(shù)據(jù)上評(píng)估了 GaussianPile，并與 HEVC、INR/NeRF 類壓縮方法以及原始 3DGS 方法進(jìn)行了比較。

結(jié)果顯示，GaussianPile 在多個(gè)數(shù)據(jù)集上取得了更好的 2D PSNR/SSIM 和 3D PSNR/SSIM。相比 HEVC，它能更好保留細(xì)微結(jié)構(gòu)；相比 INR 類方法，它在高頻細(xì)節(jié)和優(yōu)化速度上更有優(yōu)勢(shì)；相比直接使用 3DGS，它能顯著改善三維結(jié)構(gòu)不一致和 floating artifacts 等問(wèn)題。

不同方法在超聲和顯微數(shù)據(jù)上的二維重建效果對(duì)比

在效率方面，GaussianPile 可以在數(shù)分鐘內(nèi)達(dá)到較高質(zhì)量結(jié)果。論文中報(bào)告的平均收斂時(shí)間約為 8 分鐘，部分?jǐn)?shù)據(jù)在約 3 分鐘內(nèi)即可得到較好重建結(jié)果。相比需要較長(zhǎng)優(yōu)化時(shí)間的 INR/NeRF 類方法，GaussianPile 最高實(shí)現(xiàn)約 11 倍加速，同時(shí)保留了 Gaussian 表示帶來(lái)的實(shí)時(shí)渲染能力。

三維重建結(jié)果對(duì)比。適配后的原始 3DGS 雖然可能擬合二維切片，但三維內(nèi)部結(jié)構(gòu)容易失真；GaussianPile 保持了更好的三維體結(jié)構(gòu)一致性。

除了常規(guī)醫(yī)學(xué)和顯微數(shù)據(jù)，研究團(tuán)隊(duì)還在電子顯微等更大規(guī)模數(shù)據(jù)上進(jìn)行了擴(kuò)展實(shí)驗(yàn)，觀察到 GaussianPile 在更高分辨率體數(shù)據(jù)上仍具有較好的可擴(kuò)展性。這說(shuō)明該表示不僅適用于小規(guī)模樣本，也有潛力服務(wù)于更大規(guī)模的科學(xué)成像數(shù)據(jù)的瀏覽和分析。

在大型數(shù)據(jù)集上的可擴(kuò)展性分析

未來(lái)方向

在機(jī)器人輔助手術(shù)中，系統(tǒng)需要盡可能實(shí)時(shí)地獲得組織的三維結(jié)構(gòu)，并進(jìn)一步完成腫瘤、血管或其他關(guān)鍵區(qū)域的定位與理解。傳統(tǒng)方案往往依賴更復(fù)雜的陣列硬件或機(jī)械掃描來(lái)提高三維成像質(zhì)量，但這會(huì)帶來(lái)成本、體積和掃描時(shí)間上的壓力。另一方面，如果算法側(cè)的重建過(guò)程過(guò)慢，也難以進(jìn)入 “成像 - 理解 - 規(guī)劃 - 執(zhí)行” 的閉環(huán)。

GaussianPile 提供了一種折中路徑，在不改變底層成像模態(tài)的前提下，把成像數(shù)據(jù)轉(zhuǎn)換為緊湊、連續(xù)、可渲染的三維高斯表示。這個(gè)表示既可以用于快速瀏覽和壓縮存儲(chǔ)，也可以進(jìn)一步支持體素化評(píng)估、三維分割和后續(xù)可能產(chǎn)生的可變形建模。

小結(jié)

GaussianPile 嘗試回答的是一個(gè)交叉問(wèn)題：3DGS 這種高效三維表示，能否從自然場(chǎng)景擴(kuò)展到具有明確物理約束的切片式容積成像？答案是：可以，但不能直接照搬。關(guān)鍵在于把真實(shí)成像系統(tǒng)中的有限切片厚度和焦深效應(yīng)納入高斯前向投影過(guò)程，讓表示不僅能擬合二維圖像，還能保持三維內(nèi)部結(jié)構(gòu)的一致性。

從實(shí)驗(yàn)結(jié)果看，GaussianPile 在重建質(zhì)量、訓(xùn)練速度和壓縮率之間取得了較好的平衡。更重要的是，它將體素網(wǎng)格轉(zhuǎn)化為一種連續(xù)、稀疏、可交互的高斯表示，為醫(yī)學(xué)影像壓縮、科學(xué)數(shù)據(jù)瀏覽，以及手術(shù)機(jī)器人場(chǎng)景下的實(shí)時(shí)三維感知提供了新的技術(shù)路徑。

作者簡(jiǎn)介

本文第一作者來(lái)自北京中關(guān)村學(xué)院 & 清華大學(xué) 2024 級(jí)聯(lián)培博士生孔迪，通訊作者為清華大學(xué)長(zhǎng)聘副教授、北京中關(guān)村學(xué)院共建導(dǎo)師馬騁和清華大學(xué)博士后陳譽(yù)文，并由王一凱副教授（北京師范大學(xué)）、郭文杰（清華大學(xué)）、卜一凡（清華大學(xué)）、張博雅（北京中關(guān)村學(xué)院 & 南開(kāi)大學(xué)）、段月欣（北京中關(guān)村學(xué)院 & 南開(kāi)大學(xué)）、岳夏微（北京中關(guān)村學(xué)院 & 南開(kāi)大學(xué)）、杜文彪（北京中關(guān)村學(xué)院 & 北京理工大學(xué)）、仲依蔓（北京中關(guān)村學(xué)院 & 北京航空航天大學(xué)）共同合作完成。該研究依托北京中關(guān)村學(xué)院學(xué)生自主立項(xiàng) “乳腺智能微創(chuàng)手術(shù)機(jī)器人系統(tǒng)及關(guān)鍵技術(shù)研究” 項(xiàng)目開(kāi)展，研究團(tuán)隊(duì)長(zhǎng)期聚焦三維視覺(jué)與計(jì)算成像相關(guān)的算法研究。