性能超越李飛飛，他們把10億高斯點的3D世界裝進(jìn)瀏覽器

編輯｜冷貓

我們知道，世界是三維的。

但互聯(lián)網(wǎng)普及至今，受限于技術(shù)、硬件和傳播載體，在幾十年的時間里，都在把這個三維世界壓成二維來表達(dá)。文字、圖片、視頻，這三種信息載體承載了我們今天在網(wǎng)上看到的幾乎一切，都已經(jīng)把這個世界降維。這是過去，互聯(lián)網(wǎng)受限于帶寬、硬件和計算能力后的「妥協(xié)」。

直到 3D 高斯?jié)姙R（3D Gaussian Splatting, 3DGS） 的出現(xiàn)，才第一次讓「隨手拍、即時重建、實時漫游」三維場景成為可能。但這項技術(shù)一直卡在「最后一百米」：怎么讓普通人在瀏覽器里流暢地看？

今年 4 月，李飛飛領(lǐng)銜的 World Labs 開源了 3D 高斯渲染引擎 Spark 2.0，瞬間引起技術(shù)圈的關(guān)注。

就在剛剛，群核科技的空間智能平臺 Aholo又推進(jìn)了一步：正式了開源 3D 高斯瀏覽器 Aholo Viewer，并且在渲染速度和大場景加載性能上超越了 Spark 2.0。它讓任何設(shè)備的瀏覽器都能流暢運行10 億 +粒子的超大 3D 場景。

簡單理解，它可以讓你像刷視頻一樣， 在瀏覽器里流暢瀏覽超大的 3D 世界。就像 3D 版的抖音、B 站，超大 3D 世界也可以像視頻一樣快速傳輸。

• 主頁鏈接：https://aholojs.dev/zh-CN/
• Github 鏈接：https://github.com/manycoretech/aholo-viewer

從更大的意義來說，李飛飛與群核科技接連推出 3D 高斯瀏覽器，是一個時代到來的信號，代表著信息載體的范式躍遷：互聯(lián)網(wǎng)信息載體從文字、圖片、視頻，第一次真正邁向可交互、可漫游的 3D 內(nèi)容，而 3D 將成為互聯(lián)網(wǎng)的基礎(chǔ)語言之一。

十億高斯點，手機瀏覽器也能流暢跑

在三維視覺領(lǐng)域，3D 高斯?jié)姙R的出現(xiàn)是一個里程碑。

這是一種從 2023 年起在學(xué)界快速走紅的三維場景表示方法。它把一整個真實場景顯式地建模為數(shù)十萬到數(shù)十億個可學(xué)習(xí)的 3D 高斯橢球，每個橢球帶有自己的位置、形狀、顏色和透明度，再通過可微分光柵化做實時渲染。

但新技術(shù)的出現(xiàn)，并沒有讓 3D 內(nèi)容變得像二維信息內(nèi)容一樣普及。因為 3D：

• 太大，傳輸難。一個完整的 3D 場景數(shù)據(jù)動輒幾十 GB。
• 太重，加載慢。想要流暢漫游三維模型，設(shè)備性能門檻極高。

所以，Spark 和 Aholo Viewer 都在解決的一個核心問題是：——讓 3D 內(nèi)容也能流暢加載瀏覽，點開一個鏈接，就能「走進(jìn)」任何一個真實或虛擬的三維世界。

這樣，普通用戶拿起手機用 3D 方式記錄生活中的一切。商品的展示，也會逐步從靜態(tài)圖變成用戶可以在手機里隨意旋轉(zhuǎn)的 3D 場景。日常生活如逛博物館的線上展、看車看房等等，3D 交互體驗會越來越無縫地融入到日常刷網(wǎng)頁的過程中。

在性能上，我們上手測試了下，對一個 3 億高斯點的場景，桌面端 Aholo Viewer占用內(nèi)存只有 Spark 2.0 的一半，加載速度快 1 倍、渲染速度快 3 倍，渲染效果也優(yōu)于 Spark 2.0。最高可流暢加載10 億高斯點的場景，是 Spark 2.0 上限的 10 倍

技術(shù)路線上，目前 Web 端 3DGS 渲染主流有兩種 LOD 組織方式，Aholo Viewer 和 Spark 2.0 各自選了一個技術(shù)方向。

Spark 2.0 選用的是 Splat-based LOD Tree，從單個高斯點（splat）粒度自下而上做合并，構(gòu)造連續(xù)的細(xì)節(jié)層級。

這種方案的好處是逐層加載細(xì)節(jié)，理論上能讓層級切換感不突兀，但在實際體驗中，Spark 2.0 的細(xì)節(jié)切換感仍然比較明顯。代價則是內(nèi)存和顯存開銷較大，同時后期擴(kuò)展性偏弱，難以靈活結(jié)合其他優(yōu)化手段。

Aholo Viewer 選用的是Chunk-based LOD Tree：把原始 3DGS 數(shù)據(jù)先切成 N 個 chunk（數(shù)據(jù)塊），再分別為每個 chunk 生成不同層級的 LOD，運行時以 chunk 為單位做層級切換。

這個差異看著不大，效果卻很顯著。

第一是內(nèi)存與顯存的開銷更可控。當(dāng)系統(tǒng)只需要為整個 chunk 選層級，無需為成千上萬個 splat 各自決策，內(nèi)存調(diào)度的顆粒度更粗、緩存命中更好，與常規(guī)加載方案相比基本不引入額外開銷。

第二是可擴(kuò)展性更強：chunk 是一個清晰的數(shù)據(jù)邊界，未來要擴(kuò)到城市級、街區(qū)級的超大場景，按區(qū)塊拼接、按區(qū)塊單獨聊聊更新，會比 splat 粒度的方案更容易。

在渲染管線層面，Aholo Viewer 通過多精度數(shù)據(jù)結(jié)構(gòu)降低顯存占用，通過緩存預(yù)計算與按需 pass 壓縮每幀 GPU 開銷，通過 Morton Sort 和 detail culling 改善數(shù)據(jù)訪問效率。這些優(yōu)化疊加在一起，最終落到了一組用戶可感知的數(shù)字：內(nèi)存減半、加載快 1 倍、渲染快 3 倍、容量上限大 10 倍

Aholo Viewer 在細(xì)節(jié)上做得比較周全，遠(yuǎn)比 Spark 2.0 做的更細(xì)更完善。比如格式上兼容主流 3DGS 格式，還有完整的工具支持，包括數(shù)據(jù)格式轉(zhuǎn)換、3D 高斯碰撞體生成等能力。

Aholo Viewer 已經(jīng)是一個非常完善的開源工作，已經(jīng)做好被開發(fā)者落地產(chǎn)品應(yīng)用的準(zhǔn)備。

互聯(lián)網(wǎng)的 3D 躍遷

3D 高斯的實時傳輸和查看的技術(shù)問題已經(jīng)解決了，但這能用來做什么？

只是把 3D 場景放進(jìn)瀏覽器讓用戶旋轉(zhuǎn)觀看，還不足以讓 3D 內(nèi)容像如今的短視頻一樣普及。

價值躍遷，發(fā)生在 3D 內(nèi)容從「展示媒介」變成「生產(chǎn)力工具」的那一刻：當(dāng) 3D 數(shù)據(jù)可以被編輯、被調(diào)用、被嵌入工作流、被下游系統(tǒng)消費，這才是從「能看」到「能用」的跨越。

其實，群核科技的 Aholo 跟李飛飛的 Marble 之間有一個比較大的差異。李飛飛走的是通過 AI 生成虛擬環(huán)境，而群核除了 AI 生成之外，更著重于現(xiàn)實世界的重建模擬。相比于創(chuàng)意表達(dá)，它更在意如何在物理世界做功：比如工業(yè)孿生、機器人訓(xùn)練、導(dǎo)向落地的空間設(shè)計，以及遵從物理屬性的視頻生成短劇制作等場景。

所以，除了推出 3D 高斯瀏覽器，Aholo 平臺上還有一整套空間智能 API，解決的則是：「3D 內(nèi)容怎么被大規(guī)模生產(chǎn)和使用」問題。

它開放了一整套空間能力 API，包括：

• 空間重建：拍一段視頻，就能將物理世界 1：1 復(fù)刻到數(shù)字世界
• 云端渲染：無需本地 GPU，支持光線追蹤與全局光照渲染，支持 3DGS + Mesh 混合渲染，支持以視頻流方式傳輸至不同客戶端。
• 3D AI 模型生成：支持圖生 3D 和文生 3D 模型，具備更強的材質(zhì)細(xì)節(jié)表現(xiàn)，可接入 3D 內(nèi)容生產(chǎn)工作流。

除了工具，還有 3D 數(shù)據(jù)。Aholo 上也會持續(xù)開放 3D 高斯數(shù)據(jù)集，比如此前曾登頂 HuggingFace 趨勢榜的 InteriorGS，專門用于機器人和智能體仿真訓(xùn)練的 3D 高斯語義數(shù)據(jù)集。

至此，一個完整的空間智能全鏈路已經(jīng)形成：

• 重建 / 生成 3D 世界：通過 Aholo 完成對真實世界的 3D 重建，或根據(jù)文字、草圖直接生成 3D 場景；
• 編輯 3D 資產(chǎn)：通過Aholo平臺 的多種 API，讓 3D 世界像網(wǎng)頁一樣可編程;
• 瀏覽交互：通過 Aholo Viewer，讓用戶在任何設(shè)備的瀏覽器里實時漫游超大 3D 場景。

在硬件生態(tài)的共建上，群核科技也在探索與不同硬件方打通，包括影石創(chuàng)新、禾賽科技等硬件龍頭，推出空間重建軟硬件一體化解決方案，還有手機端 App 的推出，將原本只有專業(yè)人士才能掌握的 3D 空間記錄與內(nèi)容創(chuàng)作能力，下放到每一個普通人手中。

數(shù)字文旅是其中一個典型方向。文物古跡通過 3DGS 重建「活」在數(shù)字世界里，訪客在瀏覽器里就可以走進(jìn)一座數(shù)字博物館，圍繞一件文物 360 度查看與交互。

短劇制作是另一個有代表性的方向，讓數(shù)字化短劇緊跟內(nèi)容消費潮流。一個短劇制作人拿手機拍幾段照片或視頻，就可以在 Aholo 平臺里快速重建出一個高度逼真的三維「虛擬片場」；然后通過 Aholo API 對場景元素做精準(zhǔn)編輯、調(diào)整布光與道具。

基于黑神話取景地時思寺重建場景的AI短劇片段

文中視頻鏈接：https://mp.weixin.qq.com/s/5qK1eSsewt86hFrNrbkY5w

在過去，圖片和視頻定義了移動互聯(lián)網(wǎng)時代。

而未來，3D 內(nèi)容會像短視頻 App 一樣普及。而 3D，也會成為下一代互聯(lián)網(wǎng)的新內(nèi)容形態(tài)。

通往物理世界的飛輪

不過，互聯(lián)網(wǎng)從二維走向三維，更深一層的變化發(fā)生在人工智能本身。

讓 AI 真正「看懂」三維世界，是過去兩三年最被密集投入的方向之一，核心目標(biāo)是讓 AI 對物理世界的理解深入到足以預(yù)測下一步會發(fā)生什么、并據(jù)此采取行動。「世界模型」這個名詞，變成了近兩年大廠軍備競賽的關(guān)鍵詞。

AI 能力進(jìn)化的核心在于數(shù)據(jù)。我們知道，互聯(lián)網(wǎng)上有數(shù)十億張圖片、數(shù)千億條文字、數(shù)億小時視頻，AI 幾乎已經(jīng)徹底用盡了這些數(shù)據(jù)。

而當(dāng)我們想要通向真正的 AGI，想讓 AI 進(jìn)入物理世界，或是構(gòu)建完善的世界模型，最大的瓶頸之一其實是 3D 數(shù)據(jù)的稀缺。3D 內(nèi)容的本質(zhì)，是對物理世界的數(shù)字化復(fù)刻，它能以最直接的方式為 AI 提供空間結(jié)構(gòu)、物體關(guān)系、環(huán)境屬性等關(guān)鍵 3D 數(shù)據(jù)。因此，3D 不僅是一種內(nèi)容形態(tài)，更是 AI 理解真實世界的最短數(shù)據(jù)路徑。

不管是李飛飛的 Spark，還是群核科技的 Aholo Viewer，他們真正重要的地方在于：讓 3D 內(nèi)容具備了互聯(lián)網(wǎng)級分發(fā)能力，就像過去分發(fā)的是圖片和視頻一樣。而瀏覽器是這個數(shù)據(jù)飛輪的入口。

當(dāng) 3D 瀏覽器普及，3D 內(nèi)容開始進(jìn)入互聯(lián)網(wǎng)這條最大的分發(fā)管道，讓更多貼近真實世界的 3D 數(shù)據(jù)進(jìn)行循環(huán)，「更多人看 3D，更多 3D 被生產(chǎn)，更多 AI 訓(xùn)練數(shù)據(jù)，更智能的 3D 模型，更多人看 3D」這個飛輪才有可能真正轉(zhuǎn)起來。

這也是為什么，3DGS 瀏覽器這件事不能僅僅當(dāng)成一個前端工程的進(jìn)展去看，它是通往世界模型的一個關(guān)鍵入口。

回到本文開頭那句 —— 世界是三維的。

只是過去幾十年，互聯(lián)網(wǎng)逼著我們把世界壓縮成二維。像 Aholo Viewer 這樣的 3D 高斯瀏覽器，只是一個開始：未來一段時間，越來越多的網(wǎng)頁內(nèi)容、越來越多的 AI 應(yīng)用、越來越多的機器人感知，會重新與三維世界對齊。

數(shù)字世界的內(nèi)容向 3D 進(jìn)化，與真實世界的認(rèn)知對齊，是我們向物理智能，通用智能邁進(jìn)的重要一步。

而空間智能，終將像今天的搜索、地圖和短視頻一樣，成為下一代互聯(lián)網(wǎng)的基礎(chǔ)能力。

• Aholo Viewer 開源鏈接：https://github.com/manycoretech/aholo-viewer