港大團隊開源FASTER，讓VLA模型真正實現(xiàn)「即刻響應」

本文的第一作者為香港大學博士生陸宇翔，團隊包括香港大學博士后劉哲、香港大學博士生范嫻喆、楊振亞、侯京華、李俊奕、丁凱欣，通訊作者為香港大學助理教授趙恒爽。

具身智能正以前所未有的速度發(fā)展，VLA 模型展現(xiàn)出越來越強的動作和泛化能力。然而，當我們真正把 VLA 模型部署到物理世界時，一個核心挑戰(zhàn)浮出水面：實時性。

想象一下讓機器人打乒乓球：球高速飛來時，哪怕只有 100 毫秒的延遲，也可能意味著錯過最佳擊球時機。對于真實世界中的機器人來說，動作不僅要「做得準」，還必須「反應得快」。

現(xiàn)有實時 VLA 方法大多關注如何讓動作更連續(xù)、更平滑。但這些方法往往忽略了動態(tài)環(huán)境中更關鍵的一點：機器人到底能多快根據(jù)新變化做出反應？

來自香港大學和大曉機器人的研究團隊提出了FASTERFastActionSampling for ImmediaTEReaction），首次系統(tǒng)性地重新審視了動作分塊策略中的反應延遲問題，并提出了一種面向流匹配 VLA 模型的快速動作采樣方法。通過將即時動作的采樣過程壓縮至單步完成，顯著降低了機器人開始行動所需的時間。

FASTER 是一個即插即用方案：無需修改模型架構，也無需額外訓練成本。目前代碼已開源，歡迎學術界和工業(yè)界試用，共同推動具身智能在真實場景的落地。

• 論文鏈接：https://arxiv.org/abs/2603.19199
• 項目主頁：https://innovator-zero.github.io/FASTER/
• 開源代碼：https://github.com/innovator-zero/FASTER

VLA 模型是如何運行的？

目前主流的 VLA 模型，例如 π0.5、X-VLA 等，采用的是動作分塊（Action Chunking）策略。模型不是每次只預測下一個動作，而是一次性預測未來幾十步的連續(xù)動作。這樣做的好處是，機器人可以獲得更長時間范圍內(nèi)的動作計劃，執(zhí)行起來也更加平滑。

但 VLA 面對著一個現(xiàn)實問題：模型推理速度往往跟不上機器人控制頻率。

在真實機器人系統(tǒng)中，控制器通常以固定頻率運行，例如 30Hz，也就是每 33.3 毫秒執(zhí)行一次控制指令。但 VLA 的推理基本無法在一個控制周期內(nèi)完成，即使用 RTX 4090、5090 這類高端 GPU，生成一個動作塊也可能需要遠超一個控制周期的時間。

因此，機器人端側通常會采用兩類推理管線：同步推理異步推理

• 同步推理：機器人執(zhí)行完當前動作塊后，會停下來等待模型生成下一段動作。這樣做可以避免觀測狀態(tài)和執(zhí)行狀態(tài)之間出現(xiàn)偏差，即感知-執(zhí)行差異。但問題也很明顯：機器人會頻繁停頓，動作不連貫，任務表現(xiàn)也會受到影響。
• 異步推理：機器人會提前開始下一段動作的推理。模型在生成新動作的同時，機器人繼續(xù)執(zhí)行當前還沒有執(zhí)行完的動作。這樣可以消除動作塊之間的停頓，讓機器人運動更加絲滑。為進一步緩解感知-執(zhí)行差異，RTC、VLASH 等方法會將重疊時間內(nèi)已經(jīng)規(guī)劃好的動作作為先驗輸入給 VLA，使模型能夠生成符合當前運動慣性的后續(xù)動作。

Rethinking：什么才是真正的「反應能力」？

異步推理解決了動作卡頓的問題，但它真的提升了 VLA 的反應能力嗎？

本文的一個關鍵洞見是：反應時間并不是一個簡單等于模型推理延遲的常數(shù)，而應該被建模為一個隨機變量。

這是因為真實世界中的外部事件是隨機發(fā)生的。

如果事件恰好發(fā)生在模型開始推理之前，那么機器人可以在本輪推理完成后盡快響應，反應最快。但如果事件剛好發(fā)生在模型開始推理之后，那么這次推理已經(jīng)「錯過」了這個新事件，只能等到下一輪推理完成后才能響應。

論文進一步分析指出，從期望反應時間來看，普通異步推理相比同步推理的收益其實相當有限：僅僅縮短了 0.5 倍的推理延遲。也就是說，如果推理延遲不變，單純改成異步并不能從根本上解決問題。

這就引出了本文提出的一個新指標：TTFA（Time to First Action）

在動作分塊策略中，機器人并不需要等待整個動作塊都生成完才能開始動。真正決定機器人能否快速響應的，是第一個動作什么時候能夠生成出來。

這和 LLM 中的 TTFT（Time to First Token）很類似，用戶感受到的響應速度很大程度上取決于第一個 token 出現(xiàn)得有多快。

因此，F(xiàn)ASTER 認為：要提升 VLA 的真實反應能力，不能只做異步推理，還必須同時壓縮 TTFA，并提高推理-執(zhí)行閉環(huán)的頻率。

VLA 的瓶頸在哪里？

當前許多 VLA 都采用基于流匹配（Flow Matching）或 Diffusion 的動作專家來生成動作。

這類模型通常采用恒定時間步調(diào)度，動作塊中的每一個動作，無論是馬上要執(zhí)行的第一個動作，還是幾十步之后才會執(zhí)行的遠期動作，都會使用相同數(shù)量的采樣步。

如果模型默認使用 10 步采樣，那么它必須完成全部 10 步采樣之后，才能輸出第一個動作。這就形成了一個明顯的反應瓶頸：機器人明明只需要第一個動作就可以開始動，卻必須等待整個動作塊完成全部采樣。

于是，一個很自然的問題出現(xiàn)了：為什么近期動作和遠期動作需要同等程度的「精雕細琢」？

FASTER 對動作采樣過程進行了實驗分析，并發(fā)現(xiàn)動作塊內(nèi)部存在明顯的非均勻性。具體來說，論文使用了平直度（Straightness）指標來衡量流匹配采樣路徑的彎曲程度。路徑越接近直線，說明這個動作越容易通過少量采樣步準確生成。

實驗結果顯示：

• 早期動作的采樣路徑更接近直線插值；
• 早期動作的中間估計結果與最終輸出之間的偏差更小；
• 早期動作的生成復雜度明顯低于遠期動作。

這也符合物理世界中的直覺：基于當前狀態(tài)，下一瞬間該怎么動通常約束更強、變化更小；而越遠期的動作受到更多未來不確定性的影響，自然更難預測。

既然近期動作更容易預測，而又直接決定機器人的反應速度，那么為什么不讓模型優(yōu)先生成這些動作？

核心創(chuàng)新：Horizon-Aware Schedule

為了解決上述問題，F(xiàn)ASTER 提出了Horizon-Aware Schedule（HAS），思想是解耦動作塊中不同時間位置動作的采樣進度。HAS 會為動作塊中的每一個動作分配一個不同的完成時刻（hit time）。

近期動作使用較少的采樣步數(shù)，優(yōu)先生成；遠期動作仍然保留較完整的采樣過程，保持動作軌跡質量。

這樣，模型不再需要等到整個動作塊全部采樣完成后才輸出動作，而是可以先把最關鍵的即時動作生成出來，讓機器人盡快開始響應。

混合調(diào)度策略：讓預訓練模型平滑適應 HAS

直接用 HAS 去微調(diào)一個預訓練 VLA 模型，可能會帶來兩個問題。

第一個問題是，現(xiàn)有預訓練模型通常是在恒定時間步調(diào)度下訓練出來的。如果微調(diào)時突然切換成動態(tài)變化的 HAS，會額外拉大預訓練和微調(diào)之間的差距。

第二個問題是，在訓練中隨機采樣時間步時，對于近期動作來說，在 HAS 下它們對應的局部時間步有較大概率變成 0，使得這些動作幾乎總是直接使用真實動作作為輸入，模型反而學不到如何自己生成這些動作。

為了解決這兩個問題，F(xiàn)ASTER 提出了一種混合調(diào)度策略（Mixed Scheduling Strategy）。

具體做法是：給定一個混合概率 p，每個訓練樣本都有 p 的概率使用 HAS，同時也有 1-p 的概率保留原來的恒定時間步調(diào)度。模型在微調(diào)時既能學習新的 HAS 時間步參數(shù)化方式，也不會完全丟掉預訓練階段熟悉的固定時間步設置。

最重要的是，這個過程不需要修改模型結構，也不會引入額外訓練成本，可以直接整合進現(xiàn)有 VLA 的微調(diào)流程。

流式推理接口：生成一個，執(zhí)行一個

有了 HAS 之后，動作可以被漸進式生成。FASTER 因此進一步設計了一個流式客戶端-服務器接口（Streaming Client-Server Interface）。

在模型端，一旦某個動作完成采樣，就會立即發(fā)送給機器人控制器，模型則繼續(xù)采樣和完善后續(xù)動作。

機器人客戶端則會持續(xù)監(jiān)聽來自模型的新動作，并將接收到的動作加入緩沖區(qū)，機器人可以一邊執(zhí)行已經(jīng)收到的動作，一邊等待后續(xù)動作到來。

此外，F(xiàn)ASTER 還引入了早停機制。當執(zhí)行范圍內(nèi)需要的動作都已完成采樣時，模型可以提前終止剩余采樣步驟，直接進入下一輪推理準備。這等價于縮短了一次推理-執(zhí)行周期，從而進一步提高閉環(huán)響應頻率。

因此，F(xiàn)ASTER 不只是降低了第一個動作的生成延遲，也提高了整個系統(tǒng)的更新頻率。

實驗結果：更低 TTFA，更快反應

FASTER 在兩種 GPU 平臺上進行了真實測速實驗，分別是高性能的 RTX 4090 和消費級的 RTX 4060。

結果顯示，F(xiàn)ASTER 可以顯著降低 TTFA 和期望反應時間。尤其是在 RTX 4060 上，X-VLA 的 TTFA 從 399.5 ms 降低到 129.2 ms，達到 3 倍以上加速；期望反應時間也從 599.5 ms 降低到 229.2 ms，提升約 2.6 倍。對于 π0.5，F(xiàn)ASTER 同樣帶來了穩(wěn)定提升。

由于真實環(huán)境中的外部事件是隨機發(fā)生的，論文進一步統(tǒng)計了不同方法在隨機事件下誰更可能反應更快。

結果表明，F(xiàn)ASTER 相比同步推理有超過 80% 的概率反應更快；相比普通異步推理也具有明顯優(yōu)勢。尤其是在 X-VLA 上，F(xiàn)ASTER 達到了 100% 的優(yōu)勢概率。這意味著 FASTER 的反應時間上界甚至低于基線方法的下界，形成了嚴格的性能支配。

VLA 打乒乓球：反應速度決定能不能接到球

在乒乓球任務中，機器人需要根據(jù)高速飛來的乒乓球及時調(diào)整球拍姿態(tài)，并在合適的位置和角度完成擊球。這不僅要求動作準確，也對反應速度提出了極高要求。

實驗結果顯示：

• 同步推理方法由于反應太慢，幾乎無法接到球。
• 普通異步方法雖然動作更連續(xù)，但反應速度仍然不足，導致回球角度不佳或擊球無力。
• 使用 FASTER 后，機器人能夠更早開始調(diào)整球拍姿態(tài)，在接觸球的一瞬間保持更合理、更有力的擊球角度，因此最終得分顯著領先。

這個結果很好地說明了一個事實：在動態(tài)交互任務中，動作質量不僅取決于預測是否準確，還取決于這個動作是否來得及執(zhí)行。

日常操作任務：更快，也更穩(wěn)定

除了高動態(tài)任務，本文也在抓放飲料和疊毛巾等日常操作任務中進行了測試。

在這些任務中，反應速度并不像乒乓球那樣關鍵，但實時交互仍然會影響任務完成效率和動作穩(wěn)定性。

FASTER 在這些任務中也能實現(xiàn)更快、更穩(wěn)定的運動表現(xiàn)。相比同步推理，它減少了動作塊之間的停頓；相比普通異步推理，它進一步提升了閉環(huán)更新頻率，使機器人能夠更及時地根據(jù)當前狀態(tài)調(diào)整動作。

仿真評測：加速不以犧牲質量為代價

為了驗證 HAS 是否會影響動作預測質量，本文還在 LIBERO 和 CALVIN 兩個常用仿真基準上進行了測試。

需要注意的是，仿真基準本身通常不會直接受到推理延遲的影響，因此這些實驗主要用于評估：FASTER 在加速采樣后，是否仍然能保持原模型的任務性能。

結果顯示，F(xiàn)ASTER 基本保持了與原始模型相當?shù)男阅埽瑑H在個別任務上出現(xiàn)輕微下降。這說明 HAS 雖然對近期動作采用了更激進的采樣策略，但整體上仍能維持較高的動作生成質量。

總結

當前具身智能研究大多關注如何讓機器人在更復雜的任務中「做得更好」，F(xiàn)ASTER 則提出了一個同樣重要但被低估的問題：在物理世界中部署 VLA 模型時，「多快能開始動」與「動作做得多準」同樣關鍵。

傳統(tǒng)評價往往更關注動作預測精度或任務成功率，但在動態(tài)交互場景中，反應速度本身就可能決定動作是否還有意義。對于乒乓球、動態(tài)抓取等任務來說，一個再準確的動作，如果來得太晚，也就失去了價值。

FASTER 通過 Horizon-Aware Schedule 將即時動作的采樣壓縮到單步完成，并結合流式推理接口和早停機制，同時降低 TTFA、提高推理-執(zhí)行閉環(huán)頻率。在真機實驗中，顯著提升了 VLA 的反應能力，尤其是在消費級 GPU 上展現(xiàn)出很強的實際部署價值。

總體來看，F(xiàn)ASTER 為實時 VLA 和通用具身智能的落地提供了一條簡單、有效且可擴展的路徑：不是讓整個動作塊都更快生成，而是讓機器人最需要的第一個動作先到。