F5中國(guó)推出本地化的基于Token的負(fù)載均衡解決方案

【TechWeb】4月29日消息，隨著DeepSeek、Qwen等大模型全面進(jìn)入企業(yè)生產(chǎn)環(huán)境，算力過載、服務(wù)中斷以及高并發(fā)下的延遲波動(dòng)，正逐漸成為制約AI應(yīng)用規(guī)?；涞氐年P(guān)鍵因素。

作為全球領(lǐng)先的應(yīng)用交付和API安全解決方案提供商，F(xiàn)5中國(guó)率先推出本地化的基于詞元（Token）的負(fù)載均衡解決方案（ Token Based Load Balancing，以下簡(jiǎn)稱“TBLB方案”），用于AI智能推理網(wǎng)關(guān)，幫助中國(guó)企業(yè)在算力資源高度復(fù)雜、異構(gòu)基礎(chǔ)設(shè)施共存以及高并發(fā)需求常態(tài)化的情況下，確保推理服務(wù)更快、更省、更承壓，從而在AI時(shí)代創(chuàng)造更大的業(yè)務(wù)價(jià)值。

由于中國(guó)企業(yè)普遍采用異構(gòu)芯片混合部署，在廣泛開展推理服務(wù)應(yīng)用過程中的資源調(diào)度問題愈加凸顯，甚至成為AI應(yīng)用規(guī)模化落地的關(guān)鍵挑戰(zhàn)。

在異構(gòu)芯片混合部署環(huán)境下，算力資源的使用效率與調(diào)度能力成為關(guān)鍵變量。一方面，算力、模型與推理框架之間的適配程度不一，使部分資源難以在實(shí)際業(yè)務(wù)中充分釋放性能；另一方面，不同算力之間存在結(jié)構(gòu)性性能差距，增加了統(tǒng)一調(diào)度與資源匹配的復(fù)雜度；同時(shí)，傳統(tǒng)基于請(qǐng)求分發(fā)的負(fù)載均衡方式難以反映底層算力的實(shí)時(shí)狀態(tài)，容易造成資源分配不均，進(jìn)一步放大性能波動(dòng)與資源浪費(fèi)。在多重因素疊加下，企業(yè)面臨的核心問題，已從“算力是否充足”轉(zhuǎn)向“算力能否被高效、穩(wěn)定地調(diào)度與使用”。

F5 中國(guó)首推的TBLB方案就是為了破解這一難題，推動(dòng)AI時(shí)代算力交付方式的升級(jí)。不同于傳統(tǒng)負(fù)載均衡（SLB）以“請(qǐng)求數(shù)”為核心的分發(fā)邏輯，TBLB方案以詞元（Token）數(shù)量及其對(duì)應(yīng)的計(jì)算成本為基礎(chǔ)，對(duì)推理請(qǐng)求進(jìn)行精細(xì)化調(diào)度，將不同長(zhǎng)度、不同復(fù)雜度的任務(wù)分配至與之匹配的算力節(jié)點(diǎn)，從而有效避免資源空轉(zhuǎn)或局部過載。

該方案引入基于詞元（Token）感知與GPU 動(dòng)態(tài)壓力的自適應(yīng)調(diào)度機(jī)制，能夠在運(yùn)行過程中綜合評(píng)估推理任務(wù)特征與算力狀態(tài)，包括詞元（Token）規(guī)模、實(shí)時(shí)負(fù)載與利用率、隊(duì)列長(zhǎng)度、KV Cache使用情況以及實(shí)例健康狀態(tài)等關(guān)鍵指標(biāo)，并據(jù)此動(dòng)態(tài)調(diào)整調(diào)度策略。通過這一機(jī)制，TBLB方案將復(fù)雜多變的推理負(fù)載轉(zhuǎn)化為可感知、可調(diào)度的算力資源，為企業(yè)AI業(yè)務(wù)構(gòu)建起更加穩(wěn)定、高效的推理服務(wù)基礎(chǔ)。

AI應(yīng)用的用戶體驗(yàn)，主要取決于首詞元（Token）響應(yīng)時(shí)間（TTFT）、單詞元（Token）生成時(shí)間（TPOT）以及端到端時(shí)延（E2EL）。傳統(tǒng)負(fù)載均衡無(wú)法感知推理過程中的真實(shí)運(yùn)行狀態(tài)，而TBLB方案則通過對(duì)GPU負(fù)載、詞元（Token）隊(duì)列等關(guān)鍵指標(biāo)的實(shí)時(shí)監(jiān)測(cè)，避免請(qǐng)求被調(diào)度至“看似空閑、實(shí)際擁塞”的節(jié)點(diǎn)，從而有效降低等待時(shí)間。在實(shí)際測(cè)試中，TBLB方案在多個(gè)行業(yè)場(chǎng)景中均表現(xiàn)出顯著效果：在新能源汽車場(chǎng)景中，TTFT降低約30%；在金融異構(gòu)算力環(huán)境中，TTFT降低超過40%，同時(shí)推理吞吐能力同步提升。這表明，延時(shí)優(yōu)化不再依賴單點(diǎn)性能提升，而是來(lái)自整體調(diào)度效率的系統(tǒng)性優(yōu)化。

TBLB方案通過對(duì)算力池的動(dòng)態(tài)感知與精準(zhǔn)分配，使每一個(gè)請(qǐng)求都能匹配到當(dāng)前最合適的執(zhí)行節(jié)點(diǎn)，從而顯著提升GPU利用率。在運(yùn)營(yíng)商測(cè)試場(chǎng)景中，在不增加任何GPU投入的情況下，系統(tǒng)并發(fā)能力從400 提升至 700，時(shí)延從20秒降低至180毫秒。這一結(jié)果表明，TBLB方案的價(jià)值不僅在于降低成本，更在于將原本被浪費(fèi)的算力，轉(zhuǎn)化為可釋放的業(yè)務(wù)能力。

另外，TBLB方案支持基于API Key、應(yīng)用識(shí)別及策略規(guī)則的優(yōu)先級(jí)控制機(jī)制，可在資源緊張時(shí)實(shí)現(xiàn)優(yōu)先調(diào)度高優(yōu)先級(jí)請(qǐng)求、限制或延遲低優(yōu)先級(jí)任務(wù)，并在資源恢復(fù)后動(dòng)態(tài)恢復(fù)流量。這一能力，使系統(tǒng)在高峰場(chǎng)景下不再被動(dòng)承壓，而是具備可控的資源分配能力。

F5中國(guó)表示，首推的TBLB方案并不只是一項(xiàng)產(chǎn)品創(chuàng)新，更代表了一種面向 AI 推理時(shí)代的基礎(chǔ)設(shè)施思路。以詞元（Token）為單位理解負(fù)載，以算力調(diào)度定義性能，正在成為新的技術(shù)共識(shí)。當(dāng)詞元（Token）逐漸取代傳統(tǒng)流量成為核心計(jì)量單位，企業(yè)真正需要掌控的，將不只是模型能力本身，而是如何高效、穩(wěn)定地調(diào)度每一次計(jì)算。