太初元碁洪源：異構計算能力將成為未來AI算力基礎設施的重要方向

編輯部 整理自 AIGC2026
量子位 | 公眾號 QbitAI

2026年，AI產業正在進入新一輪高強度算力周期。

隨著Agentic AI、代碼助手、智能辦公等應用加速落地，AI正在從Demo走向真實任務，Token也隨之成為AI時代最核心的資源消耗單位。

因此，算力能否支撐更高頻、更復雜的AI應用，正在成為產業下一階段能否繼續向前的關鍵問題。在太初元碁首席產品官、高級副總裁洪源看來：

在Token經濟加速到來的背景下，AI算力需要更好地向上兼容框架、模型與應用，為大模型訓練、推理和行業落地提供更穩定、高效、易用的基礎支撐。
伴隨大模型能力躍遷和AI應用快速增加，Token調用需求正在持續釋放，國產算力也迎來了新的發展機遇。

這意味著，未來算力將不再只是模型訓練背后的基礎資源，而會貫穿從模型研發、應用部署到行業場景落地的全鏈路，成為Token智能時代最關鍵的新型基礎設施。

在本次量子位AIGC2026上，洪源圍繞國產算力、Token應用、Agentic AI計算效率等關鍵詞，分享了自己對國產AI算力建設的看法。

為了完整體現洪源的思考，在不改變原意的基礎上，量子位對演講內容進行了編輯整理，希望能給你帶來更多啟發。

AIGC2026是由量子位主辦的行業峰會，近20位產業代表與會討論。線下參會觀眾超千人，線上直播觀眾近400萬，獲得了主流媒體的廣泛關注與報道。

核心觀點梳理

• 隨著Agentic AI、行業大模型和智能應用進入真實業務場景，AI計算正在從「生成內容」走向「生成任務」，對算力系統的穩定性、效率和協同能力提出更高要求，未來需要解決的是多種計算單元之間相互配合、協同調度，以及降低等待和通信成本的問題。
• 國產AI算力迎來新的發展機會，但真正的突破點不只在單點性能，更在大規模集群服務能力、計算效率和生態易用性。
• 大模型訓練與推理正在走向萬卡乃至更大規模集群，算力廠商需要從硬件、互聯、軟件、調度、運維等全鏈條提升系統能力。
• Agent任務執行過程中，CPU調度、GPU計算、通信和數據處理等環節需要高效協同，異構計算能力將成為未來AI算力基礎設施的重要方向。
• 未來AI算力將像Token經濟中的「制氧機」，持續支撐模型、應用和行業場景運行。

以下為洪源演講全文：

Token經濟加速到來，國產AI算力迎來新機遇

從2022年底ChatGPT發布以來，整個大模型行業的迭代速度明顯加快，尤其今年以來，主流大模型的更新頻次進一步提升。

對于算力廠商來說，這意味著我們需要持續圍繞主流大模型做適配和優化。

從模型數量、訓練數據規模、所需算力規模，到模型本身的參數規模，都可以看到非常明顯的增長趨勢。

在這一背景下，今年行業也越來越頻繁地談到Token經濟，隨著大語言模型調用量快速增長，Token正在成為AI時代非常核心的消耗單位，尤其是國產模型相關調用量，也在持續提升。

從OpenRouter相關數據預測來看，從2025年到2026年，再到2030年，整體Token調用量預測會出現大幅增長。

增幅將達到212倍，可以預見，未來無論是C端應用，還是B端行業應用，都會帶來更大規模的Token消耗。

伴隨Token調用快速增加，AI應用市場也在快速增長，越來越多應用正在走向真實場景，辦公、代碼、醫療、教育、能源、電力等行業都在加速引入AI能力。

這也意味著，底層算力基礎設施必須支撐更高頻、更復雜、更大規模的AI調用需求。

在這個過程中，算力效率提升會進一步釋放需求，生產效率提高之后，應用場景會變多，調用頻次會變高，最終帶來的反而是算力需求的持續增加。

從IDC以及國內一些調研機構的數據來看，到2030年，全球算力規模預計會以每年60%的速度增長，其中90%以上將是智能算力。

對于國產AI算力而言，這是一輪非常重要的發展機會，大模型能力不斷增強，Token需求快速釋放，行業應用加速落地，都在推動國產算力走向更廣闊的產業場景。

大模型進入任務時代，AI算力需要解決三大關鍵問題

當然，在新的機會面前，國產AI算力也需要解決一些關鍵問題，整體來看，我認為主要有三個方面。

第一個問題，是大規模集群的服務能力。

現在大模型訓練和推理對集群規模的要求越來越高，動輒就是萬卡，甚至更大規模的集群，在這樣的大規模系統中，如何保證訓練效率、系統穩定性、成本控制和可靠性，是算力企業必須解決的問題。

第二個問題，是計算效率。

在Agent任務執行過程中，用戶輸入一個任務后，系統需要進行任務規劃、工具調用、多輪執行和結果反饋。在這個過程中，GPU真正用于計算的時間可能只占整體的10%左右，大量時間會消耗在CPU調度、通信、數據處理等環節。

CPU更多承擔串行計算和調度任務，GPU更擅長并行計算，未來AI算力系統需要更好地發揮CPU和GPU等不同計算單元的協同效率，讓整個任務執行鏈路更加高效。

第三個問題，是生態問題。

對于國產算力企業來說，芯片設計本身只是第一步，真正決定用戶能不能用起來、開發者愿不愿意用、模型和應用能不能快速遷移的，是背后的軟件生態。

國產算力要服務好Token經濟，就必須為開發者和行業客戶提供更好用、更易用的生態能力，無論是底層開發者，還是上層模型廠商、應用廠商，都需要更順暢地完成模型遷移、訓練、微調和推理部署。

AI算力的發展已經不能單一堆性能、堆算力。尤其在Agentic AI快速發展的背景下，AI計算正在從生成內容走向生成任務，這對算力系統提出了新的要求，未來AI算力需要解決異構協同、高效可用和生態適配等系統性問題。

當AI計算從「生成內容」走向「生成任務」，異構協同會變得越來越重要，未來需要解決的是多種計算單元之間相互配合、協同調度，以及降低等待和通信成本的問題。

從超算積累到生態適配，打造AI產業「制氧機」

針對這些問題，太初元碁也在持續進行探索和實踐。

首先，在大規模集群方面，我們有高性能計算領域長期的技術積累，特別是面對大規模并行計算任務，往往涉及10萬核甚至數十萬核級別的協同計算，這些經驗為我們今天做AI算力集群提供了重要基礎。

其次，在異構計算方面，我們從芯片設計層面做了相關布局。

我們在核心芯片設計中包含不同計算模塊，比如面向通用計算的模塊、數據處理核心，以及面向并行計算的模塊。這些不同計算單元通過片上網絡進行連接，從而提升CPU、GPU等不同計算單元之間的協同效率。

這類架構設計，主要是為了適應未來AI任務越來越復雜的趨勢，讓AI應用不再只是單一模型推理，而會涉及任務拆解、工具調用、數據處理、多輪交互和結果反饋。面對這種任務鏈路，底層算力系統必須具備更強的協同能力。

此外，在生態方面，我們也認為這是非常重要的一環。

從底層能力來看，我們提供了自研編程框架和編程語言支持，同時也參考成熟開發生態，為開發者提供更容易上手的開發方式。對于熟悉Python的開發者，也可以依托相關工具能力進行開發。

再往上，我們也在探索基于自然語言交互的自動生成算子能力，幫助用戶降低開發門檻，圍繞訓練、微調和推理等不同環節，我們希望提供更完整的一體化方案。

同時，太初元碁還提供了一系列工具組件，幫助用戶在不同框架之間完成模型一鍵遷移。

從框架到模型，我們也適配了多種第三方框架庫和模型庫，幫助模型廠商、應用廠商和行業客戶更順暢地使用國產算力。

Token經濟到來之后，算力相對于整個AI產業，就像氧氣對于人類一樣重要，我們正在建設的新型基礎設施，就像持續供氧的系統。

太初元碁一直在做，也會持續做的一件事，就是希望和產業伙伴一起，發揮各自優勢，協同上下游資源，為整個中國AI產業提供穩定、高效、自主可控的新型算力基礎設施。