DeepSpeed v0.18.9 正式發(fā)布！AutoTP 全面增強、ZeRO 與 SuperOffload 深度優(yōu)化，大模型訓(xùn)練再升級

在大模型分布式訓(xùn)練領(lǐng)域，DeepSpeed作為業(yè)界主流的優(yōu)化框架，持續(xù)通過版本迭代為開發(fā)者提供更高效、更穩(wěn)定、更兼容的訓(xùn)練能力。近日，DeepSpeed正式推出v0.18.9版本，本次更新聚焦于AutoTP自動張量并行能力增強、ZeRO優(yōu)化器適配、SuperOffload內(nèi)存卸載優(yōu)化、PyTorch兼容性修復(fù)、環(huán)境變量適配完善以及CI流程與文檔更新等多個核心方向，同時完成了AutoSP功能的合并入庫，進一步完善了序列并行相關(guān)能力，修復(fù)了多項影響訓(xùn)練穩(wěn)定性與環(huán)境適配的問題，為大模型訓(xùn)練提供了更可靠的底層支撐。

本次版本更新共計16次提交、56個文件變更，由16位社區(qū)貢獻者共同完成，代碼層面實現(xiàn)3891行新增與321行刪除，覆蓋功能新增、缺陷修復(fù)、兼容性優(yōu)化、文檔更新、CI流程調(diào)整等全維度內(nèi)容，本文將基于官方更新日志，對DeepSpeed v0.18.9的所有變更進行全面、詳細的解析，幫助開發(fā)者快速掌握版本核心升級點，順利完成版本升級與業(yè)務(wù)適配。

一、環(huán)境適配與硬件檢測優(yōu)化

DeepSpeed v0.18.9針對環(huán)境變量適配、GPU硬件檢測邏輯進行了多項優(yōu)化，解決了不同硬件平臺、自定義環(huán)境路徑下的適配問題，提升了框架的環(huán)境兼容性與部署靈活性。

1. 支持$TRITON_HOME環(huán)境變量

本次更新新增對 環(huán) 境 變 量 的 適 配 ， 框 架 會 自 動 識 別 該 環(huán) 境 變 量 配 置 的 路 徑 ， 解 決 了 相 關(guān) 組 件 在 自 定 義 安 裝 路 徑 下 無 法 被 正 確 加 載 的 問 題 。 在 過 往 版 本 中 ， 僅 默 認 讀 取 系 統(tǒng) 默 認 路 徑 下 的 相 關(guān) 文 件 ， 當(dāng) 用 戶 通 過 自 定 義 路 徑 安 裝 時 ， 會 出 現(xiàn) 路 徑 查 找 失 敗 、 組 件 調(diào) 用 異 常 等 問 題 ， 而 通 過 適 配 TRITON_HOME環(huán)境變量，允許用戶自由指定Triton的安裝目錄，大幅提升了框架在自定義部署環(huán)境下的適配能力，尤其適用于多版本Triton共存、離線部署等復(fù)雜場景。

2. ROCm GPU架構(gòu)檢測移除不必要的shell=True

針對AMD ROCm平臺的GPU架構(gòu)檢測邏輯，本次更新移除了代碼中不必要的shell=True參數(shù)。在Python的subprocess調(diào)用中，shell=True會帶來潛在的安全風(fēng)險與執(zhí)行效率問題，同時可能引發(fā)命令解析異常。DeepSpeed v0.18.9優(yōu)化了ROCm GPU架構(gòu)檢測的代碼實現(xiàn)，采用無shell模式執(zhí)行硬件檢測命令，既提升了檢測邏輯的安全性，又避免了因shell環(huán)境差異導(dǎo)致的GPU架構(gòu)識別失敗問題，保障了AMD GPU平臺上DeepSpeed的穩(wěn)定運行。

3. 支持$DS_IGNORE_CUDA_DETECTION環(huán)境變量跳過本地GPU檢測

新增$DS_IGNORE_CUDA_DETECTION環(huán)境變量控制邏輯，當(dāng)用戶設(shè)置該環(huán)境變量時，DeepSpeed會跳過本地CUDA GPU的檢測流程。該優(yōu)化主要針對無GPU環(huán)境、遠程訓(xùn)練節(jié)點、容器化部署等場景，在這些場景下，本地GPU檢測不僅無意義，還可能因檢測失敗導(dǎo)致框架初始化異常。通過該環(huán)境變量，開發(fā)者可以靈活控制GPU檢測行為，避免非必要的硬件檢測流程，提升框架在純CPU環(huán)境、云服務(wù)器遠程調(diào)度場景下的初始化效率。

4. 修復(fù)Triton自動調(diào)優(yōu)緩存的NFS路徑判斷問題

修復(fù)了Triton自動調(diào)優(yōu)緩存模塊中，is_nfs_path函數(shù)對不存在路徑的處理異常問題。在過往版本中，當(dāng)判斷的NFS路徑不存在時，該函數(shù)會拋出異常，導(dǎo)致Triton自動調(diào)優(yōu)流程中斷，影響模型訓(xùn)練的性能調(diào)優(yōu)。v0.18.9優(yōu)化了路徑存在性校驗邏輯，當(dāng)目標路徑不存在時，函數(shù)會返回合理的默認值，不會中斷調(diào)優(yōu)流程，保障了Triton自動調(diào)優(yōu)功能在任意路徑配置下的穩(wěn)定運行，提升了大模型訓(xùn)練的性能調(diào)優(yōu)可靠性。

二、AutoTP自動張量并行核心功能增強

AutoTP作為DeepSpeed實現(xiàn)自動張量并行的核心模塊，是大模型分布式訓(xùn)練的關(guān)鍵能力，本次v0.18.9版本對AutoTP進行了多項功能升級，大幅提升了其兼容性、易用性與模型適配范圍。

1. 新增AutoTP通用Checkpoint功能

本次更新為AutoTP新增通用Checkpoint（通用 checkpoint）功能，在checkpoint/constants.py中新增UNIVERSAL_CHECKPOINT_VERSION_KEY、UNIVERSAL_CHECKPOINT_VERSION_VALUE、DS_AUTOTP_UC_META等常量定義，同時在universal_checkpoint.py中實現(xiàn)了AutoTP通用 checkpoint 的加載與解析邏輯。

該功能支持AutoTP模式下的模型權(quán)重、并行元信息的統(tǒng)一存儲與恢復(fù)，新增_get_param_uc_restore_meta函數(shù)用于獲取AutoTP通用 checkpoint 的參數(shù)元數(shù)據(jù)，新增_resolve_autotp_partition函數(shù)實現(xiàn)AutoTP并行參數(shù)的分區(qū)解析與恢復(fù)，支持分區(qū)維度、邏輯形狀、子參數(shù)形狀、子參數(shù)大小等元信息的讀取與處理，同時支持復(fù)制型參數(shù)的特殊處理。

通用Checkpoint功能解決了AutoTP模式下模型 checkpoint 兼容性差、跨節(jié)點恢復(fù)困難的問題，支持不同并行配置下的模型權(quán)重遷移，尤其適用于大模型訓(xùn)練中斷恢復(fù)、多節(jié)點并行訓(xùn)練切換、模型微調(diào)等場景，大幅提升了AutoTP模式下訓(xùn)練任務(wù)的可遷移性與可靠性。

2. 支持HuggingFace官方tp_plan配置

新增對HuggingFace Transformers庫中tp_plan的原生支持，AutoTP可自動識別并使用Llama、Qwen、Gemma2等模型內(nèi)置的base_model_tp_plan配置，無需開發(fā)者手動設(shè)置preset_model或partition_config參數(shù)。該優(yōu)化實現(xiàn)了DeepSpeed AutoTP與HuggingFace模型生態(tài)的無縫銜接，開發(fā)者無需額外編寫并行分區(qū)規(guī)則，直接使用HuggingFace官方模型即可開啟AutoTP并行訓(xùn)練，支持colwise與rowwise兩種核心分區(qū)類型，大幅降低了AutoTP的使用門檻。

同時，官方在huggingface-tp/README.md中更新了相關(guān)文檔，詳細說明HuggingFace tp_plan的適配邏輯與使用方法，明確了AutoTP對自定義分區(qū)的支持方式，讓開發(fā)者可以快速上手基于HuggingFace模型的自動張量并行訓(xùn)練。

三、PyTorch兼容性與訓(xùn)練穩(wěn)定性修復(fù)

DeepSpeed的核心能力依賴PyTorch生態(tài)，本次版本針對低版本PyTorch的兼容性、訓(xùn)練過程中的內(nèi)存與梯度更新問題進行了關(guān)鍵修復(fù)，保障了不同PyTorch版本下訓(xùn)練任務(wù)的穩(wěn)定運行。

1. 修復(fù)PyTorch 2.4以下版本torch.amp.custom_fwd兼容性問題

修復(fù)了torch.amp.custom_fwd接口在PyTorch 2.4以下版本的向后兼容問題。在過往版本中，DeepSpeed的自動混合精度訓(xùn)練模塊調(diào)用custom_fwd接口時，會因PyTorch版本差異出現(xiàn)接口不兼容、訓(xùn)練中斷等異常，v0.18.9通過接口適配與邏輯兼容處理，確保在PyTorch 2.4以下版本中，自動混合精度訓(xùn)練功能可以正常運行，無需開發(fā)者升級PyTorch版本，提升了框架對老舊環(huán)境的適配能力。

2. SuperOffload模塊修復(fù)多分組共享CPU緩沖區(qū)梯度更新問題

修復(fù)了SuperOffload模塊中，多分組梯度更新使用共享CPU緩沖區(qū)時的數(shù)據(jù)丟失問題。SuperOffload是DeepSpeed實現(xiàn)內(nèi)存卸載、降低GPU顯存占用的核心功能，在大模型訓(xùn)練中，多分組梯度更新場景下，共享CPU緩沖區(qū)會導(dǎo)致梯度數(shù)據(jù)覆蓋、更新失效等問題，嚴重影響訓(xùn)練收斂效果。v0.18.9優(yōu)化了緩沖區(qū)管理邏輯，保障多分組梯度更新時的數(shù)據(jù)獨立性，確保梯度更新結(jié)果正確保留，提升了SuperOffload模式下大模型訓(xùn)練的穩(wěn)定性與收斂效果。

四、ZeRO優(yōu)化與Muon優(yōu)化器適配擴展

ZeRO作為DeepSpeed的核心內(nèi)存優(yōu)化技術(shù)，本次更新對ZeRO Stage 3進行了優(yōu)化，同時擴展了Muon優(yōu)化器的支持范圍，提升了分布式訓(xùn)練的內(nèi)存效率與優(yōu)化器兼容性。

1. 擴展Muon優(yōu)化器對ZeRO Stage 3的支持

新增Muon優(yōu)化器在ZeRO Stage 3模式下的完整支持，解決了過往版本中Muon優(yōu)化器與ZeRO Stage 3不兼容、參數(shù)分區(qū)異常、優(yōu)化器狀態(tài)同步失敗等問題。ZeRO Stage 3是DeepSpeed顯存優(yōu)化的最高級別，可將模型參數(shù)、梯度、優(yōu)化器狀態(tài)全部分區(qū)存儲，大幅降低單卡顯存占用，而Muon優(yōu)化器作為新型優(yōu)化器，在大模型訓(xùn)練中具備收斂速度快、穩(wěn)定性強的優(yōu)勢，本次適配讓開發(fā)者可以在ZeRO Stage 3模式下使用Muon優(yōu)化器，兼顧顯存效率與訓(xùn)練性能。

2. ZeRO相關(guān)底層邏輯優(yōu)化

配合Muon優(yōu)化器適配，DeepSpeed v0.18.9對ZeRO Stage 3的參數(shù)分區(qū)、狀態(tài)同步、內(nèi)存管理邏輯進行了微調(diào)，確保優(yōu)化器狀態(tài)與模型分區(qū)參數(shù)的正確映射，避免了顯存泄漏、狀態(tài)同步延遲等問題，進一步提升了ZeRO Stage 3模式下的訓(xùn)練穩(wěn)定性。

五、AutoSP功能合并入庫

本次版本最大的功能升級之一，是將AutoSP（自動序列并行）功能正式合并入DeepSpeed主分支，完成了AutoSP模塊的全量集成。AutoSP是DeepSpeed針對長序列大模型訓(xùn)練推出的自動序列并行技術(shù)，基于torch.compile與FX圖優(yōu)化實現(xiàn)序列維度的自動分片，無需手動修改模型代碼，即可實現(xiàn)序列并行訓(xùn)練，大幅提升長上下文大模型的訓(xùn)練效率。

1. AutoSP核心測試用例新增

在tests/unit/v1/compile/目錄下新增大量AutoSP相關(guān)測試用例，覆蓋SDPA節(jié)點檢測、輸入ID/標簽ID/位置ID節(jié)點識別、符號序列長度節(jié)點查找、分片偏移量生成、符號切片索引創(chuàng)建、張量分片節(jié)點替換等核心功能測試，測試序列長度覆蓋64、128、256等常用場景，確保AutoSP功能在不同序列長度下的穩(wěn)定性。

2. AutoSP與Ulysses SP對齊驗證

新增compare_sp_loss測試函數(shù)，實現(xiàn)AutoSP編譯模型與Ulysses SP基準模型的損失值對齊驗證，在分布式環(huán)境下對比兩種序列并行方案的訓(xùn)練損失，確保AutoSP的計算精度與Ulysses SP一致，誤差控制在RTOL=0.1、ATOL=0.01范圍內(nèi)，保障自動序列并行的訓(xùn)練精度。

3. AutoSP圖優(yōu)化邏輯完善

新增create_gm_nodes函數(shù)實現(xiàn)模型FX圖捕獲，通過自定義torch.compile后端捕獲模型計算圖，確保AutoSP可以正確識別序列維度與輸入節(jié)點；新增find_sym_seq_node函數(shù)實現(xiàn)符號序列長度節(jié)點的查找，解決了torch 2.9 bf16模式下符號節(jié)點順序異常的問題，保障AutoSP在不同PyTorch版本與精度模式下的正常運行。

六、CI流程、文檔與版權(quán)信息更新 1. CI工作流優(yōu)化

對.github/workflows/aws-torch-latest-full.yml進行調(diào)整，優(yōu)化AWS L40S GPU集群的CI測試流程，新增容量 fallback 邏輯，當(dāng)L40S GPU資源不足時，自動切換至8xA100節(jié)點執(zhí)行測試；優(yōu)化提交檢測邏輯，簡化GitHub Actions的命令執(zhí)行格式，統(tǒng)一標點符號規(guī)范；新增GPU架構(gòu)自動檢測步驟，通過Python代碼實時獲取GPU計算能力與設(shè)備數(shù)量，動態(tài)設(shè)置TORCH_CUDA_ARCH_LIST環(huán)境變量，提升CI測試的兼容性與靈活性。

同時新增測試 fallback 邏輯，當(dāng)部分測試用例執(zhí)行失敗時，自動切換至完整測試模式，確保測試覆蓋率，保障版本發(fā)布的穩(wěn)定性。

2. 開發(fā)文檔更新

對AGENTS.md與CLAUDE.md文檔進行優(yōu)化，在CI開發(fā)規(guī)范中新增pre-commit命令說明，明確要求開發(fā)者提交代碼前執(zhí)行pre-commit run --files 命令，僅檢查修改文件而非全量代碼庫，提升開發(fā)效率；移除文檔中Microsoft Corporation版權(quán)聲明，統(tǒng)一版權(quán)規(guī)范；更新pre-commit配置說明，明確代碼格式化、靜態(tài)檢查的執(zhí)行要求。

3. 項目README與新聞更新

更新README.md的Latest News板塊，新增兩項重要資訊：一是DeepSpeed團隊在ASPLOS 2026發(fā)布大模型系統(tǒng)構(gòu)建教程；二是SuperOffload相關(guān)工作獲得ASPLOS 2026最佳論文榮譽提名，同步更新相關(guān)鏈接，提升項目社區(qū)影響力。

同時新增ASPLOS 2026最佳論文獎相關(guān)新聞條目，完善項目榮譽展示，增強社區(qū)開發(fā)者對DeepSpeed技術(shù)價值的認可。

4. 版本號更新

將version.txt文件中的版本號從0.18.8更新至0.18.9，完成正式版本的標識，方便開發(fā)者通過版本號區(qū)分迭代內(nèi)容，順利進行版本升級。

七、版本更新總結(jié)與升級建議

DeepSpeed v0.18.9作為一次迭代型版本更新，聚焦于功能增強、兼容性修復(fù)、穩(wěn)定性提升、生態(tài)適配四大核心方向，所有變更均圍繞大模型分布式訓(xùn)練的實際痛點展開，無破壞性變更，適合所有使用DeepSpeed的開發(fā)者升級。

本次更新的核心價值體現(xiàn)在：

1. 1. AutoTP能力全面升級，通用Checkpoint與HuggingFace tp_plan支持，大幅降低自動張量并行使用門檻；

2. 2. 硬件與環(huán)境適配優(yōu)化，支持自定義環(huán)境變量、多平臺GPU檢測，提升框架部署靈活性；

3. 3. 訓(xùn)練穩(wěn)定性修復(fù)，解決PyTorch兼容、SuperOffload梯度更新、Triton路徑異常等關(guān)鍵問題；

4. 4. AutoSP正式合并，長序列自動并行能力落地，適配長上下文大模型訓(xùn)練；

5. 5. ZeRO與優(yōu)化器適配擴展，支持Muon優(yōu)化器在ZeRO Stage 3模式下運行；

6. 6. CI與文檔完善，提升開發(fā)協(xié)作效率與項目規(guī)范性。

升級建議：

1. 1. 正在使用DeepSpeed v0.18.x系列版本的開發(fā)者，可直接升級至v0.18.9，無需修改業(yè)務(wù)代碼；

2. 2. 使用HuggingFace模型進行張量并行訓(xùn)練的開發(fā)者，升級后可直接使用官方tp_plan，簡化配置；

3. 3. 長序列大模型訓(xùn)練場景，可嘗試AutoSP功能，提升序列并行訓(xùn)練效率；

4. 4. AMD ROCm平臺、自定義Triton路徑、無GPU環(huán)境的開發(fā)者，升級后可解決環(huán)境適配問題；

5. 5. 使用PyTorch 2.4以下版本的開發(fā)者，升級后可修復(fù)混合精度訓(xùn)練接口兼容問題。

代碼地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.9版本通過社區(qū)協(xié)同開發(fā)，完成了多項實用功能升級與缺陷修復(fù)，進一步鞏固了其在大模型分布式訓(xùn)練領(lǐng)域的領(lǐng)先地位。AutoTP的生態(tài)適配、AutoSP的正式落地、ZeRO與優(yōu)化器的深度優(yōu)化，讓大模型訓(xùn)練更高效、更簡單、更穩(wěn)定；環(huán)境適配與兼容性修復(fù)，保障了框架在不同硬件、不同軟件版本下的可靠運行。

我們相信人工智能為普通人提供了一種“增強工具”，并致力于分享全方位的AI知識。在這里，您可以找到最新的AI科普文章、工具評測、提升效率的秘籍以及行業(yè)洞察。 歡迎關(guān)注“福大大架構(gòu)師每日一題”，發(fā)消息可獲得面試資料，讓AI助力您的未來發(fā)展。