Kernel 堆疊，整合完成
FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 與自訂 TileLang kernel 全部接進同一個引擎。這些元件 DeepSeek 過去已陸續釋出；這次發佈把它們串成一個引擎。
FIG. 01 — 發佈檔案 / 2026.10
DeepInfer：DeepSeek 的 V4.1-Flash 推理框架
DeepInfer 是 DeepSeek 的開源推理框架，用來大規模服務 DeepSeek-V4.1-Flash。這份獨立實戰指南涵蓋 Apache-2.0 授權的本次發佈、NVIDIA SM100 與華為 Ascend 950 兩條硬件路徑、benchmark 的注意事項，以及這次發佈並未包含的 KV cache、prefill/decode 與負載平衡元件。
發佈日期20 Oct 2026UTC
程式碼授權Apache-2.0權重：MIT
模型V4.1-Flash僅此一款
硬件SM100 / Ascend 950僅限 Linux
範圍離線引擎並非託管 API
快速版
一個引擎、一條界線，還有一組必須加註星號的數字。
閱讀時間：6 分鐘
這是什麼
一套源自生產環境的推理引擎：優化 kernel、專家平行、推測解碼、滑動視窗快取復原、非同步排程，以及確定性模式。DeepSeek 同時發佈了 deepseek-recipe，這是處理 API 協定轉換與分詞的配套函式庫。
這不是什麼
- 不是模型。模型是 V4.1-Flash。
- 不是託管 API，也不是 OpenAI 兼容伺服器。
- 不是完整的服務堆疊：KV cache、PD 分離與負載平衡都缺席。
- 不是可套用到其他模型的通用引擎。
為何值得注意
這是很難得的機會，能看到 DeepSeek 實際上如何服務一個前沿的開放權重模型：decode 階段的 Wide-EP、依信心排程的推測，以及一套以精確度換取有界重算的快取策略。即使你從不執行這些程式碼，箇中思路依然有參考價值。
一句話講清楚界線。 DeepInfer 是離線推理引擎，不是託管 API，也不是模型；本次發佈不包含完整線上服務所需的 KV cache 系統、prefill/decode 分離，或資料平行副本之間的負載平衡。
範圍
實際發佈了什麼
官方 README + Q&A
Wide-EP 與 EPLB
Attention 採用資料平行；MoE 部分採用專家平行。在 DeepSeek 的生產設計中，decode 會把專家分散到 64–128 張 GPU，並用冗餘副本重新平衡熱門專家。
DSpark，可變長度驗證
系統會預先提出草稿 token，再由信心頭預測哪些值得驗證。DeepSeek 表示，在其生產運行點可提升 4–7% 吞吐量。
SWA 有界重放
引擎不在每一層重建完整的滑動視窗快取，只重放最近的一段尾端。結果是近似值，但重算成本變得有界。
預設非同步
GPU 執行當前批次的同時，CPU 已在準備下一批。目標是消除 decode 步驟之間的閒置空檔——這是個工程細節，卻有實質的吞吐量價值。
確定性模式
NVIDIA 平台上提供批次不變推理與確定性取樣。這些功能不炫目，卻讓 benchmark 與 agent 執行結果可以被稽核。
包含
- 為 DeepSeek-V4.1-Flash 提供離線推理
- 優化 kernel 與模型／取樣器執行環境
- Attention DP、平衡式 CP、MoE EP + EPLB
- DSpark、SWA 有界重放、非同步排程
- 批次不變與確定性模式（NVIDIA）
- 結構化輸出：regex、JSON Schema、EBNF
- deepseek-recipe（獨立的 MIT 儲存庫）
不包含
- KV cache 系統
- VE / Prefill / Decode 分離
- 資料平行副本之間的負載平衡
- 面向使用者的線上 API
- 對其他 DeepSeek 模型的支援
- 已公開的 Ascend 950 效能數據
- 第三方對圖表的重現
數字
Benchmark，以及它的星號
官方圖表 / 131,072 上下文
131,072
兩張圖表採用的上下文長度
不是模型的 1M token 上限。
4 + 64
用於 prefill + decode 的 SM100 GPU 數量
各自位於同一個 scale-up 網域內。
0
我們能找到的第三方重現
截至 2026-10-20 11:30 UTC。
看座標軸，不要只看標題。 Prefill 是吞吐量對每步延遲；decode 是吞吐量對單一使用者速度。兩者都沒有承諾端到端請求延遲、每 token 成本，或你的工作負載會如何。decode 圖還假設草稿接受率為 75%；文字越難預測，增益就越小。
缺口
多數發佈文章跳過的部分
三個缺席的元件
DeepInfer 是引擎，不是服務。README 對這個差別講得異常直接：完整的推理服務還需要 KV cache 系統、prefill/decode 分離，以及資料平行副本之間的負載平衡。這三項都不在本次發佈裡。
這道缺口不是醜聞，而是一條設計界線：DeepSeek 留下了與內部基礎設施綁得最緊的部分。但它確實改變了誰能用這份程式碼，以及可以對它抱什麼期待。
你得自己打造的部分
- 一套能跨請求、跨機器存活的 prefix／KV 快取
- 分離的 prefill 與 decode 資源池，含傳輸與路由
- 同時考量請求數與快取長度的負載平衡
- API 伺服器、驗證、配額、計費與可觀測性
名稱確認
你讀的是哪一個 DeepInfer？
一個名字，幾個項目
DeepSeek2026 · LLM 推理 · 本站
Medical2016 · 3D Slicer · 無關
Smart contracts2023 · bytecode 型別 · 無關
DeepInfra拼法不同 · 公司不同
DeepInfer 這個名字也指涉一個無關的 2016 年醫學影像工具包，以及一個無關的 2023 年智慧合約型別推斷項目；本站只討論 DeepSeek 的 2026 年推理框架。 完整消歧義 →
發佈筆記
我們怎麼走到這裡
時間為 UTC
- 2025-04
DeepSeek 表示，完整開源推理引擎並不實際：程式碼已與 vLLM 分岔，又緊密耦合內部基礎設施，團隊也缺乏維護頻寬。
- 2026-09-30
Ascend 基礎工程：DeepGEMM-Ascend、DeepEP-Ascend，以及 kernel 堆疊的 Ascend 後端。當時還沒有 DeepInfer。
- 2026-10-16
deepseek-ai/DeepInfer儲存庫建立。 - 2026-10-20 09:30
官方 X 貼文串與公開儲存庫。程式碼隨著三個公開 commit 一起上線。
- 2026-10-20 11:26
快照：約 5.4k stars、408 個 fork、47 個未結項目。Hacker News 上已有 120 則留言的討論串。
社群訊號
反覆出現的技術質疑並不是速度，而是缺席的 KV cache。幾小時內，貢獻者也開了 SM90/H20 與 Ascend 910C 支援的 RFC——這是超出官方硬件清單的需求，不是已交付的支援。
我們沒做的事
我們沒有執行 DeepInfer。我們沒有 SM100 或 Ascend 950 硬件。本站每個數字都註明公開來源，每個無法查證的說法都如實標示。
比較