DeepInfer Field Notes 獨立 / 粉絲製作
FAQ / 2026.10

DeepInfer 常見問題:DeepSeek V4.1-Flash 問答

關於 DeepInfer(DeepSeek 的 V4.1-Flash 推理框架)的簡短、有來源的答案:它是什麼、跑在什麼硬件上、缺什麼、有多快,以及你問的是哪一個 DeepInfer。

18 個問題/8 分鐘閱讀/快照 2026-10-20

一句話回答:DeepInfer 是 DeepSeek 的開源推理框架,用來大規模服務 DeepSeek-V4.1-Flash。它是離線引擎,不是託管 API,也不包含完整服務所需的 KV cache、prefill/decode 分離或負載平衡。本 FAQ 涵蓋 V4.1-Flash 的本次發佈、硬件、benchmark 與名稱混淆。

DeepInfer 支援 NVIDIA SM100 GPU 與華為 Ascend 950 NPU,但 DeepSeek 公布的效能圖表只涵蓋 NVIDIA 硬件。

基礎

DeepInfer 是什麼?

DeepInfer 是 DeepSeek 的開源推理框架,用來大規模服務 DeepSeek-V4.1-Flash。它於 2026 年 10 月 20 日以 Apache-2.0 授權發佈。

DeepInfer 是模型嗎?

不是。DeepInfer 是執行模型的引擎。模型是 DeepSeek-V4.1-Flash-1017,權重以 MIT 授權。

DeepInfer 可免費用於商業用途嗎?

DeepInfer 程式碼是 Apache-2.0,允許商業使用與修改,但須履行一般標示義務。預設模型權重是 MIT。部署前請確認隨附相依項目的授權。

執行

DeepInfer 支援哪些模型?

本次發佈只支援 DeepSeek-V4.1-Flash。預設 checkpoint 是 DeepSeek-V4.1-Flash-1017。

我可以在 RTX 4090 或 H100 上跑 DeepInfer 嗎?

README 列出的是 NVIDIA SM100 GPU 與華為 Ascend 950 NPU。較舊的 NVIDIA 世代與消費級顯示卡不在支援清單中。

DeepInfer 有內建 OpenAI 兼容的 API 伺服器嗎?

沒有。本次發佈提供離線推理,不是託管 API。服務層得由你建。DeepSeek 也發佈了 deepseek-recipe,處理 API 協定轉換與分詞,但它不是伺服器。

DeepInfer 是完整的生產服務堆疊嗎?

不是。README 明確列出三個缺口:KV cache 系統、VE/Prefill/Decode 分離,以及資料平行副本之間的負載平衡。

缺口

為什麼沒有 KV cache 系統?

DeepSeek 說 KV cache 管理與負載平衡元件與其內部基礎設施緊密耦合,因此那部分程式碼尚未完全開源。

DeepInfer 支援華為 Ascend 950 嗎?

支援,README 把 Ascend 950 NPU 與 NVIDIA SM100 GPU 並列。DeepSeek 沒有公布 DeepInfer 的 Ascend 950 效能數字。

DeepSeek 真的開源了它的生產引擎嗎?

DeepSeek 說 DeepInfer 支撐其生產服務,但本次發佈只是子集。KV cache 系統、PD 分離與負載平衡都不在其中,因此無法從外部驗證是否與生產環境一致。

數字

DeepInfer 有多快?

DeepSeek 公布了兩張 Pareto 圖:4 張 SM100 GPU 上的 prefill,以及 64 張 SM100 GPU 上的 decode,上下文為 131,072 token。沒有第三方重現。請把圖視為取捨地圖,而不是對你工作負載的承諾。

DSpark 是什麼?

DSpark 是 DeepSeek 的推測解碼路徑。它用草稿 token 與信心頭來排程可變長度驗證。預設最大草稿長度是 5。

SWA 有界重放是什麼?

它只重放最近的 token,而不是在每一層重放整個視窗,藉此重建缺失的滑動視窗注意力 KV。V4.1 預設保留 140 token 的尾端。

deepseek-recipe 是什麼?

一套獨立的 MIT 授權 Rust/Python 函式庫,把 Chat Completions、Responses 與 Messages 請求轉成 DeepSeek 的 prompt 與 token ID,並把模型輸出解析回協定回應。

名稱

DeepInfer 這個名字也指涉一個無關的 2016 年醫學影像工具包,以及一個無關的 2023 年智慧合約型別推斷項目;本站只討論 DeepSeek 的 2026 年推理框架。

DeepInfer 和 DeepInfra 是同一個嗎?

不是。DeepInfra 是 deepinfra.com 的商業推理供應商。DeepInfer 是 DeepSeek 的開源框架。DeepInfer 與商業推理供應商 DeepInfra 沒有隸屬關係。

DeepInfer 和醫學或智慧合約的 DeepInfer 是同一個嗎?

不是。2016 年的醫學影像工具包與 2023 年的智慧合約研究項目,都與 DeepSeek 的 2026 年推理框架無關。

從哪裡開始

若你想要發佈事實,讀《DeepInfer 實際交付了什麼》。若你想看工程,讀《引擎內部》。若你正在決定要不要用,先讀限制,再讀十篇比較,從 DeepInfer vs vLLM、vs SGLang、vs TensorRT-LLM 開始。若你被名字搞混,讀消歧義頁。

DeepInfer 比 vLLM 好嗎?

沒有公開的正面對決。vLLM 的服務層較完整、有 OpenAI 兼容 API、模型涵蓋更廣;DeepInfer 是 DeepSeek 的單模型引擎,帶有 DeepSeek 專屬調校。請見 DeepInfer vs vLLM 比較。

我該用 DeepInfer 還是 SGLang?

SGLang 有更完整的 V4.1-Flash preview 路徑,包含 API、PD 分離、HiCache 與 router。DeepInfer 有 DeepSeek 自家的引擎與 Ascend 950 支援。請見 DeepInfer vs SGLang 比較。

關於確定性

我們沒有跑過 DeepInfer。我們沒有 SM100 或 Ascend 950 硬件。以上答案都基於來源;若某項說法是 DeepSeek 自己的、未經獨立驗證,我們會在討論該說法的頁面上註明。

↑