DeepInfer vs LMDeploy：DeepSeek V4.1-Flash 服務方案對比
LMDeploy 是中文生態中最接近的比較對象：一套服務工具包，具備 DeepSeek V3/R1 優化、PD 分離、兼容 OpenAI 的 API 與 Ascend 路徑。DeepInfer 範圍更窄，而且專攻 V4.1。
DeepInfer 與 LMDeploy 都針對 DeepSeek 模型優化，但不是同一種產品。DeepInfer 是 DeepSeek 以 Apache-2.0 釋出、只服務 DeepSeek-V4.1-Flash 一個模型的引擎，只有離線版本，支援 NVIDIA SM100 與華為 Ascend 950。LMDeploy 是 InternLM 的開源工具包，用於壓縮、部署與服務 LLM，具備自家的 TurboMind 與 PyTorch 引擎、完整的兼容 OpenAI API 伺服器，以及有文件記載的 DeepSeek V3/R1 工作。針對 V4.1-Flash，兩者沒有公開的同場對比。
先說結論
選 LMDeploy，如果你現在就需要可用的 API、想要一條現成的 DeepSeek 部署路徑，或需要一個具備成熟服務層、能跑 Ascend 的堆疊。可以考慮 DeepInfer，如果你明確想要 DeepSeek 自家的 V4.1-Flash 引擎及其 DSpark／SWA／EPLB 實作，並且準備好自己建服務層。
關鍵提醒：LMDeploy 的 README 記載的是 DeepSeek V3/R1，不是 V4.1-Flash。不要因為它支援較舊的 DeepSeek 模型，就假設新模型也支援。投入之前，先查目前的支援矩陣與引擎選擇（TurboMind 還是 PyTorch）。
兩者分別是什麼
DeepInfer
DeepInfer 是 DeepSeek 的開源推理框架，用來大規模服務 DeepSeek-V4.1-Flash。它採用 Apache-2.0，支援 NVIDIA SM100 與華為 Ascend 950，提供離線引擎，內含優化 kernel、Wide-EP/EPLB、DSpark、SWA 有界重放、非同步排程、確定性模式與結構化輸出。
這個版本沒有 KV cache 系統、prefill/decode 分離與資料平行負載平衡，而且只支援一個模型。它的價值在於 DeepSeek 專屬的調校，以及讓人得以窺見一套生產級推理堆疊。
LMDeploy
LMDeploy 是開源工具包，用於壓縮、部署與服務 LLM。它提供兩個引擎：高效能 CUDA 引擎 TurboMind，以及硬件支援更廣的 PyTorch 引擎。文件記載的功能包括持久批次處理（連續批次處理）、分塊 KV cache、張量平行、高效能 CUDA kernel、KV cache 量化、AWQ 與自動前綴快取。
針對 DeepSeek，LMDeploy 記載了 V3/R1 支援、FlashMLA、DeepGemm、DeepEP、MicroBatch 與 EPLB 等 DeepSeek 優化，以及透過 DLSlime 與 Mooncake 實現的 PD 分離。它還附帶兼容 OpenAI 的 API 伺服器，提供 /v1/chat/completions、/v1/models 與 /v1/completions。PyTorch 引擎則記載了華為 Ascend 支援。
同場對比：比範圍，不比速度
| 面向 | DeepInfer | LMDeploy |
|---|---|---|
| 類型 | DeepSeek 專屬離線引擎 | 通用 LLM 服務工具包（TurboMind + PyTorch 引擎） |
| V4.1-Flash 支援 | 官方發行版；也是唯一的模型 | 本文未查證；記載的是 V3/R1——請查支援矩陣 |
| 線上 API | 此版本沒有 | 兼容 OpenAI 的 API 伺服器 |
| KV cache | 未包含 | 分塊 KV cache、前綴快取、KV cache 量化 |
| PD 分離 | 未包含 | DeepSeek 部分透過 DLSlime 與 Mooncake 有記載 |
| DeepSeek 調校 | DSpark、SWA 重放、Wide-EP/EPLB | FlashMLA、DeepGemm、DeepEP、MicroBatch、EPLB |
| 硬件 | SM100；Ascend 950 | NVIDIA CUDA；Ascend 經 PyTorch 引擎支援 |
| 授權 | Apache-2.0 | Apache-2.0 |
| 最適合 | V4.1 研究與自訂部署 | DeepSeek V3/R1 服務、Ascend，以及 API 優先的堆疊 |
來源：DeepInfer README／Q&A；LMDeploy README 與兼容 OpenAI 的 API 文件。取用於 2026-10-20。
DeepInfer 勝在哪裡
- V4.1-Flash 就是設計目標。引擎圍繞 V4.1 的 CED 架構、DSpark 草稿路徑、SWA 有界重放與 Wide-EP decode 佈局而建。LMDeploy 公開的 DeepSeek 相關工作，仍圍繞 V3/R1 描述。
- DeepSeek 自家的生產筆記。Q&A 說明了參考部署為何把運算拆成 64+64、EPLB 如何回應熱門專家，以及 KV cache 設計怎麼運作。這與通用工具包的功能清單是不同種類的證據。
- 確定性模式。提供 batch-invariant 推理與確定性取樣（僅 NVIDIA）。如果你需要可重現的評估或稽核，這一點就有關聯。
- Ascend 950 屬於官方發行版。LMDeploy 也有 Ascend 路徑，但 DeepInfer 把 Ascend 950 與 SM100 並列為一級目標。
LMDeploy 勝在哪裡
- 真正的服務層。兼容 OpenAI 的端點、請求處理，以及有文件記載的 API 伺服器。DeepInfer 只到離線推理為止。
- PD 分離已經整合。LMDeploy 記載了透過 DLSlime 與 Mooncake 的 DeepSeek PD 部署；DeepInfer 則把 PD 留給維運人員。
- 量化與快取控制。KV cache 量化、AWQ 與前綴快取都是工具包的一部分；DeepInfer 的發行版不含服務層級的 KV cache。
- DeepSeek V3/R1 經驗。如果你今天正在服務這些模型，LMDeploy 有現成的路徑。V4.1 是待解的問題，不是既有基礎。
- 硬件廣度。NVIDIA CUDA，加上 PyTorch 引擎的 Ascend 路徑；TurboMind 則是以 CUDA 為主的引擎。
基準測試陷阱
LMDeploy 的 README 聲稱「請求吞吐量最高可達 vLLM 的 1.8 倍」，靠的是連續批次處理、分塊 KV cache、動態 split-and-fuse、張量平行與 CUDA kernel。那是 LMDeploy 在自家測試中對 vLLM 的比較，不是對 DeepInfer。
DeepInfer 的圖表用 4 張 SM100 GPU 做 prefill、64 張做 decode，上下文 131,072 token，decode 設定為 nextn=3、草稿接受率 75%。除非先把模型、硬件、上下文、批次策略、快取命中率與 SLO 統一，否則這兩個數字不能放上同一個排行榜。
我們沒有在相同硬件上跑過任何一個引擎。如果你需要做決定，請控制 checkpoint、GPU/NPU 型號與數量、量化、輸入／輸出分佈與並發度，然後量測 p50/p95/p99 的 TTFT 與 TPOT、延遲約束下的吞吐量，以及每百萬個已交付輸出 token 的成本。
一份由第三方執行、相同硬件，針對 V4.1-Flash 比較 DeepInfer 與 LMDeploy 的測試，並附上確切版本、引擎選擇、PD 設定與快取設定。在那之前，「比較快」是假設，不是發現。
選擇指引
| 如果你…… | 先從這裡開始 | 原因 |
|---|---|---|
| 現在就需要 API | LMDeploy | 兼容 OpenAI 的伺服器與完整服務層 |
| 跑 DeepSeek V3/R1 | LMDeploy | 有記載的模型支援與 DeepSeek 優化 |
| 需要 PD 分離 | LMDeploy | 有記載的 DLSlime/Mooncake 整合 |
| 有 SM100 或 Ascend 950，且只跑 V4.1-Flash | 兩者都評估 | DeepInfer 專攻 V4.1；LMDeploy 的 V4.1 支援仍待查證 |
| 想研究 DeepSeek 的 V4.1 引擎 | DeepInfer | DSpark、SWA 重放、EPLB、生產 Q&A |
常見問題
DeepInfer 比 LMDeploy 快嗎？
沒有公開的同場對比。LMDeploy 的 1.8 倍吞吐量說法是自家測試中對 vLLM 的比較，不是對 DeepInfer；DeepInfer 的圖表則是自家的 SM100 量測。兩者都只能當作特定工作負載下的結果。
LMDeploy 支援 DeepSeek-V4.1-Flash 嗎？
本文未查證。LMDeploy 記載的是 DeepSeek V3/R1 支援、DeepSeek 優化與 PD 分離；在假設它支援 V4.1-Flash 之前，請查目前的支援矩陣。
LMDeploy 支援華為 Ascend 嗎？
支援。LMDeploy 的 PyTorch 引擎記載了華為 Ascend 支援；TurboMind 引擎則以 NVIDIA 為主。請查模型與引擎的支援矩陣。
我該選哪一個？
需要可用的 API、DeepSeek V3/R1，或能跑 Ascend 的堆疊，就用 LMDeploy。想在 SM100 或 Ascend 950 上做 V4.1-Flash 專項研究或自訂部署，則可以考慮 DeepInfer。
來源
- LMDeploy README — 引擎、DeepSeek 工作、PD 整合、Ascend、量化、授權。
- LMDeploy 兼容 OpenAI 的 API 文件 — 端點與啟動指令。
- DeepInfer README — 範圍、硬件、缺少的元件、圖表。
- DeepInfer 限制 — 缺失的服務層。
- 全部十篇比較 — vLLM、SGLang、TensorRT-LLM、TGI、Xinference、Dynamo、llama.cpp、Ollama 與 MLC-LLM。
下一篇：DeepInfer vs TGI、vs Xinference，或回到比較總覽。