DeepInfer vs LMDeploy：DeepSeek V4.1-Flash 服务方案对比
LMDeploy 是中文生态里最接近的对比对象：一个带有 DeepSeek V3/R1 优化、PD 分离、OpenAI 兼容 API 和 Ascend 路径的服务工具链。DeepInfer 范围更窄，专为 V4.1 而生。
DeepInfer 和 LMDeploy 都针对 DeepSeek 模型做过优化，但不是同一种产品。DeepInfer 是 DeepSeek 面向单一模型 DeepSeek-V4.1-Flash 的 Apache-2.0 引擎，只有离线发行版，支持 NVIDIA SM100 和华为 Ascend 950。LMDeploy 是 InternLM 的开源工具链，用于压缩、部署和服务 LLM，自带 TurboMind 与 PyTorch 两个引擎、完整的 OpenAI 兼容 API server，并有文档化的 DeepSeek V3/R1 工作。V4.1-Flash 没有公开的同条件实测。
先给结论
选 LMDeploy，如果你今天就需要可服务的 API、想要一条现成的 DeepSeek 部署路径，或者需要一套支持 Ascend、且服务层成熟的栈。可以评估 DeepInfer，如果你明确想要 DeepSeek 自己的 V4.1-Flash 引擎、它的 DSpark/SWA/EPLB 实现，并且准备好自己搭服务层。
关键前提：LMDeploy 的 README 记录的是 DeepSeek V3/R1，不是 V4.1-Flash。不要因为旧版 DeepSeek 模型被支持，就假定新模型也被支持。做决定前先查当前的支持矩阵，以及具体用哪个引擎——TurboMind 还是 PyTorch。
两者各是什么
DeepInfer
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它采用 Apache-2.0 许可，支持 NVIDIA SM100 和华为 Ascend 950，交付的是一个离线引擎，包含优化过的 kernel、Wide-EP/EPLB、DSpark、SWA 有界重放、异步调度、确定性模式和结构化输出。
它的发行版没有包含 KV cache 系统、prefill/decode 分离和数据并行负载均衡，而且只支持一个模型。价值在于 DeepSeek 自己的调优，以及它能让人看清生产级推理栈的内部。
LMDeploy
LMDeploy 是一个用于压缩、部署和服务 LLM 的开源工具链。它提供两个引擎：高性能 CUDA 引擎 TurboMind，以及硬件支持更广的 PyTorch 引擎。有文档的特性包括持续批处理（persistent batching，即 continuous batching）、分块 KV cache、张量并行、高性能 CUDA kernel、KV cache 量化、AWQ 和自动前缀缓存。
针对 DeepSeek，LMDeploy 记录了 V3/R1 支持、FlashMLA、DeepGemm、DeepEP、MicroBatch、EPLB 等 DeepSeek 优化，以及通过 DLSlime 和 Mooncake 实现的 PD 分离。它还自带 OpenAI 兼容 API server，提供 /v1/chat/completions、/v1/models 和 /v1/completions。PyTorch 引擎有文档化的华为 Ascend 支持。
逐项对比：比范围，不比速度
| 维度 | DeepInfer | LMDeploy |
|---|---|---|
| 类型 | DeepSeek 专用离线引擎 | 通用 LLM 服务工具链（TurboMind + PyTorch 引擎） |
| V4.1-Flash 支持 | 正式发行版；也是唯一支持的模型 | 本文未核实；有文档的是 V3/R1——请查支持矩阵 |
| 在线 API | 发行版中没有 | OpenAI 兼容 API server |
| KV cache | 未包含 | 分块 KV cache、前缀缓存、KV cache 量化 |
| PD 分离 | 未包含 | 针对 DeepSeek，通过 DLSlime 和 Mooncake 实现并有文档 |
| DeepSeek 调优 | DSpark、SWA 重放、Wide-EP/EPLB | FlashMLA、DeepGemm、DeepEP、MicroBatch、EPLB |
| 硬件 | SM100；Ascend 950 | NVIDIA CUDA；经 PyTorch 引擎支持 Ascend |
| 许可证 | Apache-2.0 | Apache-2.0 |
| 适用场景 | V4.1 研究与自定义部署 | DeepSeek V3/R1 服务、Ascend，以及 API 优先的栈 |
资料来源：DeepInfer README/Q&A；LMDeploy README 与 OpenAI 兼容 API 文档。访问于 2026-10-20。
DeepInfer 的优势
- V4.1-Flash 就是设计目标。引擎围绕 V4.1 的 CED 架构、DSpark 草稿路径、SWA 有界重放和 Wide-EP decode 布局构建。LMDeploy 公开的 DeepSeek 工作仍围绕 V3/R1 描述。
- DeepSeek 自己的生产笔记。Q&A 记录了参考部署里为什么把运算拆成 64+64、EPLB 如何对热点专家做出反应，以及 KV cache 的设计思路。这与通用工具链的功能清单是不同性质的证据。
- 确定性模式。提供批不变推理和确定性采样（仅 NVIDIA）。如果你需要可复现的评估或审计，这一点很重要。
- Ascend 950 在正式发行版里。LMDeploy 也有 Ascend 路径，但 DeepInfer 把 Ascend 950 与 SM100 并列为一级目标。
LMDeploy 的优势
- 真正的服务层。OpenAI 兼容端点、请求处理，以及有文档的 API server。DeepInfer 止步于离线推理。
- PD 分离已经集成。LMDeploy 记录了通过 DLSlime 和 Mooncake 的 DeepSeek PD 部署。DeepInfer 把 PD 留给运维方。
- 量化与缓存控制。KV cache 量化、AWQ 和前缀缓存都是工具链的一部分。DeepInfer 的发行版不含服务级 KV cache。
- DeepSeek V3/R1 经验。如果你今天就在服务这些模型，LMDeploy 有一条有文档的路径。V4.1 才是未知项，而不是基线。
- 硬件覆盖面。NVIDIA CUDA，加上 PyTorch 引擎的 Ascend 路径；TurboMind 是专注 CUDA 的引擎。
基准测试的陷阱
LMDeploy 的 README 声称，借助持续批处理、分块 KV cache、动态 split-and-fuse、张量并行和 CUDA kernel，请求吞吐“最高比 vLLM 高 1.8×”。这是 LMDeploy 在自家测试里对 vLLM 的比较，不是对 DeepInfer。
DeepInfer 的图表用 4 张 SM100 做 prefill、64 张做 decode，上下文 131,072 token，decode 配置为 nextn=3、草稿接受率 75%。不归一化模型、硬件、上下文、批处理策略、缓存命中率和 SLO，这两个数字没法放进同一个排行榜。
我们没在相同硬件上跑过这两个引擎。如果你要做决定，就控制 checkpoint、GPU/NPU 型号与数量、量化、输入/输出分布和并发度；然后测 p50/p95/p99 的 TTFT 与 TPOT、延迟约束下的吞吐，以及每百万交付输出 token 的成本。
一份第三方、同硬件、针对 V4.1-Flash 的 DeepInfer 与 LMDeploy 对比，带确切版本、引擎选择、PD 配置和缓存设置。在那之前，“更快”是假设，不是结论。
选择指南
| 如果你的情况… | 先选 | 原因 |
|---|---|---|
| 现在就要 API | LMDeploy | OpenAI 兼容 server 和完整服务层 |
| 跑 DeepSeek V3/R1 | LMDeploy | 有文档的模型支持和 DeepSeek 优化 |
| 需要 PD 分离 | LMDeploy | 有文档的 DLSlime/Mooncake 集成 |
| 有 SM100 或 Ascend 950，且只跑 V4.1-Flash | 两个都评估 | DeepInfer 专为 V4.1；LMDeploy 的 V4.1 支持需要核实 |
| 想研究 DeepSeek 的 V4.1 引擎 | DeepInfer | DSpark、SWA 重放、EPLB、生产 Q&A |
常见问题
DeepInfer 比 LMDeploy 快吗？
没有公开的同条件实测。LMDeploy 的 1.8× 吞吐说法是自家测试对 vLLM 的结果，不是对 DeepInfer；DeepInfer 的图表是自家在 SM100 上的测量。两者都只能当作特定负载下的参考。
LMDeploy 支持 DeepSeek-V4.1-Flash 吗？
本文未核实。LMDeploy 有文档记录的是 DeepSeek V3/R1 支持、DeepSeek 优化和 PD 分离；在假定它支持 V4.1-Flash 之前，请查当前的支持矩阵。
LMDeploy 支持华为 Ascend 吗？
支持。LMDeploy 的 PyTorch 引擎有文档化的华为 Ascend 支持；TurboMind 引擎则侧重 NVIDIA。请核对模型与引擎的矩阵。
我该选哪个？
需要可服务的 API、跑 DeepSeek V3/R1，或需要支持 Ascend 的栈，就用 LMDeploy。V4.1-Flash 专项研究，或要在 SM100、Ascend 950 上自建部署，可以评估 DeepInfer。
资料来源
- LMDeploy README —— 引擎、DeepSeek 工作、PD 集成、Ascend、量化、许可证。
- LMDeploy OpenAI 兼容 API 文档 —— 端点与启动命令。
- DeepInfer README —— 范围、硬件、缺失组件、图表。
- DeepInfer 限制 —— 缺失的服务层。
- 全部十篇对比 —— vLLM、SGLang、TensorRT-LLM、TGI、Xinference、Dynamo、llama.cpp、Ollama 和 MLC-LLM。
接着读：DeepInfer 对比 TGI、对比 Xinference，或回到对比总览。