DeepInfer vs vLLM：谁来服务 DeepSeek-V4.1-Flash？
DeepInfer 是 DeepSeek 面向单一模型的推理引擎。vLLM 是带 API 层、生态大得多的通用服务框架。真正值得比较的是范围与适配——而不是编一个速度赢家。
DeepInfer 和 vLLM 不能互换。DeepInfer 是 DeepSeek 面向单一模型 DeepSeek-V4.1-Flash 的 Apache-2.0 推理引擎；vLLM 是通用 LLM 服务框架，支持 200+ 模型架构和 OpenAI 兼容 API，硬件矩阵也宽得多。两者没有公开的同条件实测，所以这篇比的是范围和适配，而不是编一个赢家。
先给结论
选 vLLM，如果你现在就需要一个可服务的 API、需要支持多个模型，或者需要一套成熟的运维方案。可以评估 DeepInfer，如果你手上有 SM100 或 Ascend 950 硬件、只服务 V4.1-Flash，并且想要 DeepSeek 自己那套源自生产的引擎——前提是接受服务层得自己搭。
对多数团队来说，vLLM 是风险更低的起点；DeepInfer 是更有意思的参考实现。这是两件不同的事。
本页不声称 DeepInfer 比 vLLM 快，也不反过来。两个项目公布数字所用的硬件、模型、上下文和负载都不相同。公平比较需要同一 checkpoint、相同 GPU 数量、相同输入/输出长度、相同缓存命中率、相同批处理策略和相同延迟 SLO。我们没在相同硬件上跑过这两个引擎。
两者各是什么
DeepInfer
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它采用 Apache-2.0 许可，支持 NVIDIA SM100 和华为 Ascend 950，交付的是一个离线引擎，包含优化过的 kernel、Wide-EP/EPLB、DSpark 投机解码、SWA 有界重放、异步调度、确定性模式和结构化输出。
它不是一套完整的服务栈。该版本没有包含 KV cache 系统、prefill/decode 分离和数据并行负载均衡，而且只支持一个模型。它的价值在于 DeepSeek 自己的调优，以及它让人得以一窥生产级推理栈的内部。
vLLM
vLLM 是通用的推理与服务引擎。它的 README 记录了 PagedAttention、连续批处理、分块 prefill、前缀缓存、prefill/decode/encode 分离、投机解码（n-gram、suffix、EAGLE、DFlash），以及一个 OpenAI 兼容的 API server（另支持 Anthropic Messages 和 gRPC）和 200+ 模型架构。它支持 NVIDIA、AMD、Intel GPU、CPU，以及包括华为 Ascend 在内的硬件插件。
vLLM 也公布过 V4.1-Flash 的优化。其博客称，在 SemiAnalysis AgentX 负载上，低并发场景有 1.9× 加速，在 150 TPS 约束下吞吐提升 5.3×。这些是 vLLM 在自家环境下的测试结果，不是与 DeepInfer 的对比。
逐项对比：比范围，不比速度
| 维度 | DeepInfer | vLLM |
|---|---|---|
| 类型 | DeepSeek 专用离线引擎 | 通用 LLM 推理与服务框架 |
| 模型支持 | 仅 DeepSeek-V4.1-Flash | 200+ 架构；已公布 V4.1-Flash 优化 |
| 硬件 | NVIDIA SM100；华为 Ascend 950 | NVIDIA/AMD/Intel GPU、CPU；含华为 Ascend 的插件 |
| 在线 API | 发行版中没有 | OpenAI 兼容 server、Anthropic Messages、gRPC |
| KV cache | 未包含 | PagedAttention、前缀缓存、分块 prefill |
| PD 分离 | 未包含 | prefill、decode、encode 分离 |
| 投机解码 | DSpark | n-gram、suffix、EAGLE、DFlash |
| 许可证 | Apache-2.0 | Apache-2.0 |
| 成熟度 | 早期公开版本；发布时仅三个公开 commit | 大型、长期维护的开源项目 |
| 适用场景 | V4.1 研究与自定义部署 | 通用 API 与广泛的模型覆盖 |
资料来源：DeepInfer README/Q&A；vLLM README 与 V4.1-Flash 博客。访问于 2026-10-20。
DeepInfer 的优势
- DeepSeek 自己的 V4.1 调优。引擎围绕该模型的 CED 架构、DSpark 草稿路径、SWA 有界重放和 Wide-EP decode 布局构建。这种模型与引擎的协同设计，通用框架通常做不到这么紧。
- 确定性模式。批不变推理和确定性采样（仅 NVIDIA）对评估、审计和可复现的 agent 运行很有用。它们不是宣传重点，但对需要它们的团队很关键。
- Ascend 950 支持。README 把华为 Ascend 950 与 SM100 并列。vLLM 也有 Ascend 插件，但 DeepInfer 的支持是官方发行版的一部分，而不是单独的后端。
- 学习价值。kernel 栈、EPLB、DSpark 调度和 SWA 重放都有相当详细的文档。对推理工程师来说，即便从不部署，也值得一读。
vLLM 的优势
- 真正的 API 层。vLLM 自带 OpenAI 兼容 server，另加 Anthropic Messages 和 gRPC。DeepInfer 给你的只是一个离线 Python 示例，不是 HTTP 服务。
- 模型覆盖面。200+ 架构对 1 个。如果你要服务 V4.1-Flash 以外的模型，比较实际上就结束了。
- 硬件覆盖面。NVIDIA、AMD、Intel、CPU，以及各类插件。DeepInfer 的官方清单是 SM100 和 Ascend 950。
- 生产特性。前缀缓存、分块 prefill、PD 分离和成熟的调度器都在框架里，而不是留给你当集成项目。
- 生态与成熟度。vLLM 有庞大的贡献者群体、各类集成和多年生产使用。DeepInfer 是发布当天才出现的版本，只有三个公开 commit。
基准测试的陷阱
把 DeepInfer 的两张 Pareto 图和 vLLM 的 V4.1 博客摆在一起宣布赢家，很容易。但那是错的。
- DeepInfer 的图表用 4 张 SM100 做 prefill、64 张做 decode，上下文为 131,072 token，decode 配置是
nextn=3、草稿接受率 75%。它测的是自家引擎的吞吐—延迟前沿。 - vLLM 的博客报告的是低并发 1.9× 加速，以及在 150 TPS 约束下 5.3× 吞吐，负载为 SemiAnalysis AgentX——另一种长输入、前缀缓存复用率高的负载。
- 单位不同。tokens/s/GPU、tokens/s/user、TTFT、TPOT 和端到端请求延迟不能互换。更高的吞吐数字可能伴随更差的单用户延迟。
如果你需要真正的比较，就控制模型 checkpoint、GPU 型号与数量、输入/输出分布、缓存命中率、批处理策略和 SLO，并报告 p50/p95/p99 的 TTFT 与 TPOT、延迟约束下的吞吐，以及每百万交付输出 token 的成本。在有人公布这些之前，两家的数字都只能当作方向性参考。
一份第三方、同硬件、同负载、带确切 commit 和配置的基准测试。如果 DeepInfer 或 vLLM 公布了这样一份，本页就应该更新——赢家应该是数据说的那个，而不是发布博文暗示的那个。
选择指南
| 如果你的情况… | 先选 | 原因 |
|---|---|---|
| 下周就要一个 API | vLLM | OpenAI 兼容 server、各类认证集成、成熟的运维方案 |
| 要服务多个模型 | vLLM | 200+ 架构；DeepInfer 只支持一个 |
| 有 SM100 或 Ascend 950，且只跑 V4.1-Flash | 两个都评估 | DeepInfer 给的是 DeepSeek 的调优；vLLM 给的是服务层 |
| 想研究 DeepSeek 的生产栈 | DeepInfer | kernel、EPLB、DSpark、SWA 重放、确定性模式 |
| 今天就要一套久经考验的多租户服务 | vLLM | DeepInfer 的 KV cache、PD 和负载均衡都不在发行版里 |
常见问题
DeepInfer 比 vLLM 快吗？
没有公开的同条件实测。DeepInfer 的图表是自家引擎在 SM100 上的结果；vLLM 公布的 V4.1-Flash 数字用的是不同硬件和负载。两者都只能当作特定负载下的证据，而不是通用的赢家。
DeepInfer 能替代 vLLM 提供 OpenAI 兼容 API 吗？
不能。DeepInfer 是没有面向用户 API 的离线引擎。vLLM 自带 OpenAI 兼容 server。你要在 DeepInfer 之上自己搭服务层。
两者各支持哪些模型？
DeepInfer 只支持 DeepSeek-V4.1-Flash。vLLM 支持 200+ 模型架构，包括 DeepSeek 系列，具体取决于当前版本的支持矩阵。
我该选哪个？
需要通用 API、广泛的模型支持或成熟的服务层，就用 vLLM。有 SM100 或 Ascend 950 硬件，又想要 DeepSeek 针对 V4.1-Flash 的专用引擎做研究或自建部署，可以评估 DeepInfer。
资料来源
- DeepInfer README —— 范围、硬件、缺失组件、图表。
- DeepInfer Q&A —— 生产架构、DSpark、EPLB、KV cache 设计。
- vLLM README —— PagedAttention、连续批处理、API、模型与硬件覆盖。
- vLLM V4.1-Flash 博客 —— 厂商自报的优化；不是与 DeepInfer 的对比。
- DeepInfer 基准测试 —— 如何读懂官方图表。
- DeepInfer 限制 —— 缺失的服务层。