DeepInfer vs NVIDIA Dynamo：引擎与编排层
Dynamo 是引擎之上的一层：分离式服务、KV 感知路由、多级 KV 缓存和 Kubernetes 编排。DeepInfer 是引擎。直接比较两者属于类别错误——但这个错误有用，因为 Dynamo 展示了完整的服务层长什么样。
DeepInfer 和 NVIDIA Dynamo 不能互相替代。DeepInfer 是 DeepSeek 面向 DeepSeek-V4.1-Flash 的 Apache-2.0 推理引擎，目标硬件为 NVIDIA SM100 和华为 Ascend 950，只有离线发行版。Dynamo 是 Apache-2.0、数据中心规模的推理编排栈，位于 vLLM、SGLang 和 TensorRT-LLM 之上，提供分离式服务、KV 感知路由、多级 KV 缓存和 Kubernetes 部署。一个计算 token，另一个协调一群计算 token 的机器。两者没有公开的同条件实测；而不固定后端，就不可能做出有意义的比较。
先给结论
选 Dynamo，如果你需要多节点编排、prefill/decode 分离、KV 感知路由，以及用 vLLM、SGLang 或 TensorRT-LLM 作后端的 Kubernetes 部署。可以评估 DeepInfer，如果你想要 DeepSeek 自己的 V4.1-Flash 引擎或需要 Ascend 950——并且准备好自己搭服务层。
如果你在“DeepInfer”和“Dynamo”之间做选择，实际上是在“一个引擎”和“一个编排层加一个受支持的后端”之间做选择。这个切入角度才有用。
两者各是什么
DeepInfer
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它采用 Apache-2.0 许可，支持 NVIDIA SM100 和华为 Ascend 950，交付的是一个离线引擎，包含优化过的 kernel、Wide-EP/EPLB、DSpark、SWA 有界重放、异步调度、确定性模式和结构化输出。
它的发行版没有包含 KV cache 系统、prefill/decode 分离和数据并行负载均衡，而且只支持一个模型。它是一次引擎发布，不是服务平台。
Dynamo
Dynamo 自称“开源、数据中心规模的推理栈”，更准确地说，是“推理引擎之上的编排层”。它不替代 vLLM、SGLang 或 TensorRT-LLM，而是把它们组合成一个协调的多节点系统。
它的 README 列出分离式服务、KV 感知路由、可在 GPU、CPU、SSD 和远程存储之间卸载 KV cache 的 KV Block Manager、Kubernetes 原生部署，以及 OpenAI 兼容前端。支持的后端包括 vLLM、SGLang 和 TensorRT-LLM。许可证为 Apache-2.0。
逐项对比：比层次，不比速度
| 维度 | DeepInfer | NVIDIA Dynamo |
|---|---|---|
| 类型 | DeepSeek 专用离线引擎 | 引擎之上的编排层 |
| 范围 | 一个模型：V4.1-Flash | 多模型、多节点服务 |
| V4.1-Flash 支持 | 正式发行版；也是唯一支持的模型 | 取决于后端；没有原生 V4.1 引擎 |
| PD 分离 | 未包含 | 核心功能 |
| KV cache | 未包含 | KV 感知路由；KVBM 多级卸载 |
| 后端 | DeepSeek 原生引擎 | vLLM、SGLang、TensorRT-LLM |
| API | 发行版中没有 | OpenAI 兼容前端 |
| 硬件 | SM100；Ascend 950 | NVIDIA GPU；请查支持矩阵 |
| 许可证 | Apache-2.0 | Apache-2.0 |
| 适用场景 | V4.1-Flash 研究与自定义部署 | 配受支持后端时的生产级多节点服务 |
资料来源：DeepInfer README/Q&A；Dynamo README、后端表和支持矩阵。访问于 2026-10-20。
DeepInfer 的优势
- V4.1-Flash 专用。引擎围绕该模型的 CED 架构、DSpark、SWA 有界重放和 Wide-EP decode 布局构建。Dynamo 把模型优化交给后端。
- Ascend 950。DeepInfer 把华为 Ascend 950 列为一级目标。Dynamo 支持的硬件路径是 NVIDIA GPU。
- 需要研究的面更小。一个模型、一个引擎、一棵紧凑的公开代码树。如果目标是理解 DeepSeek 的推理设计，Dynamo 会在你和 kernel 之间多隔一层。
- 不依赖编排层。如果你想要一个能离线运行、可以逐行检查的引擎，DeepInfer 是自包含的。Dynamo 没有后端就没用。
Dynamo 的优势
- DeepInfer 缺的那层服务。prefill/decode 分离、KV 感知路由、多级 KV 缓存和 Kubernetes 部署，正是 DeepInfer 发行版里缺的部分。
- 后端灵活。支持 vLLM、SGLang 和 TensorRT-LLM。你可以挑适合当前模型和硬件的引擎。
- 为横向扩展而设计。Dynamo 明确面向多节点推理，而不是单个离线进程。
- OpenAI 兼容前端。服务 API 不用你自己写。
- 生态与成熟度。一个 NVIDIA 支持的大型项目，有配方、Kubernetes 工具和支持矩阵。
为什么这是层次对比
DeepInfer 是计算 token 的引擎，Dynamo 是协调 token 计算的层。生产服务两类工作都需要：快的 kernel，以及把请求路由、缓存并跨机器扩展的办法。
DeepInfer 的发行版选择把引擎暴露出来，把协调工作留给运维方；Dynamo 选择协调现有引擎，把 kernel 工作留给它们。两种选择都没有错，它们是边界不同的产品。
Dynamo 里没有关于 DeepInfer 后端的文档。Dynamo 支持的后端是 vLLM、SGLang 和 TensorRT-LLM。不要以为不做集成就能把 DeepInfer 塞到 Dynamo 下面。
一个为 DeepInfer 提供支持并写入文档的 Dynamo 后端，或者一个包含 PD 分离和 KV 感知路由的 DeepInfer 版本。任何一个都会抹平这层区别——让直接比较变得有意义。
基准测试的陷阱
Dynamo 的基准测的是整个栈：后端、路由、缓存命中率、prefill/decode 比例、Kubernetes 行为和网络。DeepInfer 的图表测的是自家引擎，4 张 SM100 做 prefill、64 张做 decode，上下文 131,072 token，decode 配置使用 nextn=3、草稿接受率 75%。
如果 Dynamo 跑的是 vLLM，引擎层面的比较就是 DeepInfer vs vLLM，Dynamo 的贡献是它周围的编排。如果 Dynamo 跑的是 SGLang，比较就是 DeepInfer vs SGLang。两种情况下，“DeepInfer vs Dynamo”都不是 kernel 层面的比较。
我们没在相同硬件上跑过这两个栈。有意义的测试会固定后端、checkpoint、GPU 数量、拓扑、缓存策略和 SLO，然后报告 p50/p95/p99 的 TTFT 与 TPOT，以及延迟约束下的吞吐。
选择指南
| 如果你的情况… | 先选 | 原因 |
|---|---|---|
| 需要带 PD 的多节点服务 | Dynamo + vLLM/SGLang/TensorRT-LLM | Dynamo 提供编排层 |
| 需要 KV 感知路由和 KVBM | Dynamo | 这套栈的核心功能 |
| 需要 Kubernetes 部署 | Dynamo | Kubernetes 原生工具与配方 |
| 有 Ascend 950，且只跑 V4.1-Flash | DeepInfer | 官方 V4.1 引擎与 Ascend 目标 |
| 想研究 DeepSeek 的引擎 | DeepInfer | DSpark、SWA 重放、EPLB、生产 Q&A |
常见问题
Dynamo 是推理引擎吗？
不是。Dynamo 是推理引擎之上的编排层，与 vLLM、SGLang 和 TensorRT-LLM 配合工作。DeepInfer 是引擎。
Dynamo 支持 DeepSeek-V4.1-Flash 吗？
支持取决于后端及其配方。Dynamo 本身不实现 V4.1-Flash 引擎；请查后端支持矩阵和当前 Dynamo 配方。
DeepInfer 能跑在 Dynamo 下面吗？
Dynamo 里没有关于 DeepInfer 后端的文档。Dynamo 支持的后端是 vLLM、SGLang 和 TensorRT-LLM；不要假定可以直接集成。
我该选哪个？
需要多节点编排、KV 感知路由，以及配受支持后端的分离式服务，就用 Dynamo。想要 DeepSeek 的 V4.1-Flash 引擎或 Ascend 950，可以评估 DeepInfer。
资料来源
- Dynamo README —— 编排层、PD 服务、KV 感知路由、KVBM、后端、Kubernetes、许可证。
- Dynamo 文档 —— 部署与支持矩阵。
- DeepInfer README —— 范围、硬件、缺失组件、图表。
- DeepInfer 限制 —— Dynamo 所补上的缺失服务层。
- 全部十篇对比 —— 完整清单。
接着读：DeepInfer 对比 vLLM、对比 SGLang，或回到对比总览。