DeepInfer vs TensorRT-LLM：V4.1-Flash 该走哪条 NVIDIA 路径？
TensorRT-LLM 是 NVIDIA 的通用推理栈，DeepInfer 是 DeepSeek 的 V4.1-Flash 专用引擎。一个给你成熟的 NVIDIA 服务运行时，另一个给你 DeepSeek 自己的调优——以及窄得多的范围。
DeepInfer 和 TensorRT-LLM 都是经过优化的推理栈，但彼此不能替代。DeepInfer 是 DeepSeek 面向单一模型 DeepSeek-V4.1-Flash 的 Apache-2.0 引擎，只有离线发行版，支持 NVIDIA SM100 和华为 Ascend 950。TensorRT-LLM 是 NVIDIA 的开源库，用于在 NVIDIA GPU 上优化 LLM 和视觉生成推理，提供自定义 kernel、prefill-decode 分离、Wide EP、投机解码以及 Python/C++ 运行时。V4.1-Flash 没有公开的同条件实测。
先给结论
选 TensorRT-LLM，如果你已经全面标准化在 NVIDIA 上、想要成熟的服务运行时，并且需要更广的模型与工具生态。可以评估 DeepInfer，如果你想要 DeepSeek 自己的 V4.1-Flash 引擎、需要 Ascend 950，或者正在研究 DeepSeek 的生产优化——同时接受 KV cache、PD、负载均衡和 API 层都要你负责。
两个选择都不是速度判决。TensorRT-LLM 的性能取决于模型、GPU、引擎构建、量化和服务配置；DeepInfer 的图表是自家在 SM100 上的测量。公开渠道没有受控对比。我们也没在相同硬件上跑过这两个引擎；这是一篇基于公开资料的对比。
两者各是什么
DeepInfer
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它采用 Apache-2.0 许可，支持 NVIDIA SM100 和华为 Ascend 950，交付的是一个离线引擎，包含优化过的 kernel、Wide-EP/EPLB、DSpark、SWA 有界重放、异步调度、确定性模式和结构化输出。
它的发行版没有包含 KV cache 系统、prefill/decode 分离和数据并行负载均衡，而且只支持一个模型。它是参考引擎，不是完整的 NVIDIA 服务产品。
TensorRT-LLM
TensorRT-LLM 是 NVIDIA 的开源库，用于在 NVIDIA GPU 上优化 LLM 和视觉生成推理。它的 README 描述了针对 attention、GEMM 和 MoE 的自定义 kernel；包含 prefill-decode 分离、Wide Expert Parallelism 和投机解码在内的运行时优化；一套 Python LLM API；以及 Python/C++ 运行时。它能与 NVIDIA Dynamo 和 Triton Inference Server 集成，并带有 trtllm-serve 命令。
NVIDIA 公布过 DeepSeek-V4 的优化，但 V4.1-Flash 支持取决于 TensorRT-LLM 的版本和配方。在假定它能跑你要的那个 checkpoint 之前，请先查当前的支持矩阵。
逐项对比：比范围，不比速度
| 维度 | DeepInfer | TensorRT-LLM |
|---|---|---|
| 类型 | DeepSeek 专用离线引擎 | NVIDIA 推理库与服务运行时 |
| V4.1-Flash 支持 | 正式发行版；也是唯一支持的模型 | 需查支持矩阵；已公布 DeepSeek-V4 优化 |
| 硬件 | NVIDIA SM100；华为 Ascend 950 | NVIDIA GPU |
| API 层 | 发行版中没有 | trtllm-serve、Triton、Dynamo |
| KV cache | 未包含 | 运行时内含 KV cache 与前缀缓存 |
| PD 分离 | 未包含 | 有文档的 prefill-decode 分离 |
| 并行策略 | DP/CP/EP + EPLB | TP/PP/EP、Wide EP、多节点 |
| 投机解码 | DSpark | 运行时内置投机解码 |
| 许可证 | Apache-2.0 | Apache-2.0 |
| 成熟度 | 早期公开版本 | 成熟的 NVIDIA 项目，贡献者众多 |
| 适用场景 | V4.1 研究与自定义部署 | NVIDIA 标准化的生产服务 |
资料来源：DeepInfer README/Q&A；TensorRT-LLM README。访问于 2026-10-20。“需查支持矩阵”是字面意思：V4.1 支持与版本相关。
DeepInfer 的优势
- DeepSeek 针对 V4.1 的调优。引擎围绕 V4.1 的 CED 架构、DSpark、SWA 有界重放和 Wide-EP decode 构建。TensorRT-LLM 的优化是通用的，并且依赖具体模型。
- Ascend 950 支持。TensorRT-LLM 只做 NVIDIA。如果你需要非 NVIDIA 路径，在这一层里 DeepInfer 是少数官方选项之一。
- 确定性模式。DeepInfer 暴露了批不变推理和确定性采样（仅 NVIDIA）。TensorRT-LLM 可能提供确定性相关的控制，但不是同一套有文档的接口；请按你的版本核实。
- 更简单的代码路径。一个模型、一个引擎、一棵紧凑的公开代码树。做研究时，它比一套通用 NVIDIA 栈更容易追。
TensorRT-LLM 的优势
- NVIDIA 原生优化。针对 attention、GEMM 和 MoE 的自定义 kernel，加上运行时优化，以及一支以 NVIDIA 性能为职责的团队。如果你只用 NVIDIA，这是自然的选择。
- 是服务运行时，不只是引擎。
trtllm-serve、Triton 和 Dynamo 集成给了你通往真实服务的路径。DeepInfer 止步于离线推理。 - 模型覆盖更广。TensorRT-LLM 支持多种模型和架构，具体以其支持矩阵为准。DeepInfer 只支持一个。
- 成熟度与工具。一个大型项目，有 release notes、基准测试、支持矩阵和生产集成。DeepInfer 是发布当天的版本。
- NVIDIA 硬件覆盖面。TensorRT-LLM 面向广泛的 NVIDIA GPU；DeepInfer 的官方清单是 SM100。如果你手上是 H100/H200/B200/GB200，想要一条 NVIDIA 支持的路径，该查的是 TensorRT-LLM。
基准测试的陷阱
TensorRT-LLM 的基准通常按模型、按 GPU、按引擎构建、按服务配置分别报告。DeepInfer 的图表用 4 张 SM100 做 prefill、64 张做 decode，上下文 131,072 token，decode 配置为 nextn=3、草稿接受率 75%。
这是两把不同的尺子。为某一种 GPU 和 batch size 构建的 TensorRT-LLM 引擎，与 DeepInfer 扫出来的前沿曲线不可比，反过来也一样。如果你要做一个决定，就控制模型 checkpoint、GPU 型号与数量、量化、输入/输出长度、缓存命中率、并发度和 SLO；然后测 TTFT、TPOT、延迟约束下的吞吐，以及每百万交付 token 的成本。
一份第三方、同硬件、针对 V4.1-Flash 的 DeepInfer 与 TensorRT-LLM 对比，带确切版本、引擎构建参数和负载 trace。在那之前，“更快”是假设，不是结论。
选择指南
| 如果你的情况… | 先选 | 原因 |
|---|---|---|
| 全面使用 NVIDIA，需要服务运行时 | TensorRT-LLM | NVIDIA kernel、Triton/Dynamo、支持矩阵 |
| 需要 Ascend 950 | DeepInfer | TensorRT-LLM 只支持 NVIDIA |
| 想要 DeepSeek 的 V4.1 专用引擎 | DeepInfer | 模型与引擎协同设计、DSpark、SWA 重放 |
| 需要覆盖大量模型 | TensorRT-LLM | DeepInfer 只支持一个模型 |
| 需要完整的 API 和缓存层 | TensorRT-LLM | DeepInfer 不含服务层 |
常见问题
DeepInfer 比 TensorRT-LLM 快吗？
DeepSeek-V4.1-Flash 没有公开的同条件实测。DeepInfer 的图表是自家在 SM100 上的测量；TensorRT-LLM 的性能取决于模型、GPU、引擎构建和服务配置。没有受控测试，就不要假定谁赢。
TensorRT-LLM 支持 DeepSeek-V4.1-Flash 吗？
请查 NVIDIA 当前的支持矩阵。TensorRT-LLM 公布过 DeepSeek-V4 的优化，但 V4.1-Flash 支持取决于版本和配方。
DeepInfer 能跑在 SM100 以外的 NVIDIA GPU 上吗？
不能。DeepInfer README 列出的是 NVIDIA SM100 和华为 Ascend 950。TensorRT-LLM 面向更广泛的 NVIDIA GPU；请查它的支持矩阵确认你的卡。
我该选哪个？
全面使用 NVIDIA、想要成熟的 NVIDIA 服务栈，就用 TensorRT-LLM。想要 DeepSeek 的 V4.1-Flash 专用引擎，或需要 Ascend 950 支持，可以评估 DeepInfer。
资料来源
- DeepInfer README —— 范围、硬件、缺失组件、图表。
- DeepInfer Q&A —— 生产架构与缓存设计。
- TensorRT-LLM README —— kernel、运行时、分离式服务、Wide EP、Triton/Dynamo、许可证。
- TensorRT-LLM 支持矩阵 —— 动手前先确认当前支持的模型和 GPU。
- DeepInfer 基准测试 —— 如何读懂官方图表。
接着读：DeepInfer 对比 vLLM、DeepInfer 对比 SGLang，或回到对比总览。