DeepInfer 对比 vLLM
一个面向单一模型的 DeepSeek 引擎，对比一个被广泛采用的通用服务框架：200+ 模型架构，外加 OpenAI 兼容 API。
阅读对比 →FIG. 05 — 对比工作台 / 2026.10
DeepInfer 对比 vLLM、SGLang 及另外 8 个引擎
十篇基于公开资料的对比，只回答一个问题：DeepSeek-V4.1-Flash 该由哪一层服务框架来跑？我们比较能力范围、硬件、API 形态、缓存架构和成熟度——不比较凭空想出来的速度数字。
对比篇数10服务端 · 本地 · 编译器
方法范围 + 适配不比速度
同条件实测无公开数据截至 2026-10-20
动手测试未测试基于公开资料
快照时间2026-10-2011:30 UTC
先读这一段
这里比的是能力范围，不是速度竞赛。
不编造基准测试
DeepInfer 不是通用服务框架的即插即用替代品。它是 DeepSeek 面向单一模型 V4.1-Flash、面向一份很短的硬件清单发布的 Apache-2.0 推理引擎。这里出现的其他引擎处在不同层次：数据中心服务栈、本地运行时、基于编译器的部署引擎，以及一个编排层。
所以“哪个更快？”是错误的第一问。真正有用的问题是：你需要哪些模型、手上有什么硬件、今天是否就要一个 API，以及 KV cache、路由和多节点这一层由谁负责。
我们的对比规则
我们比较的是公开的能力范围和架构，不宣布谁的速度更快。在模型、硬件、上下文和负载完全相同的条件下，DeepInfer 与这些引擎中的任何一个都没有公开的同条件实测。如果你看到某个页面声称有，先去看它的测试条件。
| 层次 | 本组涉及的引擎 | 这组对比回答什么 |
|---|---|---|
| 数据中心服务 | vLLM、SGLang、TensorRT-LLM、LMDeploy、TGI、Xinference、NVIDIA Dynamo | API 层、KV cache、PD 分离、硬件、成熟度，以及服务栈归谁负责。 |
| 本地运行时 | llama.cpp、Ollama | 为什么 V4.1-Flash 的集群引擎不是笔记本运行时——以及什么情况下本地推理才是对的工具。 |
| 编译器运行时 | MLC-LLM | 跨 NVIDIA、AMD、Apple、Intel 和移动端的可移植编译部署——对照一个目标固定的集群引擎。 |
表格是范围地图，不是基准测试。每篇对比页都附有资料来源。
十篇对比
挑一篇对应你当下决策的。
更新于 2026-10-20
DeepInfer 对比 SGLang
SGLang 已有 V4.1-Flash 的 preview 配方：DSpark、PD 分离、HiCache 和路由器。但那是 preview 镜像，不是正式发行版。
阅读对比 →DeepInfer 对比 TensorRT-LLM
DeepSeek 的 V4.1 专用引擎，对比 NVIDIA 的通用推理栈。硬件绑定、API 形态和引擎构建复杂度决定取舍。
阅读对比 →DeepInfer 对比 LMDeploy
InternLM 的 TurboMind 栈已有 DeepSeek V3/R1 优化、PD 分离、OpenAI API 和 Ascend 路径。
阅读对比 →DeepInfer 对比 TGI
Hugging Face 的服务工具链很成熟，但已进入维护模式。这会改变新部署 V4.1-Flash 时的风险计算。
阅读对比 →DeepInfer 对比 Xinference
一个同时跑 LLM、embedding、reranker 和多模态模型的平台——不是 V4.1-Flash 引擎。层次不同，取舍也不同。
阅读对比 →DeepInfer 对比 NVIDIA Dynamo
Dynamo 是 vLLM、SGLang、TensorRT-LLM 之上的编排层：PD 服务、KV 感知路由、KVBM、Kubernetes。
阅读对比 →DeepInfer 对比 llama.cpp
MIT 许可的 C/C++ 本地推理配 GGUF 量化，对比 64 卡 SM100 引擎。这一页是刻意做的错位对比。
阅读对比 →DeepInfer 对比 Ollama
最容易上手的本地模型运行器，对比数据中心级 V4.1-Flash 引擎。如果你在问“我能不能直接在笔记本上跑”，这页有用。
阅读对比 →DeepInfer 对比 MLC-LLM
一套编译器和 MLCEngine，覆盖 NVIDIA、AMD、Apple、Intel 和移动 GPU——对比 DeepSeek 固定的 SM100/Ascend 引擎。
阅读对比 →方法
我们比什么——以及拒绝编什么。
EEAT / 基于公开资料
我们对比
能力范围与适配
模型支持、硬件、API 形态、缓存架构、PD 分离、许可证和成熟度。这些都能在公开文档里查到。
我们不做
宣布速度赢家
不存在公开的同模型、同硬件、同负载基准。我们不会把厂商的图表做成排行榜。
我们给出出处
每一个论断
官方 README、cookbook、模型卡和厂商博客。数字如果是厂商自报，我们会注明；如果我们没跑过，也会照说。
关于“VS”页面
一篇对比页有用，是因为它能帮你做决定；有害，是因为它编出一个赢家。这些页面写的是前一种：告诉你每个引擎适合哪里、在工程上要付出什么、以及还缺哪些证据。
评估方案
如果不看厂商图表，就按这个方式测。
7 个步骤
| # | 步骤 | 需要固定下来的项 |
|---|---|---|
| 1 | 模型 | 确切的 checkpoint（例如 V4.1-Flash-1017）、量化方式、tokenizer 和 prompt 编码。 |
| 2 | 引擎 | commit 或镜像 digest、构建参数、CUDA/CANN 版本，以及所有会改变 kernel 或调度的环境变量。 |
| 3 | 硬件 | GPU/NPU 型号与数量、互联、内存，以及是单节点还是集群。 |
| 4 | 负载 | 真实的输入/输出分布、每会话轮数、并发度，以及前缀缓存命中率。 |
| 5 | 延迟 | p50/p95/p99 的 TTFT 和 TPOT，以及同一 SLO 下的错误率和超时率。 |
| 6 | 吞吐 | 在给定延迟约束下的 tokens/s——不是无限并发下的峰值。 |
| 7 | 成本 | 每百万交付输出 token 的成本，包含利用率、能耗、存储、重试和闲置容量。 |
这份清单是我们的方法，不是厂商基准。它对十个引擎一视同仁。