DeepInfer vs MLC-LLM：编译式本地推理与 V4.1-Flash 引擎
MLC-LLM 把模型编译到多种设备上：NVIDIA、AMD、Apple、Intel 和移动端。DeepInfer 固定一个模型、一个集群目标。如果需求是可移植性，MLC 是那个值得看的项目；如果需求是大规模跑 V4.1-Flash，它不是现成的替代品。
DeepInfer 和 MLC-LLM 从相反的方向接近推理。DeepInfer 是 DeepSeek 面向单一模型 DeepSeek-V4.1-Flash 的 Apache-2.0 引擎，目标硬件为 NVIDIA SM100 和华为 Ascend 950。MLC-LLM 是 Apache-2.0 的机器学习编译器和部署引擎，带 MLCEngine、OpenAI 兼容 API，支持 NVIDIA、AMD、Apple、Intel 和移动 GPU。一个做专精，一个做移植。V4.1-Flash 没有公开的同条件实测。
先给结论
选 MLC-LLM，如果你需要在多种设备类型上做编译部署（包括笔记本和移动端），并且能自己负责模型构建。可以评估 DeepInfer，如果你有 SM100 或 Ascend 950 硬件，且需要 DeepSeek 的 V4.1-Flash 专用集群引擎。
不要假定 MLC-LLM 支持 V4.1-Flash。MLC 编译的是受支持的模型架构；新的前沿模型需要一条兼容的构建路径，以及目标设备上足够的内存。规划部署前先确认模型支持情况。
两者各是什么
DeepInfer
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它采用 Apache-2.0 许可，支持 NVIDIA SM100 和华为 Ascend 950，交付的是一个离线引擎，包含优化过的 kernel、Wide-EP/EPLB、DSpark、SWA 有界重放、异步调度、确定性模式和结构化输出。
它的发行版没有包含 KV cache 系统、prefill/decode 分离和数据并行负载均衡，而且只支持一个模型。它是一个目标固定的集群引擎。
MLC-LLM
MLC-LLM 是一个机器学习编译器，也是面向大语言模型的高性能部署引擎。它把模型代码编译到各个目标平台，再通过统一运行时 MLCEngine 执行。项目列出的平台包括 Linux、Windows 和 macOS 上的 AMD、NVIDIA、Apple 和 Intel GPU，以及移动平台。
MLCEngine 通过 REST server、Python、JavaScript、iOS 和 Android 提供 OpenAI 兼容 API。许可证为 Apache-2.0。它的设计中心是可移植性与编译，而不是带 PD 分离和分布式 KV cache 的多节点服务栈。
逐项对比：比范围，不比速度
| 维度 | DeepInfer | MLC-LLM |
|---|---|---|
| 类型 | DeepSeek 专用离线集群引擎 | ML 编译器 + 部署引擎（MLCEngine） |
| 模型支持 | 仅 DeepSeek-V4.1-Flash | 受支持、可编译的架构；不假定支持 V4.1 |
| 硬件 | NVIDIA SM100；Ascend 950 | NVIDIA、AMD、Apple、Intel GPU；移动端 |
| API | 发行版中没有 | OpenAI 兼容 REST、Python、JavaScript、移动端 |
| KV cache / PD | 不含服务级 KV cache 与 PD | 运行时缓存；没有 PD 或多节点服务层 |
| 部署单元 | 集群引擎 | 编译后的模型 + 各平台运行时 |
| 许可证 | Apache-2.0 | Apache-2.0 |
| 适用场景 | V4.1-Flash 研究与集群部署 | 跨设备的可移植编译推理 |
资料来源：DeepInfer README/Q&A；MLC-LLM README 与平台表。访问于 2026-10-20。
DeepInfer 的优势
- V4.1-Flash 专用。引擎围绕该模型的 CED 架构、DSpark、SWA 有界重放和 Wide-EP decode 布局构建。MLC 的支持取决于架构和构建。
- 集群调度。EPLB、64+64 的 prefill/decode，以及生产 Q&A，处理的是可移植运行时并不针对的多节点问题。
- Ascend 950。DeepInfer 把华为 Ascend 950 列为一级目标；MLC 的公开平台表侧重于 AMD、NVIDIA、Apple、Intel GPU 加移动端。
- DeepSeek 的生产笔记。Q&A 解释了针对这个引擎的缓存与调度决策。
MLC-LLM 的优势
- 可移植性。一个项目、一个运行时，横跨 NVIDIA、AMD、Apple、Intel 和移动设备。DeepInfer 则固定在一份很短的硬件清单上。
- 编译。模型代码会针对目标平台编译，因此可能暴露出通用运行时错过的设备专属优化。
- 客户端覆盖。同一个引擎提供 REST、Python、JavaScript、iOS 和 Android API。
- 本地与边缘部署。如果你的目标是笔记本、手机或非 NVIDIA 设备，MLC 就在选项里，DeepInfer 不在。
- Apache-2.0。宽松的许可，便于嵌入和再分发。
基准测试的陷阱
手机上或笔记本上跑 MLC-LLM，和 64 卡 SM100 集群跑 DeepInfer，根本不可比。它们在模型格式、量化、内存带宽、并发度以及整套服务模型上都不同。
DeepInfer 的图表用 4 张 SM100 做 prefill、64 张做 decode，上下文 131,072 token，decode 配置为 nextn=3、草稿接受率 75%。MLC 的数字取决于设备和编译后的模型。正确的问题是“我需要哪个目标平台？”——而不是“哪个 tokens/s 数字更大？”。
我们没在相同硬件上跑过这两个引擎。如果你要做可移植性对比，就在同一台设备上固定同一个模型和量化。如果你要做集群对比，就测延迟 SLO 下的吞吐，以及每百万交付 token 的成本。
一个受支持的 MLC-LLM V4.1-Flash 构建，外加一份在与 DeepInfer 硬件清单有重叠的设备上的公开测量。在那之前，这是可移植性对比，不是速度对比。
选择指南
| 如果你的情况… | 先选 | 原因 |
|---|---|---|
| 要在 Apple、AMD、Intel 或移动端上推理 | MLC-LLM | 跨设备的编译部署 |
| 想在多个客户端平台用同一个运行时 | MLC-LLM | REST、Python、JavaScript、iOS、Android |
| 有 SM100 或 Ascend 950，且只跑 V4.1-Flash | DeepInfer | V4.1 专用引擎与集群调度 |
| 需要带 PD 的多租户服务 | 两者单用都不够 | 用 vLLM、SGLang 或 Dynamo 这类服务栈 |
| 想要 DeepSeek 的生产引擎 | DeepInfer | EPLB、DSpark、SWA 重放、生产 Q&A |
常见问题
MLC-LLM 是推理引擎还是编译器？
两者都是：MLC LLM 既是编译器，也是部署引擎（MLCEngine）。它把模型代码编译到各个目标平台，再通过统一运行时执行。
MLC-LLM 支持 DeepSeek-V4.1-Flash 吗？
不作假定。MLC LLM 支持的是它能编译的模型架构；规划 V4.1-Flash 部署前，先查它的模型支持与构建路径。
DeepInfer 比 MLC-LLM 快吗？
没有公开的同条件实测。MLC 面向广泛的客户端硬件；DeepInfer 面向 SM100 和 Ascend 950 集群。硬件和负载都不同。
我该选哪个？
要在 NVIDIA、AMD、Apple、Intel 或移动设备上做编译部署，就用 MLC-LLM。要在受支持的硬件上跑 V4.1-Flash 集群，才考虑 DeepInfer。
资料来源
- MLC-LLM README —— 编译器/MLCEngine、平台表、API、许可证。
- MLC-LLM 文档 —— 构建与部署细节。
- DeepInfer README —— 范围、硬件、缺失组件、图表。
- DeepInfer 对比 llama.cpp —— 另一篇本地/边缘对比。
- 全部十篇对比 —— 完整清单。
接着读：DeepInfer 对比 llama.cpp、对比 Ollama，或回到对比总览。