DeepInfer 交付了什么：DeepSeek 的 V4.1-Flash 引擎
DeepInfer 的发布范围比发布当天的讨论窄得多——也正因为如此更有意思。本文讲清范围、构建方式、许可证，以及引擎与服务之间的那条线。
DeepInfer 是 DeepSeek 开源的推理框架，用于大规模服务 DeepSeek-V4.1-Flash。它于 2026 年 10 月 20 日以 Apache-2.0 许可证发布，为 NVIDIA SM100 GPU 和 Huawei Ascend 950 NPU 提供离线推理引擎——但不包含完整在线服务所需的 KV cache 系统、prefill/decode 分离或数据并行负载均衡。本文覆盖范围、构建与许可证。
那一段就是全部论点。下面都是证据。
一张表看清范围
README 里“支持的特性”和“完整推理服务所需、但本次发布未包含”这两份清单写得异常清楚。我们把它们并排列出，不粉饰那道缺口。
| 已包含 | 未包含 |
|---|---|
| DeepSeek-V4.1-Flash 的离线推理 | KV cache 系统 |
| 优化算子与模型/采样器运行时 | VE / Prefill / Decode 分离 |
| 注意力 DP / 均衡 CP；MoE EP + EPLB | 跨数据并行副本的负载均衡 |
| DSpark 与按置信度调度的验证 | 面向用户的在线 API |
| SWA 有界重放 | 对其它 DeepSeek 模型的支持 |
| 异步调度 | Ascend 950 的公开性能数据 |
| 批次不变推理（NVIDIA） | 第三方基准复现 |
| 确定性采样（NVIDIA） | 生产环境一致性保证 |
| 结构化输出：regex、JSON Schema、EBNF | — |
左列是仓库里有的东西，右列是服务团队仍然要自建或自行运维的东西。DeepSeek 自己的 Q&A 详细描述了这些缺失部分——这有助于理解设计，但并不等于把代码放进了发布。
仓库结构
公开目录树很紧凑。这里只列读者最可能打开的目录；我们没有逐文件审计。
| 路径 | 我们看到的 | 为什么值得打开 |
|---|---|---|
deepinfer/ | Python 包与引擎代码 | 主要的运行时与调度逻辑 |
csrc/ | C++/CUDA 原生扩展 | 算子与绑定层的工作 |
doc/ | 部署 Q&A、图片 | 官方最详细的解释 |
examples/ | 离线推理、基准测试、参数扫描 | 最快看清预期用法的方式 |
eval/ | AIME 2026、HLE、GPQA Diamond 脚本 | 复现参考分数 |
tests/ | pytest 用例、PPL 基线 | 看看作者眼中的“正确”是什么 |
scripts/ | 格式化与辅助脚本 | 贡献者工具 |
vendor/ | 随仓库引入的第三方代码 | 许可证与依赖审计 |
deep_cluster/ | 随仓库一起交付的集群相关代码 | 我们未做审计；此处不主张任何公开 API |
公开历史从 2026 年 10 月 20 日的三个 commit 开始：04:09 UTC 的初始提交、09:06 的 Q&A 文档更新，以及 11:03 的英文 Q&A 更新。这是一次代码投放，不是长期公开的开发史。不要把 commit 数量当成项目的工程量。
构建要求
DeepInfer 支持 NVIDIA SM100 GPU 与 Huawei Ascend 950 NPU，但 DeepSeek 公布的性能图表只覆盖 NVIDIA 硬件。构建本身就是数据中心软件。README 列出的要求是：
- Linux
- GCC ≥ 13.0
- Python 3.12
- NVIDIA 平台使用 CUDA 13；Ascend 平台使用 CANN 9.2
- NVIDIA SM100 GPU 或 Huawei Ascend 950 NPU
文档给出的路径是源码构建：
# NVIDIA 平台；Ascend 平台请改用 “ascend”
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
# 默认 checkpoint 会在首次运行时从 Hugging Face 下载。
python examples/offline_inference.py如果 checkpoint 已经在本地，设置 DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017 即可。examples 的 README 还提供了用于并行布局的 --ep、--dp 和 --cp 参数。这些都不会改变硬件要求：README 列出的是 SM100 和 Ascend 950，没有 H100、H200、H20，也没有消费级显卡。
许可证：别混为一谈
| 组件 | 许可证 | 覆盖范围 |
|---|---|---|
| DeepInfer | Apache-2.0 | deepseek-ai/DeepInfer 中的引擎代码 |
| DeepSeek-V4.1-Flash-1017 | MIT | 默认模型权重 |
| deepseek-recipe | MIT | 独立的协议/分词库 |
| 随仓库引入的算子 | 需逐个确认 | FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 及其它依赖 |
Apache-2.0 允许商用和修改，附带声明义务与专利授权。MIT 同样宽松。但这并不会自动理清每个随仓库引入的依赖，以及模型可接受使用条款的许可问题。如果要用于商业部署，请自行审计目录树和模型卡，不要只依赖一份摘要。
今天能做什么
- 跑离线推理：在受支持的硬件上，使用默认的 V4.1-Flash-1017 checkpoint。
- 复现基准扫描：用
examples/sweep/run_sweep.sh，再用plot_pareto.py绘图。 - 跑参考评测：通过
eval/中的脚本评测 AIME 2026、GPQA Diamond 和 HLE。 - 研究实现：Wide-EP、EPLB、DSpark 验证、SWA 有界重放，以及异步调度器。
- 使用 deepseek-recipe：让第三方 API 的行为与 DeepSeek 的协议处理对齐。
- 在其上构建服务层：但那一层是你的工作，不是本次发布的内容。
目前还做不到
- 开一个和 DeepSeek 一样的 API。发布内容是离线的；KV cache、PD 分离和负载均衡都不在其中。
- 服务其它模型。只列出 V4.1-Flash。
- 在更老的 NVIDIA 或 Ascend 硬件上运行。官方目标是 SM100 和 Ascend 950。
- 引用 Ascend 吞吐。DeepSeek 只公布了 NVIDIA 图表。
- 声称生产环境一致性。DeepSeek 说这套框架支撑着自家服务，但公开代码只是子集，外部无法验证。
DeepInfer 是离线推理引擎，不是托管 API，也不是模型；本次发布不包含完整在线服务所需的 KV cache 系统、prefill/decode 分离和数据并行负载均衡。
版本说明
截至本文写作时，仓库没有 GitHub Release，也没有 tag。仓库只有三个公开 commit，Q&A 在发布当天还有更新。请把本页当作一份快照：如果你要做部署决策，先读当前的 README 和 Q&A，并确认那些缺失部分是否已经补上。
下一篇：引擎如何工作，或者这些缺失在实际中意味着什么。