DeepInferが届けるもの: DeepSeekのV4.1-Flashエンジン
DeepInferのリリースは、ローンチ時の話題が示すより狭い。そしてその狭さゆえに、より面白い。ここでは対象範囲、ビルド、ライセンス、そしてエンジンとサービスの境界線を整理する。
DeepInferは、DeepSeek-V4.1-Flashを大規模にサービングするためのDeepSeekのオープンソース推論フレームワークだ。2026年10月20日にApache-2.0で公開され、NVIDIA SM100 GPUとHuawei Ascend 950 NPU向けのオフライン推論エンジンを提供する。ただし、完全なオンラインサービスに必要なKV cacheシステム、prefill/decode分離、データ並列ロードバランシングは含まれない。本ページでは対象範囲、ビルド、ライセンスを扱う。
この一段落が論旨のすべてだ。以下はすべてその裏づけである。
対象範囲を1つの表で
READMEの「Supported features」と「Required for a complete inference service (not included in this release)」のリストは、異例なほど明確だ。ここでは欠落をならすことなく、両者を並べて再掲する。
| 含まれるもの | 含まれないもの |
|---|---|
| DeepSeek-V4.1-Flashのオフライン推論 | KV cacheシステム |
| 最適化カーネルとモデル/サンプラーのランタイム | VE / Prefill / Decodeの分離 |
| Attention DP / balanced CP、MoE EP + EPLB | データ並列レプリカ間のロードバランシング |
| DSparkと信頼度に基づく検証スケジューリング | ユーザー向けのオンラインAPI |
| SWA bounded replay | 他のDeepSeekモデルのサポート |
| 非同期スケジューリング | 公開されたAscend 950の性能データ |
| バッチ不変推論（NVIDIA） | 第三者によるベンチマーク再現 |
| 決定論的サンプリング（NVIDIA） | 本番同等性の保証 |
| 構造化出力: regex、JSON Schema、EBNF | — |
左の列はリポジトリに含まれるもの。右の列は、サービングチームが依然として構築・運用しなければならないものだ。DeepSeek自身のQ&Aは欠けている部分を詳しく説明している。設計を理解するには有用だが、コードがリリースに入るわけではない。
リポジトリの地図
公開されているツリーは小さい。読者が開きそうなディレクトリを挙げる。全ファイルを監査したわけではない。
| パス | 確認した内容 | 開く理由 |
|---|---|---|
deepinfer/ | Pythonパッケージとエンジンのコード | 主要なランタイムとスケジューリングのロジック |
csrc/ | C++/CUDAのネイティブ拡張 | カーネルとバインディングの実装 |
doc/ | デプロイQ&A、画像 | 公式説明として最も詳細なもの |
examples/ | オフライン推論、ベンチマーク、スイープ | 想定用途を最短で把握できる |
eval/ | AIME 2026、HLE、GPQA Diamondのスクリプト | 参照スコアを再現する |
tests/ | pytestスイート、PPLベースライン | 作者にとって「正しい」とは何かがわかる |
scripts/ | フォーマットと補助スクリプト | コントリビューター向けのツール |
vendor/ | 同梱された第三者コード | ライセンスと依存関係の監査 |
deep_cluster/ | ツリーに含まれるクラスタ関連コード | 監査はしていない。公開APIについての主張はここではしない |
公開履歴は2026年10月20日の3コミットから始まる。04:09 UTCの初回コミット、09:06のQ&Aドキュメント更新、11:03の英語版Q&A更新だ。これはコードの一括投入であり、長期にわたる公開開発の履歴ではない。コミット数をもってプロジェクトの開発量と読むべきではない。
ビルド要件
DeepInferはNVIDIA SM100 GPUとHuawei Ascend 950 NPUをサポートするが、DeepSeekが公開した性能チャートはNVIDIAハードウェアのみを対象としている。ビルド自体はデータセンター向けソフトウェアだ。READMEには次のようにある。
- Linux
- GCC ≥ 13.0
- Python 3.12
- NVIDIA向けはCUDA 13、Ascend向けはCANN 9.2
- NVIDIA SM100 GPUまたはHuawei Ascend 950 NPU
文書化されているのはソースビルドの手順だ。
# NVIDIAの場合。Ascend向けには “ascend” を指定する
export DEEPINFER_ACCELERATOR=nvidia
./build.sh
# デフォルトのチェックポイントは初回実行時にHugging Faceから取得される
python examples/offline_inference.pyチェックポイントが手元にある場合は、DEEPINFER_HF_MODEL_DIR=/path/to/DeepSeek-V4.1-Flash-1017を設定する。examplesのREADMEには、並列構成のための--ep、--dp、--cpフラグも記載されている。いずれもハードウェア要件は変わらない。READMEが挙げるのはSM100とAscend 950であり、H100、H200、H20、コンシューマー向けカードは記載されていない。
ライセンスは混ぜずに読む
| コンポーネント | ライセンス | 対象 |
|---|---|---|
| DeepInfer | Apache-2.0 | deepseek-ai/DeepInferのエンジンコード |
| DeepSeek-V4.1-Flash-1017 | MIT | デフォルトのモデル重み |
| deepseek-recipe | MIT | 別リポジトリのプロトコル/トークナイズライブラリ |
| 同梱カーネル | 個別に確認 | FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、その他の依存関係 |
Apache-2.0は商用利用と改変を許諾し、通知義務と特許許諾を伴う。MITも同様に寛容だ。ただし、それだけで同梱依存関係すべてのライセンスや、モデルの利用条件がクリアになるわけではない。商用デプロイをするなら、要約に頼らずツリーとモデルカードを監査してほしい。
今日できること
- オフライン推論を実行する: 対応ハードウェア上で、デフォルトのV4.1-Flash-1017チェックポイントを使う。
- ベンチマークのスイープを再現する:
examples/sweep/run_sweep.shで実行し、plot_pareto.pyで描画する。 - 参照評価を実行する:
eval/内のスクリプトでAIME 2026、GPQA Diamond、HLEを測る。 - 実装を読む: Wide-EP、EPLB、DSparkの検証、SWA bounded replay、非同期スケジューラ。
- deepseek-recipeを使う: 第三者のAPI挙動をDeepSeekのプロトコル処理に合わせる。
- サービング層を載せる: ただしその層はリリースの成果ではなく、自分の仕事になる。
（まだ）できないこと
- DeepSeekのAPIと同等のAPIを開く。 リリースはオフラインであり、KV cache、PD分離、ロードバランシングは含まれない。
- 他のモデルをサービングする。 記載があるのはV4.1-Flashのみだ。
- 旧世代のNVIDIAやAscendで動かす。 対象として挙げられているのはSM100とAscend 950だ。
- Ascendのスループットを引用する。 DeepSeekが公開したチャートはNVIDIAのみ。
- 本番同等性を主張する。 DeepSeekはこのフレームワークが自社サービスを支えていると述べているが、公開コードはその一部であり、外部からの検証はできない。
DeepInferはオフライン推論エンジンであり、ホスト型APIでもモデルでもない。完全なオンラインサービスに必要なKV cacheシステム、prefill/decode分離、データ並列ロードバランシングは、このリリースには含まれていない。
バージョンに関する注記
執筆時点でGitHub Releaseもタグも存在しない。リポジトリの公開コミットは3つで、Q&Aはローンチ当日に更新された。本ページはスナップショットとして扱ってほしい。デプロイを決める立場なら、現在のREADMEとQ&Aを読み、欠けていた部分が追加されていないか確認するべきだ。
次はエンジンの仕組み、あるいは欠けている部分が実務で何を意味するかへ。