DeepInfer と NVIDIA Dynamo：エンジンと編成層
Dynamo はエンジンの上の層だ。分離サービング、KV を意識したルーティング、多階層の KV キャッシュ、Kubernetes の編成を担う。DeepInfer はエンジンである。両者を直接比べるのはカテゴリーの誤りだが、有用な誤りでもある。Dynamo は完全なサービング層がどういうものかを見せてくれる。
DeepInfer と NVIDIA Dynamo は代替関係にない。DeepInfer は DeepSeek が Apache-2.0 で公開した DeepSeek-V4.1-Flash 専用の推論エンジンで、NVIDIA SM100 と Huawei Ascend 950 を対象にし、配布物はオフラインのみ。Dynamo は Apache-2.0 のデータセンター規模の推論編成スタックで、vLLM、SGLang、TensorRT-LLM の上に立ち、分離サービング、KV を意識したルーティング、多階層の KV キャッシュ、Kubernetes へのデプロイを備える。片方はトークンを計算し、もう片方はトークンを計算するクラスタを調整する。公開された直接比較はなく、バックエンドを固定しなければ意味のある比較にもならない。
結論から
Dynamo を選ぶのは、vLLM、SGLang、TensorRT-LLM をバックエンドにして、マルチノードの編成、prefill/decode の分離、KV を意識したルーティング、Kubernetes へのデプロイが必要な場合だ。DeepInfer を検討するのは、DeepSeek 自身の V4.1-Flash エンジンが欲しい、あるいは Ascend 950 が必要で、サービング層は自分で作る用意がある場合である。
「DeepInfer」と「Dynamo」の選択は、実のところ「1つのエンジン」か「編成層 + 対応バックエンド」かの選択だ。この捉え方が役に立つ。
それぞれの概要
DeepInfer
DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。
公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。エンジンのリリースであり、サービング基盤ではない。
Dynamo
Dynamo は自らを「オープンソースのデータセンター規模の推論スタック」、より正確には「推論エンジンの上に立つ編成層」と説明する。vLLM、SGLang、TensorRT-LLM を置き換えるのではなく、それらを協調したマルチノードのシステムに変える。
README には、分離サービング、KV を意識したルーティング、KV cache を GPU、CPU、SSD、リモートストレージへオフロードする KV Block Manager、Kubernetes ネイティブのデプロイ、OpenAI 互換のフロントエンドが挙げられている。対応バックエンドは vLLM、SGLang、TensorRT-LLM。ライセンスは Apache-2.0 だ。
比較表：速度ではなく層
| 項目 | DeepInfer | NVIDIA Dynamo |
|---|---|---|
| 種類 | DeepSeek 専用のオフラインエンジン | エンジンの上に立つ編成層 |
| 適用範囲 | 1モデル：V4.1-Flash | マルチモデル、マルチノードのサービング |
| V4.1-Flash 対応 | 公式リリース。対応モデルはこれのみ | バックエンド依存。ネイティブの V4.1 エンジンはない |
| PD 分離 | 含まれない | 中核機能 |
| KV cache | 含まれない | KV を意識したルーティング、KVBM の多階層オフロード |
| バックエンド | DeepSeek ネイティブのエンジン | vLLM、SGLang、TensorRT-LLM |
| API | 公開版にはなし | OpenAI 互換フロントエンド |
| ハードウェア | SM100、Ascend 950 | NVIDIA GPU。対応表を確認 |
| ライセンス | Apache-2.0 | Apache-2.0 |
| 向いている用途 | V4.1-Flash の研究と独自デプロイ | 対応バックエンドを用いた本番のマルチノードサービング |
出典：DeepInfer の README と Q&A、Dynamo の README、バックエンド表、対応表。2026-10-20 参照。
DeepInfer が優位な点
- V4.1-Flash 専用。エンジンはモデルの CED アーキテクチャ、DSpark、SWA 有界リプレイ、Wide-EP のデコード配置を前提に作られている。Dynamo はモデルの最適化をバックエンドに委ねる。
- Ascend 950。DeepInfer は Huawei Ascend 950 を第一級の対象として挙げる。Dynamo の対応ハードウェアは NVIDIA GPU だ。
- 読むべき範囲が小さい。1モデル、1エンジン、コンパクトな公開ツリー。DeepSeek の推論設計を理解することが目的なら、Dynamo はカーネルとの間に層を1枚足す。
- 編成層への依存がない。オフラインで動かし、中身を確かめられるエンジンが欲しいなら、DeepInfer は自己完結している。Dynamo はバックエンドなしでは役に立たない。
Dynamo が優位な点
- DeepInfer に欠けているサービング層。prefill/decode の分離、KV を意識したルーティング、多階層の KV キャッシュ、Kubernetes へのデプロイは、DeepInfer の公開版にない部品だ。
- バックエンドの柔軟性。vLLM、SGLang、TensorRT-LLM に対応する。モデルとハードウェアに合うエンジンを選べる。
- スケールアウト前提の設計。Dynamo は単一のオフラインプロセスではなく、マルチノードの推論のために明示的に作られている。
- OpenAI 互換フロントエンド。サービング API を自分で書かずに済む。
- エコシステムと成熟度。レシピ、Kubernetes の道具、対応表を備えた、NVIDIA が後押しする大規模プロジェクト。
層の比較である理由
DeepInfer はトークンを計算するエンジンだ。Dynamo はトークンを調整する層である。本番のサービスにはどちらの仕事も要る。速いカーネルと、リクエストをマシン間に振り分け、キャッシュし、拡張する仕組みだ。
DeepInfer の公開版はエンジンを差し出し、調整は運用者に任せる。Dynamo は既存のエンジンを調整し、カーネルの仕事はエンジンに任せる。どちらの選択も間違いではない。境界の違う、別の製品である。
Dynamo に DeepInfer のバックエンドは文書化されていない。Dynamo の対応バックエンドは vLLM、SGLang、TensorRT-LLM だ。統合作業なしに DeepInfer を Dynamo の下へ置けると決めつけないこと。
DeepInfer 向けの Dynamo バックエンドが文書化されるか、DeepInfer のリリースに PD 分離と KV を意識したルーティングが入るか。どちらかが起きれば層の区別は崩れ、直接比較が意味を持つようになる。
ベンチマークの罠
Dynamo のベンチマークはスタック全体を測る。バックエンド、ルーティング、キャッシュヒット率、prefill と decode の比率、Kubernetes の挙動、ネットワーク。DeepInfer のグラフは自社エンジンを prefill に 4 基、decode に 64 基の SM100 GPU で測ったもので、131,072 トークンのコンテキストと、nextn=3 とドラフト受入率 75% を使うデコード設定による。
Dynamo が vLLM で動いているなら、エンジンの比較は DeepInfer と vLLM だ。Dynamo の寄与はその周りの編成である。Dynamo が SGLang で動いているなら、比較は DeepInfer と SGLang になる。どちらの場合も「DeepInfer と Dynamo」はカーネルレベルの比較ではない。
こちらは同一のハードウェアでどちらのスタックも動かしていない。意味のある試験なら、バックエンド、チェックポイント、GPU 枚数、トポロジ、キャッシュ方針、SLO を固定し、p50/p95/p99 の TTFT と TPOT、レイテンシ制約下のスループットを報告する。
選び方
| こういう場合 | まず選ぶなら | 理由 |
|---|---|---|
| PD を伴うマルチノードのサービングが必要 | Dynamo + vLLM/SGLang/TensorRT-LLM | Dynamo が編成層を提供する |
| KV を意識したルーティングと KVBM が必要 | Dynamo | スタックの中核機能 |
| Kubernetes へのデプロイが必要 | Dynamo | Kubernetes ネイティブの道具とレシピ |
| Ascend 950 があり、V4.1-Flash だけを動かす | DeepInfer | 公式の V4.1 エンジンと Ascend の対象 |
| DeepSeek のエンジンを研究したい | DeepInfer | DSpark、SWA リプレイ、EPLB、本番の Q&A |
FAQ
Dynamo は推論エンジンなのか
違う。Dynamo は推論エンジンの上に立つ編成層で、vLLM、SGLang、TensorRT-LLM と組み合わせて動く。DeepInfer はエンジンだ。
Dynamo は DeepSeek-V4.1-Flash に対応しているのか
対応はバックエンドとそのレシピに依存する。Dynamo 自体が V4.1-Flash のエンジンを実装しているわけではない。バックエンドの対応表と現行の Dynamo レシピを確認してほしい。
DeepInfer は Dynamo の下で動かせるのか
Dynamo に DeepInfer のバックエンドは文書化されていない。Dynamo の対応バックエンドは vLLM、SGLang、TensorRT-LLM だ。統合できると決めつけないこと。
どちらを選ぶべきか
対応バックエンドを用いたマルチノードの編成、KV を意識したルーティング、分離サービングが必要なら Dynamo。DeepSeek の V4.1-Flash エンジンや Ascend 950 が必要なら DeepInfer を検討する。
出典
- Dynamo README — 編成層、PD サービング、KV を意識したルーティング、KVBM、バックエンド、Kubernetes、ライセンス。
- Dynamo のドキュメント — デプロイと対応表。
- DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
- DeepInfer の制限 — Dynamo が埋める、欠けているサービング層。
- 10本の比較 — 全体像。
次に読む：DeepInfer と vLLM、SGLang との比較、あるいは比較一覧。