DeepInfer と TensorRT-LLM：V4.1-Flash を動かす NVIDIA の道はどちらか
TensorRT-LLM は NVIDIA の汎用推論スタック。DeepInfer は DeepSeek の V4.1-Flash 専用エンジンだ。片方は成熟した NVIDIA のサービングランタイムを、もう片方は DeepSeek 自身のチューニングと、はるかに狭い適用範囲を与える。
DeepInfer と TensorRT-LLM はどちらも最適化された推論スタックだが、代替関係にはない。DeepInfer は DeepSeek が Apache-2.0 で公開した、DeepSeek-V4.1-Flash 専用のエンジンで、配布物はオフラインのみ、対応は NVIDIA SM100 と Huawei Ascend 950 だ。TensorRT-LLM は NVIDIA のオープンソースライブラリで、NVIDIA GPU 上の LLM と画像生成の推論を最適化する。独自カーネル、prefill-decode 分離、Wide EP、投機的デコーディング、Python/C++ ランタイムを備える。V4.1-Flash について公開された直接比較はない。
結論から
TensorRT-LLM を選ぶのは、NVIDIA に標準化していて、成熟したサービングランタイムと、より広いモデル・ツールのエコシステムが欲しい場合だ。DeepInfer を検討するのは、DeepSeek 自身の V4.1-Flash エンジンが欲しい、Ascend 950 が必要、あるいは DeepSeek の本番最適化を研究したい場合だ。ただし KV cache、PD、負荷分散、API 層が自分の責任になると受け入れられることが条件になる。
どちらの選択も速度の判定ではない。TensorRT-LLM の性能はモデル、GPU、エンジンビルド、量子化、サービング構成に依存する。DeepInfer のグラフは SM100 上での自社測定だ。統制された比較は公開されていない。こちらも同一のハードウェアでどちらも動かしていない。これは公開資料ベースの比較である。
それぞれの概要
DeepInfer
DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。
公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。完成した NVIDIA のサービング製品ではなく、参照用のエンジンである。
TensorRT-LLM
TensorRT-LLM は NVIDIA のオープンソースライブラリで、NVIDIA GPU 上の LLM と画像生成の推論を最適化する。README には、attention、GEMM、MoE 向けの独自カーネル、prefill-decode 分離・Wide Expert Parallelism・投機的デコーディングといったランタイム最適化、Python の LLM API、Python/C++ ランタイムが記載されている。NVIDIA Dynamo や Triton Inference Server と統合し、trtllm-serve コマンドも含む。
NVIDIA は DeepSeek-V4 向けの最適化を公開しているが、V4.1-Flash への対応は TensorRT-LLM のバージョンとレシピに依存する。必要なチェックポイントをサービングできると決めつける前に、最新の対応表を確認すること。
比較表：速度ではなく適用範囲
| 項目 | DeepInfer | TensorRT-LLM |
|---|---|---|
| 種類 | DeepSeek 専用のオフラインエンジン | NVIDIA の推論ライブラリとサービングランタイム |
| V4.1-Flash 対応 | 公式リリース。対応モデルはこれのみ | 対応表を確認。DeepSeek-V4 の最適化は公開済み |
| ハードウェア | NVIDIA SM100、Huawei Ascend 950 | NVIDIA GPU |
| API 層 | 公開版にはなし | trtllm-serve、Triton、Dynamo |
| KV cache | 含まれない | ランタイム側に KV cache とプレフィックスキャッシュ |
| PD 分離 | 含まれない | prefill-decode 分離を文書化 |
| 並列化 | DP/CP/EP + EPLB | TP/PP/EP、Wide EP、マルチノード |
| 投機的デコーディング | DSpark | ランタイム側の投機的デコーディング |
| ライセンス | Apache-2.0 | Apache-2.0 |
| 成熟度 | 初期の公開リリース | 貢献者の多い成熟した NVIDIA プロジェクト |
| 向いている用途 | V4.1 の研究と独自デプロイ | NVIDIA 標準の本番サービング |
出典：DeepInfer の README と Q&A、TensorRT-LLM の README。2026-10-20 参照。「対応表を確認」は文字どおりの意味で、V4.1 対応はバージョンに依存する。
DeepInfer が優位な点
- DeepSeek 固有の V4.1 チューニング。エンジンは V4.1 の CED アーキテクチャ、DSpark、SWA 有界リプレイ、Wide-EP のデコードを前提に作られている。TensorRT-LLM の最適化は汎用で、モデルに依存する。
- Ascend 950 対応。TensorRT-LLM は NVIDIA 専用だ。NVIDIA 以外の経路が必要なら、この層で公式に選べるものは多くない。
- 決定論モード。バッチ不変推論と決定論的サンプリング（NVIDIA のみ）が DeepInfer では表に出ている。TensorRT-LLM にも決定性の制御はありうるが、同じ形で文書化された面ではない。自分のバージョンで確認してほしい。
- 追いやすいコード経路。1モデル、1エンジン、コンパクトな公開ツリー。研究用途では、汎用の NVIDIA スタックより筋を追いやすい。
TensorRT-LLM が優位な点
- NVIDIA ネイティブの最適化。attention、GEMM、MoE 向けの独自カーネル、ランタイム最適化、そして NVIDIA の性能を専門にするチーム。NVIDIA だけを使うなら、これが自然な選択だ。
- エンジンではなくサービングランタイム。
trtllm-serve、Triton、Dynamo との統合により、実際のサービスまでの道がある。DeepInfer はオフライン推論で止まる。 - モデル対応の広さ。TensorRT-LLM は対応表の範囲で多くのモデルとアーキテクチャを扱う。DeepInfer は1つだ。
- 成熟度とツール。リリースノート、ベンチマーク、対応表、本番向け統合を備えた大規模プロジェクト。DeepInfer は公開初日のリリースである。
- NVIDIA GPU の広さ。TensorRT-LLM は NVIDIA GPU を広く対象にする。DeepInfer の公式リストは SM100 だ。H100/H200/B200/GB200 があり、NVIDIA が支える経路が欲しいなら、TensorRT-LLM を確認すべきだ。
ベンチマークの罠
TensorRT-LLM のベンチマークは通常、モデルごと、GPU ごと、エンジンビルドごと、サービング構成ごとに報告される。DeepInfer のグラフは prefill に 4 基、decode に 64 基の SM100 GPU を使い、コンテキストは 131,072 トークン、デコード設定は nextn=3 とドラフト受入率 75% だ。
これは別の計測器である。特定の GPU とバッチサイズ向けにビルドした TensorRT-LLM のエンジンは、DeepInfer が掃引したフロンティアとは比較にならない。逆も同じだ。判断が必要なら、モデルのチェックポイント、GPU の種類と枚数、量子化、入出力長、キャッシュヒット率、同時実行数、SLO を固定し、TTFT、TPOT、レイテンシ制約下のスループット、送出した100万トークンあたりのコストを測る。
第三者が、V4.1-Flash 上で DeepInfer と TensorRT-LLM を同じハードウェアで比べ、正確なバージョン、エンジンビルドのフラグ、ワークロードのトレースを添えて示す比較。それが出るまでは、「速い」は仮説であって知見ではない。
選び方
| こういう場合 | まず選ぶなら | 理由 |
|---|---|---|
| NVIDIA に標準化していて、サービングランタイムが必要 | TensorRT-LLM | NVIDIA のカーネル、Triton/Dynamo、対応表 |
| Ascend 950 が必要 | DeepInfer | TensorRT-LLM は NVIDIA 専用 |
| DeepSeek の V4.1 専用エンジンが欲しい | DeepInfer | モデルとエンジンの共同設計、DSpark、SWA リプレイ |
| 幅広いモデルポートフォリオが必要 | TensorRT-LLM | DeepInfer は1モデルだけ |
| API とキャッシュ層が一通り必要 | TensorRT-LLM | DeepInfer のサービング層は含まれない |
FAQ
DeepInfer は TensorRT-LLM より速いのか
DeepSeek-V4.1-Flash について公開された直接比較はない。DeepInfer のグラフは SM100 上での自社測定、TensorRT-LLM の性能はモデル、GPU、エンジンビルド、サービング構成に依存する。統制された試験なしに勝者を決めつけないこと。
TensorRT-LLM は DeepSeek-V4.1-Flash に対応しているのか
NVIDIA の最新の対応表を確認してほしい。TensorRT-LLM は DeepSeek-V4 の最適化を公開しているが、V4.1-Flash への対応はバージョンとレシピに依存する。
DeepInfer は SM100 以外の NVIDIA GPU で動くのか
動かない。DeepInfer の README は NVIDIA SM100 と Huawei Ascend 950 を挙げている。TensorRT-LLM はより広い NVIDIA GPU を対象にする。自分の GPU については対応表を確認すること。
どちらを選ぶべきか
NVIDIA に標準化していて、成熟した NVIDIA のサービングスタックが欲しいなら TensorRT-LLM。DeepSeek の V4.1-Flash 専用エンジンが欲しい、あるいは Ascend 950 対応が必要なら DeepInfer を検討する。
出典
- DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
- DeepInfer Q&A — 本番アーキテクチャとキャッシュ設計。
- TensorRT-LLM README — カーネル、ランタイム、分離、Wide EP、Triton/Dynamo、ライセンス。
- TensorRT-LLM の対応表 — 採用前に現行のモデルと GPU の対応を確認する。
- DeepInfer のベンチマーク — 公式グラフの読み方。
次に読む：DeepInfer と vLLM、DeepInfer と SGLang、あるいは比較一覧。