DeepInfer と llama.cpp：データセンターのエンジンとローカル GGUF ランタイム
llama.cpp は、ノート PC、Mac、小さなサーバーでモデルを動かしたいときの道具だ。DeepInfer は DeepSeek が 64 GPU のクラスタを考えるための道具である。有用な比較は速度ではなく、問題のどの層を解こうとしているかだ。
DeepInfer と llama.cpp は、普通の意味での競合ではない。DeepInfer は DeepSeek が Apache-2.0 で公開した、DeepSeek-V4.1-Flash 専用の推論エンジンで、NVIDIA SM100 と Huawei Ascend 950 を対象にする。llama.cpp は MIT ライセンスの C/C++ 推論ランタイムで、GGUF モデルを CPU と GPU のバックエンドで動かし、積極的な量子化と OpenAI 互換のローカルサーバーを備える。片方はクラスタエンジン、もう片方はローカルランタイムだ。V4.1-Flash について公開された直接比較はなく、tokens/s をそのまま並べてもハードウェアを揃えなければ意味がない。
結論から
llama.cpp を使うのは、Mac、コンシューマー向け GPU、CPU だけのマシンなど、ローカルで対応モデルを動かしたい場合だ。GGUF の量子化に抵抗がなければ、なおのことだ。DeepInfer を検討するのは、SM100 か Ascend 950 のハードウェアがあり、DeepSeek の V4.1-Flash 専用クラスタエンジンが必要な場合だけだ。
「ノート PC で DeepInfer を動かせるか」という問いへの答えは、ノーだ。llama.cpp のほうが優れているからではなく、解いている問題が違うからである。DeepInfer はモデルファイルではなく、llama.cpp はクラスタのサービングスタックではない。
それぞれの概要
DeepInfer
DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark による投機的デコーディング、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。
公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。データセンターのハードウェアと、本番由来のスケジュールを前提に設計されている。
llama.cpp
llama.cpp は「C/C++ による LLM 推論」だ。GGUF モデルを CPU と GPU のバックエンドで動かし、Apple Metal、NVIDIA CUDA、AMD HIP、Moore Threads MUSA、Ascend CANN を含む。1.5 ビットから 8 ビットの整数量子化に対応し、llama serve で OpenAI 互換のローカルサーバーを起動でき、ライセンスは MIT である。
設計の中心はローカルとエッジの推論だ。単一の利用者、デスクトップ、小さなサーバー、あるいはデバイス。PD 分離や分散 KV cache、クラスタスケジューラを備えたマルチテナントのサービング基盤ではない。
比較表：速度ではなく適用範囲
| 項目 | DeepInfer | llama.cpp |
|---|---|---|
| 種類 | DeepSeek 専用のオフラインクラスタエンジン | ローカルの C/C++ 推論ランタイム |
| モデル形式 | DeepSeek-V4.1-Flash のチェックポイント | GGUF（量子化あり） |
| ハードウェア | NVIDIA SM100、Ascend 950 | CPU、Apple Metal、NVIDIA CUDA、AMD HIP、MUSA、CANN |
| オンライン API | 公開版にはなし | OpenAI 互換のローカルサーバー |
| KV cache / PD | サービスレベルの KV cache と PD は含まれない | ローカルの KV cache。PD やマルチノードのサービス層はない |
| 量子化 | モデル固有のカーネル。GGUF ランタイムではない | 1.5〜8 ビットの整数量子化 |
| ライセンス | Apache-2.0 | MIT |
| 向いている用途 | V4.1-Flash の研究とクラスタ配備 | ローカル、エッジ、量子化 GGUF の推論 |
出典：DeepInfer の README と Q&A、llama.cpp の README。2026-10-20 参照。
DeepInfer が優位な点
- V4.1-Flash 専用。エンジンはモデルの CED アーキテクチャ、DSpark、SWA 有界リプレイ、Wide-EP のデコード配置を前提に作られている。llama.cpp のモデル対応は汎用的で、変換に依存する。
- クラスタのスケジューリング。EPLB、prefill 64 基と decode 64 基の構成、本番の Q&A は、マルチノード規模でしか現れない問題を扱う。
- Ascend 950 が第一級の対象。llama.cpp にも CANN バックエンドはあるが、DeepInfer の Ascend 950 対応は公式リリースの一部だ。
- 本番の証拠。DeepSeek はこのエンジンが自社サービスを支えているとしている。独立に検証された話ではないが、ローカルランタイムの機能一覧とは種類の違う主張だ。
llama.cpp が優位な点
- 手元で動く。macOS、Windows、Linux、Apple Silicon、コンシューマー向け GPU、CPU。SM100 のクラスタは要らない。
- 量子化。1.5〜8 ビットの整数量子化により、品質とメモリ、速度を交換できる。データセンター向けエンジンが狙う配分とは違う。
- 単純さ。インストールし、GGUF を取得し、
llama serveを実行する。Kubernetes も、PD の設定も、64 GPU のトポロジも要らない。 - MIT ライセンス。組み込みや再配布の場面によっては Apache-2.0 より緩い条件になる。
- バックエンドの広さ。Metal、CUDA、HIP、MUSA、CANN、CPU の経路を1つのプロジェクトで持つ。
ベンチマークの罠
MacBook の tokens/s と、DeepInfer の 64 GPU のデコードグラフを並べても、エンジンを比べたことにはならない。ハードウェア、モデル形式、量子化、コンテキスト長、同時実行数を一度に比べただけだ。
DeepInfer のグラフは prefill に 4 基、decode に 64 基の SM100 GPU を使い、コンテキストは 131,072 トークン、デコード設定は nextn=3 とドラフト受入率 75% だ。llama.cpp の実行は、単一デバイス上の 4 ビット GGUF かもしれない。この数値同士は比較できない。
こちらは同一のハードウェアでどちらのエンジンも動かしていない。ローカルでの比較が必要なら、同じモデルと同じ量子化を固定し、自分のコンテキスト長で TTFT と tokens/s を測り、メモリを見る。クラスタでの比較が必要なら、レイテンシ SLO 下のスループットと、送出した100万トークンあたりのコストを測る。
DeepInfer と llama.cpp を同じモデル・同じハードウェアで比べることは、重なるハードウェアの上でしか技術的に成立しない。しかも llama.cpp の V4.1-Flash 対応は確立していない。それまでは「別の道具だ」が正直な答えだ。
選び方
| こういう場合 | まず選ぶなら | 理由 |
|---|---|---|
| ノート PC や Mac でモデルを動かしたい | llama.cpp | ローカルのバックエンド、GGUF、量子化 |
| オフラインのローカル API が必要 | llama.cpp | llama serve が OpenAI 互換のエンドポイントを提供する |
| SM100 か Ascend 950 があり、V4.1-Flash だけを動かす | DeepInfer | V4.1 専用のカーネルとクラスタのスケジューリング |
| PD を伴うマルチテナントのサービングが必要 | どちらも単独では不可 | vLLM、SGLang、Dynamo などのサービングスタックを使う |
| DeepSeek の本番エンジンを研究したい | DeepInfer | EPLB、DSpark、SWA リプレイ、本番の Q&A |
FAQ
DeepInfer は llama.cpp が読み込めるモデルなのか
違う。DeepInfer は推論エンジンであり、チェックポイントではない。llama.cpp が読み込むのは GGUF のモデルファイルで、GGUF ファイルの中に DeepInfer エンジンは入っていない。
llama.cpp は DeepSeek-V4.1-Flash を動かせるのか
前提にしないこと。対応は GGUF への変換、モデルアーキテクチャ、十分なメモリに依存する。データセンター向けの V4.1-Flash チェックポイントは、典型的なローカル向けの対象ではない。
DeepInfer は llama.cpp より速いのか
公開された直接比較はなく、ハードウェアを揃えなければ比較自体が意味を持たない。llama.cpp はローカルのデバイスを狙い、DeepInfer は SM100 と Ascend 950 のクラスタを狙う。
どちらを選ぶべきか
ローカル、エッジ、量子化 GGUF の推論なら llama.cpp。DeepInfer は、対応ハードウェア上での V4.1-Flash クラスタ配備のときだけ検討する。
出典
- llama.cpp README — バックエンド、量子化、
llama serve、ライセンス。 - DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
- DeepInfer の制限 — クラスタエンジンがローカルランタイムではない理由。
- 10本の比較 — ローカルと移植性のある推論については Ollama と MLC-LLM も。
次に読む：DeepInfer と Ollama、MLC-LLM との比較、あるいは比較一覧。