DeepInfer と MLC-LLM：コンパイル型のローカル推論と V4.1-Flash エンジン
MLC-LLM は多くのデバイス向けにモデルをコンパイルする。NVIDIA、AMD、Apple、Intel、そしてモバイル。DeepInfer は1モデルと1つのクラスタを固定する。移植性が要件なら MLC が興味深いプロジェクトであり、大規模な V4.1-Flash が要件なら、すぐ使える代替ではない。
DeepInfer と MLC-LLM は正反対の方向から推論に取り組む。DeepInfer は DeepSeek が Apache-2.0 で公開した DeepSeek-V4.1-Flash 専用のエンジンで、NVIDIA SM100 と Huawei Ascend 950 を対象にする。MLC-LLM は Apache-2.0 の機械学習コンパイラ兼デプロイエンジンで、MLCEngine、OpenAI 互換 API、NVIDIA、AMD、Apple、Intel、モバイル GPU への対応を備える。片方は特化し、もう片方は移植する。V4.1-Flash について公開された直接比較はない。
結論から
MLC-LLM を選ぶのは、ノート PC やモバイルを含む多くの種類のデバイスへコンパイルしてデプロイする必要があり、モデルビルドを自分で持てる場合だ。DeepInfer を検討するのは、SM100 か Ascend 950 のハードウェアがあり、DeepSeek の V4.1-Flash 専用クラスタエンジンが必要な場合である。
MLC-LLM が V4.1-Flash に対応していると決めつけないこと。MLC がコンパイルするのは対応するモデルアーキテクチャであり、新しいフロンティアモデルには互換性のあるビルド経路と、対象デバイス上の十分なメモリが要る。配備を計画する前にモデル対応を確認する。
それぞれの概要
DeepInfer
DeepInfer は、DeepSeek-V4.1-Flash を大規模にサービングするための DeepSeek のオープンソース推論フレームワークだ。ライセンスは Apache-2.0 で、NVIDIA SM100 と Huawei Ascend 950 に対応する。最適化カーネル、Wide-EP/EPLB、DSpark、SWA 有界リプレイ、非同期スケジューリング、決定論モード、構造化出力を備えたオフラインエンジンとして公開されている。
公開版には KV cache システム、prefill/decode 分離、データ並列の負荷分散が含まれない。対応モデルは1つだけだ。対象を固定したクラスタエンジンである。
MLC-LLM
MLC-LLM は、大規模言語モデル向けの機械学習コンパイラ兼高性能デプロイエンジンだ。ターゲットごとにモデルコードをコンパイルし、統一ランタイムの MLCEngine で実行する。プロジェクトは Linux、Windows、macOS 上の AMD、NVIDIA、Apple、Intel の GPU に加え、モバイルプラットフォームも挙げている。
MLCEngine は REST サーバー、Python、JavaScript、iOS、Android を通じて OpenAI 互換 API を公開する。ライセンスは Apache-2.0。設計の中心は移植性とコンパイルであり、PD 分離や分散 KV cache を備えたマルチノードのサービングスタックではない。
比較表：速度ではなく適用範囲
| 項目 | DeepInfer | MLC-LLM |
|---|---|---|
| 種類 | DeepSeek 専用のオフラインクラスタエンジン | ML コンパイラ + デプロイエンジン（MLCEngine） |
| 対応モデル | DeepSeek-V4.1-Flash のみ | コンパイル可能な対応アーキテクチャ。V4.1 は前提にできない |
| ハードウェア | NVIDIA SM100、Ascend 950 | NVIDIA、AMD、Apple、Intel の GPU。モバイル |
| API | 公開版にはなし | OpenAI 互換 REST、Python、JavaScript、モバイル |
| KV cache / PD | サービスレベルの KV cache と PD は含まれない | ランタイムのキャッシュ。PD やマルチノードのサービング層はない |
| デプロイ単位 | クラスタエンジン | コンパイル済みモデル + プラットフォームごとのランタイム |
| ライセンス | Apache-2.0 | Apache-2.0 |
| 向いている用途 | V4.1-Flash の研究とクラスタ配備 | デバイスをまたぐ移植性のあるコンパイル推論 |
出典：DeepInfer の README と Q&A、MLC-LLM の README とプラットフォーム表。2026-10-20 参照。
DeepInfer が優位な点
- V4.1-Flash 専用。エンジンはモデルの CED アーキテクチャ、DSpark、SWA 有界リプレイ、Wide-EP のデコード配置を前提に作られている。MLC の対応はアーキテクチャとビルドに依存する。
- クラスタのスケジューリング。EPLB、prefill 64 基と decode 64 基の構成、本番の Q&A は、移植性を重視するランタイムが対象にしないマルチノードの問題を扱う。
- Ascend 950。DeepInfer は Huawei Ascend 950 を第一級の対象として挙げる。MLC の公開プラットフォーム表は AMD、NVIDIA、Apple、Intel の GPU とモバイルが中心だ。
- DeepSeek の本番ノート。Q&A には、このエンジンに固有のキャッシュとスケジューリングの判断が書かれている。
MLC-LLM が優位な点
- 移植性。NVIDIA、AMD、Apple、Intel、モバイルデバイスを1つのプロジェクトと1つのランタイムで扱う。DeepInfer は狭いハードウェアリストに固定されている。
- コンパイル。モデルコードをターゲット向けにコンパイルするため、汎用ランタイムが見落とすデバイス固有の最適化を引き出せる。
- クライアントの広さ。同じエンジンから REST、Python、JavaScript、iOS、Android の API を出せる。
- ローカルとエッジのデプロイ。ターゲットがノート PC、スマートフォン、NVIDIA 以外のデバイスなら、MLC が候補になる。DeepInfer は候補にならない。
- Apache-2.0。組み込みや再配布に向いた許容的なライセンス。
ベンチマークの罠
スマートフォンやノート PC 上の MLC-LLM と、64 基の SM100 GPU のクラスタ上の DeepInfer は比較にならない。モデル形式、量子化、メモリ帯域、同時実行数、そしてサービングのモデル全体が違う。
DeepInfer のグラフは prefill に 4 基、decode に 64 基の SM100 GPU を使い、コンテキストは 131,072 トークン、デコード設定は nextn=3 とドラフト受入率 75% だ。MLC の数値はデバイスとコンパイル済みモデルに依存する。問うべきは「どのターゲットが必要か」であり、「どの tokens/s が大きいか」ではない。
こちらは同一のハードウェアでどちらのエンジンも動かしていない。移植性の比較が必要なら、同じデバイス上で同じモデルと同じ量子化を固定する。クラスタの比較が必要なら、レイテンシ SLO 下のスループットと、送出した100万トークンあたりのコストを測る。
V4.1-Flash に対応した MLC-LLM のビルドと、DeepInfer のハードウェアリストと重なるデバイス上での公開測定。それが出るまでは、これは移植性の比較であって速度の比較ではない。
選び方
| こういう場合 | まず選ぶなら | 理由 |
|---|---|---|
| Apple、AMD、Intel、モバイルで推論が必要 | MLC-LLM | デバイスをまたぐコンパイル型デプロイ |
| クライアントの各プラットフォームで1つのランタイムが欲しい | MLC-LLM | REST、Python、JavaScript、iOS、Android |
| SM100 か Ascend 950 があり、V4.1-Flash だけを動かす | DeepInfer | V4.1 専用エンジンとクラスタのスケジューリング |
| PD を伴うマルチテナントのサービングが必要 | どちらも単独では不可 | vLLM、SGLang、Dynamo などのサービングスタックを使う |
| DeepSeek の本番エンジンが欲しい | DeepInfer | EPLB、DSpark、SWA リプレイ、本番の Q&A |
FAQ
MLC-LLM は推論エンジンか、コンパイラか
両方だ。MLC-LLM はコンパイラであり、デプロイエンジン（MLCEngine）でもある。ターゲットプラットフォームごとにモデルコードをコンパイルし、統一されたランタイムで実行する。
MLC-LLM は DeepSeek-V4.1-Flash に対応しているのか
前提にしないこと。MLC-LLM が対応するのはコンパイルできるモデルアーキテクチャだ。V4.1-Flash の配備を計画する前に、モデル対応とビルド経路を確認してほしい。
DeepInfer は MLC-LLM より速いのか
公開された直接比較はない。MLC は幅広いクライアントのハードウェアを狙い、DeepInfer は SM100 と Ascend 950 のクラスタを狙う。ハードウェアもワークロードも違う。
どちらを選ぶべきか
NVIDIA、AMD、Apple、Intel、モバイルの各デバイスへコンパイルしてデプロイするなら MLC-LLM。DeepInfer は、対応ハードウェア上での V4.1-Flash クラスタのときに検討する。
出典
- MLC-LLM README — コンパイラ/MLCEngine、プラットフォーム表、API、ライセンス。
- MLC-LLM のドキュメント — ビルドとデプロイの詳細。
- DeepInfer README — 適用範囲、ハードウェア、欠けている構成要素、グラフ。
- DeepInfer と llama.cpp — もう1つのローカル/エッジの比較。
- 10本の比較 — 全体像。
次に読む：DeepInfer と llama.cpp、Ollama との比較、あるいは比較一覧。