DeepInfer の外へ：DeepSeek-V4.1-Flash を 12 GB GPU で動かす
新しい 2-bit GGUF、MIT ライセンスのローカル実行環境、そしてマージされたばかりの llama.cpp 対応。V4.1-Flash のローカル路線は今週変わりました。12 GB は本当です。ただし請求書の残りは 46–64 GB のメモリ、240–275 GB のストレージ、そして最良でも 10 tokens/s 前後です。
2026 年 10 月 23 日、オーストリアの ISTA-DASLab は DeepSeek-V4.1-Flash-1017 の GGUF を 3 種類公開しました。モデルカードによれば、Strata ランタイムと組み合わせて 12 GB の GPU 1 枚で動きます。2 日後、llama.cpp は V4.1-Flash アーキテクチャのサポートをマージしました。DeepInfer が SM100 クラスタで提供するモデルとしては矛盾に見えます。しかし矛盾ではありません。別の製品であり、別の請求書があり、別の仕事をします。
これは公開資料に基づくリリースノートです。モデルカード、ランナーのドキュメント、リリースノート、llama.cpp の PR を読みました。250 GB のファイルをダウンロードしたり、モデルを実行したり、ベンチマークを取ったりはしていません。以下の性能・品質の数値はすべてプロジェクト自身の測定であり、独立した結果ではないと明記します。DeepInfer の基本事実は本サイトの 2026-10-20 スナップショットのままで、ローカル実行環境の事実は 2026 年 10 月 26 日に確認しました。本サイトは独立したファンメイドのサイトで、方法はAbout ページにあります。ISTA-DASLab、Strata のメンテナ、DeepSeek とは関係ありません。
結論から
1 台のデスクトップで V4.1-Flash を試したいなら、64+64 GPU クラスタから始めない公開ルートのひとつです。12 GB の VRAM、46–64 GB のシステムメモリ、275 GB 以上の空き NVMe、そしてプロジェクトが試した GPU でおおよそ 4–11 tokens/s という前提で予算を組んでください。
ユーザーにサービスを提供したいなら、ここにあるものは DeepInfer の代わりになりません。DeepInfer は依然として SM100 と Ascend 950 向けのオフラインクラスタエンジンで、対応モデルは 1 つだけ、KV キャッシュ、prefill/decode 分離、レプリカ間の負荷分散もありません。1 リクエストを 5 tokens/s で返すデスクトップは、64+64 GPU 構成の小型版ではなく、別の製品です。
llama.cpp エコシステムを使いたいなら、アーキテクチャ対応は上流に入りましたが、それは「この特定の GGUF パッケージが mainline の llama.cpp で読み込める」という意味ではありません。このパッケージは Engram テーブルを 110.6 GB の別ファイルで配布し、上流のコンバータは Engram をモデル GGUF の中に書き込みます。250 GB を落とす前にファイル配置を確認してください。
覚えておくべき一文：763B パラメータのモデルが 12 GB に縮んだわけではありません。 backbone を 1 重みあたり 1.75–2.25 bit に量子化し、残りをランタイムがメモリと SSD からストリーミングします。12 GB は GPU の下限であって、総メモリ予算ではありません。
今週リリースされたもの
ローカル路線は 1 回のリリースではなく、4 日間にいくつも重なってできました。
| 日付（UTC） | リリース | 追加されたもの |
|---|---|---|
| 10-23 | ISTA-DASLab GSQ-RCO GGUF | V4.1-Flash-1017 の量子化 3 種：1.75、2.00、2.25 bits per weight。GSQ と RCO の参照コードは Apache-2.0、量子化重みはベースモデルの MIT を継承。 |
| 10-24 | Strata 0.2.4 | MIT ライセンスのサードパーティランタイム。まず Terminal 経路に V4.1-Flash を追加。デスクトップアプリはまだ追随していない。 |
| 10-25 | Strata 0.2.5 / 0.2.6 | 0.2.5 でデスクトップアプリに V4.1-Flash を追加。0.2.6 はストレステスト修正と、RAM が十分なマシンで CPU 側エキスパートを全量メモリに載せる高速化。 |
| 10-25 | llama.cpp PR #31086 | deepseek41 アーキテクチャをマージ：コンバータ、DSpark ドラフト、視覚プロジェクタ、DSV4 KV キャッシュ。フォローアップ PR #31137 は 10-26 にマージ。 |
日付は Hugging Face と GitHub API によるものです。プロジェクトのリリースノートは現地日付を使う場合があります。
この順序が重要です。量子化がモデルを「試す価値がある」大きさにし、ランナーがビルドチェーンなしで使えるようにし、llama.cpp が最大級のローカル推論エコシステムに接続しました。3 つとも必要で、どれか 1 つだけでは足りません。
GSQ-RCO が変えたこと
GSQ-RCO は新しいモデルではなく、公開済み V4.1-Flash-1017 checkpoint に適用する量子化手法です。GSQ が各テンソルの低ビット・スカラー量子化を担当し、RCO が総サイズ予算の下でテンソルごとに量子化タイプを割り当てます。出力は標準 GGUF で、特定のランタイム専用形式ではありません。
重要なのは「テンソル単位」という点です。均一な 2-bit はすべての場所に同じ型を使います。今回は型をまたいで探索します。dense テンソル（attention、shared experts、embedding、output head）は Q5_K、Q6_K、Q8_0 から、routed experts は IQ1_S から IQ3_S の中から選ばれます。routed experts がパラメータの大半を占めるため、探索の自由度のほとんどはそこに使われます。
| ビルド | backbone 平均 bpw | Backbone | 共有 Engram | 合計（ISTA） | Strata ダウンロード |
|---|---|---|---|---|---|
IQ1_M | 1.75 | 120.72 GB | 110.60 GB | 231.32 GB | 239 GB |
IQ2_XXS | 2.00 | 138.24 GB | 110.60 GB | 248.84 GB | 257 GB |
IQ2_XS | 2.25 | 155.23 GB | 110.60 GB | 265.83 GB | 274 GB |
Strata の数字が大きいのは、約 8 GB の DSpark ドラフトを追加で含むためです。Engram ファイルは 3 ビルド共通で、ダウンロードは 1 回だけです。
見落とされがちなのが Engram テーブルです。196.6B パラメータを IQ4_NL（4.50 bits per weight）で保持し、110.60 GB のルックアップテーブルになります。行列積の重みではなく、トークンごとに 1 行を疎に読むだけなので、VRAM や RAM を占有せずディスクに mmap できます。これが「12 GB GPU」を成立させている理由であり、NVMe が必須要件であってオプションではない理由です。
ベースモデルは疎な MoE です。763.2B パラメータ、各層 384 の routed experts、トークンごとに 6 個を活性化、コンテキストは 1M。量子化カードは公開重みを FP8 dense、FP4 routed と説明しています。2-bit ビルドはそれとは別の、ずっと小さい動作点であり、無損失のコピーではありません。
「12 GB」を分解する
「12 GB GPU で動く」は技術的には正確ですが、実務的には不完全です。モデルカードは、backbone 全体を VRAM に載せる必要はないと説明します。Strata では残りをシステムメモリに置きます。ランナーはよく使うエキスパートを RAM に保持し、残りを SSD からストリーミングし、Engram テーブルはディスクに残します。GPU はメモリ階層の一部であり、全体ではありません。
| 要件 | 資料の記載 | なぜ重要か |
|---|---|---|
| GPU | 12 GB VRAM。Windows/Linux の NVIDIA RTX 30/40/50 シリーズ、Linux の AMD Radeon AI PRO R9700 | 下限であり、総メモリ予算ではありません。このリリースの DeepSeek エンジンは macOS 非対応です。 |
| システムメモリ | プロジェクトがテストした最小構成は約 46 GB。64 GB がテスト済みの快適値。約 40 GB 未満は未検証で遅い | VRAM に載らないエキスパートは RAM に置かれます。RAM が少ないほど SSD ページングが増えます。 |
| ストレージ | 1 ビルド 239 / 257 / 274 GB。3 つ全部で 533 GB。NVMe 推奨 | Engram テーブルはディスクから読みます。遅いドライブは生成トークンごとに効いてきます。 |
| コンテキスト | Strata では 8K 固定。--context で拡張を要求可能 | モデルは 1M トークン対応ですが、ローカルランナーが確認した設定はもっと短いものです。 |
| 同時実行 | 同時に 1 リクエストのみ。--parallel は警告付きで無視 | マルチテナントサーバではなく、単一ユーザー向けランタイムです。 |
| 速度 | RTX 5070 12 GB + 64 GB RAM で約 4–6 tok/s、RTX 3060 12 GB + 46 GB RAM で約 9–11 tok/s、R9700 1 枚で約 21–25 tok/s、R9700 4 枚で約 74–77 tok/s | プロジェクト測定であり独立ベンチマークではありません。プロンプト処理は別の数字で、通常はもっと速い。 |
この表が実質的な購入ガイドです。12 GB のゲーミング GPU と 16 GB の RAM しかないなら、この道は向きません。12 GB GPU、64 GB RAM、高速な 2 TB NVMe があるなら、プロジェクトが実際に試した構成に入ります。この 2 台の差は、3 つの量子化ビルドの差よりずっと大きいのです。
バージョンの細部も押さえておきましょう。速度の数字は ISTA-DASLab ではなく、Strata 自身のリリースノートとモデル表によるものです。Strata 0.2.6 は、CPU 側エキスパートを 8 GiB の余裕を残して全量 RAM に載せられるマシンでは、ロード時にコピーしてオンデマンドストアを省略するようになりました。大容量 RAM マシンでは速くなりますが、46 GB の下限は変わりません。
もう 1 つ比較を変える設定があります。Strata 0.2.5 は、トークンごとにモデルの 6 エキスパートのうち 5 つだけを使う Faster モードを追加し、VRAM 16 GB 以下の GPU では既定になります。公開されている品質数値は Faster モードかどうかを明記していません。12 GB GPU で既定設定を使うなら、ベンチマークと比べる前に確認してください。
2 つの品質指標は同じことを言っていない
ISTA-DASLab はきれいな結果を示します。2.00-bit ビルドは 3 つのベンチマークすべてでベースモデルに並び、タスク平均の回復率は 100.0%。強い見出しですが、見た目より狭い主張です。
| バリアント | bpw | AIME25 | GPQA-Diamond | LiveCodeBench v6 | タスク平均 | 回復率 |
|---|---|---|---|---|---|---|
| ベース（FP8 / FP4） | — | 100.00 | 90.91 | 89.71 | 93.54 | 100.0% |
| IQ1_M | 1.75 | 100.00 | 88.38 | 88.57 | 92.32 | 98.7% |
| IQ2_XXS | 2.00 | 100.00 | 90.91 | 89.71 | 93.54 | 100.0% |
| IQ2_XS | 2.25 | 100.00 | 90.40 | 89.71 | 93.37 | 99.8% |
ISTA-DASLab が reasoning effort 50 で測定。作者自身の測定で、独立再現はありません。AIME25 は全行 100.00 で飽和しており、ビルドを区別できません。
平均だけでなく列を見てください。AIME25 はベースも量子化版もすべて 100.00 で、この難度では識別力がありません。本当の信号は GPQA-Diamond（IQ1_M 88.38、ベース 90.91）と LiveCodeBench v6（88.57 対 89.71）にあります。2.00-bit は両方に並び、1.75-bit はタスク平均で約 1.2 ポイント、2.25-bit は約 0.2 ポイント下がります。3 ベンチマーク平均では小さな差であり、あなたのワークロードでは消えることも、拡大することもある種類の差です。
Strata は別の話をします。固定の 4,995 位置で perplexity を測り、2.00-bit は元モデルより 15.5% 高い、2.25 は 7.3% 高い、1.75 は 21% 高いと報告します。コードと agent テキストの劣化も報告しています。2.00 は 8.6% と 5.3%、2.25 は 3.2% と 2.2%、1.75 は 8.9% と 10.2%。1.75 は平易な英語の散文で特に弱く（perplexity +53%）、ドキュメントは +24% です。
両方の数字は同時に真になり得ます。3 タスクの平均は粗く、飽和します。perplexity と KL ダイバージェンスは、ベンチマーク平均が隠す分布シフトを見ます。「100.0% 回復」は、その reasoning effort で、その 3 タスクにおいてベースに並んだという意味です。量子化モデルがどんなテキストでも元モデルと区別できないという意味ではありません。長文執筆、多言語コンテンツ、特殊なツール呼び出しが仕事なら、タスク平均だけでは証拠として足りません。
「100% 品質」は量子化ビルドの属性ではありません。特定のベンチマーク集合、特定の reasoning effort、特定のベース checkpoint における 1 つの結果です。正直に書くなら 2 文を一緒にします。「reasoning effort 50 の AIME25、GPQA-Diamond、LiveCodeBench v6 で、2.00-bit ビルドはベースのタスク平均に並んだ。別の 4,995 位置では perplexity が 15.5% 高かった。」
llama.cpp 対応はマージされた。しかしこのパッケージが動く意味ではない
10 月 25 日、llama.cpp は PR #31086「model: DSV4.1 flash」をマージしました。この PR は deepseek41 アーキテクチャ、コンバータ、DSpark ドラフトモデル、視覚プロジェクタ、DSV4 KV キャッシュ拡張を追加します。フォローアップ PR #31137 は 10 月 26 日にレビュー修正込みでマージされました。これは実際の上流対応であり、V4.1-Flash が 上流の llama.cpp に入った瞬間です。
しかし「llama.cpp が V4.1-Flash に対応した」と「ISTA-DASLab の GGUF が mainline llama.cpp で読み込める」は別のチェックボックスです。ISTA のパッケージは Engram テーブルを 110.60 GB の別ファイルとして配布します。上流のコンバータは Engram テーブルをモデル GGUF の中に per-layer token embedding tensor として書き込み、ランタイムはそこから読みます。これは別のレイアウトです。
10 月 26 日時点でモデルカードはまだこう書いています。「As of October 23, 2026, llama.cpp does not support DeepSeek-V4.1, so these GGUFs do not run in llama.cpp yet. They are supported in Strata.」llama.cpp のコマンドは「llama.cpp が対応したら」という未来の手順として書かれています。この文はすぐ古くなる可能性がありますが、このパッケージ自身は、独立した Engram ファイルを読み込む mainline llama.cpp ビルドをまだ文書化していません。
実用的な助言は地味ですが重要です。llama.cpp を使いたいなら、Engram テーブルを GGUF に埋め込んだビルドから始めるか、マージされたコンバータで HF checkpoint から自分で変換してください。ISTA の 2-bit ビルドを使いたいなら、モデルカードが上流経路を文書化するまで Strata を使ってください。「対応がマージされた」から「このパッケージが動く」と決めつけて、250 GB を落とさないことです。
もう 1 つ注意点があります。マージされた PR は attention 経路を 2 つ追加し、既定は最適化された sparse gather、dense 参照経路は LLAMA_DSV41_SPARSE=0 の後ろにあります。dense 経路は正しさの参照であり、速度の推奨ではありません。上流対応もまだ数日で、フォローアップ修正が続いています。安定したランタイムではなく、新しいコードとして扱ってください。クラスタエンジンとローカルランタイムの範囲比較は、DeepInfer と llama.cpp を参照してください。
DeepInfer が依然強い領域
DeepInfer はオフライン推論エンジンであり、ホスト型 API でもモデルでもありません。NVIDIA SM100 と Huawei Ascend 950 に対応し、DeepSeek-V4.1-Flash だけを提供します。KV キャッシュシステム、VE/prefill/decode 分離、データ並列レプリカ間の負荷分散も含みません。これらは小さな欠落ではなく、エンジンとサービスの差です。
| 軸 | DeepInfer | GSQ-RCO + Strata | llama.cpp |
|---|---|---|---|
| 仕事 | 単一モデル向けクラスタ推論 | 単一ユーザーのローカル推論 | GGUF モデルのローカル/エッジランタイム |
| ハードウェア | NVIDIA SM100、Huawei Ascend 950 | 12 GB+ RTX 30/40/50、Radeon AI PRO R9700、46–64 GB RAM | 広い CPU/GPU マトリクス。ビルドとモデル対応に依存 |
| モデル形式 | HF checkpoint | GGUF、backbone 1.75–2.25 bpw | GGUF、多様な量子化型 |
| コンテキスト | モデルは最大 1M。配備設定が決める | Strata では 8K を確認 | ビルドとメモリに依存 |
| 同時実行 | クラスタスケジューリング、Wide-EP、EPLB | 1 リクエストずつ | ローカルサーバ。マルチテナントクラスタではない |
| サービング層 | 含まない：KV キャッシュ、PD 分離、レプリカ負荷分散 | ローカル OpenAI 互換エンドポイント | ローカル OpenAI 互換サーバ |
| 品質の証拠 | DeepSeek のチャート。第三者再現なし | 作者測定のベンチマーク、プロジェクト測定の perplexity | GGUF とビルドに依存 |
DeepSeek は、最小の効率的な本番単位を prefill 64 GPU + decode 64 GPU と言っています。この数字が DeepInfer の用途を最も明確に示します。5 tokens/s のデスクトップは、プライベートな下書き、プロンプト実験、ツール呼び出しのプロトタイプには使えます。レイテンシ SLO のあるマルチユーザー負荷は吸収できず、110 GB の Engram テーブルを数百の同時シーケンスに薄く配ることもできません。
公平な速度比較でもありません。DeepInfer の decode チャートは 64 枚の SM100、EP64DP64、131,072 トークンのコンテキスト、75% のドラフト受入率を前提にしています。RTX 5070 1 枚、8K コンテキストは別の実験です。両者の公開された同条件比較はなく、この記事も作りません。
有用な分け方はワークロード別です。ボトルネックが「使えるかどうか」ならローカルスタックです。モデルは自分が管理するマシンにあり、トークン課金がなく、長い回答に数分待つことを許容できます。ボトルネックがスループットなら DeepInfer です。多ユーザー、キャッシュ再利用、長いコンテキスト、そして欠けた部品を自分で補うサービング層が必要です。ボトルネックが可搬性なら llama.cpp です。ノート PC、デスクトップ、小規模サーバを 1 つのランタイムで回し、動きの速い上流を追う用意がある場合です。
自分で確かめる方法
今回のリリースノートは異常に詳しいので、検証できます。250 GB のダウンロードに 1 日使う前に、10 分で次を固定してください。
| # | 固定するもの | 理由 |
|---|---|---|
| 1 | Checkpoint と量子化 | 「V4.1-Flash」では足りません。V4.1-Flash-1017 と正確なビルド（IQ2_XXS、IQ2_XS、IQ1_M）を固定します。 |
| 2 | ランタイムとファイル配置 | Strata、mainline llama.cpp、それとも fork か。Engram は別ファイルか埋め込みか。ダウンロードが使えるかどうかを決めます。 |
| 3 | Reasoning effort とコンテキスト | ISTA のベンチマークは reasoning effort 50、Strata の確認済みコンテキストは 8K。既定値は違うかもしれません。 |
| 4 | RAM とストレージ。VRAM だけではない | 12 GB VRAM は見出しです。46–64 GB RAM と 239–274 GB ストレージが実際の関門です。 |
| 5 | 自分のタスク構成 | 散文、コード、ツール呼び出し、多言語サンプルを走らせます。飽和した AIME スコアは契約条項の書き方を教えてくれません。 |
| 6 | 自分のコンテキスト長での decode 速度 | 8K の tokens/s は 2K と同じではありません。プロンプト処理は別の数字で、混ぜてはいけません。 |
| 7 | 比較の基準 | API やクラスタと同じタスク、同じ SLO で比べます。ローカルの tok/s とクラスタのチャートは同じ仕事の単位ではありません。 |
1 つだけやるなら 2 番です。このリリースで最も高い失敗は、正しいモデルに間違ったランタイムを選んでダウンロードすることです。
よくある質問
DeepSeek-V4.1-Flash は本当に 12 GB GPU で動きますか？
ISTA-DASLab と Strata によれば動きますが、12 GB は VRAM の下限にすぎません。記録された構成には約 46–64 GB のシステムメモリ、1 ビルドあたり 239–274 GB のストレージ、NVMe ドライブも必要です。モデルは RAM と SSD からストリーミングされ、VRAM に全量載るわけではありません。プロジェクトは、テストした 12 GB GPU で約 4–11 tokens/s と報告しています。
GSQ-RCO は新しいモデルですか？
いいえ。公開済み DeepSeek-V4.1-Flash-1017 checkpoint に対する非均一 GGUF 量子化です。量子化重みはベースモデルの MIT ライセンスを継承し、GSQ と RCO の参照コードは Apache-2.0 です。リリースには IQ1_M 1.75 bits per weight、IQ2_XXS 2.00、IQ2_XS 2.25 の 3 ビルドが含まれます。
llama.cpp はこれらの GGUF に対応しましたか？
llama.cpp は 2026 年 10 月 25 日に V4.1-Flash アーキテクチャ対応をマージし、10 月 26 日にフォローアップ修正もマージしました。ただし、それだけで ISTA-DASLab のパッケージが mainline llama.cpp で読み込めるわけではありません。このパッケージは Engram テーブルを 110.6 GB の別ファイルで配布し、上流のコンバータは Engram をモデル GGUF に書き込みます。ダウンロード前にファイル配置とモデルカードのランタイム注記を確認してください。
DeepInfer の代替になりますか？
いいえ。DeepInfer は SM100 と Ascend 950 向けのオフラインクラスタエンジンで、これは単一ユーザーのローカルランタイムです。DeepInfer には KV キャッシュ、prefill/decode 分離、レプリカ負荷分散がなく、DeepSeek は最小の効率的な本番単位を prefill 64 + decode 64 GPU と言っています。ローカルスタックはアクセスと実験向けで、大人数を serving するものではありません。
どのビルドを選べばいいですか？
ISTA-DASLab は IQ2_XXS 2.00 bits per weight を推奨しています。報告された 3 ベンチマークでベースに並び、IQ2_XS より約 17 GB 小さいからです。ストレージに余裕があり、測定された perplexity 増加を最小にしたいなら IQ2_XS。ストレージや RAM が厳しく、測定可能な劣化（特に散文とドキュメント）を受け入れられる場合だけ IQ1_M を選びます。
実際どのくらい速いですか？
Strata の報告では、RTX 5070 12 GB + 64 GB RAM で約 4–6 tokens/s、RTX 3060 12 GB + 46 GB RAM で約 9–11、Radeon AI PRO R9700 1 枚で約 21–25、R9700 4 枚で約 74–77 です。プロジェクト測定であり独立ベンチマークではなく、ビルド、コンテキスト、ストレージに依存します。プロンプト処理は生成よりずっと速く、別に測るべきです。
出典
- ISTA-DASLab「DeepSeek-V4.1-Flash-1017 · GSQ-RCO GGUFs」：ビルド、サイズ、ベンチマーク、量子化手順、ランタイム注記。2026-10-26 確認。
- IST-DASLab/GSQ と IST-DASLab/RCO：参照コード、Apache-2.0。
- Strata と DeepSeek V4.1 ドキュメント：MIT ライセンス、要件、速度・品質測定。
- Strata リリース：v0.2.4（10-24）、v0.2.5 と v0.2.6（10-25）。
- llama.cpp PR #31086 と PR #31137：アーキテクチャ対応とフォローアップ修正。
- llama.cpp
conversion/deepseek41.py：上流コンバータの Engram 処理。 - DeepInfer リポジトリとデプロイ Q&A：範囲、ハードウェア、欠落コンポーネント、64+64 GPU 単位。
- DeepSeek-V4.1-Flash-1017 モデルカード：763.2B パラメータ、384 experts、1M コンテキスト、MIT 重み。
すべての出典のアクセス日：2026-10-26。ベンダーとプロジェクトの数値は本文で個別に明記しています。これらのビルドについて独立したベンチマークは確認できませんでした。