12GB VRAMで120 tok/sを達成、Gemma 4 QAT版が大規模モデル推論をコンシューマ級の高速レーンに引き込む

目が覚めると、12GB GPUが突然大規模モデルの神器に

数時間前、GoogleはGemma 4シリーズの量子化アウェアトレーニング（QAT）バリアントを静かに公開し、その中でも12Bパラメータ版は、少ないVRAMのユーザーの情熱に直接火をつけた。ある開発者がいち早く自身の12GB VRAM GPUで実測を行ったところ、驚くべき結果が得られた。モデルをVRAMに完全にロードした後、推論速度が毎秒120トークンに跳ね上がったのだ。これはクラウドクラスター上の数字ではなく、一枚のコンシューマ級GPU上で実際に動作した本物のスコアである。

QAT + MTP、二重の魔法が帯域幅を最大限に活用する方法

今回の速報における技術的組み合わせは精巧そのものだ。QAT、すなわち量子化アウェアトレーニングは、従来のポストトレーニング量子化とは異なり、訓練段階で低精度表現を計算グラフに導入し、モデルがint8やint4などの低ビット環境でも高品質な出力を維持できるように学習させる。一方、MTP（Multi-Token Prediction）は、一度のフォワードパスで複数のトークンを予測することで、スループットを大幅に向上させる。開発者は、llama.cppをベースにGemma 4専用のMTPパッチを適用した推論スタックを使用し、Unslothが公開したgemma-4-12B-it-qat-GGUF量子化メインモデルと、Googleが提供する補助生成専用のqat-q4_0非量子化アシスタントモデルを同時にロードした。後者もGGUF形式に変換されHuggingFaceにアップロードされている。このメインモデルと小型アシスタントドラフトモデルの組み合わせは、投機的デコーディングの考え方にやや似ており、生成効率をさらに一段階引き上げる。

120 tok/sが意味するもの：使えるからシルクのように滑らかへの質的変化

毎秒120トークンの速度は、すでに人間の読書速度の数倍を超えており、リアルタイム対話、コード補完、ローカルナレッジベースQ&Aなどのシナリオにおいて、ほぼ待ち時間ゼロを実現する。これまで12GB VRAMに10B以上のまともなモデルを詰め込もうとすると、毎秒10～20トークンあるいはそれ以下の妥協的な速度を受け入れざるを得ず、頻繁にVRAMの境界から溢れ出ていた。現在、Gemma 4 QAT版は、QATの圧縮効率とMTPのスループット最適化により、RTX 4070、3080、あるいはA2000クラスのGPUを、パーソナル推論サーバーへと一変させる。これはクラウドAPIのレイテンシを遠く引き離すだけでなく、データプライバシーも保護し、エンタープライズ向けの軽量デプロイメントやギークの個人環境にとって大きな朗報である。

オープンソースエコシステムが急速に追随、HuggingFaceですでに実行・試用可能

注目すべきは、一連のリンクがすべてオープンソースコンポーネントのみで構成されている点だ。llama.cpp、GGUF形式、Unslothの量子化スクリプト、そしてコミュニティが迅速に変換・アップロードしたモデルファイルである。この開放度は参入障壁が極めて低いことを意味し、12GB VRAMを持つ開発者なら誰でも、30分以内にこの速度曲線を再現できる。GoogleがGemma 4においてQATとMTPに同時に注力したのは、オープンソースコミュニティの小型・高速モデルへの切実な需要を明らかに見抜き、最先端の推論加速技術を実際の行動で消費者デバイスに届けるためである。

これは次なるローカル推論ブームに火をつけるか

120 tok/sというスコアは孤立したベンチマークではなく、人々の「ローカル大規模モデル」に対する期待を再定義する可能性がある。12BモデルがミッドレンジGPUでこれほどの速度を発揮し、しかもQATによって優れた生成品質を保持しているとなれば、超巨大VRAMやクラウドに活路を求めなければならないという固定観念は打ち破られる。垂直型アプリケーションの開発者にとっては、Gemma 4 QAT版をIDEプラグイン、ターミナルアシスタント、オフライン翻訳機などの製品に組み込み、真の軽量プライベート化を実現できることを意味する。今後、より多くの量子化形式とMTP最適化が成熟するにつれ、8GBあるいはさらに小さなVRAMデバイスでのパフォーマンスにも期待が持てる。これは単なるモデルリリースではなく、高スループットインテリジェンスを大衆化の軌道に押し込む重要な一歩である。