僕の自宅サーバーには、数カ月前から Ollama で動いているローカルLLMがあります。 6月15日の Anthropic policy 変更対策として書いた三層武装ガイド の、一番下の層 — daily_news が拾ってくるニュース候補を「読む価値がありそうか」で選別する L3 フィルタ層です。そこに qwen2.5:7b を選んで、以来ずっと動かしてきました。
先日ふと思ったのは、 最近そこから一歩も動いていなかった ということなんですよね。
僕は毎日 AI ニュースを自動収集していて、そこには毎週のように新しいオープンモデルの話が流れてきます。GLM、DeepSeek、Kimi、Gemma、Qwen の新世代。「ローカルで動く」「自社運用へ」という論調が、ここ7週間ずっと上位テーマに居座っていました。認知はしていた。していたんですが、 検証という形で自分の手で触ったのは数カ月前の記事が最後 でした。
この週末、3連休ということもあり少し手が空きました。だったら今やっておこう、という感じで、腰を上げたのがこの記事です。 「Qwen止まり」の自分のマシンで、ローカルLLMを測り直す。 それだけの話なんですが、やってみたら思い込みが3つ、数字で崩れました。
まず現状を晒す — 実機は本当に「Qwen止まり」だった
最初に、自分のサーバーの Ollama に何が入っているかを確認しました。チャット用のモデルはこれだけです。
| モデル | サイズ | 導入 |
|---|---|---|
| qwen2.5:7b-instruct-q4_K_M | 4.7GB | 2ヶ月前 |
| gemma3:4b | 3.3GB | 7ヶ月前 |
| llama3.2:latest | 2.0GB | 7ヶ月前 |
一番新しいチャットモデルで 2ヶ月前の Qwen。あとは半年以上前の gemma3 と llama3.2。 「なんとなく止まっている気がする」ではなく、実機が文字通り止まっていた わけです。感覚じゃなく、ollama list の日付がそう言っている。
対象マシンのサーバースペックも出しておきます。
| 項目 | 値 |
|---|---|
| GPU | NVIDIA GTX 1660 SUPER（VRAM 6GB） |
| CPU | Intel Core i7-9700K |
| RAM | 48GB DDR4-2133 |
| OS | Windows 11 + Ollama 常駐 |
ここで大事なのは、 VRAM が 6GB しかない一方で、RAM は 48GB ある という、いびつな構成だという点です。まぁ、元々ゲーミングPCでオンラインゲームで遊ぶことがメインだったマシンなので。ただ、この歪みが、今日の話の伏線になります。
仮説 — 世界は「小活性MoE」に動いた。それはこの歪んだマシンに合うのでは
まずはAIニュースで取得してきた一次情報を埋めるところから始めました。並列でリサーチをかけて、2026年前半に何が起きたかを整理すると、大きな流れは一つでした。 「小活性MoE」への全面移行 です。
MoE（Mixture of Experts、混合エキスパート）というのは、モデル全体は巨大でも、1トークンを生成するときに実際に働くのは一部だけ、という構造です。たとえば Gemma 4 の 26B-A4B は、総パラメータ26Bに対して、実際に動くのは3.8Bぶんだけ。Qwen の 35B-A3B なら、総35Bに対して実働3Bです。
ここで僕の頭に浮かんだのが、さっきの「いびつな構成」でした。
– 総パラメータが大きい → メモリにたくさん置く必要がある → 僕のマシンは RAM 48GB あるので置ける
– 実働が小さい → 1トークンで計算する量が少ない → 6GB の非力なグラボでもなんとかなるかも
dense（全パラメータが毎回働く普通のモデル）の大型モデルは、6GB にはどうやっても載りません。でも「RAMに丸ごと置いて、実働の数Bぶんだけ計算する」小活性MoEなら、 VRAMが薄くてRAMが厚い、という僕のマシンの歪みにむしろハマるのではないか。 これが立てた仮説です。
ちなみに、この流れは僕の daily_news 自身がずっと拾っていました。週次レポートを見返すと、W23からW29まで7週連続で「ローカル・オープンモデル」が上位テーマ。しかも毎週たどり着く結論が一貫していて、 「巨大モデルの完全代替ではなく、分類・要約・前処理・閉域RAGといったタスクを小さいモデルへ逃がすのが現実的」 というものでした。自分のニュースが、答えの半分を先に言っていたわけですね。
適合フィルタ — 6GBに何が載って、何が載らないか
仮説を測る前に、候補を「このマシンで動くか」で3つに仕分けました。
| 区分 | 意味 | 代表 |
|---|---|---|
| ① GPU全載せ | 6GBのグラボに丸ごと載る | Phi-4-mini、Qwen 4B、gemma3:4b |
| ② RAMオフロード | 48GBのRAMに置いて実用速度が出る（小活性MoE） | Gemma 4 26B-A4B、Qwen 35B-A3B |
| ③ 重すぎ | Q4量子化でも48GBを超える | GLM-5.2、DeepSeek V4、Kimi K2.7 |
話題のフラッグシップ級（GLM-5.2 や DeepSeek V4、Kimi K2.7）は全部③でした。総パラメータが数百B〜数Tあって、量子化しても数百GB。 このマシンでは動きません。 ここは前作でも書いた設計原則、「OSSで骨格、APIで精度」でいう API 側に残す群です。「オープンがOpus級になった」という話題は、あくまで「クラウドで借りるオープン」の話であって、手元で動く話ではない、というのは分けて理解しておくべきところでした。
逆に②の小活性MoEが、仮説の本命。ここを実機で測ります。
実機で4モデルを測ったら、35Bが7Bと同速で動いた
ここからが本題です。同じ1つのプロンプト（第29週のニュース要旨を、3点で要約せよ）を、Ollama の HTTP API を通して各モデルに投げ、生成速度を実測しました。
最初は ollama run にプロンプトを流し込む方式で測ろうとして、出力が途中で切れる現象に何度かハマりました。原因は入力方式で、標準入力経由だと生成が早期終了することがある。HTTP API に切り替えたら、温度を0に固定した決定論的な計測ができて、途中終了もなくなりました。実機ベンチは API 経由が正解、というのが最初の小さな学びです。
結果がこれです。「書く速さ」は毎秒あたりの生成トークン数（tok/s）です。
| モデル | 区分 | 配置 | 書く速さ | この要約の中身 |
|---|---|---|---|---|
| — | — | — | —: | — |
| qwen2.5:7b（現行） | ① | 6GBから溢れ | 21.8 tok/s | 薄い |
| gemma3:4b | ① | GPU常駐 | 63.3 tok/s | 網羅がよい |
| llama3.2:3b | ① | GPU常駐 | 88.1 tok/s | 濃いが冗長 |
| qwen3.6:35b-a3b | ② MoE | CPU 86% / GPU 14% | 19.5 tok/s | 最も的確 |
一番言いたいのは、一番下の行です。 総パラメータ35BのMoEが、毎秒19.5トークンで動いた。 これは、現行の7Bモデル（毎秒21.8トークン）と、ほとんど同じ速さです。5倍の大きさのモデルが、7Bと変わらない速度で回っている。
なぜそんなことが起きるか。ollama ps で内訳を見ると、答えが書いてありました。 このモデルは8割以上がCPU側（RAM）に置かれ、GPUは14%しか使っていなかったんです。23GBの本体をRAMに丸ごと置いて、1トークンごとに実働3Bぶんだけを計算する。だから速度は「35B」ではなく「3B」の重さで決まる。仮説どおりの挙動でした。
もう一つ見えたのは、 速度は小さいモデルほど速い という素直な事実です。llama3.2:3b が毎秒88トークン、gemma3:4b が63トークン。現行の7Bが21.8トークンと明らかに遅いのは、7Bが6GBのVRAMから溢れて一部がCPUに落ちているから。3〜4Bのモデルは6GBに余裕で収まって、GPUの速度でそのまま走る。 「賢いローカルLLMには強いGPUが要る」という思い込みが、この6GBのマシンで実際に崩れた瞬間でした。
自問1 — じゃあ「思考モード」が賢さの鍵なのでは
ここで一つ引っかかりました。今回の主役 qwen3.6 は、いわゆる「思考モデル」です。答える前に内部で推論を回す。 もしかして、この「思考」こそが賢さの正体で、速度を犠牲にする価値があるのでは、と思ったわけです。
検証しました。「速い一発回答だと間違えるが、じっくり考えると正解する」タイプのトラップ問題をぶつけて、思考ありと思考なしで答えが変わるかを見る。
最初は易しい問題から。 「仕入れ値の20%増しで定価をつけ、売れないので定価の20%引きで売った。損か得か」 。素朴に考えると「20%増して20%引きだからトントン」と答えたくなりますが、正解は、1.2 かける 0.8 は 0.96 で、4%の損です。
結果は、qwen2.5:7b も qwen3.6 も、思考のオンオフに関係なく全部正解でした。段階を踏めば7Bでも解ける問題だった。ただし、 思考モードをオンにした qwen3.6 は、答えは同じなのに生成トークンを4倍以上消費していました。 簡単な問題では、思考は純粋なコストだった。
そこで、もっと難しい問題に変えました。古典的な引っかけです。 「3人の職人が3時間で3部屋を塗る。9人で9部屋を塗るには何時間か」 。素朴な誤答は「9時間」、正解は「3時間」です。
| モデル | 難問の正誤 | 生成トークン |
|---|---|---|
| — | — | —: |
| qwen2.5:7b（現行） | 不正解（9時間） | 131 |
| qwen3.6 思考オフ | 正解（3時間） | 190 |
| qwen3.6 思考オン | 正解（3時間） | 1268 |
ここで、思っていたのと違う結果が出ました。 現行の7Bはこの難問を外した（9時間と答えた）。一方 qwen3.6 は、思考をオフにしたままで正解した んです。しかも、思考オンにしても答えは同じ「3時間」で、ただ生成トークンが6倍に膨れただけ。
つまり、差を生んだのは「思考」ではなく 「モデルそのものの素性」 でした。7Bが解けない問題を、35BのMoEは思考なしで、しかもほぼ同じ速度で解いた。このマシンでは、 「思考を焚く」より「賢いモデルに乗り換える」方が、確実に効く。 思考モードは、これらの問題では正答率を1ミリも上げず、コストだけを増やしていました。もっと難しい、qwen3.6でも思考なしでは解けない問題帯に行けば思考が効くはずですが、今日はその天井には届いていません。
自問2 — では、gemma のほうが良かったのか。数カ月前の選択は間違いだったのか
もう一つ、自分に厳しく突っ込んでおくべきことがあります。
さっきの要約タスクの表を見ると、 既に入っている gemma3:4b が、現行の qwen2.5:7b より速くて、要約の中身も良かった 。だとしたら、数カ月前に L3 のフィルタに Qwen を選んだのは間違いだったのか。gemma に戻すべきなのか、という話になりました。
ここは、正直に線を引きます。 その結論は、今日のデータからは言えません。
理由は3つあります。まず、 測ったタスクが違う 。今日試したのはニュースの3点要約です。でも数カ月前に Qwen を選んだのは、 三層武装の記事 に書いたとおり、 ニュースの関連性スコアリング という別のタスクでした。しかもそのときのPoCでは、 gemma3:4b が6問中3問だったのに対し、 qwen2.5:7b は6問中6問で完勝していた 。要約とスコアリングは別の土俵で、土俵が違えば勝者も変わる。
次に、 今日のは1サンプル・温度0で1回きり です。要約1本で「gemmaの勝ち」と言うのは、検証として雑すぎる。
最後に、 そもそも比較が非対称 です。qwen2.5:7bは6GBから溢れて遅く、gemma3:4bは収まって速い。今回の勝敗は「賢さの差」というより「このグラボに収まるかどうかの差」が大きい。別のマシンなら逆転しうる。
だから正しい言い方はこうです。 「軽い要約タスクなら、収まりの良い gemma3:4b が現行の Qwen より速くて遜色ない」までは言える。「Qwen より gemma が優れている」「数カ月前の選択は間違い」とまでは、今日のデータでは言えない。 自分の「あれ、gemmaのほうが良いのでは」という気持ちに、自分でブレーキをかけておきます。
未発見枠の減圧 — 「1B最強」を日本語で試したら、失格だった
リサーチの中には、有名リストの外の「発掘」もありました。その中で一番触れ込みが強かったのが、 MiniCPM5-1B 。10億パラメータ以下のオープンモデルでは最強、と各所で言われている小型モデルです。INT4量子化でわずか0.5GB。これが本当なら、VRAMをほとんど食わない高速ワーカーになります。
実機に引っ張ってきて、日本語で試しました。結果はこうです。
| タスク | 速さ | 結果 |
|---|---|---|
| — | —: | — |
| ニュース要約 | 189 tok/s | 英語で思考を垂れ流し、日本語の3点要約に到達せず |
| 職人問題 | 191 tok/s | 中国語混じりで迷走し、結論に届かず |
速さは本物でした。毎秒189〜191トークン。 これはさっきのMoEの約10倍です。ただ、 日本語のビジネスタスクは、素のままではまったく使えなかった。 英語や中国語で内部の思考を延々と垂れ流して、トークンの上限に達しても答えにたどり着かない。
「1B以下最強」という触れ込みは、おそらく英語ベンチマーク上の知能の話です。 日本語で、指示に従って、そのまま実用になるか、は別の評価軸だ ということ。ちゃんと言語を固定して、思考を制御して、トークン枠を広げれば、高速なワーカーに化ける可能性はあります。でも今日の「未調教で素のまま」では失格。触れ込みは、日本語の実機で一度割り引く必要がある、という発掘物の地に足のついた結論です。
測ってから、また武装し直す
僕は「OSSで骨格、APIで精度」という原則のもとで、 Ollama + Qwen 2.5 7B を L3 に置きました。あのときはそれが、6GBのグラボで動く現実解でした。
今日わかったのは、 原則は変わっていないけれど、その中の解像度が上がった ということです。
– ①の小型モデルと②の小活性MoEは、タスクをローカルに逃がす層。ここが「賢いMoE」まで手が届くようになった
– ③のフラッグシップMoEは、引き続き Claude の API に残す層
この境界が、「大きいモデルか小さいモデルか」ではなく、 「タスク単位でどこに逃がすか」 で引けるようになった。数カ月前は7Bが精一杯だったのに、同じ6GBのマシンのまま、35B級の賢さの一部を実用速度で手元に置ける時代に入っていた。ハードは一台も買い替えていません。 世界の主役が「7Bのdense」から「小活性MoE」に動いたぶんだけ、僕のマシンの天井が勝手に上がっていた 、という話です。
「これはチーム何人分か」という問い方をするなら、 6GBの型落ちグラボ一枚で、数百B級の知能の一部を手元に呼べる という事実は、「一人で、チームを超える」の物理的な裏付けの一つになります。強いGPUを買う話ではなく、構造の変化に気づいて測り直す話。それが今日の収穫でした。
じゃあ標準の1本を何にするか。今のところの当たりは、 速い定型処理は3〜4Bの小型モデル、賢さが要る回だけ②の小活性MoEを手動で呼ぶ 、という段構え。ただしこれは要約1タスク・1サンプルで見えた暫定解です。分類・閉域RAG・定型レビューでも同じ順位になるか、L3 の実運用で本当に置き換わるかは、 まだ検証継続中 。ここを言い切らないのが、たぶん一番正直な現在地です。
次に測るのは、この段構えを自分の daily_news の実タスクに通したときの歩留まり。数カ月前に Qwen で踏んだ「PoCでは勝つが実データで崩れる」を、もう一度きちんと踏みにいこうと思います。
FAQ
「35Bが7Bと同速」って、本当に実用速度なの?
はい、毎秒19.5トークンは実測値です。体感で言うと、文章がスラスラ表示されるくらいの速さで、要約や分類には十分実用的です。ただし注意点が2つあります。1つは、初回にモデルをRAMに読み込む時間が別途かかること（23GBのモデルで50秒前後）。もう1つは、長いプロンプトを渡したときの最初の処理（プレフィル）が、このTuring世代の古いグラボでは遅めなこと。「短い入力でどんどん生成する」用途に向いていて、「長大な文書を一気に読ませる」用途はやや苦手、という非対称さはあります。
なぜ思考モードをオフにして測ったの? ずるくない?
簡単なタスクでは、思考モードは答えを変えずにトークンだけ4〜6倍消費する、というのが本文の検証結果です。要約や分類のような日常タスクでは、思考オフのほうが速くて実用的なので、他のモデルと同じ土俵で比べるためにオフにしました。思考が効くのは、思考なしでは解けないもっと難しい問題帯のはずで、そこの検証は今後の宿題です。
GLM-5.2 や DeepSeek V4 は結局ローカルで動かないの?
このマシン（VRAM 6GB / RAM 48GB）では動きません。量子化しても数百GB規模になるので、48GBのRAMに収まらない。これらは「クラウドで借りるオープンモデル」であって、手元で動かす対象ではない、と割り切っています。手元の役割は、分類・要約・前処理といったタスクを逃がすこと。難しい推論や品質が要る仕事は、引き続き Claude の API 側に残す、という二段構えです。
標準の1本、結局どれにするの?
今日の時点では決めていません。暫定の当たりは「速い定型は3〜4Bの小型、賢さが要る回だけ小活性MoEを手動で呼ぶ」という段構えですが、これは要約1タスク・1サンプルで見えた仮の結論です。分類・閉域RAG・定型レビューでも同じ順位になるか、実運用の歩留まりはどうか、を測ってから決めます。「検証継続中」と正直に書いておくのが、今の現在地です。
自分でも同じ検証をやってみたい。何から始めればいい?
Ollama を入れて、まず自分のグラボのVRAMで全部載る小型モデル（3〜4Bクラス）を1本 pull するところからをおすすめします。そのうえで、ollama run --verbose か HTTP API で、実際に自分の使うプロンプトを流して「毎秒何トークン出るか」を測ってみてください。ベンチマークの一般的な数字ではなく、自分のマシンの自分のタスクでの実測が、いちばん判断材料になります。ちなみに計測は、標準入力ではなくHTTP API経由のほうが安定します。
この記事が参考になったら
Share