· ローカルAI

ローカルAIニュース:llama.cpp v1.0移行、RTX 30シリーズで推論高速化

20秒でわかる今日のニュース

llama.cpp v1.0リリース、RTX 30シリーズ向け最適化

ggml-orgは2026年11月13日、llama.cppのメジャーバージョン1.0を正式リリースし、C言語APIの破壊的変更を採用した。RTX 30シリーズ以降のNVIDIA GPU向けに、2〜24トークンを同時に処理する新しいCUDAカーネルを実装した。

4リクエスト同時実行時の合計出力速度を比較したベンチマーク結果
4リクエスト同時実行時の合計出力速度を比較したベンチマーク結果(出典:Hacker News)

これにより、4つのリクエストを並列実行した際、9Bモデルで14%、27Bモデルで22%の生成速度向上を確認した。27Bモデルでスペキュラティブデコーディングを有効化すると、生成速度が52〜55%向上した。

旧バージョンから削除されたフラグがあるため、起動コマンドから--defrag-tholdを削除する必要がある。また、ネットワーク上のllama-serverはAPIキーを設定しないとツールが有効になる。Ollamaの最新リリースはまだ旧ビルドを使用しており、v1.0の高速化は今後のアップデートで反映される予定だ。セマンティックバージョニングにより、破壊的変更があればメジャーバージョンが上がる仕組みだ。

出典:Hacker News詳しくはクローズアップ記事へ

DGX Spark向けQwen3.8レシピ、16ユーザー同時実行で高速化

Picom-codeは2026年11月15日、NVIDIA DGX Spark上でQwen3.8-Flash-Nextを高速推論するレシピを公開した。TensorFoldエンジンとMiaAI-Labのレシピ、および29件の独自パッチを組み合わせ、公式FP4重みをそのまま使用している。

DGX Spark上のQwen3.8-Flash-Next推論速度を示すバナー画像
DGX Spark上のQwen3.8-Flash-Next推論速度を示すバナー画像(出典:GitHub topic llm-inference)

シングルユーザーでの推論速度はチャットが54トークン毎秒、コードが88トークン毎秒となった。16ユーザーが同時に実行した場合の合計出力速度は288トークン毎秒を記録した。KVキャッシュをbf16精度でExactに設定しており、推論品質の低下を防ぎつつ並列処理能力を高めている。

最適化レバーを全て有効にしても、ベースエンジンと完全一致のテキスト出力を確認した。10エージェント実行時にプロンプトキャッシュが不足する課題はあるものの、単一ボードでの大規模同時利用を可能にする実用的な構成だ。コンテキスト長は262Kトークンをサポートし、シード固定時のサンプリング結果も一致している。スパークダッシュの構造化テストでは、コード生成速度が163トークン毎秒に達した。

出典:GitHub topic llm-inference

Debian 13ベースOS「AIRUX」、完全ローカル音声アシスタント搭載

Absurd28は2026年11月15日、Debian 13をベースにした開発者向けOS「AIRUX」と、そのデスクトップに統合された音声アシスタント「AIRA」をGitHubで公開した。llama.cppでQwen3.5モデルを5つの専門エージェントに並列実行し、whisper.cppとKokoroで音声入出力を処理する。

AIRAのチャットインターフェースとエージェント一覧を表示するデスクトップ画面
AIRAのチャットインターフェースとエージェント一覧を表示するデスクトップ画面(出典:GitHub topic local-llm)

グラウンディングガードとパーミッションブローカーにより、ツール呼び出しを厳密に検証する。200個の新コマンドで評価した結果、エラー率は2.5%に低下し、確認なしで実行されたリスクアクションはゼロだった。

起動時にRAMとVRAMを計測してモデルサイズを自動選択する設計で、現時点ではISOイメージがGitHubの制限を超えているためソースからのビルドが必要となる。暗号化されたメモリボルトを備え、キーワードやベクトル検索で過去の会話を参照できる。AIRAシェルのXfceウィンドウでは、ライブ文字起こしと保留中の確認をリアルタイムで確認できる。

出典:GitHub topic local-llm

LLMアーキテクチャ変更の実験、細粒度MoEが最良

ニキータ・パブリチェンコは2026年11月14日、2020年以降のLLMアーキテクチャ変更を1000回以上の実験で比較した結果を公開した。GPT-3ベースのモデルに対し、位置埋め込みや正規化、注意機構、MoEを単独および組み合わせで評価した。

記事のテーマを示すシンプルなデザインの表紙画像
記事のテーマを示すシンプルなデザインの表紙画像(出典:Hacker News)

細粒度MoEが単独変更で最も効果的であり、DeepSeek-V3の128エクスパート構成は損失を大幅に改善した。同等サービングコストではLatentMoEが最も高い改善率を示した。線形注意機構は単独では優れているが、MoEと組み合わせると差が縮まる。

GQAやMLAはKVキャッシュを4倍以上削減するため、同じ予算でより大きなモデルを運用できる。RoPEの優位性はスケールとともに縮小し、QK-normはすべてのモデル幅で約1%の品質向上をもたらした。推論スタックの最適化度合いによってサービングコストは変動するが、実用的な比較基準を示している。

出典:Hacker News

Hermes Desktop用Claude Code GUIプラグイン、107種設定と承認

MnemosyneOSは2026年11月15日、Hermes Desktop内で動作するグラフィカルなClaude Codeワークスペースを提供するプラグイン「claude-code-parity」をGitHubで公開した。実際のClaude CLIを子プロセスとして駆動するため、107種類の設定値をGUIで調整できる。

Anthropicのアカウントを持たなくても、ローカルブリッジ経由で動作し、Hermesに登録済みであれば任意のモデルを利用可能だ。1ターンごとに1プロセスの設計のため、MCPサーバーの接続はリセットされる。

ウィンドウ内または同じWi-Fiのスマホからツール承認を行え、英語と中国語のUIを切り替えられる。ブリッジはAnthropic形式とOpenAI形式を相互変換し、ゲートウェイ向けの追加ヘッダーやストリーム設定もyamlで定義できる。セッション履歴のアーカイブやドラッグアンドドロップによるファイル添付にも対応している。

出典:GitHub topic local-llm

出典