ローカル環境で大規模言語モデル(LLM)を動かす際、手元の機材や購入予定のハードウェアでどの程度の速度が出るのかは事前に把握しにくい要素です。WebツールのLlmspeedは、指定したハードウェアとモデルの組み合わせに応じて、推論速度や応答開始までの時間をブラウザ上で確認できる仕組みを提供しています。
この記事の結論
Llmspeedは、GPUやMacなどのハードウェアとローカルLLMのモデル・量子化設定を選び、推論速度(tok/s)や初回応答時間(TTFT)の目安をブラウザ上で確認できるオープンソースツールです。数値はコミュニティの実測値やスペック推計に基づいており、短いプロンプト時の目安として機材選定の判断材料に活用できます。
Llmspeedは何をシミュレーションするツールなのか
Llmspeedは、PCやサーバー向けのハードウェアとLLMモデルを選択することで、実際のテキスト生成速度を事前に確認できるWebアプリケーションです。グラフィックボードやメモリ構成によって動作速度が大きく変わるローカルLLMにおいて、機材を購入する前の速度確認や構成比較を目的として設計されています。
画面上では、1秒あたりに生成されるトークン数(tok/s)や、最初の応答が返るまでの時間であるTTFT(Time To First Token)が算出されます。また、実際に指定したトークン速度でテキストが出力される動作アニメーションが用意されており、数字だけでなく実際の体感速度として確認できる仕様になっています。
選択できるハードウェアとモデルの種類
ツール内では、個人向けのグラフィックボードから統合プロセッサ、クラウド向けGPUまで幅広い機材が一覧化されています。NVIDIAのGeForce RTX 3060、RTX 4090、RTX 5090などの単体GPUに加え、Apple Siliconを搭載したMacBook ProやMac Studio、Mac miniの各種構成が網羅されています。さらに、AMDのRadeonシリーズやRyzen AI Max+、Intel Arc Pro、CPU単体での実行構成、クラウド向けのH100やA100なども対象に含まれています。
選択可能なLLMモデルには、Llama 3.1 8BやQwenシリーズ(Qwen 3.5、Qwen 3.6など)、DeepSeek V4 FlashやDeepSeek R1 Distill、Gemma 4、GPT-OSSなどが並んでいます。さらにQ4_K_Mといった量子化形式の指定にも対応しており、モデルサイズとメモリ占有量の関係を踏まえた検討が可能です。

速度データはどこから算出されている?
ツールで表示される数値は、完全に架空の理論値ではなく複数の情報源から導き出されています。開発元であるLlmspeedの公開情報によると、測定済み(Measured)と表示される数値は、Redditのコミュニティであるr/LocalLLaMAやlocalscore.aiなどで報告された実際のベンチマーク結果に基づいています。
実測データが存在しないハードウェアやモデルの組み合わせについては、類似したスペック構成からの派生計算や、公表仕様に基づく予測値から推計されています。なお、本プロジェクトの算出ロジックやコードはGitHub上でオープンソースとして公開されています。

実機の挙動と差が生じる前提条件
Llmspeedの試算結果を参照する際には、前提となっている動作環境の条件を理解しておく必要があります。公開されている数値は、単一のデバイス上で短いプロンプト(Short chatなど)を入力した際の状態を想定して算出されています。
そのため、文脈が極端に長いドキュメントを読み込ませる場合や、複数のグラフィックボードを連結させた環境、特定の推論バックエンドやドライバ設定による最適化の影響などは数値に反映されません。実機を導入する際は、Llmspeedの数値を基礎的な目安としつつ、実際の利用目的に沿ったコンテキスト長や並列処理の要件を個別に考慮する必要があります。
あわせて読みたい関連記事
おすすめ DifyとOllamaを同じVPSで動かす要件とメモリ目安
ローカルLLMの動作速度や導入を検討するにあたり、Ollama等の実行環境で必要となるメモリ量やハードウェア要件の目安を把握できるため。



コメント