計算方法

必要メモリ

必要メモリ = 重み + KV キャッシュ + オーバーヘッド

• 重み：量子化ファイルの実サイズ（Hugging Face から取得）。MoE も全エキスパートをロードするので総パラメータ分。
• KV キャッシュ：Σ 層数 × 1トークンあたりの要素数 × min(コンテキスト長, 窓) × KV のビット数 / 8。 GQA は 2 × KV ヘッド数 × ヘッド次元、MLA は 潜在次元 + RoPE 次元。スライディングウィンドウ・チャンク注意の層は窓の長さで頭打ち、線形アテンションの層は数えません。モデルの config.json から自動で組み立てています。
• オーバーヘッド：ランタイムごとの固定分 ＋ 重みの 5%。 MLX（mlx-lm / LM Studio） 1GB、llama.cpp（Ollama / LM Studio 含む） 1.5GB、vLLM 3GB。画像入力を使う場合はビジョンエンコーダ分 1GB を足します。

利用可能メモリ

• Apple Silicon：統合メモリ × 75%（macOS の GPU 既定上限）。iogpu.wired_limit_mb で引き上げた場合は × 90%。
• GPU 1枚：VRAM − 1GB（ディスプレイ出力・ドライバ分）。
• GPU 複数枚・PCAI：（VRAM − 1GB）× 枚数。テンソル並列で均等に載せる前提。
• DGX Spark：統合メモリ × 90%。
• CPU オフロード（llama.cpp）：利用可能 VRAM ＋ システム RAM × 50%。

判定

推奨の量子化は「乗る」の中で最も高精度なもの。最大コンテキストは「乗る」に収まる最長のコンテキスト長（公称の上限まで）です。

速度の推定

decode tok/s ≈ メモリ帯域 × 実効率 η ÷ 1トークンで読む重み

1トークンで読む重みは、dense なら重み全体、MoE ならアクティブパラメータ分。η はランタイムとハードの組ごとの係数で、公開ベンチと ECN 実測から逆算して更新します（MLX（mlx-lm / LM Studio）：Apple は公開ベンチ（M3 Ultra・Qwen3 235B 8bit で 19.5 tok/s）から逆算／llama.cpp（Ollama / LM Studio 含む）：Apple は公開ベンチ（M3 Ultra・Qwen3 235B 8bit で 20.4 tok/s）から逆算。CUDA は gpt-oss-20b の公開値（RTX 5090 で 282 tok/s・4090 で 225 tok/s）に合わせて η 0.75＋層ごと 80µs／vLLM：仮置き（CUDA の層ごとの固定時間は llama.cpp と同じ 80µs を流用。ECN 実測で合わせる予定））。 prefill（プロンプト処理）は計算律速で式が別になるため、推定は出さず実測だけを載せます。

クラスタ（複数台）

同じスペックを複数台つないだときは、利用可能メモリを台数分足し、ランタイムの固定分も台数分かかるとして判定します（重みと KV キャッシュは均等に割り振る前提）。速度は1トークンあたりの時間で考えます。

• テンソル並列（exo / MLX distributed、vLLM）：各台が重みの 1/n を読む ＋ 層ごとに2回の all-reduce。
  t = t₁ ÷ n ＋ 層数 × 2 × 遅延 × (1 + 0.5 × log₂(n/2))
• パイプライン並列（llama.cpp RPC）：層を順番に回すので読む時間は1台と同じ ＋ 台の受け渡し。台数を増やすと載るモデルは大きくなるが、速度は落ちます。
  t = t₁ ＋ (n − 1) × 受け渡しの遅延

Thunderbolt 5 RDMA の係数は、Mac Studio 1・2・4台で Qwen3 235B と DeepSeek V3.1 を動かした公開ベンチの4点に合わせたもので、誤差は ±15% 程度です。

ベンチマークの扱い

公式ベンチはベンダーの自己申告で、ハーネスや設定が揃っていません。このサイトは合成スコアを作らず、数字と出典・条件を並べるだけにしています。同一環境・同一量子化で比べられるのは ECN 実測だけです。

スペックの出典

• M5 Ultra 96GB：96GB・1200GB/s 出典
• M5 Ultra 256GB：256GB・1200GB/s 出典
• M5 Ultra 512GB：512GB・1200GB/s 出典
• M5 Max 36GB：36GB・460GB/s 出典
• M5 Max 48GB：48GB・614GB/s 出典
• M5 Max 64GB：64GB・614GB/s 出典
• M5 Max 128GB：128GB・614GB/s 出典
• M5 Pro 24GB：24GB・307GB/s 出典
• M5 Pro 48GB：48GB・307GB/s 出典
• M5 Pro 64GB：64GB・307GB/s 出典
• M5 16GB：16GB・153GB/s 出典
• M5 24GB：24GB・153GB/s 出典
• M5 32GB：32GB・153GB/s 出典
• M3 Ultra 96GB：96GB・819GB/s 出典
• M3 Ultra 256GB：256GB・819GB/s 出典
• M3 Ultra 512GB：512GB・819GB/s 出典
• M4 Max 36GB：36GB・410GB/s 出典
• M4 Max 48GB：48GB・546GB/s 出典
• M4 Max 64GB：64GB・546GB/s 出典
• M4 Max 128GB：128GB・546GB/s 出典
• M4 Pro 24GB：24GB・273GB/s 出典
• M4 Pro 48GB：48GB・273GB/s 出典
• M4 Pro 64GB：64GB・273GB/s 出典
• M4 16GB：16GB・120GB/s 出典
• M4 24GB：24GB・120GB/s 出典
• M4 32GB：32GB・120GB/s 出典
• M3 Max 36GB：36GB・300GB/s 出典
• M3 Max 48GB：48GB・400GB/s 出典
• M3 Max 64GB：64GB・400GB/s 出典
• M3 Max 96GB：96GB・300GB/s 出典
• M3 Max 128GB：128GB・400GB/s 出典
• M2 Ultra 64GB：64GB・800GB/s 出典
• M2 Ultra 128GB：128GB・800GB/s 出典
• M2 Ultra 192GB：192GB・800GB/s 出典
• M2 Max 32GB：32GB・400GB/s 出典
• M2 Max 64GB：64GB・400GB/s 出典
• M2 Max 96GB：96GB・400GB/s 出典
• M1 Ultra 64GB：64GB・800GB/s 出典
• M1 Ultra 128GB：128GB・800GB/s 出典
• M1 Max 32GB：32GB・400GB/s 出典
• M1 Max 64GB：64GB・400GB/s 出典
• GeForce RTX 5090 32GB：32GB・1792GB/s 出典
• GeForce RTX 5080 16GB：16GB・960GB/s 出典
• GeForce RTX 5070 Ti 16GB：16GB・896GB/s 出典
• GeForce RTX 5070 12GB：12GB・672GB/s 出典
• GeForce RTX 5060 Ti 16GB：16GB・448GB/s 出典
• GeForce RTX 4090 24GB：24GB・1008GB/s 出典
• GeForce RTX 4080 SUPER 16GB：16GB・736GB/s 出典
• GeForce RTX 4070 Ti SUPER 16GB：16GB・672GB/s 出典
• GeForce RTX 4060 Ti 16GB：16GB・288GB/s 出典
• GeForce RTX 3090 24GB：24GB・936GB/s 出典
• GeForce RTX 3060 12GB：12GB・360GB/s 出典
• RTX PRO 6000 Blackwell 96GB：96GB・1792GB/s 出典
• RTX 6000 Ada 48GB：48GB・960GB/s 出典
• RTX A6000 48GB：48GB・768GB/s 出典
• Radeon RX 7900 XTX 24GB：24GB・960GB/s 出典
• NVIDIA DGX Spark 128GB：128GB・273GB/s 出典
• Ryzen AI Max+ 395 64GB：64GB・256GB/s 出典
• Ryzen AI Max+ 395 128GB：128GB・256GB/s 出典
• HPE Private Cloud AI Small（RTX PRO 6000 ×4）：96GB ×4・1597GB/s 出典