ローカルLLM-AIベンチby ECN
モデル一覧 ›

Llama 3.1 8B

Meta
比較に入れる
パラメータ
8B
dense
いちばん小さい量子化
4.2GB
MLX 4bit
KV キャッシュ（8K・FP16）
1.00GB
公称コンテキスト 128K
乗るスペック
64/ 64
クラスタ構成を含む・8K

コンテキスト長と必要メモリ

横線は各スペックの利用可能メモリ。線より下なら乗る
4bit 前後6bit 前後8bit 前後16bit各ビット帯でいちばん小さい量子化・KV FP16
0GB10GB20GB30GB40GB50GB4K8K16K32K64K128Kコンテキスト長 →RTX 4090 24GB 23GBRTX 5090 32GB 31GBM5 Max 48GB 36GB

スペックごとの推定速度

decode tok/s・8K・乗る構成だけ・推奨量子化
HPE Private Cloud…197RTX 5090 32GB103RTX PRO 6000 Blac…103M5 Ultra 512GB ×485.2M5 Ultra 512GB ×279.4M5 Ultra 96GB69.9M5 Ultra 256GB69.9M5 Ultra 512GB69.9RTX 4090 24GB65.5RTX 5080 16GB62.9Radeon RX 7900 XT…62.9RTX 6000 Ada 48GB62.9RTX 3090 24GB61.5RTX 5070 Ti 16GB59.3RTX 5070 12GB56.3RTX A6000 48GB52.0M5 Max 128GB ×251.5RTX 4080 SUPER 16…50.1RTX 4070 Ti SUPER…46.2M5 Max 48GB35.8

Llama 3.1 8B は、作業ごとにどのくらいか

  • AIエージェント数字なし（判定できません）
  • コーディング数字なし（判定できません）
  • 検索・調べもの数字なし（判定できません）
  • 知識・推論中位級未満。勝つ確率: Claude Sonnet 5.5 に 4%・Claude Haiku 5.5 に 5%（2 ベンチ・比べた相手 26 モデル）
  • 数学数字なし（判定できません）
  • 日本語数字なし（判定できません）
  • 画像理解数字なし（判定できません）

同じベンチに数字のある2モデルを「対戦」とみなし、作業ごとにレーティングを付けています（チェスや LLM のアリーナと同じ考え方）。数字は各社の自己申告が中心で条件は揃っていないので、目安として見てください。

作業ごとの位置

Llama 3.1 8Bクラウドモデル（点に乗せると名前）縦線は階層の目印（右ほど強い）
AIエージェントツールを使って作業を進める（ターミナル操作…最上位級中位級軽量級数字なし
コーディング実際のリポジトリのバグ修正、競技プログラミ…中位級軽量級数字なし
検索・調べものWeb を検索して答えを探し当てる数字なし
知識・推論専門知識の問題、難問最上位級中位級中位級未満
数学数学オリンピック級の問題数字なし
日本語日本語を含む多言語での知識問題数字なし
画像理解図表・写真を読んで答える数字なし

用途で変わる：チャット・コーディング・AIエージェント

チャット

コンテキスト 8K

短いやりとり。速く返ってくることが大事。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化

乗るスペック 9 / 9・最小構成で 10.3 GB（うち KV 1.0 GB）

M5 Ultra 256GB69.9MLX 8bitM5 Ultra 512GB69.9MLX 8bitRTX 5090 32GB65.3BF16RTX PRO 6000 Blac…65.3BF16RTX 4090 24GB39.6BF16M5 Max 64GB35.8MLX 8bitM5 Max 128GB35.8MLX 8bitRyzen AI Max+ 395…15.4Q8_0DGX Spark 128GB10.8BF16

コーディング

コンテキスト 64K

リポジトリのコードを読み込んで直す。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化

乗るスペック 9 / 9・最小構成で 17.3 GB（うち KV 8.0 GB）

RTX 5090 32GB47.8BF16RTX PRO 6000 Blac…47.8BF16RTX 4090 24GB39.7Q8_0M5 Ultra 256GB39.2MLX 8bitM5 Ultra 512GB39.2MLX 8bitM5 Max 64GB20.1MLX 8bitM5 Max 128GB20.1MLX 8bitRyzen AI Max+ 395…8.8Q8_0DGX Spark 128GB7.6BF16

AIエージェント

コンテキスト 128K

ツール呼び出しを繰り返し、履歴と結果がコンテキストに溜まる。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化

乗るスペック 9 / 9・最小構成で 25.3 GB（うち KV 16.0 GB）

RTX 5090 32GB46.1Q8_0RTX PRO 6000 Blac…36.6BF16RTX 4090 24GB31.5Q4_K_M・ギリM5 Ultra 256GB26.1MLX 8bitM5 Ultra 512GB26.1MLX 8bitM5 Max 64GB13.4MLX 8bitM5 Max 128GB13.4MLX 8bitRyzen AI Max+ 395…5.9Q8_0DGX Spark 128GB5.7BF16

コンテキスト長と推定 decode 速度

コンテキストが長いほど KV キャッシュを読む分だけ遅くなる。線が切れたところで乗らなくなる
M5 Max 64GBM5 Ultra 256GBRTX 4090 24GB
0204060801004K8K16K32K64K128Kコンテキスト長 →↑ decode tok/s（推定）チャット 8Kコーディング 64KAIエージェント 128K

用途ごとに見るベンチ

Llama 3.1 8B はどのあたりか

  • Terminal-Bench 2.0：Llama 3.1 8B の数字なし
  • τ²-Bench：Llama 3.1 8B の数字なし
  • SWE-bench Verified：Llama 3.1 8B の数字なし
  • Humanity's Last Exam：Llama 3.1 8B の数字なし
  • Artificial Analysis Intelligence Index：Llama 3.1 8B の数字なし同じ条件

数字はベンダー自己申告などの出典の値で、条件（推論モード・ツールの有無など）は揃っていません。目安として見てください。

Terminal-Bench 2.0

6 モデル・各社の自己申告（条件はばらばら）
DeepSeek V4 Pro67.9Claude Opus 4.665.4Qwen3.6 27B59.3Qwen3.6 35B-A3B51.5Qwen3 Coder Next36.2Devstral Small 2 …22.5

τ²-Bench

5 モデル・各社の自己申告（条件はばらばら）
Claude Opus 4.691.9Gemma 4 31B76.9Gemma 4 12B69.0Gemma 4 26B-A4B68.2Gemma 4 E4B42.2

SWE-bench Verified

10 モデル・各社の自己申告（条件はばらばら）
Claude Opus 4.680.8DeepSeek V4 Pro80.6MiniMax M2.580.2Qwen3.6 27B77.2Qwen3.6 35B-A3B73.4Qwen3 Coder Next70.6Devstral Small 2 …68.0gpt-oss-120b62.4gpt-oss-20b60.7Seed-OSS 36B56.0

Humanity's Last Exam

25 モデル・各社の自己申告（条件はばらばら）

ツールありの数字しかない GLM-5.3・GLM-5.3-Flash・Claude Opus 5.5・GLM-5.3 (API)・Muse Spark Open 816B-A42B は除外

Claude Fable 5.160.9Claude Sonnet 5.556.9Kimi K3.1 Pro51.1Kimi K3.1 Pro (AP…51.1Claude Haiku 5.545.9Kimi K343.5Claude Sonnet 543.2DeepSeek V4 Pro (…42.7DeepSeek V4.1 Fla…42.6GLM-5.240.5Claude Opus 4.640.0DeepSeek V4 Pro37.7DeepSeek V4.1 Fla…36.8Qwen3.8 Flash-Next35.9Qwen3.7 Plus34.7Qwen3.8 27B30.8Qwen3.6 27B24.0Qwen3.6 35B-A3B21.4Gemma 4 31B19.5MiniMax M2.519.4gpt-oss-120b14.9gpt-oss-20b10.9Seed-OSS 36B10.1Gemma 4 26B-A4B8.7Gemma 4 12B5.2

Artificial Analysis Intelligence Index

26 モデル・全モデル同じ条件（第三者が測定）
Claude Opus 5.559.0GPT-6 Astra57.0GPT-6.1 Sol55.0Claude Sonnet 5.555.0GPT-6.1 Terra51.0Gemini 4 Argon50.0Claude Fable 5.149.0Kimi K3.1 Pro46.0Kimi K3.1 Pro (AP…46.0Muse Wonder44.0Claude Haiku 5.536.0Grok 4.735.0Qwen3.8 Max34.0DeepSeek V4.1 Fla…33.0GLM-5.332.0GLM-5.3 (API)32.0Gemini 3.8 Flash31.0GLM-5.3-Flash28.0GPT-6 Luna28.0Mistral Large 4 (…26.0Mistral Large 4 (…26.0Muse Spark Open 8…25.0DeepSeek V4 Pro (…23.0Qwen3.8 27B20.0Gemini 3.5 Flash-…12.0Gemma 4 31B4.0

スペックごとの判定

スペック判定推奨量子化必要メモリ利用可能最大コンテキスト推定 tok/s
RTX 5070 12GBllama.cpp 乗る Q6_K 8.9 GB 11.0 GB 15K 56.3
RTX 3060 12GBllama.cpp 乗る Q6_K 8.9 GB 11.0 GB 15K 32.3
M5 16GBMLX 乗る MLX 8bit 10.3 GB 12.0 GB 11K 8.9
M4 16GBMLX 乗る MLX 8bit 10.3 GB 12.0 GB 11K 7.0
RTX 5080 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 62.9
RTX 5070 Ti 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 59.3
RTX 5060 Ti 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 32.1
RTX 4080 SUPER 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 50.1
RTX 4070 Ti SUPER 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 46.2
RTX 4060 Ti 16GBllama.cpp 乗る Q8_0 10.8 GB 15.0 GB 29K 21.3
M5 Pro 24GBMLX 乗る MLX 8bit 10.3 GB 18.0 GB 54K 17.9
M5 24GBMLX 乗る MLX 8bit 10.3 GB 18.0 GB 54K 8.9
M4 Pro 24GBMLX 乗る MLX 8bit 10.3 GB 18.0 GB 54K 15.9
M4 24GBMLX 乗る MLX 8bit 10.3 GB 18.0 GB 54K 7.0
RTX 4090 24GBllama.cpp 乗る Q8_0 10.8 GB 23.0 GB 86K 65.5
RTX 3090 24GBllama.cpp 乗る Q8_0 10.8 GB 23.0 GB 86K 61.5
Radeon RX 7900 XTX 24GBllama.cpp 乗る Q8_0 10.8 GB 23.0 GB 86K 62.9
M5 32GBMLX 乗る MLX 8bit 10.3 GB 24.0 GB 98K 8.9
M4 32GBMLX 乗る MLX 8bit 10.3 GB 24.0 GB 98K 7.0
M2 Max 32GBMLX 乗る MLX 8bit 10.3 GB 24.0 GB 98K 23.3
M1 Max 32GBMLX 乗る MLX 8bit 10.3 GB 24.0 GB 98K 23.3
RTX 5090 32GBllama.cpp 乗る Q8_0 10.8 GB 31.0 GB 128K 103
M5 Max 36GBMLX 乗る MLX 8bit 10.3 GB 27.0 GB 119K 26.8
M4 Max 36GBMLX 乗る MLX 8bit 10.3 GB 27.0 GB 119K 23.9
M3 Max 36GBMLX 乗る MLX 8bit 10.3 GB 27.0 GB 119K 17.5
M5 Max 48GBMLX 乗る MLX 8bit 10.3 GB 36.0 GB 128K 35.8
M5 Pro 48GBMLX 乗る MLX 8bit 10.3 GB 36.0 GB 128K 17.9
M4 Max 48GBMLX 乗る MLX 8bit 10.3 GB 36.0 GB 128K 31.8
M4 Pro 48GBMLX 乗る MLX 8bit 10.3 GB 36.0 GB 128K 15.9
M3 Max 48GBMLX 乗る MLX 8bit 10.3 GB 36.0 GB 128K 23.3
RTX 6000 Ada 48GBllama.cpp 乗る Q8_0 10.8 GB 47.0 GB 128K 62.9
RTX A6000 48GBllama.cpp 乗る Q8_0 10.8 GB 47.0 GB 128K 52.0
M5 Max 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 35.8
M5 Pro 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 17.9
M4 Max 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 31.8
M4 Pro 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 15.9
M3 Max 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 23.3
M2 Ultra 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 46.6
M2 Max 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 23.3
M1 Ultra 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 46.6
M1 Max 64GBMLX 乗る MLX 8bit 10.3 GB 48.0 GB 128K 23.3
Ryzen AI Max+ 395 64GBllama.cpp 乗る Q8_0 10.8 GB 57.6 GB 128K 15.4
M5 Ultra 96GBMLX 乗る MLX 8bit 10.3 GB 72.0 GB 128K 69.9
M3 Ultra 96GBMLX 乗る MLX 8bit 10.3 GB 72.0 GB 128K 47.7
M3 Max 96GBMLX 乗る MLX 8bit 10.3 GB 72.0 GB 128K 17.5
M2 Max 96GBMLX 乗る MLX 8bit 10.3 GB 72.0 GB 128K 23.3
RTX PRO 6000 Blackwell 96GBllama.cpp 乗る Q8_0 10.8 GB 95.0 GB 128K 103
M5 Max 128GBMLX 乗る MLX 8bit 10.3 GB 96.0 GB 128K 35.8
M4 Max 128GBMLX 乗る MLX 8bit 10.3 GB 96.0 GB 128K 31.8
M3 Max 128GBMLX 乗る MLX 8bit 10.3 GB 96.0 GB 128K 23.3
M2 Ultra 128GBMLX 乗る MLX 8bit 10.3 GB 96.0 GB 128K 46.6
M1 Ultra 128GBMLX 乗る MLX 8bit 10.3 GB 96.0 GB 128K 46.6
DGX Spark 128GBllama.cpp 乗る Q8_0 10.8 GB 115 GB 128K 18.9
Ryzen AI Max+ 395 128GBllama.cpp 乗る Q8_0 10.8 GB 115 GB 128K 15.4
M2 Ultra 192GBMLX 乗る MLX 8bit 10.3 GB 144 GB 128K 46.6
M5 Ultra 256GBMLX 乗る MLX 8bit 10.3 GB 192 GB 128K 69.9
M3 Ultra 256GBMLX 乗る MLX 8bit 10.3 GB 192 GB 128K 47.7
HPE Private Cloud AI Small（RTX PRO 6000 ×4）llama.cpp 乗る Q8_0 10.8 GB 380 GB 128K 197
M5 Ultra 512GBMLX 乗る MLX 8bit 10.3 GB 384 GB 128K 69.9
M3 Ultra 512GBMLX 乗る MLX 8bit 10.3 GB 384 GB 128K 47.7
M5 Max 128GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed 乗る MLX 8bit 11.3 GB 192 GB 128K 51.5
M5 Ultra 512GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed 乗る MLX 8bit 11.3 GB 768 GB 128K 79.4
M5 Ultra 512GB ×4Thunderbolt 5（RDMA）・exo / MLX distributed 乗る MLX 8bit 13.3 GB 1536 GB 128K 85.2
DGX Spark 128GB ×2ConnectX-7（200GbE 直結）・vLLM（Ray・テンソル並列） 乗る BF16 22.7 GB 230 GB 128K 20.3

量子化ごとのサイズ

形式量子化サイズ実効 bitリポジトリ
BF16 BF16 15.0 GB 16.06 meta-llama/Llama-3.1-8B-Instruct
GGUF Q4_K_M 4.6 GB 4.92 bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
GGUF Q6_K 6.1 GB 6.60 bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
GGUF Q8_0 8.0 GB 8.54 bartowski/Meta-Llama-3.1-8B-Instruct-GGUF
MLX MLX 4bit 4.2 GB 4.52 mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
MLX MLX 8bit 8.0 GB 8.53 mlx-community/Meta-Llama-3.1-8B-Instruct-8bit

Hugging Face のファイルサイズ（本体の重みのみ）。実効 bit はサイズ ÷ 総パラメータ。

基本情報

パラメータ
8B（dense）
層数
32
KV を持つ層
32層×2,048要素
入力
テキスト
ライセンス
llama3.1
公開日
2024-07-18
配布元
meta-llama/Llama-3.1-8B-Instruct

起動コマンドの例

mlx_lm.server --model mlx-community/Meta-Llama-3.1-8B-Instruct-4bit
llama-server -hf bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M -c 8192
ollama run hf.co/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF:Q4_K_M
vllm serve meta-llama/Llama-3.1-8B-Instruct --max-model-len 8192

ECN 実測

このモデルの ECN 実測はまだありません。

ベンチマークと出典

ベンチマークスコア出典条件日付
GPQA Diamond 31.8 ベンダー instruct, vendor self-report (read via unsloth mirror README); 0-shot CoT; Llama 3.1 8B Instruct column of Llama 3.3 card 2024-11-26
MMLU-Pro 48.3 ベンダー instruct, 5-shot CoT, vendor self-report (read via unsloth mirror README) 2024-07-18