モデル一覧 ›
Llama 3.3 70B
Meta
パラメータ
70.6B
dense
いちばん小さい量子化
37.0GB
MLX 4bit
KV キャッシュ（8K・FP16）
2.50GB
公称コンテキスト 128K
乗るスペック
32/ 64
クラスタ構成を含む・8K
コンテキスト長と必要メモリ
横線は各スペックの利用可能メモリ。線より下なら乗る4bit 前後6bit 前後8bit 前後16bit各ビット帯でいちばん小さい量子化・KV FP16
スペックごとの推定速度
decode tok/s・8K・乗る構成だけ・推奨量子化Llama 3.3 70B は、作業ごとにどのくらいか
- AIエージェント数字なし（判定できません）
- コーディング軽量級未満（1 ベンチ・比べた相手 14 モデル）
- 検索・調べもの数字なし（判定できません）
- 知識・推論中位級未満。勝つ確率: Claude Sonnet 5.5 に 5%・Claude Haiku 5.5 に 7%（2 ベンチ・比べた相手 26 モデル）
- 数学数字なし（判定できません）
- 日本語数字なし（判定できません）
- 画像理解数字なし（判定できません）
同じベンチに数字のある2モデルを「対戦」とみなし、作業ごとにレーティングを付けています（チェスや LLM のアリーナと同じ考え方）。数字は各社の自己申告が中心で条件は揃っていないので、目安として見てください。
作業ごとの位置
Llama 3.3 70Bクラウドモデル（点に乗せると名前）縦線は階層の目印（右ほど強い）
用途で変わる：チャット・コーディング・AIエージェント
チャット
コンテキスト 8K短いやりとり。速く返ってくることが大事。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 7 / 9・最小構成で 42.3 GB（うち KV 2.5 GB）
乗らない: RTX 4090 24GB・RTX 5090 32GB
コーディング
コンテキスト 64Kリポジトリのコードを読み込んで直す。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 6 / 9・最小構成で 59.8 GB（うち KV 20.0 GB）
乗らない: M5 Max 64GB・RTX 4090 24GB・RTX 5090 32GB
AIエージェント
コンテキスト 128Kツール呼び出しを繰り返し、履歴と結果がコンテキストに溜まる。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 6 / 9・最小構成で 79.8 GB（うち KV 40.0 GB）
乗らない: M5 Max 64GB・RTX 4090 24GB・RTX 5090 32GB
コンテキスト長と推定 decode 速度
コンテキストが長いほど KV キャッシュを読む分だけ遅くなる。線が切れたところで乗らなくなるM5 Max 64GBM5 Ultra 256GBRTX PRO 6000 Blackwell 96GB
用途ごとに見るベンチ
Llama 3.3 70B はどのあたりか
- Terminal-Bench 2.0：Llama 3.3 70B の数字なし
- τ²-Bench：Llama 3.3 70B の数字なし
- SWE-bench Verified：Llama 3.3 70B の数字なし
- Humanity's Last Exam：Llama 3.3 70B の数字なし
- Artificial Analysis Intelligence Index：Llama 3.3 70B の数字なし同じ条件
数字はベンダー自己申告などの出典の値で、条件（推論モード・ツールの有無など）は揃っていません。目安として見てください。
Terminal-Bench 2.0
6 モデル・各社の自己申告（条件はばらばら）τ²-Bench
5 モデル・各社の自己申告（条件はばらばら）SWE-bench Verified
10 モデル・各社の自己申告（条件はばらばら）Humanity's Last Exam
25 モデル・各社の自己申告（条件はばらばら）ツールありの数字しかない GLM-5.3・GLM-5.3-Flash・Claude Opus 5.5・GLM-5.3 (API)・Muse Spark Open 816B-A42B は除外
Artificial Analysis Intelligence Index
26 モデル・全モデル同じ条件（第三者が測定）スペックごとの判定
| スペック | 判定 | 推奨量子化 | 必要メモリ | 利用可能 | 最大コンテキスト | 推定 tok/s |
|---|---|---|---|---|---|---|
| RTX 5070 12GBllama.cpp | 乗らない | Q4_K_M | 45.6 GB | 11.0 GB | — | — |
| RTX 3060 12GBllama.cpp | 乗らない | Q4_K_M | 45.6 GB | 11.0 GB | — | — |
| M5 16GBMLX | 乗らない | MLX 4bit | 42.3 GB | 12.0 GB | — | — |
| M4 16GBMLX | 乗らない | MLX 4bit | 42.3 GB | 12.0 GB | — | — |
| RTX 5080 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| RTX 5070 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| RTX 5060 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| RTX 4080 SUPER 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| RTX 4070 Ti SUPER 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| RTX 4060 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 15.0 GB | — | — |
| M5 Pro 24GBMLX | 乗らない | MLX 4bit | 42.3 GB | 18.0 GB | — | — |
| M5 24GBMLX | 乗らない | MLX 4bit | 42.3 GB | 18.0 GB | — | — |
| M4 Pro 24GBMLX | 乗らない | MLX 4bit | 42.3 GB | 18.0 GB | — | — |
| M4 24GBMLX | 乗らない | MLX 4bit | 42.3 GB | 18.0 GB | — | — |
| RTX 4090 24GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 23.0 GB | — | — |
| RTX 3090 24GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 23.0 GB | — | — |
| Radeon RX 7900 XTX 24GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 23.0 GB | — | — |
| M5 32GBMLX | 乗らない | MLX 4bit | 42.3 GB | 24.0 GB | — | — |
| M4 32GBMLX | 乗らない | MLX 4bit | 42.3 GB | 24.0 GB | — | — |
| M2 Max 32GBMLX | 乗らない | MLX 4bit | 42.3 GB | 24.0 GB | — | — |
| M1 Max 32GBMLX | 乗らない | MLX 4bit | 42.3 GB | 24.0 GB | — | — |
| RTX 5090 32GBllama.cpp | オフロードで動く | Q4_K_M | 45.6 GB | 31.0 GB | — | — |
| M5 Max 36GBMLX | 乗らない | MLX 4bit | 42.3 GB | 27.0 GB | — | — |
| M4 Max 36GBMLX | 乗らない | MLX 4bit | 42.3 GB | 27.0 GB | — | — |
| M3 Max 36GBMLX | 乗らない | MLX 4bit | 42.3 GB | 27.0 GB | — | — |
| M5 Max 48GBMLX | 乗らない | MLX 4bit | 42.3 GB | 36.0 GB | — | — |
| M5 Pro 48GBMLX | 乗らない | MLX 4bit | 42.3 GB | 36.0 GB | — | — |
| M4 Max 48GBMLX | 乗らない | MLX 4bit | 42.3 GB | 36.0 GB | — | — |
| M4 Pro 48GBMLX | 乗らない | MLX 4bit | 42.3 GB | 36.0 GB | — | — |
| M3 Max 48GBMLX | 乗らない | MLX 4bit | 42.3 GB | 36.0 GB | — | — |
| RTX 6000 Ada 48GBllama.cpp | ギリ | Q4_K_M | 45.6 GB | 47.0 GB | — | 14.5 |
| RTX A6000 48GBllama.cpp | ギリ | Q4_K_M | 45.6 GB | 47.0 GB | — | 11.8 |
| M5 Max 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 8.1 |
| M5 Pro 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 4.1 |
| M4 Max 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 7.2 |
| M4 Pro 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 3.6 |
| M3 Max 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 5.3 |
| M2 Ultra 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 10.6 |
| M2 Max 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 5.3 |
| M1 Ultra 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 10.6 |
| M1 Max 64GBMLX | 乗る | MLX 4bit | 42.3 GB | 48.0 GB | 10K | 5.3 |
| Ryzen AI Max+ 395 64GBllama.cpp | 乗る | Q4_K_M | 45.6 GB | 57.6 GB | 28K | 3.3 |
| M5 Ultra 96GBMLX | 乗る | MLX 6bit | 59.6 GB | 72.0 GB | 24K | 11.2 |
| M3 Ultra 96GBMLX | 乗る | MLX 6bit | 59.6 GB | 72.0 GB | 24K | 7.6 |
| M3 Max 96GBMLX | 乗る | MLX 6bit | 59.6 GB | 72.0 GB | 24K | 2.8 |
| M2 Max 96GBMLX | 乗る | MLX 6bit | 59.6 GB | 72.0 GB | 24K | 3.7 |
| RTX PRO 6000 Blackwell 96GBllama.cpp | 乗る | Q8_0 | 77.3 GB | 95.0 GB | 34K | 15.6 |
| M5 Max 128GBMLX | 乗る | MLX 8bit | 76.8 GB | 96.0 GB | 38K | 4.4 |
| M4 Max 128GBMLX | 乗る | MLX 8bit | 76.8 GB | 96.0 GB | 38K | 3.9 |
| M3 Max 128GBMLX | 乗る | MLX 8bit | 76.8 GB | 96.0 GB | 38K | 2.9 |
| M2 Ultra 128GBMLX | 乗る | MLX 8bit | 76.8 GB | 96.0 GB | 38K | 5.8 |
| M1 Ultra 128GBMLX | 乗る | MLX 8bit | 76.8 GB | 96.0 GB | 38K | 5.8 |
| DGX Spark 128GBllama.cpp | 乗る | Q8_0 | 77.3 GB | 115 GB | 92K | 2.4 |
| Ryzen AI Max+ 395 128GBllama.cpp | 乗る | Q8_0 | 77.3 GB | 115 GB | 92K | 2.0 |
| M2 Ultra 192GBMLX | 乗る | MLX 8bit | 76.8 GB | 144 GB | 128K | 5.8 |
| M5 Ultra 256GBMLX | 乗る | MLX 8bit | 76.8 GB | 192 GB | 128K | 8.7 |
| M3 Ultra 256GBMLX | 乗る | MLX 8bit | 76.8 GB | 192 GB | 128K | 5.9 |
| HPE Private Cloud AI Small（RTX PRO 6000 ×4）llama.cpp | 乗る | Q8_0 | 77.3 GB | 380 GB | 128K | 37.5 |
| M5 Ultra 512GBMLX | 乗る | MLX 8bit | 76.8 GB | 384 GB | 128K | 8.7 |
| M3 Ultra 512GBMLX | 乗る | MLX 8bit | 76.8 GB | 384 GB | 128K | 5.9 |
| M5 Max 128GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 77.8 GB | 192 GB | 128K | 7.9 |
| M5 Ultra 512GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 77.8 GB | 768 GB | 128K | 14.0 |
| M5 Ultra 512GB ×4Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 79.8 GB | 1536 GB | 128K | 20.3 |
| DGX Spark 128GB ×2ConnectX-7（200GbE 直結）・vLLM（Ray・テンソル並列） | 乗る | BF16 | 146 GB | 230 GB | 128K | 2.6 |
量子化ごとのサイズ
| 形式 | 量子化 | サイズ | 実効 bit | リポジトリ |
|---|---|---|---|---|
| BF16 | BF16 | 131 GB | 15.99 | meta-llama/Llama-3.3-70B-Instruct |
| GGUF | Q4_K_M | 39.6 GB | 4.82 | unsloth/Llama-3.3-70B-Instruct-GGUF |
| GGUF | Q6_K | 53.9 GB | 6.56 | unsloth/Llama-3.3-70B-Instruct-GGUF |
| GGUF | Q8_0 | 69.8 GB | 8.50 | unsloth/Llama-3.3-70B-Instruct-GGUF |
| MLX | MLX 4bit | 37.0 GB | 4.50 | mlx-community/Llama-3.3-70B-Instruct-4bit |
| MLX | MLX 6bit | 53.4 GB | 6.50 | mlx-community/Llama-3.3-70B-Instruct-6bit |
| MLX | MLX 8bit | 69.8 GB | 8.49 | mlx-community/Llama-3.3-70B-Instruct-8bit |
Hugging Face のファイルサイズ（本体の重みのみ）。実効 bit はサイズ ÷ 総パラメータ。
基本情報
- パラメータ
- 70.6B（dense）
- 層数
- 80
- KV を持つ層
- 80層×2,048要素
- 入力
- テキスト
- ライセンス
- llama3.3
- 公開日
- 2024-11-26
- 配布元
- meta-llama/Llama-3.3-70B-Instruct
起動コマンドの例
mlx_lm.server --model mlx-community/Llama-3.3-70B-Instruct-4bitllama-server -hf unsloth/Llama-3.3-70B-Instruct-GGUF:Q4_K_M -c 8192ollama run hf.co/unsloth/Llama-3.3-70B-Instruct-GGUF:Q4_K_Mvllm serve meta-llama/Llama-3.3-70B-Instruct --max-model-len 8192ECN 実測
このモデルの ECN 実測はまだありません。
ベンチマークと出典
| ベンチマーク | スコア | 出典 | 条件 | 日付 |
|---|---|---|---|---|
| LiveCodeBench | 33.3 | ベンダー | instruction-tuned, 0-shot, vendor self-report (read via unsloth mirror README); LCB 10/01/2024-02/01/2025; from Llama 4 Scout card comparison column | 2025-04-02 |
| MMLU-Pro | 68.9 | ベンダー | instruct, vendor self-report (read via unsloth mirror README); 5-shot CoT | 2024-11-26 |
| GPQA Diamond | 50.5 | ベンダー | instruct, vendor self-report (read via unsloth mirror README); 0-shot CoT | 2024-11-26 |