モデル一覧 ›
Mistral Small 3.2 24B
Mistral AI 画像入力
パラメータ
24B
dense
いちばん小さい量子化
12.6GB
MLX 4bit
KV キャッシュ（8K・FP16）
1.25GB
公称コンテキスト 128K
乗るスペック
54/ 64
クラスタ構成を含む・8K
コンテキスト長と必要メモリ
横線は各スペックの利用可能メモリ。線より下なら乗る4bit 前後6bit 前後8bit 前後16bit各ビット帯でいちばん小さい量子化・KV FP16
スペックごとの推定速度
decode tok/s・8K・乗る構成だけ・推奨量子化Mistral Small 3.2 24B は、作業ごとにどのくらいか
- AIエージェント数字なし（判定できません）
- コーディング数字なし（判定できません）
- 検索・調べもの数字なし（判定できません）
- 知識・推論中位級未満。勝つ確率: Claude Sonnet 5.5 に 6%・Claude Haiku 5.5 に 8%（2 ベンチ・比べた相手 26 モデル）
- 数学数字なし（判定できません）
- 日本語数字なし（判定できません）
- 画像理解目印なし（1 ベンチ・比べた相手 3 モデル）
同じベンチに数字のある2モデルを「対戦」とみなし、作業ごとにレーティングを付けています（チェスや LLM のアリーナと同じ考え方）。数字は各社の自己申告が中心で条件は揃っていないので、目安として見てください。
作業ごとの位置
Mistral Small 3.2 24Bクラウドモデル（点に乗せると名前）縦線は階層の目印（右ほど強い）
用途で変わる：チャット・コーディング・AIエージェント
チャット
コンテキスト 8K短いやりとり。速く返ってくることが大事。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 9 / 9・最小構成で 27.6 GB（うち KV 1.3 GB）
コーディング
コンテキスト 64Kリポジトリのコードを読み込んで直す。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 8 / 9・最小構成で 36.3 GB（うち KV 10.0 GB）
乗らない: RTX 4090 24GB
AIエージェント
コンテキスト 128Kツール呼び出しを繰り返し、履歴と結果がコンテキストに溜まる。数字は推定 decode tok/s と、その長さで乗る中で最も高精度な量子化
乗るスペック 7 / 9・最小構成で 40.6 GB（うち KV 20.0 GB）
乗らない: RTX 4090 24GB・RTX 5090 32GB
コンテキスト長と推定 decode 速度
コンテキストが長いほど KV キャッシュを読む分だけ遅くなる。線が切れたところで乗らなくなるM5 Max 64GBM5 Ultra 256GBRTX 4090 24GB
用途ごとに見るベンチ
Mistral Small 3.2 24B はどのあたりか
- Terminal-Bench 2.0：Mistral Small 3.2 24B の数字なし
- τ²-Bench：Mistral Small 3.2 24B の数字なし
- SWE-bench Verified：Mistral Small 3.2 24B の数字なし
- Humanity's Last Exam：Mistral Small 3.2 24B の数字なし
- Artificial Analysis Intelligence Index：Mistral Small 3.2 24B の数字なし同じ条件
数字はベンダー自己申告などの出典の値で、条件（推論モード・ツールの有無など）は揃っていません。目安として見てください。
Terminal-Bench 2.0
6 モデル・各社の自己申告（条件はばらばら）τ²-Bench
5 モデル・各社の自己申告（条件はばらばら）SWE-bench Verified
10 モデル・各社の自己申告（条件はばらばら）Humanity's Last Exam
25 モデル・各社の自己申告（条件はばらばら）ツールありの数字しかない GLM-5.3・GLM-5.3-Flash・Claude Opus 5.5・GLM-5.3 (API)・Muse Spark Open 816B-A42B は除外
Artificial Analysis Intelligence Index
26 モデル・全モデル同じ条件（第三者が測定）スペックごとの判定
| スペック | 判定 | 推奨量子化 | 必要メモリ | 利用可能 | 最大コンテキスト | 推定 tok/s |
|---|---|---|---|---|---|---|
| RTX 5070 12GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 11.0 GB | — | — |
| RTX 3060 12GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 11.0 GB | — | — |
| M5 16GBMLX | 乗らない | MLX 4bit | 15.5 GB | 12.0 GB | — | — |
| M4 16GBMLX | 乗らない | MLX 4bit | 15.5 GB | 12.0 GB | — | — |
| RTX 5080 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| RTX 5070 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| RTX 5060 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| RTX 4080 SUPER 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| RTX 4070 Ti SUPER 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| RTX 4060 Ti 16GBllama.cpp | オフロードで動く | Q4_K_M | 16.8 GB | 15.0 GB | — | — |
| M5 Pro 24GBMLX | 乗る | MLX 4bit | 15.5 GB | 18.0 GB | 12K | 11.6 |
| M5 24GBMLX | 乗る | MLX 4bit | 15.5 GB | 18.0 GB | 12K | 5.8 |
| M4 Pro 24GBMLX | 乗る | MLX 4bit | 15.5 GB | 18.0 GB | 12K | 10.3 |
| M4 24GBMLX | 乗る | MLX 4bit | 15.5 GB | 18.0 GB | 12K | 4.5 |
| RTX 4090 24GBllama.cpp | 乗る | Q4_K_M | 16.8 GB | 23.0 GB | 33K | 41.8 |
| RTX 3090 24GBllama.cpp | 乗る | Q4_K_M | 16.8 GB | 23.0 GB | 33K | 39.2 |
| Radeon RX 7900 XTX 24GBllama.cpp | 乗る | Q4_K_M | 16.8 GB | 23.0 GB | 33K | 40.0 |
| M5 32GBMLX | 乗る | MLX 4bit | 15.5 GB | 24.0 GB | 47K | 5.8 |
| M4 32GBMLX | 乗る | MLX 4bit | 15.5 GB | 24.0 GB | 47K | 4.5 |
| M2 Max 32GBMLX | 乗る | MLX 4bit | 15.5 GB | 24.0 GB | 47K | 15.1 |
| M1 Max 32GBMLX | 乗る | MLX 4bit | 15.5 GB | 24.0 GB | 47K | 15.1 |
| RTX 5090 32GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 31.0 GB | 12K | 43.8 |
| M5 Max 36GBMLX | 乗る | MLX 6bit | 21.8 GB | 27.0 GB | 23K | 12.1 |
| M4 Max 36GBMLX | 乗る | MLX 6bit | 21.8 GB | 27.0 GB | 23K | 10.8 |
| M3 Max 36GBMLX | 乗る | MLX 6bit | 21.8 GB | 27.0 GB | 23K | 7.9 |
| M5 Max 48GBMLX | 乗る | MLX 8bit | 27.6 GB | 36.0 GB | 38K | 12.6 |
| M5 Pro 48GBMLX | 乗る | MLX 8bit | 27.6 GB | 36.0 GB | 38K | 6.3 |
| M4 Max 48GBMLX | 乗る | MLX 8bit | 27.6 GB | 36.0 GB | 38K | 11.2 |
| M4 Pro 48GBMLX | 乗る | MLX 8bit | 27.6 GB | 36.0 GB | 38K | 5.6 |
| M3 Max 48GBMLX | 乗る | MLX 8bit | 27.6 GB | 36.0 GB | 38K | 8.2 |
| RTX 6000 Ada 48GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 47.0 GB | 104K | 25.1 |
| RTX A6000 48GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 47.0 GB | 104K | 20.4 |
| M5 Max 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 12.6 |
| M5 Pro 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 6.3 |
| M4 Max 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 11.2 |
| M4 Pro 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 5.6 |
| M3 Max 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 8.2 |
| M2 Ultra 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 16.5 |
| M2 Max 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 8.2 |
| M1 Ultra 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 16.5 |
| M1 Max 64GBMLX | 乗る | MLX 8bit | 27.6 GB | 48.0 GB | 108K | 8.2 |
| Ryzen AI Max+ 395 64GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 57.6 GB | 128K | 5.7 |
| M5 Ultra 96GBMLX | 乗る | MLX 8bit | 27.6 GB | 72.0 GB | 128K | 24.7 |
| M3 Ultra 96GBMLX | 乗る | MLX 8bit | 27.6 GB | 72.0 GB | 128K | 16.8 |
| M3 Max 96GBMLX | 乗る | MLX 8bit | 27.6 GB | 72.0 GB | 128K | 6.2 |
| M2 Max 96GBMLX | 乗る | MLX 8bit | 27.6 GB | 72.0 GB | 128K | 8.2 |
| RTX PRO 6000 Blackwell 96GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 95.0 GB | 128K | 43.8 |
| M5 Max 128GBMLX | 乗る | MLX 8bit | 27.6 GB | 96.0 GB | 128K | 12.6 |
| M4 Max 128GBMLX | 乗る | MLX 8bit | 27.6 GB | 96.0 GB | 128K | 11.2 |
| M3 Max 128GBMLX | 乗る | MLX 8bit | 27.6 GB | 96.0 GB | 128K | 8.2 |
| M2 Ultra 128GBMLX | 乗る | MLX 8bit | 27.6 GB | 96.0 GB | 128K | 16.5 |
| M1 Ultra 128GBMLX | 乗る | MLX 8bit | 27.6 GB | 96.0 GB | 128K | 16.5 |
| DGX Spark 128GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 115 GB | 128K | 7.1 |
| Ryzen AI Max+ 395 128GBllama.cpp | 乗る | Q8_0 | 27.2 GB | 115 GB | 128K | 5.7 |
| M2 Ultra 192GBMLX | 乗る | MLX 8bit | 27.6 GB | 144 GB | 128K | 16.5 |
| M5 Ultra 256GBMLX | 乗る | MLX 8bit | 27.6 GB | 192 GB | 128K | 24.7 |
| M3 Ultra 256GBMLX | 乗る | MLX 8bit | 27.6 GB | 192 GB | 128K | 16.8 |
| HPE Private Cloud AI Small（RTX PRO 6000 ×4）llama.cpp | 乗る | Q8_0 | 27.2 GB | 380 GB | 128K | 99.1 |
| M5 Ultra 512GBMLX | 乗る | MLX 8bit | 27.6 GB | 384 GB | 128K | 24.7 |
| M3 Ultra 512GBMLX | 乗る | MLX 8bit | 27.6 GB | 384 GB | 128K | 16.8 |
| M5 Max 128GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 28.6 GB | 192 GB | 128K | 21.6 |
| M5 Ultra 512GB ×2Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 28.6 GB | 768 GB | 128K | 37.0 |
| M5 Ultra 512GB ×4Thunderbolt 5（RDMA）・exo / MLX distributed | 乗る | MLX 8bit | 30.6 GB | 1536 GB | 128K | 49.2 |
| DGX Spark 128GB ×2ConnectX-7（200GbE 直結）・vLLM（Ray・テンソル並列） | 乗る | BF16 | 54.2 GB | 230 GB | 128K | 7.4 |
量子化ごとのサイズ
| 形式 | 量子化 | サイズ | 実効 bit | リポジトリ |
|---|---|---|---|---|
| BF16 | BF16 | 44.7 GB | 16.01 | mistralai/Mistral-Small-3.2-24B-Instruct-2506 |
| GGUF | Q4_K_M | 13.3 GB | 4.78 | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF |
| GGUF | Q6_K | 18.0 GB | 6.45 | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF |
| GGUF | Q8_0 | 23.3 GB | 8.35 | unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF |
| MLX | MLX 4bit | 12.6 GB | 4.50 | lmstudio-community/Mistral-Small-3.2-24B-Instruct-2506-MLX-4bit |
| MLX | MLX 6bit | 18.6 GB | 6.66 | lmstudio-community/Mistral-Small-3.2-24B-Instruct-2506-MLX-6bit |
| MLX | MLX 8bit | 24.1 GB | 8.63 | lmstudio-community/Mistral-Small-3.2-24B-Instruct-2506-MLX-8bit |
Hugging Face のファイルサイズ（本体の重みのみ）。実効 bit はサイズ ÷ 総パラメータ。
基本情報
- パラメータ
- 24B（dense）
- 層数
- 40
- KV を持つ層
- 40層×2,048要素
- 入力
- テキスト・画像
- ライセンス
- apache-2.0
- 公開日
- 2025-06-19
- 配布元
- mistralai/Mistral-Small-3.2-24B-Instruct-2506
起動コマンドの例
mlx_lm.server --model lmstudio-community/Mistral-Small-3.2-24B-Instruct-2506-MLX-4bitllama-server -hf unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_M -c 8192ollama run hf.co/unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF:Q4_K_Mvllm serve mistralai/Mistral-Small-3.2-24B-Instruct-2506 --max-model-len 8192ECN 実測
このモデルの ECN 実測はまだありません。