---
license: apache-2.0
base_model: Qwen/Qwen2.5-32B-Instruct
tags:
  - gguf
  - qwen2.5
  - qwen
  - quantized
  - llama-cpp
  - sophia-ai
  - sophia-metal
  - edge-ai
  - jetson
  - imatrix
  - tool-calling
library_name: llama.cpp
model_type: qwen2
quantized_by: Sophia-AI
---

# Qwen2.5-32B-Instruct GGUF (imatrix)

Versione GGUF ottimizzata di [Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct), quantizzata da **Sophia-AI** con **importance matrix (imatrix)** per inferenza efficiente su GPU consumer e server.

Questi sono i modelli ufficiali utilizzati sui nostri progetti.

> 🧠 **Quantizzazione con imatrix**: a differenza delle quantizzazioni standard, queste utilizzano una importance matrix generata su un dataset di calibrazione multilingue e multi-task. Questo preserva i pesi più critici del modello durante la compressione, con miglioramenti significativi soprattutto su Q2_K e Q3_K_M.

---

## 📦 File disponibili

| File | Quant | Dimensione | Score | Consigliato per |
|------|-------|------------|-------|-----------------|
| `Qwen2.5-32B-Instruct-F16.gguf` | F16 | ~65 GB | 8/8 ✅ | Massima qualità / Fine-tuning |
| `Qwen2.5-32B-Instruct-Q8_0.gguf` | Q8_0 | ~34 GB | 8/8 ✅ | GPU con 48+ GB VRAM |
| `Qwen2.5-32B-Instruct-Q6_K.gguf` | Q6_K | ~26 GB | 8/8 ✅ | GPU con 32+ GB VRAM |
| `Qwen2.5-32B-Instruct-Q5_K_M.gguf` | Q5_K_M | ~23 GB | 8/8 ✅ | GPU con 24+ GB VRAM |
| `Qwen2.5-32B-Instruct-Q4_K_M.gguf` | Q4_K_M | ~19 GB | 8/8 ✅ | ⭐ **Best balance** — GPU 24 GB |
| `Qwen2.5-32B-Instruct-Q3_K_M.gguf` | Q3_K_M | ~15 GB | 8/8 ✅ | 🔥 GPU 16 GB / Split GPU+CPU |
| `Qwen2.5-32B-Instruct-Q2_K.gguf` | Q2_K | ~12 GB | 8/8 ✅ | GPU 16 GB / CPU con 32+ GB RAM |

Tutti i quant passano **8/8 test funzionali** — tool calling, JSON output, codice, italiano — senza degradazione rispetto a F16.

---

## 🧠 Perché imatrix?

La quantizzazione standard tratta tutti i pesi del modello allo stesso modo: li comprime uniformemente. Questo funziona bene per Q8 e Q6, ma a livelli aggressivi (Q3, Q2) i pesi critici per tool calling, JSON strutturato e ragionamento multilingue vengono compressi troppo.

**L'importance matrix (imatrix)** risolve questo problema:

1. Eseguiamo un forward pass del modello F16 su un dataset di calibrazione rappresentativo
2. Misuriamo quali pesi si attivano maggiormente (= sono più importanti)
3. Durante la quantizzazione, i pesi importanti vengono compressi meno, quelli meno importanti di più

Il risultato: **Q2_K con imatrix mantiene capacità che senza imatrix sarebbero perse**.

### Dataset di calibrazione

Il nostro dataset è stato costruito specificamente per riflettere i casi d'uso reali di Sophia Metal:

| Sezione | Contenuto | Scopo |
|---------|-----------|-------|
| 🇮🇹 Italiano (~30%) | Articoli Wikipedia italiani | Preservare capacità multilingue |
| 🇬🇧 Inglese (~30%) | WikiText (train + valid + test) | Baseline linguistica |
| 💻 Codice (~20%) | Python, JavaScript/Next.js, SQL, bash, YAML | Preservare generazione codice |
| 🔧 Chat + Tools (~20%) | Conversazioni Qwen2.5 con tool calling, JSON output, multi-turn | Preservare tool calling e output strutturato |

La sezione **Chat + Tools** è quella più critica: include esempi reali di `<tool_call>`, risposte JSON strutturate, tool definitions nei system prompt, parallel tool calls e conversazioni multi-turn. Senza questi pattern nel dataset di calibrazione, i pesi responsabili della generazione di `{"name": "get_weather", "arguments": ...}` verrebbero identificati come poco importanti e compressi troppo.

---

## ✅ Test di qualità

Tutti i quant sono stati testati con una suite automatizzata che verifica le capacità core per l'uso in produzione:

```
Test                          F16   Q8_0  Q6_K  Q5_K_M Q4_K_M Q3_K_M Q2_K
─────────────────────────────────────────────────────────────────────────
JSON output semplice          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - singolo           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - multiplo          ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool call - scelta tool       ✅    ✅    ✅    ✅     ✅     ✅     ✅
Tool follow-up                ✅    ✅    ✅    ✅     ✅     ✅     ✅
Italiano - coerenza           ✅    ✅    ✅    ✅     ✅     ✅     ✅
Codice Python                 ✅    ✅    ✅    ✅     ✅     ✅     ✅
JSON strutturato complesso    ✅    ✅    ✅    ✅     ✅     ✅     ✅
─────────────────────────────────────────────────────────────────────────
Score                         8/8   8/8   8/8   8/8    8/8    8/8    8/8
```

I test verificano:
- **Tool calling nativo** (singolo, multiplo, selezione del tool corretto)
- **Tool follow-up** (interpretazione della risposta JSON del tool)
- **JSON output** (semplice e strutturato complesso con nested arrays)
- **Italiano** (coerenza linguistica)
- **Codice** (generazione Python con logica corretta)

---

## 🎯 Quale scegliere?

### 🖥️ Desktop / Server GPU

| La tua VRAM | Modello consigliato | Note |
|-------------|---------------------|------|
| 80 GB+ (A100/H100) | Q8_0 o Q6_K | Massima qualità |
| 48 GB (A6000/RTX 6000 Ada) | Q8_0 | Full offload |
| 32 GB (V100) | Q6_K o Q5_K_M | Ottimo compromesso |
| 24 GB (RTX 3090/4090) | **Q4_K_M** ⭐ | Sweet spot |
| 16 GB (RTX 4080/4070 Ti) | Q3_K_M o Q2_K | Partial offload consigliato |

### 🔥 Multi-GPU / Split GPU+CPU

Per chi ha GPU con VRAM limitata ma vuole sfruttare la potenza di un 32B:

| Setup | Modello | Note |
|-------|---------|------|
| 2x RTX 3090/4090 (48 GB tot) | **Q5_K_M** o **Q6_K** | Qualità eccellente |
| RTX 4090 + CPU offload | **Q4_K_M** ⭐ | Buon compromesso velocità/qualità |
| RTX 4080 16 GB + CPU offload | Q3_K_M | Funziona bene |

> 💡 Usa `n_gpu_layers` per controllare quante layers caricare su GPU. Le layers rimanenti vengono eseguite su CPU.

### 🔥 Sophia Metal / Edge Computing (8GB unified memory)

> ⚠️ Il modello 32B è troppo grande per dispositivi edge con 8GB di memoria unificata.
> Per edge computing su Sophia Metal, consigliamo [Qwen3-4B-Instruct-2507-GGUF](https://huggingface.co/Sophia-AI/Qwen3-4B-Instruct-2507-GGUF) con Q3_K_M.

Per dispositivi edge con **memoria unificata elevata** (32+ GB, es. Apple Silicon M2 Pro/Max/Ultra):

| Setup | Modello | Note |
|-------|---------|------|
| 64 GB unified | **Q4_K_M** ⭐ | Best balance su Apple Silicon |
| 32 GB unified | Q3_K_M o Q2_K | Funziona bene grazie a imatrix |

### 💻 CPU Only

| RAM disponibile | Modello |
|-----------------|---------|
| 64 GB+ | Q4_K_M |
| 48 GB | Q3_K_M |
| 32 GB | Q2_K |

---

## 📥 Download

```bash
# ⭐ Consigliato per la maggior parte degli utenti (RTX 3090/4090)
huggingface-cli download Sophia-AI/Qwen2.5-32B-Instruct-GGUF \
    Qwen2.5-32B-Instruct-Q4_K_M.gguf

# 🔥 Per GPU 16 GB / Split GPU+CPU
huggingface-cli download Sophia-AI/Qwen2.5-32B-Instruct-GGUF \
    Qwen2.5-32B-Instruct-Q3_K_M.gguf

# Massima qualità (48+ GB VRAM)
huggingface-cli download Sophia-AI/Qwen2.5-32B-Instruct-GGUF \
    Qwen2.5-32B-Instruct-Q6_K.gguf
```

---

## 🚀 Utilizzo

### llama-cpp-python

```python
from llama_cpp import Llama

llm = Llama.from_pretrained(
    repo_id="Sophia-AI/Qwen2.5-32B-Instruct-GGUF",
    filename="*Q4_K_M.gguf",
    n_ctx=4096,
    n_gpu_layers=-1,  # -1 = tutte le layers su GPU
)

response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "Ciao, come stai?"}
    ]
)
print(response["choices"][0]["message"]["content"])
```

### Tool calling

```python
response = llm.create_chat_completion(
    messages=[
        {"role": "user", "content": "What's the weather in Rome?"}
    ],
    tools=[{
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get weather for a city",
            "parameters": {
                "type": "object",
                "properties": {
                    "city": {"type": "string"}
                },
                "required": ["city"]
            }
        }
    }]
)
```

### llama.cpp CLI

```bash
./llama-cli -m Qwen2.5-32B-Instruct-Q4_K_M.gguf \
    -p "<|im_start|>user\nCiao!<|im_end|>\n<|im_start|>assistant\n" \
    -n 256 -ngl 99
```

### Ollama

```bash
ollama run hf.co/Sophia-AI/Qwen2.5-32B-Instruct-GGUF:Q4_K_M
```

---

## 📊 Specifiche modello

| Parametro | Valore |
|-----------|--------|
| **Parametri** | 32.5B |
| **Context length** | 131,072 tokens |
| **Architettura** | Qwen2.5 |
| **Vocab size** | 152,064 |
| **Layers** | 64 |
| **Attention heads** | 40 |
| **KV heads** | 8 (GQA) |

---

## 🔧 Dettagli quantizzazione

| Parametro | Valore |
|-----------|--------|
| **Sorgente** | Qwen2.5-32B-Instruct F16 (convertito da HuggingFace safetensors) |
| **Tool** | llama.cpp `llama-quantize` con `--imatrix` |
| **imatrix** | Generata con `llama-imatrix`, chunk size 512 |
| **Calibration dataset** | ~10MB, multilingue (IT/EN), codice (Python/JS/SQL/bash), chat Qwen2.5 con tool calling |
| **GPU per imatrix** | NVIDIA (full GPU offload) |

---

## 🔗 Links

- **Sophia Metal**: [metal.2sophia.ai](https://metal.2sophia.ai/)
- **Sophia AI**: [2sophia.ai](https://2sophia.ai/)
- **Modello base**: [Qwen/Qwen2.5-32B-Instruct](https://huggingface.co/Qwen/Qwen2.5-32B-Instruct)

---

## 📜 Licenza

Apache 2.0 — Stesso del modello base Qwen2.5.

---

## 🙏 Crediti

- **Modello base**: [Qwen Team](https://huggingface.co/Qwen)
- **Quantizzazione imatrix + test suite**: [Sophia-AI](https://huggingface.co/Sophia-AI)