# Qwen3.5 → Distilled N=4 → GGUF → Vulkan Pipeline — FINAL RAPOR (v3: VISION GGUF CALISIYOR)



## Girdi / Başlangıç Noktası
- Teacher: `Qwen/Qwen3.5-0.8B-Base` (853M param, vision block'ları dahil; text model `model.language_model`)
- Student: `MVP/artifacts/qwen35-0.8b-text-n4` (pruned, N=4 layer, 337.3M param, hidden=1024, vocab=248320)
- Hardware: Ryzen 7 1700 (8C/16T), AMD RX460 (Vulkan destekli, fp16 YOK — ROCm yok)

## 1) Knowledge Distillation (MVP/distill.py)
- Loss: CE (student vs teacher softmax) + MSE (hidden states), CE=1.0 / MSE=10.0
- 2000 step, seq_len=128, batch=1, grad_accum=8, lr=5e-4 cosine+warmup
- Dataset: wikitext-2 raw, 500K token
- Süre: 6456s (~108 dk)
- **Resume desteği eklendi**: `--resume-from` + `train_state.json` (step metadata ile)
  - Crash sonrası step 500 → 2000 tamamlandı, kaldığı yerden devam etti
- Loss ilerlemesi: total 87.86 → 64.05, CE 6.15 → 5.21, MSE 8.17 → 5.88
- Çıktı: `MVP/artifacts/qwen35-distilled-n4/final/model.safetensors` (2.3GB f32)

## 2) GGUF Konversiyon
- Script: llama.cpp `convert_hf_to_gguf.py` (build 10068), mimari `Qwen3_5ForCausalLM` → `qwen35` otomatik tanındı
- `--no-nextn` gerekti (MTP layer yok)
- tiktoken kuruldu (tokenizer backend için)
- Tokenizer dosyaları final dizinine kopyalandı
- Ana format: **F32** (RX460 fp32 native, fp16 YOK) → `qwen35-distilled-n4-f32.gguf` (2.3GB). F16 GGUF üretilip silindi (donanım uyumsuz).

## 3) Quantization (llama-quantize, 8 thread) — F32 tabandan int tiplere
- RX460 matmul profili: fp16/bf16/fp4 YOK; int8/int16 var → Q8_0 (int8), Q5_K_M / Q4_K_M (k-quant, int tabanlı) optimal

| Dosya | Boyut | BPW | Vulkan gen (t/s, ort±var) |
|---|---|---|---|
| qwen35-distilled-n4-f32.gguf | 2.3GB | 32.00 | 65.4 |
| qwen35-distilled-n4-Q8_0.gguf | 611MB | 8.50 | ~185 |
| qwen35-distilled-n4-Q5_K_M.gguf | 433MB | 5.99 | ~205 |
| qwen35-distilled-n4-Q4_K_M.gguf | 395MB | 5.44 | 212±5 (206-216) |

- Ölçüm varyasyonu: 3 koşu Q4_K_M gen: 212.6 / 207.2 / 215.5 t/s (ilk 216.5 tek koşuydu) — referans ~212 t/s

### 3a) Doğruluk: F16 vs F32 taban kaynak testi (wiki.test, ctx=512, Vulkan, aynı veri)
- F16-tabanlı Q4_K_M: PPL = 183.217 +/- 1.677
- F32-tabanlı Q4_K_M: PPL = 183.268 +/- 1.677
- Fark: 0.05 PPL (%0.03) — std sapma (±1.68) içinde → **ölçülemez**
- **SONUÇ**: Quantize dosyalarda kaynak formatı (F16/F32) hiçbir şeyi değiştirmiyor; F16 ara dosyanın hassasiyet kaybı, Q4_K_M'ın 5.44-bit quantize hatasının altında kalıyor. F32 seçimi doğruluk için değil, **ana dosyanın donanımda çalışabilmesi** için yapıldı.

### Örnek çıktı (Q4_K_M, Vulkan)
- Prompt: "The capital of France"
- Çıktı: `[Start thinking]` + İngilizce cümleler üretiyor (gibi anlamsız — 2000 step wikitext distilasyonu sonucu beklenen; model öğrendi ama henüz yeterli koherence yok)

## 5) Sonuç
Anahtar teslim dosyalar:
- Distilled model: `MVP/artifacts/qwen35-distilled-n4/final/`
- GGUF (4 çeşit): `MVP/artifacts/gguf/`
## 6) Multimodal (vision) geri takildi — TEST EDILDI ✓
-- `MVP/artifacts/qwen35-distilled-n4-multimodal/`: student text (4 katman) + ogretmenin vision'i
-- Vision = **Qwen3_5VisionModel** (ogretmenin kendi sinifi, Qwen2VL degil — MRO'da Qwen2VL yok, `transformers/models/qwen3_5/modeling_qwen3_5.py`)
-- 153 vision tensoru ogretmenden kopyalandi (patch_embed, pos_embed, 36 blok, merger) → toplam 209 tensor / 692.2M (tied cift sayim; efektif ~458M)
-- config.json: `Qwen3_5ForConditionalGeneration`, vision_config (hidden=768, depth=12, patch=16, merge=2, temporal=2), image_token_id=248056
-- preprocessor: HF reposunun kendi `preprocessor_config.json` (processor_class=Qwen3VLProcessor, image_processor_type=Qwen2VLImageProcessorFast)
-- **Forward test OK**: LOGITS (1,84,248320), pixel_values [256,1536] (224x224 → 256 patch)
-- **Generate test OK**: resim + soru → uretim zinciri calisiyor (cikti anlamsiz — vision egitimsiz, student 4 katman; pipeline dogrulamasi icin yeterli)
-- Not: `Qwen2VLImageProcessor` = resmi sayiya ceviren on-islemci (HF'in kendi eslemesi, modelin vision'i degil); video_processor ve lm_head UNEXPECTED (tied) zararsiz
-- Test scripti: `MVP/test_multimodal_forward.py`

## 7) Anahtar teslim paketi
-- Multimodal model: `MVP/artifacts/qwen35-distilled-n4-multimodal/` (safetensors + config + tokenizer + preprocessor)
-- Text GGUF (4 cesit): `MVP/artifacts/gguf/`
-- 10 yas anlatimi: `MVP/BASIT_ANLATIM.md`
-- Test scripti: `MVP/test_multimodal_forward.py`
-- **GGUF'ta vision VAR** (yanlis bilgi duzeltildi): uretici unsloth `mmproj-F32.gguf` yayinliyor (Qwen3.5'in kendi vision encoder'i) ve llama.cpp `--mmproj` ile calistiriyor

## 8) VISION GGUF — CALISIYOR (kanitli)
-- Kaynak: `unsloth/Qwen3.5-0.8B-GGUF` (uretici) — `mmproj-F32.gguf` (402MB) + `Qwen3.5-0.8B-Q4_K_M.gguf` (532MB, 24 katman TAM model)
-- mmproj icerigi (GGUFReader ile okundu): `v.patch_embd` (2x conv [16,16,3,768] = temporal 2), `v.position_embd` (2304 = 3x768), `v.blk.0-11` (12 blok: attn_qkv 2304, attn_out, ffn_up 3072, ffn_down, ln1/ln2), `v.post_ln`, `mm.0`/`mm.2` (merger 3072→1024 = LLM hidden)
-- clip metadata: patch_size=16, block_count=12, head_count=12, ffn=3072, projection_dim=1024, spatial_merge_size=2, mean/std=0.5/0.5/0.5, use_gelu, projector=qwen3vl_merger, is_deepstack=False
-- **Kirmizi resim testi**: llama-cli --mmproj → `[Start thinking] ... The color is a very bright, vibrant red ... [End thinking] Red` (kanit: `MVP/evidence/multimodal/llama_test2.clean.txt`)
-- **Mavi resim testi**: `... it's a standard blue ... definitely blue.` (kanit: `llama_test3.clean.txt`) — gercek gorme, ezber degil
-- `modalities: text, vision, video` — llama.cpp modeli vision olarak taniyor; Generation 78 t/s (RX460, Vulkan, Q4_K_M + F32 mmproj)
-- **Kendi distilled N=4 GGUF + ayni mmproj = yuklenip vision'i isledi** (`llama_test4.clean.txt` — 'Loaded media' + '[Start thinking]') — projeksiyon (1024) uyumlu; cikti anlamsiz = 500K token distillasyon kalitesi, vision degil
-- Ollama bu GGUF'lari calistiramaz (unsloth: "no Qwen3.5 GGUF works in Ollama due to separate mmproj vision files") — llama.cpp backend sart
-- **GGUF vision calistirma**: `MVP/run_multimodal.sh` (tarif) + `MVP/artifacts/gguf-vision/` (mmproj-F32 + text Q4_K_M)
-- GGUF notu: llama.cpp `qwen35` arch'inde vision tensoru YOK (text-only) — multimodal GGUF bu surumle uretilemez; vision yalnizca transformers uzerinden calisir
- Distillation script: `MVP/distill.py` (resume destekli)

## Sonraki adım önerileri (opsiyonel)
1. Daha koherent üretim için daha çok step / daha iyi dataset (wiki 500K token çok az)
2. Q4_K_M ~395MB — RX460 2GB VRAM'e tam oturur, mobil/edge için ideal
3. Öğretmeni bfloat16 yükleyerek train hızını artırma (önceki 108dk → ~60dk)
4. `llama-bench` ile tam benchmark matrisi, `llama-server` ile OpenAI-uyumlu API