stillmeta/qwen25-7b-police-lora

Qwen2.5-7B Police Surveillance LoRA

Хяналтын камерын бичлэгнээс зодооны зөрчил илрүүлж, Монгол хэлээр тайлбар гаргах зориулалттай fine-tuned загвар.

Загварын тухай

• Base model: Qwen/Qwen2.5-7B-Instruct
• Арга: LoRA (Low-Rank Adaptation) + 4-bit QLoRA
• Сургалтын датасет: 9,040 Q&A хос (Qwen3-VL-30B teacher загвараар үүсгэсэн)
• Epoch: 10
• Eval loss: 0.0195
• Сургалтын хугацаа: ~4.5 цаг (NVIDIA A100 80GB)

Teacher-Student Knowledge Distillation

Qwen3-VL-30B (Teacher)
        ↓
2,260 хяналтын камерын тайлан
        ↓
~9,040 Q&A датасет
        ↓
Qwen2.5-7B LoRA Fine-tuning (Student)

Ашиглах

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel
import torch

base_model = "Qwen/Qwen2.5-7B-Instruct"
lora_model = "stillmeta/qwen25-7b-police-lora"

tokenizer = AutoTokenizer.from_pretrained(base_model)
bnb = BitsAndBytesConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.float16)
model = AutoModelForCausalLM.from_pretrained(base_model, quantization_config=bnb, device_map="auto")
model = PeftModel.from_pretrained(model, lora_model)
model.eval()

Сургалтын тохиргоо

Параметр	Утга
LoRA rank	16
LoRA alpha	32
Dropout	0.05
Learning rate	2e-4
Batch size	16 (4x4)
Epochs	10
Quantization	4-bit NF4

Зохиогч

Батсүхын Бат-Эрдэнэ — ШУТИС, МХТС, Хиймэл оюун ухааны тэнхим, 2026