---
language:
- vi
tags:
- vision-language
- qwen
- vlm
- lora
- adapter
- peft
license: apache-2.0
datasets:
- minhduc168/dataset-qwen-vlm-extract-bill
base_model:
- unsloth/Qwen3-VL-2B-Instruct-bnb-4bit
pipeline_tag: image-to-text
---

# Qwen3-VL-2B-Instruct Vietnamese (LoRA Adapter)

Đây là **LoRA Adapter** được fine-tune để **trích xuất thông tin từ hóa đơn, phiếu thu và đơn thuốc tiếng Việt**.  
Adapter được huấn luyện dựa trên mô hình gốc **[unsloth/Qwen3-VL-2B-Instruct-bnb-4bit](https://huggingface.co/unsloth/Qwen3-VL-2B-Instruct-bnb-4bit)** nhằm tối ưu khả năng hiểu tài liệu và trả về dữ liệu có cấu trúc.

---

## 📌 Thông tin mô hình

- **Loại mô hình:** LoRA (Low-Rank Adaptation)  
- **Pipeline:** Image-to-Text  
- **Mục đích:** Trích xuất dữ liệu có cấu trúc (JSON) từ hình ảnh tài liệu y tế và tài chính.  
- **Ngôn ngữ:** Tối ưu cho **tiếng Việt**  
- **Dataset huấn luyện:** [minhduc168/dataset-qwen-vlm-extract-bill](https://huggingface.co/datasets/minhduc168/dataset-qwen-vlm-extract-bill)  

---

## 🚀 Ưu điểm của LoRA

- ✅ **Kích thước nhỏ** — chỉ vài trăm MB thay vì vài GB  
- ✅ **Load nhanh**, giảm yêu cầu VRAM  
- ✅ Không làm thay đổi trọng số base model  
- ✅ Dễ dàng tiếp tục fine-tune trên dataset riêng  
- ✅ Phù hợp cho production hoặc triển khai on-premise  

---

## 🔧 Hướng dẫn sử dụng

Để sử dụng Adapter này, bạn cần tải **base model** trước, sau đó nạp LoRA bằng thư viện `peft`.

```python
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
import torch

base_model_id = "unsloth/Qwen3-VL-2B-Instruct-bnb-4bit"
adapter_id = "minhduc168/Qwen3-VL-2B-Instruct-Vietnamese-LoRA"

# 1️⃣ Load base model
model = Qwen2VLForConditionalGeneration.from_pretrained(
    base_model_id,
    device_map="auto"
)

# 2️⃣ Load LoRA adapter
model = PeftModel.from_pretrained(model, adapter_id)

# 3️⃣ Load processor
processor = AutoProcessor.from_pretrained(base_model_id)

model.eval()
print("Model và LoRA adapter đã sẵn sàng!")
```
## ⚠️ Lưu ý quan trọng

- **Bắt buộc phải tải đúng Base Model** để adapter hoạt động.

### Cài đặt thư viện cần thiết:
```bash
pip install peft transformers bitsandbytes
```
## 📊 Dataset

Model được huấn luyện trên:**[minhduc168/dataset-qwen-vlm-extract-bill](https://huggingface.co/datasets/minhduc168/dataset-qwen-vlm-extract-bill)**

**Bao gồm:**
- Hóa đơn bán lẻ  
- Phiếu thu  
- Đơn thuốc  
- Chứng từ tiếng Việt  

Định dạng **instruction-following** giúp model tạo ra kết quả JSON chính xác và ổn định hơn.

---

## 🎯 Use Cases

- Trích xuất thông tin hóa đơn tự động  
- Structured OCR  
- Document AI tiếng Việt  
- Medical / pharmacy bill parsing  
- Fintech document processing  

---

## 📌 Khi nào nên dùng LoRA này?

👉 **Khi bạn muốn:**

- Giảm chi phí GPU  
- Tăng tốc inference  
- Tùy chỉnh model theo domain tiếng Việt  
- Triển khai linh hoạt mà không cần merge model  

---

## 🔗 Phiên bản khác

Nếu bạn muốn sử dụng phiên bản **đã merge trọng số** hoặc **GGUF để chạy local**, tham khảo tại:[minhduc168/Qwen3-VL-2B-Instruct-Vietnamese](https://huggingface.co/minhduc168/Qwen3-VL-2B-Instruct-Vietnamese)  

---

## License

Apache-2.0

---

## 💬 Liên hệ

Nếu có câu hỏi về dataset hoặc quá trình training, vui lòng mở **Discussion** tại repository này!