---
language:
- vi
tags:
- vision-language
- qwen
- vlm
- lora
- adapter
- peft
license: apache-2.0
datasets:
- minhduc168/dataset-qwen-vlm-extract-bill-diagnosis
base_model:
- unsloth/Qwen3-VL-2B-Instruct-bnb-4bit
pipeline_tag: image-to-text
---

# Qwen3-VL-2B-Instruct Vietnamese Bill Diagnosis (LoRA Adapter)

Đây là **LoRA Adapter** được fine-tune để **trích xuất thông tin từ hóa đơn, phiếu thu, đơn thuốc và chuẩn đoán bệnh tiếng Việt**.  
Adapter được huấn luyện dựa trên mô hình gốc **[unsloth/Qwen3-VL-2B-Instruct-bnb-4bit](https://huggingface.co/unsloth/Qwen3-VL-2B-Instruct-bnb-4bit)** nhằm tối ưu khả năng hiểu tài liệu và trả về dữ liệu có cấu trúc.

---

## 📌 Thông tin mô hình

- **Loại mô hình:** LoRA (Low-Rank Adaptation)  
- **Pipeline:** Image-to-Text  
- **Mục đích:** Trích xuất dữ liệu có cấu trúc (JSON) từ hình ảnh tài liệu y tế và tài chính.  
- **Ngôn ngữ:** Tối ưu cho **tiếng Việt**   

---

## 🚀 Ưu điểm của LoRA

- ✅ **Kích thước nhỏ** — chỉ vài trăm MB thay vì vài GB  
- ✅ **Load nhanh**, giảm yêu cầu VRAM  
- ✅ Không làm thay đổi trọng số base model  
- ✅ Dễ dàng tiếp tục fine-tune trên dataset riêng  
- ✅ Phù hợp cho production hoặc triển khai on-premise  

---

## 🔧 Hướng dẫn sử dụng

Để sử dụng Adapter này, bạn cần tải **base model** trước, sau đó nạp LoRA bằng thư viện `peft`.

```python
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor
from peft import PeftModel
import torch

base_model_id = "unsloth/Qwen3-VL-2B-Instruct-bnb-4bit"
adapter_id = "minhduc168/Qwen3-VL-2B-Instruct-Vietnamese-LoRA"

# 1️⃣ Load base model
model = Qwen2VLForConditionalGeneration.from_pretrained(
    base_model_id,
    device_map="auto"
)

# 2️⃣ Load LoRA adapter
model = PeftModel.from_pretrained(model, adapter_id)

# 3️⃣ Load processor
processor = AutoProcessor.from_pretrained(base_model_id)

model.eval()
print("Model và LoRA adapter đã sẵn sàng!")
```
## ⚠️ Lưu ý quan trọng

- **Bắt buộc phải tải đúng Base Model** để adapter hoạt động.

### Cài đặt thư viện cần thiết:
```bash
pip install peft transformers bitsandbytes
```
## 📊 Dataset

**Bao gồm:**
- Hóa đơn bán lẻ  
- Phiếu thu  
- Đơn thuốc  
- Chứng từ tiếng Việt
- Chuẩn đoán bệnh 

Định dạng **instruction-following** giúp model trích xuất dữ liệu có cấu trúc chính xác hơn.

### Format mẫu

📌 Example 1 – BILL_OCR

```json
{
  "id": "bill_f18b567055ed4c5d85143770499b2f65",
  "image": "bill_001.jpg",
  "conversations": [
    {
      "from": "human",
      "value": "<image>\n[BILL_OCR] Trích xuất danh sách dịch vụ và thông tin liên quan từ bảng trong ảnh.\nKhông suy đoán hoặc bổ sung thông tin không có trong ảnh."
    },
    {
      "from": "gpt",
      "value": "[
        {
            "stt": 1,
            "ten_dich_vu": "STTOMET 1000mg + 50mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "5.390",
            "thanh_tien": "301.840"
        },
        {
            "stt": 2,
            "ten_dich_vu": "JARDIANCE DUO 12.5mg + 1000mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "17.976",
            "thanh_tien": "1.006.656"
        },
        {
            "stt": 3,
            "ten_dich_vu": "Atovze* 20mg+10mg",
            "so_luong": "56",
            "don_vi_tinh": "Viên",
            "don_gia": "6.409",
            "thanh_tien": "358.921"
        },
        {
            "stt": 4,
            "ten_dich_vu": "SADAPRON 300mg",
            "so_luong": "28",
            "don_vi_tinh": "Viên",
            "don_gia": "2.750",
            "thanh_tien": "77.000"
        }
    ]"
    }
  ]
}
```
📌 Example 2 – DIAGNOSIS_EXTRACT

```json
{
  "id": "diag_db2888ccc0de4c4b8e9d39c3e08c104a",
  "image": "diag_001.jpg",
  "conversations": [
    {
      "from": "human",
      "value": "<image>\n[DIAGNOSIS_EXTRACT] Hãy trích xuất và cho biết chẩn đoán trong hình này."
    },
    {
      "from": "gpt",
      "value": "Răng 28: [K07 4] Răng mọc lệch"
    }
  ]
}
```
---

## 🎯 Use Cases

- Trích xuất thông tin hóa đơn tự động  
- Structured OCR  
- Document AI tiếng Việt  
- Medical / pharmacy bill parsing  
- Fintech document processing  

---

## 📌 Khi nào nên dùng LoRA này?

👉 **Khi bạn muốn:**

- Giảm chi phí GPU  
- Tăng tốc inference  
- Tùy chỉnh model theo domain tiếng Việt  
- Triển khai linh hoạt mà không cần merge model  

---

## 🔗 Phiên bản khác

Nếu bạn muốn sử dụng phiên bản **đã merge trọng số** hoặc **GGUF để chạy local**, tham khảo tại:[minhduc168/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit-Vietnamese-bill-diagnosis](https://huggingface.co/minhduc168/Qwen3-VL-2B-Instruct-unsloth-bnb-4bit-Vietnamese-bill-diagnosis)  

---

## License

Apache-2.0

---

## 💬 Liên hệ

Nếu có câu hỏi về dataset hoặc quá trình training, vui lòng mở **Discussion** tại repository này!