lab21-qwen2.5-3b-r16

LoRA adapter fine-tune Qwen2.5-3B cho instruction-following tiếng Việt. Sản phẩm Lab 21 — AICB-P2T3 (VinUniversity).

Model Details

Model Description

Đây là một LoRA adapter (QLoRA 4-bit) huấn luyện trên Qwen2.5-3B để model trả lời hướng dẫn (instruction) bằng tiếng Việt theo format Alpaca. Adapter chỉ chứa phần low-rank update (~0.12% tham số), dùng kèm base model gốc.

• Developed by: Nguyễn Ngọc Anh (2A202600842) — AICB-P2T3, VinUniversity
• Model type: Causal LM LoRA adapter (PEFT)
• Language(s) (NLP): Tiếng Việt (vi)
• License: Học tập (educational). Base Qwen2.5-3B theo license riêng của Qwen.
• Finetuned from model: unsloth/Qwen2.5-3B-bnb-4bit

Model Sources

• Repository (GitHub):
• Adapter (HF Hub): https://huggingface.co/hahaso1304/lab21-qwen2.5-3b-r16

Uses

Direct Use

Sinh văn bản trả lời các instruction tiếng Việt (giải thích khái niệm, viết code, tóm tắt, liệt kê...). Dùng cho mục đích học tập, demo fine-tuning.

Out-of-Scope Use

Không dùng cho production thật, tư vấn y tế/pháp lý/tài chính, hay nội dung yêu cầu độ chính xác cao — model 3B fine-tune trên 300 mẫu có thể bịa thông tin (hallucinate).

Bias, Risks, and Limitations

• Dataset nhỏ (300 mẫu, dịch máy) → có thể kế thừa lỗi dịch và thiên lệch của dữ liệu gốc.
• Chỉ target q_proj/v_proj → thay đổi style/format là chính, không bổ sung kiến thức mới.
• Có thể sinh thông tin sai. Nên kiểm chứng output trước khi dùng.

How to Get Started with the Model