Laplaces-Red-Devils/vihallu-qwen3-4b-softprompt

ViHallu — Qwen3-4B + Soft Prompt (Prompt Tuning)

Phát hiện hallucination tiếng Việt (ViHallu). Prompt Tuning: chèn 32 virtual token học được vào trước input, đóng băng toàn bộ base model — chỉ train 81,920 tham số (0.002%). Model 2 để so sánh với bản LoRA. DS319 Lab 6 · Lương Đắc Nguyên (23521041).

Kết quả (test = 2000)

Accuracy	Precision	Recall	Macro-F1	Sai format
0.8135	0.8149	0.8106	0.8098	0/2000

So với LoRA (Acc 0.911): soft-prompt yếu hơn ~10 điểm nhưng chỉ dùng 81,920 tham số.

Tham số

Method	Prompt Tuning (PEFT), 32 virtual tokens
Epochs / lr	5 / 5e-3
max_seq_length	2048
Base	Qwen/Qwen3-4B-Instruct-2507