Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model
Paper • 2311.17487 • Published • 2
Llama-3.2-3B Taiwan Chat — LoRA adapter
Built with Llama
以 QLoRA(Unsloth)在 TaiwanChat 子集上微調 Llama-3.2-3B-Instruct 得到的 LoRA adapter,目標是更自然的繁體中文與台灣在地語感。
(English) Llama-3.2-3B-Instruct fine-tuned with QLoRA (Unsloth) on a subset of yentinglin/TaiwanChat to improve Traditional-Chinese (Taiwan) fluency and localization. Loss was computed on assistant responses only. Research / non-commercial use only (the dataset is CC BY-NC 4.0).
訓練設定
| 項目 | 值 |
|---|---|
| Base model | unsloth/Llama-3.2-3B-Instruct(meta-llama/Llama-3.2-3B-Instruct 之權重相同鏡像) |
| 資料集 | yentinglin/TaiwanChat:取樣 15000 筆 → 過濾超過 2048 tokens 後剩 14633 筆 |
| 資料源(id) | gpt4, n/a, sharegpt |
| 方法 | QLoRA:4-bit NF4 載入 + LoRA(r=16、alpha=16、dropout=0;q/k/v/o/gate/up/down 七個投影層) |
| max_seq_length | 2048 |
| Learning rate | 0.0002(linear decay、warmup ratio 0.03) |
| 訓練量 | 1 epoch(有效 batch size 8) |
| Optimizer | adamw_8bit(weight decay 0.001) |
| Loss 遮罩 | 只對 assistant 回覆計 loss(unsloth train_on_responses_only) |
| GPU / 時間 | NVIDIA A100-SXM4-40GB / 約 36.8 分鐘 |
| 最終 train loss | 1.2069 |
| Seed | 3407 |
| 訓練日期 | 2026-07-10 |
使用方式
這個 repo 只有 LoRA adapter(~幾十 MB),要搭配 base model 載入:
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("unsloth/Llama-3.2-3B-Instruct", torch_dtype="auto", device_map="auto")
model = PeftModel.from_pretrained(base, "steven0226/llama-3.2-3b-taiwan-chat-clean-lora")
tokenizer = AutoTokenizer.from_pretrained("steven0226/llama-3.2-3b-taiwan-chat-clean-lora")
messages = [{"role": "user", "content": "請推薦台南的夜市小吃"}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
print(tokenizer.decode(model.generate(inputs, max_new_tokens=256)[0, inputs.shape[1]:], skip_special_tokens=True))
想直接下載完整模型(不用自己合併)→ steven0226/llama-3.2-3b-taiwan-chat-clean。
微調前後對照
同樣 5 個台灣情境問題、greedy decoding(可重現),差異完全來自微調:
請用台灣人習慣的說法介紹珍珠奶茶:它的由來、基本做法,以及為什麼能代表台灣的手搖飲文化。
微調前(base):
珍珠奶茶（也稱為「珍珠」或「奶茶」），是一種非常受歡迎的台灣手搖飲，尤其是在年輕人中非常流行。
由來
珍珠奶茶的起源可以追溯到20世紀60年代，當時在台北的街頭小吃店和咖啡館中，開始出現一種特殊的奶茶。這種奶茶使用了高質量的牛奶、糖和珍珠（即是糖化的水晶）等成分，通過手搖混合機製造出一種濃稠且有趣的飲料。
基本做法
珍珠奶茶的基本做法如下：
- 使用高質量的牛奶和糖進行混合。
- 加入一些珍珠（糖化的水晶）。
- 使用手搖混合機搖拌所有成分，直到得到均勻的色彩和口感。
- 將熱水加入混合物中，讓它充滿溫度並擴散。
- 最後，將珍珠奶茶放入杯子中，並可添加
微調後(fine-tuned):
珍珠奶茶是台灣最受歡迎的飲品之一，尤其是在台灣的街頭和市場上。這個名詞來自於奶茶中含有的珍珠，這些珍珠在熱水中煮沸後會形成小泡子。
珍珠奶茶的由來可以追溯到20世紀初期，當時台灣的街頭和市場上流行著一種叫做「牛奶」或「奶茶」的飲品。這個飲品通常由牛奶、糖和熱水混合而成，並且常常配有珍珠。
珍珠奶茶的基本做法也很簡單。首先，將牛奶、糖和熱水混合在一起。然後，將這個混合物放入一個大型杯子中。最後，將珍珠加入到混合物中並攪拌。
珍珠奶茶能代表台灣的手搖飲文化，因為它是一種傳統的飲品，經過了幾十年的發展。它還具有獨特的風味和口感，使得它成為台灣人喜愛的飲品之一。
我是剛來台灣的交換學生,想辦手機門號。請比較預付卡和月租方案的差別,以及辦理時要準備哪些證件。
微調前(base):
Congratulations on your arrival in Taiwan!
當你想辦手機門號時，預付卡和月租方案都是兩個常見的選擇。下面是一個簡單的比較：
預付卡（Prepaid Card）
- 优點：可以自行充值，無需每月繳費；可控制使用量。
- 缺點：需要先充值一定額，否則無法使用；可能有額外的充值費用。
月租方案（Postpaid Plan）
- 优點：不需要先充值，毎月繳費；無需額外的充值費用。
- 缺點：每月繳費，可能會有額外的費用，如數據流量、通話等。
在 Taiwanese 手機業界中，預付卡和月租方案都很流行，但月租方案更為普遍。以下是兩…
微調後(fine-tuned):
當然，我很樂意幫助你！在台灣，預付卡和月租方案都是常用的手機服務方式。你可以選擇其中一個或兩個進行手機服務。
預付卡是一種預付費用，通常每月或每年支付一次。這種方式通常適用於短期使用者，如交換學生，因為他們可能不需要長時間的手機服務。預付卡通常提供較少功能的服務，但價格相對較低。
另一方面，月租方案是一種按月付款方式，通常每月支付一定金額。這種方式通常適用於長期使用者，因為它提供更多功能和服務。月租方案通常比預付卡更昂貴，但提供更多功能和服務。
在台灣，預付卡和月租方案都有不同的公司提供，因此你可以根據自己的需求和預算選擇最適合你的服務方式。
為了辦理手機服務，你需要準備以下證件：
…
請推薦台南有名的夜市,並列出五樣必吃的小吃,每樣用一兩句話介紹。
微調前(base):
台南有許多著名的夜市，以下是一些常見的夜市和五樣必吃小吃：
- 台南夜市（台南市區）
- 這是台南最知名的夜市之一，提供各種 Taiwanese 飲食、服飾等商品。
- 安平夜市（台南市區）
- 這個夜市以其豐富的夜市環境和豐富的美食而聞名，特別是其豐富的 Street Food。
- 新化夜市（新化區）
- 這個夜市以其豐富的美食和豐富的購物環境而聞名，特別是其豐富的 Street Food 和手工製品。
以下是五樣必吃的小吃：
- 麻辣鍋（台南夜市或安平夜市）
- 這是一種非常受歡迎的 Taiwanese 飲食，使用麻辣粉末和肉類調理成…
微調後(fine-tuned):
台南最受歡迎的夜市是台南夜市，該夜市位於台南市中區，擁有豐富的文化和歷史。
以下是台南夜市的五樣必吃小吃：
- 鯨魚麵：這是一種由鯨魚、麵粉和蔬菜製成的美味麵食。它以其獨特的風味和口感而聞名。
- 烤雞：烤雞是一種由雞肉烤熟後削皮的美味小吃。它通常與薑、辣椒和醋一起配上，為人們帶來快樂和愉悅。
- 蘿蔔餡：蘿蔔餡是一種由蘿蔔、麵粉和蔬菜製成的美味餡食。它以其獨特的風味和口感而聞名。
- 烤豬肉：烤豬肉是一種由豬肉烤熟後削皮的美味小吃。它通常與薑、辣�
「土豆」這個詞在台灣和中國大陸分別指什麼?請再舉三組兩岸說法不同的日常用語,整理成表格。
微調前(base):
「土豆」的意思在台灣是指一種小型的、白色的、扁平的豆類，通常用來做菜或食物。然而，在中國大陸，「土豆」則是指一種長而高大的、白色的、圓形的豆類。
以下是兩岸不同日常用語的表格：
| 語言 | 日常用語 |
|---|---|
| 台灣 | 土豆 |
| 中國大陸 | 土豆 |
另外，以下是一些兩岸不同的日常用語：
| 語言 | 日常用語 |
|---|---|
| 台灣 | 錦路石 (指一種常見的花色) |
| 中國大陸 | 醉酒 (指一種常見的花色) |
| 台灣 | 錦路石 |
| 中國大陸 | 醉酒 |
| 台灣 | 錦路石 (指一種常見的花色) |
| 中國大陸… |
微調後(fine-tuned):
| 語言 | 土豆的意思 |
|---|---|
| 中文 | 土豆是中國大陸的一種蔬菜，通常用來做飯或烤食物。它是一種白色的、圓形的植物，根部長而細。它被認為有營養價值，並且在許多地區都很受歡迎。 |
| 台灣 | 在台灣，土豆也是一種蔬菜，但它通常用來做飯或烤食物。它是一種白色的、圓形的植物，根部長而細。它被認為有營養價值，並且在許多地區都很受歡迎。 |
| 英文 | 在英語中，土豆通常指的是一種白色的、圓形的植物，根部長而細。它是一種蔬菜，可以用來做飯或烤食物。它被認為有營養價值，並且在許多地區都很受歡迎。 |
總結來說，土豆在台灣和中國大陸分別指的是一種蔬菜，用於做飯或烤食物…
請解釋台灣的「垃圾不落地」政策,以及為什麼垃圾車會播放音樂?
微調前(base):
台灣的「垃圾不落地」政策是由於政府對環境保護和衛生管理的重視。這個政策要求垃圾收集、處理和廢棄地點都要遵守規定，確保垃圾不被遺棄在公共空間中。
關於垃圾車播放音樂的原因，我們可以從以下幾點來看：
- 警告和引導：垃圾車上的音樂可能是用來警告人們不要擋路或擋車，讓人們能夠順暢通過。
- 安全性：音樂也可能是用來增加垃圾車的安全性，例如避免人們誤將垃圾車當作一種交通工具。
- 環境保護：音樂也可能是用來促進環境保護，例如鼓勵人們減少垃圾產量和更好地分類垃圾。
總之，垃圾車播放音樂的目的是為了提高安全性、環境保護和衛生管理，讓我們能夠更好
微調後(fine-tuned):
台灣的「垃圾不落地」政策是一個旨在減少垃圾排放並促進環境保護的計劃。該計劃要求所有垃圾都要被收集和處理，包括家庭、商業和公共區域中的垃圾。
垃圾車通常會播放音樂，以便它們能夠更有效地運行。這是因為垃圾車需要在特定的時間內運行，以確保所有垃圾都能被收集。通過播放音樂，垃圾車可以更好地管理其運行時間，並確保所有垃圾都能被收集。
限制
- 事實型內容(電信資費、店家、時刻)可能過時或幻覺,請勿當作查詢工具。
- 訓練資料含翻譯/合成語料,偶爾仍會滲出簡體中文或英文片段。
- 未做額外安全對齊,安全行為同 base model。
授權與合規
- 模型權重依 Llama 3.2 Community License 發佈(repo 內附 LICENSE.txt 與 NOTICE),使用須遵守 Acceptable Use Policy。
- 訓練資料 TaiwanChat 為 CC BY-NC 4.0:本模型僅供研究/非商業用途。
引用
@misc{lin2023taiwanllm,
title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model},
author={Yen-Ting Lin and Yun-Nung Chen},
year={2023},
eprint={2311.17487},
archivePrefix={arXiv}
}
訓練使用 Unsloth。訓練程式碼:github.com/tun0000/llama32-taiwanchat-qlora
- Downloads last month
- 64
Model tree for steven0226/llama-3.2-3b-taiwan-chat-clean-lora
Base model
meta-llama/Llama-3.2-3B-Instruct Finetuned
unsloth/Llama-3.2-3B-Instruct
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit") model = PeftModel.from_pretrained(base_model, "steven0226/llama-3.2-3b-taiwan-chat-clean-lora")