Liujgoj-Cantonese-Qwen3.5-9b-Base

🌟 模型簡介 / Introduction

Liujgoj-Cantonese-Qwen3.5-9b-Base 是一個基於 Qwen3.5-9B 進行擴充詞表與增量預訓練（Continued Pre-training, CPT）的廣東話/粵語大語言模型基座。

本模型的核心特色是深度集成了 Liujgoj 廣東話（Liujgoj Cantonese） —— 一套專為口語廣東話設計的實驗性、基於拉丁字母的專屬正詞法/拼寫系統（Latin-based orthography）。我們在基座模型中預先擴充並初始化了 6000個 Liujgoj 專屬音素與詞條，使模型能夠原生、無字符障礙地進行高效率的廣東話語意建模與文本生成。

---

📊 訓練數據與配置 / Training Data & Configuration

• 訓練數據量 (Data Size): 140 MB 的高質量並行與純文本語料（經過精細清洗與 Liujgoj 正記法轉換）。
• 訓練階段 (Stage): 增量預訓練 (Continued Pre-training / PT).
• 微調機制 (Method): LoRA 增量訓練，並在最終將殘差權重與預初始化基座進行了全量融合（Merged & Unloaded）。
• 算力支持 (Hardware): 基於 Blackwell 雲端架構全速跑通，並使用 FlashAttention-2 與 Packing 機制優化上下文長度（Cutoff = 2048）。

---

🤝 數據集致謝與許可協議 / Dataset Acknowledgements & Licenses

中文與社區許可協議

本模型在增量預訓練（CPT）部分使用了 OpenCSG/Fineweb-Edu-Chinese 數據集。在此特別感謝 OpenCSG 開源社區提供的優質教育語料。本模型的衍生、分發與使用將嚴格遵循 OpenCSG 模型社區許可協議。

English & Global Dataset Acknowledgement

Part of the continued pre-training (CPT) data used in this model is derived from the HuggingFaceFW/fineweb-edu dataset. We are grateful to the Hugging Face vLLM/FW team for providing this high-quality dataset under the MIT license.

---

🚀 快速使用 / Quick Start

你可以使用 transformers 庫直接載入並調用本完全體模型：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Yvthyvq/Liujgoj-Cantonese-Qwen3.5-9b-Base"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 測試你的 Liujgoj 廣東話輸入
text = "請用 Liujgoj 廣東話輸入你的 Prompt..."
inputs = tokenizer(text, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(**inputs, max_new_tokens=512)
    print(tokenizer.decode(outputs[0], skip_special_tokens=True))