---
license: other
license_name: internal-use-only
base_model: google/gemma-4-12B-it
tags:
- gguf
- llama.cpp
- lm-studio
- ollama
- agentic
- coding
- xcloudinfo
language:
- en
- zh
pipeline_tag: text-generation
---

<p align="center">
  <img src="xgemable.jpg" alt="xGemable-12B" width="520"/>
</p>

# xGemable-12B-Claude-Fable-5-v1.5 — GGUF

云碩科技（xCloudinfo）代理式編程模型之 GGUF 量化版，供 llama.cpp / LM Studio / Ollama 地端運行。
底座 `google/gemma-4-12B-it`，經**執行驗證蒸餾**微調。

> ## 內部使用限定
>
> **本模型僅供云碩內部使用。** 訓練資料蒸餾自受限授權之商用模型，
> **不得對外散布、不得提供予公司外部人員、不得上傳公開平台。**
> 本 repo 為 private，僅開放云碩 org 成員（含各據點工程師）下載。
> 可對外交付之乾淨血統版本為 `xGemable-12B-N3`（製作中）。

---

## 檔案

| 檔案 | 大小 | 量化 | 建議 |
|---|---|---|---|
| `xGemable-12B-Claude-Fable-5-v1.5-Q4_K_M.gguf` | ~7.4 GB | Q4_K_M | **一般使用**，筆電／16GB RAM 可跑 |
| `xGemable-12B-Claude-Fable-5-v1.5-Q8_0.gguf` | ~12.7 GB | Q8_0 | 高品質，接近無損 |

- 上下文長度：**256K**（`gemma4.context_length = 262144`，已驗證未被截斷）。

---

## 能力（云碩自測、可重現）

| 項目 | 分數 |
|---|---|
| HumanEval pass@1 | **87.8%**（乾淨取樣解碼，全量 164 題實際執行判分） |

約當 GPT-4-turbo（2024）水準，居 12B 開源編程模型第一梯隊；領先競品 Qwable-9B（82.9%，我方實測）。

---

## 解碼鐵則（務必遵守，否則會得到錯誤結果）

gemma-4 對解碼參數極度敏感。本專案曾因解碼設定錯誤，把這顆 87.8% 的模型誤測為 4.9%。

- **溫度**：編程 `0.2`、代理／工具呼叫 `0.7`
- **搭配**：`top_p 0.95`、`top_k 64`
- **禁止**：貪婪解碼（greedy）、`repetition_penalty`、`no_repeat_ngram`
  （這些會使模型無法重現題目給定的函式簽名與工具語法）

---

## 下載

```bash
hf download xCloudinfo/xGemable-12B-Claude-Fable-5-v1.5-GGUF \
  xGemable-12B-Claude-Fable-5-v1.5-Q4_K_M.gguf --local-dir .
# 需先 hf auth login（xCloudinfo org 成員 token）
```

## 使用

### LM Studio
將 `.gguf` 檔放入 LM Studio 的 models 目錄，載入後於「推論參數」設定：
Temperature 0.2（編程）、Top P 0.95、Top K 64，**關閉** Repeat Penalty。

### Ollama
```bash
# Modelfile
FROM ./xGemable-12B-Claude-Fable-5-v1.5-Q4_K_M.gguf
PARAMETER temperature 0.2
PARAMETER top_p 0.95
PARAMETER top_k 64
PARAMETER repeat_penalty 1.0
```
```bash
ollama create xgemable-12b -f Modelfile
ollama run xgemable-12b
```

### llama.cpp
```bash
./llama-cli -m xGemable-12B-Claude-Fable-5-v1.5-Q4_K_M.gguf \
  --temp 0.2 --top-p 0.95 --top-k 64 -c 8192 --jinja
# --jinja 讓 llama.cpp 自動處理 gemma-4 的對話模板與工具呼叫
```

---

## 訓練摘要

- 方法：LoRA 監督式微調（r=32），324 條**通過 pytest 執行驗證**之代理軌跡。
- 策略：最少擾動——以已守住編程能力之中繼底座起訓、僅用純代理主料、不加錨料。
- 完整方法論見內部技術專書《執行驗證蒸餾》。

## 已知限制

- 倉庫級除錯為 0（12B 級任務天花板，同級競品亦然）。
- 授權限制：見上方內部使用限定。

---

云碩科技股份有限公司　xCloudinfo Corp. Limited
台北・台中・新竹　│　自主 AI・地端部署・資料不離企業內網