Qwen3-VL-32B-Abliterated-xCloud-GGUF

以 Qwen/Qwen3-VL-32B-Instruct 為底，經 abliteration（拒絕方向正交化） 降低過度拒絕的 視覺語言模型（含視覺 mmproj），GGUF 量化格式，由 xCloudinfo（云碩科技） 釋出。

使用前提：本模型僅供在合法、不違法的前提下使用 —— 授權範圍內的資安研究、紅隊測試、 內容審核研究、學術研究，以及減少模型「過度拒絕」造成的可用性問題。使用者須自行為其 用途負全部法律與道德責任；嚴禁用於任何違法行為。 釋出者不為任何濫用背書或負責。

這是什麼

原始 Instruct 模型對許多雙用、合法但敏感的請求會反射性拒絕，影響研究與紅隊工作的可用性。 本版本採用 Arditi et al. (2024)《Refusal in LLMs is mediated by a single direction》的方法， 從殘差流寫入權重中把「拒絕方向」正交化移除，不重新訓練，因此保留原模型的能力與視覺理解， 僅降低過度拒絕。

• 方法：單一拒絕方向正交化（embedding + 各層 o_proj / down_proj），抽取層 layer 28（實測此層方向最乾淨）。
• 視覺：保留（附 mmproj-*-f16.gguf，看圖能力與底模一致）。
• 語言：中英雙語；繁體中文輸出經驗證未因處理或量化而劣化。

量化階梯

檔案	量化	大小
Qwen3-VL-32B-Abliterated-xCloud-Q8_0.gguf	Q8_0	34.8 GB
Qwen3-VL-32B-Abliterated-xCloud-Q6_K.gguf	Q6_K	26.9 GB
Qwen3-VL-32B-Abliterated-xCloud-Q5_K_M.gguf	Q5_K_M	23.2 GB
Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf	Q4_K_M	19.8 GB
mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf	視覺投影	1.2 GB

看圖使用需同時載入對應的 mmproj 檔。

效果（誠實揭露）

以一組 10 題嚴重危害 held-out 實測拒答率（越低表示越少反射性拒絕）：

• 原始 Instruct：拒答 ~10/10
• 本版本（Q4_K_M，量化後實測）：拒答 ~1/10，且正常任務不受影響、繁體中文輸出完整。

單一方向 abliteration 不保證移除所有安全行為，也不應被視為移除。請在上述使用前提下負責任地使用。

注意：本模型的世界觀、政治立場、事實性陳述等內容繼承自底模 Qwen3-VL（中國來源）， 不在本次 abliteration 的處理範圍內；abliteration 僅調整「拒絕行為」，不改變模型既有的價值判斷。

用法（llama.cpp）

# 純文字
llama-cli -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf -p "你的提示"
# 看圖（帶 mmproj）
llama-server -m Qwen3-VL-32B-Abliterated-xCloud-Q4_K_M.gguf \
  --mmproj mmproj-Qwen3-VL-32B-Abliterated-xCloud-f16.gguf

---

xCloudinfo · 云碩科技　|　base：Qwen/Qwen3-VL-32B-Instruct（Apache-2.0）