---
license: apache-2.0
base_model: Qwen/Qwen3.8-27B
base_model_relation: finetune
language:
- zh
- en
pipeline_tag: text-generation
library_name: transformers
tags:
- uncensored
- abliterated
- qwen3.5
- xCloudinfo
---

# Qwen3.8-27B-Uncensored-xCloud

以 [Qwen/Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B) 為底模，去除拒絕方向（abliteration）後的版本，
由 **云碩科技（xCloudinfo）** 製作。權重為我方自行從官方底模消除拒絕方向產生，非重新包裝任何第三方成品。

## 方法

依 Arditi 等人（2024）《Refusal in LLMs is mediated by a single direction》：
在網路中段層，以「觸發拒絕的提示」與「正常提示」的啟動向量差估出拒絕方向，
再把此方向從殘差流的寫入矩陣中正交化消除。不做微調、不需額外資料。

- **編輯對象**：attention `o_proj` ＋ MLP `down_proj`（共 80 個矩陣），強度 `0.8`。
- **保留不動**：多 token 預測（MTP）草稿頭、混合線性注意力（SSM）投影、詞嵌入、視覺塔、`lm_head`。
- **底模架構**：`qwen3_5` —— gated-delta 線性注意力與週期性 full-attention 的混合架構，
  多模態（image-text-to-text），並含供推測解碼用的 MTP 頭。

## 行為

在小型紅隊探針上，拒絕率降到 **0/4**，同時保留一般能力（算術、多語問答）。
本模型為推理模型，會在最終答案前輸出 `<think>` 區塊。

## 使用方式 —— 請以「單一裝置」載入

這是混合（SSM／線性注意力）模型。用 `device_map="auto"` 拆到多張 GPU 會破壞遞迴狀態、輸出亂碼。
請載入到**單一**裝置：

```python
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer, BitsAndBytesConfig

name = "xCloudinfo/Qwen3.8-27B-Uncensored-xCloud"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForImageTextToText.from_pretrained(
    name,
    quantization_config=BitsAndBytesConfig(load_in_4bit=True,
                                           bnb_4bit_compute_dtype=torch.bfloat16),
    device_map={"": 0},          # 單一裝置 —— 不要用 "auto"
)
```

需要 `transformers>=5.8`，並安裝 `flash-linear-attention` 與 `causal_conv1d` 以取得線性注意力的快速核。

## 負責任使用

移除拒絕方向等於移除一層安全機制。使用者需自行負責這些權重的用途，
並遵守底模的 Apache-2.0 授權與所有適用法律。