Instructions to use horiuchinobuyuki/Qwick-3.5-9B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use horiuchinobuyuki/Qwick-3.5-9B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="horiuchinobuyuki/Qwick-3.5-9B")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("horiuchinobuyuki/Qwick-3.5-9B")
model = AutoModelForMultimodalLM.from_pretrained("horiuchinobuyuki/Qwick-3.5-9B", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use horiuchinobuyuki/Qwick-3.5-9B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "horiuchinobuyuki/Qwick-3.5-9B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "horiuchinobuyuki/Qwick-3.5-9B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/horiuchinobuyuki/Qwick-3.5-9B

SGLang

How to use horiuchinobuyuki/Qwick-3.5-9B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "horiuchinobuyuki/Qwick-3.5-9B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "horiuchinobuyuki/Qwick-3.5-9B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "horiuchinobuyuki/Qwick-3.5-9B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "horiuchinobuyuki/Qwick-3.5-9B",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use horiuchinobuyuki/Qwick-3.5-9B with Docker Model Runner:
```
docker model run hf.co/horiuchinobuyuki/Qwick-3.5-9B
```

Qwick-3.5-9B / README_ja.md

horiuchinobuyuki

Upload folder using huggingface_hub

9281e75 verified 11 days ago

preview code

Raw

History Blame Contribute Delete

8.66 kB

Qwick-3.5-9B

Qwick-3.5-9B は、MMLU-ProとGPQA-Diamondでthinkingの短縮を基準に選定したQwen3.5-9B派生モデルです。マージ済みBF16 Transformersウェイトとして、horiuchinobuyuki/Qwick-3.5-9B から直接ロードできます。作者は Nobuyuki Horiuchi です。

English model card

Qwickの狙い

Qwen3.5-9Bは非常に賢く用途の広いモデルで私たちも日常的に使っていますが、実運用では推論が長くなりがちで、必要のない問題でも多くのthinkingトークンを費やす傾向がありました。Qwick-3.5-9Bはまさにその癖を対象にしたfine-tuneで、Qwenの回答品質を保ったまま推論を明確に短くすることを狙っています。

下のベンチマークでは、精度を元モデルと同程度に保ちつつ、平均の生成長を約20〜55%短縮しています（トークン変化の列を参照）。

評価範囲: 学習とモデル選定はテキスト入力です。BF16のビジョン保持をMMMU validation全900問のmatched比較で測定し、以下に開示します。10,500問のtest splitではなく、広範なマルチモーダル配信の適格性検証でもないため、Hubのpipelineは text-generation のままです。

公開ベンチマーク

固定したQwen3.5-9Bとのローカル同条件比較です。トークン数にはthinkingとfinal answerの両方を含みます。

ベンチマーク	Qwen3.5-9B	Qwick-3.5-9B	スコア差	トークン変化	条件
MMLU-Pro (12,032)	81.383%	81.117%	-0.266 pp	-39.51%	A
GPQA-Diamond (198)	77.778%	79.798%	+2.020 pp	-28.98%	A
IFEval prompt strict (541)	89.279%	89.649%	+0.370 pp	-22.78%	A
MMMU validation、公式互換budget (900)	73.778%	74.556%	+0.778 pp	-25.91%	V
JMMLU common-clean (987)	87.943%	86.930%	-1.013 pp	-54.05%	A
LiveCodeBench v6 budget (1,055)	66.540%	73.839%	+7.299 pp	-51.21%	C

A: thinking、temperature 1.0、top-p 0.95、top-k 20、presence penalty 1.5、最大32,768トークン生成。
V: Aと同じサンプリング、promptごとに画像1〜5枚、server context 131,072、最大32,768トークン生成。公式互換final-content採点と、乱数fallbackなしのstrict採点を併記。
C: thinking、temperature 0.6、top-p 0.95、top-k 20、最大81,920トークン生成。

IFEvalは他のコア比較と同じ、公式推奨のgeneral-thinkingサンプリング条件で再走しました。Qwen3.5-9Bは89.279%、Qwick-3.5-9Bは89.649%（+0.370 pp）で、length stopはそれぞれ8件と12件です。以前のtemperature-zero IFEval結果はすべてこの結果で置換しました。IFEvalは参考測定（report-only）のままで、モデル再選択には使っていません。

visionは MMMU/MMMU@98e6ac0cb9b7b2cd2c991b85a50762edc4aedc68 のvalidation全900問（multiple-choice 847、open-answer 53）です。Qwen3.5-9Bは公式互換budgetで664/900、Qwick-3.5-9Bは671/900でした。差は+0.778 pp、科目層別のpaired bootstrap区間は-1.889〜+3.444 pp、exact McNemarは p=0.6322 です。区間は0を跨ぐため、BF16のビジョン劣化シグナルは検出しませんでしたが、改善も判別できていません。公式parserの乱数fallbackはQwen3.5-9B/Qwickで14件 / 21件、乱数fallbackなしのstrict budgetは662/900 / 667/900です。full trace欠損は0、length stopは12件 / 15件です。参考測定（report-only）であり、10,500問のtest splitではありません。

続いて公開量子化checkpoint 2種も同じvalidation全件protocolで再走しました。

Model	公式互換budget	strict budget	平均full-trace tokens	Qwick BF16との差
Qwen3.5-9B BF16	664/900 (73.778%)	662/900 (73.556%)	6476.48	-0.778 pp
Qwick BF16	671/900 (74.556%)	667/900 (74.111%)	4798.66	+0.000 pp
Qwick FP8	655/900 (72.778%)	655/900 (72.778%)	5022.40	-1.778 pp
Qwick NVFP4	635/900 (70.556%)	626/900 (69.556%)	5437.84	-4.000 pp

Qwick BF16 / FP8 / NVFP4はアイテムごとに同じmodel-independent prompt-hash seedを使っています。FP8/NVFP4とQwick BF16のpaired記述区間、fallback件数、trace整合は EVALUATION.md に収録します。参考測定（report-only）で、広範なマルチモーダル配備を保証するものでもありません。

Qwen3.5-9B専用のbudget診断として、32kでlength stopになったQwen3.5-9B BF16の8件だけを128k上限で再生成しました。541件への論理オーバーレイではprompt strictが90.018%（+0.739 pp）となり、length stopとempty final contentはいずれも8件から2件へ減りました。実行時のreplica/layoutも変わるため、これはQwickとのmatched比較でもトークン上限だけの因果効果でもありません。

凍結済み内部release gate

384-prompt synthetic holdoutは、candidate weightと専用gate policyを凍結した後に一度だけ評価しました。事前固定された temperature=0 decodeはcandidate採択用の内部条件であり、上表の公開性能測定に使うprofileではありません。candidateはこの凍結済みgateをpassしました。holdoutは学習、checkpoint選択、結果閲覧後のretuningには使わず、再走もしていません。heldout_results.json にgate policy、aggregate outcome、artifact identityを記録していますが、そのscoreをtemperature-1.0公開評価と同じ測定として比較してはいけません。

raw correct は打ち切り有無を問わない正解、budget correct は正解かつlength stopでないものです。

使い方

import torch
from transformers import AutoTokenizer, Qwen3_5ForConditionalGeneration

model_id = "horiuchinobuyuki/Qwick-3.5-9B"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = Qwen3_5ForConditionalGeneration.from_pretrained(
    model_id, dtype=torch.bfloat16, device_map="auto"
).eval()

thinking有効時の生成例は USAGE.md と examples/text_generation.py にあります。例では最大8,192トークンですが、条件Aの評価ではvLLMのpresence_penalty=1.5と最大32,768トークンを使用しました。

ウェイトシャードは合計18.82 GB（17.53 GiB）です。短いpromptをBF16で動かす場合は24 GB GPUが一つの目安ですが、利用可能なcontext長はバックエンドとKV cacheに依存します。CPU offloadや量子化を使う場合は必要VRAMが変わります。

主用途はテキスト推論、instruction following、日本語QA、code generationの研究・評価です。MMMU validation全件のビジョン測定は能力保持の証拠ですが、広範なマルチモーダル配備の検証ではありません。安全性が重要な助言、高影響の意思決定、自律実行を目的とした評価は行っていません。利用前に対象promptと画像分布で検証してください。

学習と公開形式

rank-8 attention adapterをfull-trace SFTとcomposition-native Step-DPOで学習し、checkpoint探索と局所antithetic NESで更新しました。評価後、固定Qwen3.5-9BへPEFT safe_mergeし、BF16ウェイトへ変換しました。

既知の制約

HMMT公開60問×4 seedはbudget correctが187/240から172/240へ低下しました（-6.25 pp）。トークン数は32.06%減少しました。
MMLU-Pro engineeringは753/969から733/969へ低下しました（-2.064 pp）。
予約holdoutは別途凍結したtemperature-zero内部release gateであり、公開性能ベンチマークではありません。再走やretuningには使っていません。
ビジョン結果はvalidation全900問で、アイテムごとに1つのpaired sampling seedを使っています。公式parserの乱数fallback件数とstrict scoreを併記します。
掲載値は、このBF16 checkpointと記載したdecode条件に対するものです。公開FP8/NVFP4版のMMMU validation結果は併記しますが、その他の変換形式や対象画像分布は別途検証が必要です。

Apache-2.0で公開します。由来、学習履歴、hashは NOTICE、TRAINING.md、provenance.json を参照してください。引用情報は CITATION.cff と英語版READMEにあります。