tokimoa/apertus-v1.5-8b-mlx-8bit

Apertus-v1.5-8B (MLX 8bit, text LM, verified)

スイスAIイニシアチブの Apertus-v1.5-8B（Apache-2.0・多言語・xIELU活性/QK-norm/llama3型RoPEスケーリングの独自アーキテクチャ）からテキストLM部分を抽出してMLX変換したものです（8bit量子化・group size 64・実効8.5bpw）。品質と速度のバランスが良い推奨版です。

このMLX版の価値: 上流モデルはリリース版transformers/vLLMでは動かず、swiss-ai専用フォークが必要ですが、この変換はmlx-lm標準でそのまま動きます（pip install mlx-lmのみ）。

スコープ: 元モデルは画像・音声入力対応のomniモデルですが、本repoはテキスト専用の抽出です（vision/audioトークナイザは含みません。埋め込みはテキスト出力語彙131,072行に切り詰め済み — テキスト対話のトークンIDはすべてこの範囲内であることを確認しています）。

使い方

pip install mlx-lm
python -m mlx_lm generate --model tokimoa/apertus-v1.5-8b-mlx-8bit   --prompt "富士山の標高を教えてください。" --max-tokens 200 --temp 0.0

Deliberation（思考モード）に注意: chat templateに思考モードのフラグがあり、mlx-lm経由の既定では有効（<|inner_prefix|>で内部推論を出力してから回答）、Hugging Face transformersの既定では無効になります。無効にしたい場合はapply_chat_templateにenable_thinking=Falseを渡してください。

変換品質の検証（tokimoa）

transformers公式実装（swiss-aiフォーク・CPU bf16）との突き合わせ検証:

• 同一入力でのprefillロジット比較: 日本語ビジネスプローブ5種すべてでtop-1トークン一致（cos類似度0.9992〜0.9997・top-10重複9〜10/10 = 量子化劣化ほぼなし）
• bf16版は反復実行で出力完全一致（決定論的）
• 検証時の発見: 参照フォークはMPS上では出力が破綻します（縮退ループ）。参照はCPUで実行しました（変換品質とは無関係の上流問題）

実測速度（M4 Max 36GB）

• 生成: 約44 tok/s / ピークメモリ: 8.7GB（重み8.0GB）

変換情報

• 変換元: swiss-ai/Apertus-v1.5-8B（公式BF16、commit a411d83）からテキストLM抽出（model.language_model.*→model.*・lm_head保持・embed切り詰め）
• 変換: mlx-lm 0.31.3 convert -q --q-bits 8（group size 64 affine、実効8.5bpw）
• 兄弟repo: bf16（参照一致検証の基準）/ 4bit（4.3GB・約75 tok/s）
• 変換者: tokimoa

ライセンス

Apache-2.0（元モデルに準拠）。上流の利用ポリシー（AUP）も参照してください。