BahamutRU/DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed

Обзор

Этот файл GGUF вдохновлен APEX и базовыми знаниями о MoE.

Основная идея — сохранить максимальную точность на критически важных для MoE-архитектуры компонентах (особенно down_exps) и на граничных слоях, одновременно агрессивно квантуя середину модели, где ошибки меньше влияют на общее качество, при этом используя лишь стандартные Q-кванты для максимальной скорости на процессорах и старых видеокартах.

Схема квантования

Модель условно разделена на три зоны:

Зона	Слои (blk.)	Тензоры	Тип квантования
Начало	0–4	Все ffn_*_exps.weight	mxfp4
Позднее начало	5–9	ffn_down_exps.weight	mxfp4
Позднее начало	5–9	ffn_gate_exps, ffn_up_exps	q3_K
Середина	10–32	ffn_down_exps.weight	q3_K
Середина	10–32	ffn_gate_exps, ffn_up_exps	q2_K
Ранний конец	33–37	ffn_gate_exps, ffn_up_exps	q3_K
Ранний конец	33–37	ffn_down_exps.weight	mxfp4
Конец	38–42	Все ffn_*_exps.weight	mxfp4

Логика выбора

down_exps — это ключевой компонент в MoE: он агрегирует информацию от экспертов. Потеря точности здесь приводит к заметной деградации логики. Поэтому я дал ему приоритет — mxfp4 на краях и q3_K в середине (вместо q2_K). Первые и последние слои (0–4 и 38–42) обычно критичны для входной/выходной эмбеддинговой обработки и финального представления. Здесь — mxfp4 (полная точность). Середина (10–32) — самая многочисленная часть. Здесь допустимо более сильное квантование q2_K для gate/up, так как ошибки усредняются через множество слоёв.

Скрипт квантования

^blk\.[0-4]\.ffn_(gate|up|down)_exps\.weight$=mxfp4
^blk\.[5-9]\.ffn_down_exps\.weight$=mxfp4
^blk\.[5-9]\.ffn_(gate|up)_exps\.weight$=q3_K
^blk\.3[3-7]\.ffn_down_exps\.weight$=mxfp4
^blk\.3[3-7]\.ffn_(gate|up)_exps\.weight$=q3_K
^blk\.(3[89]|4[0-2])\.ffn_(gate|up|down)_exps\.weight$=mxfp4
ffn_down_exps.weight=q3_K
ffn_(gate|up)_exps.weight=q2_K

Производительность

Я сравнивал эту модель с DeepSeek-V4-Flash-0731-UD-Q3_K_XL.gguf. RTX 5060 ti 16 GB + i5-13400F + 128 GB DDR5 6000:

Модель	Скорость (токенов/сек)	Размер файла
DeepSeek-V4-Flash-0731-UD-Q3_K_XL	~9,5	~119.4 GiB
DeepSeek-V4-Flash-0731-MXFP4-Q3_K-Q2_K-mixed	~12,5	~118.2 GiB

Прирост скорости: примерно на треть.

Это подтверждает, что отказ от IQ-квантов (которые медленнее на CPU/старых GPU) в пользу гибридной схемы с акцентом на точность ключевых тензоров даёт ощутимый выигрыш в скорости инференса.

PPL / KLD : TBA

Послесловие

Карточка почти целиком писалась этой моделью, я поправил пару моментов. Подозреваю, что качество могло сильно просесть, при сопоставимом размере, однако в данном случае мне больше интересна скорость. Я еще потестирую, попытаюсь погонять простенькие тестики, чтобы понять, куда залетает моя модель на табличке kld или ppl (мусор, я знаю), возможно какие-нибудь iq2_xss будут выгоднее (сопоставимы по скорости и качеству, но меньше размером), сие мне неизвестно. Я просто экспериментирую и радуюсь жизни. =)