Qwen3TTS-SFT-v3.4-by-Nikita

Дообучение bitmanagerai/Qwen3TTS-GRPO-v2 (G4R315) на bitmanagerai/gemini-tts-eqvanta под «договор-оферту» и финансовые термины, оба трансформера (talker + предсказатель кодов), каждый клип в двух видах текста (сырой через RUAccent и нормализованный через словарь TTSReplacements).

Ревизии

• Эта ревизия (17.09.2026): чекпоинт 500 прогона dict2-s43-alld — рецепт ниже с лоссом предсказателя кодов на отвязанных (detach) скрытых состояниях talker'а (--code_predictor_detach_hidden true). По слепому SBS на 14 фразах с терминами против EMA-ревизии разницы нет (10 ничьих), выбран как последний чекпоинт без усреднения.
• f1784075 — EMA (0.49/0.21/0.30 чекпоинтов 300/400/500) того же прогона: пустых 0/200 на всех четырёх голосах (у этой ревизии 2/200 на anastasia-1), метрики цели те же.
• a89e72eb — all_talker без detach: не ставить в прод, в продовом пути (vLLM-Omni, сид 42) отдавал пустой ответ на 15% фраз голосами anastasia-1 и ekaterina-1. 133213a2 — только talker (пустых 0, но сильнее затухает к концу фразы).

Рецепт

lr 1e-5, batch 1×16, 500 шагов, seed 43, training_scope all_talker, code_predictor_loss_weight 1.0, code_predictor_detach_hidden true, fp32-мастер-веса, данные eqv-dual-dict2 (pairs 4800 клипов + offer 346, каждый в двух видах текста, словарь TTSReplacements 1ab1f299). Веса в bf16.

Метрики (продовый путь: фасад + vLLM-Omni 0.24, samp-base, голос male-ru-cc-01, один прогон, парно с базой)

метрика	база GRPO-v2	эта ревизия
оферта (154, без пробелов)	81.2%	91.6%
оферта новые тексты (150)	85.3%	90.7%
термины, латиница на входе (357)	66.4%	79.6%
термины через словарь (357)	81.0%	79.8% (шум)
канон (500)	95.2%	96.6%
числа regular / hard	99 / 99%	99 / 98%
инициалы popular / unpopular	95 / 94%	97 / 91%
WER rugen	0.5%	0.8% (шум)
пустых, 200 фраз × 4 голоса, сид 42	0	anastasia-1 2, остальные 0

Затухание голоса к концу фразы (конец−начало, дБ, 200 фраз): male-ru-cc-01 −7.5 (база −6.7, a89e72eb −8.1), valera-1 −5.3 (−6.8 / −7.0), anastasia-1 −7.6 (−7.0 / −8.4), ekaterina-1 −2.6 (−1.7 / −2.6).

Как замерять дообученные версии

Все четыре продовых голоса и продовый путь с сидом 42: HF-путь репо ставит min_new_tokens=2 и пустые ответы прячет.