---
license: mit
datasets:
- ZeroAgency/big-russian-dataset-3
- ZeroAgency/reasoning_dataset
language:
- ru
- en
base_model:
- Qwen/Qwen3.6-35B-A3B
library_name: transformers
---

Это экспериментальная версия.

Возможны проблемы в ризонинге на русском языке(не замеряли, не знаем). Но должна быть чуть лучше в русском языке, нежели базовая.

Метрики не известны, не замеряли.

Назначение: для своих "домашних" fine-тюнов.

Как трейнили:

- lora_r=64, lora_alpha=128, lr=5e-5, num_epochs=1, seq_length=16384, 8 GPU w/ DeepSpeed Zero-1, micro_batch_size=1, gradient_accumulation_steps=4, total effective batch=32
- Датасеты: ZeroAgency/big-russian-dataset-3, ZeroAgency/reasoning_dataset + 3 приватных датасета.