---
language:
- ru
license: mit
tags:
- transformers
- text-generation
- gpt2
- russian
- alphagpt
widget:
- text: "Привет, как дела?"
  example_title: "Пример диалога"
- text: "Сегодня я решил"
  example_title: "Продолжение мысли"
- text: "Что ты думаешь о"
  example_title: "Вопрос"
datasets:
- Den4ikAI/russian_dialogues_2
pipeline_tag: text-generation
---

# 🚀 AlphaGPT-1

**Маленькая, но дерзкая русскоязычная GPT-модель, обученная на реальных диалогах.**

![alphagpt](https://cdn-uploads.huggingface.co/production/uploads/694031e46f4ee7b27d767524/5repHB-ZUc2C8CjUBffKb.png)

## 🙏 Особая благодарность

**Спасибо моему другу [prisma3D](https://huggingface.co/prisma3DD)** за поддержку, идеи и вдохновение в этом проекте! 🎉

## 📊 Модель в цифрах

| Характеристика | Значение |
|----------------|----------|
| **Архитектура** | GPT-2 |
| **Параметры** | 12,484,608 |
| **Словарь** | 30,000 токенов (BPE) |
| **Контекст** | 256 токенов |
| **Шагов обучения** | 2,500+ |
| **Датасет** | Russian Dialogues (10,000 примеров) |
| **Время обучения** | 8 часов на CPU |
| **Устройство** | AMD Ryzen 7 4750U (1.70 GHz) |

## 🎯 Особенности

- ✅ **Чисто русский** - токенизатор обучен на русских диалогах
- ✅ **Без интернет-мусора** - нет "омиг", "лол", эмодзи
- ✅ **Реальные диалоги** - училась на настоящих разговорах
- ✅ **Маленький размер** - 48MB, работает даже на CPU
- ✅ **Дружелюбная** - создана с помощью друга prisma_3D ✨

### Пример вопроса
```text
  - text: Привет, как дела?
    example_title: Пример диалога
  - text: Сегодня я решил
    example_title: Продолжение мысли
  - text: Что ты думаешь о
    example_title: Вопрос
```

(скоро будет alphagpt-2)