asastyy
/

russian-jokes-llm

@@ -1,119 +1,10 @@
 ---
-language: ru
 tags:
-- causal-lm
-- byte-level-bpe
-- transformer
-- rope
-- mla
 ---
-# llm-course-hw1
-Небольшая causal language model для генерации русских анекдотов. В работе реализованы byte-level BPE tokenizer, Transformer LM с RMSNorm, GQA, ALiBi и SwiGLU, а также дополнительные варианты внимания с RoPE и MLA.
-## Dataset
-Используется `IgorVolochay/russian_jokes`, файл `dataset.txt`.
-## Short Conclusions
-- `nano`: val loss около 3.62, но генерация часто теряет синтаксис и смысл; модель слишком маленькая.
-- `mini`: лучший короткий прогон был с более агрессивным режимом `lr=5e-4`, `weight_decay=0.05`, `dropout=0.15`; текст живее, но шумнее.
-- `small`: лучше с более спокойным режимом `lr=3e-4`, `weight_decay=0.01`, `dropout=0.10`; `lr=5e-4` для него оказался слишком агрессивным.
-- В бонусном коротком сравнении `MLA` оказался лучше `RoPE`, но оба варианта требуют более длинного обучения.
-## Hyperparameter Search
-| model | class | steps | lr | wd | dropout | val_loss |
-|---|---|---:|---:|---:|---:|---:|
-| mini | TransformerForCausalLM | 700 | 2.0e-04 | 0.01 | 0.10 | 4.3444 |
-| mini | TransformerForCausalLM | 700 | 3.0e-04 | 0.01 | 0.10 | 4.1069 |
-| mini | TransformerForCausalLM | 700 | 5.0e-04 | 0.05 | 0.15 | 4.0272 |
-| small | TransformerForCausalLM | 700 | 2.0e-04 | 0.01 | 0.10 | 4.1350 |
-| small | TransformerForCausalLM | 700 | 3.0e-04 | 0.01 | 0.10 | 4.0462 |
-| small | TransformerForCausalLM | 700 | 5.0e-04 | 0.05 | 0.15 | 4.3985 |
-## Refined Hyperparameter Search
-| model | class | steps | lr | wd | dropout | val_loss |
-|---|---|---:|---:|---:|---:|---:|
-| mini | TransformerForCausalLM | 3000 | 4.0e-04 | 0.03 | 0.12 | 3.2428 |
-| mini | TransformerForCausalLM | 3000 | 5.0e-04 | 0.03 | 0.12 | 3.2085 |
-| mini | TransformerForCausalLM | 3000 | 6.0e-04 | 0.05 | 0.15 | 3.2324 |
-| small | TransformerForCausalLM | 3000 | 2.5e-04 | 0.01 | 0.10 | 3.2166 |
-| small | TransformerForCausalLM | 3000 | 3.0e-04 | 0.01 | 0.12 | 3.2327 |
-| small | TransformerForCausalLM | 3000 | 3.5e-04 | 0.02 | 0.12 | 3.2388 |
-## Bonus Experiments
-| model | class | steps | lr | wd | dropout | val_loss |
-|---|---|---:|---:|---:|---:|---:|
-| nano | TransformerForCausalLMRoPE | 700 | 3.0e-04 | 0.01 | 0.10 | 5.0737 |
-| nano | TransformerForCausalLMMLA | 700 | 3.0e-04 | 0.01 | 0.10 | 4.9573 |
-## Generation Examples
-### mini
-**Prompt:** Заходит в бар
-Заходит в бар, видит. Потом сидит на кухне. Дедушка снимит, и всякий, пьяный и говорит: - Помимся, как я тебе говори! Другой: - Папа, я тебе папа, я пьянка на кухню. Сталиной, погоди, что ты не пришла в гости и выражает. - Да, но ты не знаешь, я не знаю. - Дедушка, это я, сынок! - Опять!
-**Prompt:** Штирлиц пришел домой
-Штирлиц пришел домой с работы, в ней котов и говорит: - Папа, я не хочу, чтобы ты согласна в школу! А я и с ним, что я пойму в кафе...
-**Prompt:** Студент на экзамене
-Студент на экзамене:- У тебя что-то вечером встречаются с денег.- Они не привлекают.
-### small
-**Prompt:** Заходит в бар
-Заходит в бар. Компания, смотрит и говорит: "Абрам, как это за рубашку в кинуле!" Все в порядке воскресенье, наверно, весь вниз, достает рабочий ванной в сторону. Сидят двое и толпатных, встречает одна и говорит: - Вовочка, ты кем? - Я, блин, куда?
-**Prompt:** Штирлиц пришел домой
-Штирлиц пришел домой. Жена:- Слушай, а ты знаешь, что я таки даже не хочу.Муж:- Ты что, дорогая, ты не волнуйся, я не могу.
-**Prompt:** Студент на экзамене
-Студент на экзамене:- Сколько у вас в школе?- Да.- Ага, как я вышла!
-## Decoding Search
-### mini
-temperature=0.8, top_k=20
-Заходит в бар, видит - улыбается на работу, а жена спрашивает: - Мужик, что это вы делаете? - Да вот, не волнуйтесь, какой ты здесь волосы плохо!
-temperature=0.9, top_k=30
-Заходит в бар и кричит: - Сара, а зачем тебе так устроился? Мимо доказывает: - Тогда, кем ты был на работу? - Ну, пусть же я плачу.
-temperature=0.95, top_k=40
-Заходит в бар, смотрит, значит, по пустым метро стоит за окном. Мы ему лжично раздражать в туалете - и шо, у вас там, наверное, дорогая, ну на хлеб поездце. Представляешь, что я такое в этой камере. Там некогда нет. Бедно превращается, а я рыба - чушью и кладут с ней уже в кварт
-### small
-temperature=0.8, top_k=20
-Заходит в бар с барменом, а там в баре с папой падают. - Чего, сюда едешь? - Да я знаю, что ты на почту упала.
-temperature=0.9, top_k=30
-Заходит в бар. Подходит маленькая девушка:- Товарищ мерседес...Девушка:- У вас есть базар, пиво?- Нет, солнцы!
-temperature=0.95, top_k=40
-Заходит в бар к своему суду и говорит: - Ну сколько будет? - Да поймать. - ? - Да, да. - А вы?
-## References
-- RoFormer: Enhanced Transformer with Rotary Position Embedding: https://arxiv.org/abs/2104.09864
-- DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model: https://arxiv.org/abs/2405.04434
-- Hugging Face Hub upload guide: https://huggingface.co/docs/huggingface_hub/guides/upload

 ---
 tags:
+- model_hub_mixin
+- pytorch_model_hub_mixin
 ---
+This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
+- Code: [More Information Needed]
+- Paper: [More Information Needed]
+- Docs: [More Information Needed]

config.json CHANGED Viewed

@@ -1,10 +1,10 @@
 {
   "dropout": 0.1,
-  "hidden_dim": 768,
-  "intermediate_dim": 2048,
   "max_seq_len": 128,
-  "n_head": 12,
-  "n_kv_head": 6,
-  "n_layer": 12,
   "vocab_size": 1024
 }

 {
   "dropout": 0.1,
+  "hidden_dim": 96,
+  "intermediate_dim": 256,
   "max_seq_len": 128,
+  "n_head": 4,
+  "n_kv_head": 2,
+  "n_layer": 3,
   "vocab_size": 1024
 }

model.safetensors CHANGED Viewed

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:97721758fd964f4a4ab9bd3810a1ab035cfc26df6e1c9411d74043d70482e1c1
-size 318003248

 version https://git-lfs.github.com/spec/v1
+oid sha256:2dc5e7b39708572ce7a2c8f40d80bbe279485cad2d235e42e4c5d371547f75b5
+size 2057520