GoLLeM-110M-PL-v3 mirror (kanoniczny: Maggio33; v2+1 epoka, board-repro card)

README.md

@@ -0,0 +1,100 @@
+---
+license: cc-by-sa-4.0
+language:
+- pl
+library_name: transformers
+pipeline_tag: text-generation
+datasets:
+- SlayerLab/polish-dynaword
+tags:
+- gpt2
+- polish
+- base-model
+- from-scratch
+- amd-rocm
+- continued-pretraining
+---
+
+# GoLLeM-110M-PL-v3
+
+Polski model językowy **110M** (GPT-2-class), trenowany **od zera** na AMD Radeon RX 7900 XTX (ROCm/WSL2). Model **bazowy (completion)** — kontynuuje tekst, **nie jest chatbotem** (nie odpowiada na pytania; daj mu początek zdania).
+
+Trzecia iteracja serii GoLLeM. **Główna zmiana vs v2: druga epoka na tym samym czystym korpusie ~2,0 mld** (podwojona ekspozycja, ~18 → ~36 tokenów/parametr) — korekta niedotrenowania v2.
+
+> Model **completion**. Dobrze: `"Stolica Polski to"` · Źle: `"Jaka jest stolica Polski?"`
+
+## Co nowego vs v2
+
+- **Korekta niedotrenowania.** v2 widział korpus 1 raz (~18 tok/param). v3 to **kontynuacja pretreningu** przez 2. epokę (łącznie ~4 mld tokenów widzianych z tego samego 2,0 mld korpusu).
+- **Zmierzony efekt:** wzrost na 7/9 zadań benchmarku (patrz Ewaluacja); największy na sentymencie, streszczeniach i NER.
+- **Uczciwie:** to podwojona **ekspozycja na te same dane**, nie nowe dane.
+
+## Trening
+
+| | |
+|---|---|
+| Parametry | 110 025 216 (110M), weight-tied |
+| Architektura | GPT-2 (decoder-only): 12 warstw / 12 głów / d_model 768 |
+| Kontekst | 512 tokenów |
+| Tokenizer | polski BPE (dynaword-32k), słownik 32 000, `<\|endoftext\|>`=0 |
+| Dane | korpus v2 ~2,0 mld (58% curated: Wikipedia/Wikisource/Wolne Lektury/1000 Novels/Wiki\*/eltec + 42% HPLT v3 web clean; **zero legalese**), **2 epoki** (~4 mld tok widzianych) |
+| Trening | kontynuacja z ckpt v2 (krok 60 733 → 121 466), bf16, AdamW, cosine LR + warmup, wd 0.1, batch 64 (grad-accum 4) |
+| Sprzęt | 1× AMD Radeon RX 7900 XTX 24GB (gfx1100), ROCm/WSL2, ~9 h |
+
+## Ewaluacja
+
+Protokół: OpenPL (`polish4`, 0-shot) + **własna reprodukcja domain-PMI** OrisTeam (metoda KateMajzel: `ll(label|pełny) − ll(label|pusty-szablon)`). Nasza reprodukcja odtwarza tablicę [OrisTeam Polish-SLM-Benchmark](https://huggingface.co/spaces/OrisTeam/Polish-SLM-Benchmark) na **7/9 zadaniach w granicach ~1-2 pp** (belebele idealnie, tags8/cbd/dyk/klej_ner/polemo_in blisko). Ten sam scorer dla v2 i v3 → **delta jest wiarygodna**.
+
+| zadanie | v2 | v3 | Δ |
+|---|--:|--:|--:|
+| PolEmo2-in | 16,2 | 18,0 | +1,8 |
+| PolEmo2-out | 1,8\* | 10,7\* | +8,9 |
+| 8tags | 41,3 | 41,2 | −0,1 |
+| Belebele | 23,0 | 24,0 | +1,0 |
+| CBD (hate) | 14,6 | 12,6 | **−2,0** |
+| DYK | 23,4 | 28,3 | +4,9 |
+| KLEJ-NER | 17,5 | 18,2 | +0,7 |
+| PPC | 20,0\* | 25,7\* | +5,7 |
+| PSC | 38,1 | 44,2 | +6,0 |
+| **Sygnał-6** | **21,6** | **24,1** | **+2,55** |
+| kompozyt-9 | 21,8 | 24,8 | +2,99 |
+
+\* polemo_out i ppc: nasza reprodukcja domain-PMI odbiega od tablicy OrisTeam (polemo_out schodzi poniżej losowego — znany quirk scoringu, wg KateMajzel sygnał błędu bazy PMI); delty na tych zadaniach traktować ostrożnie.
+
+**Wniosek:** v3 przewyższa v2 pod spójnym scoringiem (Sygnał-6 +2,55, kompozyt +2,99), rośnie na 7/9. **Regresja:** CBD (mowa nienawiści) −2,0. Pozycja na oficjalnej tablicy OrisTeam — do potwierdzenia przez zgłoszenie modelu do nich (autorytatywny scoring po ich stronie).
+
+## Użycie
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+m = AutoModelForCausalLM.from_pretrained("Maggio33/GoLLeM-110M-PL-v3").eval()
+t = AutoTokenizer.from_pretrained("Maggio33/GoLLeM-110M-PL-v3")
+ids = t("Stolica Polski to", return_tensors="pt").input_ids
+ids = torch.cat([torch.tensor([[0]]), ids], 1)   # BOS = <|endoftext|>=0
+out = m.generate(ids, max_new_tokens=80, do_sample=True, temperature=0.7,
+                 top_k=40, repetition_penalty=1.3, pad_token_id=0)
+print(t.decode(out[0].tolist()[1:], skip_special_tokens=True))
+```
+
+## Ograniczenia
+
+- **110M = mały** → konfabuluje konkretne fakty; uczy się głównie płynności i formy polskiego.
+- **Base/completion, nie chat** — do rozmowy potrzebny SFT/instruct-tuning.
+- Kontekst 512 tokenów. Brak filtrów bezpieczeństwa na wyjściu.
+- **PII** scrubowane w treningu (telefon/e-mail/PESEL/NIP → tagi); generowane imiona/adresy to konfabulacje.
+- **CBD (mowa nienawiści) regresja vs v2** — do zastosowań wrażliwych na detekcję hate rozważ v2.
+
+## Licencja i atrybucja
+
+**Korpus = CC-BY-SA-4.0** (dominująca, share-alike): Wikipedia/Wikisource/Wiki\* — CC-BY-SA-3.0 (Wikimedia Foundation); Wolne Lektury — CC-BY-SA-4.0 / Wolna Sztuka 1.3; 1000 Novels, eltec_pol — CC-BY-4.0; HPLT v3 (web) — CC0-1.0. Użycie wymaga **ATTRIBUTION** (Wikimedia Foundation, Wolne Lektury, autorzy 1000 Novels, HPLT/CLARIN-PL) oraz **SHARE-ALIKE**. **Model:** CC-BY-SA-4.0.
+
+## Podziękowania
+
+Benchmark i protokół ewaluacyjny: **OrisTeam** ([Polish-SLM-Benchmark](https://huggingface.co/spaces/OrisTeam/Polish-SLM-Benchmark)); metoda kalibracji domain-PMI: **KateMajzel** ([gollem-pl](https://github.com/KateMajzel/gollem-pl)).
+
+## Reprodukcja
+
+Trening: `train_125m.py --run-id gollem_v3_e2b --data gollem_v2_train_32k.bin --epochs 2 --batch 64 --accum-steps 4 --lr 3e-4` (resume z ckpt v2). Ewaluacja: `board_eval.py` (domain-PMI). Ślad: repo `amd-torch`.
+
+**Autor:** Arkadiusz Słota.

config.json

@@ -0,0 +1,35 @@
+{
+  "activation_function": "gelu",
+  "add_cross_attention": false,
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.0,
+  "bos_token_id": 0,
+  "dtype": "float32",
+  "embd_pdrop": 0.0,
+  "eos_token_id": 0,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 512,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 512,
+  "pad_token_id": null,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.16.1",
+  "use_cache": true,
+  "vocab_size": 32000
+}

generation_config.json

@@ -0,0 +1,9 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 0,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "transformers_version": "5.16.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a9dc41cbfcf8327163e48e5b36ba3fe3eb4bf26aa8c9f008c7492e1f0932a097
+size 440115840

tokenizer_config.json

@@ -0,0 +1 @@
+{"tokenizer_class":"PreTrainedTokenizerFast","bos_token":"<|endoftext|>","eos_token":"<|endoftext|>","unk_token":"<|endoftext|>"}