---
license: cc-by-sa-4.0
language:
- pl
library_name: transformers
pipeline_tag: text-generation
base_model: Maggio33/GoLLeM-110M-PL-v2
datasets:
- SlayerLab/polish-dynaword
tags:
- gpt2
- polish
- base-model
- from-scratch
- amd-rocm
- continued-pretraining
---

# GoLLeM-110M-PL-v3

Polski model językowy **110M** (GPT-2-class), trenowany **od zera** na AMD Radeon RX 7900 XTX (ROCm/WSL2). Model **bazowy (completion)** — kontynuuje tekst, **nie jest chatbotem** (nie odpowiada na pytania; daj mu początek zdania).

Trzecia iteracja serii GoLLeM. **Główna zmiana vs v2: druga epoka na tym samym czystym korpusie ~2,0 mld** (podwojona ekspozycja, ~18 → ~36 tokenów/parametr) — celowa korekta niedotrenowania v2.

> To model **completion**: dostaje początek tekstu i kontynuuje. **Nie jest chatbotem.**
> Dobrze: `"Stolica Polski to"` · Źle: `"Jaka jest stolica Polski?"`

## Co nowego vs v2

- **Korekta niedotrenowania.** v2 widział korpus 1 raz (~18 tok/param — poniżej sufitu dla tej skali). v3 to **kontynuacja pretreningu przez 2. epokę** (łącznie ~4 mld tokenów widzianych z tego samego 2,0 mld korpusu).
- **Zmierzony efekt** (własny harness, OpenPL `polish4`, 0-shot, sygnałowe zadania): duży skok na sentymencie i redystrybucja per-zadanie (patrz Ewaluacja).
- **Uczciwie:** to podwojona **ekspozycja na te same dane**, nie nowe dane. Część zysku na zadaniach typu F1 to wyjście modelu z degeneracji (przewidywania jednoklasowego), nie gładki przyrost.

## Trening

| | |
|---|---|
| Parametry | 110 025 216 (110M), weight-tied |
| Architektura | GPT-2 (decoder-only): 12 warstw / 12 głów / d_model 768 |
| Kontekst | 512 tokenów |
| Tokenizer | polski BPE (dynaword-32k), słownik 32 000, `<\|endoftext\|>`=0 |
| Dane | korpus v2 ~2,0 mld (58% curated: Wikipedia/Wikisource/Wolne Lektury/1000 Novels/Wiki\*/eltec + 42% HPLT v3 web clean; **zero legalese**), **2 epoki** (~4 mld tok widzianych) |
| Trening | kontynuacja z ckpt v2 (krok 60 733 → 121 466), bf16, AdamW, cosine LR + warmup, wd 0.1, batch 64 (grad-accum 4) |
| Sprzęt | 1× AMD Radeon RX 7900 XTX 24GB (gfx1100), ROCm/WSL2, ~9 h |

## Ewaluacja

Protokół: OpenPL (`polish4`, SpeakLeash lm-evaluation-harness fork), **0-shot**, 9 zadań. Scoring **INTERNAL** (surowe acc/F1) — **porównuj DELTĘ v2→v3, nie absolut**: nie zawiera warstwy domain-PMI z tablicy [OrisTeam Polish-SLM-Benchmark](https://huggingface.co/spaces/OrisTeam/Polish-SLM-Benchmark), więc liczby absolutne **nie są** porównywalne z tą tablicą.

| zadanie | v2 | v3 | Δ |
|---|--:|--:|--:|
| PolEmo2-in | 26,7 | 41,7 | **+15,0** |
| PolEmo2-out | 10,5 | 36,8 | **+26,3** |
| 8tags | 12,8 | 13,4 | +0,6 |
| CBD (hate) | 10,6 | 3,5 | **−7,1** |
| KLEJ-NER | 6,9 | 6,9 | 0,0 |
| PSC | 0,0\* | 37,6 | +37,6\* |
| DYK | 0,0\* | 28,6 | +28,6\* |
| **Sygnał-6** | **11,3** | **23,3** | **+12,0** |

\* v2 był degeneratem na tych zadaniach F1 (predykcja jednoklasowa → F1=0); „przyrost" to wyjście z zera.

**Wniosek:** model bazowy był niedotrenowany; 2. epoka dała realne douczenie (PolEmo-in **i** -out rosną razem — to nie memoryzacja). **Regresja:** CBD (mowa nienawiści) spadła. **Board (OrisTeam) rescore = w toku** — absolutna pozycja na tablicy niepotwierdzona.

## Użycie

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
m = AutoModelForCausalLM.from_pretrained("Maggio33/GoLLeM-110M-PL-v3").eval()
t = AutoTokenizer.from_pretrained("Maggio33/GoLLeM-110M-PL-v3")
ids = t("Stolica Polski to", return_tensors="pt").input_ids
ids = torch.cat([torch.tensor([[0]]), ids], 1)   # BOS = <|endoftext|>=0
out = m.generate(ids, max_new_tokens=80, do_sample=True, temperature=0.7,
                 top_k=40, repetition_penalty=1.3, pad_token_id=0)
print(t.decode(out[0].tolist()[1:], skip_special_tokens=True))
```

## Ograniczenia

- **110M = mały** → konfabuluje konkretne fakty; uczy się głównie płynności i formy polskiego.
- **Base/completion, nie chat** — do rozmowy potrzebny SFT/instruct-tuning.
- Kontekst 512 tokenów. Brak filtrów bezpieczeństwa na wyjściu.
- **PII** scrubowane w treningu (telefon/e-mail/PESEL/NIP → tagi) → model zwraca tagi, nie realne dane; generowane imiona/adresy to konfabulacje.
- **CBD (mowa nienawiści) regresja vs v2** — do zastosowań wrażliwych na detekcję hate: użyj v2 lub zweryfikuj.

## Licencja i atrybucja

**Korpus = CC-BY-SA-4.0** (dominująca, share-alike): Wikipedia/Wikisource/Wiki\* — CC-BY-SA-3.0 (Wikimedia Foundation); Wolne Lektury — CC-BY-SA-4.0 / Wolna Sztuka 1.3; 1000 Novels, eltec_pol — CC-BY-4.0; HPLT v3 (web) — CC0-1.0. Użycie wymaga **ATTRIBUTION** (Wikimedia Foundation, Wolne Lektury, autorzy 1000 Novels, HPLT/CLARIN-PL) oraz **SHARE-ALIKE**. **Model:** CC-BY-SA-4.0.

## Reprodukcja

Trening: `train_125m.py --run-id gollem_v3_e2b --data gollem_v2_train_32k.bin --epochs 2 --batch 64 --accum-steps 4 --lr 3e-4` (resume z ckpt v2). Ewaluacja: `eval_slmbench.py` (polish4 0-shot + Sygnał-6). Pełny ślad: repo `amd-torch`.

**Autor:** Arkadiusz Słota.