---
license: cc-by-sa-4.0
language:
- pl
library_name: transformers
pipeline_tag: text-generation
tags:
- gpt2
- polish
- base-model
- from-scratch
---

# GoLLeM-110M-PL-v2

Polski model językowy **110M** (GPT-2-class), trenowany **od zera** na AMD Radeon RX 7900 XTX (ROCm/WSL2). Model **bazowy (completion)** — kontynuuje tekst, **nie jest chatbotem** (nie odpowiada na pytania; daj mu początek zdania).

Druga iteracja serii GoLLeM. Główna zmiana vs v1: **czysty, wielo-źródłowy korpus** (dodane wiedza+literatura) → lepsze fakty i forma, zero web-boilerplate.

## Trening
- **Architektura:** 12 warstw / 12 głowic / d=768, kontekst 512, vocab 32000, weight-tied (110M param).
- **Dane:** ~2.0B tokenów, 1 epoka, **czysty multi-source**:
  - **58% curated** (wiedza+literatura): Wikipedia, Wikisource, Wolne Lektury, 1000 Novels, Wikiquote/Wikibooks/Wikinews/Wikivoyage, eltec.
  - **42% web** (HPLT v3 pol, po czyszczeniu).
  - **Zero legalese** (świadomie wykluczone eur-lex/parlament, by nie zdominowały rejestru).
- **Higiena:** otwarte licencje (CC-BY-SA dominują — patrz sekcja Licencja; HPLT web = CC0), PII-scrubowane (telefon/email/PESEL/NIP → tagi), web-boilerplate usunięty u źródła (span+line strip; emisja boilerplate ~0).
- **Sprzęt:** 1× AMD 7900 XTX (24GB), ROCm/WSL2, bf16, grad-accum, ~8.3h.

## vs v1 (GoLLeM-110M-PL)
- **Lepsze fakty/forma** (dodany korpus wiedzy: encyklopedyczny/przepisowy rejestr; v1 był web-only).
- **Zero emisji web-boilerplate** (v1 emitował śmieci typu "OdpowiedzUsuń").
- **val-ppl 34.6** (held-out).

## Użycie
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
m = AutoModelForCausalLM.from_pretrained("Maggio33/GoLLeM-110M-PL-v2")
t = AutoTokenizer.from_pretrained("Maggio33/GoLLeM-110M-PL-v2")
ids = t("Stolicą Polski jest miasto", return_tensors="pt").input_ids
print(t.decode(m.generate(ids, max_new_tokens=80, do_sample=True, temperature=0.7, repetition_penalty=1.3)[0]))
```
**Tip:** to model bazowy — dawaj POCZĄTEK zdania ("Przepis na rosół:", "Warszawa to"), nie pytania.

## Ograniczenia
- **110M = mały** → konfabuluje konkretne fakty (nie jest bazą wiedzy). Uczy się głównie płynności i formy polskiego.
- **Base/completion, nie chat** — nie odpowiada na pytania (do tego potrzebny SFT/instruct-tuning).
- PII scrubowane w treningu → model zwraca tagi zamiast realnych danych; nie jest źródłem PII.
- Tylko polski.

## Licencja i atrybucja
**Korpus = CC-BY-SA-4.0** (licencja dominująca, share-alike). Skład per-źródło:
- Wikipedia, Wikisource, Wikibooks/Wikiquote/Wikinews/Wikivoyage — **CC-BY-SA-3.0** (Wikimedia Foundation)
- Wolne Lektury — **CC-BY-SA-4.0 / Wolna Sztuka 1.3**
- 1000 Novels, eltec_pol — **CC-BY-4.0**
- HPLT v3 (web, ~42%) — **CC0-1.0**

→ Użycie wymaga **ATTRIBUTION** (Wikimedia Foundation, Wolne Lektury, autorzy 1000 Novels, HPLT / CLARIN-PL) oraz **SHARE-ALIKE** (derywaty na licencji CC-BY-SA-kompatybilnej).

**Model:** CC-BY-SA-4.0 (share-alike, spójny z licencją korpusu).

**Autor:** Arkadiusz Słota.