GoLLeM-110M-PL-v2: clean multi-source 2B (58/42), CC-BY-SA-4.0 + attribution

README.md

@@ -0,0 +1,61 @@
+---
+license: cc-by-sa-4.0
+language:
+- pl
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- gpt2
+- polish
+- base-model
+- from-scratch
+---
+
+# GoLLeM-110M-PL-v2
+
+Polski model językowy **110M** (GPT-2-class), trenowany **od zera** na AMD Radeon RX 7900 XTX (ROCm/WSL2). Model **bazowy (completion)** — kontynuuje tekst, **nie jest chatbotem** (nie odpowiada na pytania; daj mu początek zdania).
+
+Druga iteracja serii GoLLeM. Główna zmiana vs v1: **czysty, wielo-źródłowy korpus** (dodane wiedza+literatura) → lepsze fakty i forma, zero web-boilerplate.
+
+## Trening
+- **Architektura:** 12 warstw / 12 głowic / d=768, kontekst 512, vocab 32000, weight-tied (110M param).
+- **Dane:** ~2.0B tokenów, 1 epoka, **czysty multi-source**:
+  - **58% curated** (wiedza+literatura): Wikipedia, Wikisource, Wolne Lektury, 1000 Novels, Wikiquote/Wikibooks/Wikinews/Wikivoyage, eltec.
+  - **42% web** (HPLT v3 pol, po czyszczeniu).
+  - **Zero legalese** (świadomie wykluczone eur-lex/parlament, by nie zdominowały rejestru).
+- **Higiena:** otwarte licencje (CC-BY-SA dominują — patrz sekcja Licencja; HPLT web = CC0), PII-scrubowane (telefon/email/PESEL/NIP → tagi), web-boilerplate usunięty u źródła (span+line strip; emisja boilerplate ~0).
+- **Sprzęt:** 1× AMD 7900 XTX (24GB), ROCm/WSL2, bf16, grad-accum, ~8.3h.
+
+## vs v1 (GoLLeM-110M-PL)
+- **Lepsze fakty/forma** (dodany korpus wiedzy: encyklopedyczny/przepisowy rejestr; v1 był web-only).
+- **Zero emisji web-boilerplate** (v1 emitował śmieci typu "OdpowiedzUsuń").
+- **val-ppl 34.6** (held-out).
+
+## Użycie
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+m = AutoModelForCausalLM.from_pretrained("Maggio33/GoLLeM-110M-PL-v2")
+t = AutoTokenizer.from_pretrained("Maggio33/GoLLeM-110M-PL-v2")
+ids = t("Stolicą Polski jest miasto", return_tensors="pt").input_ids
+print(t.decode(m.generate(ids, max_new_tokens=80, do_sample=True, temperature=0.7, repetition_penalty=1.3)[0]))
+```
+**Tip:** to model bazowy — dawaj POCZĄTEK zdania ("Przepis na rosół:", "Warszawa to"), nie pytania.
+
+## Ograniczenia
+- **110M = mały** → konfabuluje konkretne fakty (nie jest bazą wiedzy). Uczy się głównie płynności i formy polskiego.
+- **Base/completion, nie chat** — nie odpowiada na pytania (do tego potrzebny SFT/instruct-tuning).
+- PII scrubowane w treningu → model zwraca tagi zamiast realnych danych; nie jest źródłem PII.
+- Tylko polski.
+
+## Licencja i atrybucja
+**Korpus = CC-BY-SA-4.0** (licencja dominująca, share-alike). Skład per-źródło:
+- Wikipedia, Wikisource, Wikibooks/Wikiquote/Wikinews/Wikivoyage — **CC-BY-SA-3.0** (Wikimedia Foundation)
+- Wolne Lektury — **CC-BY-SA-4.0 / Wolna Sztuka 1.3**
+- 1000 Novels, eltec_pol — **CC-BY-4.0**
+- HPLT v3 (web, ~42%) — **CC0-1.0**
+
+→ Użycie wymaga **ATTRIBUTION** (Wikimedia Foundation, Wolne Lektury, autorzy 1000 Novels, HPLT / CLARIN-PL) oraz **SHARE-ALIKE** (derywaty na licencji CC-BY-SA-kompatybilnej).
+
+**Model:** CC-BY-SA-4.0 (share-alike, spójny z licencją korpusu).
+
+**Autor:** Arkadiusz Słota.

config.json

@@ -0,0 +1,32 @@
+{
+  "activation_function": "gelu",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.0,
+  "bos_token_id": 0,
+  "embd_pdrop": 0.0,
+  "eos_token_id": 0,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 512,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 512,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.0,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.3",
+  "use_cache": true,
+  "vocab_size": 32000
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 0,
+  "transformers_version": "4.46.3"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3d8937c530d80aab863d4fee924ca8871bc22a345a6cb0be9f258dca32b96eac
+size 440115840

tokenizer_config.json

@@ -0,0 +1 @@
+{"tokenizer_class":"PreTrainedTokenizerFast","bos_token":"<|endoftext|>","eos_token":"<|endoftext|>","unk_token":"<|endoftext|>"}