---
license: apache-2.0
language:
  - en
  - ja
tags:
  - olmo
  - pretraining
pipeline_tag: text-generation
---

# OLMo-2 300M Pretrained

OLMo-2 アーキテクチャを ~300M に縮小してランダム初期化から事前学習したモデル。

## Training Data
- FineWeb (60%) — ODC-By
- Wikipedia JA (40%) — CC BY-SA 4.0

## Architecture
- Base: OLMo-2 config (allenai/OLMo-2-0425-1B)
- Parameters: ~300M
- hidden_size: 1024, layers: 16, heads: 16