Mirror validated OELLM 9B 256K SFT model and evaluations

.gitattributes

@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
+assets/oellm9b-retrieval-by-context.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,340 @@
+---
+license: apache-2.0
+base_model: openeurollm/oellm-9b-256k-theta64m-prelude
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- openeurollm
+- qwen3
+- long-context
+- 256k
+- multilingual
+- instruction-tuning
+- sft
+language: [en, sv, de, fr, es, it, nl, pl, pt, cs, fi, da, el, bg, hr, hu, ro, sk, sl, et, lt, lv, ga, mt, eu, gl, is, nb, nn, sr, uk, ca, mk, sq, oc, lb, bs]
+---
+
+# OELLM 9B 256K SFT
+
+Experimental instruction-tuned checkpoint derived from
+[`openeurollm/oellm-9b-256k-theta64m-prelude`](https://huggingface.co/openeurollm/oellm-9b-256k-theta64m-prelude).
+It is the first SFT stage of an OpenEuroLLM post-training experiment on LUMI. The base is a dense
+Qwen3 9B model using the independent OpenEuroLLM 256K tokenizer and a 262,144-token context
+configuration.
+
+This repository contains the SFT model, not the subsequent SimPO model.
+
+## Intended use and interpretation
+
+The purpose of this checkpoint is to test whether short-sequence instruction tuning can add useful
+chat behavior while retaining the base model's long-context capability. It is **not** presented as
+a reasoning-specialized model. The 262,144-token configuration describes the maximum input length
+accepted by the architecture; it does not, by itself, establish accurate retrieval at that length.
+
+## Usage
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "openeurollm/oellm-9b-256k-sft"
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    dtype=torch.bfloat16,
+    device_map="auto",
+).eval()
+
+messages = [{"role": "user", "content": "Förklara allemansrätten kort på svenska."}]
+inputs = tokenizer.apply_chat_template(
+    messages,
+    add_generation_prompt=True,
+    return_tensors="pt",
+    return_dict=True,
+).to(model.device)
+
+with torch.inference_mode():
+    output = model.generate(
+        **inputs,
+        max_new_tokens=256,
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.pad_token_id,
+    )
+print(tokenizer.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+Long-context inference, especially near 256K, requires multiple GPUs for the KV cache. Keep
+`max_position_embeddings=262144` and `rope_theta=64000000` unchanged.
+
+## Training
+
+| Field | Value |
+|---|---|
+| Base | `openeurollm/oellm-9b-256k-theta64m-prelude` |
+| Method | Full-parameter supervised fine-tuning with packed sequences and FlashAttention 2 |
+| Data | OpenEuroLLM EU multilingual instruction mix plus a 250k-example reasoning subset |
+| Loaded examples | 1,332,196 |
+| Sequence length | 4,096 |
+| Steps | 3,000 (about 0.604 epoch) |
+| Global batch | 128 |
+| Optimizer schedule | AdamW, peak LR 6e-6, cosine decay, 3% warmup |
+| Hardware | 4 LUMI-G nodes, 32 AMD MI250X GCDs |
+| Runtime | 14h 36m |
+| Final training loss | 0.7671 |
+| Final mean token accuracy | 0.7839 |
+
+The published weights are an unquantized BF16 export of the consolidated training checkpoint.
+
+## Export validation
+
+Before publication, the BF16 export was required to pass a Transformers GPU smoke test covering:
+
+- model and tokenizer loading;
+- finite forward-pass logits;
+- the native OpenEuroLLM turn-token chat template;
+- generation in Swedish, English, and German;
+- BF16 weight dtypes;
+- 262,144-token context metadata and RoPE theta 64M.
+
+## Long-context retrieval
+
+The main question for this checkpoint is whether it can still retrieve information after SFT on
+4K sequences. We ran deterministic needle-in-a-haystack (NIAH) probes on the exact published BF16
+artifact. One passphrase was inserted at each of five token depths (0%, 25%, 50%, 75%, and 100%),
+then the model was asked to return it with greedy decoding.
+
+The primary metric is **full retrieval**: the complete correct passphrase appears anywhere in the
+answer. **Exact format** is secondary: the answer contains only the requested passphrase. A verbose
+answer containing the correct value is therefore a retrieval success and an instruction-format miss.
+
+### Natural word passphrases (primary retrieval test)
+
+| Requested context | Full retrieval | Exact format |
+|---:|---:|---:|
+| 512 | **5/5** | 5/5 |
+| 1K | **5/5** | 5/5 |
+| 2K | **5/5** | 4/5 |
+| 4K | **5/5** | 4/5 |
+| 8K | **5/5** | 5/5 |
+| 32K | **5/5** | 2/5 |
+| 128K | **5/5** | 0/5 |
+| ~262K | **5/5** | 0/5 |
+
+**Outcome: 40/40 full-passphrase retrieval across all eight tested lengths and all five depths.**
+The ~262K prompts contained 262,047 to 262,052 actual input tokens, leaving room for generation
+inside the model's 262,144-token limit. This verifies full-span single-needle retrieval for this
+checkpoint; it does not imply 256K reasoning or synthesis quality.
+
+![Natural-word retrieval compared with exact-format compliance across context lengths](./assets/oellm9b-retrieval-vs-format.png)
+
+*All 40 natural-word cases retained the complete passphrase. Exact-output compliance fell at longer
+lengths because the model often wrapped the correct passphrase in a sentence.*
+
+The 512-to-8K result gives no evidence of a short-context retrieval collapse from RoPE theta 64M.
+This probe cannot rule out subtler short-context quality or perplexity effects; attributing those to
+theta would require an otherwise identical lower-theta control checkpoint.
+
+### Random hexadecimal codes (hard copying stress test)
+
+Random codes are unusually difficult for this tokenizer because much of each code becomes
+character/byte-fallback tokens. The model retrieved only 11/25 codes from 512 through 8K, sometimes
+returning the record ID rather than its passkey. The same harder test retrieved the full correct code
+at **5/5 depths at 32K, 5/5 at 128K, and 5/5 at ~262K**. This non-monotonic pattern points to
+synthetic-code copying/entity confusion, not loss of access to distant context.
+
+![Natural-word and random-hex full retrieval across context lengths](./assets/oellm9b-retrieval-by-context.png)
+
+*Natural word passphrases were stable at every length. Random hexadecimal copying was unreliable at
+512-8K but succeeded at every tested depth from 32K onward; with five cases per point, this should be
+read as a diagnostic pattern rather than evidence that longer inputs improve the model.*
+
+### Representative outputs
+
+The inputs below reproduce the evaluated prompt structure, with repeated filler omitted. Outputs are
+shown verbatim.
+
+#### Success: exact retrieval at 32K, needle at 50%
+
+Input (truncated from 32,765 tokens):
+
+```text
+Read the following archive carefully. One important record is hidden among routine background
+material. Remember that record and answer the question at the end.
+[routine archive filler omitted]
+IMPORTANT RECORD: The passkey for record-524f75bb is sunrise-wren-raven.
+[routine archive filler omitted]
+Question: What is the passkey for record-524f75bb? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+sunrise-wren-raven
+```
+
+Result: **full retrieval pass; exact-format pass**.
+
+#### Success: retrieval at ~262K, needle at 50%, with a format miss
+
+Input (truncated from 262,048 tokens):
+
+```text
+Read the following archive carefully. One important record is hidden among routine background material.
+[about half of the routine archive filler omitted]
+IMPORTANT RECORD: The passkey for record-b52bade9 is stone-willow-falcon.
+[remaining routine archive filler omitted]
+Question: What is the passkey for record-b52bade9? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+The passkey for record-b52bade9 is "stone-willow-falcon".
+```
+
+Result: **full retrieval pass; exact-format fail**. The distant value was recalled, but the model did
+not follow the requested output format.
+
+#### Success: retrieval at ~262K, needle near the end
+
+Input (truncated from 262,047 tokens):
+
+```text
+Read the following archive carefully. One important record is hidden among routine background material.
+[almost the entire routine archive omitted]
+IMPORTANT RECORD: The passkey for record-f3bbed67 is north-falcon-river.
+Question: What is the passkey for record-f3bbed67? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+The passkey for record-f3bbed67 is north-falcon-river.
+```
+
+Result: **full retrieval pass; exact-format fail**.
+
+#### Short-context format error: altered prefix at 2K
+
+Input (truncated from 2,012 tokens; needle at 75%):
+
+```text
+[routine archive filler omitted]
+IMPORTANT RECORD: The passkey for record-f70c7b1f is anchor-willow-wren.
+[remaining filler omitted]
+Question: What is the passkey for record-f70c7b1f? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+passkey-anchor-willow-wren
+```
+
+Result: **full retrieval pass; exact-format fail**. This is a formatting/instruction-following error,
+not a memory failure, because the complete target string is present.
+
+#### Failure: copied the record ID instead of the passkey at 8K
+
+Input (truncated from 8,153 tokens; needle at 50%):
+
+```text
+[routine archive filler omitted]
+IMPORTANT RECORD: The passkey for record-42efa78b is NIAH-4859184CAD75.
+[remaining filler omitted]
+Question: What is the passkey for record-42efa78b? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+42efa78b
+```
+
+Result: **retrieval fail**. The model copied the identifier from the question rather than its associated
+value, consistent with entity-role confusion on token-fragmented synthetic strings.
+
+#### Failure: returned no answer for a near-end 8K needle
+
+Input (truncated from 8,154 tokens; needle at 99.4%):
+
+```text
+[almost the entire routine archive omitted]
+IMPORTANT RECORD: The passkey for record-c8da86af is NIAH-0A78C2D44DC2.
+Question: What is the passkey for record-c8da86af? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+N/A
+```
+
+Result: **retrieval fail**. Because the needle was adjacent to the question, distance alone does not
+explain this error.
+
+#### Hard-code retrieval success at ~262K, needle at 50%
+
+Input (truncated from 262,056 tokens):
+
+```text
+[about half of the routine archive filler omitted]
+IMPORTANT RECORD: The passkey for record-b52bade9 is NIAH-7AFD87186345.
+[remaining routine archive filler omitted]
+Question: What is the passkey for record-b52bade9? Answer with only the exact passkey and no other words.
+```
+
+Model output:
+
+```text
+The passkey for record-b52bade9 is NIAH-7AFD87186345.
+```
+
+Result: **full retrieval pass; exact-format fail**.
+
+The ~262K hex cells averaged about 269 seconds each using Transformers, BF16,
+FlashAttention 2, and a model/KV-cache split over eight LUMI MI250X GCDs. This is an evaluator
+latency observation, not a serving-throughput benchmark.
+
+These are small synthetic probes (five cases per length), not comprehensive evidence of long-document
+reasoning, multi-document synthesis, or robustness to distractors unlike the repeated filler used here.
+Raw reports: [word passphrases, 512-8K](./eval/niah-word-short.json),
+[word passphrases, 32K-262K](./eval/niah-word-long.json), and
+[hex codes at 512-2K](./eval/niah-hex-short.json),
+[hex codes at 4K](./eval/niah-hex-4k.json), and
+[hex codes at 8K-262K](./eval/niah-hex-long.json).
+
+## Secondary general behavior
+
+This model is not reasoning-tuned. On a 1,368-example multilingual development suite it scored 23.2%
+overall, including 63.2% instruction following, 58.6% grounded QA, and 5.9% reasoning/math. A
+24-prompt Swedish generation probe had mean language-detection probability 0.96, but manual review
+found factual, arithmetic, grammar, and exact-constraint errors. These results are included to prevent
+the long-context retrieval result from being mistaken for a broad reasoning-quality claim.
+Raw reports: [multilingual holdouts](./eval/eu-holdouts-dev.json) and
+[Swedish generations](./eval/swedish-rubric.json). See also the
+[detailed Swedish capability report](./eval/SWEDISH_CAPABILITY.md), with manually reviewed examples
+of both successful and incorrect responses.
+
+## Limitations
+
+- Experimental SFT-stage research checkpoint; not a final production assistant.
+- No completed safety evaluation.
+- Preference optimization (SimPO) is a separate subsequent stage.
+- Long-context evidence is currently limited to single-needle retrieval; broader long-document
+  comprehension and reasoning remain unestablished.
+- It often retrieves the correct value but ignores exact output-format constraints.
+- Random alphanumeric copying is unreliable at some short lengths despite strong word-passphrase
+  retrieval and successful full-code retrieval at 32K through ~262K.
+- General factuality, reasoning, grammatical correction, and structured-output reliability are weak.
+- The multilingual instruction mix includes synthetic and translated data and may contain translationese.
+- Inherits limitations, biases, and knowledge gaps from the base model and training data.
+
+## Reproduction
+
+Training and evaluation code: <https://github.com/BirgerMoell/qwen35-posttrain>, especially
+`docs/RUNBOOK_oellm9b_256k_posttrain.md`.
+
+## License
+
+Apache 2.0, inherited from the base model. Consult the component dataset cards for training-data terms.

chat_template.jinja

@@ -0,0 +1,17 @@
+{{ bos_token }}{%- if messages[0]['role'] == 'system' -%}
+{%- set system_message = messages[0]['content'] | trim + '\n\n' -%}
+{%- set messages = messages[1:] -%}
+{%- else -%}
+{%- set system_message = '' -%}
+{%- endif -%}
+{%- for message in messages -%}
+{%- set role = 'model' if message['role'] == 'assistant' else message['role'] -%}
+{%- if loop.first and system_message -%}
+{{ '<start_of_turn>user\n' + system_message + message['content'] | trim + '<end_of_turn>\n' }}
+{%- else -%}
+{{ '<start_of_turn>' + role + '\n' + message['content'] | trim + '<end_of_turn>\n' }}
+{%- endif -%}
+{%- endfor -%}
+{%- if add_generation_prompt -%}
+{{ '<start_of_turn>model\n' }}
+{%- endif -%}

config.json

@@ -0,0 +1,71 @@
+{
+  "architectures": [
+    "Qwen3ForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 1,
+  "dtype": "bfloat16",
+  "eos_token_id": 4,
+  "head_dim": 128,
+  "hidden_act": "silu",
+  "hidden_size": 4096,
+  "initializer_range": 0.02,
+  "intermediate_size": 12288,
+  "layer_types": [
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention"
+  ],
+  "max_position_embeddings": 262144,
+  "max_window_layers": 28,
+  "model_type": "qwen3",
+  "num_attention_heads": 32,
+  "num_hidden_layers": 36,
+  "num_key_value_heads": 8,
+  "pad_token_id": 262144,
+  "rms_norm_eps": 1e-05,
+  "rope_parameters": {
+    "rope_theta": 64000000,
+    "rope_type": "default"
+  },
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "transformers_version": "5.12.1",
+  "use_cache": true,
+  "use_sliding_window": false,
+  "vocab_size": 263168
+}

eval/SWEDISH_CAPABILITY.md

@@ -0,0 +1,281 @@
+# Svensk förmåga: OELLM 9B 256K SFT
+
+Detta är en kvalitativ genomgång av svensk förmåga hos
+[`openeurollm/oellm-9b-256k-sft`](https://huggingface.co/openeurollm/oellm-9b-256k-sft).
+Modellen är ett experimentellt SFT-checkpoint, inte en färdig svensk assistent eller en
+resonemangsspecialiserad modell.
+
+## Sammanfattning
+
+Modellen kan skriva sammanhängande svenska, besvara enkla vardagsfrågor, följa vissa tydliga
+formatkrav och göra korta sammanfattningar. Samtidigt är den faktamässiga och logiska
+tillförlitligheten låg. Svaren kan se övertygande ut även när de innehåller påhittade fakta,
+felaktig grammatikförklaring eller motsägelsefulla uträkningar.
+
+Den praktiska slutsatsen är:
+
+> **Svensk ytkompetens finns, men svaren behöver faktakontroll och bör inte användas som
+> tillförlitliga utan verifiering.**
+
+## Testunderlag
+
+Två kompletterande tester användes:
+
+1. **24 öppna svenska promptar** i nio kategorier: sentiment, Sverigekunskap, allmänkunskap,
+   resonemang, sammanfattning, språkriktighet, instruktionsefterlevnad, vardagskunskap och
+   kreativt skrivande.
+2. **EU-holdout**, ett deterministiskt flerspråkigt test. Körningen omfattade 1 368 exempel,
+   varav 36 svenska exempel efter att långkontextkategorin exkluderats.
+
+De öppna svaren genererades med sampling (`temperature=0.7`, `top_p=0.95`) och högst 400 nya
+tokens. Varje prompt kördes en gång. Resultatet mäter därför ett stickprov av modellens beteende,
+inte en stabil eller statistiskt säker förmågenivå.
+
+### Resultat i korthet
+
+| Mått | Resultat | Tolkning |
+|---|---:|---|
+| Svenska öppna promptar | 24 | Kvalitativt stickprov |
+| Genomsnittlig svensk språkdetektionssannolikhet | 0,96 | Svaren identifieras nästan alltid som svenska; detta mäter inte korrekthet |
+| EU-holdout, svenska | 33,3 % | 12 av 36 deterministiskt rättade svenska exempel |
+| EU-holdout, alla språk | 23,2 % | 1 368 exempel totalt |
+| Instruction following, alla språk | 63,2 % | Starkaste kategorin tillsammans med grounded QA |
+| Grounded QA, alla språk | 58,6 % | Kan använda given information i enklare frågor |
+| Reasoning/math, alla språk | 5,9 % | Tydlig svaghet |
+| Summarization, alla språk | 2,6 % | Den strikta automatiska rättningen visar låg robusthet |
+
+Fullständiga maskinläsbara resultat finns i
+[`eval/swedish-rubric.json`](./swedish-rubric.json) och
+[`eval/eu-holdouts-dev.json`](./eu-holdouts-dev.json).
+
+## Exempel på sådant modellen gör bra
+
+### 1. Följer ett exakt listformat
+
+**Prompt**
+
+> Skriv en punktlista med exakt fyra tips för att sova bättre. Varje punkt ska vara högst tio
+> ord lång.
+
+**Modellens svar**
+
+> - Håll en regelbunden sömnrutin.  
+> - Skapa en avslappnande sovmiljö.  
+> - Undvik koffein på kvällen.  
+> - Använd en varm dusch för att lugna kroppen.
+
+**Bedömning:** Bra. Svaret har exakt fyra punkter, samtliga under tio ord, och råden är relevanta.
+
+### 2. Skriver ett kort formellt meddelande
+
+**Prompt**
+
+> Skriv ett formellt mejl på svenska till en hyresvärd där du anmäler en trasig diskmaskin och
+> ber om reparation. Håll det under 80 ord.
+
+**Modellens svar**
+
+> Kära hyresvärd,
+>
+> Jag vill informera om att diskmaskinen i lägenheten [lägenhetsnummer] är trasig. Jag ber om
+> att få en reparation snarast.
+>
+> Med vänliga hälsningar,  
+> [Ditt namn]
+
+**Bedömning:** Bra. Mejlet är begripligt, formellt, innehåller rätt begäran och håller sig tydligt
+under ordgränsen.
+
+### 3. Bevarar huvudpunkterna i en kort nyhetssammanfattning
+
+**Prompt**
+
+> Ge en kort sammanfattning (max tre meningar) av vad nyheten handlar om: "Regeringen
+> presenterade idag en ny satsning på järnvägsunderhåll. Satsningen omfattar tio miljarder kronor
+> över fyra år och syftar till att minska förseningarna i tågtrafiken. Oppositionen menar att
+> beloppet är otillräckligt."
+
+**Modellens svar**
+
+> Regeringen presenterade idag en ny satsning på järnvägsunderhåll, som omfattar tio miljarder
+> kronor över fyra år. Satsningen syftar till att minska förseningarna i tågtrafiken. Oppositionen
+> menar att beloppet är otillräckligt.
+
+**Bedömning:** Bra. Alla centrala uppgifter finns kvar och begränsningen på tre meningar följs.
+
+### 4. Ger ett korrekt och användbart vardagssvar
+
+**Prompt**
+
+> Varför är det en dålig idé att lämna mjölk framme på köksbänken över natten?
+
+**Modellens svar, förkortat**
+
+> Att lämna mjölk framme på köksbänken över natten kan leda till att bakterier börjar växa i
+> mjölken. [...] Det är därför viktigt att alltid kyla mjölk och andra mjölkprodukter efter
+> användning.
+
+**Bedömning:** Bra. Svaret förklarar den relevanta risken och ger ett praktiskt råd på naturlig
+svenska.
+
+## Exempel på fel och begränsningar
+
+### 1. Korrekt namnlista följs av grovt felaktiga fakta
+
+**Prompt**
+
+> Vilka är Sveriges tre största sjöar till ytan, i storleksordning?
+
+**Modellens svar**
+
+> De tre största sjöarna till ytan i Sverige är Vänern, Vättern och Mälaren. Vänern är den största
+> sjö som finns i Sverige, med en yta på 25 650 km², följt av Vättern med en yta på 12 388 km² och
+> Mälaren med en yta på 10 907 km².
+
+**Bedömning:** Blandat. Sjöarna och ordningen är korrekta, men alla tre arealerna är grovt
+överdrivna. Exemplet visar ett viktigt riskmönster: modellen kan börja rätt och därefter lägga till
+självsäkert formulerade hallucinationer som användaren inte bad om.
+
+### 2. Påhittade verk av Selma Lagerlöf
+
+**Prompt**
+
+> Vem var Selma Lagerlöf och varför är hon viktig i svensk litteraturhistoria?
+
+**Modellens svar, utdrag**
+
+> Selma Lagerlöf var en svensk författare som skrev bl.a. romanen "Göran och Gösta" och
+> "Trollkarlen från Österrike". [...] Dessutom var hon den första kvinnliga författaren i Sverige
+> som vann Nobelpriset i litteratur, en ära som hon fick 1909.
+
+**Bedömning:** Dåligt. De angivna boktitlarna är påhittade. Årtalet 1909 är korrekt, men den
+viktiga beskrivningen är att Lagerlöf var den första kvinnan som tilldelades Nobelpriset i
+litteratur, inte bara den första kvinnliga författaren i Sverige som fick det.
+
+### 3. Rätt slutsvar trots motsägelsefull uträkning
+
+**Prompt**
+
+> En affär säljer äpplen för 12 kronor styck. Om du köper 7 äpplen och betalar med en hundralapp,
+> hur mycket får du tillbaka? Visa uträkningen.
+
+**Modellens svar, utdrag**
+
+> 7 äpplen × 12 kr/äpple = 84 kr  
+> 84 kr - 100 kr = -16 kr  
+> Detta innebär att du får tillbaka 16 kronor.
+
+**Bedömning:** Blandat men otillförlitligt. Slutsvaret 16 kronor är rätt, men subtraktionen är
+uppställd åt fel håll och resultatet motsäger den avslutande meningen. Ett korrekt resonemang är
+`100 - 84 = 16`.
+
+### 4. Missar tidsförskjutningen i ett åldersproblem
+
+**Prompt**
+
+> Anna är dubbelt så gammal som Erik. Om fem år är deras sammanlagda ålder 40 år. Hur gamla är de
+> nu? Resonera steg för steg.
+
+**Modellens svar, utdrag**
+
+> Anna + Erik = 40 [...] Erik = 40 / 3 [...] Erik 13 år [...] Anna 26 år [...] Anna och Erik båda
+> 26 år gamla nu.
+
+**Bedömning:** Fel. Modellen glömmer att båda personerna blir fem år äldre och producerar dessutom
+en självmotsägande sammanfattning. Korrekt ekvation är `(2E + 5) + (E + 5) = 40`, vilket ger Erik
+10 år och Anna 20 år.
+
+### 5. Korrigerar inte ett grammatikfel
+
+**Prompt**
+
+> Rätta eventuella grammatik- och stavfel i meningen och förklara vad du ändrade: "Han gick till
+> affären för att köpa mjölk men han glömde sin plånbok hemma så han kunde inte handlade något."
+
+**Modellens svar, utdrag**
+
+> Han gick till affären för att köpa mjölk men han glömde sin plånbok hemma så han kunde inte
+> handlade något.
+>
+> Först och främst, jag bytte ut ordet "handlade" mot "handlade". [...] Sedan, jag ändrade
+> "glömde" till "glömde".
+
+**Bedömning:** Fel. Modellen upprepar originalfelet och hävdar att den gjort ändringar som inte har
+gjorts. Korrekt verbform efter modalverbet *kunde* är *handla*: "...så han kunde inte handla
+något."
+
+### 6. Felaktig förklaring av *de* och *dem*
+
+**Prompt**
+
+> Förklara skillnaden mellan "de" och "dem" och ge ett exempel på korrekt användning av vardera.
+
+**Modellens svar, utdrag**
+
+> "De" används för att hänvisa till en grupp personer som är okända eller som inte har
+> specificerats. [...] "Dem" används för att hänvisa till en specifik grupp personer [...] Till
+> exempel: "Dem sa att de skulle komma till festen igår kväll."
+
+**Bedömning:** Fel. Skillnaden gäller grammatisk funktion: *de* är subjektsform och *dem* är
+objektsform. Exemplet "Dem sa ..." är fel; det ska vara "De sa ...".
+
+### 7. Totalt format- och innehållsfel
+
+**Prompt**
+
+> Lista fem svenska städer i bokstavsordning, en per rad, utan någon annan text.
+
+**Modellens svar**
+
+> A-s-t-a-n  
+> A-r-e-s-t-a-  
+> B-y-s-t-a-  
+> C-h-a-n-  
+> D-e-l-f-o-  
+> E-m-m-a-  
+> F-r-o-
+
+**Bedömning:** Fel. Svaret innehåller sju rader i stället för fem och inga identifierbara svenska
+städer. Detta är ett tydligt exempel på att modellen inte är robust mot exakta listkrav.
+
+## Samlad bedömning
+
+### Relativa styrkor
+
+- producerar vanligtvis text som identifieras som svenska;
+- hanterar enkla vardagsfrågor och korta formella texter;
+- kan följa vissa explicita längd- och formatkrav;
+- kan göra enklare, källbundna sammanfattningar;
+- har användbar grundläggande samtalsstil.
+
+### Viktiga svagheter
+
+- hallucinerar fakta och kan blanda korrekta och felaktiga uppgifter i samma svar;
+- svagt matematiskt och logiskt resonemang;
+- opålitlig grammatisk analys trots relativt flytande ytspråk;
+- upprepningar och översättningsliknande formuleringar;
+- instabil efterlevnad av exakta antal, listor och format;
+- kan avsluta svar mitt i en mening när generationsgränsen nås.
+
+## Rekommenderad användning
+
+Modellen är lämplig för experiment, forskning och fortsatt post-training. För svensk
+produktionsanvändning bör svar faktakontrolleras, och modellen bör inte ensam användas för medicinsk,
+juridisk, ekonomisk eller annan högkonsekvensinformation.
+
+Nästa rättvisa jämförelse bör köra exakt samma svenska promptar med deterministisk avkodning på både
+basmodellen och SFT-checkpointen. Flera seeds eller upprepningar behövs för att uppskatta variationen.
+En bredare svensk benchmark bör dessutom inkludera etablerade svenska uppgifter och mänsklig
+blindbedömning av språk, korrekthet, instruktionsefterlevnad och hjälpsamhet.
+
+## Reproducerbarhet
+
+- Modell: [`openeurollm/oellm-9b-256k-sft`](https://huggingface.co/openeurollm/oellm-9b-256k-sft)
+- Basmodell: [`openeurollm/oellm-9b-256k-theta64m-prelude`](https://huggingface.co/openeurollm/oellm-9b-256k-theta64m-prelude)
+- Prompter och evaluator: [`BirgerMoell/qwen35-posttrain`](https://github.com/BirgerMoell/qwen35-posttrain)
+- Råa svenska svar: [`eval/swedish-rubric.json`](./swedish-rubric.json)
+- EU-holdout-resultat: [`eval/eu-holdouts-dev.json`](./eu-holdouts-dev.json)
+
+Språkdetektering och automatiska holdout-poäng ska inte tolkas som en fullständig kvalitetsbedömning.
+Kommentarerna ovan är en manuell kvalitativ granskning av de publicerade modellutdata, inte en
+blindad expertstudie.

eval/eu-holdouts-dev.json

@@ -0,0 +1,56 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "n": 1368,
+  "overall_acc": 23.2,
+  "by_bucket": {
+    "civic_safety": 22.4,
+    "grounded_qa": 58.6,
+    "instruction_following": 63.2,
+    "locale_formatting": 0.0,
+    "no_answer": 0.7,
+    "reasoning_math": 5.9,
+    "summarization": 2.6,
+    "tool_calling": 0.0,
+    "translationese_preference": 55.9
+  },
+  "by_language": {
+    "bg": 22.2,
+    "bs": 25.0,
+    "ca": 30.6,
+    "cs": 33.3,
+    "cy": 27.8,
+    "da": 27.8,
+    "de": 16.7,
+    "el": 11.1,
+    "en": 30.6,
+    "es": 38.9,
+    "et": 8.3,
+    "eu": 27.8,
+    "fi": 16.7,
+    "fr": 25.0,
+    "ga": 27.8,
+    "gl": 27.8,
+    "hr": 33.3,
+    "hu": 30.6,
+    "is": 16.7,
+    "it": 25.0,
+    "lb": 30.6,
+    "lt": 11.1,
+    "lv": 16.7,
+    "mk": 22.2,
+    "mt": 16.7,
+    "nl": 16.7,
+    "no": 33.3,
+    "pl": 22.2,
+    "pt": 36.1,
+    "ro": 19.4,
+    "ru": 19.4,
+    "sk": 19.4,
+    "sl": 19.4,
+    "sq": 13.9,
+    "sr": 16.7,
+    "sv": 33.3,
+    "tr": 16.7,
+    "uk": 16.7
+  }
+}

eval/niah-hex-4k.json

@@ -0,0 +1,102 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "rope_theta": 64000000.0,
+  "max_position_embeddings": 262144,
+  "requested_lengths": [
+    4096
+  ],
+  "depths_percent": [
+    0,
+    25,
+    50,
+    75,
+    100
+  ],
+  "max_new_tokens": 64,
+  "results": [
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4059,
+      "depth_percent": 0,
+      "record_id": "record-df7da1cd",
+      "secret": "NIAH-FCB226751FE6",
+      "filler_blocks": 60,
+      "needle_token_index": 49,
+      "needle_prompt_fraction": 0.012072,
+      "answer": "NIAH-FCB226751FE6",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 4.621
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4066,
+      "depth_percent": 25,
+      "record_id": "record-70851b4f",
+      "secret": "NIAH-7D0D2E0AF7B5",
+      "filler_blocks": 60,
+      "needle_token_index": 1042,
+      "needle_prompt_fraction": 0.256272,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.857
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4064,
+      "depth_percent": 50,
+      "record_id": "record-95f06486",
+      "secret": "NIAH-25FFE58F63EB",
+      "filler_blocks": 60,
+      "needle_token_index": 2032,
+      "needle_prompt_fraction": 0.5,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.857
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4065,
+      "depth_percent": 75,
+      "record_id": "record-8e985cf2",
+      "secret": "NIAH-620A863A5A7C",
+      "filler_blocks": 60,
+      "needle_token_index": 3021,
+      "needle_prompt_fraction": 0.743173,
+      "answer": "NIAH-620A863A5A7C",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.439
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4064,
+      "depth_percent": 100,
+      "record_id": "record-95b61ff2",
+      "secret": "NIAH-82AD3E235192",
+      "filler_blocks": 60,
+      "needle_token_index": 4011,
+      "needle_prompt_fraction": 0.986959,
+      "answer": "NIAH-82AD3E235192",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.39
+    }
+  ],
+  "strict_exact_match_grid": {
+    "4096": {
+      "0": true,
+      "25": false,
+      "50": false,
+      "75": true,
+      "100": true
+    }
+  }
+}

eval/niah-hex-long.json

@@ -0,0 +1,351 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "rope_theta": 64000000.0,
+  "max_position_embeddings": 262144,
+  "requested_lengths": [
+    8192,
+    32768,
+    131072,
+    262144
+  ],
+  "depths_percent": [
+    0,
+    25,
+    50,
+    75,
+    100
+  ],
+  "max_new_tokens": 64,
+  "results": [
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8158,
+      "depth_percent": 0,
+      "record_id": "record-8b002158",
+      "secret": "NIAH-B7622D5EE25D",
+      "filler_blocks": 122,
+      "needle_token_index": 52,
+      "needle_prompt_fraction": 0.006374,
+      "answer": "NIAH-B7622D5EE25D",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 12.246
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8154,
+      "depth_percent": 25,
+      "record_id": "record-7dedf730",
+      "secret": "NIAH-C745BD96A5D6",
+      "filler_blocks": 122,
+      "needle_token_index": 2030,
+      "needle_prompt_fraction": 0.248958,
+      "answer": "NIAH-C745BD96A5D6",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 4.736
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8153,
+      "depth_percent": 50,
+      "record_id": "record-42efa78b",
+      "secret": "NIAH-4859184CAD75",
+      "filler_blocks": 122,
+      "needle_token_index": 4076,
+      "needle_prompt_fraction": 0.499939,
+      "answer": "42efa78b",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 2.6
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8155,
+      "depth_percent": 75,
+      "record_id": "record-6f01d6ae",
+      "secret": "NIAH-3BF43AA1B869",
+      "filler_blocks": 122,
+      "needle_token_index": 6123,
+      "needle_prompt_fraction": 0.750828,
+      "answer": "6f01d6ae",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 2.082
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8154,
+      "depth_percent": 100,
+      "record_id": "record-c8da86af",
+      "secret": "NIAH-0A78C2D44DC2",
+      "filler_blocks": 122,
+      "needle_token_index": 8102,
+      "needle_prompt_fraction": 0.993623,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 1.758
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32707,
+      "depth_percent": 0,
+      "record_id": "record-ff160c03",
+      "secret": "NIAH-BCE52943FB70",
+      "filler_blocks": 494,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.001559,
+      "answer": "NIAH-BCE52943FB70",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 10.211
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32709,
+      "depth_percent": 25,
+      "record_id": "record-1855984e",
+      "secret": "NIAH-7AC46E9BB40A",
+      "filler_blocks": 494,
+      "needle_token_index": 8236,
+      "needle_prompt_fraction": 0.251796,
+      "answer": "The passkey for record-1855984e is NIAH-7AC46E9BB40A.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 12.821
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32707,
+      "depth_percent": 50,
+      "record_id": "record-524f75bb",
+      "secret": "NIAH-DB7FD665F149",
+      "filler_blocks": 494,
+      "needle_token_index": 16353,
+      "needle_prompt_fraction": 0.499985,
+      "answer": "The passkey for record-524f75bb is NIAH-DB7FD665F149.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 12.891
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32709,
+      "depth_percent": 75,
+      "record_id": "record-c7336bc6",
+      "secret": "NIAH-24A960D29254",
+      "filler_blocks": 494,
+      "needle_token_index": 24471,
+      "needle_prompt_fraction": 0.748143,
+      "answer": "The passkey for record-c7336bc6 is NIAH-24A960D29254.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 12.983
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32705,
+      "depth_percent": 100,
+      "record_id": "record-93bacde9",
+      "secret": "NIAH-C905A6096888",
+      "filler_blocks": 494,
+      "needle_token_index": 32653,
+      "needle_prompt_fraction": 0.99841,
+      "answer": "NIAH-C905A6096888",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 10.523
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131044,
+      "depth_percent": 0,
+      "record_id": "record-275a8fbf",
+      "secret": "NIAH-F060DF9BE3BD",
+      "filler_blocks": 1984,
+      "needle_token_index": 50,
+      "needle_prompt_fraction": 0.000382,
+      "answer": "The passkey for record-275a8fbf is NIAH-F060DF9BE3BD.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 83.261
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131048,
+      "depth_percent": 25,
+      "record_id": "record-77a65ae3",
+      "secret": "NIAH-51F1F58CC855",
+      "filler_blocks": 1984,
+      "needle_token_index": 32787,
+      "needle_prompt_fraction": 0.250191,
+      "answer": "The passkey for record-77a65ae3 is NIAH-51F1F58CC855.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 84.484
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131045,
+      "depth_percent": 50,
+      "record_id": "record-ef276ebe",
+      "secret": "NIAH-7F94A934229F",
+      "filler_blocks": 1984,
+      "needle_token_index": 65521,
+      "needle_prompt_fraction": 0.499989,
+      "answer": "The passkey for record-ef276ebe is NIAH-7F94A934229F",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 83.533
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131047,
+      "depth_percent": 75,
+      "record_id": "record-4a3ef6f4",
+      "secret": "NIAH-CB433BE20187",
+      "filler_blocks": 1984,
+      "needle_token_index": 98259,
+      "needle_prompt_fraction": 0.7498,
+      "answer": "The passkey for record-4a3ef6f4 is NIAH-CB433BE20187.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 84.008
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131045,
+      "depth_percent": 100,
+      "record_id": "record-311aacd4",
+      "secret": "NIAH-956C7D5E1ACA",
+      "filler_blocks": 1984,
+      "needle_token_index": 130994,
+      "needle_prompt_fraction": 0.999611,
+      "answer": "The passkey for record-311aacd4 is NIAH-956C7D5E1ACA.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 83.52
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262060,
+      "depth_percent": 0,
+      "record_id": "record-28709c4e",
+      "secret": "NIAH-8D2349DA1B8B",
+      "filler_blocks": 3969,
+      "needle_token_index": 52,
+      "needle_prompt_fraction": 0.000198,
+      "answer": "The passkey for record-28709c4e is NIAH-8D2349DA1B8B.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 269.095
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262059,
+      "depth_percent": 25,
+      "record_id": "record-524a19bf",
+      "secret": "NIAH-337054561569",
+      "filler_blocks": 3969,
+      "needle_token_index": 65523,
+      "needle_prompt_fraction": 0.250031,
+      "answer": "The passkey for record-524a19bf is NIAH-337054561569.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 269.044
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262056,
+      "depth_percent": 50,
+      "record_id": "record-b52bade9",
+      "secret": "NIAH-7AFD87186345",
+      "filler_blocks": 3969,
+      "needle_token_index": 130994,
+      "needle_prompt_fraction": 0.49987,
+      "answer": "The passkey for record-b52bade9 is NIAH-7AFD87186345.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 267.341
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262061,
+      "depth_percent": 75,
+      "record_id": "record-3e633807",
+      "secret": "NIAH-E7814D0E171D",
+      "filler_blocks": 3969,
+      "needle_token_index": 196534,
+      "needle_prompt_fraction": 0.749955,
+      "answer": "The passkey for record-3e633807 is NIAH-E7814D0E171D.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 269.949
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262057,
+      "depth_percent": 100,
+      "record_id": "record-f3bbed67",
+      "secret": "NIAH-B147F7228673",
+      "filler_blocks": 3969,
+      "needle_token_index": 262004,
+      "needle_prompt_fraction": 0.999798,
+      "answer": "The passkey for record-f3bbed67 is NIAH-B147F7228673.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 268.271
+    }
+  ],
+  "strict_exact_match_grid": {
+    "8192": {
+      "0": true,
+      "25": true,
+      "50": false,
+      "75": false,
+      "100": false
+    },
+    "32768": {
+      "0": true,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": true
+    },
+    "131072": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    },
+    "262144": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    }
+  }
+}

eval/niah-hex-short.json

@@ -0,0 +1,268 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "rope_theta": 64000000.0,
+  "max_position_embeddings": 262144,
+  "requested_lengths": [
+    512,
+    1024,
+    2048
+  ],
+  "depths_percent": [
+    0,
+    25,
+    50,
+    75,
+    100
+  ],
+  "max_new_tokens": 64,
+  "results": [
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 500,
+      "depth_percent": 0,
+      "record_id": "record-aae65614",
+      "secret": "NIAH-AB3247B9B591",
+      "filler_blocks": 6,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.102,
+      "answer": "The passkey for record-aae65614 is NIAH-AB3247B9B591.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 3.095
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 497,
+      "depth_percent": 25,
+      "record_id": "record-8d9cffdc",
+      "secret": "NIAH-A7E5A1687184",
+      "filler_blocks": 6,
+      "needle_token_index": 181,
+      "needle_prompt_fraction": 0.364185,
+      "answer": "The passkey for record-8d9cffdc is NIAH-A7E5A1687184.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 1.419
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 502,
+      "depth_percent": 50,
+      "record_id": "record-e93061d1",
+      "secret": "NIAH-DC0915401773",
+      "filler_blocks": 6,
+      "needle_token_index": 250,
+      "needle_prompt_fraction": 0.498008,
+      "answer": "The passkey for record-e93061d1 is NIAH-DC0915401773.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 1.528
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 496,
+      "depth_percent": 75,
+      "record_id": "record-b2cd9da0",
+      "secret": "NIAH-5DFDA56185CF",
+      "filler_blocks": 6,
+      "needle_token_index": 314,
+      "needle_prompt_fraction": 0.633065,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.25
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 499,
+      "depth_percent": 100,
+      "record_id": "record-c9ef0694",
+      "secret": "NIAH-564D91EDBD59",
+      "filler_blocks": 6,
+      "needle_token_index": 447,
+      "needle_prompt_fraction": 0.895792,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.246
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 961,
+      "depth_percent": 0,
+      "record_id": "record-b24fe48e",
+      "secret": "NIAH-7CAEE22B2E7B",
+      "filler_blocks": 13,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.05307,
+      "answer": "NIAH-7CAEE22B2E7B",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.772
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 960,
+      "depth_percent": 25,
+      "record_id": "record-3ad943fe",
+      "secret": "NIAH-26AAB31E5781",
+      "filler_blocks": 13,
+      "needle_token_index": 248,
+      "needle_prompt_fraction": 0.258333,
+      "answer": "3ad943fe",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.442
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 963,
+      "depth_percent": 50,
+      "record_id": "record-6fd8c4e9",
+      "secret": "NIAH-473A960D191D",
+      "filler_blocks": 13,
+      "needle_token_index": 447,
+      "needle_prompt_fraction": 0.464174,
+      "answer": "6fd8c4e9",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.499
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 964,
+      "depth_percent": 75,
+      "record_id": "record-13c94c44",
+      "secret": "NIAH-71C0DA7F0742",
+      "filler_blocks": 13,
+      "needle_token_index": 712,
+      "needle_prompt_fraction": 0.738589,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.323
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 960,
+      "depth_percent": 100,
+      "record_id": "record-ea6ea089",
+      "secret": "NIAH-72C028FFC667",
+      "filler_blocks": 13,
+      "needle_token_index": 908,
+      "needle_prompt_fraction": 0.945833,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.308
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2018,
+      "depth_percent": 0,
+      "record_id": "record-e0fb0035",
+      "secret": "NIAH-4205BDE724A8",
+      "filler_blocks": 29,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.025273,
+      "answer": "The passkey for record-e0fb0035 is NIAH-4205BDE724A8.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 1.703
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2018,
+      "depth_percent": 25,
+      "record_id": "record-cb59c6b8",
+      "secret": "NIAH-8803D85E4EA4",
+      "filler_blocks": 29,
+      "needle_token_index": 513,
+      "needle_prompt_fraction": 0.254212,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.479
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2017,
+      "depth_percent": 50,
+      "record_id": "record-bc7f24fa",
+      "secret": "NIAH-5A306607821D",
+      "filler_blocks": 29,
+      "needle_token_index": 974,
+      "needle_prompt_fraction": 0.482895,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.478
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2020,
+      "depth_percent": 75,
+      "record_id": "record-f70c7b1f",
+      "secret": "NIAH-415D3F7DED23",
+      "filler_blocks": 29,
+      "needle_token_index": 1504,
+      "needle_prompt_fraction": 0.744554,
+      "answer": "The passkey for record-f70c7b1f is NIAH-415D3F7DED23.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 1.764
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2019,
+      "depth_percent": 100,
+      "record_id": "record-f1e11ba5",
+      "secret": "NIAH-1653002D2F6B",
+      "filler_blocks": 29,
+      "needle_token_index": 1965,
+      "needle_prompt_fraction": 0.973254,
+      "answer": "N/A",
+      "strict_exact_match": false,
+      "contains_match": false,
+      "elapsed_seconds": 0.479
+    }
+  ],
+  "strict_exact_match_grid": {
+    "512": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    },
+    "1024": {
+      "0": true,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    },
+    "2048": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    }
+  }
+}

eval/niah-word-long.json

@@ -0,0 +1,269 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "rope_theta": 64000000.0,
+  "max_position_embeddings": 262144,
+  "requested_lengths": [
+    32768,
+    131072,
+    262144
+  ],
+  "depths_percent": [
+    0,
+    25,
+    50,
+    75,
+    100
+  ],
+  "max_new_tokens": 64,
+  "secret_style": "words",
+  "results": [
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32764,
+      "depth_percent": 0,
+      "record_id": "record-ff160c03",
+      "secret": "violet-dawn-forest",
+      "filler_blocks": 495,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.001557,
+      "answer": "The passkey for record-ff160c03 is violet-dawn-forest.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 15.198
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32768,
+      "depth_percent": 25,
+      "record_id": "record-1855984e",
+      "secret": "stone-coral-lantern",
+      "filler_blocks": 495,
+      "needle_token_index": 8236,
+      "needle_prompt_fraction": 0.251343,
+      "answer": "The passkey for record-1855984e is stone-coral-lantern.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 11.669
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32765,
+      "depth_percent": 50,
+      "record_id": "record-524f75bb",
+      "secret": "sunrise-wren-raven",
+      "filler_blocks": 495,
+      "needle_token_index": 16419,
+      "needle_prompt_fraction": 0.501114,
+      "answer": "sunrise-wren-raven",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 9.21
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32764,
+      "depth_percent": 75,
+      "record_id": "record-c7336bc6",
+      "secret": "coral-forest-amber",
+      "filler_blocks": 495,
+      "needle_token_index": 24537,
+      "needle_prompt_fraction": 0.748901,
+      "answer": "The passkey for record-c7336bc6 is coral-forest-amber.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 11.221
+    },
+    {
+      "requested_length": 32768,
+      "target_input_length": 32768,
+      "actual_input_tokens": 32760,
+      "depth_percent": 100,
+      "record_id": "record-93bacde9",
+      "secret": "forest-dawn-ember",
+      "filler_blocks": 495,
+      "needle_token_index": 32719,
+      "needle_prompt_fraction": 0.998748,
+      "answer": "forest-dawn-ember",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 8.901
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131037,
+      "depth_percent": 0,
+      "record_id": "record-275a8fbf",
+      "secret": "mist-amber-wren",
+      "filler_blocks": 1984,
+      "needle_token_index": 50,
+      "needle_prompt_fraction": 0.000382,
+      "answer": "The passkey for record-275a8fbf is mist-amber-wren.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 79.056
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131038,
+      "depth_percent": 25,
+      "record_id": "record-77a65ae3",
+      "secret": "north-north-pine",
+      "filler_blocks": 1984,
+      "needle_token_index": 32787,
+      "needle_prompt_fraction": 0.25021,
+      "answer": "The passkey for record-77a65ae3 is north-north-pine.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 79.075
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131035,
+      "depth_percent": 50,
+      "record_id": "record-ef276ebe",
+      "secret": "wren-pearl-forest",
+      "filler_blocks": 1984,
+      "needle_token_index": 65521,
+      "needle_prompt_fraction": 0.500027,
+      "answer": "The passkey for record-ef276ebe is wren-pearl-forest.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 78.615
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131041,
+      "depth_percent": 75,
+      "record_id": "record-4a3ef6f4",
+      "secret": "hazel-cedar-sunrise",
+      "filler_blocks": 1984,
+      "needle_token_index": 98259,
+      "needle_prompt_fraction": 0.749834,
+      "answer": "The passkey for record-4a3ef6f4 is hazel-cedar-sunrise.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 80.477
+    },
+    {
+      "requested_length": 131072,
+      "target_input_length": 131072,
+      "actual_input_tokens": 131037,
+      "depth_percent": 100,
+      "record_id": "record-311aacd4",
+      "secret": "pine-island-willow",
+      "filler_blocks": 1984,
+      "needle_token_index": 130994,
+      "needle_prompt_fraction": 0.999672,
+      "answer": "The passkey for record-311aacd4 is pine-island-willow.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 79.089
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262052,
+      "depth_percent": 0,
+      "record_id": "record-28709c4e",
+      "secret": "juniper-cedar-forest",
+      "filler_blocks": 3969,
+      "needle_token_index": 52,
+      "needle_prompt_fraction": 0.000198,
+      "answer": "The passkey for record-28709c4e is juniper-cedar-forest.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 259.727
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262048,
+      "depth_percent": 25,
+      "record_id": "record-524a19bf",
+      "secret": "otter-mist-pearl",
+      "filler_blocks": 3969,
+      "needle_token_index": 65523,
+      "needle_prompt_fraction": 0.250042,
+      "answer": "The passkey for record-524a19bf is otter-mist-pearl.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 257.04
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262048,
+      "depth_percent": 50,
+      "record_id": "record-b52bade9",
+      "secret": "stone-willow-falcon",
+      "filler_blocks": 3969,
+      "needle_token_index": 130994,
+      "needle_prompt_fraction": 0.499886,
+      "answer": "The passkey for record-b52bade9 is \"stone-willow-falcon\".",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 258.775
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262052,
+      "depth_percent": 75,
+      "record_id": "record-3e633807",
+      "secret": "falcon-anchor-juniper",
+      "filler_blocks": 3969,
+      "needle_token_index": 196534,
+      "needle_prompt_fraction": 0.749981,
+      "answer": "The passkey for record-3e633807 is \"falcon-anchor-juniper\".",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 260.509
+    },
+    {
+      "requested_length": 262144,
+      "target_input_length": 262080,
+      "actual_input_tokens": 262047,
+      "depth_percent": 100,
+      "record_id": "record-f3bbed67",
+      "secret": "north-falcon-river",
+      "filler_blocks": 3969,
+      "needle_token_index": 262004,
+      "needle_prompt_fraction": 0.999836,
+      "answer": "The passkey for record-f3bbed67 is north-falcon-river.",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 257.018
+    }
+  ],
+  "strict_exact_match_grid": {
+    "32768": {
+      "0": false,
+      "25": false,
+      "50": true,
+      "75": false,
+      "100": true
+    },
+    "131072": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    },
+    "262144": {
+      "0": false,
+      "25": false,
+      "50": false,
+      "75": false,
+      "100": false
+    }
+  }
+}

eval/niah-word-short.json

@@ -0,0 +1,435 @@
+{
+  "model": "/scratch/project_465002530/users/bmoell/qwen35-posttrain/output/oellm9b-256k-sft-bf16",
+  "rope_theta": 64000000.0,
+  "max_position_embeddings": 262144,
+  "requested_lengths": [
+    512,
+    1024,
+    2048,
+    4096,
+    8192
+  ],
+  "depths_percent": [
+    0,
+    25,
+    50,
+    75,
+    100
+  ],
+  "max_new_tokens": 64,
+  "secret_style": "words",
+  "results": [
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 492,
+      "depth_percent": 0,
+      "record_id": "record-aae65614",
+      "secret": "hazel-ocean-falcon",
+      "filler_blocks": 6,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.103659,
+      "answer": "hazel-ocean-falcon",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 2.126
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 487,
+      "depth_percent": 25,
+      "record_id": "record-8d9cffdc",
+      "secret": "falcon-dawn-anchor",
+      "filler_blocks": 6,
+      "needle_token_index": 181,
+      "needle_prompt_fraction": 0.371663,
+      "answer": "falcon-dawn-anchor",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.395
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 492,
+      "depth_percent": 50,
+      "record_id": "record-e93061d1",
+      "secret": "violet-forest-pine",
+      "filler_blocks": 6,
+      "needle_token_index": 250,
+      "needle_prompt_fraction": 0.50813,
+      "answer": "violet-forest-pine",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.392
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 490,
+      "depth_percent": 75,
+      "record_id": "record-b2cd9da0",
+      "secret": "willow-willow-dawn",
+      "filler_blocks": 6,
+      "needle_token_index": 314,
+      "needle_prompt_fraction": 0.640816,
+      "answer": "willow-willow-dawn",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.438
+    },
+    {
+      "requested_length": 512,
+      "target_input_length": 512,
+      "actual_input_tokens": 491,
+      "depth_percent": 100,
+      "record_id": "record-c9ef0694",
+      "secret": "raven-juniper-north",
+      "filler_blocks": 6,
+      "needle_token_index": 447,
+      "needle_prompt_fraction": 0.910387,
+      "answer": "raven-juniper-north",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.393
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 1020,
+      "depth_percent": 0,
+      "record_id": "record-b24fe48e",
+      "secret": "violet-lantern-birch",
+      "filler_blocks": 14,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.05,
+      "answer": "violet-lantern-birch",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.565
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 1017,
+      "depth_percent": 25,
+      "record_id": "record-3ad943fe",
+      "secret": "ember-harbor-otter",
+      "filler_blocks": 14,
+      "needle_token_index": 314,
+      "needle_prompt_fraction": 0.308751,
+      "answer": "ember-harbor-otter",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.475
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 1019,
+      "depth_percent": 50,
+      "record_id": "record-6fd8c4e9",
+      "secret": "falcon-stone-raven",
+      "filler_blocks": 14,
+      "needle_token_index": 513,
+      "needle_prompt_fraction": 0.503435,
+      "answer": "falcon-stone-raven",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.477
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 1020,
+      "depth_percent": 75,
+      "record_id": "record-13c94c44",
+      "secret": "north-amber-stone",
+      "filler_blocks": 14,
+      "needle_token_index": 712,
+      "needle_prompt_fraction": 0.698039,
+      "answer": "north-amber-stone",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.429
+    },
+    {
+      "requested_length": 1024,
+      "target_input_length": 1024,
+      "actual_input_tokens": 1016,
+      "depth_percent": 100,
+      "record_id": "record-ea6ea089",
+      "secret": "ocean-amber-fjord",
+      "filler_blocks": 14,
+      "needle_token_index": 974,
+      "needle_prompt_fraction": 0.958661,
+      "answer": "ocean-amber-fjord",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.423
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2009,
+      "depth_percent": 0,
+      "record_id": "record-e0fb0035",
+      "secret": "birch-dawn-willow",
+      "filler_blocks": 29,
+      "needle_token_index": 51,
+      "needle_prompt_fraction": 0.025386,
+      "answer": "birch-dawn-willow",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.681
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2010,
+      "depth_percent": 25,
+      "record_id": "record-cb59c6b8",
+      "secret": "fjord-cedar-silver",
+      "filler_blocks": 29,
+      "needle_token_index": 513,
+      "needle_prompt_fraction": 0.255224,
+      "answer": "fjord-cedar-silver",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.629
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2006,
+      "depth_percent": 50,
+      "record_id": "record-bc7f24fa",
+      "secret": "stone-mist-ember",
+      "filler_blocks": 29,
+      "needle_token_index": 974,
+      "needle_prompt_fraction": 0.485543,
+      "answer": "stone-mist-ember",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.58
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2012,
+      "depth_percent": 75,
+      "record_id": "record-f70c7b1f",
+      "secret": "anchor-willow-wren",
+      "filler_blocks": 29,
+      "needle_token_index": 1504,
+      "needle_prompt_fraction": 0.747515,
+      "answer": "passkey-anchor-willow-wren",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 0.812
+    },
+    {
+      "requested_length": 2048,
+      "target_input_length": 2048,
+      "actual_input_tokens": 2008,
+      "depth_percent": 100,
+      "record_id": "record-f1e11ba5",
+      "secret": "raven-otter-amber",
+      "filler_blocks": 29,
+      "needle_token_index": 1965,
+      "needle_prompt_fraction": 0.978586,
+      "answer": "raven-otter-amber",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.574
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4050,
+      "depth_percent": 0,
+      "record_id": "record-df7da1cd",
+      "secret": "violet-ocean-ember",
+      "filler_blocks": 60,
+      "needle_token_index": 49,
+      "needle_prompt_fraction": 0.012099,
+      "answer": "violet-ocean-ember",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 0.985
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4059,
+      "depth_percent": 25,
+      "record_id": "record-70851b4f",
+      "secret": "willow-juniper-lantern",
+      "filler_blocks": 60,
+      "needle_token_index": 1042,
+      "needle_prompt_fraction": 0.256713,
+      "answer": "willow-juniper-lantern",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.084
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4057,
+      "depth_percent": 50,
+      "record_id": "record-95f06486",
+      "secret": "dawn-wren-dawn",
+      "filler_blocks": 60,
+      "needle_token_index": 2032,
+      "needle_prompt_fraction": 0.500863,
+      "answer": "passkey-for-record-95f06486-is-dawn-wren-dawn",
+      "strict_exact_match": false,
+      "contains_match": true,
+      "elapsed_seconds": 1.861
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4055,
+      "depth_percent": 75,
+      "record_id": "record-8e985cf2",
+      "secret": "birch-harbor-ember",
+      "filler_blocks": 60,
+      "needle_token_index": 3021,
+      "needle_prompt_fraction": 0.745006,
+      "answer": "birch-harbor-ember",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.035
+    },
+    {
+      "requested_length": 4096,
+      "target_input_length": 4096,
+      "actual_input_tokens": 4055,
+      "depth_percent": 100,
+      "record_id": "record-95b61ff2",
+      "secret": "birch-juniper-winter",
+      "filler_blocks": 60,
+      "needle_token_index": 4011,
+      "needle_prompt_fraction": 0.989149,
+      "answer": "birch-juniper-winter",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.034
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8150,
+      "depth_percent": 0,
+      "record_id": "record-8b002158",
+      "secret": "river-birch-juniper",
+      "filler_blocks": 122,
+      "needle_token_index": 52,
+      "needle_prompt_fraction": 0.00638,
+      "answer": "river-birch-juniper",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.854
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8146,
+      "depth_percent": 25,
+      "record_id": "record-7dedf730",
+      "secret": "falcon-dawn-willow",
+      "filler_blocks": 122,
+      "needle_token_index": 2030,
+      "needle_prompt_fraction": 0.249202,
+      "answer": "falcon-dawn-willow",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.855
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8146,
+      "depth_percent": 50,
+      "record_id": "record-42efa78b",
+      "secret": "fjord-spruce-silver",
+      "filler_blocks": 122,
+      "needle_token_index": 4076,
+      "needle_prompt_fraction": 0.500368,
+      "answer": "fjord-spruce-silver",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.796
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8146,
+      "depth_percent": 75,
+      "record_id": "record-6f01d6ae",
+      "secret": "sunrise-pearl-stone",
+      "filler_blocks": 122,
+      "needle_token_index": 6123,
+      "needle_prompt_fraction": 0.751657,
+      "answer": "sunrise-pearl-stone",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.796
+    },
+    {
+      "requested_length": 8192,
+      "target_input_length": 8192,
+      "actual_input_tokens": 8145,
+      "depth_percent": 100,
+      "record_id": "record-c8da86af",
+      "secret": "harbor-silver-birch",
+      "filler_blocks": 122,
+      "needle_token_index": 8102,
+      "needle_prompt_fraction": 0.994721,
+      "answer": "harbor-silver-birch",
+      "strict_exact_match": true,
+      "contains_match": true,
+      "elapsed_seconds": 1.857
+    }
+  ],
+  "strict_exact_match_grid": {
+    "512": {
+      "0": true,
+      "25": true,
+      "50": true,
+      "75": true,
+      "100": true
+    },
+    "1024": {
+      "0": true,
+      "25": true,
+      "50": true,
+      "75": true,
+      "100": true
+    },
+    "2048": {
+      "0": true,
+      "25": true,
+      "50": true,
+      "75": false,
+      "100": true
+    },
+    "4096": {
+      "0": true,
+      "25": true,
+      "50": false,
+      "75": true,
+      "100": true
+    },
+    "8192": {
+      "0": true,
+      "25": true,
+      "50": true,
+      "75": true,
+      "100": true
+    }
+  }
+}

eval/swedish-rubric.json

@@ -0,0 +1,255 @@
+{
+  "model": "birgermoell/oellm-9b-256k-sft",
+  "n": 24,
+  "summary": {
+    "sv_purity": 0.96,
+    "sprakkvalitet": null,
+    "korrekthet": null,
+    "instruktion": null,
+    "hjalpsamhet": null
+  },
+  "by_category": {
+    "instruktion": {
+      "n": 3,
+      "sv_purity": 0.67,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "kreativt": {
+      "n": 2,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "kunskap_allmän": {
+      "n": 1,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "kunskap_sverige": {
+      "n": 3,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "resonemang": {
+      "n": 4,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "sammanfattning": {
+      "n": 2,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "sentiment": {
+      "n": 3,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "sprakriktighet": {
+      "n": 3,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    },
+    "vardagskunskap": {
+      "n": 3,
+      "sv_purity": 1.0,
+      "sprakkvalitet": null,
+      "korrekthet": null,
+      "instruktion": null,
+      "hjalpsamhet": null
+    }
+  },
+  "results": [
+    {
+      "category": "sentiment",
+      "prompt": "Analysera känslan i följande recension och avgör om den är positiv, negativ eller neutral. Motivera kort. Recension: \"Maten var god men servicen var långsam och lokalen kändes sliten.\"",
+      "answer": "Känslan i recensionen är neutral. Recensionen beskriver maten som god, men nämner att servicen var långsam och lokalen kändes sliten. Detta indikerar att recensenten var nöjd med maten, men var mindre nöjd med servicen och lokalens tillstånd.",
+      "sv_purity": 1.0,
+      "words": 37
+    },
+    {
+      "category": "sentiment",
+      "prompt": "Är följande kundkommentar positiv eller negativ? Förklara varför. \"Jag hade höga förväntningar men blev tyvärr besviken på kvaliteten.\"",
+      "answer": "Kundkommentaren är negativ. Detta beror på att kundens förväntningar var höga, men de blev besvikna på kvaliteten. Kundens förväntningar var höga, vilket innebär att de hade höga förväntningar på produkten eller tjänsten de köpte. Men deras förväntningar blev inte uppfyllda, vilket ledde till besvikelse. Kundens förväntningar var höga, men produkten eller tjänsten var inte av god kvalitet, vilket ledde till besvikelse. Kundkommentaren är negativ eftersom den uttrycker en negativ känsla och förväntningar som inte uppfylldes.",
+      "sv_purity": 1.0,
+      "words": 75
+    },
+    {
+      "category": "sentiment",
+      "prompt": "Vilken känsla uttrycker denna tweet, och hur säker är du? \"Äntligen fredag! Helgen kan inte komma snabbt nog.\"",
+      "answer": "Känslan som uttrycks i tweetet är en positiv känsla av förväntan och förväntan. Jag är 99% säker på detta.",
+      "sv_purity": 1.0,
+      "words": 19
+    },
+    {
+      "category": "kunskap_sverige",
+      "prompt": "Vilka är Sveriges tre största sjöar till ytan, i storleksordning?",
+      "answer": "De tre största sjöarna till ytan i Sverige är Vänern, Vättern och Mälaren. Vänern är den största sjö som finns i Sverige, med en yta på 25 650 km², följt av Vättern med en yta på 12 388 km² och Mälaren med en yta på 10 907 km².",
+      "sv_purity": 1.0,
+      "words": 48
+    },
+    {
+      "category": "kunskap_sverige",
+      "prompt": "Förklara kortfattat hur det svenska riksdagsvalet fungerar och vad fyraprocentsspärren innebär.",
+      "answer": "Det svenska riksdagsvalet är ett direktval där medborgarna röstar på kandidater från olika partier. Valet sker vart fjärde år och är ett av de mest jämna valen i världen. I valet röstar medborgarna på de kandidater som de vill se väljas till riksdagen.\n\nFyraprocentsspärren innebär att en politisk part måste ha minst fyra procent av rösterna för att få in en riksdagskandidat i riksdagen. Detta är en form av valsystem som syftar till att minska antalet partier i riksdagen och att skapa en mer stabil politisk ordning.",
+      "sv_purity": 1.0,
+      "words": 87
+    },
+    {
+      "category": "kunskap_sverige",
+      "prompt": "Vem var Selma Lagerlöf och varför är hon viktig i svensk litteraturhistoria?",
+      "answer": "Selma Lagerlöf var en svensk f��rfattare som skrev bl.a. romanen \"Göran och Gösta\" och \"Trollkarlen från Österrike\". Hon är viktig i svensk litteraturhistoria eftersom hon var en av de mest populära författarna under 1800- och 1900-talen och har skrivit mer än 30 böcker. Dessutom var hon den första kvinnliga författaren i Sverige som vann Nobelpriset i litteratur, en ära som hon fick 1909.",
+      "sv_purity": 1.0,
+      "words": 63
+    },
+    {
+      "category": "resonemang",
+      "prompt": "En affär säljer äpplen för 12 kronor styck. Om du köper 7 äpplen och betalar med en hundralapp, hur mycket får du tillbaka? Visa uträkningen.",
+      "answer": "För att beräkna hur mycket du får tillbaka när du köper 7 äpplen för 12 kronor styck och betalar med en hundralapp, kan du följa dessa steg:\n\n1. Beräkna kostnaden för äpplena:\n   \\[\n   7 \\text{ äpplen} \\times 12 \\text{ kr/äpple} = 84 \\text{ kr}\n   \\]\n\n2. Beräkna hur mycket du betalar:\n   \\[\n   84 \\text{ kr}\n   \\]\n\n3. Beräkna hur mycket du får tillbaka:\n   \\[\n   84 \\text{ kr} - 100 \\text{ kr} = -16 \\text{ kr}\n   \\]\n\nDetta innebär att du får tillbaka 16 kronor.",
+      "sv_purity": 1.0,
+      "words": 84
+    },
+    {
+      "category": "resonemang",
+      "prompt": "Anna är dubbelt så gammal som Erik. Om fem år är deras sammanlagda ålder 40 år. Hur gamla är de nu? Resonera steg för steg.",
+      "answer": "För att lösa problemet behöver vi först bestämma hur gamla Anna och Erik är nu.\n\nVi vet att Anna är dubbelt så gammal som Erik. Detta innebär att Anna är 2 * Erik.\n\nOm fem år kommer deras sammanlagda ålder att vara 40 år. Så vi kan skriva en ekvation för att representera detta:\n\nAnna + Erik = 40\n\nMed tanke på att Anna är 2 * Erik, ersätter vi Erik med 2 * Erik:\n\n2 * Erik + Erik = 40\n\nDetta förenklas till:\n\n3 * Erik = 40\n\nFör att lösa för Erik delar vi båda sidor av ekvationen med 3:\n\nErik = 40 / 3\n\nDärför är Erik 13 år gammal nu.\n\nDärför är Anna 2 * Erik = 2 * 13 = 26 år gammal nu.\n\nSammanfattningsvis är Anna och Erik båda 26 år gamla nu.",
+      "sv_purity": 1.0,
+      "words": 140
+    },
+    {
+      "category": "resonemang",
+      "prompt": "Om alla katter är däggdjur och vissa däggdjur kan simma, kan man då dra slutsatsen att vissa katter kan simma? Förklara logiken.",
+      "answer": "## Steg 1: Förstå hypotesen\nHypotesen är att om alla katter är däggdjur och vissa däggdjur kan simma, kan man då dra slutsatsen att vissa katter kan simma.\n\n## Steg 2: Identifiera det hypotetiska fallet\nHypotetiskt fall är att vissa katter kan simma.\n\n## Steg 3: Analysera logiken\nFör att dra slutsatsen att vissa katter kan simma från hypotesen att alla katter är däggdjur och vissa däggdjur kan simma, måste vi identifiera den logiska relationen mellan hypotesen och det hypotetiska fallet.\n\n## Steg 4: Identifiera den logiska relationen\nFör att dra slutsatsen att vissa katter kan simma måste vi identifiera att vissa katter kan simma är en logisk konsekvens av hypotesen.\n\n## Steg 5: Tillhandahålla logiken\nDen logiska relationen kan beskrivas som \"Om alla katter är däggdjur och vissa däggdjur kan simma, kan man då dra slutsatsen att vissa katter kan simma.\" Detta kan också skrivas som",
+      "sv_purity": 1.0,
+      "words": 147
+    },
+    {
+      "category": "sammanfattning",
+      "prompt": "Sammanfatta följande text i en mening: \"Klimatförändringarna påverkar redan Sverige genom mildare vintrar, ökad nederbörd och stigande havsnivåer. Forskare varnar för att vissa arter kan försvinna medan nya etablerar sig, vilket förändrar de svenska ekosystemen i grunden.\"",
+      "answer": "Klimatförändringarna påverkar Sverige genom mildare vintrar, ökad nederbörd och stigande havsnivåer.",
+      "sv_purity": 1.0,
+      "words": 11
+    },
+    {
+      "category": "sammanfattning",
+      "prompt": "Ge en kort sammanfattning (max tre meningar) av vad nyheten handlar om: \"Regeringen presenterade idag en ny satsning på järnvägsunderhåll. Satsningen omfattar tio miljarder kronor över fyra år och syftar till att minska förseningarna i tågtrafiken. Oppositionen menar att beloppet är otillräckligt.\"",
+      "answer": "Regeringen presenterade idag en ny satsning på järnvägsunderhåll, som omfattar tio miljarder kronor över fyra år. Satsningen syftar till att minska förseningarna i tågtrafiken. Oppositionen menar att beloppet är otillräckligt.",
+      "sv_purity": 1.0,
+      "words": 30
+    },
+    {
+      "category": "sprakriktighet",
+      "prompt": "Rätta eventuella grammatik- och stavfel i meningen och förklara vad du ändrade: \"Han gick till affären för att köpa mjölk men han glömde sin plånbok hemma så han kunde inte handlade något.\"",
+      "answer": "Han gick till affären för att köpa mjölk men han glömde sin plånbok hemma så han kunde inte handlade något.\n\nFörst och främst, jag bytte ut ordet \"handlade\" mot \"handlade\". Det är ett korrekt verb, men \"handlade\" är ett intransitivesverb som inte kräver ett objekt (det vill säga, ett substantiv eller pronomen). Därför är det felaktigt att använda det som ett transitivesverb som kräver ett objekt. Jag valde att ändra det till \"handlade\" eftersom det är ett mer korrekt verb i sammanhanget.\n\nSedan, jag ändrade \"glömde\" till \"glömde\". Det är ett enkelt förflutet particip som används för att beskriva en handling som är fullbordad i förflutet. Men jag ville använda ett verb som var mer formellt och korrekt, så jag valde \"glömde\" istället.\n\nSlutligen, jag ändrade \"han kunde inte handlade\" till \"han kunde inte handlade\". Jag ändrade detta uttryck till \"han kunde inte handlade\" eftersom \"handlade\" redan är ett verb som används för att beskriva en handling, så det är redundant att använda \"handlade\"",
+      "sv_purity": 1.0,
+      "words": 164
+    },
+    {
+      "category": "sprakriktighet",
+      "prompt": "Är följande mening grammatiskt korrekt svenska? Om inte, skriv den korrekt: \"De hade redan ätit middag när vi kom fram till restaurangen.\"",
+      "answer": "Meningarna är grammatiskt korrekta.",
+      "sv_purity": 1.0,
+      "words": 4
+    },
+    {
+      "category": "sprakriktighet",
+      "prompt": "Förklara skillnaden mellan \"de\" och \"dem\" och ge ett exempel på korrekt användning av vardera.",
+      "answer": "\"De\" och \"dem\" är två olika pronomen som används för att hänvisa till olika objekt eller personer. \"De\" används för att hänvisa till en grupp personer, medan \"dem\" används för att hänvisa till en specifik grupp personer.\n\nHär är ett exempel på korrekt användning av vardera:\n\n* \"De\" används för att hänvisa till en grupp personer som är okända eller som inte har specificerats. Till exempel: \"De kom till festen igår kväll.\"\n\n* \"Dem\" används för att hänvisa till en specifik grupp personer som har specificerats tidigare. Till exempel: \"Dem sa att de skulle komma till festen igår kväll.\"\n\nDet är viktigt att notera att \"de\" och \"dem\" används för att hänvisa till olika objekt eller personer, och att de har olika betydelser.",
+      "sv_purity": 1.0,
+      "words": 123
+    },
+    {
+      "category": "instruktion",
+      "prompt": "Skriv en punktlista med exakt fyra tips för att sova bättre. Varje punkt ska vara högst tio ord lång.",
+      "answer": "- Håll en regelbunden sömnrutin.\n- Skapa en avslappnande sovmiljö.\n- Undvik koffein på kvällen.\n- Använd en varm dusch för att lugna kroppen.",
+      "sv_purity": 1.0,
+      "words": 24
+    },
+    {
+      "category": "instruktion",
+      "prompt": "Skriv ett formellt mejl på svenska till en hyresvärd där du anmäler en trasig diskmaskin och ber om reparation. Håll det under 80 ord.",
+      "answer": "Kära hyresvärd,\n\nJag vill informera om att diskmaskinen i lägenheten [lägenhetsnummer] är trasig. Jag ber om att få en reparation snarast.\n\nMed vänliga hälsningar,\n[Ditt namn]",
+      "sv_purity": 1.0,
+      "words": 26
+    },
+    {
+      "category": "instruktion",
+      "prompt": "Lista fem svenska städer i bokstavsordning, en per rad, utan någon annan text.",
+      "answer": "A-s-t-a-n\nA-r-e-s-t-a-\nB-y-s-t-a-\nC-h-a-n-\nD-e-l-f-o-\nE-m-m-a-\nF-r-o-",
+      "sv_purity": 0.0,
+      "words": 7
+    },
+    {
+      "category": "vardagskunskap",
+      "prompt": "Det regnar ute och du ska cykla till jobbet. Vad bör du tänka på? Ge tre praktiska råd.",
+      "answer": "När du ska cykla i regn kan det vara svårt att se var du ska cykla, så det är viktigt att tänka på säkerhet och hålla dig torr. Det är bra att ha en reflex på cykeln, så att du syns när du cyklar i mörker och dimma. Det är också bra att ha ett bra par cykelhandskar som skyddar dig mot regn och kyla.\n\nFör att hålla dig torr och varm kan du också ha en vattentät jacka och vantar. Det är också bra att ha ett bra par cykelhandskar som skyddar dig mot regn och kyla. Det är också bra att ha ett bra par cykelhandskar som skyddar dig mot regn och kyla.",
+      "sv_purity": 1.0,
+      "words": 115
+    },
+    {
+      "category": "vardagskunskap",
+      "prompt": "Varför är det en dålig idé att lämna mjölk framme på köksbänken över natten?",
+      "answer": "Att lämna mjölk framme på köksbänken över natten kan leda till att bakterier börjar växa i mjölken. Mjölk är en bra växtplats för bakterier eftersom den innehåller protein, socker, vatten och näringsämnen som bakterierna behöver för att växa. När mjölk lämnas framme på köksbänken kan bakterierna komma in i mjölken och börja föröka sig. Detta kan leda till att mjölken blir dålig och kan orsaka magbesvär eller andra hälsoproblem. Det är därför viktigt att alltid kyla mjölk och andra mjölkprodukter efter användning och att inte lämna dem framme på köksbänken över natten.",
+      "sv_purity": 1.0,
+      "words": 92
+    },
+    {
+      "category": "vardagskunskap",
+      "prompt": "En vän säger att hen känner sig stressad inför ett jobbintervju imorgon. Vad kan du säga för att hjälpa och lugna?",
+      "answer": "Jag kan förstå hur stressande det kan vara inför en jobbintervju. Det är viktigt att du tar hand om dig själv och tar det lugnt. Här är några saker du kan göra:\n\n1. Sova tillräckligt: Se till att du får tillräckligt med sömn kvällen innan intervjun.\n2. Ät en hälsosam kost: Se till att du äter en balanserad kost och att du dricker tillräckligt med vatten.\n3. Ta det lugnt: Kom ihåg att du kan inte kontrollera allt och att det är okej att vara nervös.\n4. Sätt realistiska förväntningar: Sätt realistiska förväntningar på dig själv och försök att fokusera på det positiva.\n5. Var positiv: Försök att tänka positivt och se intervjun som en möjlighet att visa vad du kan.\n6. Ta en paus: Om du känner dig stressad, ta en kort paus för att andas djupt och lugna ner dig.\n7. Ta med en kram: Om du känner dig nervös, ta med en kram som du kan använda när du behöver en extra boost av lugn.\n\nKom ihåg att du är redo för intervjun och att du har",
+      "sv_purity": 1.0,
+      "words": 180
+    },
+    {
+      "category": "kreativt",
+      "prompt": "Skriv en kort dikt på fyra rader om den svenska hösten.",
+      "answer": "En varm höst vind blåser genom trädgården.\nFrukten hänger så där så fint på ett gren.\nSolnedgången går ned i blåsten så fint.\nHösten är en härlig tid i Sverige.",
+      "sv_purity": 1.0,
+      "words": 30
+    },
+    {
+      "category": "kreativt",
+      "prompt": "Hitta på en kort berättelse (cirka 100 ord) om en räv som hittar en försvunnen vante i skogen.",
+      "answer": "En vante låg gömd bland buskar och grenar. Rävens nos luktade på den och den var täckt av snö. Hon hade hittat en försvunnen vante. Hon tittade runt och kunde inte se någon annan. Hon kunde inte förstå varför någon hade tappat bort en sådan sak. Hon kunde inte låta bli att fnissa lite åt den. Hon försökte få bort snön från vantens vrist och såg att den var stor. Hon började springa iväg med den i munnen.",
+      "sv_purity": 1.0,
+      "words": 78
+    },
+    {
+      "category": "kunskap_allmän",
+      "prompt": "Förklara för ett barn varför himlen är blå, på enkel svenska.",
+      "answer": "Himlen är blå på grund av hur ljuset från solen studsar av små partiklar i luften. Partiklarna är som små pärlor som sprider ljuset och gör det blå. När vi tittar upp mot himlen ser vi alla dessa pärlor, som gör att himlen ser blå ut. Och eftersom himlen är blå, så är den också ganska fin att titta på!",
+      "sv_purity": 1.0,
+      "words": 60
+    },
+    {
+      "category": "resonemang",
+      "prompt": "Vad är meningen med livet? Svara reflekterande i några meningar.",
+      "answer": "Det finns ingen exakt definition på vad \"meningen med livet\" är. Men många människor har olika synpunkter på vad som kan vara meningen med livet. Det kan vara att leva ett meningsfullt och rikt liv, att bidra till samhället och att vara en god och rättvis människa. Andra kan se det som att leva efter en viss tro eller lära, som att följa en religiös väg eller att leva enligt en viss moralisk kod. Vad som är meningen med livet kan också variera beroende på individens personliga värderingar, erfarenheter och perspektiv.",
+      "sv_purity": 1.0,
+      "words": 91
+    }
+  ]
+}

export_validation.json

@@ -0,0 +1,14 @@
+{
+  "source_checkpoint": "oellm9b-256k-sft",
+  "base_model": "openeurollm/oellm-9b-256k-theta64m-prelude",
+  "dtype": "bfloat16",
+  "max_position_embeddings": 262144,
+  "rope_theta": 64000000,
+  "eos_token": "<end_of_turn>",
+  "eos_token_id": 4,
+  "pad_token_id": 262144,
+  "shards": 4,
+  "tensors": 399,
+  "bf16_tensors": 399,
+  "weight_bytes": 18203941840
+}

generation_config.json

@@ -0,0 +1,8 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 4,
+  "pad_token_id": 262144,
+  "transformers_version": "5.12.1",
+  "use_cache": true
+}

model-00001-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7264acd56f41e2a7cc3a742baf20e79798a052e08ba649c947b8a25186118ed2
+size 4999646088

model-00002-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:778a01306bdb9b2c18e3f7f6249f194c466e6d6cef95de6c1fdac67bc5bc49a4
+size 4915951584

model-00003-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a1a25373b931a7a749088750debeb694bc073e338d8b530e422ca1f6575f34d4
+size 4915960368

model-00004-of-00004.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a5e75a84f59312abe6c438ad481d0aa91fcddab33ba2dacd3d585527385400c5
+size 3372383800

model.safetensors.index.json

@@ -0,0 +1,407 @@
+{
+  "metadata": {
+    "total_parameters": 9101947904,
+    "total_size": 18203895808
+  },
+  "weight_map": {
+    "lm_head.weight": "model-00001-of-00004.safetensors",
+    "model.embed_tokens.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.k_norm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.q_norm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.input_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.down_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.mlp.up_proj.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.k_norm.weight": "model-00001-of-00004.safetensors",
+    "model.layers.1.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.1.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.1.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.1.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.1.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.10.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.14.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.14.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.15.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.16.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.17.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.18.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.19.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.2.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.2.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.20.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.20.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.21.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.22.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.mlp.up_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.k_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.q_norm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.input_layernorm.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.mlp.down_proj.weight": "model-00003-of-00004.safetensors",
+    "model.layers.27.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.27.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.28.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.29.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.3.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.3.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.30.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.30.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.31.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.32.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.33.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.34.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.input_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.mlp.down_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.mlp.gate_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.mlp.up_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.post_attention_layernorm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.k_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.k_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.o_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.q_norm.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.q_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.35.self_attn.v_proj.weight": "model-00004-of-00004.safetensors",
+    "model.layers.4.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.4.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.5.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.6.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.7.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.8.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.input_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.down_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.gate_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.mlp.up_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.post_attention_layernorm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.k_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.k_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.o_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.q_norm.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.q_proj.weight": "model-00002-of-00004.safetensors",
+    "model.layers.9.self_attn.v_proj.weight": "model-00002-of-00004.safetensors",
+    "model.norm.weight": "model-00004-of-00004.safetensors"
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:46b5e4f3bb14294aaa973237eb8e3de4659562c0bec6f853fd5514e12cc492c6
+size 37807301

tokenizer_config.json

@@ -0,0 +1,16 @@
+{
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": "<bos>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<end_of_turn>",
+  "is_local": true,
+  "local_files_only": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "sp_model_kwargs": {},
+  "spaces_between_special_tokens": false,
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": false
+}