Darija-MSA 10M SFT + card + eval

README.md

@@ -0,0 +1,117 @@
+---
+license: apache-2.0
+language:
+- ar
+base_model: oddadmix/Emhotob-10M-v2
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+- translation
+- darija
+- moroccan-arabic
+- msa
+- fusha
+- arabic
+- small-language-model
+- slm
+- tiny-lm
+- chatml
+- scaling-study
+metrics:
+- bleu
+- chrf
+---
+
+# Emhotob-10M-Darija-MSA-v2 — Bidirectional Moroccan Darija ↔ MSA (~10.9M params)
+
+A **10.9M-parameter** model that translates **both ways** between **Moroccan Darija (الدارجة المغربية)** and **Modern Standard Arabic (الفصحى)**.
+A single set of weights serves both directions; a direction-specific system prompt selects
+which way to translate.
+
+Finetuned from [`oddadmix/Emhotob-10M-v2`](https://huggingface.co/oddadmix/Emhotob-10M-v2), a tiny Llama-architecture
+base (hidden 256, 4 layers, 8 heads, vocab 32000, tied embeddings).
+
+> **Scaling study.** This is one rung of a from-scratch Arabic scaling study that runs an
+> identical SFT + eval recipe across bases from 0.5M to 50M parameters to locate where
+> translation *emerges*. On the headline MSA↔Egyptian pair, output is degenerate at ≤1M,
+> becomes real-but-rough at 5M, and usable at 10M+. See the sibling
+> [`oddadmix/50M-Darija-MSA-v1`](https://huggingface.co/oddadmix/50M-Darija-MSA-v1) for the fluent reference.
+
+## Evaluation
+
+Deterministic held-out set of **2,961 pairs** (`seed=42`),
+decoded **greedily** (`do_sample=False`, no repetition penalty), scored with sacreBLEU:
+
+| Direction | sacreBLEU | chrF |
+|---|---:|---:|
+| **Darija → MSA** | **17.65** | 35.57 |
+| **MSA → Darija** | **26.17** | 35.48 |
+
+Saved weights are the best checkpoint by validation loss (`eval_loss = 2.158`). 20 samples
+per direction with references are in [`eval_bidirectional.json`](./eval_bidirectional.json).
+
+### Example translations
+
+Real greedy-decoded outputs from the held-out set:
+
+**Darija → MSA**
+
+| Source | Model output | Reference |
+|---|---|---|
+| لا، عندنا تذاكر يا حبيبة | لا، لدينا تذاكر يا حبيبة. | لا، لدينا تذاكر يا حبيبتي. |
+| غطّا وجهو و بكا | ضعه على الجانب الآخر. | لقد غطى وجهه وبكى. |
+
+**MSA → Darija**
+
+| Source | Model output | Reference |
+|---|---|---|
+| لا، لدينا تذاكر يا حبيبتي. | لا، عندنا تذاكر يا حبيبتي | لا، عندنا تذاكر يا حبيبة |
+| لقد غطى وجهه وبكى. | راه غطى وجهه واعر | غطّا وجهو و بكا |
+
+## Usage
+
+ChatML format. **Pick the system prompt for the direction you want:**
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "oddadmix/Emhotob-10M-Darija-MSA-v2"
+tok = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
+
+SYSTEM = "أنت مترجم محترف. ترجم النص من الدارجة المغربية إلى اللغة العربية الفصحى."
+
+def translate(text, system=SYSTEM):
+    prompt = (f"<|im_start|>system\n{system}<|im_end|>\n"
+              f"<|im_start|>user\n{text.strip()}<|im_end|>\n<|im_start|>assistant\n")
+    ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
+    if tok.bos_token_id is not None:
+        bos = torch.tensor([[tok.bos_token_id]], device=model.device)
+        ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1)
+        ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1)
+    out = model.generate(**ids, max_new_tokens=256, do_sample=False,
+                         eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
+    return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()
+```
+
+## Training
+
+- **Base model:** `oddadmix/Emhotob-10M-v2` (Llama arch, hidden 256, 4 layers, 8 heads, vocab 32000, tied embeddings;
+  **10,947,328 params** after resizing for 2 ChatML tokens)
+- **Dataset:** `oddadmix/darija_english_msa_parallel_dataset`
+- **Method:** HuggingFace `Trainer`, ChatML, **prompt-masked cross-entropy** (loss only on the
+  assistant turn). Each row is exploded into **two** training examples (one per direction).
+- **Hyperparameters:** 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) ·
+  bf16 · max length 1024 · `load_best_model_at_end` on `eval_loss`.
+- **Eval split:** 2,961 deterministic held-out pairs (`seed=42`), scored both directions.
+
+## Limitations
+
+A ~10.9M model: reliable on short/common sentences, but drift, repetition, and errors appear
+on long or rare inputs. Gender is disambiguated only from context. For fluent translation use the
+50M sibling.
+
+## License
+
+Apache-2.0, inherited from the base model.

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "dtype": "bfloat16",
+  "eos_token_id": 32001,
+  "head_dim": 32,
+  "hidden_act": "silu",
+  "hidden_size": 256,
+  "initializer_range": 0.02,
+  "intermediate_size": 640,
+  "max_position_embeddings": 2048,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 8,
+  "num_hidden_layers": 4,
+  "num_key_value_heads": 4,
+  "pad_token_id": 1,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.12.1",
+  "use_cache": false,
+  "vocab_size": 32002
+}

eval_bidirectional.json

@@ -0,0 +1,223 @@
+{
+  "eval_size": 2961,
+  "seed": 42,
+  "generation": {
+    "do_sample": false,
+    "repetition_penalty": 1.0,
+    "no_repeat_ngram_size": 0
+  },
+  "directions": {
+    "dar2msa": {
+      "bleu": 17.65106577862394,
+      "chrf": 35.57484357774217,
+      "samples": [
+        {
+          "source": "لا، عندنا تذاكر يا حبيبة",
+          "reference": "لا، لدينا تذاكر يا حبيبتي.",
+          "hypothesis": "لا، لدينا تذاكر يا حبيبة."
+        },
+        {
+          "source": "غطّا وجهو و بكا",
+          "reference": "لقد غطى وجهه وبكى.",
+          "hypothesis": "ضعه على الجانب الآخر."
+        },
+        {
+          "source": "كانتسنّا فيك ت دي هادشي و تستاهلو",
+          "reference": "أنا أنتظر منك أن تستحق هذا.",
+          "hypothesis": "أنا في انتظارك أن تستمع."
+        },
+        {
+          "source": "\n\nلجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n لهيكلة لهرمية د لبوطولات ديال كورة ف لمغريب\n\nعيون لكلام \n\nبوطولا 1\nمقالات فيها مصدر و 3000 بايت",
+          "reference": "من أجل فجر الترتيب \n\nابحث حتى \n\nبوتولا 1 \nبوتولا 2 \nمن أجل هيكل الهرم D لبوترا من ديال كورا\n\nعيون الكلمات \n\nبوتولا 1 \nمقالات مع مصدر و 3000 بايت.",
+          "hypothesis": "من أجل فجر الترتيب \n\nانظر حتى \n\nبوتولا 1 \nبوتولا 2 \nمن أجل هيكل الهرم D لبوترا من ديال كورا\n\nعيون الكلمات \n\nبوتولا 1 \nمقالات مع مصدر و 3000 بايت"
+        },
+        {
+          "source": "راهوم معشششين هنا و بان ليا قريب يخرجو لفراخ ديالهوم من لبيض",
+          "reference": "إنهم يعششون هناك، ويبدو أن الصغار سيفقسون قريبًا.",
+          "hypothesis": "إنهم لم يأتوا هنا، ونا قريبون من البيض."
+        },
+        {
+          "source": "أفادت التقارير أنه يوجد في المنطقة حوالي 9400 منزل بدون ماء وحوالي 100 منزل بلا كهرباء.",
+          "reference": "تشير التقارير إلى أن حوالي 9400 منزلاً في المنطقة محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء. النص السابق باللغة الإنجليزية. إليكم ترجمة إلى العربية المغربية:",
+          "hypothesis": "نص باللغة الإنجليزية: أفادت التقارير أنه كان هناك في المنطقة حوالي 9400 منزل بدون ماء وحوالي 100 منزل بدون كهرباء.\nما هو النص باللغة العربية المغربية؟"
+        },
+        {
+          "source": "نتحداك تعتارد على هاد الموضوع",
+          "reference": "أنا أتحداك أن تعترض على هذا الموضوع.",
+          "hypothesis": "أنا أتحداك أن تُظهر هذا الموضوع."
+        },
+        {
+          "source": "walakin hadi awal tsafira ftyyara lia o ana khayfa chwiya",
+          "reference": "لكن هذه هي أول رحلة لي على الإطلاق، وأشعر بقليل من الخوف.",
+          "hypothesis": "لكن هذه هي المرة الأولى التي أستمتع بها في السن."
+        },
+        {
+          "source": "شرف ليا نعاونك",
+          "reference": "سعيد بمساعدتك.",
+          "hypothesis": "أشرف على مساعدتي."
+        },
+        {
+          "source": "معرفتش من إمتا كايفكرو فهاد شي",
+          "reference": "أنا لا أعرف لماذا يظنون ذلك.",
+          "hypothesis": "أنا لا أعرف من أين أنت."
+        },
+        {
+          "source": "سير دير شي حاجة تنافعك",
+          "reference": "افعل شيئًا ما سيفيدك.",
+          "hypothesis": "اذهب وقم بعمل شيء."
+        },
+        {
+          "source": "وسبحسام",
+          "reference": "خمسة وثلاثون دقيقة مضت.",
+          "hypothesis": "والساح."
+        },
+        {
+          "source": "هوا كايدحاك بزاف.",
+          "reference": "هذا مضحك جدًا.",
+          "hypothesis": "إنه يقوم بحالتك."
+        },
+        {
+          "source": "ناسّ كاتعجبهوم شيكاغو",
+          "reference": "الناس يحبون شيكاغو.",
+          "hypothesis": "الناس يضحكون في شيكاغو."
+        },
+        {
+          "source": "ش† كاينين أختي وماهات",
+          "reference": "هناك بعض الأمهات.",
+          "hypothesis": "الشيء نفسه هو أختي وماهات."
+        },
+        {
+          "source": "ghadi ykhSona sway3 bach nrj3o mnin jina, f DDlam, o f wsT ga3 had lghiss ...",
+          "reference": "سيستغرق الأمر منا ساعات للعودة إلى الطريق الذي جئنا منه، في الظلام، ومن خلال كل هذا الوحل ...",
+          "hypothesis": "سيكون لدينا موعد لمناقشة هذا الاجتماع، وأن لدينا اجتماع في أي مكان..."
+        },
+        {
+          "source": "تقدر تعتامد عليا أ الشاف!",
+          "reference": "يمكنك الاعتماد عليّ، يا زعيم!",
+          "hypothesis": "يمكنك أن تعتامدني يا شيف!"
+        },
+        {
+          "source": "خلينا غير نبقاو ف روكك",
+          "reference": "دعنا فقط نبقى متمردين.",
+          "hypothesis": "دعنا نذهب إلى روكك."
+        },
+        {
+          "source": "ولا غادي يخاساك تخدام دروج",
+          "reference": "وإلا سيتعين عليك استخدام الدرج.",
+          "hypothesis": "أو سيتعين عليك أن تعمل في الدرج."
+        },
+        {
+          "source": "شحال ديال لواقت ايخاسنا باش نجاهزو تاجريبا؟",
+          "reference": "كم من الوقت يجب أن نستعد للتجربة؟",
+          "hypothesis": "كم من الوقت الذي كنا سنذهب فيه إلى هناك؟"
+        }
+      ]
+    },
+    "msa2dar": {
+      "bleu": 26.172181347188637,
+      "chrf": 35.481229427574974,
+      "samples": [
+        {
+          "source": "لا، لدينا تذاكر يا حبيبتي.",
+          "reference": "لا، عندنا تذاكر يا حبيبة",
+          "hypothesis": "لا، عندنا تذاكر يا حبيبتي"
+        },
+        {
+          "source": "لقد غطى وجهه وبكى.",
+          "reference": "غطّا وجهو و بكا",
+          "hypothesis": "راه غطى وجهه واعر"
+        },
+        {
+          "source": "أنا أنتظر منك أن تستحق هذا.",
+          "reference": "كانتسنّا فيك ت دي هادشي و تستاهلو",
+          "hypothesis": "كانتسنّا فيك ت تّست"
+        },
+        {
+          "source": "من أجل فجر الترتيب \n\nابحث حتى \n\nبوتولا 1 \nبوتولا 2 \nمن أجل هيكل الهرم D لبوترا من ديال كورا\n\nعيون الكلمات \n\nبوتولا 1 \nمقالات مع مصدر و 3000 بايت.",
+          "reference": "لجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n لهيكلة لهرمية د لبوطولات ديال كورة ف لمغريب\n\nعيون لكلام \n\nبوطولا 1\nمقالات فيها مصدر و 3000 بايت",
+          "hypothesis": "لجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n لهيكلة لهرمية د لبوطولات ديال كورة ف لمغريب\n\nعيون لكلام \n\nبوطولا 1\nمقالات فيها مصدر و 3000 بايت"
+        },
+        {
+          "source": "إنهم يعششون هناك، ويبدو أن الصغار سيفقسون قريبًا.",
+          "reference": "راهوم معشششين هنا و بان ليا قريب يخرجو لفراخ ديالهوم من لبيض",
+          "hypothesis": "كايعاواش كايعاوني و كايبان ليا و كايبان قريب"
+        },
+        {
+          "source": "تشير التقارير إلى أن حوالي 9400 منزلاً في المنطقة محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء. النص السابق باللغة الإنجليزية. إليكم ترجمة إلى العربية المغربية:",
+          "reference": "أفادت التقارير أنه يوجد في المنطقة حوالي 9400 منزل بدون ماء وحوالي 100 منزل بلا كهرباء.",
+          "hypothesis": "البيانات كتقول أن حوالي 9400 منزلا ف المنطقة محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء."
+        },
+        {
+          "source": "أنا أتحداك أن تعترض على هذا الموضوع.",
+          "reference": "نتحداك تعتارد على هاد الموضوع",
+          "hypothesis": "نتحداك ت تيحاول تا ندير هاد الموضوع"
+        },
+        {
+          "source": "لكن هذه هي أول رحلة لي على الإطلاق، وأشعر بقليل من الخوف.",
+          "reference": "walakin hadi awal tsafira ftyyara lia o ana khayfa chwiya",
+          "hypothesis": "والاكين هادا هييا أول رحلة لي فشكل، و كانحاس بشي حاجة"
+        },
+        {
+          "source": "سعيد بمساعدتك.",
+          "reference": "شرف ليا نعاونك",
+          "hypothesis": "سعيد بشوية ديالك"
+        },
+        {
+          "source": "أنا لا أعرف لماذا يظنون ذلك.",
+          "reference": "معرفتش من إمتا كايفكرو فهاد شي",
+          "hypothesis": "ماعرفتش علاش كانشوفو علاش"
+        },
+        {
+          "source": "افعل شيئًا ما سيفيدك.",
+          "reference": "سير دير شي حاجة تنافعك",
+          "hypothesis": "دير شي حاجة غادي تبدا"
+        },
+        {
+          "source": "خمسة وثلاثون دقيقة مضت.",
+          "reference": "وسبحسام",
+          "hypothesis": "خمسة و خمسة ديال الدقائق"
+        },
+        {
+          "source": "هذا مضحك جدًا.",
+          "reference": "هوا كايدحاك بزاف.",
+          "hypothesis": "هادشي كايضحك بزاف"
+        },
+        {
+          "source": "الناس يحبون شيكاغو.",
+          "reference": "ناسّ كاتعجبهوم شيكاغو",
+          "hypothesis": "ناس كايبغيو ياكول"
+        },
+        {
+          "source": "هناك بعض الأمهات.",
+          "reference": "ش† كاينين أختي وماهات",
+          "hypothesis": "كاين شي موشكيل"
+        },
+        {
+          "source": "سيستغرق الأمر منا ساعات للعودة إلى الطريق الذي جئنا منه، في الظلام، ومن خلال كل هذا الوحل ...",
+          "reference": "ghadi ykhSona sway3 bach nrj3o mnin jina, f DDlam, o f wsT ga3 had lghiss ...",
+          "hypothesis": "غادي يخصنا نلقاو شي طوموبيلات لي غادي نتاعو، ف ضلام، و من خلال كاع هاد الوحل ..."
+        },
+        {
+          "source": "يمكنك الاعتماد عليّ، يا زعيم!",
+          "reference": "تقدر تعتامد عليا أ الشاف!",
+          "hypothesis": "تقدر تقاد عليا، انا شويا!"
+        },
+        {
+          "source": "دعنا فقط نبقى متمردين.",
+          "reference": "خلينا غير نبقاو ف روكك",
+          "hypothesis": "خلينا غير نبقى متمردين"
+        },
+        {
+          "source": "وإلا سيتعين عليك استخدام الدرج.",
+          "reference": "ولا غادي يخاساك تخدام دروج",
+          "hypothesis": "و لا غادي تحتاج دير دروج"
+        },
+        {
+          "source": "كم من الوقت يجب أن نستعد للتجربة؟",
+          "reference": "شحال ديال لواقت ايخاسنا باش نجاهزو تاجريبا؟",
+          "hypothesis": "شحال من الوقت خاصنا نستعدو من للتجربة؟"
+        }
+      ]
+    }
+  }
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 32001,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 1,
+  "transformers_version": "5.12.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4c6cb2eceff8c7eee5db92d43fd93ccf34233dd0aeb893e9fdc526f8c7174907
+size 21898824

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "eos_token": "<|im_end|>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>"
+  ],
+  "is_local": false,
+  "local_files_only": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5e82b58b8b5888cdd59f63bedb54b47ac25e2ddd67b3b5d2d290466fdb2ad8f4
+size 4792