Darija-MSA 5M SFT + card + eval

README.md

@@ -0,0 +1,117 @@
+---
+license: apache-2.0
+language:
+- ar
+base_model: oddadmix/Emhotob-5M-v2
+pipeline_tag: text-generation
+library_name: transformers
+tags:
+- translation
+- darija
+- moroccan-arabic
+- msa
+- fusha
+- arabic
+- small-language-model
+- slm
+- tiny-lm
+- chatml
+- scaling-study
+metrics:
+- bleu
+- chrf
+---
+
+# Emhotob-5M-Darija-MSA-v1 — Bidirectional Moroccan Darija ↔ MSA (~5.1M params)
+
+A **5.1M-parameter** model that translates **both ways** between **Moroccan Darija (الدارجة المغربية)** and **Modern Standard Arabic (الفصحى)**.
+A single set of weights serves both directions; a direction-specific system prompt selects
+which way to translate.
+
+Finetuned from [`oddadmix/Emhotob-5M-v2`](https://huggingface.co/oddadmix/Emhotob-5M-v2), a tiny Llama-architecture
+base (hidden 128, 5 layers, 4 heads, vocab 32000, tied embeddings).
+
+> **Scaling study.** This is one rung of a from-scratch Arabic scaling study that runs an
+> identical SFT + eval recipe across bases from 0.5M to 50M parameters to locate where
+> translation *emerges*. On the headline MSA↔Egyptian pair, output is degenerate at ≤1M,
+> becomes real-but-rough at 5M, and usable at 10M+. See the sibling
+> [`oddadmix/50M-Darija-MSA-v1`](https://huggingface.co/oddadmix/50M-Darija-MSA-v1) for the fluent reference.
+
+## Evaluation
+
+Deterministic held-out set of **2,961 pairs** (`seed=42`),
+decoded **greedily** (`do_sample=False`, no repetition penalty), scored with sacreBLEU:
+
+| Direction | sacreBLEU | chrF |
+|---|---:|---:|
+| **Darija → MSA** | **10.73** | 27.76 |
+| **MSA → Darija** | **16.34** | 28.57 |
+
+Saved weights are the best checkpoint by validation loss (`eval_loss = 2.718`). 20 samples
+per direction with references are in [`eval_bidirectional.json`](./eval_bidirectional.json).
+
+### Example translations
+
+Real greedy-decoded outputs from the held-out set:
+
+**Darija → MSA**
+
+| Source | Model output | Reference |
+|---|---|---|
+| لا، عندنا تذاكر يا حبيبة | لا، لدينا تذاكر يا حبيب. | لا، لدينا تذاكر يا حبيبتي. |
+| غطّا وجهو و بكا | لقد كسرته. | لقد غطى وجهه وبكى. |
+
+**MSA → Darija**
+
+| Source | Model output | Reference |
+|---|---|---|
+| لا، لدينا تذاكر يا حبيبتي. | لا، راه راه راه راه | لا، عندنا تذاكر يا حبيبة |
+| لقد غطى وجهه وبكى. | راه كاين فلقسم | غطّا وجهو و بكا |
+
+## Usage
+
+ChatML format. **Pick the system prompt for the direction you want:**
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_id = "oddadmix/Emhotob-5M-Darija-MSA-v2"
+tok = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16).to("cuda").eval()
+
+SYSTEM = "أنت مترجم محترف. ترجم النص من الدارجة المغربية إلى اللغة العربية الفصحى."
+
+def translate(text, system=SYSTEM):
+    prompt = (f"<|im_start|>system\n{system}<|im_end|>\n"
+              f"<|im_start|>user\n{text.strip()}<|im_end|>\n<|im_start|>assistant\n")
+    ids = tok(prompt, return_tensors="pt", add_special_tokens=False).to(model.device)
+    if tok.bos_token_id is not None:
+        bos = torch.tensor([[tok.bos_token_id]], device=model.device)
+        ids["input_ids"] = torch.cat([bos, ids["input_ids"]], dim=1)
+        ids["attention_mask"] = torch.cat([torch.ones_like(bos), ids["attention_mask"]], dim=1)
+    out = model.generate(**ids, max_new_tokens=256, do_sample=False,
+                         eos_token_id=tok.eos_token_id, pad_token_id=tok.pad_token_id)
+    return tok.decode(out[0, ids["input_ids"].size(1):], skip_special_tokens=True).strip()
+```
+
+## Training
+
+- **Base model:** `oddadmix/Emhotob-5M-v2` (Llama arch, hidden 128, 5 layers, 4 heads, vocab 32000, tied embeddings;
+  **5,080,704 params** after resizing for 2 ChatML tokens)
+- **Dataset:** `oddadmix/darija_english_msa_parallel_dataset`
+- **Method:** HuggingFace `Trainer`, ChatML, **prompt-masked cross-entropy** (loss only on the
+  assistant turn). Each row is exploded into **two** training examples (one per direction).
+- **Hyperparameters:** 3 epochs · effective batch 64 · LR 3e-4 (cosine, 5% warmup) ·
+  bf16 · max length 1024 · `load_best_model_at_end` on `eval_loss`.
+- **Eval split:** 2,961 deterministic held-out pairs (`seed=42`), scored both directions.
+
+## Limitations
+
+A ~5.1M model: reliable on short/common sentences, but drift, repetition, and errors appear
+on long or rare inputs. Gender is disambiguated only from context. For fluent translation use the
+50M sibling.
+
+## License
+
+Apache-2.0, inherited from the base model.

config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "dtype": "bfloat16",
+  "eos_token_id": 32001,
+  "head_dim": 32,
+  "hidden_act": "silu",
+  "hidden_size": 128,
+  "initializer_range": 0.02,
+  "intermediate_size": 384,
+  "max_position_embeddings": 2048,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 4,
+  "num_hidden_layers": 5,
+  "num_key_value_heads": 2,
+  "pad_token_id": 1,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.12.1",
+  "use_cache": false,
+  "vocab_size": 32002
+}

eval_bidirectional.json

@@ -0,0 +1,223 @@
+{
+  "eval_size": 2961,
+  "seed": 42,
+  "generation": {
+    "do_sample": false,
+    "repetition_penalty": 1.0,
+    "no_repeat_ngram_size": 0
+  },
+  "directions": {
+    "dar2msa": {
+      "bleu": 10.732899622892653,
+      "chrf": 27.755111480567805,
+      "samples": [
+        {
+          "source": "لا، عندنا تذاكر يا حبيبة",
+          "reference": "لا، لدينا تذاكر يا حبيبتي.",
+          "hypothesis": "لا، لدينا تذاكر يا حبيب."
+        },
+        {
+          "source": "غطّا وجهو و بكا",
+          "reference": "لقد غطى وجهه وبكى.",
+          "hypothesis": "لقد كسرته."
+        },
+        {
+          "source": "كانتسنّا فيك ت دي هادشي و تستاهلو",
+          "reference": "أنا أنتظر منك أن تستحق هذا.",
+          "hypothesis": "أنا في انتظارك أن تكون في هذا الوقت."
+        },
+        {
+          "source": "\n\nلجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n لهيكلة لهرمية د لبوطولات ديال كورة ف لمغريب\n\nعيون لكلام \n\nبوطولا 1\nمقالات فيها مصدر و 3000 بايت",
+          "reference": "من أجل فجر الترتيب \n\nابحث حتى \n\nبوتولا 1 \nبوتولا 2 \nمن أجل هيكل الهرم D لبوترا من ديال كورا\n\nعيون الكلمات \n\nبوتولا 1 \nمقالات مع مصدر و 3000 بايت.",
+          "hypothesis": "بالنسبة للجدوال ديال الترتيب\n\nانظر حتى \n\nبوتولا 1\nبوتولا 2\nالبحر الشمالي في المغرب\n\nعيون الكلمات\n\nبوتولا 1\nمقالات مع مصدر و 3000 بايت"
+        },
+        {
+          "source": "راهوم معشششين هنا و بان ليا قريب يخرجو لفراخ ديالهوم من لبيض",
+          "reference": "إنهم يعششون هناك، ويبدو أن الصغار سيفقسون قريبًا.",
+          "hypothesis": "هذا ليس قريبًا من هنا، لكن هناك قريبًا."
+        },
+        {
+          "source": "أفادت التقارير أنه يوجد في المنطقة حوالي 9400 منزل بدون ماء وحوالي 100 منزل بلا كهرباء.",
+          "reference": "تشير التقارير إلى أن حوالي 9400 منزلاً في المنطقة محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء. النص السابق باللغة الإنجليزية. إليكم ترجمة إلى العربية المغربية:",
+          "hypothesis": "نص باللغة الإنجليزية: أعلنت التقارير أنه في المنطقة حوالي 9400 منزل بدون كهرباء. \nما هو النص باللغة العربية المغربية؟"
+        },
+        {
+          "source": "نتحداك تعتارد على هاد الموضوع",
+          "reference": "أنا أتحداك أن تعترض على هذا الموضوع.",
+          "hypothesis": "أنا أتحداك أن تعزف على هذا الموضوع."
+        },
+        {
+          "source": "walakin hadi awal tsafira ftyyara lia o ana khayfa chwiya",
+          "reference": "لكن هذه هي أول رحلة لي على الإطلاق، وأشعر بقليل من الخوف.",
+          "hypothesis": "لكن هذا هو السبب في أنني كنت أتنقئ على ما يرام."
+        },
+        {
+          "source": "شرف ليا نعاونك",
+          "reference": "سعيد بمساعدتك.",
+          "hypothesis": "لقد ساعدني."
+        },
+        {
+          "source": "معرفتش من إمتا كايفكرو فهاد شي",
+          "reference": "أنا لا أعرف لماذا يظنون ذلك.",
+          "hypothesis": "أنا لا أعرف من فضلك."
+        },
+        {
+          "source": "سير دير شي حاجة تنافعك",
+          "reference": "افعل شيئًا ما سيفيدك.",
+          "hypothesis": "اذهب إلى شيء ما."
+        },
+        {
+          "source": "وسبحسام",
+          "reference": "خمسة وثلاثون دقيقة مضت.",
+          "hypothesis": "إنه يسبح."
+        },
+        {
+          "source": "هوا كايدحاك بزاف.",
+          "reference": "هذا مضحك جدًا.",
+          "hypothesis": "إنه يحب الكثير من المال."
+        },
+        {
+          "source": "ناسّ كاتعجبهوم شيكاغو",
+          "reference": "الناس يحبون شيكاغو.",
+          "hypothesis": "الناس يموتون."
+        },
+        {
+          "source": "ش† كاينين أختي وماهات",
+          "reference": "هناك بعض الأمهات.",
+          "hypothesis": "لقد كنت هناك في المنزل."
+        },
+        {
+          "source": "ghadi ykhSona sway3 bach nrj3o mnin jina, f DDlam, o f wsT ga3 had lghiss ...",
+          "reference": "سيستغرق الأمر منا ساعات للعودة إلى الطريق الذي جئنا منه، في الظلام، ومن خلال كل هذا الوحل ...",
+          "hypothesis": "سأقوم بعمل بعض الشاي، في حالة من ذلك، في حالة من ذلك، في حالة من ذلك، في حالة من ذلك..."
+        },
+        {
+          "source": "تقدر تعتامد عليا أ الشاف!",
+          "reference": "يمكنك الاعتماد عليّ، يا زعيم!",
+          "hypothesis": "هل يمكنك أن تخبرني بأنني أتعني!"
+        },
+        {
+          "source": "خلينا غير نبقاو ف روكك",
+          "reference": "دعنا فقط نبقى متمردين.",
+          "hypothesis": "دعنا نبقاو في روكك."
+        },
+        {
+          "source": "ولا غادي يخاساك تخدام دروج",
+          "reference": "وإلا سيتعين عليك استخدام الدرج.",
+          "hypothesis": "أو قم بتشغيل الدرج."
+        },
+        {
+          "source": "شحال ديال لواقت ايخاسنا باش نجاهزو تاجريبا؟",
+          "reference": "كم من الوقت يجب أن نستعد للتجربة؟",
+          "hypothesis": "كم من المال يجب أن نتمكن من أن نبقى على قيد الحياة؟"
+        }
+      ]
+    },
+    "msa2dar": {
+      "bleu": 16.341455005751385,
+      "chrf": 28.565630930148256,
+      "samples": [
+        {
+          "source": "لا، لدينا تذاكر يا حبيبتي.",
+          "reference": "لا، عندنا تذاكر يا حبيبة",
+          "hypothesis": "لا، راه راه راه راه"
+        },
+        {
+          "source": "لقد غطى وجهه وبكى.",
+          "reference": "غطّا وجهو و بكا",
+          "hypothesis": "راه كاين فلقسم"
+        },
+        {
+          "source": "أنا أنتظر منك أن تستحق هذا.",
+          "reference": "كانتسنّا فيك ت دي هادشي و تستاهلو",
+          "hypothesis": "كانتسنّا فيك ت تڭول"
+        },
+        {
+          "source": "من أجل فجر الترتيب \n\nابحث حتى \n\nبوتولا 1 \nبوتولا 2 \nمن أجل هيكل الهرم D لبوترا من ديال كورا\n\nعيون الكلمات \n\nبوتولا 1 \nمقالات مع مصدر و 3000 بايت.",
+          "reference": "لجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n لهيكلة لهرمية د لبوطولات ديال كورة ف لمغريب\n\nعيون لكلام \n\nبوطولا 1\nمقالات فيها مصدر و 3000 بايت",
+          "hypothesis": "لجدوال ديال الترتيب\n\nشوف حتى \n\n بوطولا 1\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوطولا 2\n بوط"
+        },
+        {
+          "source": "إنهم يعششون هناك، ويبدو أن الصغار سيفقسون قريبًا.",
+          "reference": "راهوم معشششين هنا و بان ليا قريب يخرجو لفراخ ديالهوم من لبيض",
+          "hypothesis": "كاينين كاينين، و لكن كاينين كاينين جوج مراتو."
+        },
+        {
+          "source": "تشير التقارير إلى أن حوالي 9400 منزلاً في المنطقة محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء. النص السابق باللغة الإنجليزية. إليكم ترجمة إلى العربية المغربية:",
+          "reference": "أفادت التقارير أنه يوجد في المنطقة حوالي 9400 منزل بدون ماء وحوالي 100 منزل بلا كهرباء.",
+          "hypothesis": "تانتان التقارير أن حوالي 9400 منزل محرومة من المياه، وحوالي 100 منزل محرومة من الكهرباء."
+        },
+        {
+          "source": "أنا أتحداك أن تعترض على هذا الموضوع.",
+          "reference": "نتحداك تعتارد على هاد الموضوع",
+          "hypothesis": "نتحداك ت ت تبقا على هاد الموضوع"
+        },
+        {
+          "source": "لكن هذه هي أول رحلة لي على الإطلاق، وأشعر بقليل من الخوف.",
+          "reference": "walakin hadi awal tsafira ftyyara lia o ana khayfa chwiya",
+          "hypothesis": "والاكين هادشي لي كانو غادي نبدا من بعد، و كان هادشي لي كانو كتر من الخوف."
+        },
+        {
+          "source": "سعيد بمساعدتك.",
+          "reference": "شرف ليا نعاونك",
+          "hypothesis": "أنا سعيد بغيتي"
+        },
+        {
+          "source": "أنا لا أعرف لماذا يظنون ذلك.",
+          "reference": "معرفتش من إمتا كايفكرو فهاد شي",
+          "hypothesis": "مافهمتش علن هادا"
+        },
+        {
+          "source": "افعل شيئًا ما سيفيدك.",
+          "reference": "سير دير شي حاجة تنافعك",
+          "hypothesis": "علاش غادي نديرك"
+        },
+        {
+          "source": "خمسة وثلاثون دقيقة مضت.",
+          "reference": "وسبحسام",
+          "hypothesis": "واحد ستة و دقيقة من الزمن"
+        },
+        {
+          "source": "هذا مضحك جدًا.",
+          "reference": "هوا كايدحاك بزاف.",
+          "hypothesis": "هادشي زوين بزاف"
+        },
+        {
+          "source": "الناس يحبون شيكاغو.",
+          "reference": "ناسّ كاتعجبهوم شيكاغو",
+          "hypothesis": "ناس كايبان ليا كايبان ليا كايبان"
+        },
+        {
+          "source": "هناك بعض الأمهات.",
+          "reference": "ش† كاينين أختي وماهات",
+          "hypothesis": "كاينين شي أطفال"
+        },
+        {
+          "source": "سيستغرق الأمر منا ساعات للعودة إلى الطريق الذي جئنا منه، في الظلام، ومن خلال كل هذا الوحل ...",
+          "reference": "ghadi ykhSona sway3 bach nrj3o mnin jina, f DDlam, o f wsT ga3 had lghiss ...",
+          "hypothesis": "غادي يكونو نهار نڭولو منو، ف الظلام، و من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭولو من بعد ما غادي نڭول"
+        },
+        {
+          "source": "يمكنك الاعتماد عليّ، يا زعيم!",
+          "reference": "تقدر تعتامد عليا أ الشاف!",
+          "hypothesis": "تقدر نخدم علا ليا شي واحد"
+        },
+        {
+          "source": "دعنا فقط نبقى متمردين.",
+          "reference": "خلينا غير نبقاو ف روكك",
+          "hypothesis": "خلينا غير غير غير غير غير غير غير غير"
+        },
+        {
+          "source": "وإلا سيتعين عليك استخدام الدرج.",
+          "reference": "ولا غادي يخاساك تخدام دروج",
+          "hypothesis": "بلا ما تاخد داك الدرج"
+        },
+        {
+          "source": "كم من الوقت يجب أن نستعد للتجربة؟",
+          "reference": "شحال ديال لواقت ايخاسنا باش نجاهزو تاجريبا؟",
+          "hypothesis": "شحال من الوقت نديرو لليل؟"
+        }
+      ]
+    }
+  }
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 32001,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 1,
+  "transformers_version": "5.12.1",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6cc83e967f41c4d831eed3553760b5c1f5fbbf74fc053f6ab494ea81261fb588
+size 10166472

tokenizer_config.json

@@ -0,0 +1,15 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<s>",
+  "eos_token": "<|im_end|>",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>"
+  ],
+  "is_local": false,
+  "local_files_only": false,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<pad>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<unk>"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d1efb7f3a420af14baf176b8cd1f4a3a0bff44010e975448f3e219d5cf0da296
+size 4792