phoenix-arabic-manuscript-htr / FEATURES_BENCHMARK.md
factlogic's picture
Update publication links for Phoenix model name
af3342d verified
|
Raw
History Blame
3.57 kB

تقرير قياس الميزات — Features Benchmark

قياس مستقل على 13 صفحة من eval_htr/top_15_easiest_images (GT يدوي) — GPU (RTX 4050, FP16) — التاريخ: 2026-07-02

1) جودة التفريغ (OCR) لكل صفحة

الصفحة أسطر CER WER زمن (ث) النموذج
MS_ARA_1983_177819 33 1.99% 7.4% 84.2 general
MS_ARA_1977_0136 32 2.92% 12.7% 82.2 general
MS_ARA_1977_0153 33 3.68% 13.4% 88.4 general
MS_ARA_417_0011 13 4.61% 22.5% 59.1 general
MS_ARA_1943_180499 41 5.08% 14.9% 13.8 general
MS_ARA_417_0009 13 6.93% 19.0% 65.7 general
ARA_MS_1982_182182 41 7.27% 20.2% 15.8 general
MS_ARA_1944_0006 21 8.36% 15.4% 7.3 general
MS_ARA_1977_0092 32 10.72% 15.6% 18.8 general
MS_ARA_23_42035 23 11.32% 24.0% 62.0 general
MS_ARA_1977_0093 28 21.02% 28.6% 67.5 general
MS_ARA_1926_0077 10 24.8% 42.6% 5.8 general
MS_ARA_1926_0144 15 29.81% 54.3% 6.1 general
المتوسط 10.65% 22.4% 44.4

تفصيل: الصفحات العادية (11): متوسط CER 7.63% · عائلة 1926 (2، قصّ آلي عصيّ معروف): 27.30%

أثناء هذا القياس اكتشفنا وأصلحنا علّة راوتر (كاشف الكثافة كان يوجّه صفحات عادية لقصّ المنطق → فشل كامل على 1926_0077). الأرقام أعلاه بعد الإصلاح.

2) أثر بوابة النموذج اللغوي (Gated LM)

  • الأسطر التي تدخّل فيها اللغوي: 18 (من مئات الأسطر — البوابة انتقائية بحكم التصميم)
  • حسّنت القرب من GT: 12 · حيادية: 5 · أضرّت: 1
  • معدل النفع: 67% من التدخّلات مفيدة

3) دقة اقتراح البدائل الذكي (LLM السياقي)

اختبار على 10 سطراً منخفض الثقة (الأصعب): هل «الاقتراح الأفضل» أقرب لـ GT من قراءة OCR؟

حسّن حيادي أضرّ
6 (60%) 4 0

أمثلة تحسين (مسافة التحرير قبل → بعد):

الصفحة قراءة OCR الاقتراح المسافة
MS_1982_182182 لحيا اللحياني 4 → 1
_ARA_1926_0077 والفضيلة والشرف والد مة والفضيلة والشرف والدرجة 2 → 0
_ARA_1926_0144 ماليب باليت 3 → 1
RA_1943_180499 ودالغه ودا عطه 94 → 93

4) الفهرس (بعد تحسين الترتيب)

الاستعلام النتيجة الأولى صحيحة؟
منطق المنطق (ثم في المنطق، إصلاح المنطق)
تصوف التصوف والمتصوِّفة + أعمال التصوف
الشمسية العقد الثاني في قواعد الشمسية
Ibn Khaldun تاريخ ابن خلدون وأعماله
al-Razi أعمال الرازي (مفاتيح الغيب، تحرير القواعد المنطقية)

قبل التحسين كان «منطق» يُرجع Falsafat Karl Buber أولاً — أُصلح بترتيب الصلة (token+IDF+عنوان كامل+تجريد ال).