Update main.py

main.py

@@ -1,5 +1,5 @@
 """
-Saudi Legal AI — Production Version v8.2 (High Speed Backend + Original UI)
+Saudi Legal AI — Production Version v8.2
 Gemini-first · Groq fallback · FastAPI + HTML frontend
 """
 import os
@@ -25,7 +25,6 @@ from langchain_community.vectorstores import Chroma
 from langchain_community.embeddings import SentenceTransformerEmbeddings
 from datasets import load_dataset
 from rank_bm25 import BM25Okapi
-from rapidfuzz import fuzz, process as fuzz_proc
 import chromadb
 
 # ══════════════════════════════════════════════════════════
@@ -49,11 +48,9 @@ GEMINI_AVAILABLE:     bool = False
 gemini_clients:       dict = {}
 groq_client:          Optional[Groq] = None
 
-request_log  = deque(maxlen=500)
-api_stats    = defaultdict(int)
-user_ips     = defaultdict(list)
-_trans_cache  = {}
-_legal_cache  = {}
+request_log   = deque(maxlen=500)
+api_stats     = defaultdict(int)
+user_ips      = defaultdict(list)
 _answer_cache = {}
 
 GEMINI_PRIORITY = [
@@ -95,7 +92,6 @@ COLLOQUIAL = {
     "فين":"أين","مين":"من","ليه":"لماذا","عندي":"لدي",
     "اشتغلت":"عملت","فصلوني":"تم فصلي","طردوني":"تم فصلي",
     "اتطردت":"تم فصلي","مش":"لا","كمان":"أيضاً","زي":"مثل",
-    "اللازم":"يجب","المفروض":"يجب",
     "مكافاه":"مكافأة","مكافأه":"مكافأة","مكافاة":"مكافأة",
     "رخصه":"رخصة","مزاوله":"مزاولة","المحاماه":"المحاماة",
     "ليا":"لي","هل ليا":"هل يحق لي",
@@ -109,25 +105,10 @@ COLLOQUIAL = {
     "اتفصلت":"تم فصلي", "هستقيل":"استقالة", "استقيل":"استقالة", "هسيب الشغل":"استقالة"
 }
 
-ENGLISH_TO_ARABIC = {
-    "conditions for lawyer license":  "شروط مزاولة مهنة المحاماة",
-    "what is the penalty":            "ما هي عقوبة",
-    "what are my rights":             "ما هي حقوقي",
-    "how is calculated":              "كيف تحسب",
-    "i was dismissed":                "تم فصلي",
-    "wrongful termination":           "فصل تعسفي",
-    "end of service":                 "مكافأة نهاية الخدمة",
-    "money laundering":               "غسل الأموال",
-    "cybercrime":                     "الجرائم المعلوماتية",
-    "working hours":                  "ساعات العمل",
-    "annual leave":                   "الإجازة السنوية",
-    "maternity leave":                "إجازة الأمومة",
-    "labor law":                      "نظام العمل",
-}
-
 LAW_KEYWORDS = {
     "توثيق":"نظام التوثيق","كاتب عدل":"نظام التوثيق","موثق":"نظام التوثيق",
     "محاماة":"نظام المحاماة","محامي":"نظام المحاماة","مزاولة مهنة":"نظام المحاماة",
+    "ترخيص محاماة":"نظام المحاماة",
     "إفلاس":"نظام الإفلاس","إعسار":"نظام الإفلاس",
     "تحكيم":"نظام التحكيم",
     "إثبات":"نظام الإثبات","شاهد":"نظام الإثبات",
@@ -136,6 +117,7 @@ LAW_KEYWORDS = {
     "توقيف":"نظام الإجراءات الجزائية","تهمة":"نظام الإجراءات الجزائية",
     "محتجز":"نظام الإجراءات الجزائية","جريمة":"نظام الإجراءات الجزائية",
     "قبض":"نظام الإجراءات الجزائية","قتل":"نظام الإجراءات الجزائية","قضية":"نظام الإجراءات الجزائية",
+    "عليا قضية":"نظام الإجراءات الجزائية",
     "زواج":"نظام الأحوال الشخصية","طلاق":"نظام الأحوال الشخصية",
     "نفقة":"نظام الأحوال الشخصية","حضانة":"نظام الأحوال الشخصية","خلع":"نظام الأحوال الشخصية",
     "عقار":"نظام التسجيل العيني للعقار",
@@ -173,12 +155,14 @@ PRACTICAL_PATTERNS = {
 QUERY_EXPANSION = {
     "مكافأة نهاية الخدمة": "يستحق العامل مكافأة عن مدة خدمته نصف شهر سنة",
     "فصلوني":              "إنهاء عقد العمل تعسفي تعويض فصل",
+    "اتطردت":              "تم فصلي تعويض فصل تعسفي مكافأة نهاية الخدمة",
     "حقوقي":               "يستحق العامل مكافأة تعويض نظام العمل",
     "ساعات العمل":         "لا يجوز تشغيل العامل أكثر من ثماني ساعات يومياً",
+    "شهادة خبرة":          "يلتزم صاحب العمل بإعطاء شهادة خبرة عند انتهاء العقد",
     "اتهمت":               "حق المتهم في محامٍ أثناء التحقيق الجزائي",
+    "حقوق الموقوف":        "يحق للموقوف الاتصال بمحاميه وذويه عند التوقيف",
     "شروط مزاولة المحاماة":"يشترط فيمن يزاول المحاماة سعودي جدول المحامين",
     "أركان العقد":         "أركان العقد الإيجاب والقبول والمحل",
-    "عقوبات غسل الأموال":  "يعاقب على غسل الأموال سجن غرامة",
 }
 
 STOP_WORDS = {"من","في","على","إلى","عن","مع","هي","هو","ما","لا","أن","إن","كل","هذا","ذلك","التي","الذي","هذه","تلك","قد","إذا","إذ"}
@@ -262,7 +246,11 @@ async def startup():
         print(f"  ⚠️ HF load failed: {e}")
 
     try:
-        with open("train.json", "r", encoding="utf-8") as f:
+        # حل مشكلة المسار المطلق لملف train.json
+        base_dir = os.path.dirname(os.path.abspath(__file__))
+        json_path = os.path.join(base_dir, "train.json")
+        
+        with open(json_path, "r", encoding="utf-8") as f:
             train_raw = json.load(f)
             
         added_from_json = 0
@@ -281,7 +269,8 @@ async def startup():
                     law_name = subj.split("/")[0].strip()
                     law_name = re.sub(r"\(.*?\)", "", law_name).strip()
                     hf_items.append({
-                        "text": text[:2000], "article_number": "نص قانوني",
+                        "text": text, # أخذ المادة كاملة دون القص
+                        "article_number": "نص قانوني",
                         "law_name": law_name, "law_type": "نظام", "_src": "train.json",
                         "is_exec_reg": 1 if "لائحة" in law_name else 0
                     })
@@ -309,9 +298,10 @@ async def startup():
         for item in hf_items if len(item.get("text","")) > 30
     ]
 
-    splitter = RecursiveCharacterTextSplitter(chunk_size=1200, chunk_overlap=150, separators=["\nالمادة ","\n\n","\n","."," "])
-    chunks = [d for d in docs_lc if len(d.page_content) <= 1200]
-    chunks += splitter.split_documents([d for d in docs_lc if len(d.page_content) > 1200])
+    # تكبير الحجم لعدم قص الكلمات في منتصفها
+    splitter = RecursiveCharacterTextSplitter(chunk_size=2000, chunk_overlap=300, separators=["\nالمادة ","\n\n","\n","."," "])
+    chunks = [d for d in docs_lc if len(d.page_content) <= 2000]
+    chunks += splitter.split_documents([d for d in docs_lc if len(d.page_content) > 2000])
 
     chroma_client = chromadb.Client()
     vectorstore   = Chroma.from_documents(documents=chunks, embedding=embeddings, client=chroma_client, collection_name="saudi_legal_v8")
@@ -356,7 +346,6 @@ def detect_law(question):
     return None
 
 def fast_rewrite(question):
-    # Fast rewrite without LLM (Saves 3 seconds!)
     queries = [question]
     for pat, exp in QUERY_EXPANSION.items():
         if pat in question: queries.append(exp); break
@@ -431,28 +420,24 @@ def post_process(answer, docs):
         law = docs[0].metadata.get("law_name","")
         art = docs[0].metadata.get("article_number","")
         if law and art: answer = f"📋 المرجع: {law} — {art}\n\n{answer}"
-    lines = answer.split("\n")
-    clean = [l for l in lines if
-             sum(1 for c in l if "\u0600"<=c<="\u06ff") / max(len(l.replace(" ","")),1) > 0.25
-             or any(s in l for s in ["📋","✅","📝","⚠️","•","-","─"])]
-    return "\n".join(clean).strip()
+    return answer # بدون أي حذف للسطور
 
 # ══════════════════════════════════════════════════════════
 # System Prompts
 # ══════════════════════════════════════════════════════════
-SYSTEM_PROMPT = """أنت مساعد قانوني سعودي محترف ومختصر.
+SYSTEM_PROMPT = """أنت مستشار قانوني سعودي محترف وشامل في إجاباتك.
 
-نطاقك: وزارة العدل، نظام العمل، الإجراءات الجزائية، الجرائم المعلوماتية، حماية البيانات، المعاملات المدنية.
+نطاقك: وزارة العدل، نظام العمل، الإجراءات الجزائية، المعاملات المدنية، الجرائم المعلوماتية.
 
 صيغة الإجابة الإلزامية:
 📋 المرجع: [اسم النظام] — [رقم المادة]
-✅ الإجابة: [إجابة مباشرة وقصيرة. استخدم نعم/لا فقط إذا كان السؤال بصيغة "هل". إذا كان استفسار أجب بالمعلومة فوراً]
-📝 التفاصيل: [شرح دقيق من النص القانوني المرفق فقط]
+✅ الإجابة: [إجابة واضحة وشاملة للسؤال. استخدم نعم/لا فقط إذا كان السؤال يبدأ بـ "هل"]
+📝 التفاصيل: [اشرح هنا بالتفصيل الممل والواضح بناءً على النصوص المرفقة. اكتب فقرة كاملة مترابطة ولا تقم أبداً ببتر الجمل]
 
 قواعد:
 ١. العربية الفصحى حصراً.
 ٢. اذكر النظام والمادة دائماً.
-٣. لا تخترع معلومات — استند للنصوص المرفقة فقط.
+٣. اشرح براحتك وبشكل مفصل جداً لمساعدة السائل.
 ٤. ابدأ بـ 📋 مباشرة."""
 
 OUT_OF_SCOPE = """أنا مساعد قانوني متخصص في الأنظمة السعودية.
@@ -542,7 +527,7 @@ def ask_legal(question: str) -> dict:
         elif has_anti and any(w in question for w in ["فلوس", "دين", "سلف"]):
             target_law = "نظام المعاملات المدنية"
 
-    # Hybrid retrieval
+    # Retrieval
     seen, result_docs = set(), []
     def add_docs(new_docs):
         for d in new_docs:
@@ -583,8 +568,10 @@ def ask_legal(question: str) -> dict:
         return {"answer":"الخدمة مشغولة — يرجى المحاولة مجدداً.",
                 "sources":[],"coverage":0,"model":"unavailable","normalized":question}
 
+    ans = post_process(ans, final)
+
     result = {
-        "answer":    post_process(ans, final),
+        "answer":    ans,
         "sources":   [{"law":d.metadata.get("law_name",""),"article":d.metadata.get("article_number","")} for d in final[:3]],
         "coverage":  round(cov*100) if target_law else round(cov*50),
         "model":     model_used,
@@ -1175,5 +1162,4 @@ async def ask_endpoint(req: QuestionRequest, request: Request):
 
 if __name__ == "__main__":
     import uvicorn
-    # ── استخدام Port 7860 المطلوب من Hugging Face Spaces ──
     uvicorn.run("main:app", host="0.0.0.0", port=7860, reload=False)