Update app.py

app.py

@@ -1,6 +1,6 @@
-!pip install -q llama-cpp-python gradio transformers torch sentencepiece sacremoses openai huggingface_hub
 import os
 import re
+import gc
 import gradio as gr
 import torch
 from transformers import AutoModelForCausalLM, AutoTokenizer, MarianMTModel, MarianTokenizer
@@ -14,7 +14,7 @@ from llama_cpp import Llama
 #   3) GPT-5        → عبر الـ OpenAI API.
 # جميع النماذج المحلية تُحمّل كسولاً عند أول استخدام لتوفير الذاكرة عند الإقلاع.
 # ==========================================
-QWEN_MODEL  = "Qwen/Qwen3-1.7B"
+QWEN_MODEL  = "Qwen/Qwen3.5-2B"
 LLAMA_LABEL = "Llama-3.1-8B-Instruct (local GGUF)"
 GPT_LABEL   = "GPT-5 (OpenAI API)"
 
@@ -24,10 +24,28 @@ LLAMA_FILE  = "Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf"      # ~4.9GB — للذ
 _qwen_models = {}   # سجلّ نماذج Qwen المحمّلة عبر Transformers
 _llama_model = {}   # سجلّ نموذج Llama المحمّل عبر llama-cpp
 
+# ------------------------------------------
+# تحرير الذاكرة: نُبقي نموذجاً محلياً واحداً فقط في الـ RAM في كل لحظة.
+# هذا يمنع تراكم Qwen + Llama معاً (السبب الرئيسي لنفاد الذاكرة والانهيار).
+# ------------------------------------------
+def _free_local_models(keep):
+    released = False
+    if keep != "qwen" and _qwen_models:
+        _qwen_models.clear()
+        released = True
+    if keep != "llama" and _llama_model:
+        _llama_model.clear()
+        released = True
+    if released:
+        gc.collect()
+        if torch.cuda.is_available():
+            torch.cuda.empty_cache()
+
 # ------------------------------------------
 # تحميل Qwen عبر Transformers (مع تكميم int8 على الـ CPU لتوفير الذاكرة)
 # ------------------------------------------
 def get_qwen_model(model_id):
+    _free_local_models(keep="qwen")   # حرّر Llama قبل تحميل Qwen
     if model_id not in _qwen_models:
         print(f"⏳ جاري تحميل نموذج {model_id} ...")
         tok = AutoTokenizer.from_pretrained(model_id)
@@ -38,6 +56,7 @@ def get_qwen_model(model_id):
             # على الـ CPU: نحمّل float32 ثم نكمّم الطبقات الخطية إلى int8 (تكميم ديناميكي)
             print("🔻 تطبيق تكميم int8 الديناميكي على CPU لتوفير الذاكرة والتسريع...")
             mdl = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float32, low_cpu_mem_usage=True)
+            mdl = mdl.to(torch.float32)   # يحوّل أي أوزان/buffers بقيت bfloat16 إلى float32 (يصلح خطأ التكميم)
             mdl = torch.quantization.quantize_dynamic(mdl, {torch.nn.Linear}, dtype=torch.qint8)
         _qwen_models[model_id] = (tok, mdl)
     return _qwen_models[model_id]
@@ -46,6 +65,7 @@ def get_qwen_model(model_id):
 # تحميل Llama 3.1 8B عبر llama-cpp (GGUF 4-bit)
 # ------------------------------------------
 def get_llama_model():
+    _free_local_models(keep="llama")   # حرّر Qwen قبل تحميل Llama
     if "llm" not in _llama_model:
         print(f"⏳ جاري تحميل نموذج Llama 3.1 8B (قد يُنزّل ~4.9GB أول مرة) ...")
         # n_gpu_layers=-1 يدفع الطبقات إلى الـ GPU إن توفّر، وإلا يبقى كل شيء على الـ CPU.