Update app.py

app.py

@@ -1,17 +1,16 @@
 from fastapi import FastAPI
 from pydantic import BaseModel
-from llama_cpp import Llama
+from ctransformers import AutoModelForCausalLM
 import uvicorn
-import os
 
 app = FastAPI()
 
-# Загружаем модель Qwen 2.5 7B. Она мощная и влезет в 16 ГБ HF.
-print(">>> ЗАГРУЗКА МОДЕЛИ...")
-llm = Llama.from_pretrained(
-    repo_id="Qwen/Qwen2.5-7B-Instruct-GGUF",
-    model_file="*q4_k_m.gguf",
-    n_ctx=2048
+# Загружаем Qwen 2.5 через ctransformers
+print(">>> ЗАГРУЗКА МОДЕЛИ (CTRANSFORMERS)...")
+llm = AutoModelForCausalLM.from_pretrained(
+    "Qwen/Qwen2.5-7B-Instruct-GGUF",
+    model_file="q4_k_m.gguf",
+    model_type="gptneox" # Для Qwen часто подходит этот тип или 'llama'
 )
 
 class Query(BaseModel):
@@ -19,13 +18,13 @@ class Query(BaseModel):
 
 @app.get("/")
 def home():
-    return {"status": "Система ACF активна"}
+    return {"status": "Система ACF активна (ctransformers)"}
 
 @app.post("/ask")
 def ask_ai(query: Query):
-    prompt = f"<|im_start|>system\nТы эксперт ACF Wiki. Отвечай подробно на русском.<|im_end|>\n<|im_start|>user\n{query.question}<|im_end|>\n<|im_start|>assistant\n"
-    output = llm(prompt, max_tokens=1000, stop=["<|im_end|>"])
-    return {"answer": output['choices'][0]['text'].strip()}
+    # Формируем ответ
+    answer = llm(query.question, max_new_tokens=500)
+    return {"answer": answer}
 
 if __name__ == "__main__":
     uvicorn.run(app, host="0.0.0.0", port=7860)