from fastapi import FastAPI
from pydantic import BaseModel
from ctransformers import AutoModelForCausalLM
import uvicorn

app = FastAPI()

# Загружаем Qwen 2.5 через ctransformers
print(">>> ЗАГРУЗКА МОДЕЛИ (CTRANSFORMERS)...")
llm = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-7B-Instruct-GGUF",
    model_file="q4_k_m.gguf",
    model_type="gptneox" # Для Qwen часто подходит этот тип или 'llama'
)

class Query(BaseModel):
    question: str

@app.get("/")
def home():
    return {"status": "Система ACF активна (ctransformers)"}

@app.post("/ask")
def ask_ai(query: Query):
    # Формируем ответ
    answer = llm(query.question, max_new_tokens=500)
    return {"answer": answer}

if __name__ == "__main__":
    uvicorn.run(app, host="0.0.0.0", port=7860)