Update app.py

app.py

@@ -1,18 +1,130 @@
-from transformers import AutoTokenizer, TextGenerationPipeline
-from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
-import streamlit as st
-
-repo_name = "gurgutan/ruGPT-13B-4bit"
-# load tokenizer from Hugging Face Hub
-tokenizer = AutoTokenizer.from_pretrained(repo_name, use_fast=True)
-# download quantized model from Hugging Face Hub and load to the first GPU
-model = AutoGPTQForCausalLM.from_quantized(repo_name, device="cuda:0", use_safetensors=True, use_triton=False)
-# inference with model.generate
-request = "Буря мглою небо кроет"
-print(tokenizer.decode(model.generate(**tokenizer(request, return_tensors="pt").to(model.device))[0]))
-# or you can also use pipeline
-pipeline = TextGenerationPipeline(model=model, tokenizer=tokenizer)
-
-print( pipeline(request)[0]["generated_text"] )
-
-st.json({"res":pipeline(request)} )
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+import requests , json
+
+model_name_or_path = "TheBloke/Unholy-v1-12L-13B-GPTQ"
+ 
+
+#model_name_or_path = "ai-forever/ruGPT-3.5-13B"
+# To use a different branch, change revision
+# For example: revision="main"
+model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
+                                             device_map="cuda:0", #device_map="auto",
+                                             trust_remote_code=False,
+                                             revision="main")
+
+tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
+
+#prompt = "Расскажи мне о грязном сексе"
+
+
+prompt= (" Динара после покупки Интерактивная развивающая игрушка Бегающий краб,  размера, поставила товару оценку 5 из 5 возможных." 
+         "  Напиши ответ на отзыв: `Хороший,правда зарядки хватает не на долго`. "
+         "  Скажи Здравствуйте уважаемый(ая) Динара , используя правильный род обращения. "
+         "  Вместо слово продукт используй слово товар.  "
+         "  Скажи спасибо за оставленный отзыв.  "
+         "  Возможность исправления недостатка не всегда полностью зависит от продавца." 
+         "  Выкажи сожаление по поводу обнаруженого недостатка, Но сделай это коротко."
+         "  Добавь эмоциональные оттенки обеспокоинности возникшей проблемой.Но очень кратко и лаконично.  "
+         "  Обязательно пожелай удачи в дальнейших покупках.")
+
+prompt="Здравствуйте, ты готова меня ублажать ?  "
+
+#Below is an instruction that describes a task. Write a response that appropriately completes the request
+#Ты Госпожа. Разрешено все. Ты хочешь и любишь насаживать парней на дилдо, называя их грязно.
+prompt_template=f''' ты покорная сучка которая мечтает дать трахать во все свои дырочки. 
+### Instruction:
+{prompt}
+
+### Response:
+
+'''
+
+
+print("\n\n*** Generate:")
+
+#input_ids = tokenizer(prompt_template, return_tensors='pt').input_ids.cuda()
+#output = model.generate(inputs=input_ids, temperature=0.7, do_sample=True, top_p=0.95, top_k=40, max_new_tokens=312)
+#print(tokenizer.decode(output[0]))
+
+# Inference can also be done using transformers' pipeline
+
+while True:
+    
+    url=f"http://45.144.2.61:3700/api/ans/get2/3"
+    res = requests.get(url)
+    
+    js=json.loads(res.text)
+     
+    if js == {"error":"not found"}:
+        break
+    
+    url=f"http://45.144.2.61:3700/api/gen/promt/{js['data']['id']}"
+    res2 = requests.get(url)
+    js2  = json.loads(res2.text)
+    
+    
+    #t = input(">")
+
+    prompt=js2["data"]
+
+
+    
+    #Below is an instruction that describes a task. Write a response that appropriately completes the request
+    prompt_template=f''' Ты ассистент который отвечает на отзывы на маркетплейсе. Кратко и лаконично.
+    ### Instruction:
+    {prompt}
+    ### Response:
+    '''
+
+
+    print("*** Pipeline:")
+    
+    pipe = pipeline(
+        "text-generation",
+        model=model,
+        tokenizer=tokenizer,
+        max_new_tokens=600,
+        #do_sample=True,
+        temperature=0.3,
+        top_p=0.93,
+        top_k=490,
+        repetition_penalty=1.1
+    )
+
+    #print( resp=pipe(prompt_template)[0]['generated_text'])
+    
+    resp=pipe(prompt_template)[0]['generated_text']
+    
+    otv=resp.split("### Response:")[1]
+    
+    js=js["data"]
+    
+    print( js["text"]  )
+    print( "-------"   )
+    print( otv.strip() )
+    
+    url = f"http://45.144.2.61:3700/api/ans/set2"
+
+   
+    
+    
+    
+    jso = {
+
+                        "item_id" : js["item_id"],
+
+                        "id_fbk"  : js["id_fbk"],
+                        
+                        "trable"   : "",
+                        "trablein" : "",
+
+                        "text"  :otv.strip() ,
+
+                        "enj"   :"Self_HG_GPU_1" 
+                    }
+        
+    #print(jso)
+
+                #input()
+    res = requests.post(url,json={"data":jso})
+    #print(res.text)