README.md

---
base_model: unsloth/Qwen3-8B-unsloth-bnb-4bit
tags:
- text-generation-inference
- transformers
- unsloth
- qwen3
- trl
license: apache-2.0
language:
- es
datasets:
- somosnlp-hackathon-2025/gastronomia-hispana-dpo
---

# Qwen3 8B Gastronomía Hispana DPO

<div align="center">

![Model](https://img.shields.io/badge/Model-Qwen3%208B-blue)
![Training](https://img.shields.io/badge/Training-DPO-green)
![Language](https://img.shields.io/badge/Language-Spanish-red)
![License](https://img.shields.io/badge/License-Apache%202.0-yellow)

</div>

## Descripción del Modelo

**Qwen3 8B Gastronomía Hispana DPO** es un modelo de lenguaje especializado en cocina internacional, específicamente optimizado para la gastronomía hispana mediante Direct Preference Optimization (DPO). Este modelo ha sido entrenado para ser un experto en ingredientes, técnicas culinarias, recetas tradicionales y sustituciones apropiadas en diferentes culturas gastronómicas del mundo hispanohablante.

### Características Principales

- **Especialización**: Experto en gastronomía hispana e internacional
- **Idioma**: Respuestas exclusivamente en español
- **Conocimientos**: Ingredientes, técnicas de cocción, recetas tradicionales, sustituciones culinarias
- **Optimización**: Entrenado con DPO para respuestas de mayor calidad y preferencia humana
- **Base**: Qwen3 8B unsloth bnb 4bit con optimizaciones de Unsloth

## Detalles Técnicos

| **Parámetro** | **Valor** |
|---------------|-----------|
| **Modelo Base** | `unsloth/Qwen3-8B-unsloth-bnb-4bit` |
| **Método de Entrenamiento** | Direct Preference Optimization (DPO) |
| **Dataset** | `somosnlp-hackathon-2025/gastronomia-hispana-dpo` |
| **LoRA Rank** | 64 |
| **LoRA Alpha** | 64 |
| **Épocas** | 1 |
| **Learning Rate** | 2e-7 |
| **Batch Size** | 4 (con gradient accumulation = 8) |
| **Secuencia Máxima** | 2,500 tokens |
| **Template de Chat** | ChatML |
| **Precisión** | bfloat16 |

## Uso del Modelo

### Instalación

```bash
pip install transformers torch accelerate
```

### Carga del Modelo

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar modelo y tokenizer
model_name = "somosnlp-hackathon-2025/Qwen3-8B-gastronomia-hispana-dpo"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
```

### Ejemplo de Uso

```python
def generar_respuesta_culinaria(pregunta):
    messages = [
        {
            "role": "system", 
            "content": "Eres un experto en ingredientes de cocina internacional, conoces sus propiedades, usos tradicionales y sustituciones apropiadas en diferentes culturas gastronómicas del mundo."
        },
        {
            "role": "user", 
            "content": pregunta
        }
    ]
    
    # Aplicar template de chat
    input_text = tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
    )
    
    # Tokenizar
    inputs = tokenizer(input_text, return_tensors="pt", truncation=True)
    
    # Generar respuesta
    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=512,
            do_sample=True,
            temperature=0.7,
            top_p=0.9,
            pad_token_id=tokenizer.eos_token_id
        )
    
    # Decodificar respuesta
    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return response.split("assistant")[-1].strip()

# Ejemplo de consulta
pregunta = "¿Cómo puedo preparar un sofrito auténtico para paella valenciana?"
respuesta = generar_respuesta_culinaria(pregunta)
print(respuesta)
```

### Uso con Unsloth (Recomendado para Inferencia Rápida)

```python
from unsloth import FastLanguageModel

# Cargar con Unsloth para inferencia 2x más rápida
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="somosnlp-hackathon-2025/Qwen3-8B-gastronomia-hispana-dpo",
    max_seq_length=2500,
    dtype=None,  # Auto-detección
    load_in_4bit=True
)

# Habilitar inferencia rápida
FastLanguageModel.for_inference(model)
```

## Casos de Uso

### Casos de Uso Ideales

- **Consultas sobre ingredientes**: Propiedades, orígenes, usos tradicionales
- **Técnicas culinarias**: Métodos de cocción, tiempos y temperaturas
- **Recetas tradicionales**: Platos típicos de la gastronomía hispana
- **Sustituciones culinarias**: Alternativas para ingredientes no disponibles
- **Maridajes**: Combinaciones de sabores y bebidas
- **Consejos culinarios**: Tips para mejorar preparaciones

### Limitaciones

- **Idioma**: Solo responde en español
- **Especialización**: Enfocado principalmente en gastronomía hispana
- **Información médica**: No proporciona consejos médicos sobre dietas
- **Información actualizada**: Conocimiento limitado a datos de entrenamiento

## Rendimiento

El modelo ha sido optimizado mediante DPO para generar respuestas que:
- ✅ Son cultural y gastronómicamente precisas
- ✅ Incluyen contexto cultural relevante
- ✅ Proporcionan sustituciones apropiadas
- ✅ Mantienen un tono experto pero accesible
- ✅ Respetan las tradiciones culinarias regionales

## Ejemplos de Interacción

**Usuario**: "¿Qué tipo de harina se utiliza para hacer los crackers de los canapés con crema de salmón?"

**Asistente**: "Para preparar los crackers de los canapés con crema de salmón, la receta especifica el uso de **harina de fuerza**. Esta harina, también conocida como harina fuerte o harina de panadería, es ideal para este tipo de preparaciones debido a su alto contenido de gluten (generalmente entre un 12-14%)..."

---

**Usuario**: "¿Cuáles son los ingredientes principales del Motepillo?"

**Asistente**: [Respuesta detallada sobre este plato tradicional ecuatoriano con maíz tostado, huevos y especias]

## Dataset y Entrenamiento

- **Dataset**: Especializado en gastronomía hispana con pares de preferencias
- **Tamaño**: 7,092 ejemplos de entrenamiento
- **Método**: Direct Preference Optimization (DPO) con β=0.8
- **Validación**: Split 95%/5% para entrenamiento/validación
- **Hardware**: NVIDIA L40S (44.4GB VRAM)

## 🏆 Hackathon SomosNLP 2025

Este modelo fue desarrollado como parte del **Hackathon SomosNLP 2025**, enfocado en crear modelos de IA especializados para la comunidad hispanohablante.

### Equipo de Desarrollo

- Especialización en gastronomía hispana e internacional
- Optimización con técnicas de entrenamiento avanzadas (DPO)
- Enfoque en preservación cultural gastronómica

## 📄 Licencia

Este modelo se distribuye bajo la **Licencia Apache 2.0**, permitiendo uso comercial y modificación con atribución apropiada.

## 🔗 Enlaces Relacionados

- **Modelo Base**: [Qwen3 8B unsloth bnb 4bit](https://huggingface.co/unsloth/Qwen3-8B-unsloth-bnb-4bit)
- **Framework**: [Unsloth](https://github.com/unslothai/unsloth)
- **Dataset**: [Gastronomía Hispana DPO](https://huggingface.co/datasets/somosnlp-hackathon-2025/gastronomia-hispana-dpo)
- **SomosNLP**: [Comunidad](https://somosnlp.org/)

## 🙏 Agradecimientos

Agradecemos a:
- **SomosNLP** por organizar el hackathon y promover la IA en español
- **Unsloth** por las optimizaciones de entrenamiento
- **Qwen AI** por el modelo base
- **Cohere AI** por la API para el dataset
- **Hugging Face** por la infraestructura y herramientas

---

<div align="center">

**¡Disfruta cocinando con IA! 👨‍🍳🤖**

*Desarrollado con ❤️ para la comunidad hispanohablante*

</div>

# Uploaded  model

- **Developed by:** somosnlp-hackathon-2025
- **License:** apache-2.0
- **Finetuned from model :** unsloth/Qwen3-8B-unsloth-bnb-4bit

This qwen3 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)