---
base_model: unsloth/DeepSeek-R1-Distill-Llama-8B-bnb-4bit
tags:
- text-generation-inference
- transformers
- unsloth
- llama
- trl
- somosnlp-2026
- reasoning
license: apache-2.0
language:
- es
---

# DeepSeek-R1-Distill-Llama-8B (Fine-Tuned for Reasoning)

Este modelo es una versión ajustada de **DeepSeek-R1-Distill-Llama-8B**, optimizada específicamente para mejorar las capacidades de razonamiento lógico y estructuración de respuestas técnicas.

## Descripción del Proyecto
Este fine-tuning fue realizado en el marco de la **Hackathon SomosNLP 2026**. El objetivo fue adaptar el modelo para actuar como un experto técnico capaz de desglosar procesos complejos (como auditorías o análisis de datos) mediante una cadena de pensamiento lógica, aprovechando la calidad del dataset `mariagrandury/distillama3-dibt-es`.

## Detalles del Entrenamiento
* **Arquitectura:** Llama-8B (vía DeepSeek Distill).
* **Dataset:** [mariagrandury/distillama3-dibt-es](https://huggingface.co/datasets/mariagrandury/distillama3-dibt-es).
* **Técnica:** Supervised Fine-Tuning (SFT) utilizando **Unsloth** para una eficiencia 2x superior.
* **Optimización:** Adaptadores LoRA (Low-Rank Adaptation) con entrenamiento en precisión de 4 bits para garantizar su ejecución en entornos de memoria limitada.

## Cómo utilizar este modelo
Puedes cargar el modelo fácilmente utilizando la librería `unsloth` y `transformers`:

```python
from unsloth import FastLanguageModel
import torch

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "AngelGabrielTroncoso/deepseek-reasoning-finetuned",
    load_in_4bit = True,
)

# Ejemplo de uso
messages = [{"role": "user", "content": "Explica el proceso de auditoría para detección de anomalías."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to("cuda")

outputs = model.generate(input_ids=inputs, max_new_tokens=1024)
print(tokenizer.decode(outputs[0]))

## Contribuciones y Agradecimientos

Entrenado con herramientas de [Unsloth](https://github.com/unslothai/unsloth). Agradecimientos a la comunidad de **SomosNLP** por fomentar la innovación y el desarrollo de modelos de lenguaje de alta calidad en español.

[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)

---