Instructions to use lumen-models/spanish-tinyllama-v1-gguf with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use lumen-models/spanish-tinyllama-v1-gguf with Transformers:

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("lumen-models/spanish-tinyllama-v1-gguf", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use lumen-models/spanish-tinyllama-v1-gguf with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0
# Run inference directly in the terminal:
llama cli -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0
# Run inference directly in the terminal:
llama cli -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0
# Run inference directly in the terminal:
./llama-cli -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0
# Run inference directly in the terminal:
./build/bin/llama-cli -hf lumen-models/spanish-tinyllama-v1-gguf:Q4_0

Use Docker

docker model run hf.co/lumen-models/spanish-tinyllama-v1-gguf:Q4_0

LM Studio
Jan
Ollama
How to use lumen-models/spanish-tinyllama-v1-gguf with Ollama:
```
ollama run hf.co/lumen-models/spanish-tinyllama-v1-gguf:Q4_0
```

Unsloth Studio

How to use lumen-models/spanish-tinyllama-v1-gguf with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for lumen-models/spanish-tinyllama-v1-gguf to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for lumen-models/spanish-tinyllama-v1-gguf to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for lumen-models/spanish-tinyllama-v1-gguf to start chatting

Atomic Chat new
Docker Model Runner
How to use lumen-models/spanish-tinyllama-v1-gguf with Docker Model Runner:
```
docker model run hf.co/lumen-models/spanish-tinyllama-v1-gguf:Q4_0
```

Lemonade

How to use lumen-models/spanish-tinyllama-v1-gguf with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull lumen-models/spanish-tinyllama-v1-gguf:Q4_0

Run and chat with the model

lemonade run user.spanish-tinyllama-v1-gguf-Q4_0

List all available models

lemonade list

Lumen Admin Assistant - IA para trámites españoles

Convierte cualquier modelo de IA en un experto en administración pública española.

🎯 ¿Por qué este proyecto?

Los modelos de IA actuales:

❌ No entienden trámites españoles (DNI, SEPE, Seguridad Social...)
❌ Requieren hardware caro
❌ Están en inglés o con contexto anglosajón

Lumen AI soluciona esto proporcionando herramientas específicas para hispanohablantes.

🚀 Productos disponibles

1. 🤖 Chatbot en vivo (prueba ahora)

Space interactivo: https://huggingface.co/spaces/lumen-models/lumen-admin-assistant
No requiere descargas
Responde sobre trámites en tiempo real

2. 📄 Template gratuito

Instrucciones completas: asistente-tramites-es-v0.5.md
Convierte ChatGPT/Claude en experto español
Incluye ejemplos reales (DNI, SEPE, Hacienda)

3. 🧠 Modelos optimizados

TinyLlama 1.1B en formato GGUF (608MB)
Funciona en ordenadores normales (8GB+ RAM)
100% gratis y open-source

📋 Trámites cubiertos

✅ DNI/Pasaporte - Renovación, cita previa
✅ SEPE - Desempleo, ayudas, citas
✅ Seguridad Social - Autónomos, altas/bajas
✅ Extranjería - TIE, NIE, autorizaciones
✅ Hacienda - IRPF, IVA, modelos
✅ Ayuntamientos - Padrón, licencias

🛠️ Cómo usar

Para usuarios normales:

Prueba el chatbot: https://huggingface.co/spaces/lumen-models/lumen-admin-assistant
Usa el template: Copia este archivo en Custom Instructions de ChatGPT

Para desarrolladores:

Descarga el modelo GGUF
Usa con: Ollama, llama.cpp, text-generation-webui
Aplica el template para mejores resultados

📊 Especificaciones técnicas

Modelo base: TinyLlama 1.1B Chat
Formato: GGUF Q4_0
Tamaño: 608MB
RAM mínima: 4GB (recomendado 8GB)
Licencia: Apache 2.0

🗺️ Roadmap

v0.5 ✅ Template + Demo + Chatbot (actual)
v1.0 🚧 Finetuning con datos españoles reales
v2.0 📦 Modelos especializados (fiscalidad, administración)
v3.0 📚 Dataset público "Spain-Admin-QA"

⚠️ Descargo de responsabilidad

Este proyecto proporciona información orientativa. Los trámites pueden variar por comunidad autónoma. Consulte siempre fuentes oficiales para procedimientos concretos.

🤝 Contribuciones

¿Mejorías? ¡Issues y PRs son bienvenidos!

🌐 Conecta

Twitter: @LumenAI_ES
Todos los modelos: https://huggingface.co/lumen-models

Haciendo la IA accesible para la comunidad hispanohablante.

Downloads last month: 32

GGUF

Model size

1B params

Architecture

llama

Hardware compatibility

4-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support