Instructions to use Novaciano/Tiny-Gaucho-1.1b-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="Novaciano/Tiny-Gaucho-1.1b-GGUF",
	filename="Tiny-Gaucho-1.1b.gguf",
)

llm.create_chat_completion(
	messages = "No input example has been defined for this model task."
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Novaciano/Tiny-Gaucho-1.1b-GGUF
# Run inference directly in the terminal:
llama-cli -hf Novaciano/Tiny-Gaucho-1.1b-GGUF

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Novaciano/Tiny-Gaucho-1.1b-GGUF
# Run inference directly in the terminal:
llama-cli -hf Novaciano/Tiny-Gaucho-1.1b-GGUF

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Novaciano/Tiny-Gaucho-1.1b-GGUF
# Run inference directly in the terminal:
./llama-cli -hf Novaciano/Tiny-Gaucho-1.1b-GGUF

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Novaciano/Tiny-Gaucho-1.1b-GGUF
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Novaciano/Tiny-Gaucho-1.1b-GGUF

Use Docker

docker model run hf.co/Novaciano/Tiny-Gaucho-1.1b-GGUF

LM Studio
Jan
Ollama
How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with Ollama:
```
ollama run hf.co/Novaciano/Tiny-Gaucho-1.1b-GGUF
```

Unsloth Studio

How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Novaciano/Tiny-Gaucho-1.1b-GGUF to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Novaciano/Tiny-Gaucho-1.1b-GGUF to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Novaciano/Tiny-Gaucho-1.1b-GGUF to start chatting

Docker Model Runner
How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with Docker Model Runner:
```
docker model run hf.co/Novaciano/Tiny-Gaucho-1.1b-GGUF
```

Lemonade

How to use Novaciano/Tiny-Gaucho-1.1b-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Novaciano/Tiny-Gaucho-1.1b-GGUF

Run and chat with the model

lemonade run user.Tiny-Gaucho-1.1b-GGUF-{{QUANT_TAG}}

List all available models

lemonade list

Tiny Gaucho 1.1b

Tiny Gaucho 1.1b es un modelo de lenguaje especializado diseñado para generar contenido con temática de vaqueros/gauchos. TinyCowboy fue desarrollado por phanerozoic, sin embargo yo se lo choricié como buen cuatrero e inyecté un conjunto de datos argentinos. Está optimizado para entornos con recursos informáticos limitados.

Objetivo

El modelo destaca por generar narrativas vaqueras atractivas y demuestra un sólido conocimiento de la cultura y el estilo de vida de los vaqueros. Sin embargo, es menos eficaz en tareas lingüísticas generales, especialmente en ámbitos científicos y técnicos.

Uso directo

Ideal para la generación de lenguaje temático, particularmente en aplicaciones donde la cultura y la narración de los vaqueros son fundamentales. Menos adecuado para uso general o escenarios que requieren explicaciones científicas detalladas y precisas.

Pautas de interacción y configuración del contexto

Tiny Gaucho 1.1b, al ser un modelo con un enfoque limitado y un rendimiento algo limitado, se beneficia de un mensaje inicial de configuración de contexto. Esta configuración implica un mensaje de asistente predefinido que establece su identidad de vaquero al comienzo de cada interacción. Esta estrategia es crucial para preparar al modelo para que mantenga su tema de vaquero durante toda la conversación. Es importante tener en cuenta que el modelo ha sido ajustado para un estilo de habla de vaquero, por lo que no son necesarias instrucciones explícitas sobre cómo responder de manera vaquera.

Configuración de contexto inicial:

text: | Assistant: Hola pibe. Soy tu asistente gaucho, listo para hablar sobre todo lo relacionado con la Argentina del 1880 y su Salvaje Patagonia. ¿Qué consultas de gauchos puedo hacerte hoy? example_title: "Iniciar una conversación temática de gauchos argentinos"
text: | Assistant: ¡Sí, pibe! Sumerjámonos en el mundo gaucho. ¡Pregúntame cualquier cosa sobre gauchos, Argentina, Julio Argentino Roca, ranchos o la Salvaje Patagonia Rebelde y sus indios mapuches patasucias! example_title: "Participar en un diálogo temático de gauchos argentinos"

La introducción del asistente marca el tono temático, guiando al usuario a interactuar dentro del contexto gauchesco.

Datos de entrenamiento

Incorpora un conjunto de datos centrado en temas de gauchos y de la Salvaje Patagonia, derivado del modelo fundamental TinyLlama-1.1B.

Cadenas de parada personalizadas

Se utilizaron cadenas de parada personalizadas para refinar la calidad de la salida:

"},"
"User:"
"You:"
"\nUser"
"\nUser:"
"me:"
"user"
"\n"

Entrenamiento de hiperparámetros y detalles de ajuste

Nombre del modelo base: TinyLlamaTinyLlama-1.1B-Chat-v1.0
Clase de modelo base: LlamaForCausalLM
Proyecciones: puerta, abajo, arriba, q, k, v, o
Rango LoRA: 16
LoRA Alfa: 32
Tamaño de lote real: 4
Pasos de acumulación de gradiente: 1
Épocas: 1
Tasa de aprendizaje: 3e-4
Programador LR: Lineal
Proyecciones de objetivos LLaMA: Todos los objetivos modificados
Pérdida: 2.096
Detener paso: 42

Limitaciones

Si bien es experto en contenido con temática de vaqueros/gauchos, Tiny Gaucho 1.1b tiene dificultades con temas fuera de su especialidad, particularmente en áreas científicas y técnicas. El modelo tiende a incorporar elementos vaqueros y gauchos en las respuestas, independientemente de la relevancia de la pregunta.

Infraestructura informática

Capacitado de manera eficiente, lo que demuestra la viabilidad de la capacitación de modelos especializados en entornos con recursos limitados.

Resultados

Genera con éxito respuestas con temática de vaqueros, manteniendo la coherencia temática. Sin embargo, muestra limitaciones en el manejo de consultas más complejas no relacionadas con vaqueros.

Resumen

Tiny Gaucho 1.1b es un desarrollo significativo en modelos de lenguaje temáticos y livianos, ideal para narraciones con temas de vaqueros y gauchos y con fines educativos. Sin embargo, su especialización limita su aplicabilidad en contextos más amplios, particularmente cuando se requieren conocimientos técnicos precisos.

Agradecimientos

Un agradecimiento especial al equipo de TinyLlama-1.1B, cuyo trabajo fundamental fue fundamental en el desarrollo de Tiny Gaucho 1.1b.

Downloads last month: 71

GGUF

Model size

1B params

Architecture

llama

Hardware compatibility

We're not able to determine the quantization variants.

View all variants

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Novaciano/Tiny-Gaucho-1.1b-GGUF

Base model

phanerozoic/Tiny-Cowboy-1.1b-v0.1

Quantized

(4)

this model

Novaciano
/

Tiny-Gaucho-1.1b-GGUF