---
license: apache-2.0
base_model:
- prithivMLmods/gemma-4-E2B-it-Uncensored-MAX
tags:
  - litert-lm
  - uncensored
  - abliterated
  - edge-gallery
  - on-device
language:
- en
---

# gemma-4-E2B-it-Uncensored-MAX → LiteRT-LM

Conversión de [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) a formato `.litertlm` para **Google AI Edge Gallery** en Android.

## 🚀 Cómo convertir (Google Colab, gratis)

El notebook está **probado y listo** para ejecutar en Colab:

📓 **[`gemma4_to_litertlm.ipynb`](https://huggingface.co/RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm/blob/main/gemma4_to_litertlm.ipynb)**

### Pasos:
1. **Descarga** el notebook y ábrelo en Google Colab
2. Selecciona runtime: **GPU (T4) + RAM Alta** (`hm`)  
   → Entorno de ejecución → Cambiar tipo → T4 + RAM Alta
3. **Pon tu token** de HuggingFace (con permisos de escritura) en la primera celda
4. **Ejecuta** todas las celdas (~30-45 min)
5. El `.litertlm` se sube automáticamente aquí

### ¿Qué hace?
1. **Extrae solo el decoder de texto** del modelo multimodal (4.8 GB vs 9.6 GB total)  
   → Mantiene la key naming correcta (`model.language_model.*`)
2. **Crea config modificado** con `vision_config=None`, `audio_config=None`  
   → `Gemma4ForConditionalGeneration` solo instancia el language model
3. **Convierte a TFLite** via `litert-torch` con cuantización INT8
4. **Empaqueta como `.litertlm`** con `externalize_embedder=True` (requerido por Gemma4)
5. **Sube a HuggingFace**

### Si pesa >2 GB
Cambia `"dynamic_wi8_afp32"` → `"dynamic_wi4_afp32"` en la celda 4 (INT4 en vez de INT8, mitad de tamaño)

## 📱 Uso (una vez convertido)

### Edge Gallery (Android)
1. Instala [Google AI Edge Gallery](https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery)
2. Añade modelo via URL de HuggingFace
3. ¡Chatea!

### CLI
```bash
pip install litert-lm
litert-lm import --from-huggingface-repo RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm gemma-4-E2B-it-Uncensored-MAX.litertlm uncensored-max
litert-lm run uncensored-max
```

## Detalles técnicos

| | |
|---|---|
| **Modelo base** | [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) |
| **Arquitectura** | Gemma 4 E2B (text decoder only, ~1.4B params) |
| **Formato** | LiteRT-LM (`.litertlm`) |
| **Cuantización** | INT8 dynamic (`dynamic_wi8_afp32`) |
| **Contexto** | 4096 tokens |
| **Tamaño estimado** | ~1.5-2.0 GB |
| **Convertido con** | `litert-torch` v0.9.0 |

⚠️ Modelo abliterated/uncensored. Úsalo con responsabilidad.