chenjn168/gemma-4-E2B-it-Uncensored-MAX-litert-lm

gemma-4-E2B-it-Uncensored-MAX → LiteRT-LM

Conversión de prithivMLmods/gemma-4-E2B-it-Uncensored-MAX a formato .litertlm para Google AI Edge Gallery en Android.

🚀 Cómo convertir (Google Colab, gratis)

El notebook está probado y listo para ejecutar en Colab:

📓 gemma4_to_litertlm.ipynb

Pasos:

1. Descarga el notebook y ábrelo en Google Colab
2. Selecciona runtime: GPU (T4) + RAM Alta (hm)
   → Entorno de ejecución → Cambiar tipo → T4 + RAM Alta
3. Pon tu token de HuggingFace (con permisos de escritura) en la primera celda
4. Ejecuta todas las celdas (~30-45 min)
5. El .litertlm se sube automáticamente aquí

¿Qué hace?

1. Extrae solo el decoder de texto del modelo multimodal (4.8 GB vs 9.6 GB total)
   → Mantiene la key naming correcta (model.language_model.*)
2. Crea config modificado con vision_config=None, audio_config=None
   → Gemma4ForConditionalGeneration solo instancia el language model
3. Convierte a TFLite via litert-torch con cuantización INT8
4. Empaqueta como .litertlm con externalize_embedder=True (requerido por Gemma4)
5. Sube a HuggingFace

Si pesa >2 GB

Cambia "dynamic_wi8_afp32" → "dynamic_wi4_afp32" en la celda 4 (INT4 en vez de INT8, mitad de tamaño)

📱 Uso (una vez convertido)

Edge Gallery (Android)

1. Instala Google AI Edge Gallery
2. Añade modelo via URL de HuggingFace
3. ¡Chatea!

CLI

pip install litert-lm
litert-lm import --from-huggingface-repo RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm gemma-4-E2B-it-Uncensored-MAX.litertlm uncensored-max
litert-lm run uncensored-max

Detalles técnicos

Modelo base	prithivMLmods/gemma-4-E2B-it-Uncensored-MAX
Arquitectura	Gemma 4 E2B (text decoder only, ~1.4B params)
Formato	LiteRT-LM (.litertlm)
Cuantización	INT8 dynamic (dynamic_wi8_afp32)
Contexto	4096 tokens
Tamaño estimado	~1.5-2.0 GB
Convertido con	litert-torch v0.9.0

⚠️ Modelo abliterated/uncensored. Úsalo con responsabilidad.