RedSparkie commited on
Commit
e9487c4
·
verified ·
1 Parent(s): 6c512ff

Update README with tested instructions

Browse files
Files changed (1) hide show
  1. README.md +27 -25
README.md CHANGED
@@ -16,36 +16,40 @@ language:
16
 
17
  Conversión de [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) a formato `.litertlm` para **Google AI Edge Gallery** en Android.
18
 
19
- ## 🚀 Cómo convertir
20
 
21
- El notebook de conversión está listo para ejecutar en Google Colab **(gratis)**:
22
 
23
- 👉 **[Abrir en Colab](https://colab.research.google.com/github/huggingface/notebooks/blob/main/gemma4_to_litertlm.ipynb)** ← *Usa el link de abajo en su lugar*
24
-
25
- **Link directo al notebook en este repo:**
26
- [`gemma4_to_litertlm.ipynb`](https://huggingface.co/RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm/blob/main/gemma4_to_litertlm.ipynb)
27
 
28
  ### Pasos:
29
- 1. Descarga el notebook o ábrelo en Colab
30
- 2. Pon tu token de HuggingFace (con permisos de escritura)
31
- 3. Selecciona runtime con **RAM Alta** (Entorno de ejecución → Cambiar tipo → RAM Alta)
32
- 4. Ejecuta todas las celdas
33
- 5. El `.litertlm` se sube automáticamente a este repo
 
 
 
 
 
 
 
 
 
 
34
 
35
- ### ¿Qué hace el notebook?
36
- 1. **Extrae solo el decoder de texto** del modelo multimodal (~4.8 GB en bf16 vs 9.6 GB completo)
37
- 2. **Convierte a TFLite** via `litert-torch` con cuantización INT8
38
- 3. **Empaqueta como `.litertlm`** listo para Edge Gallery
39
- 4. **Sube a este repo** automáticamente
40
 
41
  ## 📱 Uso (una vez convertido)
42
 
43
- ### Google AI Edge Gallery (Android/iOS)
44
  1. Instala [Google AI Edge Gallery](https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery)
45
- 2. Añade este modelo via URL de HuggingFace
46
  3. ¡Chatea!
47
 
48
- ### LiteRT-LM CLI
49
  ```bash
50
  pip install litert-lm
51
  litert-lm import --from-huggingface-repo RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm gemma-4-E2B-it-Uncensored-MAX.litertlm uncensored-max
@@ -57,13 +61,11 @@ litert-lm run uncensored-max
57
  | | |
58
  |---|---|
59
  | **Modelo base** | [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) |
60
- | **GGUF original** | [mradermacher/gemma-4-E2B-it-Uncensored-MAX-GGUF](https://huggingface.co/mradermacher/gemma-4-E2B-it-Uncensored-MAX-GGUF) |
61
  | **Formato** | LiteRT-LM (`.litertlm`) |
62
  | **Cuantización** | INT8 dynamic (`dynamic_wi8_afp32`) |
63
- | **Tarea** | Generación de texto (solo decoder, sin visión/audio) |
64
  | **Contexto** | 4096 tokens |
65
- | **Tamaño estimado** | ~1.9-2.4 GB |
66
-
67
- ## ⚠️ Disclaimer
68
 
69
- Modelo abliterated/uncensored. Úsalo con responsabilidad.
 
16
 
17
  Conversión de [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) a formato `.litertlm` para **Google AI Edge Gallery** en Android.
18
 
19
+ ## 🚀 Cómo convertir (Google Colab, gratis)
20
 
21
+ El notebook está **probado y listo** para ejecutar en Colab:
22
 
23
+ 📓 **[`gemma4_to_litertlm.ipynb`](https://huggingface.co/RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm/blob/main/gemma4_to_litertlm.ipynb)**
 
 
 
24
 
25
  ### Pasos:
26
+ 1. **Descarga** el notebook y ábrelo en Google Colab
27
+ 2. Selecciona runtime: **GPU (T4) + RAM Alta** (`hm`)
28
+ Entorno de ejecución → Cambiar tipo → T4 + RAM Alta
29
+ 3. **Pon tu token** de HuggingFace (con permisos de escritura) en la primera celda
30
+ 4. **Ejecuta** todas las celdas (~30-45 min)
31
+ 5. El `.litertlm` se sube automáticamente aquí
32
+
33
+ ### ¿Qué hace?
34
+ 1. **Extrae solo el decoder de texto** del modelo multimodal (4.8 GB vs 9.6 GB total)
35
+ → Mantiene la key naming correcta (`model.language_model.*`)
36
+ 2. **Crea config modificado** con `vision_config=None`, `audio_config=None`
37
+ → `Gemma4ForConditionalGeneration` solo instancia el language model
38
+ 3. **Convierte a TFLite** via `litert-torch` con cuantización INT8
39
+ 4. **Empaqueta como `.litertlm`** con `externalize_embedder=True` (requerido por Gemma4)
40
+ 5. **Sube a HuggingFace**
41
 
42
+ ### Si pesa >2 GB
43
+ Cambia `"dynamic_wi8_afp32"` `"dynamic_wi4_afp32"` en la celda 4 (INT4 en vez de INT8, mitad de tamaño)
 
 
 
44
 
45
  ## 📱 Uso (una vez convertido)
46
 
47
+ ### Edge Gallery (Android)
48
  1. Instala [Google AI Edge Gallery](https://play.google.com/store/apps/details?id=com.google.ai.edge.gallery)
49
+ 2. Añade modelo via URL de HuggingFace
50
  3. ¡Chatea!
51
 
52
+ ### CLI
53
  ```bash
54
  pip install litert-lm
55
  litert-lm import --from-huggingface-repo RedSparkie/gemma-4-E2B-it-Uncensored-MAX-litert-lm gemma-4-E2B-it-Uncensored-MAX.litertlm uncensored-max
 
61
  | | |
62
  |---|---|
63
  | **Modelo base** | [prithivMLmods/gemma-4-E2B-it-Uncensored-MAX](https://huggingface.co/prithivMLmods/gemma-4-E2B-it-Uncensored-MAX) |
64
+ | **Arquitectura** | Gemma 4 E2B (text decoder only, ~1.4B params) |
65
  | **Formato** | LiteRT-LM (`.litertlm`) |
66
  | **Cuantización** | INT8 dynamic (`dynamic_wi8_afp32`) |
 
67
  | **Contexto** | 4096 tokens |
68
+ | **Tamaño estimado** | ~1.5-2.0 GB |
69
+ | **Convertido con** | `litert-torch` v0.9.0 |
 
70
 
71
+ ⚠️ Modelo abliterated/uncensored. Úsalo con responsabilidad.