AI & ML interests

None defined yet.

Recent Activity

Marvideo  updated a Space about 13 hours ago
SparksLyse-Community/README
Marvideo  updated a model 7 days ago
SparksLyse-Community/Lyse-336M
ElectroLynx  published a Space 19 days ago
SparksLyse-Community/model-336m
View all activity

Organization Card

Bienvenue sur SparksLyse đź‘‹

SparksLyse est un projet de modèles de langue open-source axé sur l'entraînement de modèles Transformer légers et efficaces, développés de A à Z (from scratch).

L'objectif principal est de prototyper des architectures compactes, de tester des stratégies d'entraînement optimisées et de fournir des bases légères pour le traitement du langage naturel (principalement en français et en anglais).

Modèles

Modèle Paramètres Contexte Vocabulaire Description
Lyse-67M 67M 512 tokens 32 000 Modèle ultra-léger avec pré-entraînement & SFT.
Lyse-336M 336M 512 tokens 32 005 Modèle causal (24 couches) entraîné sur Wikipédia FR/EN.

Statut du Projet

Lyse.ai est sous développement actif. Les architectures, pipelines d'entraînement et capacités des modèles sont susceptibles d'évoluer au fil des itérations.

  • Licence : Apache2
  • Langues : Français (fr), (Anglais (en))

datasets 0

None public yet