---
license: llama3.1
inference: false
language:
- en
- es
- pt
base_model:
- meta-llama/Llama-3.1-70B
library_name: transformers
tags:
- research
- latin-america
- cenia
- latamgpt
---
# Llama-3.1-70B-LatamGPT-SFT-1.0
🌐 Versões de idioma: [Español](README_es.md) | [English](README.md)
LatamGPT é um modelo de linguagem desenvolvido a partir da América Latina e do Caribe, com foco na representação das particularidades linguísticas, culturais e regionais. Ele foi construído sobre a base do **Llama 3.1 70B** e adaptado por meio de **pré-treinamento contínuo** (*continued pretraining*, CPT) com dados latino-americanos e **ajuste supervisionado** (*supervised fine-tuning*, SFT) orientado a instruções, conversação e tarefas de processamento de linguagem natural em espanhol, português e inglês. Este desenvolvimento fortalece a soberania tecnológica e o desenvolvimento de capacidades locais, permitindo que a região lidere sua própria inovação.
O objetivo do LatamGPT é oferecer um modelo aberto, multilíngue e culturalmente pertinente, que contribua para reduzir a lacuna de representação regional em relação aos modelos globais, com melhor cobertura de expressões, contextos, referências culturais e usos linguísticos próprios da América Latina e do Caribe.
## Informações do modelo
LatamGPT 1.0 é um modelo autoregressivo baseado na arquitetura Transformer. Ele herda as capacidades gerais do Llama 3.1 70B e as complementa com um processo de adaptação regional em duas etapas principais:
1. **Continued pretraining (CPT):** especialização do modelo base com dados da América Latina.
2. **Supervised fine-tuning (SFT):** ajuste supervisionado para melhorar o seguimento de instruções, a qualidade conversacional, a utilidade e o desempenho em tarefas regionais.
**Idiomas suportados:** espanhol, português e inglês, com foco especial em variantes, registros e usos regionais latino-americanos.
**Licença:** o uso do modelo Llama 3.1 LatamGPT está sujeito à licença [Llama 3.1 Community License Agreement](https://www.llama.com/llama3_1/license/) Copyright © Meta Platforms, Inc. Built with Llama. Recomendamos revisar cuidadosamente os termos aplicáveis antes de redistribuir, modificar ou implantar o modelo em produção.
**Contato:** [latam-gpt@cenia.cl](mailto:latam-gpt@cenia.cl)
> **Nota:** em breve será publicado um catálogo de dados e um relatório técnico do modelo. Esses documentos fornecerão mais detalhes sobre as fontes de dados, os critérios de curadoria, as etapas de treinamento, a metodologia de avaliação e as principais limitações do LatamGPT.
## Usos previstos
LatamGPT foi pensado para pesquisa, experimentação, desenvolvimento de aplicações e uso comercial em contextos latino-americanos nos quais sejam necessárias geração de texto, assistência conversacional, resumo, classificação, redação, apoio à análise e outras tarefas de processamento de linguagem natural.
Este modelo pode ser especialmente útil em cenários nos quais o idioma, as referências culturais ou os contextos regionais da América Latina sejam relevantes para a qualidade das respostas.
### Usos fora do escopo
LatamGPT não deve ser utilizado para fins que violem leis, regulamentos, direitos de terceiros ou termos de licença aplicáveis. Também não deve ser utilizado sem controles adicionais em contextos de alto impacto, como saúde, educação, finanças, justiça, segurança pública ou outras áreas nas quais uma saída incorreta possa causar danos significativos.
O modelo não é otimizado para idiomas diferentes de espanhol, português e inglês. Embora possa gerar texto em outros idiomas, o desempenho fora desses três idiomas não constitui um objetivo principal desta versão.
## Como usar o modelo
### Requisitos de memória
LatamGPT é baseado em um modelo de 70B parâmetros. Para inferência em precisão BF16/FP16, são necessários aproximadamente 140 GB de VRAM apenas para os pesos do modelo, por isso recomenda-se o uso de múltiplas GPUs de alta memória.
### Uso com Hugging Face Transformers
Para usar o LatamGPT com `transformers`, você pode carregar o modelo e o tokenizador da seguinte forma:
```python
from transformers import pipeline
import torch
pipe = pipeline(
"text-generation",
model="latamgpt/Llama-3.1-70B-LatamGPT-SFT-1.0",
torch_dtype=torch.bfloat16,
device_map="auto",
)
messages = [
{"role": "system", "content": "Você é um assistente útil, claro e preciso, com foco na América Latina e no Caribe."},
{"role": "user", "content": "Explique em um breve parágrafo o que é LatamGPT."},
]
out = pipe(messages, max_new_tokens=256, temperature=0.6, top_p=0.9, do_sample=True)
print(out[0]["generated_text"][-1]["content"])
```
## Nota importante
Este modelo inclui um chat template predefinido e uma configuração especial do tokenizer. Recomendamos utilizar o tokenizer, o chat template e a generation config padrão fornecidos neste repositório.
Por favor, evite modificar o chat template ou sobrescrever manualmente as configurações do tokenizer, pois o modelo depende de seus tokens predefinidos e de seu formato conversacional. Alterar essas configurações pode degradar a qualidade das respostas ou fazer com que as gerações não terminem corretamente.
## Dados de treinamento
LatamGPT 1.0 foi construído a partir do Llama 3.1 70B e adaptado com dados regionais da América Latina e do Caribe. O foco principal do processo de treinamento foi incorporar dados representativos da região, reunidos por meio de uma aliança estratégica de mais de 75 instituições.
A etapa de pré-treinamento contínuo foi realizada com o LatamGPT Corpus 1.0, um conjunto de dados composto por aproximadamente 297B tokens. O dataset estará disponível em breve no Hugging Face: [link em breve].
Este trabalho abrange dados de 20 países: Argentina, Brasil, Bolivia, Chile, Colombia, Costa Rica, Cuba, República Dominicana, Ecuador, El Salvador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, Puerto Rico, Uruguay e Venezuela.
Os dados regionais cobrem diferentes áreas temáticas de interesse cultural, social, histórico, científico e territorial, incluindo: povos originários, comida e gastronomia, dialetos e línguas, fatos históricos, celebrações e festividades, lugares e geografia, artes, humanidades e ciências sociais, comunicação e mídia, política, personagens importantes, mitologia, flora e fauna, esportes e recreação, economia e finanças, ciências exatas, educação, e medicina e saúde.
A etapa de pré-treinamento contínuo busca ampliar a cobertura do modelo sobre línguas, expressões, entidades, referências culturais e contextos próprios da América Latina e do Caribe.
A etapa de ajuste supervisionado incorpora exemplos orientados a melhorar o seguimento de instruções, a interação conversacional e a utilidade do modelo em tarefas de processamento de linguagem natural.
O processo de construção dos dados considera critérios de qualidade, rastreabilidade e diversidade regional. No entanto, como todo modelo treinado sobre grandes coleções de texto, o LatamGPT pode refletir vieses, lacunas ou erros presentes em seus dados de treinamento.
## Responsabilidade e segurança
LatamGPT deve ser implantado como parte de sistemas mais amplos que incorporem controles de segurança, monitoramento e mecanismos de mitigação de riscos. O modelo não deve ser considerado uma fonte infalível de informação nem utilizado sem validação humana em contextos de alto impacto.
As pessoas ou organizações que integrem o LatamGPT em produtos ou serviços são responsáveis por definir políticas de uso, filtros, avaliações e limites adequados para seu caso de aplicação.
### Implantação responsável
Antes de implantar o LatamGPT em produção, recomenda-se:
* Avaliar o modelo no domínio específico de uso.
* Implementar filtros de entrada e saída quando apropriado.
* Monitorar erros, vieses e usos indevidos.
* Definir mecanismos de retroalimentação e reporte.
* Evitar que o modelo tome decisões críticas sem supervisão humana.
## Considerações éticas e limitações
LatamGPT busca contribuir para o desenvolvimento de modelos de linguagem mais representativos da América Latina. Ainda assim, o modelo pode produzir respostas incorretas, incompletas, enviesadas ou desatualizadas.
Suas saídas devem ser interpretadas como conteúdo gerado automaticamente e não como aconselhamento profissional. Em aplicações sensíveis, as respostas devem ser revisadas por especialistas antes de serem utilizadas.
Entre suas principais limitações estão:
* Possibilidade de alucinações ou erros factuais.
* Variação de desempenho entre idiomas, países e domínios.
* Reprodução de vieses presentes nos dados.
* Dificuldade para reconhecer informações desatualizadas.
* Sensibilidade ao prompt e ao contexto fornecido.
* Desempenho limitado fora do espanhol, português e inglês.
## Citação
Se você utilizar o LatamGPT em pesquisas, produtos ou relatórios técnicos, por favor cite o projeto usando a seguinte referência:
```bibtex
@misc{latamgpt2026,
title = {Llama-3.1-70B-LatamGPT-SFT-1.0},
author = {LatamGPT Team},
year = {2026},
howpublished = {\url{https://huggingface.co/latam-gpt/Llama-3.1-70B-LatamGPT-SFT-1.0}}
}
```
## Agradecimentos
LatamGPT é possível graças ao trabalho colaborativo de equipes técnicas, instituições, comunidades e organizações que contribuem para o desenvolvimento de inteligência artificial aberta e representativa para a América Latina e o Caribe.
