Upload do modelo DeBERTinha NER para endereços brasileiros

README.md

@@ -0,0 +1,182 @@
+---
+base_model: sagui-nlp/debertinha-ptbr-xsmall-lenerbr
+library_name: peft
+language:
+- pt
+license: apache-2.0
+tags:
+- base_model:adapter:sagui-nlp/debertinha-ptbr-xsmall-lenerbr
+- lora
+- transformers
+- ner
+- token-classification
+- portuguese
+- address-parsing
+- brazilian-portuguese
+datasets:
+- custom
+pipeline_tag: token-classification
+---
+
+# DeBERTinha NER para Endereços Brasileiros
+
+Modelo de Named Entity Recognition (NER) para extração de componentes de endereços brasileiros, baseado no [DeBERTinha](https://huggingface.co/sagui-nlp/debertinha-ptbr-xsmall-lenerbr) e treinado com LoRA (Low-Rank Adaptation).
+
+## Descrição do Modelo
+
+Este modelo foi fine-tuned para identificar e extrair componentes de endereços brasileiros, incluindo:
+
+| Entidade | Descrição | Exemplo |
+|----------|-----------|---------|
+| `LOGRADOURO` | Tipo e nome da via | Rua das Flores, Avenida Brasil |
+| `NUMERO` | Número do imóvel | 123, S/N |
+| `COMPLEMENTO` | Complemento do endereço | Apto 101, Bloco A |
+| `BAIRRO` | Bairro | Centro, Jardim América |
+| `CIDADE` | Cidade/Município | São Paulo, Campinas |
+| `ESTADO` | Estado (sigla ou nome) | SP, São Paulo |
+| `CEP` | Código de Endereçamento Postal | 01310-100 |
+| `PAIS` | País | Brasil |
+
+## Como Usar
+
+### Instalação
+
+```bash
+pip install transformers peft torch
+```
+
+### Código de Exemplo
+
+```python
+from transformers import AutoTokenizer, AutoModelForTokenClassification
+from peft import PeftModel
+import torch
+
+# Carregar o modelo base e o adapter
+base_model_name = "sagui-nlp/debertinha-ptbr-xsmall-lenerbr"
+adapter_name = "felipergcpqd/debertinha-500k-address-ner-pt"
+
+# Carregar tokenizer
+tokenizer = AutoTokenizer.from_pretrained(adapter_name)
+
+# Carregar modelo base
+base_model = AutoModelForTokenClassification.from_pretrained(
+    base_model_name,
+    num_labels=17,  # 8 entidades x 2 (B-/I-) + O
+    ignore_mismatched_sizes=True
+)
+
+# Carregar adapter PEFT
+model = PeftModel.from_pretrained(base_model, adapter_name)
+model.eval()
+
+# Labels do modelo
+id2label = {
+    0: "O",
+    1: "B-LOGRADOURO", 2: "I-LOGRADOURO",
+    3: "B-NUMERO", 4: "I-NUMERO",
+    5: "B-COMPLEMENTO", 6: "I-COMPLEMENTO",
+    7: "B-BAIRRO", 8: "I-BAIRRO",
+    9: "B-CIDADE", 10: "I-CIDADE",
+    11: "B-ESTADO", 12: "I-ESTADO",
+    13: "B-CEP", 14: "I-CEP",
+    15: "B-PAIS", 16: "I-PAIS"
+}
+
+# Fazer predição
+def predict_ner(text):
+    inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512)
+    
+    with torch.no_grad():
+        outputs = model(**inputs)
+    
+    predictions = torch.argmax(outputs.logits, dim=2)
+    tokens = tokenizer.convert_ids_to_tokens(inputs["input_ids"][0])
+    
+    results = []
+    for token, pred in zip(tokens, predictions[0]):
+        if token not in ["[CLS]", "[SEP]", "[PAD]"]:
+            label = id2label[pred.item()]
+            results.append((token, label))
+    
+    return results
+
+# Exemplo de uso
+endereco = "Rua das Flores, 123, Apto 45, Centro, São Paulo, SP, 01310-100"
+resultado = predict_ner(endereco)
+
+for token, label in resultado:
+    if label != "O":
+        print(f"{token}: {label}")
+```
+
+### Usando com Pipeline (após merge)
+
+Se você quiser usar o modelo completo (merged), você pode fazer:
+
+```python
+from transformers import pipeline
+from peft import PeftModel, AutoPeftModelForTokenClassification
+
+# Carregar e fazer merge do modelo
+model = AutoPeftModelForTokenClassification.from_pretrained(
+    "felipergcpqd/debertinha-500k-address-ner-pt"
+)
+merged_model = model.merge_and_unload()
+
+# Criar pipeline
+ner_pipeline = pipeline(
+    "token-classification",
+    model=merged_model,
+    tokenizer=tokenizer,
+    aggregation_strategy="simple"
+)
+
+resultado = ner_pipeline("Av. Paulista, 1000, Bela Vista, São Paulo - SP, 01310-100")
+print(resultado)
+```
+
+## Detalhes do Treinamento
+
+- **Modelo Base:** [sagui-nlp/debertinha-ptbr-xsmall-lenerbr](https://huggingface.co/sagui-nlp/debertinha-ptbr-xsmall-lenerbr)
+- **Técnica de Fine-tuning:** LoRA (Low-Rank Adaptation)
+- **Framework:** PEFT 0.18.0
+- **Dataset:** Dataset sintético de ~500k endereços brasileiros
+- **Tarefa:** Token Classification / NER
+
+### Hyperparâmetros LoRA
+
+```python
+LoraConfig(
+    r=16,
+    lora_alpha=32,
+    target_modules=["query_proj", "key_proj", "value_proj", "dense"],
+    lora_dropout=0.1,
+    bias="none",
+    task_type="TOKEN_CLS"
+)
+```
+
+## Limitações
+
+- O modelo foi treinado principalmente com endereços brasileiros
+- Endereços muito mal formatados podem ter resultados menos precisos
+- O modelo pode ter dificuldades com abreviações não convencionais
+
+## Citação
+
+Se usar este modelo, por favor cite:
+
+```bibtex
+@misc{debertinha-address-ner,
+  author = {Felipe R. G.},
+  title = {DeBERTinha NER para Endereços Brasileiros},
+  year = {2026},
+  publisher = {Hugging Face},
+  url = {https://huggingface.co/felipergcpqd/debertinha-500k-address-ner-pt}
+}
+```
+
+## Licença
+
+Apache 2.0

adapter_config.json

@@ -0,0 +1,45 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "sagui-nlp/debertinha-ptbr-xsmall-lenerbr",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.1,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": [
+    "classifier",
+    "score"
+  ],
+  "peft_type": "LORA",
+  "peft_version": "0.18.0",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "query_proj",
+    "value_proj",
+    "key_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "TOKEN_CLS",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4c4843e829efe99174e964ab644ef6ab828ee974e7aa6d2665f49fe98d93699d
+size 1809564

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,62 @@
+{
+  "added_tokens_decoder": {
+    "50265": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50266": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50267": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50268": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50269": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "[CLS]",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_lower_case": false,
+  "eos_token": "[SEP]",
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_length": 512,
+  "model_max_length": 128,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "sp_model_kwargs": {},
+  "split_by_punct": false,
+  "tokenizer_class": "DebertaV2TokenizerFast",
+  "unk_token": "[UNK]"
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ece63df466772955b5a6ac916db645c7fe46b3a3e281ef77454064197a0b5811
+size 5841