Hugging Face's logo

andreribeiro87
/
aethel-reranker-en-v1-mmarco-pt-pt-finetuned

Text Ranking
sentence-transformers
Safetensors
Portuguese
English
bert
cross-encoder
reranker
Generated from Trainer
dataset_size:257341
loss:BinaryCrossEntropyLoss
Eval Results (legacy)
text-embeddings-inference
Model card Files
xet
 Community
aethel-reranker-en-v1-mmarco-pt-pt-finetuned / README.md
andreribeiro87's picture
andreribeiro87
Update README.md
b5c3913 verified
preview code
|
Raw
History Blame Contribute Delete
31.4 kB
metadata 
tags:
  - sentence-transformers
  - cross-encoder
  - reranker
  - generated_from_trainer
  - dataset_size:257341
  - loss:BinaryCrossEntropyLoss
pipeline_tag: text-ranking
library_name: sentence-transformers
metrics:
  - map
  - mrr@10
  - ndcg@10
model-index:
  - name: CrossEncoder
    results:
      - task:
          type: cross-encoder-reranking
          name: Cross Encoder Reranking
        dataset:
          name: mmarco pt dev
          type: mmarco-pt-dev
        metrics:
          - type: map
            value: 0.9332
            name: Map
          - type: mrr@10
            value: 0.933
            name: Mrr@10
          - type: ndcg@10
            value: 0.9449
            name: Ndcg@10
language:
  - pt
  - en
base_model:
  - lumees/aethel-reranker-en-v1

CrossEncoder

This is a Cross Encoder model trained using the sentence-transformers library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.

Model Details

Model Description

  • Model Type: Cross Encoder
  • Maximum Sequence Length: 512 tokens
  • Number of Output Labels: 1 label

Model Sources

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import CrossEncoder

# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
    ['altura média para mulheres de 8 anos', 'Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular.'],
    ['altura média para mulheres de 8 anos', 'a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média.'],
    ['altura média para mulheres de 8 anos', "Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ã⠀ šÃ‚½ nos últimos quarenta anos. O índice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002."],
    ['altura média para mulheres de 8 anos', "A altura média de um homem americano caucasiano é 5 '10. Eu me sinto muito baixo. Quando eu era mais jovem do que agora, sonhava ter pelo menos 5 '8. Fiquei me perguntando com que idade as placas de crescimento nos homens se fecham e se alguém sabe alguma coisa que posso fazer para aumentar minha altura."],
    ['altura média para mulheres de 8 anos', 'A meia-idade tecnicamente se refere a atingir uma idade em que você viveu a metade da expectativa de vida média para o seu gênero. O ponto médio da vida é agora cerca de 40 para as mulheres e 38 para os homens (os homens tendem a morrer 6 a 8 anos antes das mulheres). Em comparação, há 100 anos as mulheres chegavam à meia-idade aos 22, principalmente porque muitas morriam no parto.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)

# Or rank different texts based on similarity to a single text
ranks = model.rank(
    'altura média para mulheres de 8 anos',
    [
        'Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular.',
        'a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média.',
        "Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ã⠀ šÃ‚½ nos últimos quarenta anos. O índice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002.",
        "A altura média de um homem americano caucasiano é 5 '10. Eu me sinto muito baixo. Quando eu era mais jovem do que agora, sonhava ter pelo menos 5 '8. Fiquei me perguntando com que idade as placas de crescimento nos homens se fecham e se alguém sabe alguma coisa que posso fazer para aumentar minha altura.",
        'A meia-idade tecnicamente se refere a atingir uma idade em que você viveu a metade da expectativa de vida média para o seu gênero. O ponto médio da vida é agora cerca de 40 para as mulheres e 38 para os homens (os homens tendem a morrer 6 a 8 anos antes das mulheres). Em comparação, há 100 anos as mulheres chegavam à meia-idade aos 22, principalmente porque muitas morriam no parto.',
    ]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]

Evaluation

Metrics

Cross Encoder Reranking

Metric Value
map 0.9332 (+0.0407)
mrr@10 0.9330 (+0.0413)
ndcg@10 0.9449 (+0.0334)

Training Details

Training Dataset

Unnamed Dataset

  • Size: 257,341 training samples
  • Columns: query, positive, and label
  • Approximate statistics based on the first 1000 samples:
    query positive label
    type string string int
    details
    • min: 16 characters
    • mean: 37.63 characters
    • max: 126 characters
    • min: 65 characters
    • mean: 401.06 characters
    • max: 1195 characters
    • 0: ~81.10%
    • 1: ~18.90%
  • Samples:
    query positive label
    altura média para mulheres de 8 anos Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um índice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular. 1
    altura média para mulheres de 8 anos a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média. 0
    altura média para mulheres de 8 anos Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ã⠀ šÃ‚½ nos últimos quarenta anos. O índice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002. 0
  • Loss: BinaryCrossEntropyLoss with these parameters:
    {
    "activation_fn": "torch.nn.modules.linear.Identity",
    "pos_weight": 5.0
}

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 256
  • per_device_eval_batch_size: 256
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • num_train_epochs: 2
  • warmup_ratio: 0.1
  • bf16: True
  • load_best_model_at_end: True
  • optim: adamw_torch
  • gradient_checkpointing: True

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 256
  • per_device_eval_batch_size: 256
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.01
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 2
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • bf16: True
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: True
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: proportional
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Click to expand
Epoch Step Training Loss mmarco-pt-dev_ndcg@10
-1 -1 - 0.9291 (+0.0176)
0.0010 1 0.9329 -
0.0099 10 0.7359 -
0.0199 20 0.758 -
0.0298 30 0.6144 -
0.0398 40 0.4337 -
0.0497 50 0.4198 -
0.0596 60 0.4157 -
0.0696 70 0.3955 -
0.0795 80 0.3569 -
0.0895 90 0.4447 -
0.0994 100 0.4593 0.9337 (+0.0222)
0.1093 110 0.3853 -
0.1193 120 0.3984 -
0.1292 130 0.3537 -
0.1392 140 0.3597 -
0.1491 150 0.3911 -
0.1590 160 0.3823 -
0.1690 170 0.3785 -
0.1789 180 0.3466 -
0.1889 190 0.3503 -
0.1988 200 0.3502 0.9379 (+0.0264)
0.2087 210 0.371 -
0.2187 220 0.3245 -
0.2286 230 0.3623 -
0.2386 240 0.3386 -
0.2485 250 0.3121 -
0.2584 260 0.3467 -
0.2684 270 0.3601 -
0.2783 280 0.3275 -
0.2883 290 0.3654 -
0.2982 300 0.4039 0.9408 (+0.0293)
0.3082 310 0.3472 -
0.3181 320 0.3181 -
0.3280 330 0.3162 -
0.3380 340 0.3502 -
0.3479 350 0.3764 -
0.3579 360 0.304 -
0.3678 370 0.3384 -
0.3777 380 0.3125 -
0.3877 390 0.3166 -
0.3976 400 0.3199 0.9422 (+0.0307)
0.4076 410 0.3078 -
0.4175 420 0.3694 -
0.4274 430 0.3401 -
0.4374 440 0.2958 -
0.4473 450 0.3127 -
0.4573 460 0.2986 -
0.4672 470 0.308 -
0.4771 480 0.2923 -
0.4871 490 0.3191 -
0.4970 500 0.3216 0.9433 (+0.0318)
0.5070 510 0.3182 -
0.5169 520 0.3221 -
0.5268 530 0.2945 -
0.5368 540 0.3415 -
0.5467 550 0.2455 -
0.5567 560 0.3509 -
0.5666 570 0.3215 -
0.5765 580 0.2832 -
0.5865 590 0.2988 -
0.5964 600 0.3078 0.9415 (+0.0300)
0.6064 610 0.3054 -
0.6163 620 0.298 -
0.6262 630 0.3364 -
0.6362 640 0.2635 -
0.6461 650 0.3286 -
0.6561 660 0.2909 -
0.6660 670 0.3172 -
0.6759 680 0.3081 -
0.6859 690 0.28 -
0.6958 700 0.3372 0.9423 (+0.0308)
0.7058 710 0.3123 -
0.7157 720 0.3315 -
0.7256 730 0.2531 -
0.7356 740 0.3111 -
0.7455 750 0.265 -
0.7555 760 0.289 -
0.7654 770 0.2935 -
0.7753 780 0.2625 -
0.7853 790 0.3538 -
0.7952 800 0.2851 0.9434 (+0.0319)
0.8052 810 0.2869 -
0.8151 820 0.2983 -
0.8250 830 0.3163 -
0.8350 840 0.2942 -
0.8449 850 0.2479 -
0.8549 860 0.2932 -
0.8648 870 0.2712 -
0.8748 880 0.2732 -
0.8847 890 0.2903 -
0.8946 900 0.3099 0.9434 (+0.0319)
0.9046 910 0.37 -
0.9145 920 0.3039 -
0.9245 930 0.2882 -
0.9344 940 0.3288 -
0.9443 950 0.3212 -
0.9543 960 0.2967 -
0.9642 970 0.2976 -
0.9742 980 0.3474 -
0.9841 990 0.2698 -
0.9940 1000 0.2718 0.9446 (+0.0331)
1.0040 1010 0.3122 -
1.0139 1020 0.2486 -
1.0239 1030 0.233 -
1.0338 1040 0.2538 -
1.0437 1050 0.277 -
1.0537 1060 0.2661 -
1.0636 1070 0.2525 -
1.0736 1080 0.2607 -
1.0835 1090 0.2509 -
1.0934 1100 0.2417 0.9436 (+0.0321)
1.1034 1110 0.2782 -
1.1133 1120 0.2566 -
1.1233 1130 0.2352 -
1.1332 1140 0.2301 -
1.1431 1150 0.2302 -
1.1531 1160 0.26 -
1.1630 1170 0.2607 -
1.1730 1180 0.2355 -
1.1829 1190 0.3052 -
1.1928 1200 0.3072 0.9442 (+0.0327)
1.2028 1210 0.2847 -
1.2127 1220 0.2387 -
1.2227 1230 0.2332 -
1.2326 1240 0.2687 -
1.2425 1250 0.2339 -
1.2525 1260 0.273 -
1.2624 1270 0.2124 -
1.2724 1280 0.2491 -
1.2823 1290 0.2629 -
1.2922 1300 0.2262 0.9443 (+0.0329)
1.3022 1310 0.2502 -
1.3121 1320 0.277 -
1.3221 1330 0.2526 -
1.3320 1340 0.2484 -
1.3419 1350 0.2675 -
1.3519 1360 0.2658 -
1.3618 1370 0.2352 -
1.3718 1380 0.2476 -
1.3817 1390 0.2042 -
1.3917 1400 0.2693 0.9435 (+0.0320)
1.4016 1410 0.2817 -
1.4115 1420 0.254 -
1.4215 1430 0.2424 -
1.4314 1440 0.2244 -
1.4414 1450 0.254 -
1.4513 1460 0.2624 -
1.4612 1470 0.2767 -
1.4712 1480 0.211 -
1.4811 1490 0.2861 -
1.4911 1500 0.2372 0.9433 (+0.0318)
1.5010 1510 0.2428 -
1.5109 1520 0.2109 -
1.5209 1530 0.2658 -
1.5308 1540 0.2577 -
1.5408 1550 0.2243 -
1.5507 1560 0.2454 -
1.5606 1570 0.2256 -
1.5706 1580 0.2567 -
1.5805 1590 0.2729 -
1.5905 1600 0.2506 0.9431 (+0.0316)
1.6004 1610 0.2112 -
1.6103 1620 0.2903 -
1.6203 1630 0.2383 -
1.6302 1640 0.2839 -
1.6402 1650 0.2695 -
1.6501 1660 0.2147 -
1.6600 1670 0.2577 -
1.6700 1680 0.2107 -
1.6799 1690 0.2474 -
1.6899 1700 0.2756 0.9448 (+0.0333)
1.6998 1710 0.2365 -
1.7097 1720 0.2816 -
1.7197 1730 0.2686 -
1.7296 1740 0.2443 -
1.7396 1750 0.2574 -
1.7495 1760 0.2448 -
1.7594 1770 0.2536 -
1.7694 1780 0.242 -
1.7793 1790 0.2563 -
1.7893 1800 0.2169 0.9449 (+0.0334)
1.7992 1810 0.2194 -
1.8091 1820 0.2208 -
1.8191 1830 0.2335 -
1.8290 1840 0.2224 -
1.8390 1850 0.2698 -
1.8489 1860 0.2369 -
1.8588 1870 0.2244 -
1.8688 1880 0.2525 -
1.8787 1890 0.2286 -
1.8887 1900 0.2632 0.9448 (+0.0333)
1.8986 1910 0.2173 -
1.9085 1920 0.2541 -
1.9185 1930 0.3137 -
1.9284 1940 0.2454 -
1.9384 1950 0.2299 -
1.9483 1960 0.2564 -
1.9583 1970 0.217 -
1.9682 1980 0.2135 -
1.9781 1990 0.2399 -
1.9881 2000 0.2174 0.9448 (+0.0333)
1.9980 2010 0.2734 -
-1 -1 - 0.9449 (+0.0334)
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.14.0
  • Sentence Transformers: 5.2.0
  • Transformers: 4.57.3
  • PyTorch: 2.9.1+cu128
  • Accelerate: 1.12.0
  • Datasets: 4.4.1
  • Tokenizers: 0.22.1

Model Card Authors

André Ribeiro @andreribeiro87

Rúben Garrido @RGarrido03