---
tags:
- sentence-transformers
- cross-encoder
- reranker
- generated_from_trainer
- dataset_size:257341
- loss:BinaryCrossEntropyLoss
pipeline_tag: text-ranking
library_name: sentence-transformers
metrics:
- map
- mrr@10
- ndcg@10
model-index:
- name: CrossEncoder
results:
- task:
type: cross-encoder-reranking
name: Cross Encoder Reranking
dataset:
name: mmarco pt dev
type: mmarco-pt-dev
metrics:
- type: map
value: 0.9332
name: Map
- type: mrr@10
value: 0.933
name: Mrr@10
- type: ndcg@10
value: 0.9449
name: Ndcg@10
language:
- pt
- en
base_model:
- lumees/aethel-reranker-en-v1
---
# CrossEncoder
This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model trained using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search.
## Model Details
### Model Description
- **Model Type:** Cross Encoder
- **Maximum Sequence Length:** 512 tokens
- **Number of Output Labels:** 1 label
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/huggingface/sentence-transformers)
- **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder)
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import CrossEncoder
# Download from the 🤗 Hub
model = CrossEncoder("cross_encoder_model_id")
# Get scores for pairs of texts
pairs = [
['altura média para mulheres de 8 anos', 'Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular.'],
['altura média para mulheres de 8 anos', 'a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média.'],
['altura média para mulheres de 8 anos', "Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ãâ € šÃ‚½ nos últimos quarenta anos. O Ãndice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002."],
['altura média para mulheres de 8 anos', "A altura média de um homem americano caucasiano é 5 '10. Eu me sinto muito baixo. Quando eu era mais jovem do que agora, sonhava ter pelo menos 5 '8. Fiquei me perguntando com que idade as placas de crescimento nos homens se fecham e se alguém sabe alguma coisa que posso fazer para aumentar minha altura."],
['altura média para mulheres de 8 anos', 'A meia-idade tecnicamente se refere a atingir uma idade em que você viveu a metade da expectativa de vida média para o seu gênero. O ponto médio da vida é agora cerca de 40 para as mulheres e 38 para os homens (os homens tendem a morrer 6 a 8 anos antes das mulheres). Em comparação, há 100 anos as mulheres chegavam à meia-idade aos 22, principalmente porque muitas morriam no parto.'],
]
scores = model.predict(pairs)
print(scores.shape)
# (5,)
# Or rank different texts based on similarity to a single text
ranks = model.rank(
'altura média para mulheres de 8 anos',
[
'Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular.',
'a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média.',
"Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ãâ € šÃ‚½ nos últimos quarenta anos. O Ãndice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002.",
"A altura média de um homem americano caucasiano é 5 '10. Eu me sinto muito baixo. Quando eu era mais jovem do que agora, sonhava ter pelo menos 5 '8. Fiquei me perguntando com que idade as placas de crescimento nos homens se fecham e se alguém sabe alguma coisa que posso fazer para aumentar minha altura.",
'A meia-idade tecnicamente se refere a atingir uma idade em que você viveu a metade da expectativa de vida média para o seu gênero. O ponto médio da vida é agora cerca de 40 para as mulheres e 38 para os homens (os homens tendem a morrer 6 a 8 anos antes das mulheres). Em comparação, há 100 anos as mulheres chegavam à meia-idade aos 22, principalmente porque muitas morriam no parto.',
]
)
# [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...]
```
## Evaluation
### Metrics
#### Cross Encoder Reranking
* Dataset: `mmarco-pt-dev`
* Evaluated with [CrossEncoderRerankingEvaluator](https://sbert.net/docs/package_reference/cross_encoder/evaluation.html#sentence_transformers.cross_encoder.evaluation.CrossEncoderRerankingEvaluator) with these parameters:
```json
{
"at_k": 10,
"always_rerank_positives": false
}
```
| Metric | Value |
|:------------|:---------------------|
| map | 0.9332 (+0.0407) |
| mrr@10 | 0.9330 (+0.0413) |
| **ndcg@10** | **0.9449 (+0.0334)** |
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 257,341 training samples
* Columns: query, positive, and label
* Approximate statistics based on the first 1000 samples:
| | query | positive | label |
|:--------|:------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------|:------------------------------------------------|
| type | string | string | int |
| details |
altura média para mulheres de 8 anos | Obtenha ajuda de um médico agora ࢠ¬Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). Obtenha ajuda de um médico agora à¢ à ‚ €Âº. Detalhes sobre sua altura: Supondo que uma menina de 8 anos de idade média de 50 polegadas (50º percentil), o peso médio é 57 libras (um Ãndice de massa corporal (IMM) de 50º percentil). O IMM não é uma medida perfeita, portanto, existem variações com base no tipo de corpo, especialmente a massa muscular. | 1 |
| altura média para mulheres de 8 anos | a altura média de um homem asiático pode ser de 5,2 a 5,9 dependendo de onde ele é, por exemplo, um homem chinês tem uma média de 5,7 ou menos. Uma pequena edição - a altura média do homem persa é entre 5 pés e 5 polegadas de altura e 5 pés e 8 polegadas de altura. Os homens persas são conhecidos por serem de estatura média. | 0 |
| altura média para mulheres de 8 anos | Estudos conduzidos pelo National Center for Health Statistics mostram que a altura média de um homem americano (20-74 anos) aumentou de 5'8 para 5'9Ãâ € šÃ‚½ nos últimos quarenta anos. O Ãndice de massa corporal (IMC) médio também aumentou entre os adultos americanos, de aproximadamente 25 em 1960 para 28 em 2002. | 0 |
* Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters:
```json
{
"activation_fn": "torch.nn.modules.linear.Identity",
"pos_weight": 5.0
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 256
- `per_device_eval_batch_size`: 256
- `learning_rate`: 2e-05
- `weight_decay`: 0.01
- `num_train_epochs`: 2
- `warmup_ratio`: 0.1
- `bf16`: True
- `load_best_model_at_end`: True
- `optim`: adamw_torch
- `gradient_checkpointing`: True
#### All Hyperparameters