yoriis/BGE-M3-QUQA-cosine

SentenceTransformer based on omarelshehy/Arabic-Retrieval-v1.0

This is a sentence-transformers model finetuned from omarelshehy/Arabic-Retrieval-v1.0. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: omarelshehy/Arabic-Retrieval-v1.0
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("yoriis/BGE-M3-QUQA-cosine")
# Run inference
sentences = [
    'متى ولد زين الدين زيدان ؟',
    'الدرفلة هي عملية صناعية تعتبر إحدى طرق تشكيل المعادن. وتعتمد فكرتها على تمرير المعدن على البارد أو الساخن عبر أجسام أسطوانية ثقيلة وذات صلادة عالية (تسمى الدرافيل) وذلك بهدف تقليل سمك الصفائح أو قطر القضبان.[1][2]',
    'هو أبو عبد الله حمود عقلا الشعيبي (ولد عام 1346هـ - توفي عام 1422 هـ) اسمه بالكامل حمود بن عبد الله بن عقلاء بن محمد بن علي بن عقلاء الشعيبي الخالدي من آل جناح من بني خالد ولد في بلدة الشقة من أعمال القصيم، نشأ في بيت دين وكرم فلما كان عمره ست سنوات التحق بالكتّاب فتعلم القراءة والكتابة والحساب، وفي عام 1352 هـ أصيب الشعيبي بمرض الجدري مما أدى إلى فقده بصره، وقد حرص عليه والده منذ نعومة أظفاره وكان والده عبد الله صاحب زراعة وفلاحة فتعلم الشعيبي منه مع فقده لبصره الزراعة والسقي وغيرها.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 13,476 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 5 tokens mean: 22.14 tokens max: 105 tokens	min: 10 tokens mean: 39.06 tokens max: 308 tokens	min: 0.0 mean: 0.26 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  من رفض تنفيذ المشروع ( أول مرة ) فهو غير مؤهل لتكملة مشروعك، أذكر الآية التي دلت على هذا المعنى؟.	فإن رجعك الله إلى طائفة منهم فاستأذنوك للخروج فقل لن تخرجوا معي أبدا ولن تقاتلوا معي عدوا إنكم رضيتم بالقعود أول مرة فاقعدوا مع الخالفين{83} التوبة	1.0
  ما الآية التي تدل على أن ما أصابك -أيها الإنسان- مِن خير ونعمة فهو من الله تعالى وحده, فضلا وإحسانًا, وما أصابك من جهد وشدة فبسبب عملك السيئ ؟	قال فإنا قد فتنا قومك من بعدك وأضلهم السامري{85} طه	0.0
  ما هو الشرك الأكبر؟	وإذ قلنا ادخلوا هـذه القرية فكلوا منها حيث شئتم رغدا وادخلوا الباب سجدا وقولوا حطة نغفر لكم خطاياكم وسنزيد المحسنين{58} فبدل الذين ظلموا قولا غير الذي قيل لهم فأنزلنا على الذين ظلموا رجزا من السماء بما كانوا يفسقون{59}البقرة..	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• fp16: True
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 4
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
0.0848	500	0.0371
0.1695	1000	0.0317
0.2543	1500	0.0302
0.3391	2000	0.0304
0.4239	2500	0.0295
0.5086	3000	0.0263
0.5934	3500	0.0271
0.6782	4000	0.0278
0.7630	4500	0.0263
0.8477	5000	0.0271
0.9325	5500	0.0253
1.0173	6000	0.022
1.1021	6500	0.0085
1.1868	7000	0.0115
1.2716	7500	0.0127
1.3564	8000	0.0111
1.4412	8500	0.011
1.5259	9000	0.0124
1.6107	9500	0.0116
1.6955	10000	0.0112
1.7803	10500	0.0131
1.8650	11000	0.0127
1.9498	11500	0.011
2.0346	12000	0.0094
2.1194	12500	0.0051
2.2041	13000	0.0042
2.2889	13500	0.0044
2.3737	14000	0.0048
2.4585	14500	0.0065
2.5432	15000	0.0055
2.6280	15500	0.0055
2.7128	16000	0.0049
2.7976	16500	0.0049
2.8823	17000	0.0045
2.9671	17500	0.0053
0.1975	500	0.0366
0.3949	1000	0.0155
0.5924	1500	0.0143
0.7899	2000	0.012
0.9874	2500	0.0119
1.1848	3000	0.006
1.3823	3500	0.0052
1.5798	4000	0.005
1.7773	4500	0.0048
1.9747	5000	0.0037
2.1722	5500	0.0023
2.3697	6000	0.0018
2.5671	6500	0.0016
2.7646	7000	0.0018
2.9621	7500	0.0023
0.1484	500	0.1158
0.2968	1000	0.1153
0.4452	1500	0.1063
0.5936	2000	0.0976
0.7421	2500	0.0971
0.8905	3000	0.0985
1.0389	3500	0.0885
1.1873	4000	0.062
1.3357	4500	0.0582
1.4841	5000	0.0635
1.6325	5500	0.0618
1.7809	6000	0.0596
1.9294	6500	0.0626
2.0778	7000	0.0482
2.2262	7500	0.0397
2.3746	8000	0.0376
2.5230	8500	0.0432
2.6714	9000	0.0397
2.8198	9500	0.0413
2.9682	10000	0.0403

Framework Versions

• Python: 3.11.13
• Sentence Transformers: 4.1.0
• Transformers: 4.54.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.9.0
• Datasets: 4.0.0
• Tokenizers: 0.21.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}