--- tags: - sentence-transformers - cross-encoder - reranker - generated_from_trainer - dataset_size:184833 - loss:BinaryCrossEntropyLoss base_model: itdainb/PhoRanker pipeline_tag: text-ranking library_name: sentence-transformers metrics: - accuracy - accuracy_threshold - f1 - f1_threshold - precision - recall - average_precision model-index: - name: CrossEncoder based on itdainb/PhoRanker results: - task: type: cross-encoder-binary-classification name: Cross Encoder Binary Classification dataset: name: Quora dev type: Quora-dev metrics: - type: accuracy value: 0.9999513334631107 name: Accuracy - type: accuracy_threshold value: 6.669566937489435e-05 name: Accuracy Threshold - type: f1 value: 0.9997324056729997 name: F1 - type: f1_threshold value: 6.669566937489435e-05 name: F1 Threshold - type: precision value: 0.9994649545211343 name: Precision - type: recall value: 1.0 name: Recall - type: average_precision value: 0.9999994269928347 name: Average Precision --- # CrossEncoder based on itdainb/PhoRanker This is a [Cross Encoder](https://www.sbert.net/docs/cross_encoder/usage/usage.html) model finetuned from [itdainb/PhoRanker](https://huggingface.co/itdainb/PhoRanker) using the [sentence-transformers](https://www.SBERT.net) library. It computes scores for pairs of texts, which can be used for text reranking and semantic search. ## Model Details ### Model Description - **Model Type:** Cross Encoder - **Base model:** [itdainb/PhoRanker](https://huggingface.co/itdainb/PhoRanker) - **Maximum Sequence Length:** 256 tokens - **Number of Output Labels:** 1 label ### Model Sources - **Documentation:** [Sentence Transformers Documentation](https://sbert.net) - **Documentation:** [Cross Encoder Documentation](https://www.sbert.net/docs/cross_encoder/usage/usage.html) - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) - **Hugging Face:** [Cross Encoders on Hugging Face](https://huggingface.co/models?library=sentence-transformers&other=cross-encoder) ## Usage ### Direct Usage (Sentence Transformers) First install the Sentence Transformers library: ```bash pip install -U sentence-transformers ``` Then you can load this model and run inference. ```python from sentence_transformers import CrossEncoder # Download from the 🤗 Hub model = CrossEncoder("truong1301/PhoRanker_viwiki") # Get scores for pairs of texts pairs = [ ['Lý thuyết lượng tử ra đời có phải sau khi Einstein nghiên cứu về cơ học lượng tử năm 1906 không?\n', '1957 : Sputnik 1 được phóng vào vũ_trụ , khởi_đầu kỷ_nguyên vũ_trụ của loài_người . Chú chó laika trở_thành động_vật đầu_tiên bay vào vũ_trụ . Ghana giành độc_lập . Hiệp_ước Rome được ký_kết .'], ['Vậy, dù bị Nhật lợi dụng, ông có thực sự tin mình đang giúp ích cho dân tộc không?\n', 'Althusser cũng đã đưa ra khái_niệm về bộ_máy nhà_nước tư_tưởng để giải_thích lý_thuyết về ý_thức hệ của ông . Luận_văn đầu_tiên của ông là " tư_tưởng không có lịch_sử " : trong khi ies ideolog cá_nhân có lịch_sử , xen_kẽ với đấu_tranh giai_cấp nói_chung của xã_hội , hình_thức chung của tư_tưởng là bên ngoài để lịch_sử .'], ['Từ năm 1400, quốc hiệu nước ta là gì?\n', 'Khu_di_tích lịch_sử Kim_Liên , cách trung_tâm thành_phố Vinh 12 km về phía Tây_Nam , là khu di_tích tưởng_niệm Hồ_Chí_Minh tại xã Kim_Liên , huyện Nam_Đàn . Nơi đây gắn với thời niên_thiếu của Hồ_Chí_Minh và còn lưu_giữ những kỷ_niệm thuở nhỏ của cậu bé Nguyễn_Sinh Cung , những dấu tích và những kỷ_vật của gia_đình .'], ['Chiến lược đối ngoại của Singapore có bao gồm việc ràng buộc lợi ích của họ với lợi ích của Mỹ ở Đông Nam Á không?\n', 'Đầu thế_kỷ XIX , đế_quốc Anh cần có một cảng biển cho toàn vùng . Những thương_nhân Anh cần một vị_trí chiến_lược để nghỉ_ngơi và bảo_vệ đội thương_thuyền của đế_chế Anh , cũng như ngăn_chặn nguy_cơ cạnh_tranh của người Hà_Lan trong vùng . Singapore được nước Anh nhắm đến nhờ vị_trí địa_lý then_chốt , án_ngữ eo_biển Malacca của nó .'], ['Nông nghiệp tự cấp và thương mại đóng vai trò như thế nào trong GDP và việc làm của Lào, đặc biệt là từ năm 2000?\n', 'Lâm_nghiệp cũng phát_triển trong phạm_vi rộng của châu Á , ngoại_trừ khu_vực Trung và Tây_Nam_Á . Nghề cá là một nguồn chủ_yếu cung_cấp thực_phẩm ở châu Á , cụ_thể là ở Nhật_Bản .'], ] scores = model.predict(pairs) print(scores.shape) # (5,) # Or rank different texts based on similarity to a single text ranks = model.rank( 'Lý thuyết lượng tử ra đời có phải sau khi Einstein nghiên cứu về cơ học lượng tử năm 1906 không?\n', [ '1957 : Sputnik 1 được phóng vào vũ_trụ , khởi_đầu kỷ_nguyên vũ_trụ của loài_người . Chú chó laika trở_thành động_vật đầu_tiên bay vào vũ_trụ . Ghana giành độc_lập . Hiệp_ước Rome được ký_kết .', 'Althusser cũng đã đưa ra khái_niệm về bộ_máy nhà_nước tư_tưởng để giải_thích lý_thuyết về ý_thức hệ của ông . Luận_văn đầu_tiên của ông là " tư_tưởng không có lịch_sử " : trong khi ies ideolog cá_nhân có lịch_sử , xen_kẽ với đấu_tranh giai_cấp nói_chung của xã_hội , hình_thức chung của tư_tưởng là bên ngoài để lịch_sử .', 'Khu_di_tích lịch_sử Kim_Liên , cách trung_tâm thành_phố Vinh 12 km về phía Tây_Nam , là khu di_tích tưởng_niệm Hồ_Chí_Minh tại xã Kim_Liên , huyện Nam_Đàn . Nơi đây gắn với thời niên_thiếu của Hồ_Chí_Minh và còn lưu_giữ những kỷ_niệm thuở nhỏ của cậu bé Nguyễn_Sinh Cung , những dấu tích và những kỷ_vật của gia_đình .', 'Đầu thế_kỷ XIX , đế_quốc Anh cần có một cảng biển cho toàn vùng . Những thương_nhân Anh cần một vị_trí chiến_lược để nghỉ_ngơi và bảo_vệ đội thương_thuyền của đế_chế Anh , cũng như ngăn_chặn nguy_cơ cạnh_tranh của người Hà_Lan trong vùng . Singapore được nước Anh nhắm đến nhờ vị_trí địa_lý then_chốt , án_ngữ eo_biển Malacca của nó .', 'Lâm_nghiệp cũng phát_triển trong phạm_vi rộng của châu Á , ngoại_trừ khu_vực Trung và Tây_Nam_Á . Nghề cá là một nguồn chủ_yếu cung_cấp thực_phẩm ở châu Á , cụ_thể là ở Nhật_Bản .', ] ) # [{'corpus_id': ..., 'score': ...}, {'corpus_id': ..., 'score': ...}, ...] ``` ## Evaluation ### Metrics #### Cross Encoder Binary Classification * Dataset: `Quora-dev` * Evaluated with [CEBinaryClassificationEvaluator](https://sbert.net/docs/package_reference/cross_encoder/evaluation.html#sentence_transformers.cross_encoder.evaluation.CEBinaryClassificationEvaluator) | Metric | Value | |:----------------------|:--------| | accuracy | 1.0 | | accuracy_threshold | 0.0001 | | f1 | 0.9997 | | f1_threshold | 0.0001 | | precision | 0.9995 | | recall | 1.0 | | **average_precision** | **1.0** | ## Training Details ### Training Dataset #### Unnamed Dataset * Size: 184,833 training samples * Columns: sentence_0, sentence_1, and label * Approximate statistics based on the first 1000 samples: | | sentence_0 | sentence_1 | label | |:--------|:-------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------|:-----------------------------------------------| | type | string | string | int | | details | | | | * Samples: | sentence_0 | sentence_1 | label | |:------------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------| | Lý thuyết lượng tử ra đời có phải sau khi Einstein nghiên cứu về cơ học lượng tử năm 1906 không?
 | 1957 : Sputnik 1 được phóng vào vũ_trụ , khởi_đầu kỷ_nguyên vũ_trụ của loài_người . Chú chó laika trở_thành động_vật đầu_tiên bay vào vũ_trụ . Ghana giành độc_lập . Hiệp_ước Rome được ký_kết . | 0 | | Vậy, dù bị Nhật lợi dụng, ông có thực sự tin mình đang giúp ích cho dân tộc không?
 | Althusser cũng đã đưa ra khái_niệm về bộ_máy nhà_nước tư_tưởng để giải_thích lý_thuyết về ý_thức hệ của ông . Luận_văn đầu_tiên của ông là " tư_tưởng không có lịch_sử " : trong khi ies ideolog cá_nhân có lịch_sử , xen_kẽ với đấu_tranh giai_cấp nói_chung của xã_hội , hình_thức chung của tư_tưởng là bên ngoài để lịch_sử . | 0 | | Từ năm 1400, quốc hiệu nước ta là gì?
 | Khu_di_tích lịch_sử Kim_Liên , cách trung_tâm thành_phố Vinh 12 km về phía Tây_Nam , là khu di_tích tưởng_niệm Hồ_Chí_Minh tại xã Kim_Liên , huyện Nam_Đàn . Nơi đây gắn với thời niên_thiếu của Hồ_Chí_Minh và còn lưu_giữ những kỷ_niệm thuở nhỏ của cậu bé Nguyễn_Sinh Cung , những dấu tích và những kỷ_vật của gia_đình . | 0 | * Loss: [BinaryCrossEntropyLoss](https://sbert.net/docs/package_reference/cross_encoder/losses.html#binarycrossentropyloss) with these parameters: ```json { "activation_fn": "torch.nn.modules.linear.Identity", "pos_weight": null } ``` ### Training Hyperparameters #### Non-Default Hyperparameters - `eval_strategy`: steps - `per_device_train_batch_size`: 32 - `per_device_eval_batch_size`: 32 - `num_train_epochs`: 1 - `disable_tqdm`: False #### All Hyperparameters
Click to expand - `overwrite_output_dir`: False - `do_predict`: False - `eval_strategy`: steps - `prediction_loss_only`: True - `per_device_train_batch_size`: 32 - `per_device_eval_batch_size`: 32 - `per_gpu_train_batch_size`: None - `per_gpu_eval_batch_size`: None - `gradient_accumulation_steps`: 1 - `eval_accumulation_steps`: None - `torch_empty_cache_steps`: None - `learning_rate`: 5e-05 - `weight_decay`: 0.0 - `adam_beta1`: 0.9 - `adam_beta2`: 0.999 - `adam_epsilon`: 1e-08 - `max_grad_norm`: 1 - `num_train_epochs`: 1 - `max_steps`: -1 - `lr_scheduler_type`: linear - `lr_scheduler_kwargs`: {} - `warmup_ratio`: 0.0 - `warmup_steps`: 0 - `log_level`: passive - `log_level_replica`: warning - `log_on_each_node`: True - `logging_nan_inf_filter`: True - `save_safetensors`: True - `save_on_each_node`: False - `save_only_model`: False - `restore_callback_states_from_checkpoint`: False - `no_cuda`: False - `use_cpu`: False - `use_mps_device`: False - `seed`: 42 - `data_seed`: None - `jit_mode_eval`: False - `use_ipex`: False - `bf16`: False - `fp16`: False - `fp16_opt_level`: O1 - `half_precision_backend`: auto - `bf16_full_eval`: False - `fp16_full_eval`: False - `tf32`: None - `local_rank`: 0 - `ddp_backend`: None - `tpu_num_cores`: None - `tpu_metrics_debug`: False - `debug`: [] - `dataloader_drop_last`: False - `dataloader_num_workers`: 0 - `dataloader_prefetch_factor`: None - `past_index`: -1 - `disable_tqdm`: False - `remove_unused_columns`: True - `label_names`: None - `load_best_model_at_end`: False - `ignore_data_skip`: False - `fsdp`: [] - `fsdp_min_num_params`: 0 - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} - `fsdp_transformer_layer_cls_to_wrap`: None - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} - `deepspeed`: None - `label_smoothing_factor`: 0.0 - `optim`: adamw_torch - `optim_args`: None - `adafactor`: False - `group_by_length`: False - `length_column_name`: length - `ddp_find_unused_parameters`: None - `ddp_bucket_cap_mb`: None - `ddp_broadcast_buffers`: False - `dataloader_pin_memory`: True - `dataloader_persistent_workers`: False - `skip_memory_metrics`: True - `use_legacy_prediction_loop`: False - `push_to_hub`: False - `resume_from_checkpoint`: None - `hub_model_id`: None - `hub_strategy`: every_save - `hub_private_repo`: None - `hub_always_push`: False - `gradient_checkpointing`: False - `gradient_checkpointing_kwargs`: None - `include_inputs_for_metrics`: False - `include_for_metrics`: [] - `eval_do_concat_batches`: True - `fp16_backend`: auto - `push_to_hub_model_id`: None - `push_to_hub_organization`: None - `mp_parameters`: - `auto_find_batch_size`: False - `full_determinism`: False - `torchdynamo`: None - `ray_scope`: last - `ddp_timeout`: 1800 - `torch_compile`: False - `torch_compile_backend`: None - `torch_compile_mode`: None - `dispatch_batches`: None - `split_batches`: None - `include_tokens_per_second`: False - `include_num_input_tokens_seen`: False - `neftune_noise_alpha`: None - `optim_target_modules`: None - `batch_eval_metrics`: False - `eval_on_start`: False - `use_liger_kernel`: False - `eval_use_gather_object`: False - `average_tokens_across_devices`: False - `prompts`: None - `batch_sampler`: batch_sampler - `multi_dataset_batch_sampler`: proportional - `router_mapping`: {} - `learning_rate_mapping`: {}
### Training Logs | Epoch | Step | Training Loss | Quora-dev_average_precision | |:------:|:----:|:-------------:|:---------------------------:| | 0.0866 | 500 | 0.0913 | 0.9402 | | 0.1731 | 1000 | 0.0528 | 0.9805 | | 0.2597 | 1500 | 0.0257 | 0.9948 | | 0.3462 | 2000 | 0.0134 | 0.9992 | | 0.4328 | 2500 | 0.0056 | 0.9998 | | 0.5193 | 3000 | 0.0041 | 0.9999 | | 0.6059 | 3500 | 0.0014 | 0.9999 | | 0.6924 | 4000 | 0.0015 | 1.0000 | | 0.7790 | 4500 | 0.002 | 1.0 | | 0.8655 | 5000 | 0.0005 | 1.0000 | | 0.9521 | 5500 | 0.0 | 1.0000 | | 1.0 | 5777 | - | 1.0000 | ### Framework Versions - Python: 3.10.12 - Sentence Transformers: 5.1.0 - Transformers: 4.47.0 - PyTorch: 2.5.1+cu121 - Accelerate: 1.2.1 - Datasets: 3.2.0 - Tokenizers: 0.21.0 ## Citation ### BibTeX #### Sentence Transformers ```bibtex @inproceedings{reimers-2019-sentence-bert, title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", author = "Reimers, Nils and Gurevych, Iryna", booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", month = "11", year = "2019", publisher = "Association for Computational Linguistics", url = "https://arxiv.org/abs/1908.10084", } ```