Hugging Face's logo

anhtk
/
bge-m3-vietnamese-psychology

Sentence Similarity
sentence-transformers
Safetensors
xlm-roberta
feature-extraction
Generated from Trainer
dataset_size:39075
loss:TripletLoss
text-embeddings-inference
Model card Files
xet
 Community

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: BAAI/bge-m3
  • Maximum Sequence Length: 8192 tokens
  • Output Dimensionality: 1024 dimensions
  • Similarity Function: Cosine Similarity
  • Supported Modality: Text

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 1024, 'pooling_mode': 'cls', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Sự ngụy trang trong giao tiếp là biểu hiện của sự thiếu tự tin hay là một phần của cuộc sống?',
    'Tôi là một người chuyển giới song tính, tôi phải làm sao đây?. Tôi đã từng yêu cả đàn ông lẫn phụ nữ, sau này tôi phát hiện giới tính sinh học của mình là nữ nhưng bản dạng giới là nam, tôi có sự thôi thúc muốn yêu cả phụ nữ và đàn ông. (Đối với đàn ông, tôi có chút bài trừ về mặt sinh lý và tiếp xúc thể xác, phụ nữ thì không. Trong trường hợp không phát sinh quan hệ thì bao gồm cả đàn ông). Từ khóa liên quan: tình yêu, xu hướng tính dục',
    'Người yêu mình thấy mình có chứng cưỡng chế, không có tình điệu, hai chúng mình ai có biểu hiện chứng cưỡng chế?. Thường thì trước tivi sẽ có một cái kệ tivi, người yêu mình thích đặt một bình hoa cắm hoa trên kệ tivi để trang trí phòng khách. Nhưng bình hoa, hoa xòe ra sẽ che mất một phần tivi. Lúc xem tivi, mình cho rằng có vật che chắn nhìn không thoải mái, người yêu mình thấy mình có chứng cưỡng chế, vả lại không có tình điệu cuộc sống. Từ khóa liên quan: hành vi, cưỡng chế',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, -0.7952, -0.7853],
#         [-0.7952,  1.0000,  0.9406],
#         [-0.7853,  0.9406,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

  • Size: 39,075 training samples
  • Columns: sentence_0, sentence_1, and sentence_2
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1 sentence_2
    type string string string
    details
    • min: 14 tokens
    • mean: 28.91 tokens
    • max: 81 tokens
    • min: 38 tokens
    • mean: 116.36 tokens
    • max: 240 tokens
    • min: 35 tokens
    • mean: 117.74 tokens
    • max: 254 tokens
  • Samples:
    sentence_0 sentence_1 sentence_2
    Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét và ánh mắt của người khác? Em cảm thấy vô năng khi không giải quyết được vấn đề của thân chủ, em nên làm gì ạ?. Càng lớn lên, em càng thấy nhiều mặt tối tăm hơn. Bây giờ em mới hiểu, hóa ra con người có thể không có nguyên tắc, không có giới hạn; hóa ra "điều mà mình không muốn thì đừng làm cho người khác" toàn là giả dối; hóa ra "người ngốc" không có "phúc ngốc". Tại sao lại phải trở nên "thông minh, độc lập, kiên cường". Từ khóa liên quan: nhà tư vấn mới, cảm giác vô năng, giám sát chuyên môn Làm sao để kiềm chế sự nhạy cảm thái quá trước lời phán xét của người khác?. Trưởng thành rồi thì càng ngày càng lý trí hơn. Xin hỏi làm sao để làm được việc cân bằng giữa cảm tính và lý trí. Từ khóa liên quan: đánh giá bên ngoài, nhạy cảm, điều chỉnh tâm lý
    Nữ sinh 14 tuổi, mấy năm nay luôn có ý định tự sát, em phải làm sao đây? Phụ huynh luôn coi em là đồ vô dụng. Mọi rắc rối trong nhà đều là lỗi của em. Bà ngoại đòi mua vé về quê cũng bảo là do thái độ của em không tốt; mẹ gọi điện thoại đột nhiên quát mắng em, cũng bảo là do em làm cao, có ý kiến với mẹ; hai mẹ con ở hai phòng khác nhau nhắn tin qua lại, em dùng điện thoại thì mẹ chê em lười biếng, vô dụng, em nói to thì mẹ chê thái độ em không tốt, dám quát mẹ, đến trước mặt nói chuyện thì mẹ lại chê mặt em sưng sỉa. Từ khóa liên quan: gia đình, quan hệ gia đình, người nhà kiểm soát Nữ sinh 17 tuổi, nửa năm nay luôn bất ổn cảm xúc, hay cáu gắt với người thân?. Không có gì xảy ra cả, nhưng tôi lại rất buồn. Mất ngủ, đau đầu, tính khí nóng nảy, dễ nổi cáu, không thể tập trung. Tôi từng nghĩ đến việc làm hại bản thân, nhưng sợ ảnh hưởng về sau nên đành bỏ ý định đó. Từ khóa liên quan: cảm xúc, trầm cảm, điều tiết cảm xúc
    Tại sao mỗi lần cãi nhau, bạn trai lại luôn không đi làm vào ngày hôm sau? Tôi là một người chuyển giới song tính, tôi phải làm sao đây?. Tôi đã từng yêu cả đàn ông lẫn phụ nữ, sau này tôi phát hiện giới tính sinh học của mình là nữ nhưng bản dạng giới là nam, tôi có sự thôi thúc muốn yêu cả phụ nữ và đàn ông. (Đối với đàn ông, tôi có chút bài trừ về mặt sinh lý và tiếp xúc thể xác, phụ nữ thì không. Trong trường hợp không phát sinh quan hệ thì bao gồm cả đàn ông). Từ khóa liên quan: tình yêu, xu hướng tính dục Hôm nay là sinh nhật mình, năm nào cũng cãi nhau với bạn trai, nỗi uất ức không nói nên lời?. Tại sao năm nào mình đón sinh nhật, bạn trai cũng luôn làm mình không vui. Năm nay mình 24 tuổi, ở bên anh ấy được 1009 ngày. Mình thực sự rất chú trọng cảm giác nghi thức, đặc biệt là sinh nhật mỗi năm chỉ có một lần, mình muốn đón thật tử tế, nhưng mình thậm chí còn chẳng có lấy một tấm ảnh nào để đăng lên mạng xã hội. Từ khóa liên quan: tình yêu, cãi nhau, vận hành tình yêu
  • Loss: TripletLoss with these parameters:
    {
    "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
    "triplet_margin": 5
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • do_predict: False
  • prediction_loss_only: True
  • per_device_train_batch_size: 32
  • per_device_eval_batch_size: 32
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: None
  • warmup_ratio: None
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • enable_jit_checkpoint: False
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • use_cpu: False
  • seed: 42
  • data_seed: None
  • bf16: False
  • fp16: False
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: -1
  • ddp_backend: None
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • parallelism_config: None
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch_fused
  • optim_args: None
  • group_by_length: False
  • length_column_name: length
  • project: huggingface
  • trackio_space_id: trackio
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • hub_revision: None
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • auto_find_batch_size: False
  • full_determinism: False
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • include_num_input_tokens_seen: no
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • liger_kernel_config: None
  • eval_use_gather_object: False
  • average_tokens_across_devices: True
  • use_cache: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin
  • router_mapping: {}
  • learning_rate_mapping: {}

Training Logs

Epoch Step Training Loss
0.4092 500 4.8636
0.8183 1000 4.1564

Training Time

  • Training: 37.8 minutes

Framework Versions

  • Python: 3.12.13
  • Sentence Transformers: 5.4.1
  • Transformers: 5.0.0
  • PyTorch: 2.10.0+cu128
  • Accelerate: 1.13.0
  • Datasets: 4.0.0
  • Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss 

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}
Downloads last month
11
Safetensors
Model size
0.6B params
Tensor type
F32
·
Inference Providers NEW
Sentence Similarity
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for anhtk/bge-m3-vietnamese-psychology

Base model

BAAI/bge-m3
Finetuned
(496)
this model

Papers for anhtk/bge-m3-vietnamese-psychology