hyunkookim/klue-roberta-base-klue-sts-mrc

SentenceTransformer based on hyunkookim/klue-roberta-base-klue-sts

This is a sentence-transformers model finetuned from hyunkookim/klue-roberta-base-klue-sts. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: hyunkookim/klue-roberta-base-klue-sts
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    '항량이 항우와 함께 8000명의 군사를 이끈 때는 언제인가?',
    '하상 출신으로 그의 아버지는 전국시대 때 진나라에 맞섰던 초나라의 장수 항연이다. 초나라 멸망 후 역양에서 진나라에 사로잡혔으나 진의 장수 사마흔의 도움으로 풀려났다.\n\n기원전 209년 진승과 오광의 난이 일어나자 전국각지에서 제후들이 진나라에 대항해 봉기를 일으켰고, 항량 역시 9월에 회계 태수 은통을 살해하고 오중에서 군사를 일으켜 조카 항우를 부장으로 삼았다.\n\n기원전 208년 끝내 농민 반란군의 제왕 진승이 진나라 장군 장한의 대공격으로 패퇴하자, 진승의 부장 소평은 항량에게로 합류하고, 8000명의 군사를 이끌고 서쪽으로 진군했다. 그 뒤 진영과 영포 등과 합세해 항량의 군대를 크게 불어났으며, 진승의 부장이었던 진가가 경구를 초왕으로 세우고 맞서자 진가를 공격해 죽였다.\n\n진과 전투를 벌여 설현을 점령했고, 항우를 보내 양성까지 점령했고, 이후 항량은 곳곳에서 승리해 제나라의 전영, 사마용저와 함께 동아에서 진군을 격파했다. 항량은 항우와 유방을 보내 성양을 공격해 점령하도록 하였고, 복양에서도 다시 진군을 격파했다.\n\n항우와 유방은 정을 공격했으나 함락시키지 못하자 서쪽으로 진군하여 옹구에서 진나라 승상 이사의 아들인 삼천 태수 이유를 죽였다. 항량은 동아에서 정도까지 수많은 승리를 거두고 큰 승리로 인해 점차 교만해졌다.\n\n그러다가 부하 송의의 말을 듣지 않고 진나라군을 공격하다가 정도에서 장한이 이끄는 진나라군의 습격을 받아 장한의 부하 손승에게 전사했다.',
    '예술가들이 서울의 낙후된 부(副)도심을 바꾸고 있다. 홍익대 인근과 대학로에서 활동하던 예술가들이 비싼 임대료를 피해 옮겨간 마포구 망원동 합정동, 영등포구 문래동, 성북구 삼선동 돈암동, 종로구 혜화동 등에 자생적인 예술촌이 조성되면서 주변 상가에 이전에 없던 권리금이 붙고 임대료가 오르는 등 지역경제가 활기를 띠고 있다. 대규모 상업시설 신축이 제한된 준공업지역인 문래동은 미술작업실이 속속 들어서면서 최근 3년여간 상가 임대료가 20% 이상 올랐다. 지하철 6호선 상수역에서 300ｍ 떨어진 상수동 사거리는 최근 60㎡대 작은 창고건물에 이전에 없던 권리금이 5000만원 정도 붙었다. 카페거리로 떠오르면서 창업 희망자가 늘어나서다.서울시는 이런 추세에 맞춰 자생 예술촌 지원과 폐시설의 문화시설 활용 등 ‘문화 도시재생’ 정책을 올해부터 본격 추진하기로 했다. 이창학 문화관광디자인본부장은 “정보기술(IT)과 바이오 등 신산업 유치와 전통 제조업 부활이라는 서울 성장동력의 두 축에 문화를 더해 도시 재생에 방점을 찍을 것”이라고 말했다.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8413
spearman_cosine	0.8399
pearson_manhattan	0.7711
spearman_manhattan	0.7853
pearson_euclidean	0.7733
spearman_euclidean	0.7862
pearson_dot	0.8253
spearman_dot	0.8399
pearson_max	0.8413
spearman_max	0.8399

Training Details

Training Dataset

Unnamed Dataset

• Size: 17,552 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 17.64 tokens max: 38 tokens	min: 258 tokens mean: 440.42 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  이고르 댜틀로프를 중심으로 만들어진 탐사대에서 다수를 차지한 성별은?	1959년 1월 28일에 이고르 댜틀로프를 중심으로 탐사대를 결성한 우랄 국립공과대학교 소속 스키 하이커 10명(남자 8명, 여자 2명)은 러시아 우랄산맥을 거쳐 오토르텐산을 등반하고 2월 12일에 베이스캠프가 위치한 비자이 마을로 복귀하려는 계획을 세웠다. 그러나 등반 당일이던 1월 28일에 유리 유딘이 열, 두통, 류머티즘, 심장 질환 증세를 보이면서 탐사대에서 이탈했고 나머지 9명이 등반에 나서게 된다. 탐사대원이 출발한 지 5일이 지난 2월 1일에 폭설로 인해 기상 여건이 악화되면서 비자이 마을에 남아 있던 유딘은 탐사대에게 무전을 보내게 된다. 탐사대장이었던 댜틀로프는 유딘에게 "탐사대원들은 홀라트샤흘산("죽음의 산"이라는 뜻) 능선에 임시 야영지를 설치한 상태에서 휴식을 취하고 있으며 9명 모두 무사하다."는 답신을 보냈다. 하지만 2월 2일부터 댜틀로프가 이끌던 탐사대와의 연락이 갑자기 두절되었고 복귀 예정일이었던 2월 12일에도 댜틀로프 일행은 돌아오지 않았다. 우랄 국립공과대학교 탐사대의 실종 소식을 접한 구조대는 홀라트샤흘산에서 실종자 수색에 착수했다. 2월 26일에는 구조대가 탐사의 임시 야영지로 추정되는 곳에서 1.5km 정도 떨어진 곳에서 탐사대원 5명의 시신을 수습했지만 나머지 실종자에 대한 수색 작업은 악천후와 험준한 지형으로 인해 한동안 연기되었다. 구조대는 5월 4일에 소나무 숲에서 약 75m 정도 떨어진 계곡에서 탐사대원 4명의 시신을 수습했다. 하지만 구조대의 수색 작업에서 발견된 시체에는 여러 가지 의문점이 제기되었다. * 탐사대원 9명이 살고 있던 텐트에 남아 있는 찢어진 흔적은 외부의 침입이 아니라 안쪽에서 바깥쪽으로 찢겨진 상태로 남아 있다. * 처음 발견된 탐사대원 5명의 시신은 영하 30도에 달하는 상황에서 속옷 차림에 신발도 신지 않은 상태였고 공포에 질린 표정을 띠고 있었다고 한다. * 나중에 발견된 탐사대원 4명의 시신은 물리적인 충격에 의해 심하게 훼손되었고 부패된 상태였다. 등반대장 댜틀로프는 주먹다짐을 한 것마냥 오른손 주먹에 상처가 나 있었다. 또다른 변사자 2명은 머리뼈에 금이 가고 갈비뼈가 부러졌다. 이 가운데 1명의 머리뼈 상태는 너무 심각해서 이동 능력을 상실했을 것으로 추정된다. 또한 여성 대원 1명은 혀가 없어진 상태로 발견되었다. * 현장에서 발견된 전나무는 불에 타 있었다. 탐사대원들의 피부는 주황색으로 변한 상태였고 탐사대원들이 입고 있던 옷에서는 높은 수치의 방사능이 검출되었다.
  다카기 모리미치가 50개의 도루를 기록해 도루왕 타이틀을 받았던 해는?	1960년에 주니치에 입단하여 같은 해 1960년 5월 7일 다이요 웨일스전에서 프로 데뷔 첫 홈런을 때려냈고 1963년에는 2루수의 주전 자리를 차지했다. 그 해 시즌에는 50개의 도루를 기록하여 도루왕 타이틀을 석권했고 작년에 방출된 모리 도루를 대신해서 에토 신이치와 함께 주니치의 새로운 스타 선수가 됐다. 이후 1965년과 1973년에는 통산 세 번째의 도루왕을 석권하면서 준족에 가세하고 타격에서는 1969년에 24개의 홈런을 기록하는 등 통산 236홈런을 기록해 수비에서는 백 토스, 글러브 토스 등을 종종 보여주면서 1974년에는 팀의 20년 만의 리그 우승에 기여했다. 첫 타석에서 첫 홈런을 기록한 선수로서 통산 200홈런, 통산 2000안타를 기록한 선수는 다카기가 처음이었고 통산 200홈런과 200개의 희생타를 합쳐서 기록한 선수도 다카기가 처음이다. 1974년에 리그 우승이 결정된 다음날 10월 13일로 예정되어 있던 고라쿠엔 구장에서의 요미우리와의 시즌 최종전에서는 나가시마 시게오의 은퇴 경기였지만 우천으로 인해 14일로 연기되면서 주니치의 우승 퍼레이드와 일정이 겹쳤다. 이 때문에 팀은 오시마 야스노리, 후지나미 유키오 등의 젊은 선수들이나 은퇴 직전이었던 히로노 이사오를 포함한 준주전급 선수들만을 출전시키고 주니치의 주전 선수는 같은 날 나고야에서의 우승 퍼레이드를 위해서 결장하라는 구단의 지시가 내려졌다. 이에 대해 다카기는 “위대한 선수에게는 실례되는 일이다”라고 크게 분개하면서 자신만이라도 출전시켜달라고 구단에게 항의했지만 구단 측은 다카기의 요구를 받아들이지 않았고 다카기는 우승 퍼레이드에서 시종 아연 실색한 표정을 짓고 있었다고 한다. 다카기는 그 후 나가시마에게 전화해서 사과한 것으로 알려졌다(‘월간 Dragons’에서는 당시 호시노 센이치도 나가시마에게 전화를 걸어 사과했다는 내용이 실려 있었다). 같은 해 롯데 오리온스와 맞붙은 일본 시리즈에서는 1차전부터 맹활약을 펼쳤지만 고라쿠엔 구장에서 열린 3차전에서는 자신이 친 타구를 왼발에 맞아 부상으로 퇴장당했다. 검사 결과 골절상을 입었고 1번 타자였던 다카기가 부상으로 빠진 주니치는 롯데에게 패하면서 일본 시리즈 우승 달성에 실패했다. 1978년부터 1980년까지 선수 겸 코치로 활동했고 2루수로서 베스트 나인 7차례 수상은 일본 프로 야구 사상 최다이며 1980년에는 시력의 이상이 있어 21년간의 현역 생활을 은퇴했다. 시즌 종료 후 나고야 구장에서 열린 센트럴 리그 올스타 동서 대항전에서 1살 위인 자신보다 1년 먼저 프로에 입단한 오 사다하루와 함께 은퇴식을 가졌다.
  고쿠데라의 머리 모양에 영향을 준 것으로 추정되는 사람은?	이탈리아인의 아버지와 일본과 이탈리아 피가 섞인 혼혈인 피아니스트 어머니 사이에서 태어났다. 이탈리아인 피가 3/4정도, 일본인의 피가 1/4정도 흐른다. 대부호 마피아의 집에서 살아왔으나 친하게 지내던 피아노 잘치는 누나가 자신의 어머니였고, 그 어머니가 자신의 아버지에 의해 죽었다는 소식을 듣고 충격을 받는다. 자력으로 마피아가 되고자 몇 번이나 가출을 해왔으며, 8세에 가출했을 때 봉고레에 들어와 활동하게 된 듯하다. 이복누나인 비앙키에게 트라우마가 있는데 이는 비앙키가 자신을 포이즌 쿠킹의 실험대상으로서 사용했었기 때문이다. 만화에서는 담배도 피우지만 애니메이션에서는 미성년자가 담배를 피우는 건 문제가 있어서 삭제되었다. 츠나가 10대 보스로 선택받은 것을 시험하고자 그에게 덤벼왔으나 결국 츠나의 필살모드에 패배하고 장래에 그의 오른팔이 되기로 결심한다. 어떤 지시도 반항하지 않고 따랐으나, 진6조화와의 싸움 전에 딱 한 번 반항을 한다. 후타의 랭킹에 따르면 나미모리중 전투랭킹 3위라고 한다. 교사조차도 두려워하는 불량소년이며 연상의 인간은 죄다 적이라는 말을 서슴없이 하기도 한다. 수업도 잘 듣지 않는데도 불구하고 성적도 최상이며 가히 천재라고 불러도 될만큼 머리가 좋다. 그래서 그런지 무언가를 가르칠 때는 무조건 이론으로 시작한다. 의외로 미신이나 유령을 잘 믿어서 오컬트 잡지를 애독 중이며 심지어 일본식의 퇴마법도 알고 있다. 어렸을 적, Dr.샤멀이 다이너마이트를 쓰는 것을 보고 Dr.샤멀에게 다이너마이트를 가르쳐 달라고 했으며, 고쿠데라의 머리는 Dr.샤멀을 따라한 스타일인 듯하다. 전투 시에는 다이너마이트에 담배불을 붙여서 사용한다. 하지만 애니메이션에서는 담배피우는 설정을 없애버렸기에 자동으로 도화선에 불이 붙여진다. 이 때문에 그의 별명은 원작에서는 '인간폭격기 스모킹 봄 하야토', 애니판에서는 그냥 '허리케인 봄'이다. 무기 성질상 장애물이 많은 곳에서 힘을 발휘한다.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 1
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 1
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	spearman_max
0	0	-	0.8399
0.4558	500	0.1676	-
0.9116	1000	0.1165	-

Environmental Impact

Carbon emissions were measured using CodeCarbon.

• Energy Consumed: 0.032 kWh
• Carbon Emitted: 0.014 kg of CO2
• Hours Used: 0.074 hours

Training Hardware

• On Cloud: No
• GPU Model: 1 x NVIDIA GeForce RTX 4090
• CPU Model: 13th Gen Intel(R) Core(TM) i7-13700
• RAM Size: 62.57 GB

Framework Versions

• Python: 3.9.0
• Sentence Transformers: 3.0.1
• Transformers: 4.44.1
• PyTorch: 2.3.1+cu121
• Accelerate: 0.33.0
• Datasets: 2.19.1
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}