NorskHelsenett/eti-granite-v1

SentenceTransformer based on ibm-granite/granite-embedding-311m-multilingual-r2

This is a sentence-transformers model finetuned from ibm-granite/granite-embedding-311m-multilingual-r2 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: ibm-granite/granite-embedding-311m-multilingual-r2
• Maximum Sequence Length: 2048 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Training Dataset:
  • eti-embedding-training-data-2048-triplets-merged-v3

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 2048, 'do_lower_case': False, 'architecture': 'ModernBertModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': False})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("NorskHelsenett/eti-granite-v1")
# Run inference
sentences = [
    '- Hva slags hjelp kan vi få til tracheostomi-behandling hjemme?',
    '# Forbruksmateriell\n\nHelseforetakene har ansvar for å levere nødvendig medisinsk utstyr og forbruksmateriell til behandling hjemme/utenfor sykehus når behandlingen er igangsatt av spesialisthelsetjenesten.\n\nHelseforetakene har i tillegg ansvar for å levere tjenester/forbruksmateriell til en rekke behandlingsforløp som ikke innbefatter medisinsk utstyr.\n\nEksempler på forbruksmateriell og tjenester som benyttes i medisinsk hjemmebehandling:\n\n- Forbruksmateriell til:\n    - enteral ernæring som gis via nasogastrisk sonde, perkutan gastrostomi (PEG) og gastrostomiport/sonde\n    - parenteral ernæring/intravenøs behandling som gis via ulike typer veneporter og sentrale/perifere venekateter\n    - epidural behandling som gis ved smertelindring\n    - subkutan behandling\n    - pleura/acites- drenasje\n    - tracheostomi\n- Kompresjonsplagg til:\n    - lymfødem (og tilhørende bandasjemateriell)\n    - brannskadebehandling\n    - kjønnsdysfori/kjønnsinkongruens\n- Apnéskinner (alternativ behandling ved søvnapné)\n- Frejkaspute (behandling av hofteleddsdysplasi hos nyfødte)\n- Kjønnsdysfori/kjønnsinkongruens (kompresjonsplagg, penisprotese, hårfjerning og vaginablokker)\n- Taleventiler/proteser for strupeopererte\n\nHelseforetakene har også ansvar for å dekke kostnadene til Klorhexidin 5 mg/ml, NaCl 0,9 mg/ml og Heparin 100 IE til vedlikehold/skylling av de aktuelle kateter, kanyler og porter som benyttes. Se også ( [HELFO utstyrsliste forbruksmateriell](https://www.helfo.no/produkt-og-prislister/produkt-og-prislister) ).\n\nListen er ikke uttømmende.\n\nDet er ulik praksis i hvordan helseforetakene organiserer utleveringen av forbruksmateriell. Sortimentet kan være ulikt mellom helseforetakene og mellom helseregionene ( [jf. Utstyr](https://behandlingshjelpemidler.no/utstyr/) ).\n\nVed spørsmål ta kontakt med aktuell [behandlingshjelpemiddelenhet](https://behandlingshjelpemidler.no/enhet/) .',
    'Les mer om [skole- og opplæringstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/barnehage-skole-og-opplaering.4636489-176065.html)\n\n### Bo- og omsorgstilbud\n\nHjemkommunene har ansvar for bo- og omsorgstilbud til voksne døvblinde. De fleste voksne med medfødt døvblindhet bor i leilighet eller bofellesskap med heldøgns omsorg.\n\nHar du ervervet døvblindhet, kan du få tilbud om kommunal omsorgsbolig eller sykehjem, hvis du ikke lenger kan bo i eget hjem.\n\nLes mer om [bo- og omsorgstilbud for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/bo-og-omsorgstilbud.4641097-176065.html)\n\n### Brukerstyrt personlig assistanse og støttekontakt (BPA)\n\nDette er en ordning som gir deg praktisk bistand til å gjøre ting som:\n\n- kle på deg\n- gjøre husarbeid\n- komme deg til skole og arbeidsplass\n- handle og lage mat\n- være sammen med venner og familie\n- engasjere deg i samfunnet.\n\nBPA gir deg mulighet til å administrere din egen hverdag, ved at du selv kan bestemme hvem som skal være dine assistenter, hva de skal bistå med og til hvilke tider.\n\nLes mer om [brukerstyrt personlig assistanse og støttekontakt for døvblinde på dovblindhet.no.](https://www.dovblindhet.no/brukerstyrt-personlig-assistanse-og-stoettekontakt.4832862-176065.html)\n\n### Cochleaimplantat (CI)\n\nCI er et elektronisk apparat som opereres inn i øret. Det er et hjelpemiddel som hovedsakelig tilbys hørselshemmede med så store hørselstap, at de har liten eller ingen mulighet til å oppfatte tale med et vanlig høreapparat.\n\nLes mer om [cochleaimplantat på unn.no.](https://www.unn.no/dovblindhet/hva-kan-hjelpe/teknologi-og-hjelpemidler/horselshjelpemidler/cochleaimplantat/)\n\n### Individuell plan (IP)\n\nIndividuell plan er et verktøy som legger til rette for samarbeid mellom deg og tjenesteytere. Formålet med IP er å ha et helhetlig tilbud som koordineres gjennom én plan. Planen skal være individuelt tilpasset og én tjenesteyter skal ha hovedansvaret for oppfølgingen. Den som bruker henvender seg til har plikt til å sørge for at arbeidet med planen settes i gang.\n\nLes mer om [individuell plan på dovblindhet.no.](https://www.dovblindhet.no/individuell-plan.4590084-176065.html)\n\n### Orienterings- og mobilitetsopplæring\n\nEksempler på dette er:\n\n- bruk av hvit stokk og stokk-teknikk\n- ledsagerteknikk\n- beskyttelsesteknikk\n- orienteringsteknikk\n- opplæring i ulike tekniske hjelpemidler\n- innlæring av mobilitetsruter\n- bruk av andre og resterende sanser\n\n### Tolk/ledsager\n\nI mange tilfeller vil du være avhengig av en tolk/ledsager som behersker de ulike kommunikasjonsformene som personer med døvblindhet bruker.\n\nEn tolk/ledsager fungerer som et bindeledd mellom deg og andre personer. Her kan du finne ut mer om [tolketjenesten i NAV](https://www.nav.no/no/person/hjelpemidler/hjelpemidler-og-tilrettelegging/tolketjenesten) .\n\nLes mer om [tolk eller ledsager på dovblindhet.no.](https://www.dovblindhet.no/tolkledsager.4588731-176065.html)\n\nReferanser\n\n[Publikasjoner om medfødt døvblindhet](https://www.dovblindhet.no/publikasjoner-om-medfoedt-doevblindhet.4873964-480618.html) (dovblindhet.no)\n\n[Publikasjoner om ervervet døvblindhet](https://www.dovblindhet.no/publikasjoner-om-ervervet-doevblindhet.4874059-480618.html) (dovblindhet.no)\n\n[Nordisk definisjon av døvblindhet, 2016](https://www.dovblindhet.no/?cat=440667) (dovblindhet.no)\n\nInnholdet er levert av [Nasjonal kompetansetjeneste for døvblinde (NKDB)](/samarbeidspartnere/#nasjonal-kompetansetjeneste-for-dovblinde-(nkdb))\n\nSlik refererer du til innholdet Nasjonal kompetansetjeneste for døvblinde (NKDB). Døvblindhet. [Internett]. Oslo: Helsedirektoratet; oppdatert torsdag 20. juni 2024 [hentet tirsdag 9. desember 2025]. Tilgjengelig fra: [https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/](https://www.helsenorge.no/sykdom/sjeldne-diagnoser/dovblindhet/)\n\nSist oppdatert torsdag 20. juni 2024',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.4698, 0.2314],
#         [0.4698, 1.0000, 0.1588],
#         [0.2314, 0.1588, 1.0000]])

Evaluation

Metrics

Triplet

• Dataset: dev_triplet
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.998

Information Retrieval

• Dataset: dev_ir
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.703
cosine_accuracy@3	0.937
cosine_accuracy@5	0.977
cosine_accuracy@10	0.99
cosine_precision@1	0.703
cosine_precision@3	0.3123
cosine_precision@5	0.1954
cosine_precision@10	0.099
cosine_recall@1	0.703
cosine_recall@3	0.937
cosine_recall@5	0.977
cosine_recall@10	0.99
cosine_ndcg@10	0.8635
cosine_mrr@10	0.8208
cosine_map@100	0.8213

Training Details

Training Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 565,173 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 21.43 tokens max: 57 tokens	min: 32 tokens mean: 1025.54 tokens max: 2048 tokens	min: 26 tokens mean: 958.66 tokens max: 2048 tokens

• Samples:

  anchor	positive	negative
  Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?	# 9.4. Sjeldne svulster I tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper. Les hele	# Pakkeforløp for kreft hos barn Barneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger. Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie. # Informasjon og dialog med pasient/pårørende Den legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen. # Støttebehandling og sykepleie Sykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon. # Håndtering av tilbakefall Ved tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...
  rette opp ryggen til ungdom	# Skoliose hos ungdom - operasjon
  Ved operasjon avstivar vi dei aktuelle områda av ryggen.
  Dersom ryggskeivskapen blir stor, er det sannsynleg at han vil auke vidare etter at du er utvaksen.	Jeg har taushetsplikt. ##### Lege Martine Ødegård ##### Sexologisk rådgiver for barn og unge opp til 25 år Miriam (Mie) Englund Mobil 474 89 259 HFU har en sexologisk rådgiver som gir råd og veiledning om seksualitetet og seksuell helse for barn og unge med familier. Lurer du på noe knyttet til seksualitet, eller har du nen utfordringer eller problemer? Vi tilbyr: Samtaler på helsestasjon for ungdom. Samarbeid med andre fagpersoner ved behov. Aktuelle tema og råd for veiledning kan være: - Seksuell helse og utvikling - Endringer knyttet til seksuell lyst eller mangel på seksuell lyst - Samleiesmerter og andre smertetilstander i vulva/penis - Prestasjonsangst - Ereksjonssvikt - For tidlig sædavgang - Orgasmeutfordringer - Seksualitet og sykdom - Seksualitet og funksjonsvariasjon - Seksualitet etter seksuelle overgrep eller negative seksuelle opplevelser - Seksualitet og ulike tenningsmønster, fetisjer og fantasier - Seksualitet og identitet, kjønnsidentitet, kjønnsinkongr...
  Hva skjer dersom et utviklingsavvik oppdages under fosterdiagnostikk?	# Å stille ein sjeldan diagnose Mange opplever ein lang og krunglete veg før ein sjeldan diagnose blir stilt. Av og til kjem ikkje legen fram til ein endeleg diagnose. Sjeldne tilstandar kan vere vanskelege å diagnostisere, fordi ulike delar av kroppen din kan bli påverka. Samtidig kan stadig fleire sjeldne tilstandar diagnostiserast. Dette kjem av store framsteg innan medisinsk genetikk. Diagnoseprosessen krev eit tett samarbeid mellom personen som blir greidd ut, familien og helsetenesta. Diagnosen kan stillast på ulike stadium i livet. ## Å stille ein diagnose på fosterstadiet Fosterdiagnostikk kan gjere det mogleg å oppdage ein del sjeldne utviklingsavvik hos fosteret. Dersom avviket må behandlast, er det i nokre tilfelle mogleg å behandle fosteret medan det endå er i mors mage. Nokre svært alvorlege tilstandar kan gjere at fosteret ikkje overlever. Det kan føre til svangerskapsavbrot (abort). [Om legen mistenker eller har fun...	## Hvordan skille et andrespråk i utvikling fra språkforstyrrelser? Hvorfor opplever vi at noen barn og unge med flerspråklig bakgrunn har så usikre språkferdigheter at det kan forveksles med DLD? Det kan være vanskelig å identifisere flerspråklige barn og unge med lærevansker - spesielt vansker med språk og lesing. Flerspråklige barn og unge utvikler språk på samme måte som enspråklige, og det å eksponeres for flere språk er ikke et hinder for å utvikle gode språkferdigheter. Det antas at det er samme prosentandel flerspråklige som enspråklige barn og unge som har ulike typer lærevansker. Det er allikevel overidentifisering, når det gjelder flerspråklige elever med mulige spesialpedagogiske behov. ## Et andrespråk i utvikling kan ligne DLD Det er spesielt komplisert å skille mellom flerspråklige barn som er tidlig i sin norskspråklige utvikling og flerspråklige barn med DLD. I begge tilfeller vil språkferdighetene på norsk kjennetegnes av: - svakt ordforråd - usikre bøyningsform...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Evaluation Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 5,767 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 21.74 tokens max: 59 tokens	min: 34 tokens mean: 1016.43 tokens max: 2048 tokens	min: 28 tokens mean: 963.02 tokens max: 2048 tokens

• Samples:

  anchor	positive	negative
  koble ting sammen for bedre lyd	](#hva) ### Hva er hjelpemiddelet? Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner. Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler. Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet. Lyttehjelpemidler til TV og radio Hjelpemiddel Du kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk. Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør. Lyttehjelpemidler for telefon Hjelpemi...	Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie). 28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside). 29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside). 30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...
  Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?	Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag. #### Klage på vedtak I vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss . Send klage Ettersend dokumentasjon #### Anke vedtak Hvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket. Send anke Ettersend dokumentasjon Du kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne. Klagerettigheter Slik gjør du det Saksbehandlingstid...	Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden. | Saken gjelder | Forventet saksbehandlingstid | |---------------------------------------|--------------------------------| | Søknad om hjelpemiddel til dagligliv | 17 dager | | Søknad om hjelpemiddel til arbeidsliv | 21 dager | ### Personvern og automatisk saksbehandling For å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet. Slik behandler Nav personopplysningene Vi behandler personopplysninger om - fødselsnummer - navn - alder - bostedsadresse - brillestyrke - tidligere støtte til briller Fra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...
  Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?	Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) .
  Sedasjon kan bidra til at barn og unge som ikke mestrer tannbehandling med smertelindring, får mindre psykisk belastning og derav motvirke utvikling av tannbehandlingsangst med påfølgende ressurskrevende tiltak.
  Midazolam er førstevalg fordi virkestoffet har rask innsettende effekt og kortere halveringstid enn diazepam, jf. Tannbehandlingsangst (legemiddelhandboka.no) . En systematisk oversikt viser at bruk av oral midazolam fører til en mer samarbeidsvillig pasient enn placebo, og det ble rapportert få bivirkninger (Ashley et al., 2018). En retningslinje fra NICE 2010, og som ble gjennomgåt...	Det er behov for at fylkeskommunen utarbeider planer med en gradvis økning av personell. Kartleggingsverktøyet NOT-S kan lastes ned gratis, men personell som skal benytte dette må lære seg verktøyet. Det at tannhelsepersonell begynner å bruke dette verktøyet er tonet ned i anbefalingen. # Tannhelsepersonell skal ved behov samarbeide tverrfaglig om utredning, behandling og oppfølging av barn og unge ## Begrunnelse ### Forskningsgrunnlag ##### PICO ##### Beskrivelse av inkluderte studier Populasjon (P) Barn og ungdom med habilteringsbehov Tiltak (I) Vurdering av oral motorikk og funksjon for hvert barn Sammenligning (C) Ingen vurdering av oral motorikk og funksjon Forskningsgrunnlaget er basert på 2 systematiske oversikter og 12 primærstudier fra søk utført av biblioteket i Helsedirektoratet. #### Oral helse En systematisk oversikt så på oral helse hos personer innlagt på intensivavdeling på sykehus (Terezakis et al., 2011). Fem studier ble inkludert, hvorav en studi...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 24,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• learning_rate: 1.5e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 96
• per_device_eval_batch_size: 48
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1.5e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	dev_triplet_cosine_accuracy	dev_ir_cosine_ndcg@10
0.0170	50	3.4396	-	-	-
0.0340	100	2.5575	-	-	-
0.0510	150	1.2996	-	-	-
0.0680	200	0.9622	-	-	-
0.0849	250	0.8241	0.5273	0.9720	0.7125
0.1019	300	0.7227	-	-	-
0.1189	350	0.6732	-	-	-
0.1359	400	0.6176	-	-	-
0.1529	450	0.5732	-	-	-
0.1699	500	0.5443	0.3518	0.9850	0.7606
0.1869	550	0.5165	-	-	-
0.2039	600	0.495	-	-	-
0.2209	650	0.4905	-	-	-
0.2379	700	0.4618	-	-	-
0.2548	750	0.4377	0.2679	0.9890	0.7986
0.2718	800	0.4321	-	-	-
0.2888	850	0.4148	-	-	-
0.3058	900	0.3777	-	-	-
0.3228	950	0.383	-	-	-
0.3398	1000	0.3668	0.2230	0.9940	0.8163
0.3568	1050	0.3525	-	-	-
0.3738	1100	0.3533	-	-	-
0.3908	1150	0.34	-	-	-
0.4077	1200	0.3321	-	-	-
0.4247	1250	0.3369	0.1919	0.9950	0.8188
0.4417	1300	0.3201	-	-	-
0.4587	1350	0.2993	-	-	-
0.4757	1400	0.3043	-	-	-
0.4927	1450	0.2911	-	-	-
0.5097	1500	0.2938	0.1653	0.9960	0.8373
0.5267	1550	0.2728	-	-	-
0.5437	1600	0.2837	-	-	-
0.5607	1650	0.2747	-	-	-
0.5776	1700	0.2674	-	-	-
0.5946	1750	0.2584	0.1479	0.9970	0.8498
0.6116	1800	0.2636	-	-	-
0.6286	1850	0.2608	-	-	-
0.6456	1900	0.2493	-	-	-
0.6626	1950	0.2417	-	-	-
0.6796	2000	0.233	0.1368	0.9990	0.8516
0.6966	2050	0.2384	-	-	-
0.7136	2100	0.2372	-	-	-
0.7305	2150	0.2345	-	-	-
0.7475	2200	0.2351	-	-	-
0.7645	2250	0.2252	0.1247	0.9990	0.8557
0.7815	2300	0.2341	-	-	-
0.7985	2350	0.2167	-	-	-
0.8155	2400	0.2179	-	-	-
0.8325	2450	0.2237	-	-	-
0.8495	2500	0.2083	0.1172	0.998	0.8636
0.8665	2550	0.2143	-	-	-
0.8835	2600	0.2086	-	-	-
0.9004	2650	0.2121	-	-	-
0.9174	2700	0.2075	-	-	-
0.9344	2750	0.2143	0.1138	0.9980	0.8635
0.9514	2800	0.2066	-	-	-
0.9684	2850	0.2012	-	-	-
0.9854	2900	0.2052	-	-	-

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}