Add new SparseEncoder model

cbb5554 verified 9 days ago

87.8 kB

language:
  - 'no'
license: apache-2.0
tags:
  - sentence-transformers
  - sparse-encoder
  - sparse
  - asymmetric
  - inference-free
  - splade
  - generated_from_trainer
  - dataset_size:565173
  - loss:SpladeLoss
  - loss:SparseMultipleNegativesRankingLoss
  - loss:FlopsLoss
base_model: opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1
widget:
  - text: Hvordan kan jeg ta med rullestolen til barnet mitt på ferie?
  - text: >-
      # Palliativ behandling for barn og unge


      Barnepalliasjon er en aktiv behandling for barn og unge med alvorlige
      livsbegrensende eller livstruende tilstander. Den kjennetegnes av en
      helhetlig tenking der målet er å hjelpe barnet eller ungdommen med det de
      og familien har behov for.


      Både lindring av fysiske plager og hjelp med psykiske symptomer er del av
      behandlingen. Det kan også være viktig å ta tak i sosiale eller
      eksistensielle utfordringer som oppstår som følge av sykdommen.


      #### Barn og unge som får tilbud om palliativ behandling, har:


      - livstruende sykdommer, som for eksempel kreft, hjertesykdom og nyresvikt

      - tilstander der tidlig død er uunngåelig, som for eksempel medfødte
      misdannelser

      - sjeldne sykdommer som blir verre over tid, som muskeldystrofi og
      metabolske tilstander

      - tilstander der det er stor sannsynlighet for tidlig død, som for
      eksempel medfødte syndromer og følgetilstander av alvorlig ulykke


      #### Målet for behandlingen er best mulig livskvalitet for
      barnet/ungdommen og familien gjennom hele sykdomsforløpet, ikke bare hvis
      livet går mot slutten.


      ## Henvisning og vurdering


      Det er et mål at alle barne- og ungdomsavdelinger i Norge skal ha egne
      palliative team. Teamet kan bestå av leger, sykepleiere, sosionomer,
      psykologer, fysioterapeuter eller andre faggrupper.


      Teamet skal bistå familier selv om barnet eller ungdommen ikke er innlagt
      på sykehuset. I samarbeid med kommunehelsetjenesten vil teamet legge til
      rette for at barnet eller ungdommen kan være hjemme så mye som mulig
      gjennom sykdomsforløpet, hvis det er ønskelig.


      ### Henvisningsrutiner for helsepersonell


      [Send henvisninger til Oslo universitetssykehus til
      henvisningsmottaket](/fag-og-forskning/pasientsikkerhet-kvalitet-samhandling-og-helsefellesskap/henvisninger-til-ous)


      ## Før


      ## Før Vis mer


      Barnet eller ungdommens familie kan komme i kontakt med palliativt team på
      ulike tidspunkt i sykdommen. Noen blir henvist allerede når det blir
      bekreftet at barnet har fått en sykdom som er livstruende eller
      livsbegrensende. Andre får kontakt når sykdommen deres har gått over i en
      ny fase. Det er legen på sykehuset der barnet eller ungdommen får
      behandling, som henviser til palliativt team.


      ## Under


      ## Under Vis mer


      Palliativt team kan i samarbeid med behandlende lege og kommunale
      instanser bidra med råd og veiledning i ulike faser av et palliativt
      forløp. Problemstillingene kan være mange og sammensatte, og kan omhandle
      både medisinske problemstillinger og lindring av symptomer, ivaretakelse
      av psykososiale behov, etiske problemstillinger med mer.


      Behandligsteamet kan bidra til at barnet eller ungdommen og familien får:


      - en plan for lindring ved smerter, uro, pustevansker, utmattelse,
      ernæringsvansker, kvalme, angst eller søvnvansker

      - samtaler om målet for behandlingen

      - hjelp til planlegging og støtte ved vanskelige samtaler, både hjemme, på
      sykehuset og på skolen

      - hjelp til å koordinere lokalt hjelpeapparat og nettverk

      - rådgivning om økonomiske støtteordninger

      - støtte til best mulig livskvalitet

      - hjelp til planlegging og forberedelser hvis livet går mot slutten


      ## Etter


      ## Etter Vis mer


      Hvis et palliativt forløp ender med at barnet eller ungdommen dør, vil et
      palliativt team  bistå den etterlatte familien slik at de kan få støtte og
      veiledning i sorgprosessen.


      ## Kontakt


      ## Rikshospitalet Barne- og ungdomsklinikken


      ### Oppmøtested


      Ullevål sykehus: Kirkeveien 166, bygg 9


      Rkshospitalet: Songsvannsveien 20, hovedinngang


      Klinikkstab: Forskningsveien 2a


      ### Rikshospitalet


      Sognsvannsveien 20


      0372 Oslo


      [Finn frem](/steder/rikshospitalet)


      ### Ullevål sykehus bygg 9 - Barnesenteret


      Kirkeveien 166


      0450 Oslo


      [Finn frem](/steder/ulleval-sykehus/ulleval-sykehus-barnesenteret-bygg-9)


      ### Forskningsveien 2A


      Forskningsveien 2A


      0373 Oslo


      [Finn frem](/steder/forskningsveien-2a)
  - text: >-
      # Psykiske lidingar hos barn og unge - pakkeforløp


      ## Oppfølging


      ### Kva skjer når behandlinga er ferdig?


      Før de avsluttar, snakkar BUP med dykk om korleis utgreiinga og
      behandlinga har vore. De får også råd om kva de kan gjere dersom det blir
      vanskeleg seinare. Treng du meir hjelp, lagar de ein plan for det.


      BUP sender ei **epikrise** til fastlegen. Den fortel kva som er gjord, kva
      du treng framover og kven som har ansvar. Etterpå er det fastlegen,
      helsesjukepleiar eller andre som følger opp.


      ### Rettane dine


      - **Over 16 år:** Du avgjer om helsehjelpa og kor mykje foreldra dine skal
      involverast.

      - **Over 12 år:** Du har rett til informasjon og til å seie di meining. Om
      du ikkje vil at foreldra dine skal informerast, skal BUP snakke med deg om
      kva som er mogleg og trygt. Om dei må informerast, får du vite kva som
      blir sagt og kan vere med å planlegge.


      # Psykiske lidingar hos barn og unge - pakkeforløp


      ## Behandling


      ### Kva betyr behandling hos BUP?


      Behandling betyr at du og foreldra dine jobbar saman med BUP for at du
      skal få det betre. De lagar ein behandlingsplan som viser kva som skal
      skje, når og kvifor.


      Behandling kan vere:


      - Samtalar med deg aleine, med familien eller i gruppe med andre ungdommar

      - Oppgåver som hjelper deg å trene på nyttige strategiar

      - Råd til vaksne rundt deg om korleis dei kan støtte deg

      - Medisinar


      Behandling fjernar ikkje alltid alt som er vanskeleg, men kan gi deg gode
      verktøy for å handtere tankar og kjensler.


      ### Les om


      - [ADHD hos barn og unge](/behandlinger/adhd-hos-barn)

      - [Angst hos barn og unge](/behandlinger/angst-hos-barn-og-unge)

      - [Autisme hos barn](/behandlinger/autisme-hos-barn)

      - [Depresjon hos barn og unge](/behandlinger/depresjon-hos-barn-og-unge)

      - [Posttraumatisk stressliding, barn og
      ungdom](/behandlinger/posttraumatisk-stresslidelse-barn-og-ungdom)

      - [Psykoselidelser hos barn og
      ungdom](/behandlinger/psykoselidelser-hos-barn-og-ungdom)

      - [Spiseforstyrringar hos barn og unge -
      pakkeforløp](/behandlinger/spiseforstyrringar-hos-barn-og-unge-pakkeforlop)

      - [Spiseforstyrringar hos barn og
      ungdom](/behandlinger/anoreksi-hos-voksne-dognbehandling)

      - [Spiseforstyrringar hos barn og
      ungdom](/behandlinger/spiseforstyrringar-hos-barn-og-ungdom)


      # Psykiske lidingar hos barn og unge - pakkeforløp


      - Østre Nesttunvei 20 BUP Fana [Kontakt BUP
      Fana](/avdelinger/psykisk-helsevern/psykisk-helsevern-for-barn-og-unge/bup-fana)
      Oppmøtestad Vi held til i Østre Nesttunveg 20. Østre Nesttunvei 20 [Finn
      fram](/steder/ostre-nesttunvei-20) Transport Bybane Nærmaste stoppestad er
      Nesttun terminal. [Rutetabellar finn du på
      Skyss.no](https://www.skyss.no/nn-NO/Rutetider-og-kart1/Ruter-for-Bybanen/)
      .

      - Kvassnesvegen 44, Knarvik BUP Nordhordland [Kontakt BUP
      Nordhordland](/avdelinger/psykisk-helsevern/psykisk-helsevern-for-barn-og-unge/bup-nordhordland)
      Oppmøtestad 4. etasje i Region Nordhordaland Helsehus (RNH) på Knarvik.
      Kvassnesvegen 44, Knarvik Kvassnesvegen 44, 5914 Isdalstø [Finn
      fram](/steder/kvassnesveien-44-knarvik) Transport Parkering Region
      Nordhordland helsehus Det er parkering for pasientar og besøkande i
      parkeringsanlegg under helsehuset. Her er det om lag 100
      parkeringsplassar, der 70 av desse kan nyttast av pasientar og besøkande.
      Det er 3 timar gratis parkering (SesamSesam) for pasientar i
      parkeringskjellaren under helsehuset. Parkeringssystemet Sesam Sesam
      nyttar skiltgjenkjenningssystem der eit kamera les av bilskilta ved inn-
      og utkøyring.

      - Østre Murallmenningen 7 BUP Sentrum [Kontakt BUP
      Sentrum](/avdelinger/psykisk-helsevern/psykisk-helsevern-for-barn-og-unge/bup-sentrum)
      Oppmøtestad Vi held til i 3. etasje i Østre Murallmenning 7. Østre
      Murallmenningen 7 Østre Murallmenningen 7 5012 Bergen [Finn
      fram](/steder/ostre-murallmenningen-7) Praktisk informasjon Trådlaust
      internett Alle pasientar og besøkande kan bruke gratis trådlaust internett
      på dei fleste områda på sjukehuset. Gjest.ihelse.net er eit trådlaust
      nettverk for besøkande, pasientar og tilsette. Slik koblar du deg til
      gjestenettet vårt: Innlogginga skjer automatisk på einingar etter første
      pålogging, så lenge kontoen er aktiv. Det skal bare være nødvendig å logge
      seg på éin gong per eining per 31 dagar. **Trøbbel med å kople til
      trådlaust internett?** Sjukehuset har dessverre dårleg nettverk nokre
      stader. Du kan derfor ha problem med å få logga deg på nettverket. Vi
      beklagar dette, og jobbar med å utbetre dette. **Har du ein nyare
      mobiltelefon, og problem med å kople det til trådlaust gjestenett på
      sjukehuset?** Det kan skuldast nettverksinnstillingane på telefonen din.
      [Her finner du råd dersom du har trøbbel med trådlaust
      internett](/praktisk-informasjon/trobbel-med-tradlaust-internett)

      - Voss sjukehus BUP Voss [Kontakt BUP
      Voss](/avdelinger/psykisk-helsevern/psykisk-helsevern-for-barn-og-unge/bup-voss)
      Oppmøtestad Knutepunktet Voss, Gurid Almenningens Plass 1, 5700 Voss Voss
      sjukehus Sjukehusvegen 16 5704 Voss [Finn fram](/steder/voss) Transport
      Bil Reisetid til Voss frå: Buss til Voss Kjem du frå Hardanger eller Sogn,
      er buss ein alternativ reisemåte: Det går buss frå sentrum til sjukehuset.
      Rute 965 stoggar ved sjukehuset og Rute 964 stoggar i Ringheimsvegen,
      nokre minutt gåtid frå sjukehuset. For nærare informasjon om rutetider,
      sjå Skyss sin ruteplanleggar for rutene 964 Ringebuss Skjerpe/Sivlevegen
      og 965 Sentrumsringen. Parkering på sjukehusområdet Det er
      parkeringsavgift på sjukehusområdet måndag - fredag mellom kl 09.00-17.00.
      **Prisar** Kr 15 ,- pr. time og kr 40,- pr. døgn. Langtidsparkering inntil
      7 døgn er mogleg. Du kan betale med kort, kontant eller mobil. Sjukehuset
      har ikkje tilbod om lading av el-bilar for pasientar. Ladestasjonar finn
      ein i sentrum og ved Tinghuset, i parkeringshuset Vossapark og i
      Strandavegen . Taxi Voss Taxi Telefon 56 51 13 40 Tog Bergensbanen ved
      Voss sentrum, og det går hyppig tog mellom Voss og Bergen. Reisetid til
      Voss frå: Informasjon om togtider finn du på [Vy sine
      nettsider](https://www.vy.no/) Praktisk informasjon Besøkande ved Voss
      sjukehus Kontakt personalet dersom du kjem utanom visittid eller
      vedkommande pasient er isolert. Nokre viktige hugsereglar: Besøkstider ved
      Voss sjukehus ** Generell besøkstid** 15.00 - 16.00 og 18.00 - 19.00
      **Intensivavdeling** Vend dykk i vaktrommet for avtale om besøk
      **Føde-/barselavdelinga** **Gje mor, partnar og dei nyfødde borna ro** Dei
      aller fyrste dagane med den nyfødde er det viktig at familien får mest
      mogleg ro og kvile. Dette for å bli godt kjend med kvarandre samt at mor
      skal får nok ro og tid til å kome godt i gang med amminga. Me anbefalar
      også at den fyrste tida heime vert avgrensa til dei aller nærmaste.
      Partner/ ledsager / den eine nærmaste pårørande er velkomen til
      barselavdelinga på dagtid mellom 09 og 20. Dersom mor ligg på rom saman
      med ei anna barselkvinne er det fint at dei vert einige seg i mellom i
      forhold til besøk slik at det også vert rom for ro og kvile. For andre
      besøkande tillet me kun besøk av den nyfødde sine sysken mellom
      17.00-18.30. Kven møter du på sjukehuset Her finn du litt informasjon om
      kven du vil møte, og litt om kva reglar som gjeld for deg som pasient når
      du er innlagt på sjukehus. Pasientar som blir innlagt for øyeblikkeleg
      hjelp har ikkje moglegheit til å planlegge sjukehusopphaldet. Men dersom
      du mottar innkalling på førehand, kan det vere greit å førebu seg litt.
      Personalet har namneskilt med tittel, slik at du skal kunne sjå kva
      yrkesgruppe kvar enkelt tilhøyrer. Du kan sjølvsagt også spørje vedkomande
      direkte viss du er i tvil om kven du møter. Her er ei liste over dei
      yrkesgruppene du vanlegvis vil møte på sjukehuset:  Trådlaust internett
      Alle pasientar og besøkande kan bruke gratis trådlaust internett på dei
      fleste områda på sjukehuset. Gjest.ihelse.net er eit trådlaust nettverk
      for besøkande, pasientar og tilsette. Slik koblar du deg til gjestenettet
      vårt: Innlogginga skjer automatisk på einingar etter første pålogging, så
      lenge kontoen er aktiv. Det skal bare være nødvendig å logge seg på éin
      gong
  - text: >+
      Nav tar hensyn til det når vi vurderer retten til hjelpestønad.


      Satser


      Satsene gjelder fra 1. januar 2024 og er uendret i 2025 og 2026


      | **Sats 1**   | **Beløp**     |

      |--------------|---------------|

      | Per år       | 16 152 kroner |

      | Per måned    | 1 346 kroner  |


      #### Omsorgsstønad


      Hvis barnet mottar hjelpestønad, og den som har pleie og tilsyn mottar
      [omsorgsstønad](https://helsenorge.no/hjelpetilbud-i-kommunen/omsorgsstonad)
      , har kommunen mulighet til å redusere omsorgsstønaden. Omsorgsstønaden
      kan bli redusert med et like stort beløp som hjelpestønaden.

  - text: >-
      # Skjema - Utlån av behandlingshjelpemidler


      For å ta i bruk behandlingshjelpemidler og/eller forbruksmateriell må
      skjemaet «Utlån av behandlingshjelpemidler og utlevering av
      forbruksmateriell» fylles ut. Skjemaet skal signeres av lege ved
      helseforetaket, avtalespesialist tilknyttet helseforetaket eller andre
      helseforetaket har avtale med. Utstyret lånes ut til pasienten så lenge
      det foreligger et behandlingsbehov.


      Påse at felt for ICD-10 hoveddiagnose-kode og inntil 2 bi-diagnose-koder
      som begrunner behov for utlån av utstyr og forbruksmateriell er fylt ut
      sammen med begrunnelse for utstyrsvalg. Det skal også påføres om opplæring
      er gjennomført eller hvem dette er avtalt med.


      Ferdig utfylt skjema sendes helseforetaket hvor pasienten har adresse i
      folkeregisteret, se
      [Landsoversikt](https://behandlingshjelpemidler.no/enhet/) .


      **NB!** De fleste helseforetak benytter elektroniske skjema som erstatter
      dette skjemaet.


      ### Utlånsskjema


      [Nasjonalt\_skjema-ver-202404031](https://behandlingshjelpemidler.no/wp-content/uploads/2024/04/Nasjonalt_skjema-ver-202404031.docx)
datasets:
  - thivy/eti-embedding-training-data-2048-triplets-merged-v3
pipeline_tag: feature-extraction
library_name: sentence-transformers
metrics:
  - dot_accuracy@1
  - dot_accuracy@5
  - dot_accuracy@10
  - dot_precision@1
  - dot_precision@3
  - dot_precision@5
  - dot_precision@10
  - dot_recall@1
  - dot_recall@3
  - dot_recall@5
  - dot_recall@10
  - dot_ndcg@10
  - dot_mrr@10
  - dot_map@100
  - query_active_dims
  - query_sparsity_ratio
  - corpus_active_dims
  - corpus_sparsity_ratio
  - avg_flops
model-index:
  - name: SPLADE multilingual fine-tuned on Norwegian health triplets (merged-v3)
    results:
      - task:
          type: sparse-information-retrieval
          name: Sparse Information Retrieval
        dataset:
          name: dev ir
          type: dev_ir
        metrics:
          - type: dot_accuracy@1
            value: 0.525
            name: Dot Accuracy@1
          - type: dot_accuracy@5
            value: 0.887
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.94
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.525
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.2683333333333333
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.17740000000000003
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.094
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.525
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.805
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.887
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.94
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.7416841497442582
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.6768273809523812
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.6790303721712451
            name: Dot Map@100
          - type: query_active_dims
            value: 19.052000045776367
            name: Query Active Dims
          - type: query_sparsity_ratio
            value: 0.9998200587458724
            name: Query Sparsity Ratio
          - type: corpus_active_dims
            value: 2980.506103515625
            name: Corpus Active Dims
          - type: corpus_sparsity_ratio
            value: 0.9718498842686876
            name: Corpus Sparsity Ratio
          - type: avg_flops
            value: 11.000125885009766
            name: Avg Flops
      - task:
          type: sparse-information-retrieval
          name: Sparse Information Retrieval
        dataset:
          name: test ir
          type: test_ir
        metrics:
          - type: dot_accuracy@1
            value: 0.559
            name: Dot Accuracy@1
          - type: dot_accuracy@5
            value: 0.89
            name: Dot Accuracy@5
          - type: dot_accuracy@10
            value: 0.945
            name: Dot Accuracy@10
          - type: dot_precision@1
            value: 0.559
            name: Dot Precision@1
          - type: dot_precision@3
            value: 0.2723333333333333
            name: Dot Precision@3
          - type: dot_precision@5
            value: 0.178
            name: Dot Precision@5
          - type: dot_precision@10
            value: 0.0945
            name: Dot Precision@10
          - type: dot_recall@1
            value: 0.559
            name: Dot Recall@1
          - type: dot_recall@3
            value: 0.817
            name: Dot Recall@3
          - type: dot_recall@5
            value: 0.89
            name: Dot Recall@5
          - type: dot_recall@10
            value: 0.945
            name: Dot Recall@10
          - type: dot_ndcg@10
            value: 0.760396122234907
            name: Dot Ndcg@10
          - type: dot_mrr@10
            value: 0.7001134920634924
            name: Dot Mrr@10
          - type: dot_map@100
            value: 0.7026532149420316
            name: Dot Map@100
          - type: query_active_dims
            value: 18.825000762939453
            name: Query Active Dims
          - type: query_sparsity_ratio
            value: 0.9998222026958798
            name: Query Sparsity Ratio
          - type: corpus_active_dims
            value: 2953.762939453125
            name: Corpus Active Dims
          - type: corpus_sparsity_ratio
            value: 0.9721024665943848
            name: Corpus Sparsity Ratio
          - type: avg_flops
            value: 10.90129280090332
            name: Avg Flops

SPLADE multilingual fine-tuned on Norwegian health triplets (merged-v3)

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
Base model: opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1
Maximum Sequence Length: 512 tokens
Output Dimensionality: 105879 dimensions
Similarity Function: Dot Product
Training Dataset:
- eti-embedding-training-data-2048-triplets-merged-v3
Language: no
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Documentation: Sparse Encoder Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("thivy/splade-multilingual-norwegian-health-merged-v3")
# Run inference
queries = [
    "- Hvilke typer aktiviteter kan v\u00e6re nyttige for barn med VCFS for \u00e5 fremme utvikling?",
]
documents = [
    '# Tilrettelegging for læring\n\n##### **Kognitiv funksjon og læring**\n\nMange med VCFS har en ujevn kognitiv profil med vansker innen enkelte områder. De kan ha redusert evne til å tolke synsinntrykk og har ofte nonverbale lærevansker (NVL). NVL kan påvirke berørings- og synsoppfatning, rom-/retningssans og sansemotorisk integrasjon samt flere andre kognitive funksjoner som har stor betydning for mestring av nye eller uventede situasjoner. Konsentrasjons- og oppmerksomhetsvansker  og vansker med teoretisk og abstrakt tenkning kan i skolesammenheng gi økt behov for tilrettelegging. Problemer med planlegging, komme i gang med og utføre oppgaver, er ofte områder som krever oppfølging i barnehage og skole.\n\nTil tross for økt risiko for vansker på ulike områder, er det stor variasjon innen gruppen med personer med VCFS. Enkelte har ikke lærevansker og har ikke behov for tilrettelegging i barnehage og skole. Frambu kjenner til personer med VCFS med høyere utdanning.\n\n##### **Kommunikasjon og språk**\n\nVerbalspåket er ofte forsinket i tidlig barnealder, og det er vanlig med alternativ og supplerende kommunikasjon før verbalspråket viser en god utvikling. Ved skolestart kan barna vise relativt gode språklige ferdigheter i form av adekvat lydering og godt språklig minne. De kan følge en vanlig utvikling innen leseopplæringen. Etter hvert som kravene øker, vil mange kunne slite med innholdsforståelsen. Mange med VCFS har lite mimikk, og dette kan bidra til usikkerhet ved kommunikasjon.\n\n##### **Sosial og emosjonell utvikling**\n\nBarn og ungdommer med VCFS kan være mer utrygge i sosiale sammenhenger og kan ha behov for skjerming fra større grupper, deler av skolehverdagen. De kan være sårbare for sanseinntrykk og kan lett bli overstimulert i krevende miljøer. Enkelte kan vise tegn på mistrivsel og ha behov for å isolere seg.\n\nBarnehage og skole bør ha et tett samarbeid med foreldre for lettere å kunne avdekke mistrivsel og utrygghet. Barn og ungdom med VCFS er ofte avhengig av trygge voksenpersoner som kan være en støtte ved behov og som kan bidra til at de kan takle utfordringer i hverdagen.\n\n##### **Kartlegging**\n\nKartlegging av språk og kognitiv funksjon kan bidra til riktig forståelse av funksjonsnivå og behov for tilrettelegging. Symptomer som gir mistanke om ADHD/ADD eller autismespekterforstyrrelser bør følges opp med utredning og tiltak.\n\n*Faglig oppdatert 19.03.2020*',
    "For eksempel kan de ta kontakt med andre på en måte som kan oppfattes som klossete og upassende (5 ) . Fordi de er glade og positive, kan de let t få en maskotrolle i gruppa . Det er ikke heldig , da det kan innebære de blir møtt med for lave forventninger. Videre vil g ode rollemodeller være viktig, de har lett for å ta etter andres adferd\n\nSosiale ferdigheter må læres og trenes jevnlig hele livet. Hos førskolebarn og elever bør sosial trening være en del av kartlegging og opplæringsplan e n . Start tidlig med samværsregler som handler om hvem en hilser på og hvem en viser nærhet, når det passer og hvor ofte. Alle barn og voksne som er sammen med dem , må minnes på å holde samværsreglene. En må også sørge for at personen med W illiams' syndrom ikke føler seg avvist, men får dekket sine behov for nærhet og trygghet. Å lære om egen kropp, sette egne grenser og respektere andres bør stå på planen gjennom hele livet.\n\nOgså i sosiale medier kan de sosiale kodene være vanskelige å forstå. Av den grunn er det viktig å ha jevnlig f okus på og opplæring i bruk av sosiale medier. Som andre er de glade i likes og ønsker seg mange venner eller følgere, men har ofte dårligere forståelse av hvor grensene går og hva som ligger bak kommunikasjonen . De kan være ukritiske i forhold til hvem de kommer i kontakt med og hva de selv publiserer (6) . Les mer om sosiale medier og nett vett h os [Buf dir o](https://bufdir.no/Bibliotek/Dokumentside/?docId=BUF00003828) g [Redd Barna.](https://www.reddbarna.no/vaart-arbeid/barn-i-norge/nettvett?gclid=EAIaIQobChMIsKuOq5i46AIVBeAYCh0FaQ6cEAAYASAAEgKZ5vD_BwE)\n\n## **Musikk**\n\nPersoner med W illiams ' syndrom er ofte glade i sang og musikk. Det henger sannsynligvis sammen med godt utviklet auditiv persepsjon. De er samtidig ømfintlige for lyd og kan lett bli engstelige ved spesielle lyder (1). De kan likevel tåle ganske høye lyder om de selv er med på å lage dem. Det er fint å bruke musikk som motivasjonsfaktor.\n\n## **Fysisk aktivitet**\n\nBarn med W illiams ' syndrom er forsinket i sin motoriske utvikling, både grov- og finmotorisk. De er også sansemotorisk svake. De aller fleste har behov for oppfølging av fysioterapeut (2). Fysioterapeuten kan også veilede og gi råd til skolen.\n\nPersoner med W illiams' syndrom har behov for å være i daglig fysisk aktivitet. Noen er glad i aktivitet, men å være i en gymsal/idrettshall med mange høye , påtrengende lyder og mye aktivitet kan lett bli for mye. De kan lett bli overstimulert, engstelige og kan ha behov for skjerming. L es mer om motorisk utvikling og fysisk aktivitet under menypunktet om fysioterapi.\n\n## **Tilrettelegging for læring og utvikling**\n\nFor å skape tilstrekkelig trygghet for personer med W illiams ' syndrom er det helt nødvendig med faste rutiner, struktur og forutsigbarhet. Uforutsette endringer og brudd i rutinene kan skape engstelse og usikkerhet . D e er avhengig av faste og trygge voksenpersoner som hjelper dem med å organisere og strukturere dagen . Konsentrasjons- og oppmerksomhetsvansker gjør at de har behov for hjelp til å komme i gang og å holde fokus underveis . Både fysisk miljø og opplæringsmateriell bør være ryddig og oversiktlig, med så få forstyrrelser som mulig både visuelt og auditivt.\n\nS å mye som mulig av undervisningen bør skje gjennom praktiske oppgaver og i naturlige situasjoner. Kunnskap som ikke kan forankres i det praktiske kan lett bli borte.\n\nMange med W illiams' syndrom lærer mest effektivt ved å snakke seg gjennom arbeidsoppgavene eller hendelser. Dette gjelder alt fra matematikkoppgaver til praktiske kunst- og håndverksoppgaver eller til sosial læring. Det er studier som viser at personer med W illiams' syndrom profiterer på korte arbeidsøkter og hyppige pauser . Det har virket positivt med tanke på konsentrasjonsspenn , hukommelse og styrking av innlæring . For litt eldre barn kan det se ut som m odell - læring, det å få observere andre, fungerer godt (1) . Flere forholder seg godt til konsekvente og konkrete regler og avtaler .\n\nFor noen år siden var det vanlig å tenke at personer med Williams ' syndrom ikke kunne lære å lese og skrive, men Frambu til kjenner mange som har lært seg dette i ulik grad. Vansker med visuell persepsjon gjør det utfordrende å lære, huske og gjengi bokstaver og tall. H åndskrift kan være vanskelig og slits omt når en strever med finmotorikk . For de fleste bør derfor s krivetrening begrenses til et minimum. Bruk heller digitale hjelpemidler til skrivetrening. Videre vil tidlig systematisk stimulering av fonetisk bevissthet og vekt på fonetisk lesing anbefales framfor helordslesing. Fonetisk lesing tar i bruk auditive strategier, mens helordslesing handler om å gjenkjenne ordbilder visuelt (3).\n\nLes mer om utviklingshemming og tilrettelegging hos [STATPED](https://www.statped.no/utviklingshemming/) (Statlig spesialpedagogisk tjeneste).\n\n[L es mer på Frambus temasider om muligheter og rettigheter i utdanningen](https://frambu.no/tema/overgangen-til-skole-spesialpedagogiske-rettigheter-og-muligheter/)\n\n| Personer med Williams' syndrom er svært glad i  sosial kontakt, men strever ofte med sosial  forståelse. Øv på sosial kompetanse.   |\n|-------------------------------------------------------------------------------------------------------------------------------------|\n| Språk er en sterk side, men kan også føre til at  personen blir overvurdert.                                                        |\n| Det er ofte vanskelig å tolke visuelle inntrykk. Derfor er tid og mengde vanskelig.                                                 |\n| Oversikt og struktur er nødvendig for at personer med Williams' syndrom skal trives og lære.                                        |\n| Lag en dagsplan med hyppige pauser tilpasset  konsentrasjonsspenn og behov fot aktivitet.                                           |\n| Personer med Williams' syndrom lærer best gjennom praktiske oppgaver.                                                               |\n|                                                                                                                                     |\n\n*Denne artikkelen ble faglig oppdatert 29. april 2020*\n\n## \n\n### **Hvordan er det å leve med en sjelden diagnose?**\n\nVi har mye nyttig informasjon på temasidene våre. [Du kan lese dem her!](https://frambu.no/temaer) .",
    '# Skjema - Utlån av behandlingshjelpemidler\n\nFor å ta i bruk behandlingshjelpemidler og/eller forbruksmateriell må skjemaet «Utlån av behandlingshjelpemidler og utlevering av forbruksmateriell» fylles ut. Skjemaet skal signeres av lege ved helseforetaket, avtalespesialist tilknyttet helseforetaket eller andre helseforetaket har avtale med. Utstyret lånes ut til pasienten så lenge det foreligger et behandlingsbehov.\n\nPåse at felt for ICD-10 hoveddiagnose-kode og inntil 2 bi-diagnose-koder som begrunner behov for utlån av utstyr og forbruksmateriell er fylt ut sammen med begrunnelse for utstyrsvalg. Det skal også påføres om opplæring er gjennomført eller hvem dette er avtalt med.\n\nFerdig utfylt skjema sendes helseforetaket hvor pasienten har adresse i folkeregisteret, se [Landsoversikt](https://behandlingshjelpemidler.no/enhet/) .\n\n**NB!** De fleste helseforetak benytter elektroniske skjema som erstatter dette skjemaet.\n\n### Utlånsskjema\n\n[Nasjonalt\\_skjema-ver-202404031](https://behandlingshjelpemidler.no/wp-content/uploads/2024/04/Nasjonalt_skjema-ver-202404031.docx)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[32.2851, 14.5990,  8.8281]])

Evaluation

Metrics

Sparse Information Retrieval

Datasets: dev_ir and test_ir
Evaluated with SparseInformationRetrievalEvaluator

Metric	dev_ir	test_ir
dot_accuracy@1	0.525	0.559
dot_accuracy@5	0.887	0.89
dot_accuracy@10	0.94	0.945
dot_precision@1	0.525	0.559
dot_precision@3	0.2683	0.2723
dot_precision@5	0.1774	0.178
dot_precision@10	0.094	0.0945
dot_recall@1	0.525	0.559
dot_recall@3	0.805	0.817
dot_recall@5	0.887	0.89
dot_recall@10	0.94	0.945
dot_ndcg@10	0.7417	0.7604
dot_mrr@10	0.6768	0.7001
dot_map@100	0.679	0.7027
query_active_dims	19.052	18.825
query_sparsity_ratio	0.9998	0.9998
corpus_active_dims	2980.5061	2953.7629
corpus_sparsity_ratio	0.9718	0.9721
avg_flops	11.0001	10.9013

Training Details

Training Dataset

eti-embedding-training-data-2048-triplets-merged-v3

Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
Size: 565,173 training samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 1000 samples:

	anchor	positive	negative
type	string	string	string
details	min: 5 tokens mean: 21.62 tokens max: 60 tokens	min: 30 tokens mean: 432.35 tokens max: 512 tokens	min: 26 tokens mean: 393.83 tokens max: 512 tokens

Samples:

anchor	positive	negative
`Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?`	# 9.4. Sjeldne svulster I tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper. Les hele	# Pakkeforløp for kreft hos barn Barneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger. Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie. # Informasjon og dialog med pasient/pårørende Den legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen. # Støttebehandling og sykepleie Sykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon. # Håndtering av tilbakefall Ved tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...
`rette opp ryggen til ungdom`	`# Skoliose hos ungdom - operasjon`

Ved operasjon avstivar vi dei aktuelle områda av ryggen.

Dersom ryggskeivskapen blir stor, er det sannsynleg at han vil auke vidare etter at du er utvaksen.	Jeg har taushetsplikt. ##### Lege Martine Ødegård ##### Sexologisk rådgiver for barn og unge opp til 25 år Miriam (Mie) Englund Mobil 474 89 259 HFU har en sexologisk rådgiver som gir råd og veiledning om seksualitetet og seksuell helse for barn og unge med familier. Lurer du på noe knyttet til seksualitet, eller har du nen utfordringer eller problemer? Vi tilbyr: Samtaler på helsestasjon for ungdom. Samarbeid med andre fagpersoner ved behov. Aktuelle tema og råd for veiledning kan være: - Seksuell helse og utvikling - Endringer knyttet til seksuell lyst eller mangel på seksuell lyst - Samleiesmerter og andre smertetilstander i vulva/penis - Prestasjonsangst - Ereksjonssvikt - For tidlig sædavgang - Orgasmeutfordringer - Seksualitet og sykdom - Seksualitet og funksjonsvariasjon - Seksualitet etter seksuelle overgrep eller negative seksuelle opplevelser - Seksualitet og ulike tenningsmønster, fetisjer og fantasier - Seksualitet og identitet, kjønnsidentitet, kjønnsinkongr...
`Hva skjer dersom et utviklingsavvik oppdages under fosterdiagnostikk?`	# Å stille ein sjeldan diagnose Mange opplever ein lang og krunglete veg før ein sjeldan diagnose blir stilt. Av og til kjem ikkje legen fram til ein endeleg diagnose. Sjeldne tilstandar kan vere vanskelege å diagnostisere, fordi ulike delar av kroppen din kan bli påverka. Samtidig kan stadig fleire sjeldne tilstandar diagnostiserast. Dette kjem av store framsteg innan medisinsk genetikk. Diagnoseprosessen krev eit tett samarbeid mellom personen som blir greidd ut, familien og helsetenesta. Diagnosen kan stillast på ulike stadium i livet. ## Å stille ein diagnose på fosterstadiet Fosterdiagnostikk kan gjere det mogleg å oppdage ein del sjeldne utviklingsavvik hos fosteret. Dersom avviket må behandlast, er det i nokre tilfelle mogleg å behandle fosteret medan det endå er i mors mage. Nokre svært alvorlege tilstandar kan gjere at fosteret ikkje overlever. Det kan føre til svangerskapsavbrot (abort). [Om legen mistenker eller har fun...	## Hvordan skille et andrespråk i utvikling fra språkforstyrrelser? Hvorfor opplever vi at noen barn og unge med flerspråklig bakgrunn har så usikre språkferdigheter at det kan forveksles med DLD? Det kan være vanskelig å identifisere flerspråklige barn og unge med lærevansker - spesielt vansker med språk og lesing. Flerspråklige barn og unge utvikler språk på samme måte som enspråklige, og det å eksponeres for flere språk er ikke et hinder for å utvikle gode språkferdigheter. Det antas at det er samme prosentandel flerspråklige som enspråklige barn og unge som har ulike typer lærevansker. Det er allikevel overidentifisering, når det gjelder flerspråklige elever med mulige spesialpedagogiske behov. ## Et andrespråk i utvikling kan ligne DLD Det er spesielt komplisert å skille mellom flerspråklige barn som er tidlig i sin norskspråklige utvikling og flerspråklige barn med DLD. I begge tilfeller vil språkferdighetene på norsk kjennetegnes av: - svakt ordforråd - usikre bøyningsform...

Loss: SpladeLoss with these parameters:

{
    "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
    "document_regularizer_weight": 3e-05,
    "query_regularizer_weight": 5e-05
}

Evaluation Dataset

eti-embedding-training-data-2048-triplets-merged-v3

Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
Size: 500 evaluation samples
Columns: anchor, positive, and negative

Approximate statistics based on the first 500 samples:

	anchor	positive	negative
type	string	string	string
details	min: 6 tokens mean: 22.07 tokens max: 61 tokens	min: 50 tokens mean: 440.21 tokens max: 512 tokens	min: 27 tokens mean: 394.4 tokens max: 512 tokens

Samples:

anchor	positive	negative
`koble ting sammen for bedre lyd`	](#hva) ### Hva er hjelpemiddelet? Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner. Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler. Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet. Lyttehjelpemidler til TV og radio Hjelpemiddel Du kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk. Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør. Lyttehjelpemidler for telefon Hjelpemi...	Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie). 28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside). 29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside). 30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...
`Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?`	Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag. #### Klage på vedtak I vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss . Send klage Ettersend dokumentasjon #### Anke vedtak Hvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket. Send anke Ettersend dokumentasjon Du kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne. Klagerettigheter Slik gjør du det Saksbehandlingstid...	Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden. \| Saken gjelder \| Forventet saksbehandlingstid \| \|---------------------------------------\|--------------------------------\| \| Søknad om hjelpemiddel til dagligliv \| 17 dager \| \| Søknad om hjelpemiddel til arbeidsliv \| 21 dager \| ### Personvern og automatisk saksbehandling For å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet. Slik behandler Nav personopplysningene Vi behandler personopplysninger om - fødselsnummer - navn - alder - bostedsadresse - brillestyrke - tidligere støtte til briller Fra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...
`Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?`	`Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) .`

Sedasjon kan bidra til at barn og unge som ikke mestrer tannbehandling med smertelindring, får mindre psykisk belastning og derav motvirke utvikling av tannbehandlingsangst med påfølgende ressurskrevende tiltak.

Midazolam er førstevalg fordi virkestoffet har rask innsettende effekt og kortere halveringstid enn diazepam, jf. Tannbehandlingsangst (legemiddelhandboka.no) . En systematisk oversikt viser at bruk av oral midazolam fører til en mer samarbeidsvillig pasient enn placebo, og det ble rapportert få bivirkninger (Ashley et al., 2018). En retningslinje fra NICE 2010, og som ble gjennomgåt...	Det er behov for at fylkeskommunen utarbeider planer med en gradvis økning av personell. Kartleggingsverktøyet NOT-S kan lastes ned gratis, men personell som skal benytte dette må lære seg verktøyet. Det at tannhelsepersonell begynner å bruke dette verktøyet er tonet ned i anbefalingen. # Tannhelsepersonell skal ved behov samarbeide tverrfaglig om utredning, behandling og oppfølging av barn og unge ## Begrunnelse ### Forskningsgrunnlag ##### PICO ##### Beskrivelse av inkluderte studier Populasjon (P) Barn og ungdom med habilteringsbehov Tiltak (I) Vurdering av oral motorikk og funksjon for hvert barn Sammenligning (C) Ingen vurdering av oral motorikk og funksjon Forskningsgrunnlaget er basert på 2 systematiske oversikter og 12 primærstudier fra søk utført av biblioteket i Helsedirektoratet. #### Oral helse En systematisk oversikt så på oral helse hos personer innlagt på intensivavdeling på sykehus (Terezakis et al., 2011). Fem studier ble inkludert, hvorav en studi...

Loss: SpladeLoss with these parameters:

{
    "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
    "document_regularizer_weight": 3e-05,
    "query_regularizer_weight": 5e-05
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
learning_rate: 2e-05
weight_decay: 0.01
num_train_epochs: 1.0
warmup_ratio: 0.1
bf16: True
dataloader_num_workers: 4
load_best_model_at_end: True
ddp_find_unused_parameters: False
batch_sampler: no_duplicates
router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 32
per_device_eval_batch_size: 32
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 1.0
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: True
dataloader_num_workers: 4
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
parallelism_config: None
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
project: huggingface
trackio_space_id: trackio
ddp_find_unused_parameters: False
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
hub_revision: None
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
include_tokens_per_second: False
include_num_input_tokens_seen: no
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
liger_kernel_config: None
eval_use_gather_object: False
average_tokens_across_devices: True
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional
router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}
learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	dev_ir_dot_ndcg@10	test_ir_dot_ndcg@10
-1	-1	-	-	0.4908	-
0.0001	1	2.8535	-	-	-
0.0057	50	1.8611	-	-	-
0.0113	100	1.5624	-	-	-
0.0170	150	1.2044	-	-	-
0.0227	200	1.1151	-	-	-
0.0283	250	1.1168	-	-	-
0.0340	300	1.0335	-	-	-
0.0396	350	1.0167	-	-	-
0.0453	400	1.0117	-	-	-
0.0510	450	0.9121	-	-	-
0.0566	500	0.8883	-	-	-
0.0623	550	0.9276	-	-	-
0.0680	600	0.8744	-	-	-
0.0736	650	0.8781	-	-	-
0.0793	700	0.8585	-	-	-
0.0849	750	0.8068	-	-	-
0.0906	800	0.8329	-	-	-
0.0963	850	0.8196	-	-	-
0.1	883	-	0.7323	0.6322	-
0.1019	900	0.7792	-	-	-
0.1076	950	0.7313	-	-	-
0.1133	1000	0.7721	-	-	-
0.1189	1050	0.8113	-	-	-
0.1246	1100	0.6899	-	-	-
0.1302	1150	0.7229	-	-	-
0.1359	1200	0.7072	-	-	-
0.1416	1250	0.705	-	-	-
0.1472	1300	0.6553	-	-	-
0.1529	1350	0.6966	-	-	-
0.1586	1400	0.6756	-	-	-
0.1642	1450	0.6773	-	-	-
0.1699	1500	0.6391	-	-	-
0.1755	1550	0.6525	-	-	-
0.1812	1600	0.631	-	-	-
0.1869	1650	0.6282	-	-	-
0.1925	1700	0.6256	-	-	-
0.1982	1750	0.623	-	-	-
0.2	1766	-	0.5727	0.6767	-
0.2039	1800	0.6091	-	-	-
0.2095	1850	0.6173	-	-	-
0.2152	1900	0.6013	-	-	-
0.2208	1950	0.5893	-	-	-
0.2265	2000	0.5996	-	-	-
0.2322	2050	0.5822	-	-	-
0.2378	2100	0.5903	-	-	-
0.2435	2150	0.5523	-	-	-
0.2492	2200	0.5332	-	-	-
0.2548	2250	0.6167	-	-	-
0.2605	2300	0.5374	-	-	-
0.2661	2350	0.5359	-	-	-
0.2718	2400	0.5671	-	-	-
0.2775	2450	0.5471	-	-	-
0.2831	2500	0.5674	-	-	-
0.2888	2550	0.5316	-	-	-
0.2945	2600	0.5354	-	-	-
0.3	2649	-	0.4851	0.6846	-
0.3001	2650	0.5231	-	-	-
0.3058	2700	0.5088	-	-	-
0.3114	2750	0.5437	-	-	-
0.3171	2800	0.4926	-	-	-
0.3228	2850	0.546	-	-	-
0.3284	2900	0.5026	-	-	-
0.3341	2950	0.522	-	-	-
0.3398	3000	0.4814	-	-	-
0.3454	3050	0.4744	-	-	-
0.3511	3100	0.4486	-	-	-
0.3567	3150	0.5311	-	-	-
0.3624	3200	0.4877	-	-	-
0.3681	3250	0.4779	-	-	-
0.3737	3300	0.4514	-	-	-
0.3794	3350	0.4602	-	-	-
0.3851	3400	0.4805	-	-	-
0.3907	3450	0.4727	-	-	-
0.3964	3500	0.4654	-	-	-
0.4	3532	-	0.4489	0.6974	-
0.4020	3550	0.5019	-	-	-
0.4077	3600	0.4648	-	-	-
0.4134	3650	0.4861	-	-	-
0.4190	3700	0.4561	-	-	-
0.4247	3750	0.4684	-	-	-
0.4304	3800	0.4837	-	-	-
0.4360	3850	0.47	-	-	-
0.4417	3900	0.4549	-	-	-
0.4473	3950	0.4472	-	-	-
0.4530	4000	0.4337	-	-	-
0.4587	4050	0.4291	-	-	-
0.4643	4100	0.4484	-	-	-
0.4700	4150	0.4316	-	-	-
0.4757	4200	0.4183	-	-	-
0.4813	4250	0.4648	-	-	-
0.4870	4300	0.4187	-	-	-
0.4926	4350	0.413	-	-	-
0.4983	4400	0.4048	-	-	-
0.5	4415	-	0.3818	0.7165	-
0.5040	4450	0.4282	-	-	-
0.5096	4500	0.4274	-	-	-
0.5153	4550	0.4248	-	-	-
0.5210	4600	0.4044	-	-	-
0.5266	4650	0.4285	-	-	-
0.5323	4700	0.4612	-	-	-
0.5379	4750	0.4407	-	-	-
0.5436	4800	0.4106	-	-	-
0.5493	4850	0.4123	-	-	-
0.5549	4900	0.4073	-	-	-
0.5606	4950	0.4057	-	-	-
0.5663	5000	0.426	-	-	-
0.5719	5050	0.386	-	-	-
0.5776	5100	0.3908	-	-	-
0.5832	5150	0.3871	-	-	-
0.5889	5200	0.3998	-	-	-
0.5946	5250	0.3786	-	-	-
0.6	5298	-	0.3497	0.7248	-
0.6002	5300	0.3731	-	-	-
0.6059	5350	0.4316	-	-	-
0.6116	5400	0.4254	-	-	-
0.6172	5450	0.4093	-	-	-
0.6229	5500	0.3797	-	-	-
0.6285	5550	0.3713	-	-	-
0.6342	5600	0.3881	-	-	-
0.6399	5650	0.386	-	-	-
0.6455	5700	0.4065	-	-	-
0.6512	5750	0.3647	-	-	-
0.6569	5800	0.3914	-	-	-
0.6625	5850	0.3991	-	-	-
0.6682	5900	0.3549	-	-	-
0.6738	5950	0.3859	-	-	-
0.6795	6000	0.3478	-	-	-
0.6852	6050	0.3658	-	-	-
0.6908	6100	0.3526	-	-	-
0.6965	6150	0.3827	-	-	-
0.7	6181	-	0.3434	0.7302	-
0.7022	6200	0.3691	-	-	-
0.7078	6250	0.3757	-	-	-
0.7135	6300	0.3555	-	-	-
0.7191	6350	0.3481	-	-	-
0.7248	6400	0.3437	-	-	-
0.7305	6450	0.3718	-	-	-
0.7361	6500	0.3847	-	-	-
0.7418	6550	0.349	-	-	-
0.7475	6600	0.3797	-	-	-
0.7531	6650	0.3572	-	-	-
0.7588	6700	0.3807	-	-	-
0.7644	6750	0.3405	-	-	-
0.7701	6800	0.3579	-	-	-
0.7758	6850	0.3506	-	-	-
0.7814	6900	0.3467	-	-	-
0.7871	6950	0.3896	-	-	-
0.7928	7000	0.3286	-	-	-
0.7984	7050	0.3821	-	-	-
0.8	7064	-	0.3268	0.7346	-
0.8041	7100	0.3665	-	-	-
0.8097	7150	0.336	-	-	-
0.8154	7200	0.3841	-	-	-
0.8211	7250	0.3408	-	-	-
0.8267	7300	0.3613	-	-	-
0.8324	7350	0.3621	-	-	-
0.8381	7400	0.3255	-	-	-
0.8437	7450	0.3565	-	-	-
0.8494	7500	0.3402	-	-	-
0.8550	7550	0.3265	-	-	-
0.8607	7600	0.361	-	-	-
0.8664	7650	0.379	-	-	-
0.8720	7700	0.3636	-	-	-
0.8777	7750	0.3337	-	-	-
0.8834	7800	0.3177	-	-	-
0.8890	7850	0.3172	-	-	-
0.8947	7900	0.3215	-	-	-
0.9	7947	-	0.3021	0.7324	-
0.9003	7950	0.3324	-	-	-
0.9060	8000	0.3356	-	-	-
0.9117	8050	0.3219	-	-	-
0.9173	8100	0.3285	-	-	-
0.9230	8150	0.3599	-	-	-
0.9287	8200	0.3239	-	-	-
0.9343	8250	0.3051	-	-	-
0.9400	8300	0.3467	-	-	-
0.9456	8350	0.3461	-	-	-
0.9513	8400	0.3199	-	-	-
0.9570	8450	0.342	-	-	-
0.9626	8500	0.337	-	-	-
0.9683	8550	0.3341	-	-	-
0.9740	8600	0.3562	-	-	-
0.9796	8650	0.3095	-	-	-
0.9853	8700	0.3509	-	-	-
0.9909	8750	0.342	-	-	-
0.9966	8800	0.3235	-	-	-
1.0	8830	-	0.2967	0.7417	-
-1	-1	-	-	0.7417	0.7604

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.14.3
Sentence Transformers: 5.2.0
Transformers: 4.57.3
PyTorch: 2.9.1+cu128
Accelerate: 1.12.0
Datasets: 4.4.2
Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}