thivy/splade-multilingual-norwegian-health-merged-v3

SPLADE multilingual fine-tuned on Norwegian health triplets (merged-v3)

This is a Asymmetric Inference-free SPLADE Sparse Encoder model finetuned from opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1 on the eti-embedding-training-data-2048-triplets-merged-v3 dataset using the sentence-transformers library. It maps sentences & paragraphs to a 105879-dimensional sparse vector space and can be used for semantic search and sparse retrieval.

Model Details

Model Description

• Model Type: Asymmetric Inference-free SPLADE Sparse Encoder
• Base model: opensearch-project/opensearch-neural-sparse-encoding-multilingual-v1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 105879 dimensions
• Similarity Function: Dot Product
• Training Dataset:
  • eti-embedding-training-data-2048-triplets-merged-v3
• Language: no
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Documentation: Sparse Encoder Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sparse Encoders on Hugging Face

Full Model Architecture

SparseEncoder(
  (0): Router(
    (sub_modules): ModuleDict(
      (query): Sequential(
        (0): SparseStaticEmbedding({'frozen': True}, dim=105879, tokenizer=BertTokenizerFast)
      )
      (document): Sequential(
        (0): MLMTransformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'BertForMaskedLM'})
        (1): SpladePooling({'pooling_strategy': 'max', 'activation_function': 'relu', 'word_embedding_dimension': 105879})
      )
    )
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SparseEncoder

# Download from the 🤗 Hub
model = SparseEncoder("thivy/splade-multilingual-norwegian-health-merged-v3")
# Run inference
queries = [
    "- Hvilke typer aktiviteter kan v\u00e6re nyttige for barn med VCFS for \u00e5 fremme utvikling?",
]
documents = [
    '# Tilrettelegging for læring\n\n##### **Kognitiv funksjon og læring**\n\nMange med VCFS har en ujevn kognitiv profil med vansker innen enkelte områder. De kan ha redusert evne til å tolke synsinntrykk og har ofte nonverbale lærevansker (NVL). NVL kan påvirke berørings- og synsoppfatning, rom-/retningssans og sansemotorisk integrasjon samt flere andre kognitive funksjoner som har stor betydning for mestring av nye eller uventede situasjoner. Konsentrasjons- og oppmerksomhetsvansker  og vansker med teoretisk og abstrakt tenkning kan i skolesammenheng gi økt behov for tilrettelegging. Problemer med planlegging, komme i gang med og utføre oppgaver, er ofte områder som krever oppfølging i barnehage og skole.\n\nTil tross for økt risiko for vansker på ulike områder, er det stor variasjon innen gruppen med personer med VCFS. Enkelte har ikke lærevansker og har ikke behov for tilrettelegging i barnehage og skole. Frambu kjenner til personer med VCFS med høyere utdanning.\n\n##### **Kommunikasjon og språk**\n\nVerbalspåket er ofte forsinket i tidlig barnealder, og det er vanlig med alternativ og supplerende kommunikasjon før verbalspråket viser en god utvikling. Ved skolestart kan barna vise relativt gode språklige ferdigheter i form av adekvat lydering og godt språklig minne. De kan følge en vanlig utvikling innen leseopplæringen. Etter hvert som kravene øker, vil mange kunne slite med innholdsforståelsen. Mange med VCFS har lite mimikk, og dette kan bidra til usikkerhet ved kommunikasjon.\n\n##### **Sosial og emosjonell utvikling**\n\nBarn og ungdommer med VCFS kan være mer utrygge i sosiale sammenhenger og kan ha behov for skjerming fra større grupper, deler av skolehverdagen. De kan være sårbare for sanseinntrykk og kan lett bli overstimulert i krevende miljøer. Enkelte kan vise tegn på mistrivsel og ha behov for å isolere seg.\n\nBarnehage og skole bør ha et tett samarbeid med foreldre for lettere å kunne avdekke mistrivsel og utrygghet. Barn og ungdom med VCFS er ofte avhengig av trygge voksenpersoner som kan være en støtte ved behov og som kan bidra til at de kan takle utfordringer i hverdagen.\n\n##### **Kartlegging**\n\nKartlegging av språk og kognitiv funksjon kan bidra til riktig forståelse av funksjonsnivå og behov for tilrettelegging. Symptomer som gir mistanke om ADHD/ADD eller autismespekterforstyrrelser bør følges opp med utredning og tiltak.\n\n*Faglig oppdatert 19.03.2020*',
    "For eksempel kan de ta kontakt med andre på en måte som kan oppfattes som klossete og upassende (5 ) . Fordi de er glade og positive, kan de let t få en maskotrolle i gruppa . Det er ikke heldig , da det kan innebære de blir møtt med for lave forventninger. Videre vil g ode rollemodeller være viktig, de har lett for å ta etter andres adferd\n\nSosiale ferdigheter må læres og trenes jevnlig hele livet. Hos førskolebarn og elever bør sosial trening være en del av kartlegging og opplæringsplan e n . Start tidlig med samværsregler som handler om hvem en hilser på og hvem en viser nærhet, når det passer og hvor ofte. Alle barn og voksne som er sammen med dem , må minnes på å holde samværsreglene. En må også sørge for at personen med W illiams' syndrom ikke føler seg avvist, men får dekket sine behov for nærhet og trygghet. Å lære om egen kropp, sette egne grenser og respektere andres bør stå på planen gjennom hele livet.\n\nOgså i sosiale medier kan de sosiale kodene være vanskelige å forstå. Av den grunn er det viktig å ha jevnlig f okus på og opplæring i bruk av sosiale medier. Som andre er de glade i likes og ønsker seg mange venner eller følgere, men har ofte dårligere forståelse av hvor grensene går og hva som ligger bak kommunikasjonen . De kan være ukritiske i forhold til hvem de kommer i kontakt med og hva de selv publiserer (6) . Les mer om sosiale medier og nett vett h os [Buf dir o](https://bufdir.no/Bibliotek/Dokumentside/?docId=BUF00003828) g [Redd Barna.](https://www.reddbarna.no/vaart-arbeid/barn-i-norge/nettvett?gclid=EAIaIQobChMIsKuOq5i46AIVBeAYCh0FaQ6cEAAYASAAEgKZ5vD_BwE)\n\n## **Musikk**\n\nPersoner med W illiams ' syndrom er ofte glade i sang og musikk. Det henger sannsynligvis sammen med godt utviklet auditiv persepsjon. De er samtidig ømfintlige for lyd og kan lett bli engstelige ved spesielle lyder (1). De kan likevel tåle ganske høye lyder om de selv er med på å lage dem. Det er fint å bruke musikk som motivasjonsfaktor.\n\n## **Fysisk aktivitet**\n\nBarn med W illiams ' syndrom er forsinket i sin motoriske utvikling, både grov- og finmotorisk. De er også sansemotorisk svake. De aller fleste har behov for oppfølging av fysioterapeut (2). Fysioterapeuten kan også veilede og gi råd til skolen.\n\nPersoner med W illiams' syndrom har behov for å være i daglig fysisk aktivitet. Noen er glad i aktivitet, men å være i en gymsal/idrettshall med mange høye , påtrengende lyder og mye aktivitet kan lett bli for mye. De kan lett bli overstimulert, engstelige og kan ha behov for skjerming. L es mer om motorisk utvikling og fysisk aktivitet under menypunktet om fysioterapi.\n\n## **Tilrettelegging for læring og utvikling**\n\nFor å skape tilstrekkelig trygghet for personer med W illiams ' syndrom er det helt nødvendig med faste rutiner, struktur og forutsigbarhet. Uforutsette endringer og brudd i rutinene kan skape engstelse og usikkerhet . D e er avhengig av faste og trygge voksenpersoner som hjelper dem med å organisere og strukturere dagen . Konsentrasjons- og oppmerksomhetsvansker gjør at de har behov for hjelp til å komme i gang og å holde fokus underveis . Både fysisk miljø og opplæringsmateriell bør være ryddig og oversiktlig, med så få forstyrrelser som mulig både visuelt og auditivt.\n\nS å mye som mulig av undervisningen bør skje gjennom praktiske oppgaver og i naturlige situasjoner. Kunnskap som ikke kan forankres i det praktiske kan lett bli borte.\n\nMange med W illiams' syndrom lærer mest effektivt ved å snakke seg gjennom arbeidsoppgavene eller hendelser. Dette gjelder alt fra matematikkoppgaver til praktiske kunst- og håndverksoppgaver eller til sosial læring. Det er studier som viser at personer med W illiams' syndrom profiterer på korte arbeidsøkter og hyppige pauser . Det har virket positivt med tanke på konsentrasjonsspenn , hukommelse og styrking av innlæring . For litt eldre barn kan det se ut som m odell - læring, det å få observere andre, fungerer godt (1) . Flere forholder seg godt til konsekvente og konkrete regler og avtaler .\n\nFor noen år siden var det vanlig å tenke at personer med Williams ' syndrom ikke kunne lære å lese og skrive, men Frambu til kjenner mange som har lært seg dette i ulik grad. Vansker med visuell persepsjon gjør det utfordrende å lære, huske og gjengi bokstaver og tall. H åndskrift kan være vanskelig og slits omt når en strever med finmotorikk . For de fleste bør derfor s krivetrening begrenses til et minimum. Bruk heller digitale hjelpemidler til skrivetrening. Videre vil tidlig systematisk stimulering av fonetisk bevissthet og vekt på fonetisk lesing anbefales framfor helordslesing. Fonetisk lesing tar i bruk auditive strategier, mens helordslesing handler om å gjenkjenne ordbilder visuelt (3).\n\nLes mer om utviklingshemming og tilrettelegging hos [STATPED](https://www.statped.no/utviklingshemming/) (Statlig spesialpedagogisk tjeneste).\n\n[L es mer på Frambus temasider om muligheter og rettigheter i utdanningen](https://frambu.no/tema/overgangen-til-skole-spesialpedagogiske-rettigheter-og-muligheter/)\n\n| Personer med Williams' syndrom er svært glad i  sosial kontakt, men strever ofte med sosial  forståelse. Øv på sosial kompetanse.   |\n|-------------------------------------------------------------------------------------------------------------------------------------|\n| Språk er en sterk side, men kan også føre til at  personen blir overvurdert.                                                        |\n| Det er ofte vanskelig å tolke visuelle inntrykk. Derfor er tid og mengde vanskelig.                                                 |\n| Oversikt og struktur er nødvendig for at personer med Williams' syndrom skal trives og lære.                                        |\n| Lag en dagsplan med hyppige pauser tilpasset  konsentrasjonsspenn og behov fot aktivitet.                                           |\n| Personer med Williams' syndrom lærer best gjennom praktiske oppgaver.                                                               |\n|                                                                                                                                     |\n\n*Denne artikkelen ble faglig oppdatert 29. april 2020*\n\n## \n\n### **Hvordan er det å leve med en sjelden diagnose?**\n\nVi har mye nyttig informasjon på temasidene våre. [Du kan lese dem her!](https://frambu.no/temaer) .",
    '# Skjema - Utlån av behandlingshjelpemidler\n\nFor å ta i bruk behandlingshjelpemidler og/eller forbruksmateriell må skjemaet «Utlån av behandlingshjelpemidler og utlevering av forbruksmateriell» fylles ut. Skjemaet skal signeres av lege ved helseforetaket, avtalespesialist tilknyttet helseforetaket eller andre helseforetaket har avtale med. Utstyret lånes ut til pasienten så lenge det foreligger et behandlingsbehov.\n\nPåse at felt for ICD-10 hoveddiagnose-kode og inntil 2 bi-diagnose-koder som begrunner behov for utlån av utstyr og forbruksmateriell er fylt ut sammen med begrunnelse for utstyrsvalg. Det skal også påføres om opplæring er gjennomført eller hvem dette er avtalt med.\n\nFerdig utfylt skjema sendes helseforetaket hvor pasienten har adresse i folkeregisteret, se [Landsoversikt](https://behandlingshjelpemidler.no/enhet/) .\n\n**NB!** De fleste helseforetak benytter elektroniske skjema som erstatter dette skjemaet.\n\n### Utlånsskjema\n\n[Nasjonalt\\_skjema-ver-202404031](https://behandlingshjelpemidler.no/wp-content/uploads/2024/04/Nasjonalt_skjema-ver-202404031.docx)',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 105879] [3, 105879]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[32.2851, 14.5990,  8.8281]])

Evaluation

Metrics

Sparse Information Retrieval

• Datasets: dev_ir and test_ir
• Evaluated with SparseInformationRetrievalEvaluator

Metric	dev_ir	test_ir
dot_accuracy@1	0.525	0.559
dot_accuracy@5	0.887	0.89
dot_accuracy@10	0.94	0.945
dot_precision@1	0.525	0.559
dot_precision@3	0.2683	0.2723
dot_precision@5	0.1774	0.178
dot_precision@10	0.094	0.0945
dot_recall@1	0.525	0.559
dot_recall@3	0.805	0.817
dot_recall@5	0.887	0.89
dot_recall@10	0.94	0.945
dot_ndcg@10	0.7417	0.7604
dot_mrr@10	0.6768	0.7001
dot_map@100	0.679	0.7027
query_active_dims	19.052	18.825
query_sparsity_ratio	0.9998	0.9998
corpus_active_dims	2980.5061	2953.7629
corpus_sparsity_ratio	0.9718	0.9721
avg_flops	11.0001	10.9013

Training Details

Training Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 565,173 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 5 tokens mean: 21.62 tokens max: 60 tokens	min: 30 tokens mean: 432.35 tokens max: 512 tokens	min: 26 tokens mean: 393.83 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  Kva gjer sjukehuset når krefttypen til barnet er så uvanleg at dei ikkje har ein ferdig behandlingsplan?	# 9.4. Sjeldne svulster I tillegg til de svulstene som her er omtalt, finnes det en rekke andre svulsttyper som forekommer svært sjelden. Dette gjelder dels svulsttyper som er mer eller mindre spesifikke for barnealder, dels mer «voksne» svulster. Felles for disse ekstremt sjeldne svulsttypene er at det ikke finnes spesifikke behandlingsprotokoller for barn, og man må som regel i hvert enkelt tilfelle skreddersy en behandling ut fra histologisk type, barnets alder og egne eller andres erfaringer med lignende svulsttyper. Les hele	# Pakkeforløp for kreft hos barn Barneonkologisk avdeling, i noen tilfeller nevrokirurgisk avdeling, er primært ansvarlig for kontrollopplegget, og kontrollene utføres i samarbeid med de lokale barneavdelinger. Ved mistanke om tilbakefall og undersøkelsene bekrefter dette, planlegger barneonkologen etter MDT- møte behandlingsopplegget. Beslutning om behandling tas i samråd med pasient/familie. # Informasjon og dialog med pasient/pårørende Den legen som ser pasienten ved kontrollundersøkelser har ansvar for at familien informeres om undersøkelsesresultater. Ofte deltar kontaktsykepleier i poliklinikken/ved dagposten i denne informasjonen. # Støttebehandling og sykepleie Sykepleier/koordinator bør ha selvstendige konsultasjoner eventuelt i form av spesielle poliklinikkonsultasjoner for å kartlegge pasientens behov for habilitering og familiens psykososiale situasjon. # Håndtering av tilbakefall Ved tilbakefall av kreftsykdom (lokalt eller regionalt residiv, eller fjernmetastaser)...
  rette opp ryggen til ungdom	# Skoliose hos ungdom - operasjon
  Ved operasjon avstivar vi dei aktuelle områda av ryggen.
  Dersom ryggskeivskapen blir stor, er det sannsynleg at han vil auke vidare etter at du er utvaksen.	Jeg har taushetsplikt. ##### Lege Martine Ødegård ##### Sexologisk rådgiver for barn og unge opp til 25 år Miriam (Mie) Englund Mobil 474 89 259 HFU har en sexologisk rådgiver som gir råd og veiledning om seksualitetet og seksuell helse for barn og unge med familier. Lurer du på noe knyttet til seksualitet, eller har du nen utfordringer eller problemer? Vi tilbyr: Samtaler på helsestasjon for ungdom. Samarbeid med andre fagpersoner ved behov. Aktuelle tema og råd for veiledning kan være: - Seksuell helse og utvikling - Endringer knyttet til seksuell lyst eller mangel på seksuell lyst - Samleiesmerter og andre smertetilstander i vulva/penis - Prestasjonsangst - Ereksjonssvikt - For tidlig sædavgang - Orgasmeutfordringer - Seksualitet og sykdom - Seksualitet og funksjonsvariasjon - Seksualitet etter seksuelle overgrep eller negative seksuelle opplevelser - Seksualitet og ulike tenningsmønster, fetisjer og fantasier - Seksualitet og identitet, kjønnsidentitet, kjønnsinkongr...
  Hva skjer dersom et utviklingsavvik oppdages under fosterdiagnostikk?	# Å stille ein sjeldan diagnose Mange opplever ein lang og krunglete veg før ein sjeldan diagnose blir stilt. Av og til kjem ikkje legen fram til ein endeleg diagnose. Sjeldne tilstandar kan vere vanskelege å diagnostisere, fordi ulike delar av kroppen din kan bli påverka. Samtidig kan stadig fleire sjeldne tilstandar diagnostiserast. Dette kjem av store framsteg innan medisinsk genetikk. Diagnoseprosessen krev eit tett samarbeid mellom personen som blir greidd ut, familien og helsetenesta. Diagnosen kan stillast på ulike stadium i livet. ## Å stille ein diagnose på fosterstadiet Fosterdiagnostikk kan gjere det mogleg å oppdage ein del sjeldne utviklingsavvik hos fosteret. Dersom avviket må behandlast, er det i nokre tilfelle mogleg å behandle fosteret medan det endå er i mors mage. Nokre svært alvorlege tilstandar kan gjere at fosteret ikkje overlever. Det kan føre til svangerskapsavbrot (abort). [Om legen mistenker eller har fun...	## Hvordan skille et andrespråk i utvikling fra språkforstyrrelser? Hvorfor opplever vi at noen barn og unge med flerspråklig bakgrunn har så usikre språkferdigheter at det kan forveksles med DLD? Det kan være vanskelig å identifisere flerspråklige barn og unge med lærevansker - spesielt vansker med språk og lesing. Flerspråklige barn og unge utvikler språk på samme måte som enspråklige, og det å eksponeres for flere språk er ikke et hinder for å utvikle gode språkferdigheter. Det antas at det er samme prosentandel flerspråklige som enspråklige barn og unge som har ulike typer lærevansker. Det er allikevel overidentifisering, når det gjelder flerspråklige elever med mulige spesialpedagogiske behov. ## Et andrespråk i utvikling kan ligne DLD Det er spesielt komplisert å skille mellom flerspråklige barn som er tidlig i sin norskspråklige utvikling og flerspråklige barn med DLD. I begge tilfeller vil språkferdighetene på norsk kjennetegnes av: - svakt ordforråd - usikre bøyningsform...

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
      "document_regularizer_weight": 3e-05,
      "query_regularizer_weight": 5e-05
  }
  

Evaluation Dataset

eti-embedding-training-data-2048-triplets-merged-v3

• Dataset: eti-embedding-training-data-2048-triplets-merged-v3 at a4f297d
• Size: 500 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 500 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 6 tokens mean: 22.07 tokens max: 61 tokens	min: 50 tokens mean: 440.21 tokens max: 512 tokens	min: 27 tokens mean: 394.4 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  koble ting sammen for bedre lyd	](#hva) ### Hva er hjelpemiddelet? Alle høreapparatmodeller har tilbehør som kan benyttes i ulike lyttesituasjoner. Tilbehør til høreapparat er fjernkontroller eller mellomledd som du trenger for å koble høreapparatet ditt til andre lydkilder eller hjelpemidler. Dette kan være eksterne mikrofoner som kobles til høreapparatet ditt for at du skal høre tale bedre. Det kan også være tilbehør for å koble TV eller radio direkte til høreapparatet. Lyttehjelpemidler til TV og radio Hjelpemiddel Du kan få egen fjernkontroll som tilbehør hvis du trenger det, for eksempel hvis du har redusert finmotorikk. Et tilbehør kan være en telefonstreamer, som kobler mobiltelefonen til høreapparatet. Samtidig har mange nyere høreapparater løsninger for blåtann (bluetooth). Disse kan koble høreapparatet direkte til mobiltelefon, nettbrett eller datamaskin uten bruk av et tilbehør. Lyttehjelpemidler for telefon Hjelpemi...	Fra åpen dør til å stange hodet i veggen. Foreldres erfaringer med skole-hjem-samarbeid når barna og de unge har en sjelden diagnose. 2017(3). (Enkeltsstudie). 28. Utdanningsdirektoratet. 2024. Samarbeid mellom hjem og skole . (Offentlig nettside). 29. Lov om grunnskoleopplæringa og den vidaregåande opplæringa (opplæringslova), (2023). (Offentlig nettside). 30. Velferdsetaten NAV. 2019. [Rundskriv til Folketrygdloven kap. 10: Stønad for å kompensere for utgifter til bedring av arbeidsevnen og funksjonsevnen i dagliglivet. § 10-8 Forholdet til ytelser etter annen lovgivning](https://www.pvv.ntnu.no/~thomassk/jus/trygderett/ru...
  Hvor lang tid tar det for Nav å behandle en klage til Nav-enhet?	Du må ha sendt en søknad som er blitt behandlet for å kunne klage. Du kan ikke klage på muntlig avslag. #### Klage på vedtak I vedtaket står det hvordan du går fram hvis du skal klage, hvem du skal klage til og klagefrist. Hvis du har spørsmål om vedtaket, kan du kontakte oss . Send klage Ettersend dokumentasjon #### Anke vedtak Hvis du er uenig i svaret på klagen din fra Nav klageinstans, kan du med noen unntak anke vedtaket. Fristen for å anke står i vedtaket. Send anke Ettersend dokumentasjon Du kan også bruke advokat eller gi fullmakt til en person som klager på dine vegne. Klagerettigheter Slik gjør du det Saksbehandlingstid...	Leveringstid for hjelpemiddelet kommer i tillegg til saksbehandlingstiden. | Saken gjelder | Forventet saksbehandlingstid | |---------------------------------------|--------------------------------| | Søknad om hjelpemiddel til dagligliv | 17 dager | | Søknad om hjelpemiddel til arbeidsliv | 21 dager | ### Personvern og automatisk saksbehandling For å kunne vurdere barnets rett til støtte til briller, må Nav behandle noen personopplysninger om barnet. Slik behandler Nav personopplysningene Vi behandler personopplysninger om - fødselsnummer - navn - alder - bostedsadresse - brillestyrke - tidligere støtte til briller Fra optiker får Nav informasjon om barnets fødselsnummer og brillestyrke. Dette trenger vi for å validere navn, alder og om barnet er bosatt på en folkeregistrert adresse. Basert på brillestyrken, regner vi ut hvor mye støtte barnet har rett på. Vi sjekker også at barnet ikke allere...
  Vi har en gutt på 8 år med stor tannbehandlingsangst og flere hull som må fikses, når kan tannbehandling i narkose vurderes og hva må vi ha med i samtykke og info?	Generell veileder i pediatri kapittel 13.5 og 13.6 (helsebiblioteket.no) .
  Sedasjon kan bidra til at barn og unge som ikke mestrer tannbehandling med smertelindring, får mindre psykisk belastning og derav motvirke utvikling av tannbehandlingsangst med påfølgende ressurskrevende tiltak.
  Midazolam er førstevalg fordi virkestoffet har rask innsettende effekt og kortere halveringstid enn diazepam, jf. Tannbehandlingsangst (legemiddelhandboka.no) . En systematisk oversikt viser at bruk av oral midazolam fører til en mer samarbeidsvillig pasient enn placebo, og det ble rapportert få bivirkninger (Ashley et al., 2018). En retningslinje fra NICE 2010, og som ble gjennomgåt...	Det er behov for at fylkeskommunen utarbeider planer med en gradvis økning av personell. Kartleggingsverktøyet NOT-S kan lastes ned gratis, men personell som skal benytte dette må lære seg verktøyet. Det at tannhelsepersonell begynner å bruke dette verktøyet er tonet ned i anbefalingen. # Tannhelsepersonell skal ved behov samarbeide tverrfaglig om utredning, behandling og oppfølging av barn og unge ## Begrunnelse ### Forskningsgrunnlag ##### PICO ##### Beskrivelse av inkluderte studier Populasjon (P) Barn og ungdom med habilteringsbehov Tiltak (I) Vurdering av oral motorikk og funksjon for hvert barn Sammenligning (C) Ingen vurdering av oral motorikk og funksjon Forskningsgrunnlaget er basert på 2 systematiske oversikter og 12 primærstudier fra søk utført av biblioteket i Helsedirektoratet. #### Oral helse En systematisk oversikt så på oral helse hos personer innlagt på intensivavdeling på sykehus (Terezakis et al., 2011). Fem studier ble inkludert, hvorav en studi...

• Loss: SpladeLoss with these parameters:

  {
      "loss": "SparseMultipleNegativesRankingLoss(scale=1.0, similarity_fct='dot_score', gather_across_devices=False)",
      "document_regularizer_weight": 3e-05,
      "query_regularizer_weight": 5e-05
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• weight_decay: 0.01
• num_train_epochs: 1.0
• warmup_ratio: 0.1
• bf16: True
• dataloader_num_workers: 4
• load_best_model_at_end: True
• ddp_find_unused_parameters: False
• batch_sampler: no_duplicates
• router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 1.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: True
• dataloader_num_workers: 4
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: False
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {'anchor': 'query', 'positive': 'document', 'negative': 'document'}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss	Validation Loss	dev_ir_dot_ndcg@10	test_ir_dot_ndcg@10
-1	-1	-	-	0.4908	-
0.0001	1	2.8535	-	-	-
0.0057	50	1.8611	-	-	-
0.0113	100	1.5624	-	-	-
0.0170	150	1.2044	-	-	-
0.0227	200	1.1151	-	-	-
0.0283	250	1.1168	-	-	-
0.0340	300	1.0335	-	-	-
0.0396	350	1.0167	-	-	-
0.0453	400	1.0117	-	-	-
0.0510	450	0.9121	-	-	-
0.0566	500	0.8883	-	-	-
0.0623	550	0.9276	-	-	-
0.0680	600	0.8744	-	-	-
0.0736	650	0.8781	-	-	-
0.0793	700	0.8585	-	-	-
0.0849	750	0.8068	-	-	-
0.0906	800	0.8329	-	-	-
0.0963	850	0.8196	-	-	-
0.1	883	-	0.7323	0.6322	-
0.1019	900	0.7792	-	-	-
0.1076	950	0.7313	-	-	-
0.1133	1000	0.7721	-	-	-
0.1189	1050	0.8113	-	-	-
0.1246	1100	0.6899	-	-	-
0.1302	1150	0.7229	-	-	-
0.1359	1200	0.7072	-	-	-
0.1416	1250	0.705	-	-	-
0.1472	1300	0.6553	-	-	-
0.1529	1350	0.6966	-	-	-
0.1586	1400	0.6756	-	-	-
0.1642	1450	0.6773	-	-	-
0.1699	1500	0.6391	-	-	-
0.1755	1550	0.6525	-	-	-
0.1812	1600	0.631	-	-	-
0.1869	1650	0.6282	-	-	-
0.1925	1700	0.6256	-	-	-
0.1982	1750	0.623	-	-	-
0.2	1766	-	0.5727	0.6767	-
0.2039	1800	0.6091	-	-	-
0.2095	1850	0.6173	-	-	-
0.2152	1900	0.6013	-	-	-
0.2208	1950	0.5893	-	-	-
0.2265	2000	0.5996	-	-	-
0.2322	2050	0.5822	-	-	-
0.2378	2100	0.5903	-	-	-
0.2435	2150	0.5523	-	-	-
0.2492	2200	0.5332	-	-	-
0.2548	2250	0.6167	-	-	-
0.2605	2300	0.5374	-	-	-
0.2661	2350	0.5359	-	-	-
0.2718	2400	0.5671	-	-	-
0.2775	2450	0.5471	-	-	-
0.2831	2500	0.5674	-	-	-
0.2888	2550	0.5316	-	-	-
0.2945	2600	0.5354	-	-	-
0.3	2649	-	0.4851	0.6846	-
0.3001	2650	0.5231	-	-	-
0.3058	2700	0.5088	-	-	-
0.3114	2750	0.5437	-	-	-
0.3171	2800	0.4926	-	-	-
0.3228	2850	0.546	-	-	-
0.3284	2900	0.5026	-	-	-
0.3341	2950	0.522	-	-	-
0.3398	3000	0.4814	-	-	-
0.3454	3050	0.4744	-	-	-
0.3511	3100	0.4486	-	-	-
0.3567	3150	0.5311	-	-	-
0.3624	3200	0.4877	-	-	-
0.3681	3250	0.4779	-	-	-
0.3737	3300	0.4514	-	-	-
0.3794	3350	0.4602	-	-	-
0.3851	3400	0.4805	-	-	-
0.3907	3450	0.4727	-	-	-
0.3964	3500	0.4654	-	-	-
0.4	3532	-	0.4489	0.6974	-
0.4020	3550	0.5019	-	-	-
0.4077	3600	0.4648	-	-	-
0.4134	3650	0.4861	-	-	-
0.4190	3700	0.4561	-	-	-
0.4247	3750	0.4684	-	-	-
0.4304	3800	0.4837	-	-	-
0.4360	3850	0.47	-	-	-
0.4417	3900	0.4549	-	-	-
0.4473	3950	0.4472	-	-	-
0.4530	4000	0.4337	-	-	-
0.4587	4050	0.4291	-	-	-
0.4643	4100	0.4484	-	-	-
0.4700	4150	0.4316	-	-	-
0.4757	4200	0.4183	-	-	-
0.4813	4250	0.4648	-	-	-
0.4870	4300	0.4187	-	-	-
0.4926	4350	0.413	-	-	-
0.4983	4400	0.4048	-	-	-
0.5	4415	-	0.3818	0.7165	-
0.5040	4450	0.4282	-	-	-
0.5096	4500	0.4274	-	-	-
0.5153	4550	0.4248	-	-	-
0.5210	4600	0.4044	-	-	-
0.5266	4650	0.4285	-	-	-
0.5323	4700	0.4612	-	-	-
0.5379	4750	0.4407	-	-	-
0.5436	4800	0.4106	-	-	-
0.5493	4850	0.4123	-	-	-
0.5549	4900	0.4073	-	-	-
0.5606	4950	0.4057	-	-	-
0.5663	5000	0.426	-	-	-
0.5719	5050	0.386	-	-	-
0.5776	5100	0.3908	-	-	-
0.5832	5150	0.3871	-	-	-
0.5889	5200	0.3998	-	-	-
0.5946	5250	0.3786	-	-	-
0.6	5298	-	0.3497	0.7248	-
0.6002	5300	0.3731	-	-	-
0.6059	5350	0.4316	-	-	-
0.6116	5400	0.4254	-	-	-
0.6172	5450	0.4093	-	-	-
0.6229	5500	0.3797	-	-	-
0.6285	5550	0.3713	-	-	-
0.6342	5600	0.3881	-	-	-
0.6399	5650	0.386	-	-	-
0.6455	5700	0.4065	-	-	-
0.6512	5750	0.3647	-	-	-
0.6569	5800	0.3914	-	-	-
0.6625	5850	0.3991	-	-	-
0.6682	5900	0.3549	-	-	-
0.6738	5950	0.3859	-	-	-
0.6795	6000	0.3478	-	-	-
0.6852	6050	0.3658	-	-	-
0.6908	6100	0.3526	-	-	-
0.6965	6150	0.3827	-	-	-
0.7	6181	-	0.3434	0.7302	-
0.7022	6200	0.3691	-	-	-
0.7078	6250	0.3757	-	-	-
0.7135	6300	0.3555	-	-	-
0.7191	6350	0.3481	-	-	-
0.7248	6400	0.3437	-	-	-
0.7305	6450	0.3718	-	-	-
0.7361	6500	0.3847	-	-	-
0.7418	6550	0.349	-	-	-
0.7475	6600	0.3797	-	-	-
0.7531	6650	0.3572	-	-	-
0.7588	6700	0.3807	-	-	-
0.7644	6750	0.3405	-	-	-
0.7701	6800	0.3579	-	-	-
0.7758	6850	0.3506	-	-	-
0.7814	6900	0.3467	-	-	-
0.7871	6950	0.3896	-	-	-
0.7928	7000	0.3286	-	-	-
0.7984	7050	0.3821	-	-	-
0.8	7064	-	0.3268	0.7346	-
0.8041	7100	0.3665	-	-	-
0.8097	7150	0.336	-	-	-
0.8154	7200	0.3841	-	-	-
0.8211	7250	0.3408	-	-	-
0.8267	7300	0.3613	-	-	-
0.8324	7350	0.3621	-	-	-
0.8381	7400	0.3255	-	-	-
0.8437	7450	0.3565	-	-	-
0.8494	7500	0.3402	-	-	-
0.8550	7550	0.3265	-	-	-
0.8607	7600	0.361	-	-	-
0.8664	7650	0.379	-	-	-
0.8720	7700	0.3636	-	-	-
0.8777	7750	0.3337	-	-	-
0.8834	7800	0.3177	-	-	-
0.8890	7850	0.3172	-	-	-
0.8947	7900	0.3215	-	-	-
0.9	7947	-	0.3021	0.7324	-
0.9003	7950	0.3324	-	-	-
0.9060	8000	0.3356	-	-	-
0.9117	8050	0.3219	-	-	-
0.9173	8100	0.3285	-	-	-
0.9230	8150	0.3599	-	-	-
0.9287	8200	0.3239	-	-	-
0.9343	8250	0.3051	-	-	-
0.9400	8300	0.3467	-	-	-
0.9456	8350	0.3461	-	-	-
0.9513	8400	0.3199	-	-	-
0.9570	8450	0.342	-	-	-
0.9626	8500	0.337	-	-	-
0.9683	8550	0.3341	-	-	-
0.9740	8600	0.3562	-	-	-
0.9796	8650	0.3095	-	-	-
0.9853	8700	0.3509	-	-	-
0.9909	8750	0.342	-	-	-
0.9966	8800	0.3235	-	-	-
1.0	8830	-	0.2967	0.7417	-
-1	-1	-	-	0.7417	0.7604

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.14.3
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.1+cu128
• Accelerate: 1.12.0
• Datasets: 4.4.2
• Tokenizers: 0.22.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

SpladeLoss

@misc{formal2022distillationhardnegativesampling,
      title={From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective},
      author={Thibault Formal and Carlos Lassance and Benjamin Piwowarski and Stéphane Clinchant},
      year={2022},
      eprint={2205.04733},
      archivePrefix={arXiv},
      primaryClass={cs.IR},
      url={https://arxiv.org/abs/2205.04733},
}

SparseMultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

FlopsLoss

@article{paria2020minimizing,
    title={Minimizing flops to learn efficient sparse representations},
    author={Paria, Biswajit and Yeh, Chih-Kuan and Yen, Ian EH and Xu, Ning and Ravikumar, Pradeep and P{'o}czos, Barnab{'a}s},
    journal={arXiv preprint arXiv:2004.05665},
    year={2020}
}