NbAiLab/borealis-embed-212m

Borealis Embed 212M

Model Summary

NbAiLab/borealis-embed-212m is a 212M parameter sentence-transformers embedding model (98M embedding parameters) based on an adapted Gemma3Text architecture. The model is pretrained from scratch on the open subset of our Aurora 2604 data and fine-tuned as a sentence transformer with mean pooling on subsets from NbAiLab/mnli-norwegian, DDSC/nordic-embedding-training-data, sentence-transformers/parallel-sentences-opus-100, lightonai/embeddings-pre-training, and internal newspaper articles. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval. With a longer max sequence length than its predecessors (nb-sbert and nb-sbert-v2), the model can handle chunks of text up to 8192 tokens long.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 8192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text
• Training Datasets:
  • NbAiLab/mnli-norwegian
  • A subset of retrieval triplets from DDSC/nordic-embedding-training-data
  • Norwegian to English pairs from sentence-transformers/parallel-sentences-opus-100
  • Norwegian Wikipedia articles from lightonai/embeddings-pre-training
  • An internal dataset created from Norwegian newspapers.
    The Norwegian government has entered into an agreement, through the National Library of Norway, to access copyrighted press material via Kopinor on behalf of the Norwegian Media Businesses' Association (MBL), enabling the lawful training, development, maintenance, and public release of Norwegian language models. The agreement covers copyright-protected press publications published in Norway up to one year from the date of publication of the model, effectively creating a rolling cutoff date rather than a fixed historical cutoff. For this release, the cutoff date is January 1, 2025.
• Language: Norwegian Bokmål, Norwegian Nynorsk, Swedish, Danish, English
• License: NB-license

EU AI Act

This release is a non-generative encoder model whose outputs are vectors/scores rather than language or media. Its intended functionality is limited to representation, retrieval, ranking, or classification support. On that basis, the release is preliminarily assessed as not falling within the provider obligations for GPAI models under the EU AI Act definitions, subject to legal confirmation if capability scope or marketed generality changes. For more information, see the Model Documentation Form.

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'AustralisModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("NbAiLab/borealis-embed-212M")
# Run inference
queries = [
    '- Who is he?',
]
documents = [
    '- Hvem er han?',
    'Banning.',
    'Nei, det har hun ikke.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.7765, 0.2560, 0.2525]])

Evaluation

We evaluated this model on two benchmarks: the Scandinavian Embedding Benchmark (SEB) and the Long-context Retrieval Benchmark (LongEmbed) from MTEB.

During pretraining, max sequence length of the model was extended to 8192 tokens. However, during the fine-tuning process, the model is trained with a sequence length 2048. The evaluation results on LongEmbed show that the model has retained the length extension from pretraining and confirms that the model can support up to 8192 tokens.

Metrics

MTEB (Scandinavian)

"Scandinavian text embedding quality covering Danish, Swedish, Norwegian Bokmål, and Nynorsk and spanning classification, clustering, retrieval as well as bitext tasks across dialects or written forms."

Task	nb-sbert-v2-base	nb-sbert-v2-large	borealis-embed-212M
Mean (Task)	0.5496	0.5638	0.5891
Mean (TaskType)	0.5690	0.5770	0.6037
Bitext Mining	0.7275	0.7196	0.7397
Classification	0.5841	0.6048	0.6143
Clustering	0.4105	0.4005	0.3946
Retrieval	0.5540	0.5832	0.6661

Long-context Retrieval

"Long-context retrieval quality across synthetic and real-world tasks featuring documents of varying length with dispersed target information."

Task	nb-sbert-v2-base	borealis-embed-212M
LEMBNarrativeQARetrieval	0.1135	0.2549
LEMBNeedleRetrieval	0.2467	0.7833
LEMBPasskeyRetrieval	0.1367	0.9867
LEMBQMSumRetrieval	0.1620	0.3901
LEMBSummScreenFDRetrieval	0.4932	0.9127
LEMBWikimQARetrieval	0.3029	0.6235

NOTE: The scores for LEMBNeedleRetrieval and LEMBPasskeyRetrieval are given as the average ndcg@1 for sequence lengths 256, 512, 1024, 2048, 4096, and 8192.

Training Details

For specific details about the training process, see the Training Process section of the Model Documentation Form.

Training Datasets

NbAiLab/mnli-norwegian

NbAiLab/mnli-norwegian

• Dataset: NbAiLab/mnli-norwegian
• Size: 527,098 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 6 tokens mean: 18.64 tokens max: 53 tokens	min: 6 tokens mean: 18.74 tokens max: 53 tokens	min: 7 tokens mean: 12.88 tokens max: 30 tokens

• Samples:

  anchor	positive	negative
  Det som følger er mindre en glid nedover en glatt skråning enn et profesjonelt skred som resulterer i enten en oppsigelse eller en smal flukt til neste drømmejobb, der, selvfølgelig, syklusen gjentas igjen.	Syklusen gjentar seg ved neste jobb.	Syklusen gjentar seg sjelden ved neste jobb.
  Syklusen gjentar seg ved neste jobb.	Det som følger er mindre en glid nedover en glatt skråning enn et profesjonelt skred som resulterer i enten en oppsigelse eller en smal flukt til neste drømmejobb, der, selvfølgelig, syklusen gjentas igjen.	Syklusen gjentar seg sjelden ved neste jobb.
  The public areas are spectacular, the rooms a bit less so, but a long-awaited renovation was carried out in 1998.	The rooms are nice, but the public area is in a league of it's own.	The public area was fine, but the rooms were really something else.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 128,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

DDSC/nordic-embedding-training-data

Retrieval Documents for Norwegian Bokmål

• Dataset: ddsc-retrieval-nob
• Size: 40,151 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokens mean: 19.24 tokens max: 60 tokens	min: 47 tokens mean: 157.63 tokens max: 305 tokens	min: 42 tokens mean: 93.32 tokens max: 165 tokens

• Samples:

  anchor	positive	negative
  Hvordan påvirket den industrielle revolusjon i Storbritannia utdanningssystemene og sosiale strukturer for kvinner på landsbygda?	Den industrielle revolusjon i Storbritannia, som skjøt fart på midten av 1700-tallet, hadde en dyptgribende innvirkning på alle sider av samfunnet, inkludert kvinner på landsbygda. Mens industrialiseringa forårsaket en massivit migrasjon til byene, ble kvinner på landsbygda ofte stående igjen som de som holdt driften i gang. De fortsatte med tradisjonelle oppgaver som landbruk og husarbeid, men industrialiseringen førte også til nye muligheter. Noen kvinner fant arbeid i nye næringer knyttet til tekstilproduksjon og husnæringer som ble introdusert i landsbygdsområder. Denne økonomiske aktiviteten ga noen kvinner økt selvstendighet og innflytelse innenfor familiene, men samtidig forsterket tradisjonelle kjønnsroller i mange tilfeller. Den økende behovet for utdanning for å håndtere nye teknologier og markedsforhold, kombinert med reformer i opplysningstiden, førte til en utvidelse av utdanningsmuligheter for noen jenter, men tilgangen var fortsatt begrenset, og mange jenter forble uten ...	Den industrielle revolusjonen førte til en dramatisk befolkningsvekst i britiske byer. Nye fabrikker og arbeidsplasser trakk folk fra landsbygda, og dette førte til en rekke sosial og økonomiske endringer. Bostedene ble tettere, sanitæresituasjonen ble verre, og fattigdom og kriminalitet økte. Samtidig førte industrialiseringen til nye teknologier og produsert nye varer til lavere priser.
  Sampling og opphavsrett innen elektronisk musikk	Opphavsretten i musikken er et komplekst tema som blir stadig mer aktuelt i den digitale tidsalderen. Spesielt gjelder dette for elektronisk musikk, en sjanger som ofte bygger på sampling, altså bruken av fragmenter fra eksisterende innspillinger. Lovpålagte begrensninger for bruk av copyrightbeskyttet materiale setter klare rammer for musikere og produsenter som ønsker å integrere samplede elementer i sine egne verk. For å kunne bruke samplede elementer lovlig, må man innhente tillatelse fra innehaveren av opphavsretten til det originale materialet. Dette kan innebære kontakt med plateselskaper, forlag eller direkte med originalartistene. I tilfeller der opphavsretten er uklar, kan det være aktuelt å søke veiledning fra organisasjoner som TONO eller NOPA. Det er viktig å merke seg at simpelthen å gi kreditt til den originale artisten eller å endre sampelen lett ikke er tilstrekkelig for å unngå brudd på opphavsretten. Bruk av copyrightbeskyttet materiale uten tillatelse kan føre til...	Elektronisk musikk har blitt en dominerende kraft i musikkindustrien, og har påvirket mange musikksjangere. Teknologiske fremskritt har gjort det mulig å skape komplekse og innovative lydlandskap. Synthersizere, samplerer og digitale lyd Workstationer gir musikere et bredt spekter av valgmuligheter for å komponere og produsere musikk. Digital distribusjon har åpnet opp nye markeder for elektronisk musikk, og gjort musikken tilgjengelig for et globalt publikum. Streamingtjenester og digitale butikker tillater musikere å nå ut til lyttere over hele verden. Elektronisk musikk har også inspirert nye danseformer og kulturelle uttrykk, og har blitt en integrert del av nattklubbkulturen og festivaler jorden rundt.
  Kulturell innflytelse	Den industrielle revolusjonens innvirkning på norsk kultur var omfattende. Urbaniseringen førte til nye sosiale strukturer, og arbeiderklassen vokste frem som en ny kulturell kraft. Litteraturen og kunsten reflekterte dette skiftet, med forfattere som Henrik Ibsen og malere som Edvard Munch som snakket til og om den moderne verden. Samtidig oppsto nye former for underholdning, som teater og kino, som bredte seg raskt i byene. Folkemusikk og folketradisjoner ble påvirket av industrialiseringen, noe som førte til både bevaring og fornyelse. Den massive befolkningsveksten i byene resulterte også i nye behov for utdanning og helsevesen, noe som igjen styrket det offentlige engasjementet og den moderne velferdsstaten.	Industrialiseringen førte til dramatiske endringer i den norske økonomien på 1800-tallet. Utviklingen av nye teknologier og industribedrifter bidro til en økt produksjon og handel. Dette førte til økonomisk vekst, men også til sosiale ulikheter og arbeidsmigration til byene.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Retrieval Documents for Danish

• Dataset: ddsc-retrieval-dan
• Size: 77,643 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokens mean: 20.74 tokens max: 57 tokens	min: 58 tokens mean: 166.14 tokens max: 321 tokens	min: 27 tokens mean: 93.33 tokens max: 168 tokens

• Samples:

  anchor	positive	negative
  Problem med lyd	Fejlfinding af lydproblemer kan være frustrerende, men der er ofte en simpel løsning. Først og fremmest skal du kontrollere, om lyden er slået til på både din computer og dine eksterne højttalere eller hovedtelefoner. Sørg for, at lydstyrken er indstillet til et passende niveau på begge enheder. Hvis problemet fortsætter, kan du prøve at opdatere lydkørerne til din computer. Udfør en grundig kontrol af alle kabelforbindelser for at sikre, at de er sikre og fri for skader. I tilfælde af problemer med interne højttalere, kan det være nødvendigt at genstarte computeren eller udføre en systemgennemgang for at identificere eventuelle fejl. Vær opmærksom på eventuelle fejlmeddelelser eller advarsler, som kan give yderligere oplysninger om årsagen til lydproblemet.	Sørg for, at din internetforbindelse er stabil og funktionel, da dette er afgørende for den generelle computeroplevelse. En ustabil forbindelse kan resultere i forsinkelser, afbrydelser og problemer med streaming af indhold. Kontrollér også, om andre enheder på dit netværk har forbindelse til internettet for at udelukke netværksproblemer.
  Softwareudvikler København AI-drevet	Vi søger en erfaren softwareudvikler til vores team i København. Du vil arbejde med at udvikle innovative AI-drevet softwareløsninger til sundhedsvæsenet. Du skal have solid erfaring med Python og machine learning-algoritmer. Vi tilbyder et dynamisk miljø med mulighed for at arbejde med spændende projekter.	Vores virksomhed er på udkig efter en dygtig dataanalytiker til vores kontor i Aarhus. Vi arbejder med at analysere store datasæt og identificere trends. Du skal have en kandidatuddannelse i matematik eller statistik.
  Havets syredisering og koralrevets fremtid	Oceanens syredisering er en alvorlig trussel mod koralrev verden over. Den stigende koncentration af kuldioxid i atmosfæren, som følge af menneskelig aktivitet, absorberes af havene. Herved sænkes havvandets pH-værdi, hvilket gør vandet mere surt. Dette kan have en række skadelige virkninger på marine organismer, herunder koraller. Syre havvand hindrer korallers evne til at danne deres kalkskeletter, hvilket gør dem svagere og mere modtagelige over for skader. Desuden kan syre havvand forårsage coral bleaching, hvor koraller mister deres symbiotiske alger og bliver hvide. Coral bleaching kan være fatal for korallerne, især hvis det sker hyppigt eller i længere perioder. Forskellige studier har vist, at koralrev i hele verden allerede er berørt af oceanens syredisering, og det forventes, at situationen vil forværres i fremtiden, hvis globale kuldioxidemissioner ikke reduceres. For at bevare koralrev er det afgørende at tackle klimaforandringerne ved at reducere drivhusgassernes emissi...	Den globale opvarmning har alvorlige konsekvenser for marine økosystemer. Stigende vandtemperaturer kan føre til massedød af fisk og andre marine organismer. Havets stigende stand truer kystbebyggelse og infrastruktur. Desuden kan oceanens syredisering have skadelige virkninger på skaldyr og andre kalkdannende organismer. For at mindske disse effekter er det vigtigt at reducere vores CO2-udslip og implementere bæredygtige fiskeri praksisser.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Retrieval Documents for Swedish

• Dataset: ddsc-retrieval-swe
• Size: 40,354 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 100 samples:

  	anchor	positive	negative
  type	string	string	string
  modality	text	text	text
  details	min: 4 tokens mean: 22.29 tokens max: 110 tokens	min: 40 tokens mean: 181.44 tokens max: 357 tokens	min: 33 tokens mean: 103.82 tokens max: 186 tokens

• Samples:

  anchor	positive	negative
  Hur fungerar mekanismen bakom perkutan koronar intervention vid behandling av ateroskleros i kranskärlen?	Koronararterien är en vital del av det kardiovaskulära systemet, ansvarig för att leverera syrefattigt blod till hjärtmuskeln. När koronararterierna skadas eller förträngs genom en process som kallas ateroskleros, kan det leda till kranskärlssjukdom. Perkutan koronar intervention (PCI) är en etablerad behandling för ateroskleros i kranskärlen. PCI är en minimalt invasiv procedur som innebär att en tunn kateter införs i en blodåder i armen eller benet och sedan leds genom blodkärlen till det drabbade området i hjärtat. Katetern för in en liten ballong som uppblåses för att komprimera placket och utvidga det förträngda blodkärlet. I många fall implanteras också en liten metall stent i blodkärlet för att hålla det öppet och förhindra återförträngning. Dessutom kan läkemedel som heparin och aspirin ges för att förhindra blodproppar. PCI är en effektiv behandling som har visat sig förbättra flödet i koronararterierna och minska symptomen på kranskärlssjukdom.	Ateroskleros är en komplex sjukdom som utvecklas gradvis över tid. Den uppstår när plack, bestående av fett, kolesterol, kalcium och andra ämnen, byggs upp på insidan av artärerna. Denna uppbyggnad kan leda till en försmökning av artärerna och begränsa blodflödet till hjärtat. Det finns olika faktorer som kan bidra till utvecklingen av ateroskleros, inklusive högt kolesterol, högt blodtryck, rökning, diabetes och en stillasittande livsstil. Livsstilsförändringar, såsom att äta en hälsosam kost, motionera regelbundet och sluta röka, kan bidra till att förhindra eller sakta ner utvecklingen av ateroskleros. I några fall kan läkemedel behövas för att kontrollera riskfaktorer och minska risken för hjärt-kärlsjukdomar.
  Finns det berättelser om kvinnor som bryter barriärer och kämpar mot orättvisor i samhällen dominerade av män?	I den ödelagda världen efter Ödslingen hade Astrid byggt upp ett eget imperium. Hon behärskade järnet, fästlade allianser med stammars hövdingar och utmanade patriarkatets strikta lagar. Den första kvinnliga krigsherren i över ett sekel. Hennes namn susade som vinden över ökenfälten, lika mycket fruktanväckande som förhoppningsfullt. Hon hade utrottat den despotiska tyrannen Karg och ristat in sin rättvisa på det stenhjärtat som han lämnat efter sig. Men hennes segertåg hade bara börjat. Astrid visste att det krävdes mer än styrka för att bygga en ny värld. Hon behövde visdom, diplomati och en järnvilja för att bekämpa fördomar och skapa ett samhälle där alla hade möjlighet att blomstra.	Linnea sträckte ut handen mot det glimmrande kristallklara vattnet. Hon hade alltid älskat havet, dess mystik och det vilda frihet det gav. Hon drömde om att utforska dess djup, att segla till avlägsna öar och möta nya kulturer. Men hennes far, en mäktig handelsman, hade andra planer för henne. Han ville att hon skulle gifta sig med en rik köpmän och säkra familjens framtid. Linnea kände sig fångad, hennes drömmar kvävda av förväntningarna.
  Vilka var de viktigaste ekonomiska och sociala konsekvenserna av användningen av mekaniska vävstolar under den industriella revolutionen i Storbritannien?	Den industriella revolutionen, som tog fart i Storbritannien under 1700-talet, markerades av en rad tekniska innovationer som radikalt förändrade samhället. En av de mest betydelsefulla uppfinningarna var den mekaniska vävstolen, som revolutionerade textilindustrin. Genom att automatisera vävprocessen ökade produktionen avsevärt, vilket ledde till lägre priser på textilier och ökad konsumtion. Den mekaniska vävstolen skapade nya arbetstillfällen i fabrikerna, men samtidigt bidrog den till arbetslöshet bland vävare som förlorade sina jobb. Detta skapade en social spänning och bidrog till uppkomsten av en ny arbetarklass. Den ökade produktionen av billigare textilier stimulerades handel och ekonomisk tillväxt. Industrialiseringen ledde dock också till överbefolkade städer, föroreningar och usla arbetsförhållanden. Kvinnor och barn utnyttjades ofta i fabrikerna under hårda förhållanden. Detta skapade ett behov av social reform och ledde till rörelser för förbättrade arbetsvillkor och sta...	Den brittiska textilindustrin var under 1700-talet en av världens ledande. Landet exporterade stora mängder bomullsvaror till Europa och kolonierna. Den växande efterfrågan på textilier ledde till en ökad användning av ull och bomull, vilket i sin tur bidrog till utvecklingen av nya handelsrutter. Den brittiska flottan spelade en avgörande roll i detta genom att skydda handelsfärderna och etablera kolonier som kunde leverera råvaror. Expansiva handelskolonier i Indien och Amerika förberedde vägen för Storbritanniens industriella dominance och bidrog till en växande medelklass.

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 64,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Norwegian Newspaper Articles

Norwegian Newspaper Articles

Due to copyright restrictions, we are not able to provide samples from this dataset.

• Dataset: articles
• Size: 553,697 training samples
• Columns: intro and text
• Approximate statistics based on the first 100 samples:

  	intro	text
  type	string	string
  modality	text	text
  details	min: 8 tokens mean: 36.08 tokens max: 73 tokens	min: 51 tokens mean: 621.79 tokens max: 1774 tokens

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

sentence-transformers/parallel-sentences-opus-100

English-Bokmål

• Dataset: opus100-en-nb
• Size: 142,906 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 3 tokens mean: 10.35 tokens max: 109 tokens	min: 3 tokens mean: 11.0 tokens max: 99 tokens

• Samples:

  english	non_english
  Design E-R databases	Lag E-R databaser
  as a valid day code.	som gyldig dagskode.
  Importing %1...	Importerer% 1 & # 160; …

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

opus100-en-no

English-Norwegian

• Dataset: opus100-en-no
• Size: 1,000,000 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 4 tokens mean: 9.76 tokens max: 32 tokens	min: 4 tokens mean: 8.5 tokens max: 25 tokens

• Samples:

  english	non_english
  Fine.	Greit.
  - Who is he?	- Hvem er han?
  Tell me if Michelle is alive.	Er hun i live?

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

English-Nynorsk

• Dataset: opus100-en-nn
• Size: 486,055 training samples
• Columns: english and non_english
• Approximate statistics based on the first 100 samples:

  	english	non_english
  type	string	string
  modality	text	text
  details	min: 3 tokens mean: 10.03 tokens max: 66 tokens	min: 3 tokens mean: 10.7 tokens max: 71 tokens

• Samples:

  english	non_english
  What to do with executable text files when they are activated (single or double clicked). Possible values are "launch" to launch them as programs, "ask" to ask what to do via a dialog, and "display" to display them as text files.	Kva som skal gjerast med køyrbare tekstfiler når dei vert aktiverte (enkelt- eller dobbeltklikka). Moglege verdiar er «launch» for å køyra dei som program, «ask» for å spørja i ein dialog, og «display» for å visa dei som tekstfiler.
  Marsa Matruh	Marsa Matruh
  US Dollar	Amerikansk dollar

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc",
          "doc_to_query"
      ],
      "partition_mode": "per_direction",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

lightonai/embeddings-pre-training

Norwegian Wikipedia Articles

• Dataset: wikipedia-no
• Size: 617,937 training samples
• Columns: query and document
• Approximate statistics based on the first 100 samples:

  	query	document
  type	string	string
  modality	text	text
  details	min: 3 tokens mean: 4.44 tokens max: 12 tokens	min: 74 tokens mean: 1259.43 tokens max: 2048 tokens

• Samples:

  query	document
  Akershus	Akershus (fra norrønt akr, åker, og hús, borg eller kastell) er en norsk geografisk region med navn etter Akershus festning i Oslo, som siden middelalderen har betegnet ulike administrative provinser i Norge med Oslo som sentrum og hovedby, herunder et hovedlen, et stiftamt, et amt og et fylke; Akershus utgjør et valgdistrikt og vil fra 1. januar 2024 igjen være et fylke. Grensene for Akershus har endret seg over tid, og Akershus kan historisk forstås både som en stor riksdel (store Akershus) som omtrent sammenfalt med Østlandet og som en sentral provins i Osloregionen (lille Akershus) som tradisjonelt omfattet distriktene Aker (det moderne Oslo, Bærum og Asker), Follo og Romerike. I perioden 1948–2020 var Akershus navnet på et «restfylke» som var vesentlig mindre enn tidligere etter at fylkets største og mest sentrale kommune Aker – som utgjør størstedelen av det moderne Oslo – hadde blitt overført til Oslo kommune (som da hadde fått status som eget fylke) og dermed splittet det reste...
  Brus med ananassmak	Oskar Syltes brus med ananassmak, i dagligtale kalt ananasbrus, er en syntetisk fruktbrus fra Oskar Sylte Mineralvannfabrikk. Den har en dyp oransjebrun farge og en smak med hint av ananas. Brusen med ananassmak har vært Oskar Syltes mestselgende produkt og er like gammel som bedriften selv. I 2004 utgjorde ananasbrus 20 til 30 prosent av firmaets salg. Den har vært produsert etter samme oppskrift siden oppstarten i 1929. Brusen finnes i 2022 også i en sukkerfri versjon. Den sukkerfrie brusen med ananassmak er søtet med aspartam og acesulfam K. Se også Oskar Sylte Mineralvannfabrikk Referanser Brus Etableringer i 1929 Norsk drikke Oskar Sylte
  Adjø solidaritet	Adjø solidaritet er en norsk dramafilm fra 1985 regissert, skrevet og produsert av Svend Wam og Petter Vennerød. Filmen er den tredje av en trilogi som har fått fellesbenevnelsen Sangen om den knuste drømmen som filmskaperne har beskrevet som «et oppgjør med den selvhøytidelige 1968-arven». De to andre er Åpen framtid og Drømmeslottet. Den er utgitt året før Drømmeslottet, men ligger innholdsmessig sist i trilogien. Adjø solidaritet regnes som filmduoens hovedverk. Handling Handlingen strekker seg over tre generasjonsperspektiver. Sentralt står Atle, en 40 år gammel psykiater og hans jevnaldrende venn, Eigil, som er teaterregissør. De er begge skilt og har barn som ikke bor hos dem. De mimrer om gamle dager og drømmer om å reise til Kina, men utenom det er de gamle idealene glemt og de koser seg med sin velstand og «vellykkethet». Begge sliter for å holde en fasade som hele tiden truer med å sprekke. Under Eigils 40-årslag kommer sannheten fram og aggresjonene slår ut i full blomst...

• Loss: CachedMultipleNegativesRankingLoss with these parameters:

  {
      "scale": 35,
      "similarity_fct": "cos_sim",
      "mini_batch_size": 32,
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 2048
• num_train_epochs: 1
• learning_rate: 1e-05
• warmup_steps: 0.1
• weight_decay: 0.1
• bf16: True
• torch_compile: True
• torch_compile_backend: inductor
• per_device_eval_batch_size: 32
• dataloader_num_workers: 4
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• per_device_train_batch_size: 2048
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 1e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0.1
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.1
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1.0
• label_smoothing_factor: 0.0
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: True
• torch_compile_backend: inductor
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 32
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 4
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0029	5	7.5955
0.0059	10	7.5816
0.0088	15	7.7014
0.0117	20	7.6575
0.0147	25	7.5577
0.0176	30	7.5253
0.0205	35	7.3963
0.0234	40	7.3219
0.0264	45	7.1107
0.0293	50	6.8112
0.0322	55	6.1395
0.0352	60	5.5118
0.0381	65	4.1740
0.0410	70	3.1623
0.0440	75	3.3787
0.0469	80	2.5485
0.0498	85	2.3775
0.0528	90	1.6633
0.0557	95	1.8396
0.0586	100	1.1158
0.0615	105	1.7120
0.0645	110	1.3370
0.0674	115	1.6279
0.0703	120	1.4151
0.0733	125	1.5737
0.0762	130	1.1600
0.0791	135	1.1893
0.0821	140	0.5967
0.0850	145	1.0856
0.0879	150	0.8292
0.0909	155	0.8738
0.0938	160	1.0553
0.0967	165	1.1896
0.0996	170	0.8514
0.1026	175	1.0527
0.1055	180	1.0762
0.1084	185	1.0987
0.1114	190	0.8965
0.1143	195	1.0936
0.1172	200	1.0496
0.1202	205	0.9116
0.1231	210	0.9412
0.1260	215	1.0877
0.1290	220	1.1065
0.1319	225	0.8046
0.1348	230	1.0482
0.1377	235	0.9070
0.1407	240	0.6928
0.1436	245	0.9102
0.1465	250	0.8823
0.1495	255	0.7821
0.1524	260	0.7794
0.1553	265	0.7360
0.1583	270	0.7767
0.1612	275	0.8826
0.1641	280	0.9831
0.1671	285	0.9447
0.1700	290	0.7745
0.1729	295	0.8752
0.1758	300	1.0099
0.1788	305	0.6661
0.1817	310	0.9149
0.1846	315	0.7589
0.1876	320	0.6860
0.1905	325	0.6708
0.1934	330	0.6701
0.1964	335	0.8028
0.1993	340	0.6475
0.2022	345	0.2872
0.2052	350	0.4537
0.2081	355	0.3547
0.2110	360	0.8327
0.2140	365	0.8442
0.2169	370	0.7789
0.2198	375	0.5790
0.2227	380	0.6060
0.2257	385	0.7804
0.2286	390	1.0532
0.2315	395	0.8438
0.2345	400	0.7924
0.2374	405	0.6308
0.2403	410	0.4880
0.2433	415	0.7324
0.2462	420	0.6022
0.2491	425	0.8614
0.2521	430	0.7914
0.2550	435	1.0178
0.2579	440	0.6825
0.2608	445	0.9661
0.2638	450	0.9747
0.2667	455	0.7241
0.2696	460	0.9940
0.2726	465	0.5504
0.2755	470	1.0331
0.2784	475	0.7998
0.2814	480	0.8019
0.2843	485	1.0738
0.2872	490	0.8002
0.2902	495	0.7650
0.2931	500	0.2628
0.2960	505	0.8017
0.2989	510	0.5694
0.3019	515	0.7037
0.3048	520	0.6914
0.3077	525	0.9759
0.3107	530	0.4453
0.3136	535	0.7410
0.3165	540	0.6709
0.3195	545	0.5923
0.3224	550	0.5758
0.3253	555	0.9091
0.3283	560	0.5233
0.3312	565	0.8384
0.3341	570	0.8697
0.3370	575	0.6579
0.3400	580	0.6017
0.3429	585	0.6323
0.3458	590	0.5818
0.3488	595	0.6054
0.3517	600	0.3553
0.3546	605	0.7856
0.3576	610	0.6944
0.3605	615	0.5466
0.3634	620	0.8537
0.3664	625	0.7013
0.3693	630	0.5939
0.3722	635	0.8492
0.3751	640	0.6878
0.3781	645	0.6479
0.3810	650	0.7670
0.3839	655	0.8572
0.3869	660	0.6355
0.3898	665	0.3012
0.3927	670	0.8730
0.3957	675	0.7668
0.3986	680	0.6569
0.4015	685	0.4274
0.4045	690	0.6673
0.4074	695	0.5523
0.4103	700	0.7095
0.4132	705	0.7520
0.4162	710	0.8570
0.4191	715	0.7372
0.4220	720	0.6329
0.4250	725	0.8497
0.4279	730	0.5857
0.4308	735	0.8246
0.4338	740	0.5428
0.4367	745	0.9815
0.4396	750	0.7276
0.4426	755	0.4748
0.4455	760	0.5196
0.4484	765	0.7097
0.4513	770	0.5142
0.4543	775	0.5331
0.4572	780	0.6232
0.4601	785	0.8363
0.4631	790	0.7497
0.4660	795	0.2878
0.4689	800	0.8910
0.4719	805	0.9567
0.4748	810	0.6313
0.4777	815	0.7561
0.4807	820	0.4887
0.4836	825	0.8644
0.4865	830	0.7578
0.4894	835	0.7122
0.4924	840	0.7916
0.4953	845	0.6984
0.4982	850	0.5228
0.5012	855	0.5246
0.5041	860	0.7722
0.5070	865	0.6085
0.5100	870	0.8898
0.5129	875	0.7115
0.5158	880	0.4949
0.5188	885	0.5294
0.5217	890	0.5513
0.5246	895	0.7735
0.5275	900	0.8193
0.5305	905	0.7271
0.5334	910	0.9330
0.5363	915	0.7356
0.5393	920	0.5616
0.5422	925	0.7234
0.5451	930	0.6413
0.5481	935	0.5226
0.5510	940	0.5052
0.5539	945	0.9245
0.5569	950	0.4969
0.5598	955	0.7996
0.5627	960	0.4532
0.5657	965	0.6838
0.5686	970	0.9007
0.5715	975	0.5117
0.5744	980	0.8183
0.5774	985	0.3350
0.5803	990	0.8144
0.5832	995	0.8631
0.5862	1000	0.6076
0.5891	1005	0.8326
0.5920	1010	0.7288
0.5950	1015	0.7134
0.5979	1020	0.8900
0.6008	1025	0.8402
0.6038	1030	0.4814
0.6067	1035	0.7515
0.6096	1040	0.5658
0.6125	1045	0.5963
0.6155	1050	0.6990
0.6184	1055	0.7138
0.6213	1060	0.5401
0.6243	1065	0.4821
0.6272	1070	0.6554
0.6301	1075	0.7014
0.6331	1080	0.9486
0.6360	1085	0.6862
0.6389	1090	0.3496
0.6419	1095	0.5882
0.6448	1100	0.7858
0.6477	1105	0.6224
0.6506	1110	0.6669
0.6536	1115	0.4633
0.6565	1120	0.7900
0.6594	1125	0.5643
0.6624	1130	0.4630
0.6653	1135	0.5703
0.6682	1140	0.5081
0.6712	1145	0.5944
0.6741	1150	0.6063
0.6770	1155	0.5952
0.6800	1160	0.6759
0.6829	1165	0.7026
0.6858	1170	0.7117
0.6887	1175	0.5701
0.6917	1180	0.6050
0.6946	1185	0.6851
0.6975	1190	0.5407
0.7005	1195	0.4941
0.7034	1200	0.7667
0.7063	1205	0.6395
0.7093	1210	0.7070
0.7122	1215	0.5171
0.7151	1220	0.7127
0.7181	1225	0.7193
0.7210	1230	0.9277
0.7239	1235	0.6884
0.7268	1240	0.7051
0.7298	1245	0.5338
0.7327	1250	0.6949
0.7356	1255	0.7186
0.7386	1260	0.4819
0.7415	1265	0.7712
0.7444	1270	0.5714
0.7474	1275	0.6530
0.7503	1280	0.8770
0.7532	1285	0.5687
0.7562	1290	0.4135
0.7591	1295	0.7705
0.7620	1300	0.5723
0.7649	1305	0.6487
0.7679	1310	0.5961
0.7708	1315	0.5595
0.7737	1320	0.4756
0.7767	1325	0.8796
0.7796	1330	0.8336
0.7825	1335	0.6797
0.7855	1340	0.7557
0.7884	1345	0.7195
0.7913	1350	0.3796
0.7943	1355	0.2789
0.7972	1360	0.7686
0.8001	1365	0.3877
0.8030	1370	0.5925
0.8060	1375	0.8123
0.8089	1380	0.5379
0.8118	1385	0.5653
0.8148	1390	0.7583
0.8177	1395	0.6128
0.8206	1400	0.4332
0.8236	1405	0.3965
0.8265	1410	0.5627
0.8294	1415	0.6939
0.8324	1420	0.9243
0.8353	1425	0.4527
0.8382	1430	0.3815
0.8411	1435	0.7637
0.8441	1440	0.9213
0.8470	1445	0.7368
0.8499	1450	0.7620
0.8529	1455	0.5343
0.8558	1460	0.5445
0.8587	1465	0.4690
0.8617	1470	0.4800
0.8646	1475	0.3419
0.8675	1480	0.4479
0.8705	1485	0.5049
0.8734	1490	0.7762
0.8763	1495	0.7801
0.8792	1500	0.6016
0.8822	1505	0.3796
0.8851	1510	0.6956
0.8880	1515	0.5125
0.8910	1520	0.5326
0.8939	1525	0.6464
0.8968	1530	0.7555
0.8998	1535	0.8118
0.9027	1540	0.4005
0.9056	1545	0.5119
0.9086	1550	0.7547
0.9115	1555	0.7086
0.9144	1560	0.5353
0.9174	1565	0.4528
0.9203	1570	0.5549
0.9232	1575	0.5291
0.9261	1580	0.8093
0.9291	1585	0.6649
0.9320	1590	0.6920
0.9349	1595	0.4006
0.9379	1600	0.6892
0.9408	1605	0.5810
0.9437	1610	0.7119
0.9467	1615	0.4465
0.9496	1620	0.7023
0.9525	1625	0.4132
0.9555	1630	0.4077
0.9584	1635	0.3779
0.9613	1640	0.8586
0.9642	1645	0.4579
0.9672	1650	0.7172
0.9701	1655	0.7983
0.9730	1660	0.7143
0.9760	1665	0.6236
0.9789	1670	0.4868
0.9818	1675	0.8585
0.9848	1680	0.4718
0.9877	1685	0.7351
0.9906	1690	0.4799
0.9936	1695	0.5694
0.9965	1700	0.4681
0.9994	1705	0.7303

Training Time

• Training: 7.1 hours

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 5.6.0
• Transformers: 5.14.1
• PyTorch: 2.13.0+cu130
• Accelerate: 1.14.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

License

The license of this model is an adaptation of the Apache 2.0 license with additional use-based restrictions. In particular, users of the model are required to refrain from intentionally using the model to recreate data the model has been trained on. The license also requires users not to use the model or its output to provide end-user services whose primary purpose is to give access to licensed press publications in the training data.

For more information, see the LICENSE and the License FAQ.

Authenticity

This model release is signed by the National Library of Norway. The signed manifest in signing/SHA256SUMS covers the model-runtime artifacts, including model weights, configuration, and tokenizer files.

To verify model authenticity and file integrity after downloading the repository, run:

bash signing/verify.sh

For more verification instructions, see ai.nb.no/verify.

Citation and Contributors

The Borealis Embed family of models is a joint effort of multiple teams at the National Library of Norway. Led by Lucas Georges Gabriel Charpentier and Victoria Handford, key contributors include (in alphabetical order) Rolv-Arild Braaten, Javier de la Rosa, and Marthe Løken Midtgaard.

A tecnical report will be released soon.

BibTeX

Dual Objective Language Models

@misc{samuel2026dualobjectivelanguagemodelstraining,
      title={Dual-objective Language Models: Training Efficiency Without Overfitting},
      author={David Samuel and Lucas Georges Gabriel Charpentier},
      year={2026},
      eprint={2512.14549},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2512.14549},
}

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CachedMultipleNegativesRankingLoss

@misc{gao2021scaling,
    title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
    author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
    year={2021},
    eprint={2101.06983},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

The Scandinavian Embedding Benchmark

@article{enevoldsenScandinavianEmbeddingBenchmarks2024,
  author = {Enevoldsen, Kenneth and Kardos, Márton and Muennighoff, Niklas and Nielbo, Kristoffer},
  language = {en},
  month = feb,
  shorttitle = {The {Scandinavian} {Embedding} {Benchmarks}},
  title = {The {Scandinavian} {Embedding} {Benchmarks}: {Comprehensive} {Assessment} of {Multilingual} and {Monolingual} {Text} {Embedding}},
  url = {https://openreview.net/forum?id=pJl_i7HIA72},
  urldate = {2024-04-12},
  year = {2024},
}

The Long-context Retrieval Benchmark

@article{zhu2024longembed,
  author = {Zhu, Dawei and Wang, Liang and Yang, Nan and Song, Yifan and Wu, Wenhao and Wei, Furu and Li, Sujian},
  journal = {arXiv preprint arXiv:2404.12096},
  title = {LongEmbed: Extending Embedding Models for Long Context Retrieval},
  year = {2024},
}

Disclaimer

These models may have bias and/or any other undesirable distortions. When third parties, deploy or provide systems and/or services to other parties using any of these models (or using systems based on these models) or become users of the models, they should note that it is their responsibility to mitigate the risks arising from their use and, in any event, to comply with applicable regulations, including regulations regarding the use of artificial intelligence. In no event shall the owner of the models (The National Library of Norway) be liable for any results arising from the use made by third parties of these models.

Contact

For feedback, technical concerns, or collaboration inquiries, please contact ailab@nb.no.