JohanHeinsen/Old_News_Segmentation_SBERT_V0.1

SentenceTransformer based on CALDISS-AAU/DA-BERT_Old_News_V1

This is a sentence-transformers model finetuned from CALDISS-AAU/DA-BERT_Old_News_V1. It is an initial version of a model meant to assist in segmenting ENO. It can also be used as a general purpose embedding model for eighteenth- and early nineteenth-century Danish. It has been trained from newspaper data, covering a wide range of genres and topics.

Model Description

• Model Type: Sentence Transformer
• Base model: CALDISS-AAU/DA-BERT_Old_News_V1
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Training Details

Training Dataset

Unnamed Dataset

• Size: 20,502 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 4 tokens mean: 27.64 tokens max: 314 tokens	min: 4 tokens mean: 27.19 tokens max: 218 tokens	min: 0.0 mean: 0.45 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  Slagelse den 31te Januar 1818. Vastholm.	Sølv til Amtets Fattigkasse forbudt, efter privat Overeenskomst med vedkommende Ægtpligtige at modtage Vederlag, enten i Penge, eller andre Præstationer, istedet for Befordring en naturg.	0.0
  – Ved Opholdet i Louisenlund har Hs. Majestæt Kongen den 10de dennes allernaadigst egenhændigen overlevet Storcommandeurkorset af Dannebrogen til Allerhøistsammes Svigerfader Hs. Durchl.	Landgreve Carl til Churbessen, Generalfeldtmarskal Stadtholder i Hertugdømmene Slesvig og Holsteen, Ridder af Elefanten og Dannebrogsmand.	1.0
  , samt Eieren af Riignorgaard i Amtet Gottorf, H. Petersen, udnævnte til Landmaalere.	Under Finants-Collegiet: Til Kasserer for de specielle Oppebørseler i Hertugdommene, har Hs. Majestæt, under 26de Juli dette Aar, udnævnt C. Schleth, Kasserer, Bogholder og Regnskabsfører ved Travensalzer Salme; forhenværende Revisor ved den grønlandske Handel, N. Døller, udnævnt til General-Revisor ved Lottoet i Kjøbenhavn.	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }