SultanGurbuz/qwen3-embedding-8b-finetuned

Qwen3-Embedding-8B Fine-tuned for Turkish Legal Retrieval

Fine-tuned Qwen/Qwen3-Embedding-8B on Turkish legal query-document triplets for dense retrieval in a RAG pipeline. Maps text to 4096-dimensional vectors.

Project Repository: GitHub — CENG493

Download

from sentence_transformers import SentenceTransformer
model = SentenceTransformer("SultanGurbuz/qwen3-embedding-8b-finetuned")

hf download SultanGurbuz/qwen3-embedding-8b-finetuned

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: Qwen/Qwen3-Embedding-8B
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 4096 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'Qwen3Model'})
  (1): Pooling({'embedding_dimension': 4096, 'pooling_mode': 'lasttoken', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("SultanGurbuz/qwen3-embedding-8b-finetuned")
# Run inference
queries = [
    'query: Ceza Hukuku / Ceza Muhakemesi + İdare Hukuku / İdari Yargı alanında anayasa hakkında kaynak ne söylüyor?',
]
documents = [
    'passage: Ceza Hukuku / Ceza Muhakemesi + İdare Hukuku / İdari Yargı. Vergi ödevinin ihlali durumunda, vergi kaçakçılığı, beyanname vermeme veya eksik beyan gibi durumlar yasal yaptırımlara ve cezai sorumluluğa tabi tutulur. bu yaptırımlar, para cezaları, hapis cezası ve diğer idari yaptırımları içerebilir. Kamu malının ihlali durumunda, izinsiz kullanım, tahrip etme veya zimmete geçirme gibi durumlar yasal yaptırımlara ve cezai sorumluluğa tabi tutulur. Rekabet ihlallerine karşı idari para cezaları, faaliyet durdurma, birleşme ve devralmaların iptali gibi yaptırımlar uygulanabilir. Taksilerin yolcuyu kısa mesafeye götürmeme hakları bulunmamaktadır. uymakla mükellef oldukları trafik kurallarından biri yolcuyu talep ettiği noktaya götürmektir. kısa mesafe yolcu almadığı tespit edilen taksilere idari para cezası uygulanır. İdari para cezası, idari makamlar tarafından yasaya aykırı davranışlar için verilen para cezasıdır ve belirli usullere göre uygulanır. İdari para cezası, kamu düzenini korumak amacıyla idari makamlar tarafından verilen para cezalarıdır. Trafik cezası, trafik kurallarına aykırı davranışlarda bulunan sürücülere veya yayalara uygulanan idari yaptırımdır.',
    'passage: Ceza Hukuku / Ceza Muhakemesi + İcra ve İflas Hukuku. Çocuk ceza almaz ancak tutuksuz yargılanabilir. ceza alması durumunu takip etmelisiniz. Çocuğun tutuksuz yargılanması ceza almayacağı anlamına gelmez. durumu takip etmeli ve hukuki danışmanlık almalısınız.',
    'passage: 2004 sayılı Kanun\'un 20.02.2019 tarihli ve 7165 sayılı Kanun’un 2 nci maddesi ile değişik ek (1) inci maddesinin birinci fıkrasında 364 üncü maddesindeki parasal sınırın 213 sayılı Vergi Usul Kanununun mükerrer 298 inci maddesine göre her yıl tespit ve ilan edilecek yeniden değerleme oranında artırılması öngörülmüş ve 01.01.2024 tarihinden itibaren bu miktar 378.290,00 TL olarak belirlenmiştir. 2004 sayılı Kanun\'un 20.02.2019 tarihli ve 7165 sayılı Kanun\'un 2 nci maddesi ile değişik ek (1) inci maddesinin ikinci fıkrasına göre aynı Kanun\'un 363 ve 364 üncü maddelerdeki parasal sınırların uygulanmasında hükmün verildiği tarihteki miktar esas alınır. Belirtilmelidir ki bir mahkeme kararının temyiz edilip edilemeyeceği belirlenirken, temyiz hakkının doğduğu (kararın verildiği) tarihteki hukuksal durum esas alınmalı, karar tarihinde yürürlükte bulunan kanun hükmü temyiz sınırı yönünden hangi düzenlemeyi içeriyor ise ona bağlı kalınmalıdır. Buradaki “karar” teriminin, Bölge Adliye Mahkemesinin Özel Daire bozmasına karşı verdiği direnme kararını da kapsayacağında duraksama bulunmamaktadır. 2004 sayılı Kanun\'un 5311 sayılı Kanun’un 25 inci maddesi ile değişik 364 üncü maddesinin ikinci fıkrasında ise temyiz yoluna başvurma ve incelemesinin 1086 sayılı Hukuk Usulü Muhakemeleri Kanunu (1086 sayılı Kanun) hükümlerine göre yapılacağı belirtilmiştir. 6100 sayılı Kanun\'un 447 nci maddesinin ikinci fıkrası "Mevzuatta, yürürlükten kaldırılan 18/6/1927 tarihli ve 1086 sayılı Hukuk Usulü Muhakemeleri Kanununa yapılan yollamalar, Hukuk Muhakemeleri Kanununun bu hükümlerin karşılığını oluşturan maddelerine yapılmış sayılır." hükmünü içermektedir. Somut olayda; alacaklı vekili tarafından 2.000.000,00 TL bedelli bonoya dayalı olarak borçlu aleyhine kambiyo senetlerine özgü haciz yoluyla takip başlatılmış, takip talebinde asıl alacak miktarı 151.122,20 TL gösterilmiştir.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 4096] [3, 4096]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[0.5610, 0.8062, 0.1256]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,059 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 16 tokens mean: 32.92 tokens max: 130 tokens	min: 26 tokens mean: 200.09 tokens max: 512 tokens	min: 27 tokens mean: 201.27 tokens max: 512 tokens

• Samples:

  anchor	positive	negative
  query: Hukuk Genel Kurulu 2013/2239 E., 2015/1334 K. sayılı Yargıtay HGK kararında Kamulaştırılan Taşınmazın Tescili uyuşmazlığı bakımından temel değerlendirme nedir?	passage: Direnme yoluyla Hukuk Genel Kurulu önüne gelen uyuşmazlık; davalı tarafa, dava tarihi itibariyle kamulaştırma evrakının usulünce tebliğ edilip edilmediği, bunun sonucunda kamulaştırma işleminin adli ve idari yönden kesinleşip kesinleşmediği noktasında toplanmaktadır. İşin esasına geçilmeden önce, yasal düzenlenmenin irdelenmesi gerekmektedir. 11.06.2013 tarihinde yürürlüğe giren 6487 sayılı Kanun'un 22.maddesi ile Kamulaştırma Kanunu'na eklenen Geçici 7.maddede "31.08.1956 tarihli ve 6830 sayılı İstimlak Kanununun 16 ve 17.maddeleri ile 2942 sayılı Kanun'un mülga 16 ve 17.maddeleri uyarınca mahkemelerce idare adına tescil kararı verilen kamulaştırmalarda tebligatlar ve diğer kamulaştırma işlemleri tamamlanmış sayılır. Bu kamulaştırma işlemleri sebebiyle hiçbir hak ve alacak talebinde bulunulamaz, kamulaştırmaya ve bedeline karşı itiraz davaları açılamaz, açılmış ve devam eden davalar bu madde hükmü uygulanarak sonuçlandırılır" hükmü yer almaktadır. Somut olaya gelince; dosyada...	passage: II. CEVAP 1. Davalı... vekili cevap dilekçesinde; kök 1290 parsel sayılı taşınmazın Çatalca 1. Asliye Hukuk Mahkemesinin 1985/379 Esas, 1988/183 Karar sayılı kararı ile müvekkili belediye adına tescil edildiğini, davacıların kök murislerinin de içinde bulunduğu hissedarların tebligata elverişli adresleri tespit edilemediğinden ilan yoluyla tebligatın yapıldığını ve kamulaştırma bedelinin bankaya depo edildiğini belirterek davanın reddini savunmuştur. 2. Davalı... vekili cevap dilekçesinde; dava konusu taşınmazın... Belediyesi adına tescil edilmesinden sonra ifraz edildiği ve oluşan 4417 parsel sayılı taşınmazın trampa yolu ile, 4635 parsel sayılı taşınmazın ise satış yolu ile Hazineye devredildiğini, davacıların uzlaşma başvurusunun bulunmadığını, imar planları hazırlanırken konut alanları, okul, hastane, cami gibi kamu alanlarının DOP payları düştükten sonra düzenleme yapıldığını ve İlçe Belediye Başkanlığı'nın teklifi ile Büyükşehir Belediye Başkanlığınca tasdik edildiğini, ...
  query: Hukuk Genel Kurulu 2024/235 E., 2025/211 K. sayılı Yargıtay HGK kararında Usuli Kazanılmış Hak; Yargıtay Bozma Kararına Uyulması uyuşmazlığı bakımından temel değerlendirme nedir?	passage: Aynı ilke Yargıtay Hukuk Genel Kurulunun 24.09.2019 tarihli ve 2015/21-3903 Esas, 2019/920 Karar; 09.05.2019 tarihli ve 2019/19-256 Esas, 2019/537 Karar; 08.06.2021 tarihli ve 2021/(21)10-421 Esas, 2021/695 Karar, 13.09.2023 tarihli ve 2023/9-748 Esas, 2023/816 Karar; 11.12.2024 tarihli ve 2024/7-809 Esas, 2024/665 Karar sayılı kararlarında da benimsenmiştir. 9. Yargıtay içtihatları ile kabul edilen usuli kazanılmış hak olgusunun, birçok hukuk kuralında olduğu gibi yine Yargıtay içtihatları ile geliştirilmiş istisnaları bulunmaktadır. Mahkemenin bozmaya uymasından sonra yeni bir İçtihadı Birleştirme Kararı (09.05.1960 tarihli ve 21/9 sayılı YİBK) ya da geçmişe etkili bir yeni kanun çıkması karşısında, Yargıtay bozma kararına uyulmuş olmakla oluşan usuli kazanılmış hak hukukça değer taşımayacaktır. Benzer şekilde uygulanması gereken bir kanun hükmü, hüküm kesinleşmeden önce Anayasa Mahkemesince iptaline karar verilirse, usuli kazanılmış hakka göre değil Anayasa Mahkemesinin ipt...	passage: Hukuk Dairesi kararının da yok hükmünde olduğunu, bağlantılı olarak Asliye Hukuk ve Sulh Hukuk Mahkemelerindeki davalara bakan ve istinaf başvurusunu inceleyen hâkimlerin de
  olmayan site ve tüzel kişilik adına mevcutmuş gibi düzenlenen sahte belgelere göre karar verdiklerini, sahte vekâletname ve belgelere dayanılarak taşınmazının usulsüz icra takibinde yapılan açık arttırma ile gaspedildiğini, hukuk hâkimlerinin sahte evrak tanzim etmesinin dolandırıcılık suçunu oluşturduğunu, ihbar olunanların hukuka aykırı kararları ve haksız fiilleriyle mağdur edildiğini ileri sürerek 5.800.000,00 TL maddi ve 500.000,00 TL manevi tazminatın davalıdan tahsiline karar verilmesini talep etmiştir. Davalı Cevabı 5. Davalı... vekili cevap dilekçesinde; öncelikle dava süresinde açılmamış ise zamanaşımı nedeniyle reddi gerektiğini, öte yandan 6100 sayılı Hukuk Muhakemeleri Kanunu'nun (6100 sayılı Kanun) 46. maddesindeki sorumluluk koşullarının oluşmadığını ve sorumluluk nedenlerine ilişkin delil g...
  query: KAYIT 0697 kaydında Eğitim hakkı bakımından olayın özü ve karar sonucu nedir?	passage: KAYIT 0697	Karar sonucu: İhlal

• Loss: TripletLoss with these parameters:

  {
      "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
      "triplet_margin": 5
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• gradient_accumulation_steps: 8
• learning_rate: 2e-05
• warmup_steps: 154
• bf16: True
• dataloader_num_workers: 2

All Hyperparameters

Click to expand

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 4
• per_device_eval_batch_size: 8
• gradient_accumulation_steps: 8
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 154
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.0777	5	4.8428
0.1553	10	4.8583
0.2330	15	4.8371
0.3107	20	4.8337
0.3883	25	4.8461
0.4660	30	4.8520
0.5437	35	4.8397
0.6214	40	4.8498
0.6990	45	4.8290
0.7767	50	4.8293
0.8544	55	4.8232
0.9320	60	4.8232
1.0	65	4.7905
1.0777	70	4.7950
1.1553	75	4.7903
1.2330	80	4.7450
1.3107	85	4.7696
1.3883	90	4.7384
1.4660	95	4.7590
1.5437	100	4.6902
1.6214	105	4.7016
1.6990	110	4.6925
1.7767	115	4.6494
1.8544	120	4.6033
1.9320	125	4.6028
2.0	130	4.5631
2.0777	135	4.5776
2.1553	140	4.4901
2.2330	145	4.4602
2.3107	150	4.5139
2.3883	155	4.4308
2.4660	160	4.4107
2.5437	165	4.5098
2.6214	170	4.3792
2.6990	175	4.4424
2.7767	180	4.3550
2.8544	185	4.4014
2.9320	190	4.3870
3.0	195	4.4554

Training Time

• Training: 36.2 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}