Update README.md

README.md

@@ -1,171 +1,231 @@
+---
+license: llama3.1
+datasets:
+- newmindai/Euro_HPC
+language:
+- tr
+- en
+base_model:
+- meta-llama/Llama-3.1-8B-Instruct
+tags:
+- EuroHPC
+- Karolina
+- Axolotl
+- Unsloth
+---
 
-# README: SLURM ile unsloth Görev Betiği Açıklaması
-
-Bu README dosyası, verilen SLURM betiğinin (`run_salloc.sh`) işleyişini, kullanılan komutların açıklamalarını ve model konfigürasyonuyla ilgili ek bilgileri içermektedir.
-
-## Betik Açıklaması
-Bu betik, SLURM iş yöneticisi kullanılarak bir GPU işinin bir hesaplama kümesinde (cluster) çalıştırılmasını sağlar.
-
-## Veri ve Modellerin konumları
-
-/scratch/project/dd-24-118/
-Burada 3 ay limitli veriler saklanmakta. Şuanki projeler bu konumda. Süre içerisinde bu konumdaki bilgiler alınmalı.
-
-/home/
-home altında bellek sınırı mevcut 40 gb
-
-/mnt/proj3/dd-24-118
-verileri saklamak için bu konum kullanılabilir. Süre sınırı yok.
-
-### Salloc
-Bu komut ekran kartına bağlanmanı ve kısa süreli kullanmanı sağlar. 
--Max 1 saat
-
-salloc --partition=qgpu_exp --account=dd-24-118 --nodes=1 --ntasks-per-node=1 --gpus-per-node=1 --time=1:00:00
-
-### Ekran kartlarını
-squeue --me
-
-### Oluşturduğun bir ekran kartı işini scancel ile job_id ile durdurabilirsin.
-scancel jobid
-
-### SLURM Yönergeleri
-Aşağıda betikte kullanılan SLURM komutları ve açıklamaları verilmiştir:
-
-Ekran kartı için yer ayırarak belli bir projeyi çalıştırmak için bu komut dosyasını çalıştırınız.
-
+<div style="display: flex; justify-content: center; flex-wrap: wrap; gap: 15px; align-items: flex-start;">
+  <img src="https://cdn-uploads.huggingface.co/production/uploads/683d4880e639f8d647355997/mqbOdFfrC7KjDZbQlLFFj.png" 
+       style="width: 100%; max-width: 300px; height: auto;" />
+  <img src="https://cdn-uploads.huggingface.co/production/uploads/683d4880e639f8d647355997/VGnh14pYg-SXSaEt640qz.png" 
+     style="width: 100%; max-width: 150px; height: auto;" />
+</div>
 
-### Bu dosyanın ismi: run_salloc.sh
-```bash
-#!/bin/bash
+## Model Card
 
-#SBATCH --job-name=mc_job_1
-#SBATCH --account=dd-24-118
-#SBATCH --partition=qgpu
-#SBATCH --nodes=1
-#SBATCH --ntasks-per-node=1
-#SBATCH --gpus-per-node=1
-#SBATCH --time=3:00:00
- 
-# Your job commands go here
+This document describes a parameter-efficient fine-tuning setup using LoRA on the EuroHPC Karolina system. Axolotl provides flexible orchestration and Unsloth supplies optimized kernels for high-throughput training on the Euro_HPC dataset. This model is fine-tuned using Parameter-Efficient Fine-Tuning (PEFT) with LoRA (Low-Rank Adaptation) on the EuroHPC dataset, specifically the kvkk subset. The fine-tuning leverages the Axolotl framework for orchestration and Unsloth library for optimized training kernels.
 
-echo "Starting my GPU job"
+### Hyperparameters
 
-ml OpenMPI/4.1.6-GCC-12.2.0-CUDA-12.4.0
-ml Python/3.11.2-GCCcore-12.2.0-bare
-source venv_deneme/bin/activate
+* **LoRA Rank**: 16
+* **LoRA Alpha**: 32
+* **LoRA Dropout**: 0.05
+* **Learning Rate**: 3×10⁻⁵ with cosine scheduling
+* **Training Epochs**: 3 per domain
+* **Batch Size**: Optimized for A100 memory capacity
 
-bash src/run_finetune.sh kvkk /scratch/project/dd-24-118/mcimen/finetune-newmind/data/test_instruction_dataset_mini.json
-```
+### Architecture
 
+* **Base Model**: Llama-3.1-8B-Instruct (Meta)
+* **Fine-tuning Method**: LoRA (Low-Rank Adaptation)
+* **Parameter Efficiency**: Only trainable LoRA parameters, frozen base model
+* **Model Size**: 8B parameters (base) + LoRA adapters
 
-Aşağıda betikte kullanılan SLURM komutları ve açıklamaları verilmiştir:
+## Hardware and Software
 
-```bash
-#SBATCH --job-name=mc_job_1
-```
+* **Orchestration**: [Axolotl framework](https://axolotl.ai/)
+* **Acceleration**: [Unsloth library](https://unsloth.ai/)
+* **Backend**: PyTorch with CUDA support
+* **System**: EuroHPC Karolina supercomputer
+* **GPUs**: NVIDIA A100 (8 × 40 GB per node, 320 GB HBM2 total)
+* **Utilization**: 85–90% GPU and memory efficiency
+* **Total Compute**: ~600 GPU hours
 
-- İşin adı "mc\_job\_1" olarak belirlenmiştir.
+## Data
 
-```bash
-#SBATCH --account=dd-24-118
-```
+### Input Format
 
-- İşin çalıştırılacağı hesap belirtilmiştir (`dd-24-118`).
+The dataset follows the **Alpaca format** with three key fields:
 
-```bash
-#SBATCH --partition=qgpu
+```json
+{
+  "instruction": "Task description or question",
+  "input": "Additional context or input data",
+  "output": "Expected response or answer"
+}
 ```
 
-- İşin gönderileceği SLURM kuyruğu (partition) "qgpu" olarak ayarlanmıştır.
+**Dataset**: `newmindai/Euro_HPC` (kvkk subset)
 
-```bash
-#SBATCH --nodes=1
-```
+## How to Use
 
-- İş, yalnızca 1 düğüm (node) üzerinde çalışacaktır.
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
 
-```bash
-#SBATCH --ntasks-per-node=1
-```
+# Load base model and tokenizer
+base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
+tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
 
-- Her düğümde yalnızca 1 görev (task) çalıştırılacaktır.
-
-```bash
-#SBATCH --gpus-per-node=1
-```
+# Load LoRA adapter
+model = PeftModel.from_pretrained(base_model, "newmindai/Llama-3.1-8B-Instruct-kvkk-alpaca")
 
-- Her düğüm için 1 GPU ayrılmıştır.
+# Format input according to Alpaca format
+def format_prompt(instruction, input_text=""):
+    if input_text:
+        return f"### Instruction:\n{instruction}\n\n### Input:\n{input_text}\n\n### Response:\n"
+    else:
+        return f"### Instruction:\n{instruction}\n\n### Response:\n"
 
-```bash
-#SBATCH --time=14:00:00
+# Example usage
+prompt = format_prompt("Explain the benefits of regular exercise")
+inputs = tokenizer(prompt, return_tensors="pt")
+outputs = model.generate(**inputs, max_new_tokens=256)
+response = tokenizer.decode(outputs[0], skip_special_tokens=True)
 ```
 
-- Maksimum çalışma süre 14 saat olarak belirlenmiştir.
-
+## Acknowledgments
+
+This research was supported by the EuroHPC Joint Undertaking (EuroHPC JU) under the Benchmark Access
+grant agreement No EHPC-BEN-2024B11-003. The authors gratefully acknowledge the computational resources
+provided by the IT4Innovations National Supercomputing Center (Czech Republic) on the Karolina supercomputer,
+made available through the EuroHPC JU.
+
+## Citation
+
+```bibtex
+@article{newmind2025,
+  title={Tailoring AI for Turkish Law: Domain-Specific Fine-Tuning of Small Language Models for Legal Expertise},
+  author={New Mind AI Team},
+  journal={Procedia Computer Science},
+  year={2025},
+  volume={239},
+  doi={10.1016/j.procs.2025.08.239},
+  note={Available online 23 September 2025, Version of Record 23 September 2025}
+}
+```---
+license: llama3.1
+datasets:
+- newmindai/Euro_HPC
+language:
+- tr
+- en
+base_model:
+- meta-llama/Llama-3.1-8B-Instruct
+tags:
+- EuroHPC
+- Karolina
+- Axolotl
+- Unsloth
 ---
 
-### Betikteki Komutların Açıklamaları
+<div style="display: flex; justify-content: center; flex-wrap: wrap; gap: 15px; align-items: flex-start;">
+  <img src="https://cdn-uploads.huggingface.co/production/uploads/683d4880e639f8d647355997/mqbOdFfrC7KjDZbQlLFFj.png" 
+       style="width: 100%; max-width: 300px; height: auto;" />
+  <img src="https://cdn-uploads.huggingface.co/production/uploads/683d4880e639f8d647355997/VGnh14pYg-SXSaEt640qz.png" 
+     style="width: 100%; max-width: 150px; height: auto;" />
+</div>
 
-```bash
-echo "Starting my GPU job"
-```
+## Model Card
 
-- Konsola "Starting my GPU job" mesajını yazdırır.
+This document describes a parameter-efficient fine-tuning setup using LoRA on the EuroHPC Karolina system. Axolotl provides flexible orchestration and Unsloth supplies optimized kernels for high-throughput training on the Euro_HPC dataset. This model is fine-tuned using Parameter-Efficient Fine-Tuning (PEFT) with LoRA (Low-Rank Adaptation) on the EuroHPC dataset, specifically the kvkk subset. The fine-tuning leverages the Axolotl framework for orchestration and Unsloth library for optimized training kernels.
 
-```bash
-ml OpenMPI/4.1.6-GCC-12.2.0-CUDA-12.4.0
-```
+### Hyperparameters
 
-- OpenMPI 4.1.6 modülü yüklenir. Bu modül, GCC 12.2.0 derleyicisi ve CUDA 12.4.0 ile uyumludur. OpenMPI, dağıtık bellek üzerinde çalışan paralel uygulamalar için kullanılan bir mesaj geçiş arabirimidir.
+* **LoRA Rank**: 16
+* **LoRA Alpha**: 32
+* **LoRA Dropout**: 0.05
+* **Learning Rate**: 3×10⁻⁵ with cosine scheduling
+* **Training Epochs**: 3 per domain
+* **Batch Size**: Optimized for A100 memory capacity
 
-```bash
-ml Python/3.11.2-GCCcore-12.2.0-bare
-```
+### Architecture
 
-- Python 3.11.2 modülü yüklenir. Bu Python sürümü, GCC 12.2.0 temelinde çalışmaktadır.
+* **Base Model**: Llama-3.1-8B-Instruct (Meta)
+* **Fine-tuning Method**: LoRA (Low-Rank Adaptation)
+* **Parameter Efficiency**: Only trainable LoRA parameters, frozen base model
+* **Model Size**: 8B parameters (base) + LoRA adapters
 
-```bash
-bash src/run_finetune.sh kvkk /scratch/project/dd-24-118/mcimen/finetune-newmind/new_format_eurohps/kişisel_verilerin_korunması_hukuku.json
-```
-
-- `run_finetune.sh` betiği çalıştırılır.
-
-#### Argümanlar:
-
-- `kvkk veri setinin ismi
-- `/scratch/project/dd-24-118/mcimen/finetune-newmind/new_format_eurohps/kişisel_verilerin_korunması_hukuku.json veri setinin yolu
+## Hardware and Software
 
-### Dataset Yapılandırması
+* **Orchestration**: [Axolotl framework](https://axolotl.ai/)
+* **Acceleration**: [Unsloth library](https://unsloth.ai/)
+* **Backend**: PyTorch with CUDA support
+* **System**: EuroHPC Karolina supercomputer
+* **GPUs**: NVIDIA A100 (8 × 40 GB per node, 320 GB HBM2 total)
+* **Utilization**: 85–90% GPU and memory efficiency
+* **Total Compute**: ~600 GPU hours
 
-Konfigürasyon dosyasında kullanılan veri kümesi şu şekilde tanımlanmıştır:
+## Data
 
+### Input Format
 
-Bu veri kümesi **Alpaca formatında** olup **instruction, input ve output** alanlarından oluşmaktadır. 
-Bu veri kümesi `kvkk` verilerini içermektedir.
+The dataset follows the **Alpaca format** with three key fields:
 
-Ayrıca, model çıktıları aşağıdaki gibi bir dizinde saklanacaktır:
-
-```yaml
-output_dir: modelin kayıt edileceği path
+```json
+{
+  "instruction": "Task description or question",
+  "input": "Additional context or input data",
+  "output": "Expected response or answer"
+}
 ```
 
-Ek olarak, **wandb** konfigürasyonları gibi parametrelerin de revize edilmesi gerekmektedir.
+**Dataset**: `newmindai/Euro_HPC` (kvkk subset)
 
+## How to Use
 
-## çalıştırılan python kodunun konumu
-/scratch/project/dd-24-118/mcimen/finetune-newmind/src/finetune_alpaca.py 
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
 
-Ayrıca, diğer checkpointler `/scratch/project/dd-24-118/mcimen/finetune-newmind/fine_tuned_models/kvkk/Llama-3.1-8B-Instruct/checkpoint-2600` içerisinde bulunabilir.
+# Load base model and tokenizer
+base_model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
+tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3.1-8B-Instruct")
 
-## Çalıştırma Talimatları
+# Load LoRA adapter
+model = PeftModel.from_pretrained(base_model, "newmindai/Llama-3.1-8B-Instruct-kvkk-alpaca")
 
-Bu betiği bir SLURM kümesinde çalıştırmak için aşağıdaki komut kullanılmalıdır:
+# Format input according to Alpaca format
+def format_prompt(instruction, input_text=""):
+    if input_text:
+        return f"### Instruction:\n{instruction}\n\n### Input:\n{input_text}\n\n### Response:\n"
+    else:
+        return f"### Instruction:\n{instruction}\n\n### Response:\n"
 
-```bash
-sbatch run_salloc.sh
+# Example usage
+prompt = format_prompt("Explain the benefits of regular exercise")
+inputs = tokenizer(prompt, return_tensors="pt")
+outputs = model.generate(**inputs, max_new_tokens=256)
+response = tokenizer.decode(outputs[0], skip_special_tokens=True)
 ```
 
-
-
-
+## Acknowledgments
+
+This research was supported by the EuroHPC Joint Undertaking (EuroHPC JU) under the Benchmark Access
+grant agreement No EHPC-BEN-2024B11-003. The authors gratefully acknowledge the computational resources
+provided by the IT4Innovations National Supercomputing Center (Czech Republic) on the Karolina supercomputer,
+made available through the EuroHPC JU.
+
+## Citation
+
+```bibtex
+@article{newmind2025,
+  title={Tailoring AI for Turkish Law: Domain-Specific Fine-Tuning of Small Language Models for Legal Expertise},
+  author={New Mind AI Team},
+  journal={Procedia Computer Science},
+  year={2025},
+  volume={239},
+  doi={10.1016/j.procs.2025.08.239},
+  note={Available online 23 September 2025, Version of Record 23 September 2025}
+}
+```