---
language:
  - tr
license: apache-2.0
library_name: transformers
pipeline_tag: text-generation
tags:
  - ahiskaai
  - slm
  - small-language-model
  - turkish
  - turkish-llm
  - ahiska-turkish
  - causal-lm
  - text-generation
  - 145M
  - base-model
  - from-scratch
---

# AhıskaAI v0.4 145M Base

**(Türkçe Açıklama Aşağıda)**

> **Benchmark naming note:** In the AhıskaAI v0.1 Lite Benchmark, this model was incorrectly listed as **"AhıskaAI v0.4 135M"**. The model referred to by that benchmark entry is actually **AhıskaAI v0.4 145M**. Additionally, the benchmark entry originally labeled **"AhıskaAI v0.4.1 135M" does not correspond to a real model of that name** — it refers to the instruction-tuned **AhıskaAI v0.4 145M IT (New)** variant, released under the `AhiskaAI/AhiskaAI-v0.4-145M-IT` repository. The benchmark tables below preserve the original scores while correcting the model names.

## AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The **AhıskaAI v0.4** series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the **Base language model** of the AhıskaAI v0.4 145M model line, available at `AhiskaAI/AhiskaAI-v0.4-145M-Base`.

---

## AhıskaAI v0.4 145M Base

**AhıskaAI v0.4 145M Base** is a small causal language model trained completely from scratch for Turkish text generation and small language model research.

The model was trained from scratch using **FineWeb-2 HQ Turkish** and the custom tokenizer developed for the AhıskaAI v0.4 series.

The model contains approximately **145M parameters** in total. Approximately **125M parameters** are contained in the transformer layers excluding the token embedding parameters.

> This is an experimental small language model developed as part of the AhıskaAI research project.

---

## Model Specifications

| Specification          | Value                      |
| ---------------------- | -------------------------- |
| Model name             | AhıskaAI v0.4 145M Base    |
| Repository             | `AhiskaAI/AhiskaAI-v0.4-145M-Base` |
| Parameters             | ~145M                      |
| Transformer parameters | ~125M excluding embeddings |
| Architecture           | LlamaForCausalLM           |
| Hidden size            | 768                        |
| Hidden layers          | 20                         |
| Attention heads        | 12                         |
| Key/Value heads        | 4                          |
| Intermediate size      | 2048                       |
| Head dimension         | 64                         |
| Maximum context length | 2048                       |
| Vocabulary size        | 24,000                     |
| Activation             | SiLU                       |
| Data type              | bfloat16                   |
| Position encoding      | RoPE                       |
| Word embeddings        | Tied                       |
| Attention dropout      | 0.0                        |
| Attention bias         | None                       |
| MLP bias               | None                       |

The model uses the **LlamaForCausalLM architecture**, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.

---

## Training

**AhıskaAI v0.4 145M Base** was trained completely from scratch.

The pretraining data was based entirely on:

**FineWeb-2 HQ Turkish**

The model was trained for a total of **2 epochs** over approximately **1.7B tokens** of training data.

The model was not initialized from a larger pretrained model and was not fine-tuned from an existing language model.

The training objective was causal language modeling, where the model learns to predict the next token based on the preceding context.

The main goal of this training run was to investigate how a relatively small model with a custom Turkish-focused tokenizer performs when trained from scratch on a large Turkish text corpus.

---

## Tokenizer

AhıskaAI v0.4 uses a custom **24K vocabulary BPE tokenizer**.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

* Turkish
* Ahıska Turkish
* Turkish morphology
* Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

---

## Intended Use

AhıskaAI v0.4 145M Base can be used for:

* Turkish text generation
* Turkish language modeling experiments
* Ahıska Turkish research
* Small language model research
* Low-resource language experiments
* Custom tokenizer research
* Causal language modeling experiments
* Educational AI experiments
* Lightweight local AI experiments
* Further fine-tuning and instruction-tuning research

The model is primarily intended for experimentation and research rather than production-critical applications.

As a Base model, it is **not instruction-tuned** and is not specifically optimized to behave as a conversational assistant.

---

## How to Run

You can run the model using the Hugging Face Transformers library.

### Installation

```bash
pip install -U transformers torch
```

### Basic Text Generation Example

```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)
```

> **Note:** This is a Base language model and does not use an instruction/chat template. Text generation should be performed by providing a text prompt and continuing the sequence.

### Manual Prompt Example

The model can also be used directly with a plain text prompt:

```text
Ahıska Türkleri hakkında
```

The model will attempt to continue the text based on patterns learned during pretraining.

---

## AhıskaAI v0.1 Lite Benchmark

**AhıskaAI v0.1 Lite Benchmark** is an experimental benchmark consisting of 100 questions and evaluating:

* Turkish quality
* Topic relevance
* Factual/logical correctness

Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.

[AhıskaAI v0.1 Lite Benchmark](https://huggingface.co/datasets/AhiskaAI/AhiskaAI_v0.1_Lite_Benchmark)

> **Note:** AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

### Benchmark Naming Correction

In the original benchmark results, **AhıskaAI v0.4 145M Base** was incorrectly recorded as **"AhıskaAI v0.4 135M"**.

The **50.17%** benchmark result listed under "AhıskaAI v0.4 135M" belongs to this **AhıskaAI v0.4 145M Base** model.

Additionally, the entry originally listed as **"AhıskaAI v0.4.1 135M" is not a real, separate model** — there is no "v0.4.1" release. That benchmark entry actually corresponds to the instruction-tuned **AhıskaAI v0.4 145M IT (New)** variant.

The benchmark names have been corrected in this README for clarity.

### Overall Benchmark

| Rank | Model                              |      Score |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     85.86% |
|    2 | Qwen 3 0.6B                         |     55.22% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     54.88% |
|    4 | AhıskaAI v0.4 235M                  |     51.18% |
|    5 | **AhıskaAI v0.4 145M**              | **50.17%** |
|    6 | Gemma 3 270M                        |     46.46% |
|    7 | Qwen 2.5 0.5B                       |     43.77% |
|    8 | AhıskaAI v0.4 35M                   |     43.43% |
|    9 | Llama 3.2 1B                        |     35.35% |
|   10 | SmolLM2 1.7B                        |     22.89% |
|   11 | SmolLM2 360M                        |     12.12% |
|   12 | SmolLM2 135M                        |      1.01% |

---

### Turkish Performance

| Rank | Model                              |       Score |
| ---: | ----------------------------------- | ----------: |
|    1 | **AhıskaAI v0.4 145M**              | **100.00%** |
|    1 | Gemma 3 1B                          |     100.00% |
|    3 | AhıskaAI v0.4 145M IT (New)         |      97.98% |
|    4 | AhıskaAI v0.4 235M                  |      96.97% |
|    4 | Gemma 3 270M                        |      96.97% |
|    6 | AhıskaAI v0.4 35M                   |      87.88% |
|    7 | Qwen 3 0.6B                         |      86.87% |
|    8 | Qwen 2.5 0.5B                       |      81.82% |
|    9 | Llama 3.2 1B                        |      48.48% |
|   10 | SmolLM2 1.7B                        |      46.46% |
|   11 | SmolLM2 360M                        |      28.28% |
|   12 | SmolLM2 135M                        |       3.03% |

---

### Topic Relevance

| Rank | Model                              |      Score |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     84.85% |
|    2 | Qwen 3 0.6B                         |     47.47% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     44.44% |
|    4 | Llama 3.2 1B                        |     40.40% |
|    5 | AhıskaAI v0.4 235M                  |     38.38% |
|    6 | **AhıskaAI v0.4 145M**              | **36.36%** |
|    7 | Qwen 2.5 0.5B                       |     33.33% |
|    8 | AhıskaAI v0.4 35M                   |     32.32% |
|    9 | Gemma 3 270M                        |     26.26% |
|   10 | SmolLM2 1.7B                        |     13.13% |
|   11 | SmolLM2 360M                        |      5.05% |
|   12 | SmolLM2 135M                        |      0.00% |

---

### Correctness

| Rank | Model                              |      Score |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     72.73% |
|    2 | Qwen 3 0.6B                         |     31.31% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     22.22% |
|    4 | AhıskaAI v0.4 235M                  |     18.18% |
|    5 | Llama 3.2 1B                        |     17.17% |
|    6 | Qwen 2.5 0.5B                       |     16.16% |
|    6 | Gemma 3 270M                        |     16.16% |
|    8 | **AhıskaAI v0.4 145M**              | **14.14%** |
|    9 | AhıskaAI v0.4 35M                   |     10.10% |
|   10 | SmolLM2 1.7B                        |      9.09% |
|   11 | SmolLM2 360M                        |      3.03% |
|   12 | SmolLM2 135M                        |      0.00% |

---

## Limitations

This model is intentionally small and experimental.

Because of its size and Base-model nature, it may:

* Produce factually incorrect information
* Generate meaningless or incomplete text
* Produce repetitive text
* Lose context in longer prompts
* Generate off-topic continuations
* Struggle with reasoning and multi-step tasks
* Hallucinate information
* Produce text that does not follow user instructions
* Behave differently depending on the prompt and generation settings

As a Base model, it has not been specifically trained to follow natural-language instructions or behave as a conversational assistant.

**Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.**

---

## Base Model

This model **is a Base model** and was trained completely from scratch.

It was not initialized from another pretrained language model and was not fine-tuned from a larger model.

The training process consisted of causal language model pretraining on **FineWeb-2 HQ Turkish** for **2 epochs** over approximately **1.7B tokens**.

---

## Other Versions

* **AhıskaAI v0.4 35M Base** — Smaller Base language model
* **AhıskaAI v0.4 35M IT** — Instruction-tuned version of the 35M Base model
* **AhıskaAI v0.4 145M Base** — This Base language model
* **AhıskaAI v0.4 145M IT** — Instruction-tuned 145M release (Old / New SFT variants)
* **AhıskaAI v0.4 235M Base** — Larger Base language model
* **AhıskaAI v0.4 235M IT** — Instruction-tuned version of the 235M Base model

---

## License

This model is released under the **Apache 2.0 License**.

If you use this model in a project, publication, application, or other public work, attribution to **AhıskaAI** is appreciated.

### Suggested Citation

> AhıskaAI v0.4 145M Base — A small causal language model trained from scratch for Turkish and Ahıska Turkish research.
>
> **Project:** AhıskaAI
> **Model:** AhıskaAI v0.4 145M Base

---

# Türkçe

## AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

**AhıskaAI v0.4** serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 **145M Base dil modelidir** ve `AhiskaAI/AhiskaAI-v0.4-145M-Base` reposunda yer almaktadır.

> **Benchmark isimlendirme notu:** AhıskaAI v0.1 Lite Benchmark sonuçlarında bu model yanlışlıkla **"AhıskaAI v0.4 135M"** olarak adlandırılmıştır. Benchmark'taki bu kayıt aslında **AhıskaAI v0.4 145M** modeline aittir. Ayrıca, orijinalde **"AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir** — "v0.4.1" diye bir sürüm yoktur. Bu benchmark kaydı aslında instruction-tuned **AhıskaAI v0.4 145M IT (New)** varyantına aittir. Aşağıdaki benchmark tablolarında bu nedenle model adları düzeltilmiştir.

---

## AhıskaAI v0.4 145M Base

**AhıskaAI v0.4 145M Base**, Türkçe metin üretimi ve küçük dil modeli araştırmaları için tamamen sıfırdan eğitilmiş küçük bir causal language modeldir.

Model, **FineWeb-2 HQ Turkish** verisi ve AhıskaAI v0.4 serisi için geliştirilen özel tokenizer kullanılarak sıfırdan eğitilmiştir.

Model toplamda yaklaşık **145M parametre** içermektedir. Token embedding parametreleri hariç transformer katmanlarında yaklaşık **125M parametre** bulunmaktadır.

> Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

---

## Model Özellikleri

| Özellik                   | Değer                              |
| ------------------------- | ----------------------------------- |
| Model adı                 | AhıskaAI v0.4 145M Base            |
| Repo                      | `AhiskaAI/AhiskaAI-v0.4-145M-Base` |
| Parametre sayısı          | ~145M                               |
| Transformer parametreleri | Embedding hariç ~125M               |
| Mimari                    | LlamaForCausalLM                    |
| Hidden size               | 768                                  |
| Hidden layers             | 20                                   |
| Attention heads           | 12                                   |
| Key/Value heads           | 4                                    |
| Intermediate size         | 2048                                 |
| Head dimension            | 64                                   |
| Maksimum context          | 2048                                 |
| Vocabulary                | 24,000                               |
| Aktivasyon                | SiLU                                 |
| Veri tipi                 | bfloat16                             |
| Position encoding         | RoPE                                 |
| Word embeddings           | Tied                                 |
| Attention dropout         | 0.0                                  |
| Attention bias            | Yok                                  |
| MLP bias                  | Yok                                  |

Model **LlamaForCausalLM mimarisini** kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.

---

## Eğitim

**AhıskaAI v0.4 145M Base** modeli tamamen sıfırdan eğitilmiştir.

Ön eğitim verisi tamamen:

**FineWeb-2 HQ Turkish**

verisine dayanmaktadır.

Model yaklaşık **1.7B token** üzerinde toplam **2 epoch** boyunca eğitilmiştir.

Model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve mevcut başka bir dil modeli üzerinden fine-tune edilmemiştir.

Eğitimde causal language modeling yaklaşımı kullanılmıştır. Model, verilen bağlama göre bir sonraki tokenı tahmin etmeyi öğrenmektedir.

Bu eğitim çalışmasının temel amacı, Türkçe odaklı özel bir tokenizer kullanan görece küçük bir modelin büyük miktarda Türkçe metin üzerinde tamamen sıfırdan eğitildiğinde nasıl performans gösterdiğini araştırmaktır.

---

## Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş **24K vocabulary BPE tokenizer** kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

* Türkçe
* Ahıska Türkçesi
* Türkçe morfolojisi
* Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

---

## Kullanım Alanları

AhıskaAI v0.4 145M Base şu alanlarda kullanılabilir:

* Türkçe metin üretimi
* Türkçe language modeling deneyleri
* Ahıska Türkçesi araştırmaları
* Küçük dil modeli araştırmaları
* Düşük kaynaklı dil deneyleri
* Özel tokenizer araştırmaları
* Causal language modeling deneyleri
* Eğitim amaçlı AI deneyleri
* Hafif yerel AI deneyleri
* Model üzerinde fine-tuning ve instruction-tuning araştırmaları

Model öncelikli olarak **deneysel ve araştırma amaçlıdır.**

Base model olduğu için **instruction-tuned değildir** ve doğrudan sohbet asistanı olarak davranması için özel olarak eğitilmemiştir.

---

## Çalıştırma

Modeli Hugging Face Transformers ile çalıştırabilirsiniz.

### Kurulum

```bash
pip install -U transformers torch
```

### Temel Metin Üretimi Örneği

```python
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)
```

> **Not:** Bu model bir Base language modelidir ve instruction/chat template kullanmaz. Metin üretimi, bir metin prompt'u verilerek devam ettirme şeklinde gerçekleştirilmelidir.

### Manuel Prompt Örneği

Model doğrudan düz metin prompt'u ile de kullanılabilir:

```text
Ahıska Türkleri hakkında
```

Model, ön eğitim sırasında öğrendiği örüntülere göre bu metni devam ettirmeye çalışacaktır.

---

## AhıskaAI v0.1 Lite Benchmark

**AhıskaAI v0.1 Lite Benchmark**, 100 sorudan oluşan deneysel bir benchmark'tır ve:

* Türkçe kalitesi
* Konu ilgisi
* Bilgisel/mantıksal doğruluk

kriterlerini değerlendirmektedir.

Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.

[AhıskaAI v0.1 Lite Benchmark](https://huggingface.co/datasets/AhiskaAI/AhiskaAI_v0.1_Lite_Benchmark)

> **Not:** AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

### Benchmark İsimlendirme Düzeltmesi

Orijinal benchmark sonuçlarında **AhıskaAI v0.4 145M Base** modeli yanlışlıkla **"AhıskaAI v0.4 135M"** olarak kaydedilmiştir.

**"AhıskaAI v0.4 135M"** adı altında bulunan **50.17%** benchmark sonucu aslında bu **AhıskaAI v0.4 145M Base** modeline aittir.

Ayrıca, orijinalde **"AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir** — "v0.4.1" diye bir sürüm yoktur. Bu kayıt aslında instruction-tuned **AhıskaAI v0.4 145M IT (New)** varyantına aittir.

Bu README'de model adları açıklık amacıyla düzeltilmiştir.

### Genel Benchmark

| Sıra | Model                              |       Skor |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     85.86% |
|    2 | Qwen 3 0.6B                         |     55.22% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     54.88% |
|    4 | AhıskaAI v0.4 235M                  |     51.18% |
|    5 | **AhıskaAI v0.4 145M**              | **50.17%** |
|    6 | Gemma 3 270M                        |     46.46% |
|    7 | Qwen 2.5 0.5B                       |     43.77% |
|    8 | AhıskaAI v0.4 35M                   |     43.43% |
|    9 | Llama 3.2 1B                        |     35.35% |
|   10 | SmolLM2 1.7B                        |     22.89% |
|   11 | SmolLM2 360M                        |     12.12% |
|   12 | SmolLM2 135M                        |      1.01% |

---

### Türkçe Performansı

| Sıra | Model                              |        Skor |
| ---: | ----------------------------------- | ----------: |
|    1 | **AhıskaAI v0.4 145M**              | **100.00%** |
|    1 | Gemma 3 1B                          |     100.00% |
|    3 | AhıskaAI v0.4 145M IT (New)         |      97.98% |
|    4 | AhıskaAI v0.4 235M                  |      96.97% |
|    4 | Gemma 3 270M                        |      96.97% |
|    6 | AhıskaAI v0.4 35M                   |      87.88% |
|    7 | Qwen 3 0.6B                         |      86.87% |
|    8 | Qwen 2.5 0.5B                       |      81.82% |
|    9 | Llama 3.2 1B                        |      48.48% |
|   10 | SmolLM2 1.7B                        |      46.46% |
|   11 | SmolLM2 360M                        |      28.28% |
|   12 | SmolLM2 135M                        |       3.03% |

---

### Konu İlgisi

| Sıra | Model                              |       Skor |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     84.85% |
|    2 | Qwen 3 0.6B                         |     47.47% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     44.44% |
|    4 | Llama 3.2 1B                        |     40.40% |
|    5 | AhıskaAI v0.4 235M                  |     38.38% |
|    6 | **AhıskaAI v0.4 145M**              | **36.36%** |
|    7 | Qwen 2.5 0.5B                       |     33.33% |
|    8 | AhıskaAI v0.4 35M                   |     32.32% |
|    9 | Gemma 3 270M                        |     26.26% |
|   10 | SmolLM2 1.7B                        |     13.13% |
|   11 | SmolLM2 360M                        |      5.05% |
|   12 | SmolLM2 135M                        |      0.00% |

---

### Doğruluk

| Sıra | Model                              |       Skor |
| ---: | ----------------------------------- | ---------: |
|    1 | Gemma 3 1B                          |     72.73% |
|    2 | Qwen 3 0.6B                         |     31.31% |
|    3 | AhıskaAI v0.4 145M IT (New)         |     22.22% |
|    4 | AhıskaAI v0.4 235M                  |     18.18% |
|    5 | Llama 3.2 1B                        |     17.17% |
|    6 | Qwen 2.5 0.5B                       |     16.16% |
|    6 | Gemma 3 270M                        |     16.16% |
|    8 | **AhıskaAI v0.4 145M**              | **14.14%** |
|    9 | AhıskaAI v0.4 35M                   |     10.10% |
|   10 | SmolLM2 1.7B                        |      9.09% |
|   11 | SmolLM2 360M                        |      3.03% |
|   12 | SmolLM2 135M                        |      0.00% |

---

## Sınırlamalar

Bu model özellikle küçük ve deneysel bir Base modelidir.

Model:

* Yanlış bilgiler üretebilir
* Anlamsız veya eksik metinler oluşturabilir
* Tekrarlayan metinler üretebilir
* Uzun promptlarda bağlamı kaybedebilir
* Konu dışı devamlar oluşturabilir
* Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
* Halüsinasyon üretebilir
* Kullanıcı talimatlarını takip etmeyebilir
* Prompt ve generation ayarlarına bağlı olarak farklı sonuçlar üretebilir

Base model olduğu için doğal dil talimatlarını takip etmek veya sohbet asistanı gibi davranmak üzere özel olarak eğitilmemiştir.

**Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.**

---

## Base Model

Bu model **Base modeldir** ve tamamen sıfırdan eğitilmiştir.

Başka bir pretrained dil modelinin ağırlıkları kullanılarak başlatılmamış ve daha büyük bir model üzerinden fine-tune edilmemiştir.

Eğitim süreci, **FineWeb-2 HQ Turkish** verisi üzerinde yaklaşık **1.7B token** kullanılarak toplam **2 epoch** süren causal language model ön eğitiminden oluşmaktadır.

---

## Diğer Sürümler

* **AhıskaAI v0.4 35M Base** — Daha küçük Base dil modeli
* **AhıskaAI v0.4 35M IT** — 35M Base modelinin instruction-tuned sürümü
* **AhıskaAI v0.4 145M Base** — Bu Base dil modeli
* **AhıskaAI v0.4 145M IT** — 145M instruction-tuned sürüm (Old / New SFT varyantları)
* **AhıskaAI v0.4 235M Base** — Daha büyük Base dil modeli
* **AhıskaAI v0.4 235M IT** — 235M Base modelinin instruction-tuned sürümü

---

## Lisans

Bu model **Apache 2.0 License** altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız **AhıskaAI'ye atıfta bulunmanız rica edilir**.

### Önerilen Atıf

> AhıskaAI v0.4 145M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük bir causal language model.
>
> **Proje:** AhıskaAI
> **Model:** AhıskaAI v0.4 145M Base