Instructions to use AhiskaAI/AhiskaAI-v0.4-145M-Base with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use AhiskaAI/AhiskaAI-v0.4-145M-Base with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="AhiskaAI/AhiskaAI-v0.4-145M-Base")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AhiskaAI/AhiskaAI-v0.4-145M-Base")
model = AutoModelForCausalLM.from_pretrained("AhiskaAI/AhiskaAI-v0.4-145M-Base", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use AhiskaAI/AhiskaAI-v0.4-145M-Base with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "AhiskaAI/AhiskaAI-v0.4-145M-Base"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.4-145M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/AhiskaAI/AhiskaAI-v0.4-145M-Base

SGLang

How to use AhiskaAI/AhiskaAI-v0.4-145M-Base with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "AhiskaAI/AhiskaAI-v0.4-145M-Base" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.4-145M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "AhiskaAI/AhiskaAI-v0.4-145M-Base" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AhiskaAI/AhiskaAI-v0.4-145M-Base",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use AhiskaAI/AhiskaAI-v0.4-145M-Base with Docker Model Runner:
```
docker model run hf.co/AhiskaAI/AhiskaAI-v0.4-145M-Base
```

AhıskaAI v0.4 145M Base

(Türkçe Açıklama Aşağıda)

Benchmark naming note: In the AhıskaAI v0.1 Lite Benchmark, this model was incorrectly listed as "AhıskaAI v0.4 135M". The model referred to by that benchmark entry is actually AhıskaAI v0.4 145M. Additionally, the benchmark entry originally labeled "AhıskaAI v0.4.1 135M" does not correspond to a real model of that name — it refers to the instruction-tuned AhıskaAI v0.4 145M IT (New) variant, released under the AhiskaAI/AhiskaAI-v0.4-145M-IT repository. The benchmark tables below preserve the original scores while correcting the model names.

AhıskaAI v0.4 Series

AhıskaAI is an independent open-source AI research project focused on small language models, custom tokenization, Turkish and Ahıska Turkish, and reproducible low-resource AI experiments.

The AhıskaAI v0.4 series explores different model sizes and training approaches while keeping the models lightweight and accessible.

This release is the Base language model of the AhıskaAI v0.4 145M model line, available at AhiskaAI/AhiskaAI-v0.4-145M-Base.

AhıskaAI v0.4 145M Base

AhıskaAI v0.4 145M Base is a small causal language model trained completely from scratch for Turkish text generation and small language model research.

The model was trained from scratch using FineWeb-2 HQ Turkish and the custom tokenizer developed for the AhıskaAI v0.4 series.

The model contains approximately 145M parameters in total. Approximately 125M parameters are contained in the transformer layers excluding the token embedding parameters.

This is an experimental small language model developed as part of the AhıskaAI research project.

Model Specifications

Specification	Value
Model name	AhıskaAI v0.4 145M Base
Repository	`AhiskaAI/AhiskaAI-v0.4-145M-Base`
Parameters	~145M
Transformer parameters	~125M excluding embeddings
Architecture	LlamaForCausalLM
Hidden size	768
Hidden layers	20
Attention heads	12
Key/Value heads	4
Intermediate size	2048
Head dimension	64
Maximum context length	2048
Vocabulary size	24,000
Activation	SiLU
Data type	bfloat16
Position encoding	RoPE
Word embeddings	Tied
Attention dropout	0.0
Attention bias	None
MLP bias	None

The model uses the LlamaForCausalLM architecture, but it was trained completely from scratch rather than initialized from the weights of an existing Llama model.

Training

AhıskaAI v0.4 145M Base was trained completely from scratch.

The pretraining data was based entirely on:

FineWeb-2 HQ Turkish

The model was trained for a total of 2 epochs over approximately 1.7B tokens of training data.

The model was not initialized from a larger pretrained model and was not fine-tuned from an existing language model.

The training objective was causal language modeling, where the model learns to predict the next token based on the preceding context.

The main goal of this training run was to investigate how a relatively small model with a custom Turkish-focused tokenizer performs when trained from scratch on a large Turkish text corpus.

Tokenizer

AhıskaAI v0.4 uses a custom 24K vocabulary BPE tokenizer.

The tokenizer is shared across the AhıskaAI v0.4 model series and was designed with a strong focus on:

Turkish
Ahıska Turkish
Turkish morphology
Efficient tokenization for Turkish text

A custom tokenizer was used instead of simply relying on the tokenizer of another pretrained language model.

Intended Use

AhıskaAI v0.4 145M Base can be used for:

Turkish text generation
Turkish language modeling experiments
Ahıska Turkish research
Small language model research
Low-resource language experiments
Custom tokenizer research
Causal language modeling experiments
Educational AI experiments
Lightweight local AI experiments
Further fine-tuning and instruction-tuning research

The model is primarily intended for experimentation and research rather than production-critical applications.

As a Base model, it is not instruction-tuned and is not specifically optimized to behave as a conversational assistant.

How to Run

You can run the model using the Hugging Face Transformers library.

Installation

pip install -U transformers torch

Basic Text Generation Example

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Note: This is a Base language model and does not use an instruction/chat template. Text generation should be performed by providing a text prompt and continuing the sequence.

Manual Prompt Example

The model can also be used directly with a plain text prompt:

Ahıska Türkleri hakkında

The model will attempt to continue the text based on patterns learned during pretraining.

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark is an experimental benchmark consisting of 100 questions and evaluating:

Turkish quality
Topic relevance
Factual/logical correctness

Each criterion is evaluated using a binary scoring system, and the final score is calculated as an overall average.

AhıskaAI v0.1 Lite Benchmark

Note: AhıskaAI v0.1 Lite Benchmark is an experimental benchmark and should not be considered a standardized benchmark.

Benchmark Naming Correction

In the original benchmark results, AhıskaAI v0.4 145M Base was incorrectly recorded as "AhıskaAI v0.4 135M".

The 50.17% benchmark result listed under "AhıskaAI v0.4 135M" belongs to this AhıskaAI v0.4 145M Base model.

Additionally, the entry originally listed as "AhıskaAI v0.4.1 135M" is not a real, separate model — there is no "v0.4.1" release. That benchmark entry actually corresponds to the instruction-tuned AhıskaAI v0.4 145M IT (New) variant.

The benchmark names have been corrected in this README for clarity.

Overall Benchmark

Rank	Model	Score
1	Gemma 3 1B	85.86%
2	Qwen 3 0.6B	55.22%
3	AhıskaAI v0.4 145M IT (New)	54.88%
4	AhıskaAI v0.4 235M	51.18%
5	AhıskaAI v0.4 145M	50.17%
6	Gemma 3 270M	46.46%
7	Qwen 2.5 0.5B	43.77%
8	AhıskaAI v0.4 35M	43.43%
9	Llama 3.2 1B	35.35%
10	SmolLM2 1.7B	22.89%
11	SmolLM2 360M	12.12%
12	SmolLM2 135M	1.01%

Turkish Performance

Rank	Model	Score
1	AhıskaAI v0.4 145M	100.00%
1	Gemma 3 1B	100.00%
3	AhıskaAI v0.4 145M IT (New)	97.98%
4	AhıskaAI v0.4 235M	96.97%
4	Gemma 3 270M	96.97%
6	AhıskaAI v0.4 35M	87.88%
7	Qwen 3 0.6B	86.87%
8	Qwen 2.5 0.5B	81.82%
9	Llama 3.2 1B	48.48%
10	SmolLM2 1.7B	46.46%
11	SmolLM2 360M	28.28%
12	SmolLM2 135M	3.03%

Topic Relevance

Rank	Model	Score
1	Gemma 3 1B	84.85%
2	Qwen 3 0.6B	47.47%
3	AhıskaAI v0.4 145M IT (New)	44.44%
4	Llama 3.2 1B	40.40%
5	AhıskaAI v0.4 235M	38.38%
6	AhıskaAI v0.4 145M	36.36%
7	Qwen 2.5 0.5B	33.33%
8	AhıskaAI v0.4 35M	32.32%
9	Gemma 3 270M	26.26%
10	SmolLM2 1.7B	13.13%
11	SmolLM2 360M	5.05%
12	SmolLM2 135M	0.00%

Correctness

Rank	Model	Score
1	Gemma 3 1B	72.73%
2	Qwen 3 0.6B	31.31%
3	AhıskaAI v0.4 145M IT (New)	22.22%
4	AhıskaAI v0.4 235M	18.18%
5	Llama 3.2 1B	17.17%
6	Qwen 2.5 0.5B	16.16%
6	Gemma 3 270M	16.16%
8	AhıskaAI v0.4 145M	14.14%
9	AhıskaAI v0.4 35M	10.10%
10	SmolLM2 1.7B	9.09%
11	SmolLM2 360M	3.03%
12	SmolLM2 135M	0.00%

Limitations

This model is intentionally small and experimental.

Because of its size and Base-model nature, it may:

Produce factually incorrect information
Generate meaningless or incomplete text
Produce repetitive text
Lose context in longer prompts
Generate off-topic continuations
Struggle with reasoning and multi-step tasks
Hallucinate information
Produce text that does not follow user instructions
Behave differently depending on the prompt and generation settings

As a Base model, it has not been specifically trained to follow natural-language instructions or behave as a conversational assistant.

Do not rely on this model for medical, legal, financial, safety-critical, or other high-stakes decisions.

Base Model

This model is a Base model and was trained completely from scratch.

It was not initialized from another pretrained language model and was not fine-tuned from a larger model.

The training process consisted of causal language model pretraining on FineWeb-2 HQ Turkish for 2 epochs over approximately 1.7B tokens.

Other Versions

AhıskaAI v0.4 35M Base — Smaller Base language model
AhıskaAI v0.4 35M IT — Instruction-tuned version of the 35M Base model
AhıskaAI v0.4 145M Base — This Base language model
AhıskaAI v0.4 145M IT — Instruction-tuned 145M release (Old / New SFT variants)
AhıskaAI v0.4 235M Base — Larger Base language model
AhıskaAI v0.4 235M IT — Instruction-tuned version of the 235M Base model

License

This model is released under the Apache 2.0 License.

If you use this model in a project, publication, application, or other public work, attribution to AhıskaAI is appreciated.

Suggested Citation

AhıskaAI v0.4 145M Base — A small causal language model trained from scratch for Turkish and Ahıska Turkish research.

Project: AhıskaAI Model: AhıskaAI v0.4 145M Base

Türkçe

AhıskaAI v0.4 Serisi

AhıskaAI; küçük dil modelleri, özel tokenizasyon, Türkçe ve Ahıska Türkçesi ve düşük kaynaklı yapay zekâ deneyleri üzerine çalışan bağımsız, açık kaynaklı bir AI araştırma projesidir.

AhıskaAI v0.4 serisi, farklı model boyutlarını ve eğitim yaklaşımlarını deneyerek hafif ve erişilebilir dil modelleri geliştirmeyi amaçlamaktadır.

Bu sürüm, AhıskaAI v0.4 145M Base dil modelidir ve AhiskaAI/AhiskaAI-v0.4-145M-Base reposunda yer almaktadır.

Benchmark isimlendirme notu: AhıskaAI v0.1 Lite Benchmark sonuçlarında bu model yanlışlıkla "AhıskaAI v0.4 135M" olarak adlandırılmıştır. Benchmark'taki bu kayıt aslında AhıskaAI v0.4 145M modeline aittir. Ayrıca, orijinalde "AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir — "v0.4.1" diye bir sürüm yoktur. Bu benchmark kaydı aslında instruction-tuned AhıskaAI v0.4 145M IT (New) varyantına aittir. Aşağıdaki benchmark tablolarında bu nedenle model adları düzeltilmiştir.

AhıskaAI v0.4 145M Base

AhıskaAI v0.4 145M Base, Türkçe metin üretimi ve küçük dil modeli araştırmaları için tamamen sıfırdan eğitilmiş küçük bir causal language modeldir.

Model, FineWeb-2 HQ Turkish verisi ve AhıskaAI v0.4 serisi için geliştirilen özel tokenizer kullanılarak sıfırdan eğitilmiştir.

Model toplamda yaklaşık 145M parametre içermektedir. Token embedding parametreleri hariç transformer katmanlarında yaklaşık 125M parametre bulunmaktadır.

Bu model, AhıskaAI araştırma projesinin bir parçası olarak geliştirilmiş deneysel bir küçük dil modelidir.

Model Özellikleri

Özellik	Değer
Model adı	AhıskaAI v0.4 145M Base
Repo	`AhiskaAI/AhiskaAI-v0.4-145M-Base`
Parametre sayısı	~145M
Transformer parametreleri	Embedding hariç ~125M
Mimari	LlamaForCausalLM
Hidden size	768
Hidden layers	20
Attention heads	12
Key/Value heads	4
Intermediate size	2048
Head dimension	64
Maksimum context	2048
Vocabulary	24,000
Aktivasyon	SiLU
Veri tipi	bfloat16
Position encoding	RoPE
Word embeddings	Tied
Attention dropout	0.0
Attention bias	Yok
MLP bias	Yok

Model LlamaForCausalLM mimarisini kullanmaktadır ancak mevcut bir Llama modelinin ağırlıkları kullanılarak oluşturulmamıştır. Model tamamen sıfırdan eğitilmiştir.

Eğitim

AhıskaAI v0.4 145M Base modeli tamamen sıfırdan eğitilmiştir.

Ön eğitim verisi tamamen:

FineWeb-2 HQ Turkish

verisine dayanmaktadır.

Model yaklaşık 1.7B token üzerinde toplam 2 epoch boyunca eğitilmiştir.

Model daha büyük bir pretrained modelin ağırlıkları kullanılarak başlatılmamış ve mevcut başka bir dil modeli üzerinden fine-tune edilmemiştir.

Eğitimde causal language modeling yaklaşımı kullanılmıştır. Model, verilen bağlama göre bir sonraki tokenı tahmin etmeyi öğrenmektedir.

Bu eğitim çalışmasının temel amacı, Türkçe odaklı özel bir tokenizer kullanan görece küçük bir modelin büyük miktarda Türkçe metin üzerinde tamamen sıfırdan eğitildiğinde nasıl performans gösterdiğini araştırmaktır.

Tokenizer

AhıskaAI v0.4 serisinde özel olarak geliştirilmiş 24K vocabulary BPE tokenizer kullanılmaktadır.

Tokenizer tüm AhıskaAI v0.4 serisi ile ortaktır ve özellikle:

Türkçe
Ahıska Türkçesi
Türkçe morfolojisi
Türkçe metinlerde verimli tokenizasyon

üzerine odaklanmaktadır.

Başka bir pretrained dil modelinin tokenizer'ı doğrudan kullanılmamıştır.

Kullanım Alanları

AhıskaAI v0.4 145M Base şu alanlarda kullanılabilir:

Türkçe metin üretimi
Türkçe language modeling deneyleri
Ahıska Türkçesi araştırmaları
Küçük dil modeli araştırmaları
Düşük kaynaklı dil deneyleri
Özel tokenizer araştırmaları
Causal language modeling deneyleri
Eğitim amaçlı AI deneyleri
Hafif yerel AI deneyleri
Model üzerinde fine-tuning ve instruction-tuning araştırmaları

Model öncelikli olarak deneysel ve araştırma amaçlıdır.

Base model olduğu için instruction-tuned değildir ve doğrudan sohbet asistanı olarak davranması için özel olarak eğitilmemiştir.

Çalıştırma

Modeli Hugging Face Transformers ile çalıştırabilirsiniz.

Kurulum

pip install -U transformers torch

Temel Metin Üretimi Örneği

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "AhiskaAI/AhiskaAI-v0.4-145M-Base"

device = "cuda" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if device == "cuda" else torch.float32

tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=dtype
).to(device)

prompt = "Ahıska Türkleri hakkında"

inputs = tokenizer(
    prompt,
    return_tensors="pt"
).to(device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=100,
        temperature=0.8,
        top_p=0.9,
        do_sample=True,
        repetition_penalty=1.1
    )

generated_tokens = outputs[0][inputs["input_ids"].shape[1]:]

print(
    tokenizer.decode(
        generated_tokens,
        skip_special_tokens=True
    )
)

Not: Bu model bir Base language modelidir ve instruction/chat template kullanmaz. Metin üretimi, bir metin prompt'u verilerek devam ettirme şeklinde gerçekleştirilmelidir.

Manuel Prompt Örneği

Model doğrudan düz metin prompt'u ile de kullanılabilir:

Ahıska Türkleri hakkında

Model, ön eğitim sırasında öğrendiği örüntülere göre bu metni devam ettirmeye çalışacaktır.

AhıskaAI v0.1 Lite Benchmark

AhıskaAI v0.1 Lite Benchmark, 100 sorudan oluşan deneysel bir benchmark'tır ve:

Türkçe kalitesi
Konu ilgisi
Bilgisel/mantıksal doğruluk

kriterlerini değerlendirmektedir.

Her kriter binary scoring sistemiyle değerlendirilmiş ve genel skor ortalama üzerinden hesaplanmıştır.

AhıskaAI v0.1 Lite Benchmark

Not: AhıskaAI v0.1 Lite Benchmark deneysel bir benchmark'tır ve standartlaştırılmış bir benchmark olarak değerlendirilmemelidir.

Benchmark İsimlendirme Düzeltmesi

Orijinal benchmark sonuçlarında AhıskaAI v0.4 145M Base modeli yanlışlıkla "AhıskaAI v0.4 135M" olarak kaydedilmiştir.

"AhıskaAI v0.4 135M" adı altında bulunan 50.17% benchmark sonucu aslında bu AhıskaAI v0.4 145M Base modeline aittir.

Ayrıca, orijinalde "AhıskaAI v0.4.1 135M" olarak listelenen kayıt gerçek, ayrı bir modele ait değildir — "v0.4.1" diye bir sürüm yoktur. Bu kayıt aslında instruction-tuned AhıskaAI v0.4 145M IT (New) varyantına aittir.

Bu README'de model adları açıklık amacıyla düzeltilmiştir.

Genel Benchmark

Sıra	Model	Skor
1	Gemma 3 1B	85.86%
2	Qwen 3 0.6B	55.22%
3	AhıskaAI v0.4 145M IT (New)	54.88%
4	AhıskaAI v0.4 235M	51.18%
5	AhıskaAI v0.4 145M	50.17%
6	Gemma 3 270M	46.46%
7	Qwen 2.5 0.5B	43.77%
8	AhıskaAI v0.4 35M	43.43%
9	Llama 3.2 1B	35.35%
10	SmolLM2 1.7B	22.89%
11	SmolLM2 360M	12.12%
12	SmolLM2 135M	1.01%

Türkçe Performansı

Sıra	Model	Skor
1	AhıskaAI v0.4 145M	100.00%
1	Gemma 3 1B	100.00%
3	AhıskaAI v0.4 145M IT (New)	97.98%
4	AhıskaAI v0.4 235M	96.97%
4	Gemma 3 270M	96.97%
6	AhıskaAI v0.4 35M	87.88%
7	Qwen 3 0.6B	86.87%
8	Qwen 2.5 0.5B	81.82%
9	Llama 3.2 1B	48.48%
10	SmolLM2 1.7B	46.46%
11	SmolLM2 360M	28.28%
12	SmolLM2 135M	3.03%

Konu İlgisi

Sıra	Model	Skor
1	Gemma 3 1B	84.85%
2	Qwen 3 0.6B	47.47%
3	AhıskaAI v0.4 145M IT (New)	44.44%
4	Llama 3.2 1B	40.40%
5	AhıskaAI v0.4 235M	38.38%
6	AhıskaAI v0.4 145M	36.36%
7	Qwen 2.5 0.5B	33.33%
8	AhıskaAI v0.4 35M	32.32%
9	Gemma 3 270M	26.26%
10	SmolLM2 1.7B	13.13%
11	SmolLM2 360M	5.05%
12	SmolLM2 135M	0.00%

Doğruluk

Sıra	Model	Skor
1	Gemma 3 1B	72.73%
2	Qwen 3 0.6B	31.31%
3	AhıskaAI v0.4 145M IT (New)	22.22%
4	AhıskaAI v0.4 235M	18.18%
5	Llama 3.2 1B	17.17%
6	Qwen 2.5 0.5B	16.16%
6	Gemma 3 270M	16.16%
8	AhıskaAI v0.4 145M	14.14%
9	AhıskaAI v0.4 35M	10.10%
10	SmolLM2 1.7B	9.09%
11	SmolLM2 360M	3.03%
12	SmolLM2 135M	0.00%

Sınırlamalar

Bu model özellikle küçük ve deneysel bir Base modelidir.

Model:

Yanlış bilgiler üretebilir
Anlamsız veya eksik metinler oluşturabilir
Tekrarlayan metinler üretebilir
Uzun promptlarda bağlamı kaybedebilir
Konu dışı devamlar oluşturabilir
Mantıksal çıkarım ve çok adımlı görevlerde zorlanabilir
Halüsinasyon üretebilir
Kullanıcı talimatlarını takip etmeyebilir
Prompt ve generation ayarlarına bağlı olarak farklı sonuçlar üretebilir

Base model olduğu için doğal dil talimatlarını takip etmek veya sohbet asistanı gibi davranmak üzere özel olarak eğitilmemiştir.

Model tıbbi, hukuki, finansal, güvenlik açısından kritik veya yüksek riskli kararlar için kullanılmamalıdır.

Base Model

Bu model Base modeldir ve tamamen sıfırdan eğitilmiştir.

Başka bir pretrained dil modelinin ağırlıkları kullanılarak başlatılmamış ve daha büyük bir model üzerinden fine-tune edilmemiştir.

Eğitim süreci, FineWeb-2 HQ Turkish verisi üzerinde yaklaşık 1.7B token kullanılarak toplam 2 epoch süren causal language model ön eğitiminden oluşmaktadır.

Diğer Sürümler

AhıskaAI v0.4 35M Base — Daha küçük Base dil modeli
AhıskaAI v0.4 35M IT — 35M Base modelinin instruction-tuned sürümü
AhıskaAI v0.4 145M Base — Bu Base dil modeli
AhıskaAI v0.4 145M IT — 145M instruction-tuned sürüm (Old / New SFT varyantları)
AhıskaAI v0.4 235M Base — Daha büyük Base dil modeli
AhıskaAI v0.4 235M IT — 235M Base modelinin instruction-tuned sürümü

Lisans

Bu model Apache 2.0 License altında yayınlanmıştır.

Bu modeli bir proje, yayın, uygulama veya başka bir kamuya açık çalışmada kullanıyorsanız AhıskaAI'ye atıfta bulunmanız rica edilir.

Önerilen Atıf

AhıskaAI v0.4 145M Base — Türkçe ve Ahıska Türkçesi araştırmaları için sıfırdan eğitilmiş küçük bir causal language model.

Proje: AhıskaAI Model: AhıskaAI v0.4 145M Base

Downloads last month: 193

Safetensors

Model size

0.2B params

Tensor type

BF16

Collection including AhiskaAI/AhiskaAI-v0.4-145M-Base

AhıskaAI v0.4 Collection

Collection

AhıskaAI v0.4 model series • 6 items • Updated about 21 hours ago • 1