| ---
|
| language:
|
| - tr
|
| datasets:
|
| - Kedy123/TechTr-sythetic-code-1K
|
| - Kedy123/TecTr-Sythetic-Math-1K
|
| - Kedy123/TechTr-Synthetic-1K
|
| - allenai/c4
|
| tags:
|
| - turkish
|
| - tr
|
| - text-generation
|
| - gpt2
|
| - tiny-model
|
| - rope
|
| - custom-tokenizer
|
| - green-ai
|
| - micro-green
|
| - synthetic-data
|
| license: cc-by-sa-4.0
|
| ---
|
|
|
| green ai serisinin başlangıcı olan model olacaktır kendisi ve şu ana kadar yayınlanan datasetler ile eğitilmiştir
|
| (bir kısmını paylaşmadım datasetlerin model dosyalarda olanlardan daha fazlasını gördü)
|
|
|
| green ai küçük ama zeki mantığında çalışan zekayı sadece parametreye bağlamayan bir modeldir.
|
|
|
| model hakkında bilgiler:
|
| -modelimiz 2048 token bağlam penceresine ve kendi tokenizerine sahiptir
|
| -tokenizer türkçeye özel olarak eğitilmiştir (vocab sayısı 8.002)
|
| -dikkat mekanizması olarak RoPE kullanılmıştır
|
| -toplamda 15 milyon token ve 20 epoch ile eğitilmiştir (tiny model esnekliği)
|
| -modelimiz türkçe kelimeleri kurabiliyor ama 3-4 kelimeden sonra bağlam uçuyor haberiniz olsun (loss değeri ~5 civarlarında olduğu için(özür dilerim))
|
|
|
|
|
| bu model başlangıç modeli olduğu ve yorgunluğumdan ötürü biraz kalitesiz eğitebilmiş olabileceğim için özür dilerim
|
| eğer dalga geçmezseniz veya aşağılamaya çalışmazsanız sevinirim (model daha çok küçük)
|
|
|
| aynı zamanda model isim haklarına sahiptir, fine tune ederek de tamamen kendi ürününüz olarak hizmet veremezsiniz atıfta bulunursanız sevinirim.
|
| (aynı zamanda devam edecek olan green ai serileri için de söylüyorum bunu)(lütfen) |
