TheSingular/turkish-prompt-segmentation-inpainting

Türkçe İstemle Segmentasyon ve İçboyama Model Ağırlıkları

Bu depo, Türkçe istemle segmentasyon ve içboyama sisteminde kullanılan, proje kapsamında eğitilmiş dört başın (head) model ağırlıklarını yayımlamaktadır. İki kompakt segmentasyon başı hem burada hem de Git kaynak kod sürümünde yer alır; daha büyük iki koşullandırma başı ise burada yayımlanır. Dosyaların tamamı yalnızca model ağırlıklarını içeren Safetensors biçimindedir; Python pickle yükü, iyileştirici durumu, zamanlayıcı durumu veya eğitime devam etme verisi içermez.

Dosyalar

Dizin	Rol	Amaçlanan kullanım
segmentation/parent.safetensors	M-CLIP'ten CLIPSeg'e başlangıç üst modeli	Segmentasyon eğitimi
segmentation/promoted.safetensors	Seçilmiş 3. epok M-CLIP--CLIPSeg başı	Değerlendirme ve uygulama maskeleri
stage1_bridge/	Kaynak-temiz dizi-kosinüs köprü ön hizalaması	Aşama 2 eğitiminin başlangıç modeli
stage2_promoted/	Kaynak-temiz uçtan uca Q-Former	Seçilmiş değerlendirme ve uygulama başı

SD2 dizinleri kanonik sd2_inpainting_head.safetensors dosya adını kullanır. Her baş, katı gömülü üstveri ile bir köken yan dosyasına sahiptir. manifest.json; kaynak ve sürüm dosyalarının tam SHA-256 özetlerini, bayt boyutlarını, tensör parmak izlerini, temel model sürümlerini, lisansları ve tensör özdeşliği kanıtını kaydeder.

Gerekli Bileşenler

• Segmentasyon temeli: CIDAS/clipseg-rd64-refined, sürüm 999e0328d9e10b484360c477313983f9afdd7050
• İçboyama temeli: alwold/stable-diffusion-2-inpainting, sürüm e8255bd00e6a3d8dd489d2a9f03955eb08262d6e
• M-CLIP: M-CLIP/XLM-Roberta-Large-Vit-L-14; tam sürüm kaynak kod sürümünde sabitlenmiştir
• Seçilmiş UNet LoRA: kaynak kod sürümünde küçük bir Git varlığı olarak sunulur
• Yükleyiciler: segmentasyon için TemperatureScaledCosineHead, içboyama için SD2InpaintingCrossAttentionHead

Bu tensör eşlemeleri tek başına çalışan işlem hatları değildir. İlgili proje mimarisini oluşturun ve seçilen durum sözlüğünü safetensors.torch.load_file ile yükleyin. İçboyama yolu ayrıca seçilmiş UNet LoRA'yı sabitlenmiş temel UNet'e bağlar. Değerlendirme sırasında bütün bileşenleri çıkarım modunda tutun.

Eşleşen kaynak kod, yükleyiciler, değerlendirme komutları ve yeniden üretilebilirlik manifestleri https://github.com/TheSingular/turkish-prompt-segmentation-inpainting adresinde yayımlanmıştır.

Eğitim Özeti

Aşama 1'de yalnızca koşullandırma köprüsü üç epok boyunca eğitilmiştir. Eğitim, kaynak-temiz başlık/ad yeniden yapılandırma silsilesi üzerinde, konum düzeyinde dizi-kosinüs hizalamasıyla donmuş İngilizce SD2 metin koşullandırma dizisini hedef almıştır. Aşama 2 bu baştan başlatılmış; köprü ile yeni bir UNet LoRA, bir tam epok boyunca gürültü giderme, öğretmen damıtımı, CFG-farkı damıtımı ve sürdürülen dizi-kosinüs hizalamasıyla birlikte eğitilmiştir. M-CLIP ve SD2 temel omurgaları donmuş durumda tutulmuştur.

Değerlendirme Sınırı

Seçilmiş Aşama 2 başı tezin değerlendirme uç noktasıdır. Önceki bir değerlendirmede dropout katmanlarının yanlışlıkla etkin kaldığı belirlendikten sonra düzeltilen karşılaştırmalar, modelleri açıkça çıkarım moduna almaktadır. Tahmin edilen maske sonuçları ile referans maske denetimleri ayrı raporlanır. Bu dosyalar yayımlanan model durumunu yeniden kurar; tarihsel eğitimde tüm rastlantısallık kaynakları küresel olarak tohumlanmadığı için eğitimin bit düzeyinde özdeş tekrarını vaat etmez.

Sınırlılıklar ve Riskler

• Türkçe öznitelik bağlama, sınanan koşullarda İngilizceden daha zayıftır.
• Segmentasyon hataları üretim kalitesine taşınır.
• Sistem; güvenlik-kritik, gözetim, biyometrik, tıbbi, hukuki veya otomatik karar kullanımları için doğrulanmamıştır.
• Çıktılar temel Stable Diffusion modelinin ve eğitim verilerinin önyargılarını, hata biçimlerini ve kullanım kısıtlarını devralır.
• Üretim ortamına yönelik güvenlik süzgeci veya dağıtım sağlamlaştırması sunulmaz.

Lisans

Depo genelinde geçerli tek bir model lisansı yoktur. segmentation/ altındaki dosyalar CLIPSeg üst modelinin Apache-2.0 koşullarını korur; tam metin licenses/LICENSE-APACHE-2.0 dosyasındadır. stage1_bridge/ ve stage2_promoted/ altındaki dosyalar, licenses/LICENSE-INPAINTING içindeki CreativeML Open RAIL++-M koşullarıyla dağıtılan Stable Diffusion türevleridir. Proje kaynak kodu ayrıca MIT lisanslıdır; üst M-CLIP bileşeni ile veri kümelerinin kendi koşulları ilgili varlıklar için geçerliliğini korur.

---

English: Turkish Prompt Segmentation and Inpainting Model Weights

This repository publishes the model weights for the four project-trained heads used by the Turkish prompt segmentation and inpainting system. The two compact segmentation heads are mirrored here and in the Git code release; the two larger conditioning heads live here. Every file is weights-only Safetensors with no Python pickle, optimizer state, scheduler state, or training-resume payload.

Files

Directory	Role	Intended use
segmentation/parent.safetensors	M-CLIP to CLIPSeg initialization parent	Segmentation training
segmentation/promoted.safetensors	Selected epoch-3 M-CLIP to CLIPSeg head	Evaluation and app masks
stage1_bridge/	Source-clean sequence-cosine bridge pre-alignment	Parent for Stage 2 training
stage2_promoted/	Source-clean end-to-end Q-Former	Promoted evaluation and app head

The SD2 directories use the canonical filename sd2_inpainting_head.safetensors. Every head has strict embedded metadata and a provenance sidecar. manifest.json records exact source and release SHA-256 hashes, byte sizes, tensor fingerprints, base revisions, licenses, and the tensor-identity proof.

Required Components

• Segmentation base: CIDAS/clipseg-rd64-refined at 999e0328d9e10b484360c477313983f9afdd7050
• Inpainting base: alwold/stable-diffusion-2-inpainting at e8255bd00e6a3d8dd489d2a9f03955eb08262d6e
• M-CLIP: M-CLIP/XLM-Roberta-Large-Vit-L-14, pinned by the code release
• Promoted UNet LoRA: shipped as a small Git asset in the code release
• Loaders: TemperatureScaledCosineHead for segmentation and SD2InpaintingCrossAttentionHead for inpainting

These tensor maps are not standalone pipelines. Instantiate the matching project architecture and load the selected state dictionary with safetensors.torch.load_file; the inpainting path also attaches the promoted UNet LoRA to the pinned base UNet. Keep every component in inference mode during evaluation.

The matching source, loaders, evaluation commands, and reproducibility manifests are published at https://github.com/TheSingular/turkish-prompt-segmentation-inpainting.

Training Summary

Stage 1 trained only the conditioning bridge for three epochs on the source-clean caption/noun reconstruction lineage using position-level sequence cosine alignment to the frozen English SD2 text-conditioning sequence. Stage 2 initialized from that head and jointly trained the bridge plus a fresh UNet LoRA for one full epoch using denoising, teacher distillation, CFG-delta distillation, and continued sequence-cosine alignment. The M-CLIP and SD2 base backbones remained frozen.

Evaluation Boundary

The promoted Stage 2 head is the thesis evaluation endpoint. Corrected benchmarks explicitly set models to inference mode after an earlier evaluation dropout defect was found. Predicted-mask results and reference-mask controls are reported separately. These files reproduce the released model state; they do not promise bit-identical retraining because historical training did not seed every stochastic source globally.

Limitations and Risks

• Turkish attribute binding remains weaker than English in tested settings.
• Segmentation errors propagate into generation quality.
• The system is not validated for safety-critical, surveillance, biometric, medical, legal, or automated decision uses.
• Outputs inherit the biases, failure modes, and use restrictions of the base Stable Diffusion model and the training data.
• No production safety filter or deployment hardening is included.

License

There is no single repository-wide model license. The files under segmentation/ preserve the CLIPSeg parent's Apache-2.0 terms; the exact text is licenses/LICENSE-APACHE-2.0. The files under stage1_bridge/ and stage2_promoted/ are Stable Diffusion derivatives distributed under the CreativeML Open RAIL++-M terms in licenses/LICENSE-INPAINTING. The project code is separately MIT-licensed; upstream M-CLIP and dataset terms remain controlling for their respective assets.