Apodex-1.1-mini-Finnish-Uncensored-GGUF (Native MTP Preserved)

🌐 Quick Navigation / Valitse Kieli

🇫🇮 Suomenkielinen mallikortti & käyttöohje   |   🇬🇧 English Documentation & Quickstart

---

Katagurun viralliset GGUF-monikvantisoinnit apodex/Apodex-1.1-mini -mallista. Mallille on suoritettu sensuroinnin poisto (SOMA/ARA -aktiviteettiortogonalisointi), suomen kielen ja episteemisen rehellisyyden ankkurointi sekä Kataguru Master Chat Template v1.0 -integraatio.

Kaikki malliversiot säilyttävät natiivin MTP/NextN-spekulaatiopään (kerros 40), mikä mahdollistaa jopa +30–50 % nopeamman tekstigeneroinnin ilman erillistä luonnosmallia.

Malli soveltuu suoraan ajettavaksi LM Studiossa, llama.cpp:ssä ja Ollamassa.

🌟 Erinomainen valinta vaikeisiin englanti–suomi -käännöstehtäviin (High-End English-to-Finnish Translation Engine):
Apodex-1.1-mini Finnish Uncensored on osoittautunut tuotantokäytössä poikkeuksellisen vahvaksi vaativan akateemisen, luonnontieteellisen, biolääketieteellisen ja teknisen tekstin kääntämisessä englannista luontevalle, täsmälliselle ja rikkaalle suomen kielelle.

• Terminologinen tarkkuus: Kääntää vaativat yhdyssanat ja tieteellisen sanaston suoraan oikeilla suomalaisilla vastineilla ilman kömpelöitä translitteraatioita tai käännöskoneanglisteja.
• Täysi sensuroimattomuus: Koska mallista on karsittu teennäiset kieltäytymisvektorit (SOMA/ARA), se ei katkea tai jumiudu myöskään haastavissa fysiologisissa, anatomisissa, lääketieteellisissä tai arkaluonteisissa yhteyksissä, vaan kääntää asiat tieteellisen rehellisesti ja täsmällisesti.
• Kevyt kuluttajaraudalle: Toimii sulavasti LM Studiossa, Ollamassa ja llama.cpp:ssä suoraan tavallisilla työasemilla.

---

1. Mitä Kataguru muutti? (Muutosyhteenveto)

Kenttä	Kuvaus
Pohjamalli	apodex/Apodex-1.1-mini (Qwen3.5 MoE + Mamba/SSM)
Katagurun muutos	SOMA/ARA residuaaliortogonalisointi (kieltäytymisvektoreiden neutralointi), kevyt suomi- & episteeminen ankkuri-SFT, Kataguru Master Chat Template v1.0
MTP-spekulaatio	Natiivi kerroksen 40 MTP/NextN-pää (20 lisätensoria) täysin säilytetty ja kvantisoitu
GGUF-versiot	Q4_K_M (20 Gt), IQ4_XS (18 Gt), Q5_K_M (24 Gt), Q6_K (27 Gt), Q3_K_M (~16 Gt), mmproj (861 Mt)
Visiotorni	mmproj-Apodex-1.1-mini-Finnish-Uncensored-BF16.gguf (multimodaalinen kuvatulkinta)
Mitä EI muutettu	Qwen3.5-MoE -arkkitehtuuri (256 asiantuntijaa, lineaarinen huomio), natiivi sanasto ja tokenisointi
Ensisijainen käyttö	Vaativat englanti–suomi -käännöstehtävät (akateeminen tiede, lääketiede, teknologia), paikallinen kuluttajarautapäättely (LM Studio, llama.cpp), esteetön suomenkielinen tekstintuotto ja kuvantulkinta

---

2. Saatavilla Olevat Kvantisoinnit

Tiedosto	Koko	Suositeltu laitteisto	Kuvaus
Apodex-1.1-mini-Finnish-Uncensored-Q4_K_M.gguf	~20 Gt	24–32 Gt VRAM (tai 32+ Gt RAM + GPU)	Suositeltu yleisversio: optimaalinen laadun ja nopeuden suhde.
Apodex-1.1-mini-Finnish-Uncensored-IQ4_XS.gguf	~18 Gt	20–24 Gt VRAM	Erittäin kompakti 4-bittinen i-matrix-kvantisointi.
Apodex-1.1-mini-Finnish-Uncensored-Q5_K_M.gguf	~24 Gt	32 Gt VRAM / 64 Gt RAM	Korkeampi liukulukutarkkuus vaativiin päättelytehtäviin.
Apodex-1.1-mini-Finnish-Uncensored-Q6_K.gguf	~27 Gt	32+ Gt VRAM	Lähes häviötön 6-bittinen laatu.
Apodex-1.1-mini-Finnish-Uncensored-Q3_K_M.gguf	~16 Gt	16 Gt VRAM	Kevytversio rajallisen muistin järjestelmiin.
mmproj-Apodex-1.1-mini-Finnish-Uncensored-BF16.gguf	861 Mt	Kaikki laitteistot	Multimodaalinen visioprojektori (kuvien syöttöön).

3. Sensuroinnin Poistomenetelmä: SOMA/ARA + Kevyt Ankkuri-SFT

Miksi perinteiset Hugging Face -menetelmät epäonnistuvat MoE-malleissa?

Hugging Facessa julkaistut "uncensored"-mallit jakautuvat perinteisesti kahteen karkeaan luokkaan:

1. Raaka abliterointi (Naive Abliteration / Heretic-skriptit ilman optimointia):
   • Suurin osa HF-yhteisön "abliterated"-malleista vähentää kieltäytymisvektorin sokkona kaikilta kerroksilta ilman hyperparametrien hienoviritystä.
   • Seuraus ("lobotomia-efekti"): Mekanistinen tulkittavuus osoittaa, että raaka leikkaus vahingoittaa vierekkäisiä semanttisia representaatioita. Mallin matemaattinen ja koodauspäättely heikkenee, kielellinen koherenssi rakoilee ja vastaukset alkavat helposti kiertää kehää.
   • MoE-katastrofi: Perinteiset skriptit leikkaavat myös reitittimiä (router gates), jolloin asiantuntijoiden erikoistuminen ja reitityksen entropia tuhoutuvat.
2. Pelkkä synteettinen SFT (kuten perinteinen Dolphin-koulutus):
   • Koulutetaan tuhansia myöntyväisiä keskusteluja ilman painotason geometrista leikkausta.
   • Seuraus (jailbreak drift): Esikoulutetut kieltäytymisaktivaatiot säilyvät syvällä mallin pohjakerroksissa. Monimutkaisissa, monitulkintaisissa tai vieraankielisissä kehotteissa alkuperäinen turvasensuuri aktivoituu uudelleen.

Katagurun ratkaisu: Kaksivaiheinen Hybridiputki

Kataguru käyttää tiettävästi ainoana tuotantotason hybridiputkea, joka yhdistää matemaattisen suorakirurgian ja kielellisen toipumisen:

1. SOMA (Sparse Orthogonal Modulation & Abliteration):
   • Kieltäytymissuunta $v$ mitataan residuaalitilasta paritetuilla haitallinen/neutraali -kehotteilla.
   • Optunan TPE-algoritmilla suoritetaan Bayesilainen haku, jolla löydetään täsmällinen kerrosikkuna ($0.25 L \le l \le 0.65 L$) ja skaalauskerroin $\alpha$, jolla kieltäytymisaste putoaa 0 %:iin samalla kun hämmennysluvun nousu rajataan tiukasti alle 1 %:iin ($\Delta \text{PPL} < 0.05$).
2. MoE-suojattu ARA (Activation Residual Abliteration):
   • Matemaattinen leikkaus kaavalla: $W' = W - \alpha \cdot v (v^T W)$.
   • Kohdistetaan tarkasti vain huomiomatriiseihin ($W_o$) ja kaikkien 256 asiantuntijan alasprojektioihin ($W_{down}^{(i)}$).
   • Reitittimen painoihin ei kosketa lainkaan, jolloin MoE-arkkitehtuurin asiantuntijajakauma säilyy 100 % ehjänä.
3. Kevyt Ankkuri-SFT (150–250 askelta, 15 min):
   • Leikkauksen jälkeen suoritetaan välitön kielellinen ankkurointi.
   • Korjaa geometrisen leikkauksen aiheuttaman mikroskooppisen roson residuaaliavaruudessa.
   • Poistaa moralisoivat esipuheet ("As an AI...", "On tärkeää huomata...") ja istuttaa Epistemic Honesty / Anti-Sycophancy -periaatteet (totuus mielistelyn edelle).

---

4. MTP-Spekulatiivinen Dekoodaus (Nopeutus)

Mallissa on sisäänrakennettu MTP (Multi-Token Prediction) -pää, jonka avulla llama.cpp tuottaa spekulatiivisesti useamman tokenin kerralla.

llama-cli:

./llama-cli \
  -m Apodex-1.1-mini-Finnish-Uncensored-Q4_K_M.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  -p "Kysymys: Miksi taivas on sininen?\nVastaus:" \
  -n 512

llama-server:

./llama-server \
  -m Apodex-1.1-mini-Finnish-Uncensored-Q4_K_M.gguf \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --port 8080 -c 16384

---

5. Kuvien Syöttö (Multimodaalisuus)

./llama-mtmd-cli \
  -m Apodex-1.1-mini-Finnish-Uncensored-Q4_K_M.gguf \
  -mm mmproj-Apodex-1.1-mini-Finnish-Uncensored-BF16.gguf \
  --image testikuva.jpg \
  -p "Kuvaile mitä tässä kuvassa näkyy suomeksi."

---

6. Rajoitukset ja Rehellinen Arvio

1. MoE-asiantuntijoiden offload: Parhaan suorituskyvyn saavuttamiseksi koko malli suositellaan ajettavaksi kokonaan VRAM:issa (tai vähintään GPU-kerroksilla, joissa huomiokerrokset ja aktiiviset asiantuntijat mahtuvat muistiin).
2. Sensuroimattomuus: Malli tuottaa vastauksia ilman kieltäytymissääntöjä käyttäjän kehotteen mukaisesti.

---

🇬🇧 English & International Guide

Overview

This model is part of the Kataguru Finnish & Multilingual Open Source Fleet, engineered for high epistemic honesty, native morphosyntax, and uncensored reasoning.

Key Features

• Uncensored & Epistemically Honest: SOMA/ARA activation orthogonalization removes artificial corporate moralizing while preserving 100% of underlying factual, coding, and mathematical reasoning.
• First-Class Agglutinative & Finnish Support: Retains nuanced cases, compounding, and complex syntax without translation artifacts.
• Autonomous Reasoning Standard: Fully integrated with the Kataguru Master Chat Template v1.0, supporting autonomous thinking (<think>...</think>).

Quickstart with vLLM / OpenAI API

# Example vLLM server launch:
vllm serve kataguru/Apodex-1.1-mini-Finnish-Uncensored-GGUF --port 8000

Quickstart with Python

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

response = client.chat.completions.create(
    model="kataguru/Apodex-1.1-mini-Finnish-Uncensored-GGUF",
    messages=[
        {"role": "user", "content": "Explain the core principle of metabolic health."}
    ],
    temperature=0.6
)
print(response.choices[0].message.content)