Instructions to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with MLX:

# Make sure mlx-lm is installed
# pip install --upgrade mlx-lm

# Generate text with mlx-lm
from mlx_lm import load, generate

model, tokenizer = load("eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX")

prompt = "Write a story about Einstein"
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

text = generate(model, tokenizer, prompt=prompt, verbose=True)

Notebooks
Google Colab
Kaggle
Local Apps Settings
LM Studio

How to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with Pi:

Start the MLX server

# Install MLX LM:
uv tool install mlx-lm
# Start a local OpenAI-compatible server:
mlx_lm.server --model "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "mlx-lm": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Hermes Agent new

How to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with Hermes Agent:

Start the MLX server

# Install MLX LM:
uv tool install mlx-lm
# Start a local OpenAI-compatible server:
mlx_lm.server --model "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX

Run Hermes

hermes

OpenClaw new

How to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with OpenClaw:

Start the MLX server

# Install MLX LM:
uv tool install mlx-lm
# Start a local OpenAI-compatible server:
mlx_lm.server --model "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX" \
  --custom-provider-id mlx-lm \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

MLX LM

How to use eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX with MLX LM:

Generate or start a chat session

# Install MLX LM
uv tool install mlx-lm
# Interactive chat REPL
mlx_lm.chat --model "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"

Run an OpenAI-compatible server

# Install MLX LM
uv tool install mlx-lm
# Start the server
mlx_lm.server --model "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"
# Calling the OpenAI-compatible server with curl
curl -X POST "http://localhost:8000/v1/chat/completions" \
   -H "Content-Type: application/json" \
   --data '{
     "model": "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX",
     "messages": [
       {"role": "user", "content": "Hello"}
     ]
   }'

Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX / README_ko.md

eouya2

Duplicate from mlx-community/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX

4f5b2c5 3 days ago

preview code

Raw

History Blame Contribute Delete

4.35 kB

Qwen3.6-35B-A3B K-Guard REAP 25% — MLX 8-bit

English model card: README.md

이 모델은 mlx-community/Qwen3.6-35B-A3B-8bit을 기반으로 만든 한국어 중심 expert-pruned MLX 체크포인트입니다. Routed MoE expert에는 REAP 방식의 router-weighted activation pruning을 적용했으며, 기존 8-bit MLX 형식, top-8 routing, shared expert, tokenizer, chat template과 비-MoE 구성요소는 유지했습니다.

이 릴리스에서 K-Guard는 pruning 전에 routing 및 activation 통계를 수집할 때 사용한 한국어 중심 calibration profile을 의미합니다. 별도의 fine-tuning이나 가중치 재학습은 하지 않았습니다.

모델 요약

항목	값
기반 체크포인트	`mlx-community/Qwen3.6-35B-A3B-8bit`
아키텍처	Qwen3.6 MoE (`qwen3_5_moe`)
MoE layer	40
Layer당 routed expert	256개에서 192개로 축소
Layer당 제거 expert	64 / 256 (25%)
Token당 활성 routed expert	8개, 유지
Shared expert	유지
양자화	MLX affine 8-bit, group size 64
로컬 체크포인트 크기	약 27.18 GiB
Pruning 후 학습	없음

Calibration 및 expert 선정

총 24,576개 sequence로 구성된 결정적 한국어 중심 mixture에서 expert 중요도를 관측했습니다.

일반 한국어 instruction 및 reasoning 8,192개
한영 의미 대응 pair 8,192개
범용 capability replay 4,096개
Qwen3.6 text 및 reasoning 특화 4,096개

Observer는 seed 17, 최대 sequence length 8,192로 40개 MoE layer 전체를 관측했습니다. 각 layer에서 router-weighted activation 통계로 expert를 정렬하여 상위 192개를 유지하고, router row도 동일한 index로 축소했으며, top-8 routing은 그대로 유지했습니다.

Calibration 파일과 layer/expert별 전체 observation CSV는 eouya2/KGuard-Korean-MoE-Calibration-v1에 공개했습니다.

평가 결과

Base와 pruning 모델 모두 동일한 deterministic subset과 prompt로 평가했습니다.

Benchmark	Base 8-bit	이 모델
KMMLU	66.4	60.9
MMLU-Pro	64.3	58.8
GSM8K	96.7	96.7
HumanEval+ pass@1	90.9	93.3
학술 10-benchmark macro	81.2	79.7

KMMLU, MMLU-Pro, GSM8K는 각각 512문항의 고정 subset을 사용했고, HumanEval+는 EvalPlus 전체 164문항을 사용했습니다. 위 결과는 동일한 로컬 평가 조건에서 모델 간 차이를 비교하기 위한 수치입니다.

MLX 사용법

pip install -U mlx-lm

mlx_lm.generate \
  --model eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX \
  --prompt "한국어로 mixture-of-experts 모델을 간단히 설명해 주세요." \
  --max-tokens 256 \
  --temperature 0.0

Python 예제:

from mlx_lm import generate, load

model_id = "eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX"
model, tokenizer = load(model_id)

messages = [{"role": "user", "content": "한국어로 자기소개를 해 주세요."}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

print(generate(model, tokenizer, prompt=prompt, max_tokens=256))

OpenAI-compatible server:

mlx_lm.server --model eouya2/Qwen3.6-35B-A3B-KGuard-REAP25-8bit-MLX

권장 용도

Apple Silicon 로컬 실행, 한국어·한영 생성, MoE pruning 연구, routed expert 용량을 더 적극적으로 줄인 모델이 필요한 실험에 사용할 수 있습니다. 실제 서비스 적용 전에는 기반 모델과 동일하게 용도별 품질 및 안전성 평가를 권장합니다.

참고 자료

기반 모델: Qwen/Qwen3.6-35B-A3B
MLX 8-bit 변환: mlx-community/Qwen3.6-35B-A3B-8bit
REAP 논문: REAP the Experts
MLX pruning 구현: egesabanci/reap-mlx

라이선스

모델은 upstream Qwen 릴리스의 Apache 2.0 라이선스를 따릅니다. 별도 공개한 합성 calibration 데이터는 CC BY 4.0입니다.