README_ko.md

Qwen3.6-35B-A3B K-Guard REAP 12.5% — MLX 8-bit

English model card: README.md

이 모델은 mlx-community/Qwen3.6-35B-A3B-8bit을 기반으로 만든 한국어 중심 expert-pruned MLX 체크포인트입니다. Routed MoE expert에는 REAP 방식의 router-weighted activation pruning을 적용했으며, 기존 8-bit MLX 형식, top-8 routing, shared expert, tokenizer, chat template과 비-MoE 구성요소는 유지했습니다.

이 릴리스에서 K-Guard는 pruning 전에 routing 및 activation 통계를 수집할 때 사용한 한국어 중심 calibration profile을 의미합니다. 별도의 fine-tuning이나 가중치 재학습은 하지 않았습니다.

모델 요약

항목	값
기반 체크포인트	mlx-community/Qwen3.6-35B-A3B-8bit
아키텍처	Qwen3.6 MoE (qwen3_5_moe)
MoE layer	40
Layer당 routed expert	256개에서 224개로 축소
Layer당 제거 expert	32 / 256 (12.5%)
Token당 활성 routed expert	8개, 유지
Shared expert	유지
양자화	MLX affine 8-bit, group size 64
로컬 체크포인트 크기	약 31.17 GiB
Pruning 후 학습	없음

Calibration 및 expert 선정

총 24,576개 sequence로 구성된 결정적 한국어 중심 mixture에서 expert 중요도를 관측했습니다.

• 일반 한국어 instruction 및 reasoning 8,192개
• 한영 의미 대응 pair 8,192개
• 범용 capability replay 4,096개
• Qwen3.6 text 및 reasoning 특화 4,096개

Observer는 seed 17, 최대 sequence length 8,192로 40개 MoE layer 전체를 관측했습니다. 각 layer에서 router-weighted activation 통계로 expert를 정렬하여 상위 224개를 유지하고, router row도 동일한 index로 축소했으며, top-8 routing은 그대로 유지했습니다.

Calibration 파일과 layer/expert별 전체 observation CSV는 eouya2/KGuard-Korean-MoE-Calibration-v1에 공개했습니다.

평가 결과

Base와 pruning 모델 모두 동일한 deterministic subset과 prompt로 평가했습니다.

Benchmark	Base 8-bit	이 모델
KMMLU	66.4	64.5
MMLU-Pro	64.3	61.3
GSM8K	96.7	95.7
HumanEval+ pass@1	90.9	92.1
학술 10-benchmark macro	81.2	80.5

KMMLU, MMLU-Pro, GSM8K는 각각 512문항의 고정 subset을 사용했고, HumanEval+는 EvalPlus 전체 164문항을 사용했습니다. 위 결과는 동일한 로컬 평가 조건에서 모델 간 차이를 비교하기 위한 수치입니다.

MLX 사용법

pip install -U mlx-lm

mlx_lm.generate \
  --model eouya2/Qwen3.6-35B-A3B-KGuard-REAP12.5-8bit-MLX \
  --prompt "한국어로 mixture-of-experts 모델을 간단히 설명해 주세요." \
  --max-tokens 256 \
  --temperature 0.0

Python 예제:

from mlx_lm import generate, load

model_id = "eouya2/Qwen3.6-35B-A3B-KGuard-REAP12.5-8bit-MLX"
model, tokenizer = load(model_id)

messages = [{"role": "user", "content": "한국어로 자기소개를 해 주세요."}]
prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)

print(generate(model, tokenizer, prompt=prompt, max_tokens=256))

OpenAI-compatible server:

mlx_lm.server --model eouya2/Qwen3.6-35B-A3B-KGuard-REAP12.5-8bit-MLX

권장 용도

Apple Silicon 로컬 실행, 한국어·한영 생성, MoE pruning 연구, routed expert 용량을 완만하게 줄인 모델이 필요한 실험에 사용할 수 있습니다. 실제 서비스 적용 전에는 기반 모델과 동일하게 용도별 품질 및 안전성 평가를 권장합니다.

참고 자료

• 기반 모델: Qwen/Qwen3.6-35B-A3B
• MLX 8-bit 변환: mlx-community/Qwen3.6-35B-A3B-8bit
• REAP 논문: REAP the Experts
• MLX pruning 구현: egesabanci/reap-mlx

라이선스

모델은 upstream Qwen 릴리스의 Apache 2.0 라이선스를 따릅니다. 별도 공개한 합성 calibration 데이터는 CC BY 4.0입니다.