K-EXAONE-152B-A23B-REAP-80E-NVFP4

English

This model is an NVFP4 W4A4-quantized version of Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16, which is a REAP expert-pruned variant of LGAI-EXAONE/K-EXAONE-236B-A23B.

The parent model was pruned from 128 to 80 routed experts per MoE layer while preserving 23B active parameters. This repository further compresses the pruned model using NVFP4 quantization.

The model was produced primarily for single-device serving on GB10-class systems with 128GB of unified memory, such as NVIDIA DGX Spark.

Approximate serialized model sizes:

• Original 236B BF16 model: approximately 472GB
• REAP 80E BF16 model: approximately 304GB
• NVFP4 model: approximately 92GB

These figures describe approximate serialized weight sizes rather than total runtime memory usage. Actual serving memory also depends on KV cache allocation, context length, CUDA graphs, kernel workspaces, and other runtime overhead.

Quantization Setup

• Tool:
  • llmcompressor 0.12.1.dev61+gc8676edd
  • compressed-tensors 0.17.2.a20260707
• Quantization scheme: NVFP4 W4A4
  • Weights: FP4 E2M1
  • Weight group size: 16
  • Block scales: FP8 E4M3
  • Activations: dynamically quantized FP4 with calibrated global scales
• Quantization algorithm: standard NVFP4 PTQ (RTN)
  • QuantizationModifier(targets="Linear", scheme="NVFP4")
  • Round-to-nearest weight quantization; calibration observes activation global scales
• MoE handling:
  • Packed 3D expert tensors were represented as individual per-expert Linear modules
  • Routed expert weights were quantized at per-expert Linear granularity
• Modules preserved in BF16:
  • lm_head
  • Router modules, including mlp.gate
  • Shared experts
  • Dense layer 0 MLP
  • MTP head
• Calibration:
  • 512 samples
  • Maximum sequence length: 8,192 tokens
  • The original run used max-length padding and prefix-truncated samples longer than 8K
  • Drawn from the same general mixture used for REAP pruning
  • Includes code, mathematical and scientific reasoning, tool calling, agentic coding, Korean instruction and reasoning, Korean tool calling, and long-context prefixes

Both the pruning and quantization stages used calibration mixtures containing Korean data, reasoning traces, tool-use examples, and long-context samples. This was intended to reduce the risk of repetitive generation or non-terminating reasoning behavior after compression.

Serving with vLLM

A vLLM build with support for exaone_moe, NVFP4 compressed-tensors models, and the target Blackwell platform is required.

vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
  --reasoning-parser deepseek_v3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

On supported Blackwell platforms, the FlashInfer FP4 MoE kernel can be enabled with:

export VLLM_USE_FLASHINFER_MOE_FP4=1

vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
  --reasoning-parser deepseek_v3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

Recommended sampling parameters:

temperature=1.0
top_p=0.95
presence_penalty=0.0

The BF16 MTP weights are included, allowing the model to use MTP-based self-speculative decoding.

The maximum practical context length on a 128GB system depends on the KV-cache dtype, concurrency, CUDA graph configuration, and other runtime memory allocations.

Model Lineage

1. LGAI-EXAONE/K-EXAONE-236B-A23B
   • 236B total parameters
   • 23B active parameters
   • 128 routed experts per MoE layer
2. REAP expert pruning
   • Approximately 101M calibration tokens
   • 16K–253K context-length mixture
   • 128 → 80 routed experts per MoE layer
3. Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16
   • 152B total parameters
   • 23B active parameters
   • 80 routed experts per MoE layer
4. RTN-based NVFP4 W4A4 post-training quantization
   • This repository

Personal Motivation

This project began mostly as a hobby.

K-EXAONE has received relatively little attention from the open-model community, and few derivative models have appeared around it. I wanted to see whether pruning and quantization could bring the model somewhat closer to the range accessible to prosumers, small laboratories, and independent developers with high-end but non-datacenter hardware.

K-EXAONE-236B-A23B occupies a difficult position. It is too large for most local users, while users with enough infrastructure to serve it may also consider newer and substantially larger open models. Meanwhile, smaller model segments already contain highly competitive and accessible alternatives.

This project does not resolve that positioning problem, and a 152B model remains large even after NVFP4 quantization. It is simply an attempt to narrow the accessibility gap enough that more people can download, serve, and evaluate the model directly.

There is also a practical motivation. In enterprise and public-sector environments, model selection may be constrained by data-transfer restrictions, isolated-network requirements, security and compliance policies, licensing, model provenance, supply-chain considerations, and the ability to operate a model independently.

These constraints do not automatically make a domestic model the best choice. Performance, cost, reliability, licensing, and maintainability must still be evaluated objectively. However, having more technically viable options is valuable.

Limitations

• The parent BF16 model was produced through one-shot expert pruning without distillation or post-pruning healing.
• This model applies additional W4A4 quantization to the pruned model, so quality degradation may accumulate across both compression stages.
• Benchmark performance and long-context stability have not necessarily been preserved uniformly across every language, domain, and task.
• The approximately 92GB model size does not represent total runtime memory consumption.
• Successful loading on a 128GB unified-memory system does not guarantee that every context length, concurrency level, or CUDA graph configuration will fit.
• Blackwell-specific FP4 kernels and software support may be required for the intended performance characteristics.
• Users should evaluate reasoning stability, tool-calling behavior, Korean performance, and task-specific accuracy before production deployment.
• Repetitive or non-terminating reasoning has been observed in serving. In a small 12-prompt A100 weight-only fallback smoke test at a 2,048-token cap, 10 responses hit the cap and only 2 emitted the end-of-turn token. This is not a general benchmark and does not validate native Blackwell W4A4 execution, but it confirms a stability issue.

License

This model is distributed under the same K-EXAONE AI Model License as the original model. See the included LICENSE file for the complete terms.

The repository name begins with K-EXAONE in accordance with the naming requirement in the original license.

Acknowledgements

• LG AI Research — K-EXAONE
• Cerebras Research — REAP paper
• vLLM Project — vLLM and llm-compressor
• Neural Magic and the compressed-tensors contributors — compressed-tensors

---

한국어

이 모델은 Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16을 NVFP4 W4A4 형식으로 양자화한 모델입니다.

부모 모델은 LGAI-EXAONE/K-EXAONE-236B-A23B에 REAP expert pruning을 적용해, 각 MoE 레이어의 routed expert를 128개에서 80개로 줄인 모델입니다. 활성 파라미터는 기존과 동일한 23B를 유지합니다.

이 저장소에서는 해당 pruning 모델을 NVFP4로 추가 압축했습니다.

주요 제작 목표는 NVIDIA DGX Spark와 같은 128GB 통합 메모리 기반 GB10급 시스템에서의 단일 디바이스 서빙입니다.

대략적인 직렬화 모델 크기는 다음과 같습니다.

• 원본 236B BF16 모델: 약 472GB
• REAP 80E BF16 모델: 약 304GB
• NVFP4 모델: 약 92GB

위 수치는 대략적인 가중치 파일 크기이며, 전체 런타임 메모리 사용량을 의미하지 않습니다. 실제 서빙 시에는 KV cache, context length, CUDA graph, 커널 workspace 등의 추가 메모리가 필요합니다.

양자화 설정

• 사용 도구:
  • llmcompressor 0.12.1.dev61+gc8676edd
  • compressed-tensors 0.17.2.a20260707
• 양자화 방식: NVFP4 W4A4
  • Weight: FP4 E2M1
  • Weight group size: 16
  • Block scale: FP8 E4M3
  • Activation: calibration된 global scale을 사용하는 동적 FP4 양자화
• 양자화 알고리즘: 표준 NVFP4 PTQ (RTN)
  • QuantizationModifier(targets="Linear", scheme="NVFP4")
  • Weight는 round-to-nearest로 양자화하고 calibration으로 activation global scale 관측
• MoE 처리:
  • Packed 3D expert tensor를 개별 expert 단위의 Linear 모듈로 표현
  • Routed expert weight를 expert별 Linear 단위로 양자화
• BF16으로 유지한 모듈:
  • lm_head
  • mlp.gate를 포함한 router 모듈
  • Shared expert
  • Dense layer 0 MLP
  • MTP head
• Calibration:
  • 512개 샘플
  • 최대 sequence length: 8,192 토큰
  • 원 실행은 max-length padding을 사용했고 8K보다 긴 샘플은 prefix truncation됨
  • REAP pruning에 사용한 것과 동일한 계열의 데이터 mixture 사용
  • 코드, 수학 및 과학 추론, tool calling, agentic coding, 한국어 instruction 및 reasoning, 한국어 tool calling, long-context prefix 포함

Pruning과 양자화 두 단계 모두 한국어 데이터, reasoning trace, tool-use 예시, long-context 샘플을 포함한 calibration mixture를 사용했습니다. 이는 압축 이후 반복 생성 또는 종료되지 않는 reasoning 동작이 발생할 가능성을 줄이기 위한 구성입니다.

vLLM 서빙

exaone_moe, NVFP4 compressed-tensors 모델 및 대상 Blackwell 플랫폼을 지원하는 vLLM 빌드가 필요합니다.

vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
  --reasoning-parser deepseek_v3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

지원되는 Blackwell 플랫폼에서는 다음 환경변수로 FlashInfer FP4 MoE 커널을 활성화할 수 있습니다.

export VLLM_USE_FLASHINFER_MOE_FP4=1

vllm serve Baekpica/K-EXAONE-152B-A23B-REAP-80E-NVFP4 \
  --reasoning-parser deepseek_v3 \
  --speculative-config '{"method": "mtp", "num_speculative_tokens": 2}'

권장 sampling parameter:

temperature=1.0
top_p=0.95
presence_penalty=0.0

BF16 MTP 가중치가 포함되어 있어 MTP 기반 self-speculative decoding을 사용할 수 있습니다.

128GB 시스템에서 실제로 사용할 수 있는 최대 context length는 KV-cache dtype, 동시 요청 수, CUDA graph 설정 및 기타 런타임 메모리 할당에 따라 달라집니다.

모델 계보

1. LGAI-EXAONE/K-EXAONE-236B-A23B
   • 총 파라미터 236B
   • 활성 파라미터 23B
   • MoE 레이어당 routed expert 128개
2. REAP expert pruning
   • 약 101M calibration tokens
   • 16K–253K context-length mixture
   • MoE 레이어당 routed expert 128개 → 80개
3. Baekpica/K-EXAONE-152B-A23B-REAP-80E-BF16
   • 총 파라미터 152B
   • 활성 파라미터 23B
   • MoE 레이어당 routed expert 80개
4. RTN 기반 NVFP4 W4A4 post-training quantization
   • 현재 저장소

개인적인 제작 동기

이 프로젝트는 대부분 취미에서 시작했습니다.

K-EXAONE은 오픈 모델 커뮤니티에서 상대적으로 관심이 적었고, 이를 활용한 파생 모델도 많지 않았습니다. Pruning과 양자화를 통해 이 모델을 고사양 개인 사용자, 소규모 연구실, 독립 개발자가 실험할 수 있는 범위에 조금 더 가깝게 가져올 수 있는지 확인해 보고 싶었습니다.

K-EXAONE-236B-A23B의 포지션은 다소 애매합니다. 일반적인 로컬 사용자에게는 너무 크지만, 이를 서빙할 수 있는 인프라를 갖춘 사용자라면 더 최신이거나 훨씬 큰 오픈 모델도 함께 검토할 수 있습니다. 반면 더 작은 모델 구간에는 이미 성능과 접근성이 뛰어난 강력한 선택지들이 존재합니다. (Qwen이라던가..Qwen이라던가..)

이 프로젝트가 그러한 포지셔닝 문제를 해결한다고 생각하지는 않습니다. NVFP4로 양자화하더라도 152B 모델은 여전히 큽니다. 다만 접근성의 간극을 조금 줄여 더 많은 사람이 모델을 직접 내려받고, 서빙하고, 특성을 확인할 수 있도록 해보는 실험에 가깝습니다.

기업과 공공 영역에서는 모델 선택이 성능만으로 결정되지 않는다는 현실적인 이유도 있습니다. 데이터 반출 제한, 폐쇄망 구축 요구사항, 보안 및 컴플라이언스 정책, 라이선스, 모델 원산지와 공급망, 독립적인 운영 가능성 등이 함께 고려될 수 있습니다.

이러한 조건이 국내 모델을 자동으로 더 나은 선택지로 만드는 것은 아닙니다. 성능, 비용, 신뢰성, 라이선스, 유지보수 가능성은 여전히 객관적으로 평가해야 합니다. 다만 기술적으로 검토할 수 있는 선택지가 더 많이 존재하는 것에는 가치가 있다고 생각합니다.

역시 난 비주류야 킥킥

제한사항

• 부모 BF16 모델은 distillation이나 pruning 이후의 healing 없이 one-shot expert pruning으로 제작되었습니다.
• 이 모델은 pruning된 모델에 W4A4 양자화를 추가로 적용했기 때문에 두 압축 단계에서 발생한 품질 저하가 누적될 수 있습니다.
• 모든 언어, 도메인, 태스크에서 벤치마크 성능과 long-context 안정성이 동일하게 유지되었다고 보장할 수 없습니다.
• 약 92GB라는 수치는 전체 런타임 메모리 사용량이 아니라 대략적인 모델 크기입니다.
• 128GB 통합 메모리 시스템에서 모델을 로드할 수 있더라도 모든 context length, 동시 요청 수 또는 CUDA graph 설정을 사용할 수 있다는 의미는 아닙니다.
• 목표한 성능을 얻으려면 Blackwell 전용 FP4 커널과 호환되는 소프트웨어 구성이 필요할 수 있습니다.
• Production 환경에 적용하기 전에 reasoning 안정성, tool-calling 동작, 한국어 성능 및 업무별 정확도를 별도로 평가하는 것을 권장합니다.
• 실제 서빙에서 reasoning 반복 또는 미종료 현상이 관찰되었습니다. A100의 weight-only fallback에서 12개 프롬프트를 2,048토큰 상한으로 확인한 소규모 smoke test에서는 10개 응답이 상한에 도달했고 2개만 end-of-turn 토큰을 출력했습니다. 이는 일반 성능 벤치마크나 Blackwell native W4A4 검증은 아니지만, 안정성 문제가 존재함을 확인하는 결과입니다.

라이선스

이 모델은 원본 모델과 동일한 K-EXAONE AI Model License를 따릅니다. 전체 조건은 동봉된 LICENSE 파일을 확인하십시오.

원본 라이선스의 명명 요건을 준수하기 위해 저장소 이름은 K-EXAONE으로 시작합니다.

감사의 말

• LG AI Research — K-EXAONE
• Cerebras Research — REAP 논문
• vLLM Project — vLLM 및 llm-compressor
• Neural Magic 및 compressed-tensors 기여자 — compressed-tensors