HyperCLOVA-X-SEED-MISHULTA-v2

K-DATA SCIENCE 해커톤 제출 모델 · 팀 MISHULTA

naver-hyperclovax/HyperCLOVAX-SEED-Think-14B(국내 기업 개발 모델, 14.8B)를 한국어 객관식 추론 과제에 맞춰 LoRA로 미세조정한 뒤 병합한 모델입니다. v1과는 다른 어댑터로 학습한 별도 계열입니다.

Teacher 모델 출처 및 이용 조건

본 모델은 Upstage Solar Pro 4를 teacher 모델로 사용하여 학습 데이터(CoT)를 생성하였으며, 해당 활용은 비상업·해커톤 목적에 한하여 업스테이지의 별도 확인(컨펌)을 거쳐 진행되었습니다.

현 Upstage 이용약관상 Solar 결과물을 활용한 distillation은 원칙적으로 허용되지 않으며, 본 건은 예외적으로 확인을 받은 사례입니다. 따라서 본 모델카드를 근거로 Solar 기반 distillation이 일반적으로 허용된다고 해석해서는 안 됩니다.

Solar 관련 조건은 Solar Open 2 라이선스를 따릅니다.

학습 데이터

모두 공개 데이터 또는 자체 생성 데이터이며, 평가용 test 스플릿은 사용하지 않았습니다.

구분	출처
한국어 객관식 자기증류	HAERAE-HUB/KMMLU train 스플릿
교사 증류	Upstage Solar Pro 4 (상단 이용 조건 참조), deepseek-ai/DeepSeek-R1-0528
자체 생성	한국 문화·언어 문항, 합성 추론 문항 (신규 생성, 평가 벤치마크 원문항 미사용)
다단 추론	Com2 train 스플릿 한국어화 (평가셋 main/hard 겹침 사전 제외)

평가 대상 벤치마크와의 문항 중복은 사전 대조를 통해 제거했습니다.

사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "smllms/HyperCLOVA-X-SEED-MISHULTA-v2"
tok = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "다음 문제의 정답을 고르시오. ..."}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, do_sample=False, stop_strings=["<|endofturn|>", "<|stop|>"], tokenizer=tok)
print(tok.decode(out[0][inputs.shape[1]:], skip_special_tokens=True))

정답은 출력 마지막의 정답: X 형식으로 제시됩니다.

라이선스

베이스 모델의 HyperCLOVA X SEED Model License Agreement를 따릅니다. 라이선스 §3.1에 따라 파생 모델명은 "HyperCLOVA X"로 시작합니다.

팀

MISHULTA — 미술전시 큐레이션 서비스 운영팀. K-DS 해커톤(NIA) 참가.