Qwen3-1.7B-SFT-RLVR-IF (step 2700)

RLVR(Reinforcement Learning with Verifiable Rewards)를 활용해 instruction-following 능력을 강화한 Qwen3-1.7B 기반 모델. 본 체크포인트는 IFEval 성능을 최대화하는 지점(step 2700)에 해당.

Model Details

• Base model: Qwen/Qwen3-1.7B-Base
• SFT init: Qwen3-1.7B-SFT (trained on subsets of allenai/tulu-3-sft-mixture)
• RLVR datasets: allenai/RLVR-IFeval + allenai/IF_multi_constraints_upto5
• Checkpoint: step 2700 (out of 300–3000, interval 300)
• Training pipeline & full report: llm-alignment-practice

Benchmark Results

SFT init 대비 변화량(Δ).

Benchmark	SFT init	step 2700	Δ
IFEval (avg)	54.01	73.98	▲19.97
IFEval (prompt_strict)	46.21	68.76	▲22.55
IFEval (inst_strict)	58.03	76.86	▲18.83
IFEval (prompt_loose)	49.91	71.16	▲21.25
IFEval (inst_loose)	61.87	79.14	▲17.27
Arena-Hard	12.37	13.50	▲1.13
GSM8K	81.35	74.07	▼7.28
HumanEval (base / plus)	62.80 / 55.49	56.71 / 50.00	▼6.09 / ▼5.49
MBPP (base / plus)	69.31 / 58.20	64.81 / 54.76	▼4.50 / ▼3.44

Bold는 전체 학습 구간(step 300–3000)에서의 최고점을 의미. step 2700은 IFEval inst_strict, inst_loose와 Arena-Hard에서 전 구간 최고점을 기록.

Intended Use

• IFEval 류의 형식·제약 준수 능력이 핵심인 태스크
• Instruction-following / 멀티 제약 조건 따르기에 대한 RLVR 효과 검증·연구

Limitations: Alignment Tax

학습 step 1200 부근부터 alignment tax가 본격화. step 2700에서 IFEval은 최고 수준이지만 GSM8K(▼7.28), HumanEval(▼6pt), MBPP(▼4–5pt)에서 명확한 회귀 발생. 수학·코드 능력이 중요한 사용처라면 더 이른 체크포인트(예: step 600 또는 900)를 권장.

자세한 step별 분석은 training report 참조.

Usage

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "ny1031/Qwen3-1.7B-SFT-RLVR-IF"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")

messages = [{"role": "user", "content": "Write a 3-sentence summary of photosynthesis. End with the word 'plants'."}]
inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))

License

MIT