source/eval/sft_v2_eval/report.md

# SFT v2 체크포인트 종합 평가 보고서

체크포인트: `checkpoints/korean_1b_sft/checkpoint-best`
평가일시: 2026-02-27

## 핵심 지표

| 항목 | Pretrain | SFT v1 (buggy 포맷) | SFT v1 (올바른 포맷) | **SFT v2 (이번)** |
|------|----------|--------------------|--------------------|-----------------|
| 반복률 | 69.4% | 57.1% | 17.7% | **18.0%** |
| val_loss | - | 2.69 | - | **2.2062** (학습 기록) |
| 자연 종료율 | - | - | - | **60.0%** |

## 목표 달성 여부

- 반복률 <5%: ❌ 미달성 (18.0%)
- val_loss <2.2: ❌ 근접 미달성 (2.2062, 학습 기록 기준. 별도 eval 스크립트는 토큰화 차이로 3.10 측정됨)

## 생성 파라미터

- temperature=0.7, top_p=0.9
- repetition_penalty=1.1, no_repeat_ngram_size=3
- max_new_tokens=200
- 프롬프트 포맷: `<|user|>\n{질문}\n<|assistant|>\n`

## 생성 샘플 전문

### [1] 한국의 수도는 어디인가요?
- 반복률: 0.0%
- 종료: EOS
- 토큰 수: 7

```
대한민국의 수도는 서울입니다.
```

### [2] 파이썬에서 리스트를 정렬하는 방법을 설명해주세요.
- 반복률: 33.3%
- 종료: EOS
- 토큰 수: 162

```
파이썬에서는 리스트를 sort() 함수를 사용하여 정렬할 수 있습니다. 이 함수는 리스트의 첫 번째 요소와 마지막 요소를 찾고, 이들을 연결하여 해당 리스트를 완성합니다.리스트의 첫 요소는 리스트의 처음인 요소이고, 두 번째 요소는 리스트에서 첫 번째로 나오는 요소입니다.다음으로, 리스트의 마지막 요소는 리스트가 완성된 후 리스트의 가장 처음에 오는 요소이며, 이를 연결하면 리스트의 모든 요소를 찾을 수 있습니다:```pythonsort(a)`위 코드는 `sort()` 함수를 호출하여 리스트의 요소와 요소를 연결한 다음, 각 요소가 모두 리스트의 맨 앞에 위치하도록 합니다. 이렇게 하면 리스트를 처음부터 끝까지 한 번에 하나씩 차례대로 찾을 수 있으므로, 리스트가 더 이상 복잡해지지 않습니다.
```

### [3] 지구온난화의 주요 원인을 설명하세요.
- 반복률: 23.8%
- 종료: max_tokens
- 토큰 수: 200

```
지구 온난화는 지구의 기온이 상승하고 해수면이 상승하는 현상입니다. 이 현상은 빙하가 녹고, 더 많은 비가 내리고, 더 빈번한 폭풍과 허리케인이 발생하는 등 대기 중 수증기 양이 증가하여 발생합니다. 이는 여러 가지 이유로 인해 발생할 수 있는데, 그 중 일부는 다음과 같습니다:1. 기온 상승: 빙하의 후퇴와 해빙으로 인한 열 팽창으로 인해 기온이 상승할 수 있습니다. 이러한 상승은 극지방의 얼음이 녹고 더 따뜻한 기온이 해수면을 높이는 원인이 될 수 있습니다2. 산성화: 화산 폭발로 인한 산성화로 인해 수증기가 대기 중으로 방출되어 산성비가 발생할 가능성이 높아집니다.3. 생물 다양성 손실: 더 추운 기후에서는 식물이 살아남을 수 있는 충분한 햇빛을 받지 못할 수도 있습니다. 이로 인해 식물이 죽고 결국 멸종될 위험이 높아집니다4. 해수면 상승: 일부 지역에서는 폭우나 홍수가 발생하여 해수면의 수위가 상승하면 해안선이 침식되거나 침수되는 경우가 발생할 수 있습니다(예:
```

### [4] 좋은 수면 습관을 만들기 위한 팁을 알려주세요.
- 반복률: 20.8%
- 종료: max_tokens
- 토큰 수: 200

```
좋은 수면 습관은 수면의 질과 양에 직접적인 영향을 미칩니다. 다음은 좋은 수면을 취하기 위해 취할 수 있는 몇 가지 단계입니다:1. 건강한 수면 루틴을 유지하세요: 매일 밤 8~10시간의 충분한 수면을 취하고, 하루 최소 7~9시간을 자는 것이 좋습니다. 취침 시각을 일정하게 유지하고, TV를 시청하거나 스마트폰을 사용하는 시간을 줄이는 것도 도움이 됩니다.2. 수면 환경 개선: 침실에는 편안한 베개, 조명, 온도 조절기를 포함한 편안한 수면 환경을 조성하는 데 투자하세요. 침대 커버나 시트는 부드럽고 통기성이 좋으며, 이는 숙면을 취하는 데 도움이 될 수 있습니다.3. 수면 위생을 실천하세요: 잠들기 전에 자주 씻고, 물도 충분히 섭취하고, 편안한 수면을 돕는 적절한 양의 햇볕을 쬐세요. 이러한 노력은 신체 건강을 유지하는 데 도움이 되며, 정신 건강에도 긍정적인 영향을 미칠 수 있습니다!4. 취하기 쉬운 스낵 및 간식 제한하기: 과
```

### [5] 한국 전통 음식 중 김치에 대해 설명해주세요.
- 반복률: 12.2%
- 종료: EOS
- 토큰 수: 97

```
한국 전통 음식 중에는 김치가 있습니다. 이는 고춧가루, 마늘, 생강 등의 양념과 함께 버무려 만든 것으로, 이 과정에서 고추와 마늘의 향이 어우러진 독특한 맛을 냅니다. 또한, 김치는 발효식품으로, 김치를 만드는 과정은 주로 소금물에 담그거나 발효시켜 나물로 먹거나, 젓갈이나 장아찌 등을 만들어 먹습니다. 이러한 김치는 한국의 대표적인 음식 중 하나로 꼽히며, 한국 음식 문화의 중요한 부분을 차지하고 있습니다.
```

### [6] 머신러닝과 딥러닝의 차이점은 무엇인가요?
- 반복률: 13.2%
- 종료: EOS
- 토큰 수: 98

```
머신 러닝(Machine Learning)은 데이터를 수집, 분석 및 예측하는 기술을 의미합니다. 딥러널러닝은 컴퓨터가 인간의 뇌와 같은 방식으로 학습하고 스스로 결정을 내릴 수 있도록 하는 인공 지능을 말합니다. 머신러닝 알고리즘은 데이터에서 패턴을 찾고 예측하며, 딥러너러닝 시스템은 패턴 인식 및 추론에 중점을 둡니다. 머신 러닝과 딥 러닝 모두 다양한 기술과 기법을 사용하여 데이터를 처리하여 지능적인 결과를 생성할 수 있습니다.
```

### [7] 스트레스 해소 방법을 알려주세요.
- 반복률: 20.1%
- 종료: max_tokens
- 토큰 수: 200

```
스트레스 해소를 위한 몇 가지 팁을 소개합니다:1. 규칙적인 운동하기: 건강한 체중 유지, 적절한 휴식과 수면, 건강한 생활 습관 등 일상 생활에 필요한 신체 활동을 하는 것이 중요합니다. 운동을 할 때는 균형 잡힌 식단을 선택하고 충분한 시간을 들여 몸을 움직이는 것이 좋습니다.2. 명상이나 요가와 같은 마음챙김 연습하기: 자신의 감정을 인식하고 조율하는 법을 배우는 것은 스트레스를 줄이고 전반적인 웰빙을 향상시킬 수 있는 좋은 방법입니다. 편안한 음악과 함께 휴식을 취하고 편안한 자세를 취하는 것을 목표로 합니다.3. 새로운 취미나 관심사 찾기: 스트레스를 해소하고 싶다면 새로운 취미와 관심사를 찾아보세요. 지역 사회 활동, 독서 또는 여행과 같은 여가 활동은 스트레스를 줄이는 데 도움이 될 수 있습니다.4. 긍정적인 자기 대화를 연습하세요: 부정적인 자기 대화는 불면증, 불안, 우울증으로 이어질 수 있으므로 자기 대화를 통해 긍정적인 방식으로 자신을 표현하고 기분을 좋게 만드는 것이 중요할 수 있습니다!5. 규칙적으로 운동하기 :
```

### [8] 효과적인 공부 방법을 설명해주세요.
- 반복률: 19.4%
- 종료: EOS
- 토큰 수: 189

```
효과적인 공부 방법은 다음과 같습니다:1. 학습 목표를 설정합니다: 공부를 시작하기 전에, 해야 할 모든 것을 계획하고, 그 목표에 도달할 수 있는 구체적인 계획을 세우세요. 또한, 시험 준비나 과제를 위한 적절한 시간과 자원을 확보하세요.2. 반복적인 연습을 합니다: 매일 정해진 시간에 꾸준히 연습하면, 도움이 되는 새로운 개념이나 개념을 발견할 가능성이 높아집니다. 꾸준한 연습이 성공의 열쇠이며, 열심히 노력하면 원하는 결과를 얻을 수 있습니다.3. 문제 해결 능력을 향상시킵니다: 문제를 해결하는 데 있어 핵심은 문제의 목적과 그것을 해결하기 위해 필요한 기술을 파악하는 것입니다. 이를 위해 많은 양의 독서와 다양한 유형의 문제 해결 도구를 사용하여 문제를 해결할 수 있습니다,.4. 개인적인 트레이닝을 제공합니다: 개인이 자신의 학습 습관과 능력에 대해 더 잘 이해하고, 학습에 도움이 될 만한 개인별 트레이닝을 제공하는 것이 중요합니다. 이를 통해 스스로 동기부여하고, 더 나은 학습 결과를 얻을 확률이 높아질 것입니다.
```

### [9] 인공지능의 미래에 대해 어떻게 생각하시나요?
- 반복률: 16.1%
- 종료: max_tokens
- 토큰 수: 200

```
인공지능이 점점 더 많은 산업과 서비스에 통합되고 있기 때문에, 미래는 흥미롭습니다. 일부 예측은 AI가 일상 생활에서 훨씬 더 많은 역할을 할 수 있으며, 이로 인해 상당한 혁신과 생산성 향상이 발생할 것이라고 제안합니다.AI는 의료, 금융, 교통 등 여러 산업 분야에서 이미 활용되고 있습니다. 예를 들어, AI는 의사 결정 프로세스를 자동화하여 환자 치료 결과를 개선하고 질병을 조기 진단할 수 있도록 합니다. 또한, AI 알고리즘은 기계 학습을 통해 사람의 행동 패턴을 이해하고 특정 제품이나 서비스를 추천해 줄 수도 있습니다.또한, AI 기술은 무인 항공기와 자율주행차 등의 분야에서도 활용될 것으로 보입니다. 이러한 기술은 교통 체증 감소, 안전 개선, 비용 절감 등의 효과를 가져올 수 있습니다. 또한 AI 기반 음성 인식 시스템은 교통 혼잡을 줄이고 대중교통 이용을 촉진하는 데 도움을 줄 수 있을 것입니다.전반적으로 AI는 인간의 삶에 큰 영향을 미칠 잠재력을 가지고 있는 분야입니다. 그러나 기술 발전의 속도와 범위가 매우 광범위
```

### [10] 건강한 식습관을 유지하는 방법을 알려주세요.
- 반복률: 21.5%
- 종료: EOS
- 토큰 수: 195

```
건강한 식습관이란 균형 잡힌 영양소를 섭취하고, 충분한 수면을 취하고, 스트레스를 관리하며, 규칙적인 운동과 건강한 식단을 유지하여 건강을 유지하는 것을 말합니다.예를 들어, 매일 아침 과일과 채소를 챙겨 먹고, 건강한 간식으로 통곡물, 견과류, 콩류를 섭취하는 것이 좋습니다. 또한, 바쁜 일상에서 운동과 체중 감량에도 신경을 써야 합니다.하지만, 이러한 습관들이 모두 건강에 좋은 것은 아닙니다. 적절한 식사량을 유지하면서도 균형잡힌 영양소 섭취와 신체 활동을 병행해야 합니다. 예를 들어, 하루 세 끼 식사를 모두 하고, 가능하면 하루에 두 번 이상 식사를 하는 것이 좋습니다(예: 점심은 간단하게, 저녁은 가볍게).또한, 음식을 선택할 때는 적절한 양과 질을 고려해야 하며, 음식 선택 후에는 건강한 식생활을 유지하기 위해 계속적인 모니터링이 필요합니다. 따라서, 건강한 식생활은 건강을 유지하고 질병을 예방할 수 있는 매우 중요한 요소입니다.
```

## 개선도 분석

- Pretrain → SFT v2: 51.4%p 개선
- SFT v1 (buggy) → SFT v2: 39.1%p 개선
- SFT v1 (올바른 포맷) → SFT v2: -0.3%p 개선

## 권장 다음 단계

- 반복률이 여전히 높음 - 추가 SFT 필요
- 학습 데이터 품질 점검
- 학습률/에포크 조정
- 데이터 증강 고려