Instructions to use pathcosmos/frankenstallm with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use pathcosmos/frankenstallm with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="pathcosmos/frankenstallm")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("pathcosmos/frankenstallm")
model = AutoModelForCausalLM.from_pretrained("pathcosmos/frankenstallm", device_map="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

llama.cpp

How to use pathcosmos/frankenstallm with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf pathcosmos/frankenstallm:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf pathcosmos/frankenstallm:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf pathcosmos/frankenstallm:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf pathcosmos/frankenstallm:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf pathcosmos/frankenstallm:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf pathcosmos/frankenstallm:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf pathcosmos/frankenstallm:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf pathcosmos/frankenstallm:Q4_K_M

Use Docker

docker model run hf.co/pathcosmos/frankenstallm:Q4_K_M

LM Studio
Jan

vLLM

How to use pathcosmos/frankenstallm with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "pathcosmos/frankenstallm"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "pathcosmos/frankenstallm",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/pathcosmos/frankenstallm:Q4_K_M

SGLang

How to use pathcosmos/frankenstallm with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "pathcosmos/frankenstallm" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "pathcosmos/frankenstallm",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "pathcosmos/frankenstallm" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "pathcosmos/frankenstallm",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Ollama
How to use pathcosmos/frankenstallm with Ollama:
```
ollama run hf.co/pathcosmos/frankenstallm:Q4_K_M
```
Unsloth Desktop
Docker Model Runner
How to use pathcosmos/frankenstallm with Docker Model Runner:
```
docker model run hf.co/pathcosmos/frankenstallm:Q4_K_M
```

Lemonade

How to use pathcosmos/frankenstallm with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull pathcosmos/frankenstallm:Q4_K_M

Run and chat with the model

lemonade run user.frankenstallm-Q4_K_M

List all available models

lemonade list

Atomic Chat

frankenstallm / eval_reports /2026-03-09_ORPO_EVALUATION_REPORT.md

somebody-to-love

Upload eval_reports/2026-03-09_ORPO_EVALUATION_REPORT.md with huggingface_hub

6a4b45a verified 6 months ago

preview code

Raw

History Blame

21.6 kB

FRANKENSTALLM 3B ORPO 모델 종합 평가 보고서

평가 일시: 2026-03-09 07:29:13
비교 대상: Base → SFT → ORPO
총 소요 시간: 41m 11s
결과 디렉토리: eval/outputs/3b_orpo_eval_20260309_0607

1. Executive Summary

#	평가 차원	결과	상세
1	차원 1: Perplexity (지식 보존)	PASS	최대 forgetting 4.1% (임계값 15.0%)
2	차원 2: 생성 품질	FAIL	반복률 30.89% (목표 <5%), EOS 67% (목표 >90%)
3	차원 3: 한국어 벤치마크	FAIL	KoBEST 평균 52.75% (목표 >55%)
4	차원 4: 영어 벤치마크	FAIL	hellaswag=27.9%, arc_easy=36.0%, arc_challenge=17.9%...
5	차원 5: Calibration	PASS	Top-1 67.99% (목표 ≥65%)
6	차원 6: SFT Chat 능력	PASS	EOS 종료율 67%, 생성 샘플 수동 검토 필요
7	ORPO-1: Preference Accuracy	PASS	최종 76.02% (목표 > 65%)
8	ORPO-2: Reward Margins	PASS	최종 0.6100 (목표 > 0.1)
9	ORPO-3: Parameter Sensitivity	PASS	rep_penalty=1.0 시 3-gram rep=0.64% (목표 < 5%)
10	ORPO-4: SFT→ORPO 개선	PASS	반복률 72.97%→30.89% (↓), EOS 60%→67% (↑)

종합: 7/10 차원 통과

정량 스코어: 63.7/100

최종 판정: RETRY

2. 학습 곡선 분석

Training / Eval Loss

Step	Train Loss	Eval Loss	Pref Accuracy	Reward Margin
1000	N/A	1.7910	0.6678	0.1066
2000	N/A	1.7130	0.7010	0.2933
3000	N/A	1.6810	0.7189	0.3717
4000	N/A	1.6580	0.7361	0.4536
5000	N/A	1.6450	0.7467	0.5027
6000	N/A	1.6380	0.7511	0.5436
7000	N/A	1.6330	0.7539	0.5624
8000	N/A	1.6300	0.7558	0.5864
9000	N/A	1.6280	0.7568	0.5904
9997	N/A	1.6260	0.7594	0.6039
11001	N/A	1.6260	0.7590	0.6052
12005	N/A	1.6250	0.7598	0.6087
12999	N/A	1.6250	0.7599	0.6089
14002	N/A	1.6250	0.7600	0.6072
14996	N/A	1.6250	0.7601	0.6087
16000	N/A	1.6250	0.7605	0.6100
17004	N/A	1.6250	0.7606	0.6093
17997	N/A	1.6250	0.7601	0.6093
19001	N/A	1.6250	0.7602	0.6100

학습 곡선 요약

Eval Loss: 1.7910 → 1.6250
최종 Preference Accuracy: 76.02%
최종 Reward Margin: 0.6100

3. Perplexity 비교 (지식 보존)

데이터셋	Base PPL	SFT PPL	ORPO PPL	SFT Forgetting	ORPO Forgetting
3b	5.2263	5.2529	5.3222	+0.5%	+1.8%
cc100_ko	21.7820	21.8072	22.0415	+0.1%	+1.2%
cosmo_auto_math_text	3.1492	3.1581	3.1634	+0.3%	+0.5%
cosmo_khanacademy	2.9322	2.9390	2.9485	+0.2%	+0.6%
cosmo_openstax	3.8673	3.8805	3.8896	+0.3%	+0.6%
cosmo_stanford	3.3624	3.3742	3.3807	+0.4%	+0.5%
cosmo_stories	3.9552	3.9668	3.9687	+0.3%	+0.3%
cosmo_web_v2	4.1664	4.1799	4.1852	+0.3%	+0.5%
cosmo_wikihow	3.3097	3.3201	3.3260	+0.3%	+0.5%
hplt_ko	2.4028	2.4121	2.4477	+0.4%	+1.9%
korean	7.0155	7.0714	7.2203	+0.8%	+2.9%
korean_c4	5.7173	5.7617	5.8745	+0.8%	+2.7%
korean_namuwiki	25.8814	26.1185	26.9307	+0.9%	+4.1%
korean_wiki	11.8359	11.9394	12.2108	+0.9%	+3.2%
mathpile	2.7244	2.7286	2.7315	+0.2%	+0.3%
namuwiki_2023b	18.9170	18.9672	19.0191	+0.3%	+0.5%
open_web_math	6.9264	6.9422	6.9668	+0.2%	+0.6%
val	18.3046	18.3195	18.4256	+0.1%	+0.7%
wikipedia_ko	10.7059	10.7399	10.8055	+0.3%	+0.9%

4. 생성 품질 비교

지표	Base	SFT	ORPO	SFT→ORPO 변화
Greedy 3-gram 반복률	72.75%	72.97%	30.89%	-42.1pp
Greedy 4-gram 반복률	70.78%	71.83%	27.01%	-44.8pp
EOS 종료율	0.00%	60.00%	66.67%	+6.7pp

5. 한국어 벤치마크

KoBEST (0-shot)

태스크	Base	SFT	ORPO	Base→ORPO
kobest_boolq	50.28%	50.14%	50.57%	+0.3pp
kobest_copa	49.30%	48.60%	63.90%	+14.6pp
kobest_hellaswag	21.60%	19.80%	38.00%	+16.4pp
kobest_sentineg	48.61%	49.12%	62.47%	+13.9pp
kobest_wic	48.65%	48.65%	48.81%	+0.2pp
평균	43.69%	43.26%	52.75%	+9.1pp

HAE-RAE (0-shot)

Base: 19.71% → SFT: 19.89% → ORPO: 21.81%

MMLU-KO (0-shot)

Base: 22.75% → SFT: 26.00% → ORPO: 24.50%

6. 영어 벤치마크

태스크	Base	SFT	ORPO	Base→ORPO
hellaswag	26.15%	26.07%	29.20%	+3.0pp
arc_easy	25.63%	25.93%	36.03%	+10.4pp
arc_challenge	27.90%	27.56%	22.61%	-5.3pp
winogrande	50.59%	50.75%	50.99%	+0.4pp
piqa	52.50%	52.61%	59.85%	+7.3pp
MMLU-EN 평균	25.81%	25.72%	23.26%	-2.6pp

7. Calibration 비교

지표	Base	SFT	ORPO
Top-1 Accuracy	0.6875	0.6859	0.6799
Top-5 Accuracy	0.8164	0.8155	0.8133
Top-10 Accuracy	0.8593	0.8579	0.8563

8. ORPO 고유 지표

최종 Preference Accuracy: 76.02%
최종 Reward Margins: 0.6100
Parameter Sensitivity: rep_penalty=1.0 → 3-gram rep=0.64% (목표 < 5%) → PASS

9. 반복률 그리드 서치

설정	Temp	Rep Pen	3-gram	4-gram	EOS Rate	Avg Tokens
t0.7_rep1.2	0.70	1.20	0.0000	0.0000	1.0000	189.2
t0.9_rep1.1	0.90	1.10	0.0000	0.0000	0.2000	213.0
t0.9_rep1.2	0.90	1.20	0.0000	0.0000	0.6000	200.0
t1.0_rep1.1	1.00	1.10	0.0000	0.0000	0.8000	118.4
t0.5_rep1.1	0.50	1.10	0.0013	0.0000	0.6000	198.8
t0.7_rep1.1	0.70	1.10	0.0017	0.0000	0.6000	177.0
t0.7_rep1.3	0.70	1.30	0.0017	0.0000	1.0000	131.4
t1.0	1.00	1.00	0.0064	0.0024	1.0000	136.8
t0.9	0.90	1.00	0.0376	0.0228	0.8000	150.2
t0.7	0.70	1.00	0.0789	0.0394	0.8000	196.2
t0.5	0.50	1.00	0.0843	0.0620	0.8000	119.0
greedy	0.00	1.00	0.3157	0.2901	0.4000	173.2

10. 생성 샘플

ORPO Greedy 생성 샘플

[1] 대한민국의 수도는

대한민국은 서울을 수도로 하는 대한민국의 수도입니다. 서울은 대한민국의 수도이며, 대한민국의 수도입니다. EOS=True, 3gram_rep=0.00%, tokens=22

[2] 인공지능이란

인공지능(AI)은 컴퓨터가 인간의 지능을 모방하도록 설계된 인공 지능의 하위 집합입니다. 이는 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 컴퓨터 시스템의 하위 집합입니다. 인공지능은 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 데 도움이 되는 알고리즘, 데이터 구조, 소프트웨어를 개발합니다. EOS=True, 3gram_rep=22.92%, tokens=76

[3] 한국의 전통 음식 중에서

한국의 전통 음식 중 몇 가지를 소개해 드릴게요:1. 김치: 한국의 김치는 한국의 전통 발효 식품으로, 김치를 담그는 방법과 김치를 만드는 방법에 따라 다양한 종류가 있습니다. 일반적으로 김치는 무, 배추, 고추, 마늘, 생강, 파, 고추씨, 고추씨 기름, 소금, 설탕, 식초, 마늘 가루, 생강 가루, 파, 마늘 가루, 생강 가루, 파, 고추씨 기름, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, EOS=False, 3gram_rep=58.97%, tokens=256

[4] 지구 온난화의 주요 원인은

지구 온난화의 주요 원인은 여러 가지가 있습니다. 다음은 주요 원인 중 일부입니다:1. 화석 연료 연소: 화석 연료는 온실가스이며, 이는 지구 온난화의 주요 원인 중 하나입니다. 화석 연료 연소는 온실가스를 대기 중으로 방출하여 지구 온도를 상승시킵니다.2. 산림 벌채: 산림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 산림 벌채는 산림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.3. 산업 활동: 산업 활동은 온실가스 배출의 주요 원인 중 하나입니다. 산업 활동으로 인한 온실가스 배출은 지구 온난화의 주요 원인 중 하나입니다.4. 삼림 벌채: 삼림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 삼림 벌채는 삼림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.5. 삼림 벌채에 대한 규제: 삼림 벌채에 대한 규제는 온실가스 배출을 줄이는 데 도움이 될 수 있습니다. 예를 들어, 산림 벌채에 대한 규제는 산림 벌채의 영향을 받는 토지의 면적을 EOS=False, 3gram_rep=22.73%, tokens=256

[5] 프로그래밍을 배우려면

프로그래밍을 배우는 것은 흥미롭고 도전적인 경험이 될 수 있지만, 학습을 시작하기 전에 고려해야 할 몇 가지 사항이 있습니다:1. 학습 목표: 프로그래밍을 처음 접하는 경우, 학습 목표와 달성하고자 하는 목표를 명확하게 정의하는 것이 중요합니다. 프로그래밍의 기본 사항을 배우고 싶으신가요, 아니면 더 고급 주제를 배우고 싶으신가요? 프로그래밍의 기본 사항을 이해하면 더 깊이 있는 학습을 할 수 있습니다.2. 학습 속도: 프로그래밍을 배우는 데는 시간이 걸릴 수 있으며, 학습 속도는 학습 속도에 영향을 미칠 수 있습니다. 학습 속도를 높이려면 학습 자료를 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 EOS=False, 3gram_rep=53.25%, tokens=256

[6] 조선시대에는

조선시대에는 다양한 사회 계층이 존재했습니다. 다음은 조선시대의 사회 계층에 대한 몇 가지 주요 사항입니다:1. 양반: 조선시대에는 양반이 가장 높은 계층이었습니다. 양반은 주로 토지와 노비를 소유하고, 토지와 노비를 통해 부를 축적했습니다. 또한 양반은 관직에 진출하여 관료로 활동했습니다.2. 중인: 중인은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.3. 상민: 상민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.4. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.5. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다. EOS=True, 3gram_rep=35.11%, tokens=192

[7] 물리학에서 에너지란

물리학에서 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 말합니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 측정하는 양입니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 측정하는 양입니다. EOS=True, 3gram_rep=46.88%, tokens=67

[8] 한국어는 세계에서

한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. EOS=True, 3gram_rep=40.00%, tokens=76

[9] 경제 성장을 위해서는

경제 성장을 위해서는 여러 가지 방법이 있습니다. 다음은 몇 가지 주요 방법입니다:1. 정부 지출 증가: 정부 지출은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 경제 성장을 촉진하기 위해 다양한 정책을 시행할 수 있습니다. 예를 들어, 세금 감면, 보조금 제공, 세금 감면 등이 있습니다.2. 기업 투자 촉진: 기업은 새로운 산업을 창출하고 새로운 일자리를 창출하며 경제 성장을 촉진하는 데 중요한 역할을 합니다. 기업은 새로운 제품과 서비스를 개발하고, 새로운 시장을 개척하며, 새로운 시장을 개척하는 데 투자할 수 있습니다.3. 기술 혁신 촉진: 기술 혁신은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 새로운 기술 개발, 새로운 제품 개발, 새로운 시장 개척 등이 경제 성장을 촉진하는 데 도움이 될 수 있습니다.4. 규제 완화: 규제는 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 새로운 규제를 도입하고, 새로운 정책을 시행하며, 새로운 산업을 육성할 수 있습 EOS=False, 3gram_rep=27.33%, tokens=256

[10] 우주 탐사의 역사를 보면

우주 탐사의 역사는 오래되었으며, 그 역사는 매우 다양합니다. 다음은 우주 탐사의 주요 시대와 그 주요 사건입니다:1. 초기 우주 탐사:1960년대와 1970년대에 우주 탐사가 시작되었습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 시작되었습니다.2. 우주 탐사의 발전:1980년대와 1990년대에는 우주 탐사가 더욱 발전하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.3. 우주 탐사의 절정:1990년대에는 우주 탐사가 절정에 달하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.4. 우주 탐사의 쇠퇴:2000년대와 2010년대에는 우주 탐사가 쇠퇴하여 우주 탐사 임무가 더 이상 존재하지 않게 되었습니다 EOS=True, 3gram_rep=31.20%, tokens=223

[11] 머신러닝과 딥러닝의 차이는

머신 러닝과 딥 러닝은 모두 인공 지능의 하위 집합이지만, 그 정의와 적용 분야에는 차이가 있습니다.머신 러닝은 컴퓨터가 데이터를 통해 학습하고 예측을 수행하는 데 사용되는 인공 지능의 한 유형입니다. 이는 데이터에서 학습하고 패턴을 식별하는 데 중점을 둔 머신 러닝의 하위 집합입니다. 머신 러닝은 데이터에서 학습하고 예측을 수행하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다.머신 러닝은 일반적으로 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 예를 들어, 머신 러닝은 지도 학습, 비지도 학습, 강화 학습의 세 가지 주요 유형으로 분류할 수 있습니다. 지도 학습은 지도 학습이라고도 하며, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 비지도 학습은 지도 학습과 유사하지만, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 EOS=True, 3gram_rep=35.42%, tokens=232

[12] 한국 문학의 대표적인 작품으로는

한국 문학의 대표적인 작품으로는 다음과 같은 것들이 있습니다:1. 윤동주 시인의 '서시': 윤동주 시인의 시는 한국 문학의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.2. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.3. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.4. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다. EOS=True, 3gram_rep=47.44%, tokens=177

[13] 양자 컴퓨터란

양자 컴퓨터는 양자 역학의 원리를 사용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 양자 비트 또는 큐비트로 알려진 양자 비트를 사용하여 정보를 처리합니다. 양자 컴퓨터는 양자 비트의 양자 중첩을 사용하여 정보를 저장하고 조작할 수 있습니다. EOS=True, 3gram_rep=3.23%, tokens=50

[14] 건강한 식습관을 위해서는

건강한 식습관은 개인의 건강과 웰빙에 매우 중요합니다. 다음은 건강한 식습관을 위해 따라야 할 몇 가지 팁입니다:1. 규칙적인 식사: 매일 일정한 양의 식사를 섭취하면 신체가 필요한 영양소를 공급받을 수 있습니다. 규칙적인 식사는 신체가 필요한 영양소를 더 잘 흡수할 수 있도록 도와줍니다.2. 과일과 채소: 과일과 채소는 비타민, 미네랄, 섬유질 등 다양한 영양소를 제공합니다. 이러한 영양소를 충분히 섭취하면 전반적인 건강을 개선하는 데 도움이 됩니다.3. 건강한 지방: 포화 지방과 트랜스 지방은 건강에 해로울 수 있으므로 피하세요. 대신 건강한 지방을 선택하세요.4. 통곡물: 통곡물은 섬유질, 비타민, 미네랄이 풍부하여 건강한 소화를 돕습니다. 통곡물을 섭취하면 소화가 더 잘 되고 더 많은 영양소를 섭취할 수 있습니다.5. 저지방 단백질: 저지방 단백질은 근육과 뼈 건강에 필수적입니다. 저지방 단백질을 섭취하면 근육량을 늘리고 뼈 건강을 개선하는 데 도움이 됩니다.6. 저지방 유제 EOS=False, 3gram_rep=7.97%, tokens=256

[15] 세계 2차 대전 이후

세계 2차 대전 이후, 유럽과 아시아의 많은 국가에서 다양한 사회, 경제, 정치 시스템이 변화했습니다. 다음은 몇 가지 주요 변화입니다:1. 경제: 유럽과 아시아의 많은 국가에서 경제는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 경제가 크게 성장했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 경제가 크게 변화했습니다.2. 정치: 유럽과 아시아의 많은 국가에서 정치는 크게 변화했습니다. 유럽은 민주주의와 인권의 확산으로 인해 정치 시스템이 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 정치 시스템이 크게 변화했습니다.3. 사회: 유럽과 아시아의 많은 국가에서 사회는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 사회가 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 사회가 크게 변화했습니다. EOS=True, 3gram_rep=30.84%, tokens=181

11. 최종 판정

배포 기준 충족 여부

조건	기준	현재 값	충족
Greedy 3-gram 반복률	< 5%	30.89%	NO
EOS 종료율	> 90%	66.67%	NO
PPL Forgetting	< 5%	4.1%	YES
KoBEST 평균	>= 43%	52.75%	YES

→ 배포 기준 미달: RETRY (ORPO 재학습 또는 하이퍼파라미터 조정 필요)

이 보고서는 eval/report_generator.py::generate_three_way_report()에 의해 자동 생성되었습니다.