README.md

OLMoE-1B-7B-Eagle3 Draft Model

이 저장소는 OLMoE-1B-7B-Eagle3 기반의 EAGLE Draft 모델 가중치와 관련 코드, 학습 데이터를 제공합니다.

---

📦 포함 파일

• pytorch_model.bin : 학습된 EAGLE Draft 모델 가중치
• config.json : 모델 설정 파일 (OLMoE 구조)
• tokenizer_config.json : 토크나이저 설정 파일
• modeling_olmoe_kv.py : OLMoE 전용 모델 코드 (EAGLE 추론 시 필요)
• eagle_data.json : 학습에 사용된 데이터셋 (ShareGPT 질문 + OLMoE 답변)
• .gitattributes : Git LFS 설정 등

---

🦅 EAGLE Draft 모델이란?

EAGLE은 대규모 언어모델(LLM)의 추론 속도를 획기적으로 높이기 위해,
Draft(초안) 디코더 계층을 별도로 학습시키는 구조입니다.

• OLMoE-1B-7B-0125-Instruct의 구조와 호환
• EAGLE Draft 계층은 Main Model의 디코더와 구조적으로 유사하게 설계됨
• 추론 시, Draft 계층이 여러 토큰을 미리 생성 → Main Model이 검증/accept

---

📝 학습 데이터 설명

• eagle_data.json
  • ShareGPT 데이터셋에서 질문(프롬프트)만 추출
  • 각 질문에 대해 allenai/OLMoE-1B-7B-0125-Instruct 모델이 직접 답변을 생성
  • 즉, 모델이 스스로 생성한 답변을 정답으로 사용하여 Draft 계층을 학습
  • 이렇게 하면, Draft 계층이 Main Model의 디코더와 더 가까운 분포를 학습하게 되어
    EAGLE 추론 성능이 극대화됨

---

🛠️ 사용법

1. 모델 가중치/설정 파일 사용

• pytorch_model.bin, config.json, tokenizer_config.json을
  HuggingFace Transformers 또는 EAGLE 코드에서 바로 사용할 수 있습니다.

2. EAGLE Inference 코드에 적용

• modeling_olmoe_kv.py 파일을
  EAGLE 공식 저장소의 EAGLE/eagle/model/ 디렉토리에 복사/덮어쓰기 하세요.
• EAGLE 추론 스크립트에서
  from eagle.model.modeling_olmoe_kv import OlmoeForCausalLM
  형태로 import 하여 사용하면 됩니다.

3. 예시 코드

from transformers import AutoTokenizer
from eagle.model.ea_model import EaModel

tokenizer = AutoTokenizer.from_pretrained('allenai/OLMoE-1B-7B-0125-Instruct')
model = EaModel.from_pretrained(
    base_model_path='allenai/OLMoE-1B-7B-0125-Instruct',
    ea_model_path='이 저장소 경로',
    torch_dtype='bfloat16'
)

---

⚠️ 참고/유의사항

• eagle_data.json은 공개된 ShareGPT 질문에 대해 OLMoE가 생성한 답변만 포함합니다.
• EAGLE Draft 계층은 Main Model의 구조와 최대한 유사하게 설계되어야
  추론 효율이 극대화됩니다.
• modeling_olmoe_kv.py는 반드시 EAGLE 추론 코드에 포함되어야 정상 동작합니다.

---

📚 인용/참고

• EAGLE: Fast Decoding for Large Language Models
• allenai/OLMoE-1B-7B-0125-Instruct
• ShareGPT Dataset

---

문의/피드백은 이슈로 남겨주세요!