Translation
PEFT
Safetensors
Korean
English
korean
english
ko-en
en-ko
kanana
kanana-1.5
lora
unsloth
Eval Results (legacy)
Instructions to use harveykim/kanana-1.5-2.1b-aihub-ko-en-lora with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use harveykim/kanana-1.5-2.1b-aihub-ko-en-lora with PEFT:
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("kakaocorp/kanana-1.5-2.1b-base") model = PeftModel.from_pretrained(base_model, "harveykim/kanana-1.5-2.1b-aihub-ko-en-lora") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- Unsloth Studio
How to use harveykim/kanana-1.5-2.1b-aihub-ko-en-lora with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for harveykim/kanana-1.5-2.1b-aihub-ko-en-lora to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for harveykim/kanana-1.5-2.1b-aihub-ko-en-lora to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for harveykim/kanana-1.5-2.1b-aihub-ko-en-lora to start chatting
Load model with FastModel
pip install unsloth from unsloth import FastModel model, tokenizer = FastModel.from_pretrained( model_name="harveykim/kanana-1.5-2.1b-aihub-ko-en-lora", max_seq_length=2048, )
docs: README에 GitHub 코드 리포지토리 링크 추가
Browse files- 상단 인트로에 github.com/DeepMav/on-device-translation 링크
- 학습 정보 섹션에 train_kanana.py / run_pipeline_kanana.sh / COMPARISON_REPORT.md 직접 링크
README.md
CHANGED
|
@@ -40,6 +40,7 @@ model-index:
|
|
| 40 |
|
| 41 |
> **Kanana 1.5 2.1B base** (카카오)를 **AI Hub 한-영 병렬 말뭉치 (#126)** 로 QLoRA 파인튜닝한 **한↔영 번역 어댑터**입니다.
|
| 42 |
|
|
|
|
| 43 |
자매 모델: [`harveykim/gemma-3-1b-aihub-ko-en-lora`](https://huggingface.co/harveykim/gemma-3-1b-aihub-ko-en-lora) — 동일 데이터·동일 평가 프로토콜로 학습된 Gemma 3 1B 버전.
|
| 44 |
|
| 45 |
---
|
|
@@ -170,6 +171,10 @@ model, tok = FastModel.from_pretrained(
|
|
| 170 |
| Eval loss | 1.413 → 1.299 (15회 평가, 단조 감소, 과적합 없음) |
|
| 171 |
| Seed | 42 |
|
| 172 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 173 |
> Gemma 모델 대비 LR을 7e-5로 보수적으로 설정한 이유: Kanana 2.1B base는 **instruct-tuned가 아닌 raw base** 모델이라, 강한 LR이 사전학습된 한국어 표현 능력을 손상시킬 위험이 더 큽니다.
|
| 174 |
|
| 175 |
---
|
|
|
|
| 40 |
|
| 41 |
> **Kanana 1.5 2.1B base** (카카오)를 **AI Hub 한-영 병렬 말뭉치 (#126)** 로 QLoRA 파인튜닝한 **한↔영 번역 어댑터**입니다.
|
| 42 |
|
| 43 |
+
코드·문서 전체 리포지토리: [github.com/DeepMav/on-device-translation](https://github.com/DeepMav/on-device-translation)
|
| 44 |
자매 모델: [`harveykim/gemma-3-1b-aihub-ko-en-lora`](https://huggingface.co/harveykim/gemma-3-1b-aihub-ko-en-lora) — 동일 데이터·동일 평가 프로토콜로 학습된 Gemma 3 1B 버전.
|
| 45 |
|
| 46 |
---
|
|
|
|
| 171 |
| Eval loss | 1.413 → 1.299 (15회 평가, 단조 감소, 과적합 없음) |
|
| 172 |
| Seed | 42 |
|
| 173 |
|
| 174 |
+
전체 학습 스크립트: [`training/train_kanana.py`](https://github.com/DeepMav/on-device-translation/blob/main/training/train_kanana.py)
|
| 175 |
+
4단계 자동화 파이프라인: [`training/run_pipeline_kanana.sh`](https://github.com/DeepMav/on-device-translation/blob/main/training/run_pipeline_kanana.sh)
|
| 176 |
+
Gemma와의 상세 비교 리포트: [`docs/COMPARISON_REPORT.md`](https://github.com/DeepMav/on-device-translation/blob/main/docs/COMPARISON_REPORT.md)
|
| 177 |
+
|
| 178 |
> Gemma 모델 대비 LR을 7e-5로 보수적으로 설정한 이유: Kanana 2.1B base는 **instruct-tuned가 아닌 raw base** 모델이라, 강한 LR이 사전학습된 한국어 표현 능력을 손상시킬 위험이 더 큽니다.
|
| 179 |
|
| 180 |
---
|