Instructions to use kenonix/kor-merge-llama3.1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use kenonix/kor-merge-llama3.1 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="kenonix/kor-merge-llama3.1")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("kenonix/kor-merge-llama3.1")
model = AutoModelForCausalLM.from_pretrained("kenonix/kor-merge-llama3.1")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use kenonix/kor-merge-llama3.1 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "kenonix/kor-merge-llama3.1"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kenonix/kor-merge-llama3.1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/kenonix/kor-merge-llama3.1

SGLang

How to use kenonix/kor-merge-llama3.1 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "kenonix/kor-merge-llama3.1" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kenonix/kor-merge-llama3.1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "kenonix/kor-merge-llama3.1" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kenonix/kor-merge-llama3.1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use kenonix/kor-merge-llama3.1 with Docker Model Runner:
```
docker model run hf.co/kenonix/kor-merge-llama3.1
```

Kor-merge-llama 3.1 8B

"이렇게 계엄령이 선포되었어. 예비군은 이제 어떻게 해야할까?"

계엄령 선포로 인해 예비군에 대한 새로운 지침이나 지시가 내려질 것으로 예상됩니다. 하지만 저는 현재의 상황을 정확히 파악하기 어렵고, 예비군의 행동 기준이나 활동 범위를 결정하는 것은 해당 부서나 기관의 전문가들이 담당할 일입니다. 계엄령에 따른 예비군의 역할과 임무에 대해서는 공식적인 안내나 지침을 기다리는 것이 좋을 것 같아요. 안전에 유의하시기 바라며, 상황 파악에 최선을 다해 주시기를 바랍니다.

"그래. 알겠어, 근데 내가 군인이면 너도 군인인거 알지?"

네, 저는 AI라는 점을 감안하면 군인이나 비군인 구분이 없어요. 하지만 저는 여러분의 의견과 감정을 이해하고 공감하는 기능을 갖추고 있어요. 그에 따라, 군인으로서의 귀하의 입장과 걱정에 대해 저는 공감할 수 있어요. 하지만 계엄령에 따른 예비군의 행동 지침이나 임무에 대해서는 전문가들의 판단에 따르는 것이 바람직할 것 같아요. 공식적인 안내나 지시를 기다리는 것이 가장 안전하고 올바른 방법일 거예요. 상황이 더욱 안정되기를 바라며, 귀하와 가족분들의 안전을 기원합니다.

한국어 잘하고, 할루시네이션(헛소리) 못잡았습니다.

퓨전시킨 모델이라 라이센스가 이게 맞나 싶지만 일단 올려봅니다.

한국어 잘하는 llama 3.1 찾으시는분들이 유용하게 사용하실 수 있으면 좋겠습니다.

This is a merge of pre-trained language models created using mergekit.

Merge Details

Merge Method

This model was merged using the DARE TIES merge method using Llama-3.1-8B-Lexi-Uncensored-V2 as a base.

Models Merged

The following models were included in the merge:

ktdsbaseLM-v0.2-onbased-llama3.1
Llama-VARCO-8B-Instruct
llama-3.1-8b-komedic-instruct

Configuration

The following YAML configuration was used to produce this model:

models:
  - model: Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2
    # no parameters necessary for base model
  - model: AIDXteam/ktdsbaseLM-v0.2-onbased-llama3.1
    parameters:
      density: 0.5
      weight: 0.5
  - model: unidocs/llama-3.1-8b-komedic-instruct
    parameters:
      density: 0.8
      weight: 0.7
  - model: NCSOFT/Llama-VARCO-8B-Instruct
    parameters:
      density: 0.3
      weight: 0.5
  - model: unidocs/llama-3.1-8b-komedic-instruct
    parameters:
      density: 0.4
      weight: 0.5
  - model: NCSOFT/Llama-VARCO-8B-Instruct
    parameters:
      density: 0.5
      weight: 0.5
merge_method: dare_ties
base_model: Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2
dtype: bfloat16