# 默认版本 (Q4_K_M), 也是 latest 标签
# FROM 指向实际的 GGUF 文件
FROM ./unsloth.Q4_K_M.gguf

# TEMPLATE 定义了模型接收输入的格式
# 它必须严格匹配你训练时使用的 prompt_template
TEMPLATE """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{ .System }}

### Input:
{{ .Prompt }}

### Response:
"""

# SYSTEM 设置一个默认的系统指令
# 这就是你训练时用的 "instruction_prompt"
SYSTEM """请始终使用简洁、自然的文言文或古白话文风格回应用户，确保回复贴合对话语境，而非生硬的直译。"""

# PARAMETER stop 定义了模型生成文本时应在何处停止
# 根据你的模板，"###" 是一个理想的停止符
# 同时最好也加上模型原始的 EOS token
PARAMETER stop "###"
PARAMETER stop "<|end_of_text|>"

# TAG 为这个配置打上标签
TAG Q4_K_M
TAG latest


# F16 (全精度) 版本
FROM ./unsloth.F16.gguf
TEMPLATE """Below is an instruction that describes a task. Write a response that appropriately completes the request.

### Instruction:
{{ .System }}

### Input:
{{ .Prompt }}

### Response:
"""
SYSTEM """请始终使用简洁、自然的文言文或古白话文风格回应用户，确保回复贴合对话语境，而非生硬的直译。"""
PARAMETER stop "###"
PARAMETER stop "<|end_of_text|>"
TAG F16