Upload 9 files

3d653cd verified 19 days ago

4.5 kB

library_name: mlx
pipeline_tag: translation
base_model: tencent/Hy-MT2-1.8B
base_model_relation: quantized
tags:
  - translation
  - mlx
  - hunyuan
  - quantized
  - 4bit
language:
  - zh
  - en
  - fr
  - pt
  - es
  - ja
  - tr
  - ru
  - ar
  - ko
  - th
  - it
  - de
  - vi
  - ms
  - id
  - tl
  - hi
  - pl
  - cs
  - nl
  - km
  - my
  - fa
  - gu
  - ur
  - te
  - mr
  - he
  - bn
  - ta
  - uk
  - bo
  - kk
  - mn
  - ug
license: other
license_name: tencent-hunyuan-community
license_link: https://huggingface.co/tencent/Hy-MT2-1.8B/blob/main/LICENSE.txt

Hy-MT2-1.8B-MLX-4bit

这是腾讯混元翻译模型 tencent/Hy-MT2-1.8B 的 Apple MLX 4-bit 量化版本，用于在 Apple Silicon（Mac / iPhone / iPad）上本地、离线运行。

本仓库仅做格式转换 + 权重量化，未改变模型能力。所有翻译能力、支持语言、版权与许可均继承自原始模型。

模型信息

项目	值
基础模型	tencent/Hy-MT2-1.8B
架构	`hunyuan_v1_dense`（`HunYuanDenseV1ForCausalLM`）
参数量	1.8B
量化	4-bit，affine，group_size 64（约 4.5 bits/weight）
体积	约 970 MB
层数 / 隐藏维度	32 / 2048
注意力头	16（KV 头 4，GQA）/ head_dim 128
词表	120818
特性	QK-Norm、Dynamic-NTK RoPE、tied embeddings
支持语言	33 种语言互译（中英为主）

转换方式

pip install -U mlx-lm
mlx_lm.convert \
  --hf-path tencent/Hy-MT2-1.8B \
  -q --q-bits 4 \
  --mlx-path Hy-MT2-1.8B-MLX-4bit

使用方法

Python（mlx-lm）

pip install -U mlx-lm

from mlx_lm import load, generate
from mlx_lm.sample_utils import make_sampler

model, tokenizer = load("<your-username>/Hy-MT2-1.8B-MLX-4bit")

# 混元 MT 无 system prompt，用显式方向指令，模型只输出译文
instruction = "将下面的英文翻译成中文。只输出中文译文，不要输出其它语言，不要解释。\n\nHello, nice to meet you."
prompt = tokenizer.apply_chat_template(
    [{"role": "user", "content": instruction}],
    tokenize=False, add_generation_prompt=True,
)

sampler = make_sampler(temp=0.7, top_p=0.6)
text = generate(model, tokenizer, prompt=prompt, max_tokens=256, sampler=sampler, verbose=True)
print(text)  # 你好，很高兴认识你。

命令行

mlx_lm.generate --model <your-username>/Hy-MT2-1.8B-MLX-4bit \
  --prompt "将下面的中文翻译成英文。只输出英文译文，不要解释。\n\n很高兴认识你。" \
  --temp 0.7 --top-p 0.6 --max-tokens 256

Swift（mlx-swift-lm）注意事项

⚠️ 截至 mlx-swift-lm 3.31.x，Swift 端尚未内置 hunyuan_v1_dense 架构，直接加载会报 unsupported model type。需在工程内自行实现并注册该架构。移植时注意两点：RoPE 为 Dynamic-NTK（base = rope_theta * alpha^(head_dim/(head_dim-2))）、 QK-Norm 在 RoPE 之后（与 Qwen3 相反）。

提示词模板

混元 MT 无默认 system prompt。中英互译建议用显式方向约束，避免短句跑偏到第三语言：

将下面的<源语言>翻译成<目标语言>。只输出<目标语言>译文，不要输出其它语言，不要解释。

<原文>

量化影响

4-bit 量化会带来轻微质量损失，但对中英日常翻译影响很小，实测短句/常用句翻译准确、干净。追求最高质量可用原始 bf16 模型或更高位量化（如 8-bit）。

许可协议

本模型遵循 腾讯混元社区许可协议（Tencent Hunyuan Community License Agreement），与原始模型 tencent/Hy-MT2-1.8B 一致。使用前请阅读随附的 LICENSE.txt。

关键条款（摘要，以原文为准）：

✅ 允许商业使用、修改、分发、创建衍生品；
⚠️ 月活用户（MAU）达 1 亿 需另行向腾讯申请商业许可；
🌍 授权区域不含欧盟（EU）、英国（UK）、韩国；
📝 分发须保留 LICENSE.txt 与 Notice 声明；
🚫 不得用模型输出训练其他 AI 模型，不得生成有害/虚假内容。

致谢

原始模型：腾讯混元团队 Tencent-Hunyuan/Hy-MT2
量化框架：Apple MLX / mlx-lm

assassindesign
/

Hy-MT2-1.8B-MLX-4bit