| --- |
| library_name: mlx |
| pipeline_tag: translation |
| base_model: tencent/Hy-MT2-1.8B |
| base_model_relation: quantized |
| tags: |
| - translation |
| - mlx |
| - hunyuan |
| - quantized |
| - 4bit |
| language: |
| - zh |
| - en |
| - fr |
| - pt |
| - es |
| - ja |
| - tr |
| - ru |
| - ar |
| - ko |
| - th |
| - it |
| - de |
| - vi |
| - ms |
| - id |
| - tl |
| - hi |
| - pl |
| - cs |
| - nl |
| - km |
| - my |
| - fa |
| - gu |
| - ur |
| - te |
| - mr |
| - he |
| - bn |
| - ta |
| - uk |
| - bo |
| - kk |
| - mn |
| - ug |
| license: other |
| license_name: tencent-hunyuan-community |
| license_link: https://huggingface.co/tencent/Hy-MT2-1.8B/blob/main/LICENSE.txt |
| --- |
| |
| # Hy-MT2-1.8B-MLX-4bit |
|
|
| 这是腾讯混元翻译模型 [**tencent/Hy-MT2-1.8B**](https://huggingface.co/tencent/Hy-MT2-1.8B) |
| 的 **Apple MLX 4-bit 量化版本**，用于在 Apple Silicon（Mac / iPhone / iPad）上本地、离线运行。 |
|
|
| > 本仓库仅做**格式转换 + 权重量化**，未改变模型能力。所有翻译能力、支持语言、版权与许可均继承自原始模型。 |
|
|
| ## 模型信息 |
|
|
| | 项目 | 值 | |
| | --- | --- | |
| | 基础模型 | tencent/Hy-MT2-1.8B | |
| | 架构 | `hunyuan_v1_dense`（`HunYuanDenseV1ForCausalLM`） | |
| | 参数量 | 1.8B | |
| | 量化 | 4-bit，affine，group_size 64（约 4.5 bits/weight） | |
| | 体积 | 约 970 MB | |
| | 层数 / 隐藏维度 | 32 / 2048 | |
| | 注意力头 | 16（KV 头 4，GQA）/ head_dim 128 | |
| | 词表 | 120818 | |
| | 特性 | QK-Norm、Dynamic-NTK RoPE、tied embeddings | |
| | 支持语言 | 33 种语言互译（中英为主） | |
|
|
| ## 转换方式 |
|
|
| ```bash |
| pip install -U mlx-lm |
| mlx_lm.convert \ |
| --hf-path tencent/Hy-MT2-1.8B \ |
| -q --q-bits 4 \ |
| --mlx-path Hy-MT2-1.8B-MLX-4bit |
| ``` |
|
|
| ## 使用方法 |
|
|
| ### Python（mlx-lm） |
|
|
| ```bash |
| pip install -U mlx-lm |
| ``` |
|
|
| ```python |
| from mlx_lm import load, generate |
| from mlx_lm.sample_utils import make_sampler |
| |
| model, tokenizer = load("<your-username>/Hy-MT2-1.8B-MLX-4bit") |
| |
| # 混元 MT 无 system prompt，用显式方向指令，模型只输出译文 |
| instruction = "将下面的英文翻译成中文。只输出中文译文，不要输出其它语言，不要解释。\n\nHello, nice to meet you." |
| prompt = tokenizer.apply_chat_template( |
| [{"role": "user", "content": instruction}], |
| tokenize=False, add_generation_prompt=True, |
| ) |
| |
| sampler = make_sampler(temp=0.7, top_p=0.6) |
| text = generate(model, tokenizer, prompt=prompt, max_tokens=256, sampler=sampler, verbose=True) |
| print(text) # 你好，很高兴认识你。 |
| ``` |
|
|
| ### 命令行 |
|
|
| ```bash |
| mlx_lm.generate --model <your-username>/Hy-MT2-1.8B-MLX-4bit \ |
| --prompt "将下面的中文翻译成英文。只输出英文译文，不要解释。\n\n很高兴认识你。" \ |
| --temp 0.7 --top-p 0.6 --max-tokens 256 |
| ``` |
|
|
| ### Swift（mlx-swift-lm）注意事项 |
|
|
| ⚠️ 截至 `mlx-swift-lm` 3.31.x，Swift 端**尚未内置** `hunyuan_v1_dense` 架构， |
| 直接加载会报 `unsupported model type`。需在工程内自行实现并注册该架构。 |
| 移植时注意两点：**RoPE 为 Dynamic-NTK**（`base = rope_theta * alpha^(head_dim/(head_dim-2))`）、 |
| **QK-Norm 在 RoPE 之后**（与 Qwen3 相反）。 |
|
|
| ## 推荐推理参数 |
|
|
| 官方推荐（1.8B / 7B）：`temperature 0.7`，`top_p 0.6`，`top_k 20`，`repetition_penalty 1.05`。 |
|
|
| ## 提示词模板 |
|
|
| 混元 MT 无默认 system prompt。中英互译建议用显式方向约束，避免短句跑偏到第三语言： |
|
|
| ``` |
| 将下面的<源语言>翻译成<目标语言>。只输出<目标语言>译文，不要输出其它语言，不要解释。 |
| |
| <原文> |
| ``` |
|
|
| ## 量化影响 |
|
|
| 4-bit 量化会带来轻微质量损失，但对中英日常翻译影响很小，实测短句/常用句翻译准确、干净。 |
| 追求最高质量可用原始 bf16 模型或更高位量化（如 8-bit）。 |
|
|
| ## 许可协议 |
|
|
| 本模型遵循 **腾讯混元社区许可协议（Tencent Hunyuan Community License Agreement）**， |
| 与原始模型 [tencent/Hy-MT2-1.8B](https://huggingface.co/tencent/Hy-MT2-1.8B) 一致。使用前请阅读随附的 `LICENSE.txt`。 |
|
|
| 关键条款（摘要，以原文为准）： |
| - ✅ 允许商业使用、修改、分发、创建衍生品； |
| - ⚠️ 月活用户（MAU）达 **1 亿** 需另行向腾讯申请商业许可； |
| - 🌍 授权区域**不含欧盟（EU）、英国（UK）、韩国**； |
| - 📝 分发须保留 `LICENSE.txt` 与 `Notice` 声明； |
| - 🚫 不得用模型输出训练其他 AI 模型，不得生成有害/虚假内容。 |
|
|
| ## 致谢 |
|
|
| - 原始模型：腾讯混元团队 [Tencent-Hunyuan/Hy-MT2](https://github.com/Tencent-Hunyuan/Hy-MT2) |
| - 量化框架：[Apple MLX](https://github.com/ml-explore/mlx) / [mlx-lm](https://github.com/ml-explore/mlx-lm) |
|
|
