Add llama.cpp usage instructions

README-jp.md

@@ -69,15 +69,32 @@ Width50では、`ffn_gate_exps.weight`、`ffn_up_exps.weight`、`ffn_down_exps.w
 
 使用するフォルダの先頭shardを読み込んでください。
 
-## 実行環境
+## 使い方
 
-Kimi-K3 sliced-expert対応を含むllama.cppが必要です。
+llama.cppの[Kimi-K3 Width対応ブランチ](https://github.com/mmnga/llama.cpp/tree/kimi-k3-width-support)を使用します。
 
-このモデルはTop-16での使用を想定しています。メタデータを上書きする場合は次を指定してください。
+```bash
+git clone --branch kimi-k3-width-support https://github.com/mmnga/llama.cpp
+cmake -S llama.cpp -B llama.cpp/build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
+cmake --build llama.cpp/build -j --target llama-server
+```
 
-```text
---override-kv kimi-k3.expert_used_count=int:16
+`UD-IQ1_S`を使う例です。
+
+```bash
+./llama.cpp/build/bin/llama-server \
+  -m ./UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \
+  -ot ".*.ffn_.*_exps.*=CPU" \
+  -ngl 45 \
+  --ctx-size 8192 \
+  --flash-attn on \
+  --jinja \
+  --override-kv kimi-k3.expert_shared_count=int:2 \
+  --override-kv kimi-k3.expert_shared_feed_forward_length=int:6144 \
+  --override-kv kimi-k3.expert_used_count=int:16
 ```
 
+この例はrouted expertsをCPUに置き、32 GBのRTX 5090で動作確認しています。使用可能なVRAMとRAMに合わせて`-ngl`とcontext sizeを調整してください。別の量子化を使う場合も、そのフォルダの先頭shardを指定します。
+
 強く削減した実験モデルのため、元のKimi-K3とは品質や安定性が異なる場合があります。
 

README.md

@@ -83,15 +83,32 @@ All other tensor data is unchanged. The shared expert metadata is represented as
 
 Load the first shard in the selected folder.
 
-## Runtime
+## Usage
 
-A llama.cpp build with Kimi-K3 sliced-expert support is required.
+Use the [Kimi-K3 Width support branch](https://github.com/mmnga/llama.cpp/tree/kimi-k3-width-support) of llama.cpp.
 
-This build is intended for Top-16 routing. If overriding the metadata, use:
+```bash
+git clone --branch kimi-k3-width-support https://github.com/mmnga/llama.cpp
+cmake -S llama.cpp -B llama.cpp/build -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
+cmake --build llama.cpp/build -j --target llama-server
+```
 
-```text
---override-kv kimi-k3.expert_used_count=int:16
+Example using `UD-IQ1_S`:
+
+```bash
+./llama.cpp/build/bin/llama-server \
+  -m ./UD-IQ1_S/Kimi-K3-UD-IQ1_S-00001-of-00014.gguf \
+  -ot ".*.ffn_.*_exps.*=CPU" \
+  -ngl 45 \
+  --ctx-size 8192 \
+  --flash-attn on \
+  --jinja \
+  --override-kv kimi-k3.expert_shared_count=int:2 \
+  --override-kv kimi-k3.expert_shared_feed_forward_length=int:6144 \
+  --override-kv kimi-k3.expert_used_count=int:16
 ```
 
+The example was tested with a 32 GB RTX 5090 while keeping routed experts on the CPU. Adjust `-ngl` and context size for your available VRAM and RAM. Load the first shard when using another quantization folder.
+
 This is a heavily reduced experimental model. Quality and stability may differ from the original Kimi-K3.