sakamakismile commited on
Commit
dd6e7f6
·
verified ·
1 Parent(s): f0ed1c4

Upload README.md with huggingface_hub

Browse files
Files changed (1) hide show
  1. README.md +7 -7
README.md CHANGED
@@ -22,7 +22,7 @@ pipeline_tag: text-generation
22
 
23
  - アーキテクチャは素直な **LlamaForCausalLM**(Dense 33B・64層・語彙196,608の日本語特化トークナイザ・64kコンテキスト)
24
  - **SM120(Blackwell)+ 素のvLLM v0.22.0** 向け。compressed-tensors自動判定、`--quantization`フラグ不要
25
- - 量子化除外は `lm_head` のみ(視覚塔もMoEルーターも無い、当ラボで最も素直な焼き上がり)
26
 
27
  ## 実測(TP=4・32kコンテキスト・KV fp8・RTX PRO 2000 Blackwell ×4)
28
 
@@ -55,15 +55,15 @@ P2Pの無いボードでは `NCCL_P2P_DISABLE=1` と `--disable-custom-all-reduc
55
  "chat_template_kwargs": {"reasoning_effort": "low"} // low / medium / high
56
  ```
57
 
58
- ## 検証メモ — reasoning_effort の使い分け(実測)
59
 
60
- 日本語の音韻課題(モーラ数え・俳句の音数走査・字余り検出)で汎用27Bと突き合わせた結果:
61
 
62
- - **effort=low**: 語のモーラ数え 10/12。俳句の音数走査はほぼ不能(これは汎用モデルも同じ。表記→音の透視がボトルネックで、ひらがな分かち書きを与えればどちらも正解できる)
63
- - **effort=high**: **一変します。**「古池や〜」を5-7-5と正しく走査し、字余りの句を「5-7-6、字余りあり」と検出できました(なお比較した汎用27Bも最高effortなら同じ検出に到達します。二体だけの小規模な検証であり、「思考を深くすれば韻律走査が立ち上がる」のは特化・汎用に共通の性質のようです)
64
- - 目安: **日常会話・実務は low(速い)、韻文・言葉の精査は high(-thinkingの真骨頂)**
65
 
66
- 品質の実弾例(effort=low・本文分離済み):
67
 
68
  > 潮騒に 足あと残す 夕焼けかな
69
 
 
22
 
23
  - アーキテクチャは素直な **LlamaForCausalLM**(Dense 33B・64層・語彙196,608の日本語特化トークナイザ・64kコンテキスト)
24
  - **SM120(Blackwell)+ 素のvLLM v0.22.0** 向け。compressed-tensors自動判定、`--quantization`フラグ不要
25
+ - 量子化除外は `lm_head` のみ(視覚塔もMoEルーターも無いため)
26
 
27
  ## 実測(TP=4・32kコンテキスト・KV fp8・RTX PRO 2000 Blackwell ×4)
28
 
 
55
  "chat_template_kwargs": {"reasoning_effort": "low"} // low / medium / high
56
  ```
57
 
58
+ ## 検証記録 — reasoning_effort 別の観察(小規模)
59
 
60
+ 日本語の音韻課題(モーラ数え12語・俳句の音数走査3句・字余り検出)を、当環境の汎用27B(Qwen3.8-27B NVFP4)と並べて試した記録です。**モデル2体・各課題1〜2回の小規模な検証**であり、一般化はできません。判断は結果を見てご自身で。
61
 
62
+ - **effort=low**: 語のモーラ数え 10/12(汎用27Bは11/12)。俳句の音数走査は両者ともほぼ不能。ひらがな分かち書きで渡すと両者とも正解した(表記→音の変換が律速で、数える力そのものはある、と読める挙動)
63
+ - **effort=high**: 「古池や〜」を5-7-5と走査し、字余りの句を「5-7-6、字余りあり」と検出した。汎用27Bも最高effortで同じ検出に到達した
64
+ - 速度はeffortに応じて変わります(lowが最速)。どのeffortで使うかは用途に合わせて
65
 
66
+ 出力例(effort=low・パーサで本文分離済み):
67
 
68
  > 潮騒に 足あと残す 夕焼けかな
69