rich card: perf table + nDCG progression + TB
Browse files
README.md
CHANGED
|
@@ -14,9 +14,36 @@ base_model: cl-nagoya/ruri-v3-70m
|
|
| 14 |
## このモデルの位置づけ
|
| 15 |
**新規学習**: 素の `cl-nagoya/ruri-v3-70m`（汎用）から医療データで v2 レシピ学習（医療知識ゼロから付与）
|
| 16 |
|
| 17 |
-
- **現在の step**: `6159` / **in-domain nDCG@10**: `0.4885`
|
| 18 |
-
- 各 step は `step-6159` の
|
| 19 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 20 |
|
| 21 |
## v2 学習レシピ
|
| 22 |
- **精度**: fp32 重み + **TF32 matmul**（ModernBERT は bf16 計算で grad nan 崩壊するため。TF32 で安定かつ高速）
|
|
|
|
| 14 |
## このモデルの位置づけ
|
| 15 |
**新規学習**: 素の `cl-nagoya/ruri-v3-70m`（汎用）から医療データで v2 レシピ学習（医療知識ゼロから付与）
|
| 16 |
|
| 17 |
+
- **現在の step**: `6159` / **in-domain nDCG@10**: `0.4885`
|
| 18 |
+
- 各 step は `step-6159` の **revision ブランチ**で固定取得可。`main` は最新/最終。
|
| 19 |
+
|
| 20 |
+
## 性能 (in-domain nDCG@10)
|
| 21 |
+
※ 同一ガイドライン分布の held-out クエリ + 3万 distractor での**検索性能**。
|
| 22 |
+
**汎化/temporal の優劣はこの指標では測れない** (別途 `ood_affinity` で評価)。
|
| 23 |
+
|
| 24 |
+
- **baseline (学習前)**: 0.3123
|
| 25 |
+
- **final**: 0.4885 (Δ +0.1761)
|
| 26 |
+
- **best (全step中)**: 0.4885
|
| 27 |
+
|
| 28 |
+
| step | nDCG@10 |
|
| 29 |
+
|---|---|
|
| 30 |
+
| 500 | 0.3859 |
|
| 31 |
+
| 1000 | 0.4028 |
|
| 32 |
+
| 1500 | 0.4185 |
|
| 33 |
+
| 2000 | 0.4333 |
|
| 34 |
+
| 2500 | 0.4466 |
|
| 35 |
+
| 3000 | 0.4497 |
|
| 36 |
+
| 3500 | 0.4609 |
|
| 37 |
+
| 4000 | 0.4708 |
|
| 38 |
+
| 4500 | 0.4773 |
|
| 39 |
+
| 5000 | 0.4835 |
|
| 40 |
+
| 5500 | 0.4857 |
|
| 41 |
+
| 6000 | 0.4884 |
|
| 42 |
+
| 6159 | 0.4885 |
|
| 43 |
+
|
| 44 |
+
### ログ / TensorBoard
|
| 45 |
+
- step毎 nDCG: [`metrics_progress.json`](./metrics_progress.json)
|
| 46 |
+
- TensorBoard event は各 `step-N` ブランチの `runs/` に同梱 (`tensorboard --logdir runs` で loss/nDCG を可視化可)。
|
| 47 |
|
| 48 |
## v2 学習レシピ
|
| 49 |
- **精度**: fp32 重み + **TF32 matmul**（ModernBERT は bf16 計算で grad nan 崩壊するため。TF32 で安定かつ高速）
|