fix(upstream): add multi-layer cache to survive GitHub raw 429

起動時に GitHub raw から all_datasets.yaml を直接取得しており、
raw.githubusercontent.com の 429 (rate limit) でアプリ起動が
クラッシュしていた。取得を多層フォールバック化して耐障害性を確保する。

- GitHub raw を指数バックオフで最大3回リトライ
- 429 等で失敗したら jsDelivr CDN ミラーへフォールバック
- ネットワーク取得成功分をローカル永続キャッシュへ退避し再利用
- コールドスタート用にリポジトリ同梱フォールバック (src/data) を追加
- 実行時生成キャッシュ /upstream/ を .gitignore に追加

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

.gitignore

@@ -12,3 +12,6 @@ eval-results/
 eval-queue-bk/
 eval-results-bk/
 logs/
+
+# upstream YAML の永続キャッシュ (実行時生成)
+/upstream/

src/data/all_datasets.yaml

@@ -0,0 +1,227 @@
+datasets:
+  - aime2024
+  - aime2025
+  - aio
+  - alt-j-to-e
+  - alt-e-to-j
+  - bigbenchhard_direct
+  - bigbenchhard_cot
+  - bigbenchhard_ja_direct
+  - bigbenchhard_ja_cot
+  - chabsa
+  - commonsensemoralja
+  - drop
+  - gsm8k
+  - gpqa_diamond_en
+  - gpqa_extended_en
+  - gpqa_main_en
+  - gpqa_diamond_ja
+  - gpqa_extended_ja
+  - gpqa_main_ja
+  - jamc-qa
+  - jculture-mcq
+  - jamp
+  - janli
+  - jcommonsenseqa
+  - jemhopqa
+  - jfinqa
+  - jhumaneval
+  - jmmlu
+  - jnli
+  - jsem
+  - jsick
+  - jsquad
+  - jsts
+  - kuci
+  - mawps
+  - mbpp
+  - mgsm
+  - mmlu_en
+  - mmlu_prox_ja
+  - mmlu_prox_en
+  - mif_eval_ja
+  - mif_eval_en
+  - mmmlu
+  - niilc
+  - openbookqa
+  - polymath-en
+  - polymath-ja
+  - structeval
+  - triviaqa
+  - winogrande_xl
+  - wiki_coreference
+  - wiki_dependency
+  - wiki_ner
+  - wiki_pas
+  - wiki_reading
+  - wikicorpus-j-to-e
+  - wikicorpus-e-to-j
+  - xlsum_ja
+  - hle
+  - jhle
+  - jblimp
+  - jcola-in-domain
+  - jcola-out-of-domain
+categories:
+  NLI:
+    description: "Natural Language Inference"
+    default_metric: exact_match
+    metrics: {}
+    datasets:
+      - jamp
+      - janli
+      - jnli
+      - jsem
+      - jsick
+  QA:
+    description: "Question Answering"
+    default_metric: exact_match
+    metrics:
+      triviaqa: triviaqa_f1
+      drop: drop_f1
+      jculture-mcq: set_f1
+    datasets:
+      - jemhopqa
+      - niilc
+      - aio
+      - triviaqa
+      - drop
+      - jamc-qa
+      - jculture-mcq
+  RC:
+    description: "Reading Comprehension"
+    default_metric: exact_match
+    metrics: {}
+    datasets:
+      - jsquad
+  CR:
+    description: "Commonsense Reasoning"
+    default_metric: exact_match
+    metrics: {}
+    datasets:
+      - jcommonsenseqa
+      - commonsensemoralja
+      - kuci
+      - winogrande_xl
+  HE-JA:
+    description: "Human Evaluation"
+    default_metric: exact_match
+    metrics:
+      jhle: hle_exact_match
+    datasets:
+      - mmmlu
+      - jmmlu
+      - mmlu_prox_ja
+      - gpqa_diamond_ja
+      - gpqa_extended_ja
+      - gpqa_main_ja
+      - jhle
+  HE-EN:
+    description: "Human Evaluation"
+    default_metric: exact_match
+    metrics:
+      hle: hle_exact_match
+    datasets:
+      - mmlu_en
+      - mmlu_prox_en
+      - openbookqa
+      - gpqa_diamond_en
+      - gpqa_extended_en
+      - gpqa_main_en
+      - hle
+  EL:
+    description: "Entity Linking"
+    default_metric: set_f1
+    metrics: {}
+    datasets:
+      - chabsa
+  FA:
+    description: "Fine-grained Analysis"
+    default_metric: set_f1
+    metrics:
+      wiki_reading: char_f1
+    datasets:
+      - wiki_ner
+      - wiki_dependency
+      - wiki_pas
+      - wiki_coreference
+      - wiki_reading
+  MR:
+    description: "Math Reasoning"
+    default_metric: mathematical_equivalence
+    metrics:
+      polymath-en: polymath_weighted_accuracy
+      polymath-ja: polymath_weighted_accuracy
+    datasets:
+      - aime2024
+      - aime2025
+      - gsm8k
+      - jfinqa
+      - mawps
+      - mgsm
+      - polymath-en
+      - polymath-ja
+  MT:
+    description: "Machine Translation"
+    default_metric: comet_wmt22
+    metrics: {}
+    datasets:
+      - alt-e-to-j
+      - alt-j-to-e
+      - wikicorpus-e-to-j
+      - wikicorpus-j-to-e
+  CG:
+    description: "Code Generation"
+    default_metric: code_exec_sandbox
+    metrics: {}
+    datasets:
+      - mbpp
+      - jhumaneval
+  SUM:
+    description: "Summarization"
+    default_metric: rouge2_scaling
+    metrics: {}
+    datasets:
+      - xlsum_ja
+  IF:
+    description: "Instruction Following"
+    default_metric: mifeval_strict
+    metrics:
+      structeval: structeval
+    datasets:
+      - mif_eval_ja
+      - mif_eval_en
+      - structeval
+  BBH:
+    description: "BIG-Bench Hard"
+    default_metric: exact_match
+    metrics: {}
+    datasets:
+      - bigbenchhard_direct
+      - bigbenchhard_cot
+      - bigbenchhard_ja_direct
+      - bigbenchhard_ja_cot
+  LM:
+    description: "Language Modeling"
+    default_metric: exact_match
+    metrics: {}
+    datasets:
+      - jblimp
+      - jcola-in-domain
+      - jcola-out-of-domain
+dataset_info_overrides: {}
+# you can override the below attributes.
+#    instruction: str
+#    output_length: int
+#    metrics: list[str]
+#    samples: list[Sample]
+#    label_list: list[str] = field(default_factory=list)
+#    answer_extract_pattern: Optional[str] = ""
+#    num_few_shots: int | None = None
+#    answer_pattern_id: AnswerPatternId = AnswerPatternId.CUSTOM
+#    language: Literal["ja", "en"] = "ja"
+#    custom_prompt_template: Optional[str] = None
+# for example, revise `dataset_info_overrides: {}` to `dataset_info_overrides:`, and write the below.
+#   jamp:
+#     answer_pattern_id: AnswerPatternId = AnswerPatternId.CUSTOM
+#     num_few_shots: 0

src/envs.py

@@ -22,9 +22,18 @@ EVAL_REQUESTS_PATH = CACHE_PATH / "eval-queue"
 
 # llm-jp-eval upstream の dataset 定義 (dev branch を直接参照することで
 # 新 dataset が upstream にマージされた瞬間にフロントが認識する)
-LLM_JP_EVAL_DATASETS_URL = (
-    "https://raw.githubusercontent.com/llm-jp/llm-jp-eval/"
-    "dev/eval_configs/all_datasets.yaml"
-)
+LLM_JP_EVAL_DATASETS_URL = "https://raw.githubusercontent.com/llm-jp/llm-jp-eval/dev/eval_configs/all_datasets.yaml"
+
+# raw.githubusercontent.com が 429 (rate limit) を返した際の CDN ミラー。
+# jsDelivr は GitHub を長期キャッシュ配信するため rate limit を回避できる。
+LLM_JP_EVAL_DATASETS_MIRROR_URL = "https://cdn.jsdelivr.net/gh/llm-jp/llm-jp-eval@dev/eval_configs/all_datasets.yaml"
+
+# ネットワーク取得成功時に内容を退避する永続キャッシュ。次回以降 upstream/
+# ミラーがともに落ちていても、直近取得分でフロントを起動できる。
+LLM_JP_EVAL_DATASETS_CACHE_PATH = CACHE_PATH / "upstream" / "all_datasets.yaml"
+
+# リポジトリ同梱の最終フォールバック。キャッシュが未生成のコールドスタートでも
+# 起動を保証する (取得成功時に上書きはしない)。
+LLM_JP_EVAL_DATASETS_FALLBACK_PATH = pathlib.Path(__file__).parent / "data" / "all_datasets.yaml"
 
 API = HfApi(token=HF_TOKEN)

src/upstream.py

@@ -1,11 +1,110 @@
-"""llm-jp-eval upstream から all_datasets.yaml を取得するモジュール。"""
+"""llm-jp-eval upstream から all_datasets.yaml を取得するモジュール。
+
+取得は多層フォールバックで冗長化しており、次の優先順位で最初に成功したものを
+採用する:
+
+1. GitHub raw (最新の dev branch) — リトライ付き
+2. jsDelivr CDN ミラー — raw が 429 (rate limit) の際の回避経路
+3. ローカル永続キャッシュ — 直近のネットワーク取得成功分
+4. リポジトリ同梱フォールバック — コールドスタート時の最終手段
+
+いずれかのネットワーク取得に成功した時点で内容を永続キャッシュに退避するため、
+以降 upstream / ミラーが同時に落ちていてもフロントの起動失敗を防げる。
+"""
 
 import functools
+import logging
+import time
 
 import requests
 import yaml
 
-from src.envs import LLM_JP_EVAL_DATASETS_URL
+from src.envs import (
+    LLM_JP_EVAL_DATASETS_CACHE_PATH,
+    LLM_JP_EVAL_DATASETS_FALLBACK_PATH,
+    LLM_JP_EVAL_DATASETS_MIRROR_URL,
+    LLM_JP_EVAL_DATASETS_URL,
+)
+
+logger = logging.getLogger(__name__)
+
+_REQUEST_TIMEOUT_SEC = 10
+_MAX_ATTEMPTS = 3
+_BACKOFF_BASE_SEC = 1.0
+
+
+def _fetch_from_url(url: str) -> str:
+    """指定 URL から YAML テキストを取得する。指数バックオフでリトライする。
+
+    Args:
+        url: 取得対象の YAML の URL。
+
+    Returns:
+        取得した YAML テキスト。
+
+    Raises:
+        requests.RequestException: 全リトライが失敗した場合。
+    """
+    for attempt in range(1, _MAX_ATTEMPTS + 1):
+        try:
+            response = requests.get(url, timeout=_REQUEST_TIMEOUT_SEC)
+            response.raise_for_status()
+            return response.text
+        except requests.RequestException as exc:
+            logger.warning("upstream YAML の取得に失敗 (%s, 試行 %d/%d): %s", url, attempt, _MAX_ATTEMPTS, exc)
+            if attempt >= _MAX_ATTEMPTS:
+                raise
+            time.sleep(_BACKOFF_BASE_SEC * 2 ** (attempt - 1))
+
+
+def _fetch_from_network() -> str:
+    """upstream raw → CDN ミラーの順にネットワーク取得を試みる。
+
+    Returns:
+        最初に成功した経路の YAML テキスト。
+
+    Raises:
+        requests.RequestException: 全経路が失敗した場合 (ミラーの例外を送出)。
+    """
+    try:
+        return _fetch_from_url(LLM_JP_EVAL_DATASETS_URL)
+    except requests.RequestException:
+        logger.warning("raw 取得に失敗。CDN ミラーにフォールバックする: %s", LLM_JP_EVAL_DATASETS_MIRROR_URL)
+        return _fetch_from_url(LLM_JP_EVAL_DATASETS_MIRROR_URL)
+
+
+def _write_cache(text: str) -> None:
+    """取得済み YAML テキストを永続キャッシュへ退避する (ベストエフォート)。
+
+    書き込み失敗は起動を止める理由にならないため、警告ログに留めて握り潰す。
+    """
+    try:
+        LLM_JP_EVAL_DATASETS_CACHE_PATH.parent.mkdir(parents=True, exist_ok=True)
+        LLM_JP_EVAL_DATASETS_CACHE_PATH.write_text(text, encoding="utf-8")
+    except OSError as exc:
+        logger.warning("upstream YAML のキャッシュ書き込みに失敗: %s", exc)
+
+
+def _read_local(reason: str) -> str | None:
+    """永続キャッシュ → 同梱フォールバックの順にローカルから読む。
+
+    Args:
+        reason: フォールバックに至った理由 (ログ用)。
+
+    Returns:
+        読み込めた YAML テキスト。どちらも存在しなければ None。
+    """
+    for label, path in (
+        ("永続キャッシュ", LLM_JP_EVAL_DATASETS_CACHE_PATH),
+        ("同梱フォールバック", LLM_JP_EVAL_DATASETS_FALLBACK_PATH),
+    ):
+        try:
+            text = path.read_text(encoding="utf-8")
+        except OSError:
+            continue
+        logger.warning("%s のため %s (%s) を使用する", reason, label, path)
+        return text
+    return None
 
 
 @functools.lru_cache(maxsize=1)
@@ -13,11 +112,24 @@ def load_upstream_eval_config() -> dict:
     """llm-jp-eval upstream から all_datasets.yaml の全内容を取得して返す。
 
     categories / datasets / dataset_info_overrides を含む dict。
-    プロセス起動中は lru_cache で memoize する。
+    プロセス起動中は lru_cache で memoize する。ネットワーク取得に成功すれば
+    永続キャッシュを更新し、失敗時はキャッシュ / 同梱フォールバックへ退避する。
+
+    Returns:
+        upstream YAML をパースした dict。
+
+    Raises:
+        requests.RequestException: ネットワーク取得が全滅し、かつローカルの
+            キャッシュ・同梱フォールバックも読めなかった場合。
     """
-    response = requests.get(LLM_JP_EVAL_DATASETS_URL, timeout=10)
-    response.raise_for_status()
-    return yaml.safe_load(response.text)
+    try:
+        text = _fetch_from_network()
+        _write_cache(text)
+    except requests.RequestException as exc:
+        text = _read_local(reason=f"upstream/ミラー取得失敗 ({exc})")
+        if text is None:
+            raise
+    return yaml.safe_load(text)
 
 
 def load_canonical_dataset_set() -> frozenset[str]: