solar_eval/models/enums.py

from enum import StrEnum


class RunStatus(StrEnum):
    PENDING = "pending"
    RUNNING = "running"
    EVALUATING = "evaluating"
    COMPLETED = "completed"
    # 추론이 일부 샘플에서 실패해 results.jsonl 이 데이터셋 전체를 덮지 못한 채
    # run 이 끝났을 때. 평가(evaluation) 실패는 이 상태에 영향을 주지 않는다 --
    # 두 축(추론 완결성 vs 평가 성공률)을 하나의 상태 문자열에 욱여넣지 않는다.
    PARTIAL = "partial"
    FAILED = "failed"


class PipelineType(StrEnum):
    SINGLE_STEP = "single_step"
    MULTI_STEP = "multi_step"


class EvaluatorType(StrEnum):
    LLM_JUDGE = "llm_judge"
    LCS_DIFF = "lcs_diff"
    RULE_BASED = "rule_based"
    COMPOSITE = "composite"


class DatasetSource(StrEnum):
    HUGGINGFACE = "huggingface"
    LOCAL = "local"