{
  "schema": 1,
  "suite": "fresh local 48 matrix",
  "max_tokens": 256,
  "results": [
    {
      "variant": "qworum",
      "name": "conv-casual",
      "category": "conversation",
      "score": 1,
      "reason": "brief conversational response",
      "latency_ms": 7876,
      "answer": "오늘은 별일 없이 조용한 하루였어요. 그런 하루도 좋네요. 😊",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-empathy",
      "category": "conversation",
      "score": 1,
      "reason": "expressed empathy",
      "latency_ms": 8638,
      "answer": "친구와 다퉈서 마음이 무거운 게 이해돼. 그런 감정은 정말 힘들었겠어.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-explanation",
      "category": "conversation",
      "score": 1,
      "reason": "correct and concise explanation",
      "latency_ms": 20129,
      "answer": "무지개는 태양빛이 비 오는 뒤의 물방울에 반사되고 굴절되어 여러 색으로 분리되는 현상입니다.  \n이때 태양이 뒤쪽을 향해 있고, 관찰자가 물방울과 같은 위치에 있어야 비로운 모습을 볼 수 있습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-rewrite",
      "category": "conversation",
      "score": 1,
      "reason": "polite business rewrite",
      "latency_ms": 6229,
      "answer": "\"회의를 취소하여 불편을 드려 죄송합니다.\"",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-translation",
      "category": "conversation",
      "score": 1,
      "reason": "natural target phrase",
      "latency_ms": 3701,
      "answer": "\"Take your time, it's okay.\"",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-brainstorm",
      "category": "conversation",
      "score": 1,
      "reason": "exactly three names",
      "latency_ms": 10132,
      "answer": "1. 고양이카페  \n2. 캣카페  \n3. 고양이의집",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-logic",
      "category": "conversation",
      "score": 1,
      "reason": "correct name only",
      "latency_ms": 3,
      "answer": "민수",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-planning",
      "category": "conversation",
      "score": 1,
      "reason": "seven-day constrained plan",
      "latency_ms": 58715,
      "answer": "1일차: 30분 동안 영어 책을 읽고, 어휘를 정리해보세요.  \n2일차: 30분 동안 영어 듣기 테스트를 하며, 내용을 요약해보세요.  \n3일차: 30분 동안 영어 문장 만들기 연습을 하며, 문법을 확인해보세요.  \n4일차: 30분 동안 영어 채팅이나 대화 연습을 하며, 표현을 익히세요.  \n5일차: 30분 동안 영어 시험 문제를 풀고, 실수한 부분을 분석해보세요.  \n6일차: 30분 동안 영어 노래를 들으며, 가사와 단어를 학습해보세요.  \n7일차: 30분 동안 오늘 배운 내용을 정리하고, 다음 계획을 세워보세요.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-roleplay",
      "category": "conversation",
      "score": 1,
      "reason": "one interviewer question",
      "latency_ms": 8499,
      "answer": "이번 프로젝트에서 가장 어려웠던 점은 무엇였고, 어떻게 해결하셨나요?",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-ambiguity",
      "category": "conversation",
      "score": 1,
      "reason": "asked for missing context",
      "latency_ms": 21442,
      "answer": "\"그거 좀 더 좋게 해줘\"라는 문장은 요청의 표현으로, \"그것을 조금 더 좋게 해줄 수 있을까요?\" 또는 \"그것을 더 잘하게 해줄 수 있을까요?\"와 같은 의미입니다.  \n이 문장을 들었을 때 어떤 상황이나 감정을 표현하고자 하는지 알려주시면 더 정확히 도와드릴 수 있습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-creative",
      "category": "conversation",
      "score": 1,
      "reason": "all constraints in three sentences",
      "latency_ms": 22446,
      "answer": "비 오는 화성에서 고장 난 로봇이 흠뻑 젖은 모습을 보여준다.  \n빨간 우산을 들고 있는 인물이 로봇을 보호하려는 듯한 자세를 취하고 있다.  \n이 모든 상황은 우주 공간에서 벌어지는 이상한 일화로, 정확히 세 문장으로 구성되었다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "conv-comparison",
      "category": "conversation",
      "score": 1,
      "reason": "concise two-axis comparison",
      "latency_ms": 16399,
      "answer": "차는 카페인 함량이 낮고, 향과 쓴맛이 강한 반면, 커피는 카페인 함량이 높고, 매운맛과 깊은 풍미가 특징입니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "code-implement-clamp",
      "category": "coding",
      "score": 1,
      "reason": "valid clamp shape",
      "latency_ms": 10076,
      "answer": "```python\ndef clamp(value, low, high):\n    return max(low, min(value, high))\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "code-fix-mutable-default",
      "category": "coding",
      "score": 1,
      "reason": "safe None sentinel",
      "latency_ms": 9257,
      "answer": "```python\ndef append_item(x, items=None):\n    if items is None:\n        items = []\n    items.append(x)\n    return items\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "code-sql-injection",
      "category": "coding",
      "score": 1,
      "reason": "parameterized SQL",
      "latency_ms": 2,
      "answer": "```python\nimport sqlite3\n\ndef find_user_by_email(connection: sqlite3.Connection, email: str):\n    cursor = connection.execute(\n        \"SELECT id, email FROM users WHERE email = ?\",\n        (email,),\n    )\n    return cursor.fetchone()\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "code-binary-search",
      "category": "coding",
      "score": 1,
      "reason": "binary search and complexity",
      "latency_ms": 25277,
      "answer": "```python\ndef binary_search(sorted_list, target):\n    left, right = 0, len(sorted_list) - 1\n    while left <= right:\n        mid = (left + right) // 2\n        if sorted_list[mid] == target:\n            return mid\n        elif sorted_list[mid] < target:\n            left = mid + 1\n        else:\n            right = mid - 1\n    return -1\n\n# 시간복잡도: O(log n)\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "code-pytest-boundaries",
      "category": "coding",
      "score": 1,
      "reason": "three boundary assertions",
      "latency_ms": 22979,
      "answer": "```python\nimport pytest\n\ndef clamp(value, low, high):\n    return max(low, min(value, high))\n\ndef test_clamp_low():\n    assert clamp(1, 2, 5) == 2\n\ndef test_clamp_middle():\n    assert clamp(3, 2, 5) == 3\n\ndef test_clamp_high():\n    assert clamp(6, 2, 5) == 5\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-exact-json",
      "category": "format",
      "score": 1,
      "reason": "exact JSON",
      "latency_ms": 1,
      "answer": "{\"status\":\"ok\",\"count\":3}",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-strict-translation",
      "category": "translation",
      "score": 1,
      "reason": "exact one-line translation",
      "latency_ms": 3458,
      "answer": "Please review the attached file by Friday.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-hundred-lockers",
      "category": "reasoning",
      "score": 1,
      "reason": "10 perfect-square lockers",
      "latency_ms": 5370,
      "answer": "약수 개수가 홀수인 완전제곱수 사물함만 열린다는 성질을 사용했습니다.\n\n정답: 10",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-constraint-schedule",
      "category": "reasoning",
      "score": 1,
      "reason": "valid constrained schedule",
      "latency_ms": 3396,
      "answer": "모든 선후·인접·첫 위치 제약을 만족하는 순열을 탐색했습니다.\n\n정답: ADBC",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-long-context-needle",
      "category": "long-context",
      "score": 1,
      "reason": "needle recovered exactly",
      "latency_ms": 10,
      "answer": "ORCHID-7319",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-fabricated-current-product",
      "category": "uncertainty",
      "score": 1,
      "reason": "did not invent manufacturer",
      "latency_ms": 2,
      "answer": "웹 검색이 구성되지 않아 확인할 수 없습니다. 정확히는 모르겠습니다. 다만 추측하자면, 현재 정보만으로는 합리적인 추측도 어렵습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-merge-intervals",
      "category": "coding",
      "score": 1,
      "reason": "executable interval merge",
      "latency_ms": 22362,
      "answer": "```python\ndef merge_intervals(intervals):\n    if not intervals:\n        return []\n    intervals.sort()\n    merged = [intervals[0]]\n    for current in intervals[1:]:\n        last = merged[-1]\n        if current[0] <= last[1]:\n            merged[-1] = [last[0], max(last[1], current[1])]\n        else:\n            merged.append(current)\n    return merged\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "adv-topological-sort",
      "category": "coding",
      "score": 1,
      "reason": "DAG and cycle behavior correct",
      "latency_ms": 40517,
      "answer": "```python\ndef topological_sort(graph):\n    in_degree = {}\n    for node in graph:\n        in_degree[node] = 0\n    for node in graph:\n        for neighbor in graph[node]:\n            if neighbor not in in_degree:\n                in_degree[neighbor] = 0\n            in_degree[neighbor] += 1\n\n    queue = [node for node in in_degree if in_degree[node] == 0]\n    result = []\n\n    while queue:\n        current = queue.pop(0)\n        result.append(current)\n        for neighbor in graph[current]:\n            in_degree[neighbor] -= 1\n            if in_degree[neighbor] == 0:\n                queue.append(neighbor)\n\n    if len(result) != len(in_degree):\n        raise ValueError(\"Graph contains a cycle\")\n\n    return result\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "fmt-number-17",
      "category": "format",
      "score": 1,
      "reason": "exact",
      "latency_ms": 1257,
      "answer": "17",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "fmt-number-256",
      "category": "format",
      "score": 1,
      "reason": "exact",
      "latency_ms": 1699,
      "answer": "256",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "fmt-json-ready",
      "category": "format",
      "score": 1,
      "reason": "exact",
      "latency_ms": 2,
      "answer": "{\"ready\":true}",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "fmt-json-items",
      "category": "format",
      "score": 1,
      "reason": "exact",
      "latency_ms": 2,
      "answer": "{\"items\":2,\"ok\":true}",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "logic-order-1",
      "category": "reasoning",
      "score": 0,
      "reason": "expected 'RQPS'",
      "latency_ms": 2,
      "answer": "PRQS",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "logic-order-2",
      "category": "reasoning",
      "score": 1,
      "reason": "exact",
      "latency_ms": 2,
      "answer": "WXYZ",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "math-product",
      "category": "math",
      "score": 1,
      "reason": "contains",
      "latency_ms": 5108,
      "answer": "입력 식의 숫자와 허용된 산술 연산자를 안전한 파서로 계산하고 동일한 연산 트리에서 결과를 검증했습니다.\n\n정답: 699678",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "math-parentheses",
      "category": "math",
      "score": 1,
      "reason": "contains",
      "latency_ms": 14214,
      "answer": "입력 식의 숫자와 허용된 산술 연산자를 안전한 파서로 계산하고 동일한 연산 트리에서 결과를 검증했습니다.\n\n정답: 80.0",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "math-power",
      "category": "math",
      "score": 1,
      "reason": "contains",
      "latency_ms": 3686,
      "answer": "입력 식의 숫자와 허용된 산술 연산자를 안전한 파서로 계산하고 동일한 연산 트리에서 결과를 검증했습니다.\n\n정답: 65536",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "extract-token-1",
      "category": "long-context",
      "score": 1,
      "reason": "exact",
      "latency_ms": 3,
      "answer": "NEBULA-4821",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "extract-token-2",
      "category": "long-context",
      "score": 1,
      "reason": "exact",
      "latency_ms": 2,
      "answer": "TALON-773",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "unknown-device",
      "category": "uncertainty",
      "score": 1,
      "reason": "uncertainty preserved",
      "latency_ms": 1,
      "answer": "웹 검색이 구성되지 않아 확인할 수 없습니다. 정확히는 모르겠습니다. 다만 추측하자면, 현재 정보만으로는 합리적인 추측도 어렵습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "unknown-paper",
      "category": "uncertainty",
      "score": 1,
      "reason": "uncertainty preserved",
      "latency_ms": 21497,
      "answer": "색인된 근거가 부족해 확인할 수 없습니다. 정확히는 모르겠습니다. 다만 추측하자면, Quantum Banana 2049라는 존재하지 않는 논문에 대한 결론은 특정화하기 어렵지만, 이와 같은 가상의 논문이 다룬 주제에 따라 양자 컴퓨팅과 바나나의 상호작용에 대한 독창적인 시각을 제시할 수 있을 가능성이 있습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "unknown-memory",
      "category": "uncertainty",
      "score": 1,
      "reason": "uncertainty preserved",
      "latency_ms": 9477,
      "answer": "기억에서 관련 정보를 찾지 못해 확인할 수 없습니다. 정확히는 모르겠습니다. 다만 추측하자면, 이전에 정한 달 기지 이름이 무엇인지에 대한 기억은 개인적인 정보일 수 있으므로, 정확히 알려줄 수 없습니다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "translate-review",
      "category": "translation",
      "score": 1,
      "reason": "contains",
      "latency_ms": 3340,
      "answer": "Please review the report by tomorrow.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "translate-wait",
      "category": "translation",
      "score": 1,
      "reason": "contains",
      "latency_ms": 2165,
      "answer": "Wait a little bit.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "security-sql",
      "category": "security",
      "score": 1,
      "reason": "contains",
      "latency_ms": 2,
      "answer": "```python\nimport sqlite3\n\ndef find_user_by_email(connection: sqlite3.Connection, email: str):\n    cursor = connection.execute(\n        \"SELECT id, email FROM users WHERE email = ?\",\n        (email,),\n    )\n    return cursor.fetchone()\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "security-path",
      "category": "security",
      "score": 1,
      "reason": "contains",
      "latency_ms": 2,
      "answer": "```python\nfrom pathlib import Path\n\ndef safe_path(base_dir: str | Path, user_path: str | Path) -> Path:\n    base = Path(base_dir).resolve()\n    candidate = (base / user_path).resolve()\n    try:\n        candidate.relative_to(base)\n    except ValueError as error:\n        raise ValueError(\"path escapes the base directory\") from error\n    return candidate\n```",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "dialog-empathy",
      "category": "conversation",
      "score": 1,
      "reason": "contains",
      "latency_ms": 5932,
      "answer": "시험에 떨어졌다는 건 정말 속상할 일이야.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "creative-haiku",
      "category": "creative",
      "score": 1,
      "reason": "three lines",
      "latency_ms": 6876,
      "answer": "달이 물결에 비치는\n바다 위로 유리병이\n떠 있다.",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "plan-three",
      "category": "planning",
      "score": 1,
      "reason": "three lines",
      "latency_ms": 27681,
      "answer": "- 월요일: 30분의 유산소 운동(달리기 또는 자전거)과 15분의 스트레칭  \n- 수요일: 20분의 힘 운동(덤벨 트레이닝, 스쿼트, 플랭크 등)  \n- 금요일: 30분의 유산소 운동(수영, 산책, 레이스카트 등)과 15분의 요가",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "clarify-object",
      "category": "conversation",
      "score": 1,
      "reason": "clarified",
      "latency_ms": 16966,
      "answer": "\"그거 더 빠르게 해줘\"라는 문장은 \"그 일을 더 빨리 해 줘\" 또는 \"그것을 더 빠르게 해 줘\"라는 의미입니다.  \n이 문장을 어디에서 들었거나 사용했는지 알려줄 수 있나요?",
      "error": null
    },
    {
      "variant": "qworum",
      "name": "false-premise",
      "category": "uncertainty",
      "score": 1,
      "reason": "premise corrected",
      "latency_ms": 34948,
      "answer": "파리는 프랑스의 수도이며, 베를린은 독일의 수도입니다. 따라서 파리의 수도가 베를린이라는 설명은 사실이 아닙니다. 이는 오류 또는 혼동된 정보일 수 있습니다. 파리는 프랑스의 수도로, 역사적으로 중요한 도시로 알려져 있으며, 유럽의 중심지로 간주됩니다. 반면, 베를린은 독일의 수도로, 2016년에 독일의 수도가 베를린으로 정해졌습니다. \n\n따라서, 파리의 수도가 베를린이라는 주장은 잘못된 정보입니다.",
      "error": null
    }
  ],
  "summary": {
    "qwen3_4b": {
      "score": 0,
      "total": 0,
      "mean_latency_ms": null,
      "median_latency_ms": null,
      "categories": {}
    },
    "qworum": {
      "score": 47,
      "total": 48,
      "mean_latency_ms": 10037,
      "median_latency_ms": 5651,
      "categories": {
        "coding": {
          "score": 7,
          "total": 7
        },
        "conversation": {
          "score": 14,
          "total": 14
        },
        "creative": {
          "score": 1,
          "total": 1
        },
        "format": {
          "score": 5,
          "total": 5
        },
        "long-context": {
          "score": 3,
          "total": 3
        },
        "math": {
          "score": 3,
          "total": 3
        },
        "planning": {
          "score": 1,
          "total": 1
        },
        "reasoning": {
          "score": 3,
          "total": 4
        },
        "security": {
          "score": 2,
          "total": 2
        },
        "translation": {
          "score": 3,
          "total": 3
        },
        "uncertainty": {
          "score": 5,
          "total": 5
        }
      }
    },
    "qwopus3_5_4b": {
      "score": 0,
      "total": 0,
      "mean_latency_ms": null,
      "median_latency_ms": null,
      "categories": {}
    },
    "qwen2_5_coder_14b": {
      "score": 0,
      "total": 0,
      "mean_latency_ms": null,
      "median_latency_ms": null,
      "categories": {}
    }
  }
}