{
  "schema_version": 1,
  "complete": true,
  "passed": true,
  "checks_scope": "Actual pinned tokenizer + original prompt formatting, calibration and public answer parsing; not neural/model inference",
  "source_oracle": "Pinned source/prompt.py, no wrapper/model",
  "model_calls": 0,
  "gpu_calls": 0,
  "browser_calls": 0,
  "ort_sessions_created": 0,
  "protected_writes": 0,
  "cases_per_build": 20,
  "comparisons": 40,
  "results": [
    {
      "build": "chrome",
      "name": "choice-2",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "option_0": 0.3333333333333333,
          "option_1": 0.6666666666666666
        },
        "choice": "option_1"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_1",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "option_0": 0.3333333333333333,
          "option_1": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 43,
        "expected": 43
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "choice-3",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.5,
        "probabilities": {
          "option_0": 0.16666666666666666,
          "option_1": 0.3333333333333333,
          "option_2": 0.5
        },
        "choice": "option_2"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_2",
        "confidence": 0.5,
        "probabilities": {
          "option_0": 0.16666666666666666,
          "option_1": 0.3333333333333333,
          "option_2": 0.5
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 54,
        "expected": 54
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "choice-5",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "option_0": 0.06666666666666667,
          "option_1": 0.13333333333333333,
          "option_2": 0.2,
          "option_3": 0.26666666666666666,
          "option_4": 0.3333333333333333
        },
        "choice": "option_4"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_4",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "option_0": 0.06666666666666667,
          "option_1": 0.13333333333333333,
          "option_2": 0.2,
          "option_3": 0.26666666666666666,
          "option_4": 0.3333333333333333
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 76,
        "expected": 76
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "choice-11",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.16666666666666666,
        "probabilities": {
          "option_0": 0.015151515151515152,
          "option_1": 0.030303030303030304,
          "option_2": 0.045454545454545456,
          "option_3": 0.06060606060606061,
          "option_4": 0.07575757575757576,
          "option_5": 0.09090909090909091,
          "option_6": 0.10606060606060606,
          "option_7": 0.12121212121212122,
          "option_8": 0.13636363636363635,
          "option_9": 0.15151515151515152,
          "option_10": 0.16666666666666666
        },
        "choice": "option_10"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_10",
        "confidence": 0.16666666666666666,
        "probabilities": {
          "option_0": 0.015151515151515152,
          "option_1": 0.030303030303030304,
          "option_2": 0.045454545454545456,
          "option_3": 0.06060606060606061,
          "option_4": 0.07575757575757576,
          "option_5": 0.09090909090909091,
          "option_6": 0.10606060606060606,
          "option_7": 0.12121212121212122,
          "option_8": 0.13636363636363635,
          "option_9": 0.15151515151515152,
          "option_10": 0.16666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 142,
        "expected": 142
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "score-2",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "score": 0.6666666666666666,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 0.6666666666666666,
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 32,
        "expected": 32
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "score-3",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.5,
        "probabilities": {
          "0": 0.16666666666666666,
          "1": 0.3333333333333333,
          "2": 0.5
        },
        "score": 1.3333333333333333,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 1.3333333333333333,
        "confidence": 0.5,
        "probabilities": {
          "0": 0.16666666666666666,
          "1": 0.3333333333333333,
          "2": 0.5
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 43,
        "expected": 43
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "score-5",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "0": 0.06666666666666667,
          "1": 0.13333333333333333,
          "2": 0.2,
          "3": 0.26666666666666666,
          "4": 0.3333333333333333
        },
        "score": 2.666666666666667,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 2.666666666666667,
        "confidence": 0.3333333333333333,
        "probabilities": {
          "0": 0.06666666666666667,
          "1": 0.13333333333333333,
          "2": 0.2,
          "3": 0.26666666666666666,
          "4": 0.3333333333333333
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 65,
        "expected": 65
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "score-10",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.18181818181818182,
        "probabilities": {
          "0": 0.01818181818181818,
          "1": 0.03636363636363636,
          "2": 0.05454545454545454,
          "3": 0.07272727272727272,
          "4": 0.09090909090909091,
          "5": 0.10909090909090909,
          "6": 0.12727272727272726,
          "7": 0.14545454545454545,
          "8": 0.16363636363636364,
          "9": 0.18181818181818182
        },
        "score": 6,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4",
          "5": "Evidence level 5",
          "6": "Evidence level 6",
          "7": "Evidence level 7",
          "8": "Evidence level 8",
          "9": "Evidence level 9"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 6,
        "confidence": 0.18181818181818182,
        "probabilities": {
          "0": 0.01818181818181818,
          "1": 0.03636363636363636,
          "2": 0.05454545454545454,
          "3": 0.07272727272727272,
          "4": 0.09090909090909091,
          "5": 0.10909090909090909,
          "6": 0.12727272727272726,
          "7": 0.14545454545454545,
          "8": 0.16363636363636364,
          "9": 0.18181818181818182
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4",
          "5": "Evidence level 5",
          "6": "Evidence level 6",
          "7": "Evidence level 7",
          "8": "Evidence level 8",
          "9": "Evidence level 9"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 120,
        "expected": 120
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-False-8",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-False-9",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 27,
        "expected": 27
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-False-10",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 26,
        "expected": 26
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-False-11",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-True-12",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 25,
        "expected": 25
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-True-13",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 27,
        "expected": 27
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-True-14",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 26,
        "expected": 26
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "noul-True-15",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "structured-score-legend",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "score": 0.6666666666666666,
        "legend": {
          "0": "{\"evidence\": \"absent\", \"count\": 0}",
          "1": "{\"evidence\": \"present\", \"count\": 1}"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 0.6666666666666666,
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "legend": {
          "0": "{\"evidence\": \"absent\", \"count\": 0}",
          "1": "{\"evidence\": \"present\", \"count\": 1}"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 49,
        "expected": 49
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "escaped-markers-unicode",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "red": 0.3333333333333333,
          "green": 0.6666666666666666
        },
        "choice": "green"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "green",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "red": 0.3333333333333333,
          "green": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 53,
        "expected": 53
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "long-state-truncation",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        },
        "choice": "b"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "b",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 896,
        "expected": 896
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "chrome",
      "name": "structured-numeric-state",
      "scope": "serializer_numeric_edge",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        },
        "choice": "b"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "b",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 39,
        "expected": 39
      },
      "ids_first_difference": -1,
      "expected_serialized_state": "{\"small\": 1e-07, \"decimal\": 1e-05}",
      "actual_serialized_state": "{\"small\": 1e-07, \"decimal\": 1e-05}"
    },
    {
      "build": "firefox",
      "name": "choice-2",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "option_0": 0.3333333333333333,
          "option_1": 0.6666666666666666
        },
        "choice": "option_1"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_1",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "option_0": 0.3333333333333333,
          "option_1": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 43,
        "expected": 43
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "choice-3",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.5,
        "probabilities": {
          "option_0": 0.16666666666666666,
          "option_1": 0.3333333333333333,
          "option_2": 0.5
        },
        "choice": "option_2"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_2",
        "confidence": 0.5,
        "probabilities": {
          "option_0": 0.16666666666666666,
          "option_1": 0.3333333333333333,
          "option_2": 0.5
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 54,
        "expected": 54
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "choice-5",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "option_0": 0.06666666666666667,
          "option_1": 0.13333333333333333,
          "option_2": 0.2,
          "option_3": 0.26666666666666666,
          "option_4": 0.3333333333333333
        },
        "choice": "option_4"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_4",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "option_0": 0.06666666666666667,
          "option_1": 0.13333333333333333,
          "option_2": 0.2,
          "option_3": 0.26666666666666666,
          "option_4": 0.3333333333333333
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 76,
        "expected": 76
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "choice-11",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.16666666666666666,
        "probabilities": {
          "option_0": 0.015151515151515152,
          "option_1": 0.030303030303030304,
          "option_2": 0.045454545454545456,
          "option_3": 0.06060606060606061,
          "option_4": 0.07575757575757576,
          "option_5": 0.09090909090909091,
          "option_6": 0.10606060606060606,
          "option_7": 0.12121212121212122,
          "option_8": 0.13636363636363635,
          "option_9": 0.15151515151515152,
          "option_10": 0.16666666666666666
        },
        "choice": "option_10"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "option_10",
        "confidence": 0.16666666666666666,
        "probabilities": {
          "option_0": 0.015151515151515152,
          "option_1": 0.030303030303030304,
          "option_2": 0.045454545454545456,
          "option_3": 0.06060606060606061,
          "option_4": 0.07575757575757576,
          "option_5": 0.09090909090909091,
          "option_6": 0.10606060606060606,
          "option_7": 0.12121212121212122,
          "option_8": 0.13636363636363635,
          "option_9": 0.15151515151515152,
          "option_10": 0.16666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 142,
        "expected": 142
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "score-2",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "score": 0.6666666666666666,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 0.6666666666666666,
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 32,
        "expected": 32
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "score-3",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.5,
        "probabilities": {
          "0": 0.16666666666666666,
          "1": 0.3333333333333333,
          "2": 0.5
        },
        "score": 1.3333333333333333,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 1.3333333333333333,
        "confidence": 0.5,
        "probabilities": {
          "0": 0.16666666666666666,
          "1": 0.3333333333333333,
          "2": 0.5
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 43,
        "expected": 43
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "score-5",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.3333333333333333,
        "probabilities": {
          "0": 0.06666666666666667,
          "1": 0.13333333333333333,
          "2": 0.2,
          "3": 0.26666666666666666,
          "4": 0.3333333333333333
        },
        "score": 2.666666666666667,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 2.666666666666667,
        "confidence": 0.3333333333333333,
        "probabilities": {
          "0": 0.06666666666666667,
          "1": 0.13333333333333333,
          "2": 0.2,
          "3": 0.26666666666666666,
          "4": 0.3333333333333333
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 65,
        "expected": 65
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "score-10",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.18181818181818182,
        "probabilities": {
          "0": 0.01818181818181818,
          "1": 0.03636363636363636,
          "2": 0.05454545454545454,
          "3": 0.07272727272727272,
          "4": 0.09090909090909091,
          "5": 0.10909090909090909,
          "6": 0.12727272727272726,
          "7": 0.14545454545454545,
          "8": 0.16363636363636364,
          "9": 0.18181818181818182
        },
        "score": 6,
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4",
          "5": "Evidence level 5",
          "6": "Evidence level 6",
          "7": "Evidence level 7",
          "8": "Evidence level 8",
          "9": "Evidence level 9"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 6,
        "confidence": 0.18181818181818182,
        "probabilities": {
          "0": 0.01818181818181818,
          "1": 0.03636363636363636,
          "2": 0.05454545454545454,
          "3": 0.07272727272727272,
          "4": 0.09090909090909091,
          "5": 0.10909090909090909,
          "6": 0.12727272727272726,
          "7": 0.14545454545454545,
          "8": 0.16363636363636364,
          "9": 0.18181818181818182
        },
        "legend": {
          "0": "Evidence level 0",
          "1": "Evidence level 1",
          "2": "Evidence level 2",
          "3": "Evidence level 3",
          "4": "Evidence level 4",
          "5": "Evidence level 5",
          "6": "Evidence level 6",
          "7": "Evidence level 7",
          "8": "Evidence level 8",
          "9": "Evidence level 9"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 120,
        "expected": 120
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-False-8",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-False-9",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 27,
        "expected": 27
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-False-10",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 26,
        "expected": 26
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-False-11",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-True-12",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 25,
        "expected": 25
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-True-13",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 27,
        "expected": 27
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-True-14",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 26,
        "expected": 26
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "noul-True-15",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "expected_answer": {
        "type": "noul",
        "noul": 0.6666666666666666
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 35,
        "expected": 35
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "structured-score-legend",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "score",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "score": 0.6666666666666666,
        "legend": {
          "0": "{\"evidence\": \"absent\", \"count\": 0}",
          "1": "{\"evidence\": \"present\", \"count\": 1}"
        }
      },
      "expected_answer": {
        "type": "score",
        "score": 0.6666666666666666,
        "confidence": 0.6666666666666666,
        "probabilities": {
          "0": 0.3333333333333333,
          "1": 0.6666666666666666
        },
        "legend": {
          "0": "{\"evidence\": \"absent\", \"count\": 0}",
          "1": "{\"evidence\": \"present\", \"count\": 1}"
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 49,
        "expected": 49
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "escaped-markers-unicode",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "red": 0.3333333333333333,
          "green": 0.6666666666666666
        },
        "choice": "green"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "green",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "red": 0.3333333333333333,
          "green": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 53,
        "expected": 53
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "long-state-truncation",
      "scope": "ordinary_and_source_schema_edges",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        },
        "choice": "b"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "b",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 896,
        "expected": 896
      },
      "ids_first_difference": -1,
      "expected_serialized_state": null,
      "actual_serialized_state": null
    },
    {
      "build": "firefox",
      "name": "structured-numeric-state",
      "scope": "serializer_numeric_edge",
      "passed": true,
      "checks": {
        "rendered_options": true,
        "input_ids": true,
        "markers": true,
        "serialized_state": true,
        "temperature": true,
        "public_answer": true,
        "answer_schema": true
      },
      "actual_answer": {
        "type": "choice",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        },
        "choice": "b"
      },
      "expected_answer": {
        "type": "choice",
        "choice": "b",
        "confidence": 0.6666666666666666,
        "probabilities": {
          "a": 0.3333333333333333,
          "b": 0.6666666666666666
        }
      },
      "answer_contract_error": null,
      "token_count": {
        "actual": 39,
        "expected": 39
      },
      "ids_first_difference": -1,
      "expected_serialized_state": "{\"small\": 1e-07, \"decimal\": 1e-05}",
      "actual_serialized_state": "{\"small\": 1e-07, \"decimal\": 1e-05}"
    }
  ],
  "fixture": {
    "path": "d1-webbrain-release/validation/integration-fixtures.json",
    "bytes": 90107,
    "sha256": "99f103de740e6e8d9c60b121471810d45bce6f5f22ec38370d4c2c3f5053a7f4"
  },
  "source_bindings": [
    {
      "path": "../webbrain/src/chrome/src/providers/d1-preprocess.js",
      "bytes": 9407,
      "sha256": "00569ab7cae839e0e3b54b92a319aa0b5591a87c5dec67dac48cabe2d1464d9e"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1-runtime.js",
      "bytes": 8578,
      "sha256": "7837201f7a2a8e2edc8045a13cc36e722d125f3c135cc448219c9dc7cdc6a0ba"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1-worker.js",
      "bytes": 8338,
      "sha256": "d92040caf871cb7976546824fef3e2a0a03f7625fb041fe648c1f6f4f119bfee"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1-host.js",
      "bytes": 1456,
      "sha256": "53357b046940842559394bc8eb9c82487f4a522611da8cadb4c59813876bff8d"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1.js",
      "bytes": 1845,
      "sha256": "6c87d57f6fc6dd1da6de05edc2d6d4627e587c77c4d8198f15fe619b747bea44"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1-config.js",
      "bytes": 1822,
      "sha256": "478391b33ba638558a7b6ecb42b7a9ced43b075b5687d2825bc42ded1ab11ca1"
    },
    {
      "path": "../webbrain/src/chrome/src/providers/d1-cache.js",
      "bytes": 5318,
      "sha256": "f187892c457727a42b559866a6dc1e9668fc3d458734c9e6c26a5565c4f9e221"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-preprocess.js",
      "bytes": 9407,
      "sha256": "00569ab7cae839e0e3b54b92a319aa0b5591a87c5dec67dac48cabe2d1464d9e"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-runtime.js",
      "bytes": 8578,
      "sha256": "7837201f7a2a8e2edc8045a13cc36e722d125f3c135cc448219c9dc7cdc6a0ba"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-worker.js",
      "bytes": 8338,
      "sha256": "d92040caf871cb7976546824fef3e2a0a03f7625fb041fe648c1f6f4f119bfee"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-host.js",
      "bytes": 1456,
      "sha256": "53357b046940842559394bc8eb9c82487f4a522611da8cadb4c59813876bff8d"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1.js",
      "bytes": 1845,
      "sha256": "6c87d57f6fc6dd1da6de05edc2d6d4627e587c77c4d8198f15fe619b747bea44"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-config.js",
      "bytes": 1822,
      "sha256": "478391b33ba638558a7b6ecb42b7a9ced43b075b5687d2825bc42ded1ab11ca1"
    },
    {
      "path": "../webbrain/src/firefox/src/providers/d1-cache.js",
      "bytes": 5318,
      "sha256": "f187892c457727a42b559866a6dc1e9668fc3d458734c9e6c26a5565c4f9e221"
    }
  ],
  "tokenizer_module": {
    "path": "../webbrain/src/chrome/vendor/d1/transformers.web.js",
    "bytes": 1156776,
    "sha256": "539590a6de78977caa3d28a4669df919c909a485388a870d4da67cdea8aa5698"
  },
  "runner": {
    "path": "d1-webbrain-release/validation/integration_contract.mjs",
    "bytes": 5007,
    "sha256": "5c526ea39ea5d3992e5b9272489f5cdd207419a86e046d83a28fc9d3601a5155"
  },
  "checked_at_utc": "2026-10-08T22:59:46.736Z"
}