lockR's picture
Add validated ruBERT PII inference export, model card and benchmarks
73be581 verified
Raw
History Blame Contribute Delete
73.9 kB
{
"backend": "onnx-fp32",
"quality": {
"rows": 2841,
"negative_rows": 371,
"strict_alignment_subset_rows": 2839,
"negative_rows_with_false_positive": 17,
"exact_21": {
"precision": 0.8093242535358827,
"recall": 0.8256145350908444,
"f1": 0.8173882373688387,
"tp": 4635,
"fp": 1092,
"fn": 979,
"support": 5614,
"macro_f1": 0.814359631883518,
"per_label": {
"BIRTH_CERTIFICATE": {
"precision": 0.8287461773700305,
"recall": 0.7947214076246334,
"f1": 0.811377245508982,
"tp": 271,
"fp": 56,
"fn": 70,
"support": 341
},
"CITY": {
"precision": 0.7845744680851063,
"recall": 0.8702064896755162,
"f1": 0.8251748251748252,
"tp": 295,
"fp": 81,
"fn": 44,
"support": 339
},
"COUNTRY": {
"precision": 0.8933333333333333,
"recall": 0.8305785123966942,
"f1": 0.860813704496788,
"tp": 201,
"fp": 24,
"fn": 41,
"support": 242
},
"CREDIT_CARD": {
"precision": 0.8625592417061612,
"recall": 0.896551724137931,
"f1": 0.8792270531400966,
"tp": 182,
"fp": 29,
"fn": 21,
"support": 203
},
"DISTRICT": {
"precision": 0.7336956521739131,
"recall": 0.8385093167701864,
"f1": 0.782608695652174,
"tp": 135,
"fp": 49,
"fn": 26,
"support": 161
},
"DRIVER_LICENSE": {
"precision": 0.7796143250688705,
"recall": 0.7628032345013477,
"f1": 0.771117166212534,
"tp": 283,
"fp": 80,
"fn": 88,
"support": 371
},
"EMAIL": {
"precision": 0.9605263157894737,
"recall": 0.9909502262443439,
"f1": 0.9755011135857461,
"tp": 219,
"fp": 9,
"fn": 2,
"support": 221
},
"FIRST_NAME": {
"precision": 0.9046653144016227,
"recall": 0.8937875751503006,
"f1": 0.8991935483870968,
"tp": 446,
"fp": 47,
"fn": 53,
"support": 499
},
"HOUSE": {
"precision": 0.9212121212121213,
"recall": 0.9325153374233128,
"f1": 0.926829268292683,
"tp": 152,
"fp": 13,
"fn": 11,
"support": 163
},
"INN": {
"precision": 0.6941176470588235,
"recall": 0.6730038022813688,
"f1": 0.6833976833976834,
"tp": 177,
"fp": 78,
"fn": 86,
"support": 263
},
"IP_ADDRESS": {
"precision": 0.3087557603686636,
"recall": 0.432258064516129,
"f1": 0.3602150537634409,
"tp": 67,
"fp": 150,
"fn": 88,
"support": 155
},
"LAST_NAME": {
"precision": 0.8654292343387471,
"recall": 0.8161925601750547,
"f1": 0.8400900900900901,
"tp": 373,
"fp": 58,
"fn": 84,
"support": 457
},
"MIDDLE_NAME": {
"precision": 0.9015873015873016,
"recall": 0.922077922077922,
"f1": 0.9117174959871589,
"tp": 284,
"fp": 31,
"fn": 24,
"support": 308
},
"MILITARY_ID": {
"precision": 0.6769759450171822,
"recall": 0.7086330935251799,
"f1": 0.6924428822495606,
"tp": 197,
"fp": 94,
"fn": 81,
"support": 278
},
"OMS": {
"precision": 0.8941176470588236,
"recall": 0.8941176470588236,
"f1": 0.8941176470588236,
"tp": 152,
"fp": 18,
"fn": 18,
"support": 170
},
"PASSPORT": {
"precision": 0.7837301587301587,
"recall": 0.7995951417004049,
"f1": 0.7915831663326653,
"tp": 395,
"fp": 109,
"fn": 99,
"support": 494
},
"PHONE": {
"precision": 0.8064516129032258,
"recall": 0.8670520231213873,
"f1": 0.8356545961002786,
"tp": 150,
"fp": 36,
"fn": 23,
"support": 173
},
"REGION": {
"precision": 0.7837837837837838,
"recall": 0.8238636363636364,
"f1": 0.8033240997229917,
"tp": 145,
"fp": 40,
"fn": 31,
"support": 176
},
"SNILS": {
"precision": 0.8282828282828283,
"recall": 0.7354260089686099,
"f1": 0.7790973871733967,
"tp": 164,
"fp": 34,
"fn": 59,
"support": 223
},
"STREET": {
"precision": 0.8524590163934426,
"recall": 0.9122807017543859,
"f1": 0.8813559322033898,
"tp": 156,
"fp": 27,
"fn": 15,
"support": 171
},
"URL": {
"precision": 0.8681818181818182,
"recall": 0.9271844660194175,
"f1": 0.8967136150234741,
"tp": 191,
"fp": 29,
"fn": 15,
"support": 206
}
}
},
"exact_21_strict_alignment_subset": {
"precision": 0.8092404620231012,
"recall": 0.8255668630601678,
"f1": 0.8173221387538665,
"tp": 4624,
"fp": 1090,
"fn": 977,
"support": 5601,
"macro_f1": 0.8144628475161555,
"per_label": {
"BIRTH_CERTIFICATE": {
"precision": 0.8287461773700305,
"recall": 0.7947214076246334,
"f1": 0.811377245508982,
"tp": 271,
"fp": 56,
"fn": 70,
"support": 341
},
"CITY": {
"precision": 0.7834224598930482,
"recall": 0.8694362017804155,
"f1": 0.8241912798874824,
"tp": 293,
"fp": 81,
"fn": 44,
"support": 337
},
"COUNTRY": {
"precision": 0.8963963963963963,
"recall": 0.8326359832635983,
"f1": 0.8633405639913232,
"tp": 199,
"fp": 23,
"fn": 40,
"support": 239
},
"CREDIT_CARD": {
"precision": 0.8625592417061612,
"recall": 0.896551724137931,
"f1": 0.8792270531400966,
"tp": 182,
"fp": 29,
"fn": 21,
"support": 203
},
"DISTRICT": {
"precision": 0.7336956521739131,
"recall": 0.8385093167701864,
"f1": 0.782608695652174,
"tp": 135,
"fp": 49,
"fn": 26,
"support": 161
},
"DRIVER_LICENSE": {
"precision": 0.7796143250688705,
"recall": 0.7628032345013477,
"f1": 0.771117166212534,
"tp": 283,
"fp": 80,
"fn": 88,
"support": 371
},
"EMAIL": {
"precision": 0.9605263157894737,
"recall": 0.9909502262443439,
"f1": 0.9755011135857461,
"tp": 219,
"fp": 9,
"fn": 2,
"support": 221
},
"FIRST_NAME": {
"precision": 0.9046653144016227,
"recall": 0.8937875751503006,
"f1": 0.8991935483870968,
"tp": 446,
"fp": 47,
"fn": 53,
"support": 499
},
"HOUSE": {
"precision": 0.9202453987730062,
"recall": 0.9316770186335404,
"f1": 0.9259259259259259,
"tp": 150,
"fp": 13,
"fn": 11,
"support": 161
},
"INN": {
"precision": 0.6941176470588235,
"recall": 0.6730038022813688,
"f1": 0.6833976833976834,
"tp": 177,
"fp": 78,
"fn": 86,
"support": 263
},
"IP_ADDRESS": {
"precision": 0.3087557603686636,
"recall": 0.432258064516129,
"f1": 0.3602150537634409,
"tp": 67,
"fp": 150,
"fn": 88,
"support": 155
},
"LAST_NAME": {
"precision": 0.8654292343387471,
"recall": 0.8161925601750547,
"f1": 0.8400900900900901,
"tp": 373,
"fp": 58,
"fn": 84,
"support": 457
},
"MIDDLE_NAME": {
"precision": 0.9015873015873016,
"recall": 0.922077922077922,
"f1": 0.9117174959871589,
"tp": 284,
"fp": 31,
"fn": 24,
"support": 308
},
"MILITARY_ID": {
"precision": 0.6769759450171822,
"recall": 0.7086330935251799,
"f1": 0.6924428822495606,
"tp": 197,
"fp": 94,
"fn": 81,
"support": 278
},
"OMS": {
"precision": 0.8941176470588236,
"recall": 0.8941176470588236,
"f1": 0.8941176470588236,
"tp": 152,
"fp": 18,
"fn": 18,
"support": 170
},
"PASSPORT": {
"precision": 0.7837301587301587,
"recall": 0.7995951417004049,
"f1": 0.7915831663326653,
"tp": 395,
"fp": 109,
"fn": 99,
"support": 494
},
"PHONE": {
"precision": 0.8043478260869565,
"recall": 0.8654970760233918,
"f1": 0.8338028169014085,
"tp": 148,
"fp": 36,
"fn": 23,
"support": 171
},
"REGION": {
"precision": 0.7837837837837838,
"recall": 0.8238636363636364,
"f1": 0.8033240997229917,
"tp": 145,
"fp": 40,
"fn": 31,
"support": 176
},
"SNILS": {
"precision": 0.8282828282828283,
"recall": 0.7354260089686099,
"f1": 0.7790973871733967,
"tp": 164,
"fp": 34,
"fn": 59,
"support": 223
},
"STREET": {
"precision": 0.856353591160221,
"recall": 0.9171597633136095,
"f1": 0.8857142857142857,
"tp": 155,
"fp": 26,
"fn": 14,
"support": 169
},
"URL": {
"precision": 0.8669724770642202,
"recall": 0.9264705882352942,
"f1": 0.8957345971563981,
"tp": 189,
"fp": 29,
"fn": 15,
"support": 204
}
}
},
"coarse_14_exact": {
"precision": 0.8152610441767069,
"recall": 0.8316708229426434,
"f1": 0.8233841812891279,
"tp": 4669,
"fp": 1058,
"fn": 945,
"support": 5614,
"macro_f1": 0.7944325036113088,
"per_label": {
"BIRTH_CERTIFICATE": {
"precision": 0.8287461773700305,
"recall": 0.7947214076246334,
"f1": 0.811377245508982,
"tp": 271,
"fp": 56,
"fn": 70,
"support": 341
},
"CREDIT_CARD": {
"precision": 0.8625592417061612,
"recall": 0.896551724137931,
"f1": 0.8792270531400966,
"tp": 182,
"fp": 29,
"fn": 21,
"support": 203
},
"DRIVER_LICENSE": {
"precision": 0.7796143250688705,
"recall": 0.7628032345013477,
"f1": 0.771117166212534,
"tp": 283,
"fp": 80,
"fn": 88,
"support": 371
},
"EMAIL": {
"precision": 0.9605263157894737,
"recall": 0.9909502262443439,
"f1": 0.9755011135857461,
"tp": 219,
"fp": 9,
"fn": 2,
"support": 221
},
"INN": {
"precision": 0.6941176470588235,
"recall": 0.6730038022813688,
"f1": 0.6833976833976834,
"tp": 177,
"fp": 78,
"fn": 86,
"support": 263
},
"IP_ADDRESS": {
"precision": 0.3087557603686636,
"recall": 0.432258064516129,
"f1": 0.3602150537634409,
"tp": 67,
"fp": 150,
"fn": 88,
"support": 155
},
"LOCATION": {
"precision": 0.8399089529590288,
"recall": 0.884185303514377,
"f1": 0.8614785992217899,
"tp": 1107,
"fp": 211,
"fn": 145,
"support": 1252
},
"MILITARY_ID": {
"precision": 0.6769759450171822,
"recall": 0.7086330935251799,
"f1": 0.6924428822495606,
"tp": 197,
"fp": 94,
"fn": 81,
"support": 278
},
"OMS": {
"precision": 0.8941176470588236,
"recall": 0.8941176470588236,
"f1": 0.8941176470588236,
"tp": 152,
"fp": 18,
"fn": 18,
"support": 170
},
"PASSPORT": {
"precision": 0.7837301587301587,
"recall": 0.7995951417004049,
"f1": 0.7915831663326653,
"tp": 395,
"fp": 109,
"fn": 99,
"support": 494
},
"PERSON": {
"precision": 0.8991121872477804,
"recall": 0.8813291139240507,
"f1": 0.8901318417898522,
"tp": 1114,
"fp": 125,
"fn": 150,
"support": 1264
},
"PHONE": {
"precision": 0.8064516129032258,
"recall": 0.8670520231213873,
"f1": 0.8356545961002786,
"tp": 150,
"fp": 36,
"fn": 23,
"support": 173
},
"SNILS": {
"precision": 0.8282828282828283,
"recall": 0.7354260089686099,
"f1": 0.7790973871733967,
"tp": 164,
"fp": 34,
"fn": 59,
"support": 223
},
"URL": {
"precision": 0.8681818181818182,
"recall": 0.9271844660194175,
"f1": 0.8967136150234741,
"tp": 191,
"fp": 29,
"fn": 15,
"support": 206
}
}
},
"person_location_overlap": {
"precision": 0.9456112008616048,
"recall": 0.9564270152505446,
"f1": 0.950988356349851,
"tp": 1756,
"fp": 101,
"fn": 80,
"support": 1836,
"macro_f1": 0.9505102060088971,
"per_label": {
"PERSON": {
"precision": 0.9542772861356932,
"recall": 0.9431486880466472,
"f1": 0.9486803519061584,
"tp": 647,
"fp": 31,
"fn": 39,
"support": 686
},
"LOCATION": {
"precision": 0.9406276505513147,
"recall": 0.9643478260869566,
"f1": 0.9523400601116359,
"tp": 1109,
"fp": 70,
"fn": 41,
"support": 1150
}
}
}
},
"quality_seconds": 11.29447978400276,
"examples": 2841,
"environment": {
"gpu": "NVIDIA GeForce RTX 4070 Ti SUPER",
"cuda": "12.8",
"platform": "Linux-6.18.33.2-microsoft-standard-WSL2-x86_64-with-glibc2.39",
"python": "3.12.11",
"packages": {
"torch": "2.8.0",
"transformers": "4.57.1",
"onnx": "1.19.1",
"onnxruntime-gpu": "1.23.2",
"numpy": "2.5.3",
"tokenizers": "0.22.2"
},
"model_revision": "c802e8cd26f85d1cf920973ea6f83965a0618d63",
"timing": "perf_counter_ns; synchronous output to CPU; tokenizer + windows + GPU + decoding; batch1",
"timing_sample_ids": [
2619,
456,
102,
1126,
1003,
914,
571,
419,
2771,
2233,
356,
2418,
1728,
130,
122,
383,
895,
952,
2069,
2465,
108,
2298,
814,
2661,
2232,
1718,
902,
1839,
2413,
1139,
26,
653,
1731,
1393,
1138,
636,
881,
1378,
418,
379,
1556,
396,
1470,
1408,
2472,
1083,
177,
1881,
2196,
511,
1550,
322,
2261,
1200,
2574,
2533,
1481,
2364,
787,
284,
187,
2708,
933,
1185,
326,
953,
413,
1857,
2603,
1494,
666,
1516,
1455,
858,
2745,
1093,
2799,
2654,
292,
2495,
2600,
700,
2187,
1002,
669,
1893,
1554,
1105,
2621,
2818,
2281,
899,
2804,
1328,
229,
938,
131,
1292,
1643,
1096,
271,
864,
2323,
1288,
870,
2684,
2044,
1620,
2633,
1879,
585,
1084,
1010,
2299,
2207,
1076,
2394,
1754,
2390,
1635,
1482,
898,
566,
2087,
2021,
372,
192,
449,
626,
2570,
655,
2787,
1729,
2442,
260,
1576,
1563,
2440,
1917,
2167,
1029,
2266,
47,
2786,
469,
2792,
2199,
1092,
2625,
1202,
1780,
647,
1858,
13,
1078,
2050,
731,
2079,
435,
2561,
1222,
2617,
2494,
1531,
661,
2209,
2172,
2,
2453,
1327,
2001,
79,
458,
1486,
1259,
980,
237,
986,
350,
1990,
283,
2181,
515,
525,
2702,
1946,
2251,
676,
1085,
2161,
2484,
1733,
867,
2208,
2825,
823,
1276,
1634,
2751,
1529,
1794,
2119,
1849,
495,
1015,
920,
262,
1384,
86,
2409,
2268,
942,
2410,
29,
290,
2584,
241,
937,
276,
128,
1353,
2105,
974,
1140,
2740,
1988,
877,
541,
2338,
2360,
1936,
995,
1937,
1667,
779,
386,
397,
2699,
1765,
1451,
1734,
1683,
1912,
221,
2758,
2676,
2646,
403,
248,
1649,
1389,
447,
1018,
784,
1837,
574
],
"repeats": 3,
"seed": 42,
"quality_batch_size": 1,
"min_confidence": 0.3,
"stride": 128,
"max_length": 512,
"torch_allow_tf32": false,
"onnx_use_tf32": false,
"record_ids": [
"row_0000",
"row_0001",
"row_0002",
"row_0003",
"row_0004",
"row_0005",
"row_0006",
"row_0007",
"row_0008",
"row_0009",
"row_0010",
"row_0011",
"row_0012",
"row_0013",
"row_0014",
"row_0015",
"row_0016",
"row_0017",
"row_0018",
"row_0019",
"row_0020",
"row_0021",
"row_0022",
"row_0023",
"row_0024",
"row_0025",
"row_0026",
"row_0027",
"row_0028",
"row_0029",
"row_0030",
"row_0031",
"row_0032",
"row_0033",
"row_0034",
"row_0035",
"row_0036",
"row_0037",
"row_0038",
"row_0039",
"row_0040",
"row_0041",
"row_0042",
"row_0043",
"row_0044",
"row_0045",
"row_0046",
"row_0047",
"row_0048",
"row_0049",
"row_0050",
"row_0051",
"row_0052",
"row_0053",
"row_0054",
"row_0055",
"row_0056",
"row_0057",
"row_0058",
"row_0059",
"row_0060",
"row_0061",
"row_0062",
"row_0063",
"row_0064",
"row_0065",
"row_0066",
"row_0067",
"row_0068",
"row_0069",
"row_0070",
"row_0071",
"row_0072",
"row_0073",
"row_0074",
"row_0075",
"row_0076",
"row_0077",
"row_0078",
"row_0079",
"row_0080",
"row_0081",
"row_0082",
"row_0083",
"row_0084",
"row_0085",
"row_0086",
"row_0087",
"row_0088",
"row_0089",
"row_0090",
"row_0091",
"row_0092",
"row_0093",
"row_0094",
"row_0095",
"row_0096",
"row_0097",
"row_0098",
"row_0099",
"row_0100",
"row_0101",
"row_0102",
"row_0103",
"row_0104",
"row_0105",
"row_0106",
"row_0107",
"row_0108",
"row_0109",
"row_0110",
"row_0111",
"row_0112",
"row_0113",
"row_0114",
"row_0115",
"row_0116",
"row_0117",
"row_0118",
"row_0119",
"row_0120",
"row_0121",
"row_0122",
"row_0123",
"row_0124",
"row_0125",
"row_0126",
"row_0127",
"row_0128",
"row_0129",
"row_0130",
"row_0131",
"row_0132",
"row_0133",
"row_0134",
"row_0135",
"row_0136",
"row_0137",
"row_0138",
"row_0139",
"row_0140",
"row_0141",
"row_0142",
"row_0143",
"row_0144",
"row_0145",
"row_0146",
"row_0147",
"row_0148",
"row_0149",
"row_0150",
"row_0151",
"row_0152",
"row_0153",
"row_0154",
"row_0155",
"row_0156",
"row_0157",
"row_0158",
"row_0159",
"row_0160",
"row_0161",
"row_0162",
"row_0163",
"row_0164",
"row_0165",
"row_0166",
"row_0167",
"row_0168",
"row_0169",
"row_0170",
"row_0171",
"row_0172",
"row_0173",
"row_0174",
"row_0175",
"row_0176",
"row_0177",
"row_0178",
"row_0179",
"row_0180",
"row_0181",
"row_0182",
"row_0183",
"row_0184",
"row_0185",
"row_0186",
"row_0187",
"row_0188",
"row_0189",
"row_0190",
"row_0191",
"row_0192",
"row_0193",
"row_0194",
"row_0195",
"row_0196",
"row_0197",
"row_0198",
"row_0199",
"row_0200",
"row_0201",
"row_0202",
"row_0203",
"row_0204",
"row_0205",
"row_0206",
"row_0207",
"row_0208",
"row_0209",
"row_0210",
"row_0211",
"row_0212",
"row_0213",
"row_0214",
"row_0215",
"row_0216",
"row_0217",
"row_0218",
"row_0219",
"row_0220",
"row_0221",
"row_0222",
"row_0223",
"row_0224",
"row_0225",
"row_0226",
"row_0227",
"row_0228",
"row_0229",
"row_0230",
"row_0231",
"row_0232",
"row_0233",
"row_0234",
"row_0235",
"row_0236",
"row_0237",
"row_0238",
"row_0239",
"row_0240",
"row_0241",
"row_0242",
"row_0243",
"row_0244",
"row_0245",
"row_0246",
"row_0247",
"row_0248",
"row_0249",
"row_0250",
"row_0251",
"row_0252",
"row_0253",
"row_0254",
"row_0255",
"row_0256",
"row_0257",
"row_0258",
"row_0259",
"row_0260",
"row_0261",
"row_0262",
"row_0263",
"row_0264",
"row_0265",
"row_0266",
"row_0267",
"row_0268",
"row_0269",
"row_0270",
"row_0271",
"row_0272",
"row_0273",
"row_0274",
"row_0275",
"row_0276",
"row_0277",
"row_0278",
"row_0279",
"row_0280",
"row_0281",
"row_0282",
"row_0283",
"row_0284",
"row_0285",
"row_0286",
"row_0287",
"row_0288",
"row_0289",
"row_0290",
"row_0291",
"row_0292",
"row_0293",
"row_0294",
"row_0295",
"row_0296",
"row_0297",
"row_0298",
"row_0299",
"row_0300",
"row_0301",
"row_0302",
"row_0303",
"row_0304",
"row_0305",
"row_0306",
"row_0307",
"row_0308",
"row_0309",
"row_0310",
"row_0311",
"row_0312",
"row_0313",
"row_0314",
"row_0315",
"row_0316",
"row_0317",
"row_0318",
"row_0319",
"row_0320",
"row_0321",
"row_0322",
"row_0323",
"row_0324",
"row_0325",
"row_0326",
"row_0327",
"row_0328",
"row_0329",
"row_0330",
"row_0331",
"row_0332",
"row_0333",
"row_0334",
"row_0335",
"row_0336",
"row_0337",
"row_0338",
"row_0339",
"row_0340",
"row_0341",
"row_0342",
"row_0343",
"row_0344",
"row_0345",
"row_0346",
"row_0347",
"row_0348",
"row_0349",
"row_0350",
"row_0351",
"row_0352",
"row_0353",
"row_0354",
"row_0355",
"row_0356",
"row_0357",
"row_0358",
"row_0359",
"row_0360",
"row_0361",
"row_0362",
"row_0363",
"row_0364",
"row_0365",
"row_0366",
"row_0367",
"row_0368",
"row_0369",
"row_0370",
"row_0371",
"row_0372",
"row_0373",
"row_0374",
"row_0375",
"row_0376",
"row_0377",
"row_0378",
"row_0379",
"row_0380",
"row_0381",
"row_0382",
"row_0383",
"row_0384",
"row_0385",
"row_0386",
"row_0387",
"row_0388",
"row_0389",
"row_0390",
"row_0391",
"row_0392",
"row_0393",
"row_0394",
"row_0395",
"row_0396",
"row_0397",
"row_0398",
"row_0399",
"row_0400",
"row_0401",
"row_0402",
"row_0403",
"row_0404",
"row_0405",
"row_0406",
"row_0407",
"row_0408",
"row_0409",
"row_0410",
"row_0411",
"row_0412",
"row_0413",
"row_0414",
"row_0415",
"row_0416",
"row_0417",
"row_0418",
"row_0419",
"row_0420",
"row_0421",
"row_0422",
"row_0423",
"row_0424",
"row_0425",
"row_0426",
"row_0427",
"row_0428",
"row_0429",
"row_0430",
"row_0431",
"row_0432",
"row_0433",
"row_0434",
"row_0435",
"row_0436",
"row_0437",
"row_0438",
"row_0439",
"row_0440",
"row_0441",
"row_0442",
"row_0443",
"row_0444",
"row_0445",
"row_0446",
"row_0447",
"row_0448",
"row_0449",
"row_0450",
"row_0451",
"row_0452",
"row_0453",
"row_0454",
"row_0455",
"row_0456",
"row_0457",
"row_0458",
"row_0459",
"row_0460",
"row_0461",
"row_0462",
"row_0463",
"row_0464",
"row_0465",
"row_0466",
"row_0467",
"row_0468",
"row_0469",
"row_0470",
"row_0471",
"row_0472",
"row_0473",
"row_0474",
"row_0475",
"row_0476",
"row_0477",
"row_0478",
"row_0479",
"row_0480",
"row_0481",
"row_0482",
"row_0483",
"row_0484",
"row_0485",
"row_0486",
"row_0487",
"row_0488",
"row_0489",
"row_0490",
"row_0491",
"row_0492",
"row_0493",
"row_0494",
"row_0495",
"row_0496",
"row_0497",
"row_0498",
"row_0499",
"row_0500",
"row_0501",
"row_0502",
"row_0503",
"row_0504",
"row_0505",
"row_0506",
"row_0507",
"row_0508",
"row_0509",
"row_0510",
"row_0511",
"row_0512",
"row_0513",
"row_0514",
"row_0515",
"row_0516",
"row_0517",
"row_0518",
"row_0519",
"row_0520",
"row_0521",
"row_0522",
"row_0523",
"row_0524",
"row_0525",
"row_0526",
"row_0527",
"row_0528",
"row_0529",
"row_0530",
"row_0531",
"row_0532",
"row_0533",
"row_0534",
"row_0535",
"row_0536",
"row_0537",
"row_0538",
"row_0539",
"row_0540",
"row_0541",
"row_0542",
"row_0543",
"row_0544",
"row_0545",
"row_0546",
"row_0547",
"row_0548",
"row_0549",
"row_0550",
"row_0551",
"row_0552",
"row_0553",
"row_0554",
"row_0555",
"row_0556",
"row_0557",
"row_0558",
"row_0559",
"row_0560",
"row_0561",
"row_0562",
"row_0563",
"row_0564",
"row_0565",
"row_0566",
"row_0567",
"row_0568",
"row_0569",
"row_0570",
"row_0571",
"row_0572",
"row_0573",
"row_0574",
"row_0575",
"row_0576",
"row_0577",
"row_0578",
"row_0579",
"row_0580",
"row_0581",
"row_0582",
"row_0583",
"row_0584",
"row_0585",
"row_0586",
"row_0587",
"row_0588",
"row_0589",
"row_0590",
"row_0591",
"row_0592",
"row_0593",
"row_0594",
"row_0595",
"row_0596",
"row_0597",
"row_0598",
"row_0599",
"row_0600",
"row_0601",
"row_0602",
"row_0603",
"row_0604",
"row_0605",
"row_0606",
"row_0607",
"row_0608",
"row_0609",
"row_0610",
"row_0611",
"row_0612",
"row_0613",
"row_0614",
"row_0615",
"row_0616",
"row_0617",
"row_0618",
"row_0619",
"row_0620",
"row_0621",
"row_0622",
"row_0623",
"row_0624",
"row_0625",
"row_0626",
"row_0627",
"row_0628",
"row_0629",
"row_0630",
"row_0631",
"row_0632",
"row_0633",
"row_0634",
"row_0635",
"row_0636",
"row_0637",
"row_0638",
"row_0639",
"row_0640",
"row_0641",
"row_0642",
"row_0643",
"row_0644",
"row_0645",
"row_0646",
"row_0647",
"row_0648",
"row_0649",
"row_0650",
"row_0651",
"row_0652",
"row_0653",
"row_0654",
"row_0655",
"row_0656",
"row_0657",
"row_0658",
"row_0659",
"row_0660",
"row_0661",
"row_0662",
"row_0663",
"row_0664",
"row_0665",
"row_0666",
"row_0667",
"row_0668",
"row_0669",
"row_0670",
"row_0671",
"row_0672",
"row_0673",
"row_0674",
"row_0675",
"row_0676",
"row_0677",
"row_0678",
"row_0679",
"row_0680",
"row_0681",
"row_0682",
"row_0683",
"row_0684",
"row_0685",
"row_0686",
"row_0687",
"row_0688",
"row_0689",
"row_0690",
"row_0691",
"row_0692",
"row_0693",
"row_0694",
"row_0695",
"row_0696",
"row_0697",
"row_0698",
"row_0699",
"row_0700",
"row_0701",
"row_0702",
"row_0703",
"row_0704",
"row_0705",
"row_0706",
"row_0707",
"row_0708",
"row_0709",
"row_0710",
"row_0711",
"row_0712",
"row_0713",
"row_0714",
"row_0715",
"row_0716",
"row_0717",
"row_0718",
"row_0719",
"row_0720",
"row_0721",
"row_0722",
"row_0723",
"row_0724",
"row_0725",
"row_0726",
"row_0727",
"row_0728",
"row_0729",
"row_0730",
"row_0731",
"row_0732",
"row_0733",
"row_0734",
"row_0735",
"row_0736",
"row_0737",
"row_0738",
"row_0739",
"row_0740",
"row_0741",
"row_0742",
"row_0743",
"row_0744",
"row_0745",
"row_0746",
"row_0747",
"row_0748",
"row_0749",
"row_0750",
"row_0751",
"row_0752",
"row_0753",
"row_0754",
"row_0755",
"row_0756",
"row_0757",
"row_0758",
"row_0759",
"row_0760",
"row_0761",
"row_0762",
"row_0763",
"row_0764",
"row_0765",
"row_0766",
"row_0767",
"row_0768",
"row_0769",
"row_0770",
"row_0771",
"row_0772",
"row_0773",
"row_0774",
"row_0775",
"row_0776",
"row_0777",
"row_0778",
"row_0779",
"row_0780",
"row_0781",
"row_0782",
"row_0783",
"row_0784",
"row_0785",
"row_0786",
"row_0787",
"row_0788",
"row_0789",
"row_0790",
"row_0791",
"row_0792",
"row_0793",
"row_0794",
"row_0795",
"row_0796",
"row_0797",
"row_0798",
"row_0799",
"row_0800",
"row_0801",
"row_0802",
"row_0803",
"row_0804",
"row_0805",
"row_0806",
"row_0807",
"row_0808",
"row_0809",
"row_0810",
"row_0811",
"row_0812",
"row_0813",
"row_0814",
"row_0815",
"row_0816",
"row_0817",
"row_0818",
"row_0819",
"row_0820",
"row_0821",
"row_0822",
"row_0823",
"row_0824",
"row_0825",
"row_0826",
"row_0827",
"row_0828",
"row_0829",
"row_0830",
"row_0831",
"row_0832",
"row_0833",
"row_0834",
"row_0835",
"row_0836",
"row_0837",
"row_0838",
"row_0839",
"row_0840",
"row_0841",
"row_0842",
"row_0843",
"row_0844",
"row_0845",
"row_0846",
"row_0847",
"row_0848",
"row_0849",
"row_0850",
"row_0851",
"row_0852",
"row_0853",
"row_0854",
"row_0855",
"row_0856",
"row_0857",
"row_0858",
"row_0859",
"row_0860",
"row_0861",
"row_0862",
"row_0863",
"row_0864",
"row_0865",
"row_0866",
"row_0867",
"row_0868",
"row_0869",
"row_0870",
"row_0871",
"row_0872",
"row_0873",
"row_0874",
"row_0875",
"row_0876",
"row_0877",
"row_0878",
"row_0879",
"row_0880",
"row_0881",
"row_0882",
"row_0883",
"row_0884",
"row_0885",
"row_0886",
"row_0887",
"row_0888",
"row_0889",
"row_0890",
"row_0891",
"row_0892",
"row_0893",
"row_0894",
"row_0895",
"row_0896",
"row_0897",
"row_0898",
"row_0899",
"row_0900",
"row_0901",
"row_0902",
"row_0903",
"row_0904",
"row_0905",
"row_0906",
"row_0907",
"row_0908",
"row_0909",
"row_0910",
"row_0911",
"row_0912",
"row_0913",
"row_0914",
"row_0915",
"row_0916",
"row_0917",
"row_0918",
"row_0919",
"row_0920",
"row_0921",
"row_0922",
"row_0923",
"row_0924",
"row_0925",
"row_0926",
"row_0927",
"row_0928",
"row_0929",
"row_0930",
"row_0931",
"row_0932",
"row_0933",
"row_0934",
"row_0935",
"row_0936",
"row_0937",
"row_0938",
"row_0939",
"row_0940",
"row_0941",
"row_0942",
"row_0943",
"row_0944",
"row_0945",
"row_0946",
"row_0947",
"row_0948",
"row_0949",
"row_0950",
"row_0951",
"row_0952",
"row_0953",
"row_0954",
"row_0955",
"row_0956",
"row_0957",
"row_0958",
"row_0959",
"row_0960",
"row_0961",
"row_0962",
"row_0963",
"row_0964",
"row_0965",
"row_0966",
"row_0967",
"row_0968",
"row_0969",
"row_0970",
"row_0971",
"row_0972",
"row_0973",
"row_0974",
"row_0975",
"row_0976",
"row_0977",
"row_0978",
"row_0979",
"row_0980",
"row_0981",
"row_0982",
"row_0983",
"row_0984",
"row_0985",
"row_0986",
"row_0987",
"row_0988",
"row_0989",
"row_0990",
"row_0991",
"row_0992",
"row_0993",
"row_0994",
"row_0995",
"row_0996",
"row_0997",
"row_0998",
"row_0999",
"row_1000",
"row_1001",
"row_1002",
"row_1003",
"row_1004",
"row_1005",
"row_1006",
"row_1007",
"row_1008",
"row_1009",
"row_1010",
"row_1011",
"row_1012",
"row_1013",
"row_1014",
"row_1015",
"row_1016",
"row_1017",
"row_1018",
"row_1019",
"row_1020",
"row_1021",
"row_1022",
"row_1023",
"row_1024",
"row_1025",
"row_1026",
"row_1027",
"row_1028",
"row_1029",
"row_1030",
"row_1031",
"row_1032",
"row_1033",
"row_1034",
"row_1035",
"row_1036",
"row_1037",
"row_1038",
"row_1039",
"row_1040",
"row_1041",
"row_1042",
"row_1043",
"row_1044",
"row_1045",
"row_1046",
"row_1047",
"row_1048",
"row_1049",
"row_1050",
"row_1051",
"row_1052",
"row_1053",
"row_1054",
"row_1055",
"row_1056",
"row_1057",
"row_1058",
"row_1059",
"row_1060",
"row_1061",
"row_1062",
"row_1063",
"row_1064",
"row_1065",
"row_1066",
"row_1067",
"row_1068",
"row_1069",
"row_1070",
"row_1071",
"row_1072",
"row_1073",
"row_1074",
"row_1075",
"row_1076",
"row_1077",
"row_1078",
"row_1079",
"row_1080",
"row_1081",
"row_1082",
"row_1083",
"row_1084",
"row_1085",
"row_1086",
"row_1087",
"row_1088",
"row_1089",
"row_1090",
"row_1091",
"row_1092",
"row_1093",
"row_1094",
"row_1095",
"row_1096",
"row_1097",
"row_1098",
"row_1099",
"row_1100",
"row_1101",
"row_1102",
"row_1103",
"row_1104",
"row_1105",
"row_1106",
"row_1107",
"row_1108",
"row_1109",
"row_1110",
"row_1111",
"row_1112",
"row_1113",
"row_1114",
"row_1115",
"row_1116",
"row_1117",
"row_1118",
"row_1119",
"row_1120",
"row_1121",
"row_1122",
"row_1123",
"row_1124",
"row_1125",
"row_1126",
"row_1127",
"row_1128",
"row_1129",
"row_1130",
"row_1131",
"row_1132",
"row_1133",
"row_1134",
"row_1135",
"row_1136",
"row_1137",
"row_1138",
"row_1139",
"row_1140",
"row_1141",
"row_1142",
"row_1143",
"row_1144",
"row_1145",
"row_1146",
"row_1147",
"row_1148",
"row_1149",
"row_1150",
"row_1151",
"row_1152",
"row_1153",
"row_1154",
"row_1155",
"row_1156",
"row_1157",
"row_1158",
"row_1159",
"row_1160",
"row_1161",
"row_1162",
"row_1163",
"row_1164",
"row_1165",
"row_1166",
"row_1167",
"row_1168",
"row_1169",
"row_1170",
"row_1171",
"row_1172",
"row_1173",
"row_1174",
"row_1175",
"row_1176",
"row_1177",
"row_1178",
"row_1179",
"row_1180",
"row_1181",
"row_1182",
"row_1183",
"row_1184",
"row_1185",
"row_1186",
"row_1187",
"row_1188",
"row_1189",
"row_1190",
"row_1191",
"row_1192",
"row_1193",
"row_1194",
"row_1195",
"row_1196",
"row_1197",
"row_1198",
"row_1199",
"row_1200",
"row_1201",
"row_1202",
"row_1203",
"row_1204",
"row_1205",
"row_1206",
"row_1207",
"row_1208",
"row_1209",
"row_1210",
"row_1211",
"row_1212",
"row_1213",
"row_1214",
"row_1215",
"row_1216",
"row_1217",
"row_1218",
"row_1219",
"row_1220",
"row_1221",
"row_1222",
"row_1223",
"row_1224",
"row_1225",
"row_1226",
"row_1227",
"row_1228",
"row_1229",
"row_1230",
"row_1231",
"row_1232",
"row_1233",
"row_1234",
"row_1235",
"row_1236",
"row_1237",
"row_1238",
"row_1239",
"row_1240",
"row_1241",
"row_1242",
"row_1243",
"row_1244",
"row_1245",
"row_1246",
"row_1247",
"row_1248",
"row_1249",
"row_1250",
"row_1251",
"row_1252",
"row_1253",
"row_1254",
"row_1255",
"row_1256",
"row_1257",
"row_1258",
"row_1259",
"row_1260",
"row_1261",
"row_1262",
"row_1263",
"row_1264",
"row_1265",
"row_1266",
"row_1267",
"row_1268",
"row_1269",
"row_1270",
"row_1271",
"row_1272",
"row_1273",
"row_1274",
"row_1275",
"row_1276",
"row_1277",
"row_1278",
"row_1279",
"row_1280",
"row_1281",
"row_1282",
"row_1283",
"row_1284",
"row_1285",
"row_1286",
"row_1287",
"row_1288",
"row_1289",
"row_1290",
"row_1291",
"row_1292",
"row_1293",
"row_1294",
"row_1295",
"row_1296",
"row_1297",
"row_1298",
"row_1299",
"row_1300",
"row_1301",
"row_1302",
"row_1303",
"row_1304",
"row_1305",
"row_1306",
"row_1307",
"row_1308",
"row_1309",
"row_1310",
"row_1311",
"row_1312",
"row_1313",
"row_1314",
"row_1315",
"row_1316",
"row_1317",
"row_1318",
"row_1319",
"row_1320",
"row_1321",
"row_1322",
"row_1323",
"row_1324",
"row_1325",
"row_1326",
"row_1327",
"row_1328",
"row_1329",
"row_1330",
"row_1331",
"row_1332",
"row_1333",
"row_1334",
"row_1335",
"row_1336",
"row_1337",
"row_1338",
"row_1339",
"row_1340",
"row_1341",
"row_1342",
"row_1343",
"row_1344",
"row_1345",
"row_1346",
"row_1347",
"row_1348",
"row_1349",
"row_1350",
"row_1351",
"row_1352",
"row_1353",
"row_1354",
"row_1355",
"row_1356",
"row_1357",
"row_1358",
"row_1359",
"row_1360",
"row_1361",
"row_1362",
"row_1363",
"row_1364",
"row_1365",
"row_1366",
"row_1367",
"row_1368",
"row_1369",
"row_1370",
"row_1371",
"row_1372",
"row_1373",
"row_1374",
"row_1375",
"row_1376",
"row_1377",
"row_1378",
"row_1379",
"row_1380",
"row_1381",
"row_1382",
"row_1383",
"row_1384",
"row_1385",
"row_1386",
"row_1387",
"row_1388",
"row_1389",
"row_1390",
"row_1391",
"row_1392",
"row_1393",
"row_1394",
"row_1395",
"row_1396",
"row_1397",
"row_1398",
"row_1399",
"row_1400",
"row_1401",
"row_1402",
"row_1403",
"row_1404",
"row_1405",
"row_1406",
"row_1407",
"row_1408",
"row_1409",
"row_1410",
"row_1411",
"row_1412",
"row_1413",
"row_1414",
"row_1415",
"row_1416",
"row_1417",
"row_1418",
"row_1419",
"row_1420",
"row_1421",
"row_1422",
"row_1423",
"row_1424",
"row_1425",
"row_1426",
"row_1427",
"row_1428",
"row_1429",
"row_1430",
"row_1431",
"row_1432",
"row_1433",
"row_1434",
"row_1435",
"row_1436",
"row_1437",
"row_1438",
"row_1439",
"row_1440",
"row_1441",
"row_1442",
"row_1443",
"row_1444",
"row_1445",
"row_1446",
"row_1447",
"row_1448",
"row_1449",
"row_1450",
"row_1451",
"row_1452",
"row_1453",
"row_1454",
"row_1455",
"row_1456",
"row_1457",
"row_1458",
"row_1459",
"row_1460",
"row_1461",
"row_1462",
"row_1463",
"row_1464",
"row_1465",
"row_1466",
"row_1467",
"row_1468",
"row_1469",
"row_1470",
"row_1471",
"row_1472",
"row_1473",
"row_1474",
"row_1475",
"row_1476",
"row_1477",
"row_1478",
"row_1479",
"row_1480",
"row_1481",
"row_1482",
"row_1483",
"row_1484",
"row_1485",
"row_1486",
"row_1487",
"row_1488",
"row_1489",
"row_1490",
"row_1491",
"row_1492",
"row_1493",
"row_1494",
"row_1495",
"row_1496",
"row_1497",
"row_1498",
"row_1499",
"row_1500",
"row_1501",
"row_1502",
"row_1503",
"row_1504",
"row_1505",
"row_1506",
"row_1507",
"row_1508",
"row_1509",
"row_1510",
"row_1511",
"row_1512",
"row_1513",
"row_1514",
"row_1515",
"row_1516",
"row_1517",
"row_1518",
"row_1519",
"row_1520",
"row_1521",
"row_1522",
"row_1523",
"row_1524",
"row_1525",
"row_1526",
"row_1527",
"row_1528",
"row_1529",
"row_1530",
"row_1531",
"row_1532",
"row_1533",
"row_1534",
"row_1535",
"row_1536",
"row_1537",
"row_1538",
"row_1539",
"row_1540",
"row_1541",
"row_1542",
"row_1543",
"row_1544",
"row_1545",
"row_1546",
"row_1547",
"row_1548",
"row_1549",
"row_1550",
"row_1551",
"row_1552",
"row_1553",
"row_1554",
"row_1555",
"row_1556",
"row_1557",
"row_1558",
"row_1559",
"row_1560",
"row_1561",
"row_1562",
"row_1563",
"row_1564",
"row_1565",
"row_1566",
"row_1567",
"row_1568",
"row_1569",
"row_1570",
"row_1571",
"row_1572",
"row_1573",
"row_1574",
"row_1575",
"row_1576",
"row_1577",
"row_1578",
"row_1579",
"row_1580",
"row_1581",
"row_1582",
"row_1583",
"row_1584",
"row_1585",
"row_1586",
"row_1587",
"row_1588",
"row_1589",
"row_1590",
"row_1591",
"row_1592",
"row_1593",
"row_1594",
"row_1595",
"row_1596",
"row_1597",
"row_1598",
"row_1599",
"row_1600",
"row_1601",
"row_1602",
"row_1603",
"row_1604",
"row_1605",
"row_1606",
"row_1607",
"row_1608",
"row_1609",
"row_1610",
"row_1611",
"row_1612",
"row_1613",
"row_1614",
"row_1615",
"row_1616",
"row_1617",
"row_1618",
"row_1619",
"row_1620",
"row_1621",
"row_1622",
"row_1623",
"row_1624",
"row_1625",
"row_1626",
"row_1627",
"row_1628",
"row_1629",
"row_1630",
"row_1631",
"row_1632",
"row_1633",
"row_1634",
"row_1635",
"row_1636",
"row_1637",
"row_1638",
"row_1639",
"row_1640",
"row_1641",
"row_1642",
"row_1643",
"row_1644",
"row_1645",
"row_1646",
"row_1647",
"row_1648",
"row_1649",
"row_1650",
"row_1651",
"row_1652",
"row_1653",
"row_1654",
"row_1655",
"row_1656",
"row_1657",
"row_1658",
"row_1659",
"row_1660",
"row_1661",
"row_1662",
"row_1663",
"row_1664",
"row_1665",
"row_1666",
"row_1667",
"row_1668",
"row_1669",
"row_1670",
"row_1671",
"row_1672",
"row_1673",
"row_1674",
"row_1675",
"row_1676",
"row_1677",
"row_1678",
"row_1679",
"row_1680",
"row_1681",
"row_1682",
"row_1683",
"row_1684",
"row_1685",
"row_1686",
"row_1687",
"row_1688",
"row_1689",
"row_1690",
"row_1691",
"row_1692",
"row_1693",
"row_1694",
"row_1695",
"row_1696",
"row_1697",
"row_1698",
"row_1699",
"row_1700",
"row_1701",
"row_1702",
"row_1703",
"row_1704",
"row_1705",
"row_1706",
"row_1707",
"row_1708",
"row_1709",
"row_1710",
"row_1711",
"row_1712",
"row_1713",
"row_1714",
"row_1715",
"row_1716",
"row_1717",
"row_1718",
"row_1719",
"row_1720",
"row_1721",
"row_1722",
"row_1723",
"row_1724",
"row_1725",
"row_1726",
"row_1727",
"row_1728",
"row_1729",
"row_1730",
"row_1731",
"row_1732",
"row_1733",
"row_1734",
"row_1735",
"row_1736",
"row_1737",
"row_1738",
"row_1739",
"row_1740",
"row_1741",
"row_1742",
"row_1743",
"row_1744",
"row_1745",
"row_1746",
"row_1747",
"row_1748",
"row_1749",
"row_1750",
"row_1751",
"row_1752",
"row_1753",
"row_1754",
"row_1755",
"row_1756",
"row_1757",
"row_1758",
"row_1759",
"row_1760",
"row_1761",
"row_1762",
"row_1763",
"row_1764",
"row_1765",
"row_1766",
"row_1767",
"row_1768",
"row_1769",
"row_1770",
"row_1771",
"row_1772",
"row_1773",
"row_1774",
"row_1775",
"row_1776",
"row_1777",
"row_1778",
"row_1779",
"row_1780",
"row_1781",
"row_1782",
"row_1783",
"row_1784",
"row_1785",
"row_1786",
"row_1787",
"row_1788",
"row_1789",
"row_1790",
"row_1791",
"row_1792",
"row_1793",
"row_1794",
"row_1795",
"row_1796",
"row_1797",
"row_1798",
"row_1799",
"row_1800",
"row_1801",
"row_1802",
"row_1803",
"row_1804",
"row_1805",
"row_1806",
"row_1807",
"row_1808",
"row_1809",
"row_1810",
"row_1811",
"row_1812",
"row_1813",
"row_1814",
"row_1815",
"row_1816",
"row_1817",
"row_1818",
"row_1819",
"row_1820",
"row_1821",
"row_1822",
"row_1823",
"row_1824",
"row_1825",
"row_1826",
"row_1827",
"row_1828",
"row_1829",
"row_1830",
"row_1831",
"row_1832",
"row_1833",
"row_1834",
"row_1835",
"row_1836",
"row_1837",
"row_1838",
"row_1839",
"row_1840",
"row_1841",
"row_1842",
"row_1843",
"row_1844",
"row_1845",
"row_1846",
"row_1847",
"row_1848",
"row_1849",
"row_1850",
"row_1851",
"row_1852",
"row_1853",
"row_1854",
"row_1855",
"row_1856",
"row_1857",
"row_1858",
"row_1859",
"row_1860",
"row_1861",
"row_1862",
"row_1863",
"row_1864",
"row_1865",
"row_1866",
"row_1867",
"row_1868",
"row_1869",
"row_1870",
"row_1871",
"row_1872",
"row_1873",
"row_1874",
"row_1875",
"row_1876",
"row_1877",
"row_1878",
"row_1879",
"row_1880",
"row_1881",
"row_1882",
"row_1883",
"row_1884",
"row_1885",
"row_1886",
"row_1887",
"row_1888",
"row_1889",
"row_1890",
"row_1891",
"row_1892",
"row_1893",
"row_1894",
"row_1895",
"row_1896",
"row_1897",
"row_1898",
"row_1899",
"row_1900",
"row_1901",
"row_1902",
"row_1903",
"row_1904",
"row_1905",
"row_1906",
"row_1907",
"row_1908",
"row_1909",
"row_1910",
"row_1911",
"row_1912",
"row_1913",
"row_1914",
"row_1915",
"row_1916",
"row_1917",
"row_1918",
"row_1919",
"row_1920",
"row_1921",
"row_1922",
"row_1923",
"row_1924",
"row_1925",
"row_1926",
"row_1927",
"row_1928",
"row_1929",
"row_1930",
"row_1931",
"row_1932",
"row_1933",
"row_1934",
"row_1935",
"row_1936",
"row_1937",
"row_1938",
"row_1939",
"row_1940",
"row_1941",
"row_1942",
"row_1943",
"row_1944",
"row_1945",
"row_1946",
"row_1947",
"row_1948",
"row_1949",
"row_1950",
"row_1951",
"row_1952",
"row_1953",
"row_1954",
"row_1955",
"row_1956",
"row_1957",
"row_1958",
"row_1959",
"row_1960",
"row_1961",
"row_1962",
"row_1963",
"row_1964",
"row_1965",
"row_1966",
"row_1967",
"row_1968",
"row_1969",
"row_1970",
"row_1971",
"row_1972",
"row_1973",
"row_1974",
"row_1975",
"row_1976",
"row_1977",
"row_1978",
"row_1979",
"row_1980",
"row_1981",
"row_1982",
"row_1983",
"row_1984",
"row_1985",
"row_1986",
"row_1987",
"row_1988",
"row_1989",
"row_1990",
"row_1991",
"row_1992",
"row_1993",
"row_1994",
"row_1995",
"row_1996",
"row_1997",
"row_1998",
"row_1999",
"row_2000",
"row_2001",
"row_2002",
"row_2003",
"row_2004",
"row_2005",
"row_2006",
"row_2007",
"row_2008",
"row_2009",
"row_2010",
"row_2011",
"row_2012",
"row_2013",
"row_2014",
"row_2015",
"row_2016",
"row_2017",
"row_2018",
"row_2019",
"row_2020",
"row_2021",
"row_2022",
"row_2023",
"row_2024",
"row_2025",
"row_2026",
"row_2027",
"row_2028",
"row_2029",
"row_2030",
"row_2031",
"row_2032",
"row_2033",
"row_2034",
"row_2035",
"row_2036",
"row_2037",
"row_2038",
"row_2039",
"row_2040",
"row_2041",
"row_2042",
"row_2043",
"row_2044",
"row_2045",
"row_2046",
"row_2047",
"row_2048",
"row_2049",
"row_2050",
"row_2051",
"row_2052",
"row_2053",
"row_2054",
"row_2055",
"row_2056",
"row_2057",
"row_2058",
"row_2059",
"row_2060",
"row_2061",
"row_2062",
"row_2063",
"row_2064",
"row_2065",
"row_2066",
"row_2067",
"row_2068",
"row_2069",
"row_2070",
"row_2071",
"row_2072",
"row_2073",
"row_2074",
"row_2075",
"row_2076",
"row_2077",
"row_2078",
"row_2079",
"row_2080",
"row_2081",
"row_2082",
"row_2083",
"row_2084",
"row_2085",
"row_2086",
"row_2087",
"row_2088",
"row_2089",
"row_2090",
"row_2091",
"row_2092",
"row_2093",
"row_2094",
"row_2095",
"row_2096",
"row_2097",
"row_2098",
"row_2099",
"row_2100",
"row_2101",
"row_2102",
"row_2103",
"row_2104",
"row_2105",
"row_2106",
"row_2107",
"row_2108",
"row_2109",
"row_2110",
"row_2111",
"row_2112",
"row_2113",
"row_2114",
"row_2115",
"row_2116",
"row_2117",
"row_2118",
"row_2119",
"row_2120",
"row_2121",
"row_2122",
"row_2123",
"row_2124",
"row_2125",
"row_2126",
"row_2127",
"row_2128",
"row_2129",
"row_2130",
"row_2131",
"row_2132",
"row_2133",
"row_2134",
"row_2135",
"row_2136",
"row_2137",
"row_2138",
"row_2139",
"row_2140",
"row_2141",
"row_2142",
"row_2143",
"row_2144",
"row_2145",
"row_2146",
"row_2147",
"row_2148",
"row_2149",
"row_2150",
"row_2151",
"row_2152",
"row_2153",
"row_2154",
"row_2155",
"row_2156",
"row_2157",
"row_2158",
"row_2159",
"row_2160",
"row_2161",
"row_2162",
"row_2163",
"row_2164",
"row_2165",
"row_2166",
"row_2167",
"row_2168",
"row_2169",
"row_2170",
"row_2171",
"row_2172",
"row_2173",
"row_2174",
"row_2175",
"row_2176",
"row_2177",
"row_2178",
"row_2179",
"row_2180",
"row_2181",
"row_2182",
"row_2183",
"row_2184",
"row_2185",
"row_2186",
"row_2187",
"row_2188",
"row_2189",
"row_2190",
"row_2191",
"row_2192",
"row_2193",
"row_2194",
"row_2195",
"row_2196",
"row_2197",
"row_2198",
"row_2199",
"row_2200",
"row_2201",
"row_2202",
"row_2203",
"row_2204",
"row_2205",
"row_2206",
"row_2207",
"row_2208",
"row_2209",
"row_2210",
"row_2211",
"row_2212",
"row_2213",
"row_2214",
"row_2215",
"row_2216",
"row_2217",
"row_2218",
"row_2219",
"row_2220",
"row_2221",
"row_2222",
"row_2223",
"row_2224",
"row_2225",
"row_2226",
"row_2227",
"row_2228",
"row_2229",
"row_2230",
"row_2231",
"row_2232",
"row_2233",
"row_2234",
"row_2235",
"row_2236",
"row_2237",
"row_2238",
"row_2239",
"row_2240",
"row_2241",
"row_2242",
"row_2243",
"row_2244",
"row_2245",
"row_2246",
"row_2247",
"row_2248",
"row_2249",
"row_2250",
"row_2251",
"row_2252",
"row_2253",
"row_2254",
"row_2255",
"row_2256",
"row_2257",
"row_2258",
"row_2259",
"row_2260",
"row_2261",
"row_2262",
"row_2263",
"row_2264",
"row_2265",
"row_2266",
"row_2267",
"row_2268",
"row_2269",
"row_2270",
"row_2271",
"row_2272",
"row_2273",
"row_2274",
"row_2275",
"row_2276",
"row_2277",
"row_2278",
"row_2279",
"row_2280",
"row_2281",
"row_2282",
"row_2283",
"row_2284",
"row_2285",
"row_2286",
"row_2287",
"row_2288",
"row_2289",
"row_2290",
"row_2291",
"row_2292",
"row_2293",
"row_2294",
"row_2295",
"row_2296",
"row_2297",
"row_2298",
"row_2299",
"row_2300",
"row_2301",
"row_2302",
"row_2303",
"row_2304",
"row_2305",
"row_2306",
"row_2307",
"row_2308",
"row_2309",
"row_2310",
"row_2311",
"row_2312",
"row_2313",
"row_2314",
"row_2315",
"row_2316",
"row_2317",
"row_2318",
"row_2319",
"row_2320",
"row_2321",
"row_2322",
"row_2323",
"row_2324",
"row_2325",
"row_2326",
"row_2327",
"row_2328",
"row_2329",
"row_2330",
"row_2331",
"row_2332",
"row_2333",
"row_2334",
"row_2335",
"row_2336",
"row_2337",
"row_2338",
"row_2339",
"row_2340",
"row_2341",
"row_2342",
"row_2343",
"row_2344",
"row_2345",
"row_2346",
"row_2347",
"row_2348",
"row_2349",
"row_2350",
"row_2351",
"row_2352",
"row_2353",
"row_2354",
"row_2355",
"row_2356",
"row_2357",
"row_2358",
"row_2359",
"row_2360",
"row_2361",
"row_2362",
"row_2363",
"row_2364",
"row_2365",
"row_2366",
"row_2367",
"row_2368",
"row_2369",
"row_2370",
"row_2371",
"row_2372",
"row_2373",
"row_2374",
"row_2375",
"row_2376",
"row_2377",
"row_2378",
"row_2379",
"row_2380",
"row_2381",
"row_2382",
"row_2383",
"row_2384",
"row_2385",
"row_2386",
"row_2387",
"row_2388",
"row_2389",
"row_2390",
"row_2391",
"row_2392",
"row_2393",
"row_2394",
"row_2395",
"row_2396",
"row_2397",
"row_2398",
"row_2399",
"row_2400",
"row_2401",
"row_2402",
"row_2403",
"row_2404",
"row_2405",
"row_2406",
"row_2407",
"row_2408",
"row_2409",
"row_2410",
"row_2411",
"row_2412",
"row_2413",
"row_2414",
"row_2415",
"row_2416",
"row_2417",
"row_2418",
"row_2419",
"row_2420",
"row_2421",
"row_2422",
"row_2423",
"row_2424",
"row_2425",
"row_2426",
"row_2427",
"row_2428",
"row_2429",
"row_2430",
"row_2431",
"row_2432",
"row_2433",
"row_2434",
"row_2435",
"row_2436",
"row_2437",
"row_2438",
"row_2439",
"row_2440",
"row_2441",
"row_2442",
"row_2443",
"row_2444",
"row_2445",
"row_2446",
"row_2447",
"row_2448",
"row_2449",
"row_2450",
"row_2451",
"row_2452",
"row_2453",
"row_2454",
"row_2455",
"row_2456",
"row_2457",
"row_2458",
"row_2459",
"row_2460",
"row_2461",
"row_2462",
"row_2463",
"row_2464",
"row_2465",
"row_2466",
"row_2467",
"row_2468",
"row_2469",
"row_2470",
"row_2471",
"row_2472",
"row_2473",
"row_2474",
"row_2475",
"row_2476",
"row_2477",
"row_2478",
"row_2479",
"row_2480",
"row_2481",
"row_2482",
"row_2483",
"row_2484",
"row_2485",
"row_2486",
"row_2487",
"row_2488",
"row_2489",
"row_2490",
"row_2491",
"row_2492",
"row_2493",
"row_2494",
"row_2495",
"row_2496",
"row_2497",
"row_2498",
"row_2499",
"row_2500",
"row_2501",
"row_2502",
"row_2503",
"row_2504",
"row_2505",
"row_2506",
"row_2507",
"row_2508",
"row_2509",
"row_2510",
"row_2511",
"row_2512",
"row_2513",
"row_2514",
"row_2515",
"row_2516",
"row_2517",
"row_2518",
"row_2519",
"row_2520",
"row_2521",
"row_2522",
"row_2523",
"row_2524",
"row_2525",
"row_2526",
"row_2527",
"row_2528",
"row_2529",
"row_2530",
"row_2531",
"row_2532",
"row_2533",
"row_2534",
"row_2535",
"row_2536",
"row_2537",
"row_2538",
"row_2539",
"row_2540",
"row_2541",
"row_2542",
"row_2543",
"row_2544",
"row_2545",
"row_2546",
"row_2547",
"row_2548",
"row_2549",
"row_2550",
"row_2551",
"row_2552",
"row_2553",
"row_2554",
"row_2555",
"row_2556",
"row_2557",
"row_2558",
"row_2559",
"row_2560",
"row_2561",
"row_2562",
"row_2563",
"row_2564",
"row_2565",
"row_2566",
"row_2567",
"row_2568",
"row_2569",
"row_2570",
"row_2571",
"row_2572",
"row_2573",
"row_2574",
"row_2575",
"row_2576",
"row_2577",
"row_2578",
"row_2579",
"row_2580",
"row_2581",
"row_2582",
"row_2583",
"row_2584",
"row_2585",
"row_2586",
"row_2587",
"row_2588",
"row_2589",
"row_2590",
"row_2591",
"row_2592",
"row_2593",
"row_2594",
"row_2595",
"row_2596",
"row_2597",
"row_2598",
"row_2599",
"row_2600",
"row_2601",
"row_2602",
"row_2603",
"row_2604",
"row_2605",
"row_2606",
"row_2607",
"row_2608",
"row_2609",
"row_2610",
"row_2611",
"row_2612",
"row_2613",
"row_2614",
"row_2615",
"row_2616",
"row_2617",
"row_2618",
"row_2619",
"row_2620",
"row_2621",
"row_2622",
"row_2623",
"row_2624",
"row_2625",
"row_2626",
"row_2627",
"row_2628",
"row_2629",
"row_2630",
"row_2631",
"row_2632",
"row_2633",
"row_2634",
"row_2635",
"row_2636",
"row_2637",
"row_2638",
"row_2639",
"row_2640",
"row_2641",
"row_2642",
"row_2643",
"row_2644",
"row_2645",
"row_2646",
"row_2647",
"row_2648",
"row_2649",
"row_2650",
"row_2651",
"row_2652",
"row_2653",
"row_2654",
"row_2655",
"row_2656",
"row_2657",
"row_2658",
"row_2659",
"row_2660",
"row_2661",
"row_2662",
"row_2663",
"row_2664",
"row_2665",
"row_2666",
"row_2667",
"row_2668",
"row_2669",
"row_2670",
"row_2671",
"row_2672",
"row_2673",
"row_2674",
"row_2675",
"row_2676",
"row_2677",
"row_2678",
"row_2679",
"row_2680",
"row_2681",
"row_2682",
"row_2683",
"row_2684",
"row_2685",
"row_2686",
"row_2687",
"row_2688",
"row_2689",
"row_2690",
"row_2691",
"row_2692",
"row_2693",
"row_2694",
"row_2695",
"row_2696",
"row_2697",
"row_2698",
"row_2699",
"row_2700",
"row_2701",
"row_2702",
"row_2703",
"row_2704",
"row_2705",
"row_2706",
"row_2707",
"row_2708",
"row_2709",
"row_2710",
"row_2711",
"row_2712",
"row_2713",
"row_2714",
"row_2715",
"row_2716",
"row_2717",
"row_2718",
"row_2719",
"row_2720",
"row_2721",
"row_2722",
"row_2723",
"row_2724",
"row_2725",
"row_2726",
"row_2727",
"row_2728",
"row_2729",
"row_2730",
"row_2731",
"row_2732",
"row_2733",
"row_2734",
"row_2735",
"row_2736",
"row_2737",
"row_2738",
"row_2739",
"row_2740",
"row_2741",
"row_2742",
"row_2743",
"row_2744",
"row_2745",
"row_2746",
"row_2747",
"row_2748",
"row_2749",
"row_2750",
"row_2751",
"row_2752",
"row_2753",
"row_2754",
"row_2755",
"row_2756",
"row_2757",
"row_2758",
"row_2759",
"row_2760",
"row_2761",
"row_2762",
"row_2763",
"row_2764",
"row_2765",
"row_2766",
"row_2767",
"row_2768",
"row_2769",
"row_2770",
"row_2771",
"row_2772",
"row_2773",
"row_2774",
"row_2775",
"row_2776",
"row_2777",
"row_2778",
"row_2779",
"row_2780",
"row_2781",
"row_2782",
"row_2783",
"row_2784",
"row_2785",
"row_2786",
"row_2787",
"row_2788",
"row_2789",
"row_2790",
"row_2791",
"row_2792",
"row_2793",
"row_2794",
"row_2795",
"row_2796",
"row_2797",
"row_2798",
"row_2799",
"row_2800",
"row_2801",
"row_2802",
"row_2803",
"row_2804",
"row_2805",
"row_2806",
"row_2807",
"row_2808",
"row_2809",
"row_2810",
"row_2811",
"row_2812",
"row_2813",
"row_2814",
"row_2815",
"row_2816",
"row_2817",
"row_2818",
"row_2819",
"row_2820",
"row_2821",
"row_2822",
"row_2823",
"row_2824",
"row_2825",
"row_2826",
"row_2827",
"row_2828",
"row_2829",
"row_2830",
"row_2831",
"row_2832",
"row_2833",
"row_2834",
"row_2835",
"row_2836",
"row_2837",
"row_2838",
"row_2839",
"row_2840"
],
"source_sha256": {
"inference.py": "e1405c61c77765a3d7252ce4fbc597604821a13ca2dc6b922bc8cacb7b61b2ae",
"evaluation.py": "02600d8abd80d582ea154f570f102f9051c51d5e14b9cdf09b439f6e264ce015",
"trt_backend.py": "eafc144a9b698e94dfe155074c7a3ab1063ee7817ab1a285b69639db1c07b424",
"benchmark.py": "5a74707e3e2e9f23b5c4f7ebc2e0d296e9e6ff716f5417d798aa08d7961ee97b"
},
"dataset": {
"dataset_id": "redmadrobot-rnd/pii_benchmark",
"revision": "f77ea831274daf980cc45c61a93c226be9d978d6",
"sha256": "6bf544a380a3ee5bec94b946124bea3afaecce49e734679ad0f0c0e7c12977bb",
"split": "test",
"source_url": "https://huggingface.co/datasets/redmadrobot-rnd/pii_benchmark/resolve/f77ea831274daf980cc45c61a93c226be9d978d6/test.csv",
"source_rows": 2841,
"evaluated_rows": 2841,
"excluded_rows": [],
"case_insensitive_alignment_rows": [
{
"id": "row_0000",
"source_row_zero_based": 0,
"reason": "Token WWW differs from original text www; same-length case-insensitive comparison at original offsets"
},
{
"id": "row_1628",
"source_row_zero_based": 1628,
"reason": "Token WWW differs from original text www; same-length case-insensitive comparison at original offsets"
}
],
"strict_alignment_rows": 2839,
"gold_entities": 5614,
"per_label_support": {
"BIRTH_CERTIFICATE": 341,
"CITY": 339,
"COUNTRY": 242,
"CREDIT_CARD": 203,
"DISTRICT": 161,
"DRIVER_LICENSE": 371,
"EMAIL": 221,
"FIRST_NAME": 499,
"HOUSE": 163,
"INN": 263,
"IP_ADDRESS": 155,
"LAST_NAME": 457,
"MIDDLE_NAME": 308,
"MILITARY_ID": 278,
"OMS": 170,
"PASSPORT": 494,
"PHONE": 173,
"REGION": 176,
"SNILS": 223,
"STREET": 171,
"URL": 206
},
"alignment_policy": "Original text unchanged; exact monotonic offsets; whitespace-only gaps; strict BIO; empty O token allowed; only equal-length case differences at original offsets allowed as explicit fallback",
"primary_metric": "Exact span micro-F1 across all 21 fine labels, gold BIO boundaries unchanged",
"secondary_metric": "Coarse14 exact (no gold merge), and PERSON+LOCATION overlap after identical whitespace merge on both sides",
"published_score_comparability": "Leaderboard-style diagnostic only: the public code differs from the card; this evaluation preserves all 2841 rows, explicitly aligns WWW/www on two rows, and never tunes a threshold on test"
},
"evaluated_rows": 2841
},
"token_lengths": {
"count": 2841,
"mean": 61.1735304470257,
"p50": 28.0,
"p95": 220.0,
"p99": 785.0
},
"agreement_with_torch_fp32": {
"exact_document_fraction": 1.0,
"changed_documents": 0,
"changed_record_indices": []
},
"latency_e2e_batch1": {
"count": 768,
"mean_ms": 4.338136834635416,
"p50_ms": 3.283219,
"p95_ms": 8.534234999999999,
"p99_ms": 16.62495859000002
},
"latency_model_with_transfers_batch1": {
"32": {
"count": 100,
"mean_ms": 2.5534402,
"p50_ms": 2.245244,
"p95_ms": 4.1106772,
"p99_ms": 6.435467550000005
},
"128": {
"count": 100,
"mean_ms": 3.9541245400000005,
"p50_ms": 3.243965,
"p95_ms": 7.9958354,
"p99_ms": 9.127662770000002
},
"512": {
"count": 100,
"mean_ms": 7.6860065099999995,
"p50_ms": 7.606868,
"p95_ms": 9.7087102,
"p99_ms": 10.119910030000007
}
},
"throughput_batch16_docs_s": {
"runs": [
775.2138149411115,
768.269900900315,
755.0303209356899
],
"median": 768.269900900315
}
}