{ "backend": "onnx-fp32", "quality": { "rows": 2841, "negative_rows": 371, "strict_alignment_subset_rows": 2839, "negative_rows_with_false_positive": 17, "exact_21": { "precision": 0.8093242535358827, "recall": 0.8256145350908444, "f1": 0.8173882373688387, "tp": 4635, "fp": 1092, "fn": 979, "support": 5614, "macro_f1": 0.814359631883518, "per_label": { "BIRTH_CERTIFICATE": { "precision": 0.8287461773700305, "recall": 0.7947214076246334, "f1": 0.811377245508982, "tp": 271, "fp": 56, "fn": 70, "support": 341 }, "CITY": { "precision": 0.7845744680851063, "recall": 0.8702064896755162, "f1": 0.8251748251748252, "tp": 295, "fp": 81, "fn": 44, "support": 339 }, "COUNTRY": { "precision": 0.8933333333333333, "recall": 0.8305785123966942, "f1": 0.860813704496788, "tp": 201, "fp": 24, "fn": 41, "support": 242 }, "CREDIT_CARD": { "precision": 0.8625592417061612, "recall": 0.896551724137931, "f1": 0.8792270531400966, "tp": 182, "fp": 29, "fn": 21, "support": 203 }, "DISTRICT": { "precision": 0.7336956521739131, "recall": 0.8385093167701864, "f1": 0.782608695652174, "tp": 135, "fp": 49, "fn": 26, "support": 161 }, "DRIVER_LICENSE": { "precision": 0.7796143250688705, "recall": 0.7628032345013477, "f1": 0.771117166212534, "tp": 283, "fp": 80, "fn": 88, "support": 371 }, "EMAIL": { "precision": 0.9605263157894737, "recall": 0.9909502262443439, "f1": 0.9755011135857461, "tp": 219, "fp": 9, "fn": 2, "support": 221 }, "FIRST_NAME": { "precision": 0.9046653144016227, "recall": 0.8937875751503006, "f1": 0.8991935483870968, "tp": 446, "fp": 47, "fn": 53, "support": 499 }, "HOUSE": { "precision": 0.9212121212121213, "recall": 0.9325153374233128, "f1": 0.926829268292683, "tp": 152, "fp": 13, "fn": 11, "support": 163 }, "INN": { "precision": 0.6941176470588235, "recall": 0.6730038022813688, "f1": 0.6833976833976834, "tp": 177, "fp": 78, "fn": 86, "support": 263 }, "IP_ADDRESS": { "precision": 0.3087557603686636, "recall": 0.432258064516129, "f1": 0.3602150537634409, "tp": 67, "fp": 150, "fn": 88, "support": 155 }, "LAST_NAME": { "precision": 0.8654292343387471, "recall": 0.8161925601750547, "f1": 0.8400900900900901, "tp": 373, "fp": 58, "fn": 84, "support": 457 }, "MIDDLE_NAME": { "precision": 0.9015873015873016, "recall": 0.922077922077922, "f1": 0.9117174959871589, "tp": 284, "fp": 31, "fn": 24, "support": 308 }, "MILITARY_ID": { "precision": 0.6769759450171822, "recall": 0.7086330935251799, "f1": 0.6924428822495606, "tp": 197, "fp": 94, "fn": 81, "support": 278 }, "OMS": { "precision": 0.8941176470588236, "recall": 0.8941176470588236, "f1": 0.8941176470588236, "tp": 152, "fp": 18, "fn": 18, "support": 170 }, "PASSPORT": { "precision": 0.7837301587301587, "recall": 0.7995951417004049, "f1": 0.7915831663326653, "tp": 395, "fp": 109, "fn": 99, "support": 494 }, "PHONE": { "precision": 0.8064516129032258, "recall": 0.8670520231213873, "f1": 0.8356545961002786, "tp": 150, "fp": 36, "fn": 23, "support": 173 }, "REGION": { "precision": 0.7837837837837838, "recall": 0.8238636363636364, "f1": 0.8033240997229917, "tp": 145, "fp": 40, "fn": 31, "support": 176 }, "SNILS": { "precision": 0.8282828282828283, "recall": 0.7354260089686099, "f1": 0.7790973871733967, "tp": 164, "fp": 34, "fn": 59, "support": 223 }, "STREET": { "precision": 0.8524590163934426, "recall": 0.9122807017543859, "f1": 0.8813559322033898, "tp": 156, "fp": 27, "fn": 15, "support": 171 }, "URL": { "precision": 0.8681818181818182, "recall": 0.9271844660194175, "f1": 0.8967136150234741, "tp": 191, "fp": 29, "fn": 15, "support": 206 } } }, "exact_21_strict_alignment_subset": { "precision": 0.8092404620231012, "recall": 0.8255668630601678, "f1": 0.8173221387538665, "tp": 4624, "fp": 1090, "fn": 977, "support": 5601, "macro_f1": 0.8144628475161555, "per_label": { "BIRTH_CERTIFICATE": { "precision": 0.8287461773700305, "recall": 0.7947214076246334, "f1": 0.811377245508982, "tp": 271, "fp": 56, "fn": 70, "support": 341 }, "CITY": { "precision": 0.7834224598930482, "recall": 0.8694362017804155, "f1": 0.8241912798874824, "tp": 293, "fp": 81, "fn": 44, "support": 337 }, "COUNTRY": { "precision": 0.8963963963963963, "recall": 0.8326359832635983, "f1": 0.8633405639913232, "tp": 199, "fp": 23, "fn": 40, "support": 239 }, "CREDIT_CARD": { "precision": 0.8625592417061612, "recall": 0.896551724137931, "f1": 0.8792270531400966, "tp": 182, "fp": 29, "fn": 21, "support": 203 }, "DISTRICT": { "precision": 0.7336956521739131, "recall": 0.8385093167701864, "f1": 0.782608695652174, "tp": 135, "fp": 49, "fn": 26, "support": 161 }, "DRIVER_LICENSE": { "precision": 0.7796143250688705, "recall": 0.7628032345013477, "f1": 0.771117166212534, "tp": 283, "fp": 80, "fn": 88, "support": 371 }, "EMAIL": { "precision": 0.9605263157894737, "recall": 0.9909502262443439, "f1": 0.9755011135857461, "tp": 219, "fp": 9, "fn": 2, "support": 221 }, "FIRST_NAME": { "precision": 0.9046653144016227, "recall": 0.8937875751503006, "f1": 0.8991935483870968, "tp": 446, "fp": 47, "fn": 53, "support": 499 }, "HOUSE": { "precision": 0.9202453987730062, "recall": 0.9316770186335404, "f1": 0.9259259259259259, "tp": 150, "fp": 13, "fn": 11, "support": 161 }, "INN": { "precision": 0.6941176470588235, "recall": 0.6730038022813688, "f1": 0.6833976833976834, "tp": 177, "fp": 78, "fn": 86, "support": 263 }, "IP_ADDRESS": { "precision": 0.3087557603686636, "recall": 0.432258064516129, "f1": 0.3602150537634409, "tp": 67, "fp": 150, "fn": 88, "support": 155 }, "LAST_NAME": { "precision": 0.8654292343387471, "recall": 0.8161925601750547, "f1": 0.8400900900900901, "tp": 373, "fp": 58, "fn": 84, "support": 457 }, "MIDDLE_NAME": { "precision": 0.9015873015873016, "recall": 0.922077922077922, "f1": 0.9117174959871589, "tp": 284, "fp": 31, "fn": 24, "support": 308 }, "MILITARY_ID": { "precision": 0.6769759450171822, "recall": 0.7086330935251799, "f1": 0.6924428822495606, "tp": 197, "fp": 94, "fn": 81, "support": 278 }, "OMS": { "precision": 0.8941176470588236, "recall": 0.8941176470588236, "f1": 0.8941176470588236, "tp": 152, "fp": 18, "fn": 18, "support": 170 }, "PASSPORT": { "precision": 0.7837301587301587, "recall": 0.7995951417004049, "f1": 0.7915831663326653, "tp": 395, "fp": 109, "fn": 99, "support": 494 }, "PHONE": { "precision": 0.8043478260869565, "recall": 0.8654970760233918, "f1": 0.8338028169014085, "tp": 148, "fp": 36, "fn": 23, "support": 171 }, "REGION": { "precision": 0.7837837837837838, "recall": 0.8238636363636364, "f1": 0.8033240997229917, "tp": 145, "fp": 40, "fn": 31, "support": 176 }, "SNILS": { "precision": 0.8282828282828283, "recall": 0.7354260089686099, "f1": 0.7790973871733967, "tp": 164, "fp": 34, "fn": 59, "support": 223 }, "STREET": { "precision": 0.856353591160221, "recall": 0.9171597633136095, "f1": 0.8857142857142857, "tp": 155, "fp": 26, "fn": 14, "support": 169 }, "URL": { "precision": 0.8669724770642202, "recall": 0.9264705882352942, "f1": 0.8957345971563981, "tp": 189, "fp": 29, "fn": 15, "support": 204 } } }, "coarse_14_exact": { "precision": 0.8152610441767069, "recall": 0.8316708229426434, "f1": 0.8233841812891279, "tp": 4669, "fp": 1058, "fn": 945, "support": 5614, "macro_f1": 0.7944325036113088, "per_label": { "BIRTH_CERTIFICATE": { "precision": 0.8287461773700305, "recall": 0.7947214076246334, "f1": 0.811377245508982, "tp": 271, "fp": 56, "fn": 70, "support": 341 }, "CREDIT_CARD": { "precision": 0.8625592417061612, "recall": 0.896551724137931, "f1": 0.8792270531400966, "tp": 182, "fp": 29, "fn": 21, "support": 203 }, "DRIVER_LICENSE": { "precision": 0.7796143250688705, "recall": 0.7628032345013477, "f1": 0.771117166212534, "tp": 283, "fp": 80, "fn": 88, "support": 371 }, "EMAIL": { "precision": 0.9605263157894737, "recall": 0.9909502262443439, "f1": 0.9755011135857461, "tp": 219, "fp": 9, "fn": 2, "support": 221 }, "INN": { "precision": 0.6941176470588235, "recall": 0.6730038022813688, "f1": 0.6833976833976834, "tp": 177, "fp": 78, "fn": 86, "support": 263 }, "IP_ADDRESS": { "precision": 0.3087557603686636, "recall": 0.432258064516129, "f1": 0.3602150537634409, "tp": 67, "fp": 150, "fn": 88, "support": 155 }, "LOCATION": { "precision": 0.8399089529590288, "recall": 0.884185303514377, "f1": 0.8614785992217899, "tp": 1107, "fp": 211, "fn": 145, "support": 1252 }, "MILITARY_ID": { "precision": 0.6769759450171822, "recall": 0.7086330935251799, "f1": 0.6924428822495606, "tp": 197, "fp": 94, "fn": 81, "support": 278 }, "OMS": { "precision": 0.8941176470588236, "recall": 0.8941176470588236, "f1": 0.8941176470588236, "tp": 152, "fp": 18, "fn": 18, "support": 170 }, "PASSPORT": { "precision": 0.7837301587301587, "recall": 0.7995951417004049, "f1": 0.7915831663326653, "tp": 395, "fp": 109, "fn": 99, "support": 494 }, "PERSON": { "precision": 0.8991121872477804, "recall": 0.8813291139240507, "f1": 0.8901318417898522, "tp": 1114, "fp": 125, "fn": 150, "support": 1264 }, "PHONE": { "precision": 0.8064516129032258, "recall": 0.8670520231213873, "f1": 0.8356545961002786, "tp": 150, "fp": 36, "fn": 23, "support": 173 }, "SNILS": { "precision": 0.8282828282828283, "recall": 0.7354260089686099, "f1": 0.7790973871733967, "tp": 164, "fp": 34, "fn": 59, "support": 223 }, "URL": { "precision": 0.8681818181818182, "recall": 0.9271844660194175, "f1": 0.8967136150234741, "tp": 191, "fp": 29, "fn": 15, "support": 206 } } }, "person_location_overlap": { "precision": 0.9456112008616048, "recall": 0.9564270152505446, "f1": 0.950988356349851, "tp": 1756, "fp": 101, "fn": 80, "support": 1836, "macro_f1": 0.9505102060088971, "per_label": { "PERSON": { "precision": 0.9542772861356932, "recall": 0.9431486880466472, "f1": 0.9486803519061584, "tp": 647, "fp": 31, "fn": 39, "support": 686 }, "LOCATION": { "precision": 0.9406276505513147, "recall": 0.9643478260869566, "f1": 0.9523400601116359, "tp": 1109, "fp": 70, "fn": 41, "support": 1150 } } } }, "quality_seconds": 11.29447978400276, "examples": 2841, "environment": { "gpu": "NVIDIA GeForce RTX 4070 Ti SUPER", "cuda": "12.8", "platform": "Linux-6.18.33.2-microsoft-standard-WSL2-x86_64-with-glibc2.39", "python": "3.12.11", "packages": { "torch": "2.8.0", "transformers": "4.57.1", "onnx": "1.19.1", "onnxruntime-gpu": "1.23.2", "numpy": "2.5.3", "tokenizers": "0.22.2" }, "model_revision": "c802e8cd26f85d1cf920973ea6f83965a0618d63", "timing": "perf_counter_ns; synchronous output to CPU; tokenizer + windows + GPU + decoding; batch1", "timing_sample_ids": [ 2619, 456, 102, 1126, 1003, 914, 571, 419, 2771, 2233, 356, 2418, 1728, 130, 122, 383, 895, 952, 2069, 2465, 108, 2298, 814, 2661, 2232, 1718, 902, 1839, 2413, 1139, 26, 653, 1731, 1393, 1138, 636, 881, 1378, 418, 379, 1556, 396, 1470, 1408, 2472, 1083, 177, 1881, 2196, 511, 1550, 322, 2261, 1200, 2574, 2533, 1481, 2364, 787, 284, 187, 2708, 933, 1185, 326, 953, 413, 1857, 2603, 1494, 666, 1516, 1455, 858, 2745, 1093, 2799, 2654, 292, 2495, 2600, 700, 2187, 1002, 669, 1893, 1554, 1105, 2621, 2818, 2281, 899, 2804, 1328, 229, 938, 131, 1292, 1643, 1096, 271, 864, 2323, 1288, 870, 2684, 2044, 1620, 2633, 1879, 585, 1084, 1010, 2299, 2207, 1076, 2394, 1754, 2390, 1635, 1482, 898, 566, 2087, 2021, 372, 192, 449, 626, 2570, 655, 2787, 1729, 2442, 260, 1576, 1563, 2440, 1917, 2167, 1029, 2266, 47, 2786, 469, 2792, 2199, 1092, 2625, 1202, 1780, 647, 1858, 13, 1078, 2050, 731, 2079, 435, 2561, 1222, 2617, 2494, 1531, 661, 2209, 2172, 2, 2453, 1327, 2001, 79, 458, 1486, 1259, 980, 237, 986, 350, 1990, 283, 2181, 515, 525, 2702, 1946, 2251, 676, 1085, 2161, 2484, 1733, 867, 2208, 2825, 823, 1276, 1634, 2751, 1529, 1794, 2119, 1849, 495, 1015, 920, 262, 1384, 86, 2409, 2268, 942, 2410, 29, 290, 2584, 241, 937, 276, 128, 1353, 2105, 974, 1140, 2740, 1988, 877, 541, 2338, 2360, 1936, 995, 1937, 1667, 779, 386, 397, 2699, 1765, 1451, 1734, 1683, 1912, 221, 2758, 2676, 2646, 403, 248, 1649, 1389, 447, 1018, 784, 1837, 574 ], "repeats": 3, "seed": 42, "quality_batch_size": 1, "min_confidence": 0.3, "stride": 128, "max_length": 512, "torch_allow_tf32": false, "onnx_use_tf32": false, "record_ids": [ "row_0000", "row_0001", "row_0002", "row_0003", "row_0004", "row_0005", "row_0006", "row_0007", "row_0008", "row_0009", "row_0010", "row_0011", "row_0012", "row_0013", "row_0014", "row_0015", "row_0016", "row_0017", "row_0018", "row_0019", "row_0020", "row_0021", "row_0022", "row_0023", "row_0024", "row_0025", "row_0026", "row_0027", "row_0028", "row_0029", "row_0030", "row_0031", "row_0032", "row_0033", "row_0034", "row_0035", "row_0036", "row_0037", "row_0038", "row_0039", "row_0040", "row_0041", "row_0042", "row_0043", "row_0044", "row_0045", "row_0046", "row_0047", "row_0048", "row_0049", "row_0050", "row_0051", "row_0052", "row_0053", "row_0054", "row_0055", "row_0056", "row_0057", "row_0058", "row_0059", "row_0060", "row_0061", "row_0062", "row_0063", "row_0064", "row_0065", "row_0066", "row_0067", "row_0068", "row_0069", "row_0070", "row_0071", "row_0072", "row_0073", "row_0074", "row_0075", "row_0076", "row_0077", "row_0078", "row_0079", "row_0080", "row_0081", "row_0082", "row_0083", "row_0084", "row_0085", "row_0086", "row_0087", "row_0088", "row_0089", "row_0090", "row_0091", "row_0092", "row_0093", "row_0094", "row_0095", "row_0096", "row_0097", "row_0098", "row_0099", "row_0100", "row_0101", "row_0102", "row_0103", "row_0104", "row_0105", "row_0106", "row_0107", "row_0108", "row_0109", "row_0110", "row_0111", "row_0112", "row_0113", "row_0114", "row_0115", "row_0116", "row_0117", "row_0118", "row_0119", "row_0120", "row_0121", "row_0122", "row_0123", "row_0124", "row_0125", "row_0126", "row_0127", "row_0128", "row_0129", "row_0130", "row_0131", "row_0132", "row_0133", "row_0134", "row_0135", "row_0136", "row_0137", "row_0138", "row_0139", "row_0140", "row_0141", "row_0142", "row_0143", "row_0144", "row_0145", "row_0146", "row_0147", "row_0148", "row_0149", "row_0150", "row_0151", "row_0152", "row_0153", "row_0154", "row_0155", "row_0156", "row_0157", "row_0158", "row_0159", "row_0160", "row_0161", "row_0162", "row_0163", "row_0164", "row_0165", "row_0166", "row_0167", "row_0168", "row_0169", "row_0170", "row_0171", "row_0172", "row_0173", "row_0174", "row_0175", "row_0176", "row_0177", "row_0178", "row_0179", "row_0180", "row_0181", "row_0182", "row_0183", "row_0184", "row_0185", "row_0186", "row_0187", "row_0188", "row_0189", "row_0190", "row_0191", "row_0192", "row_0193", "row_0194", "row_0195", "row_0196", "row_0197", "row_0198", "row_0199", "row_0200", "row_0201", "row_0202", "row_0203", "row_0204", "row_0205", "row_0206", "row_0207", "row_0208", "row_0209", "row_0210", "row_0211", "row_0212", "row_0213", "row_0214", "row_0215", "row_0216", "row_0217", "row_0218", "row_0219", "row_0220", "row_0221", "row_0222", "row_0223", "row_0224", "row_0225", "row_0226", "row_0227", "row_0228", "row_0229", "row_0230", "row_0231", "row_0232", "row_0233", "row_0234", "row_0235", "row_0236", "row_0237", "row_0238", "row_0239", "row_0240", "row_0241", "row_0242", "row_0243", "row_0244", "row_0245", "row_0246", "row_0247", "row_0248", "row_0249", "row_0250", "row_0251", "row_0252", "row_0253", "row_0254", "row_0255", "row_0256", "row_0257", "row_0258", "row_0259", "row_0260", "row_0261", "row_0262", "row_0263", "row_0264", "row_0265", "row_0266", "row_0267", "row_0268", "row_0269", "row_0270", "row_0271", "row_0272", "row_0273", "row_0274", "row_0275", "row_0276", "row_0277", "row_0278", "row_0279", "row_0280", "row_0281", "row_0282", "row_0283", "row_0284", "row_0285", "row_0286", "row_0287", "row_0288", "row_0289", "row_0290", "row_0291", "row_0292", "row_0293", "row_0294", "row_0295", "row_0296", "row_0297", "row_0298", "row_0299", "row_0300", "row_0301", "row_0302", "row_0303", "row_0304", "row_0305", "row_0306", "row_0307", "row_0308", "row_0309", "row_0310", "row_0311", "row_0312", "row_0313", "row_0314", "row_0315", "row_0316", "row_0317", "row_0318", "row_0319", "row_0320", "row_0321", "row_0322", "row_0323", "row_0324", "row_0325", "row_0326", "row_0327", "row_0328", "row_0329", "row_0330", "row_0331", "row_0332", "row_0333", "row_0334", "row_0335", "row_0336", "row_0337", "row_0338", "row_0339", "row_0340", "row_0341", "row_0342", "row_0343", "row_0344", "row_0345", "row_0346", "row_0347", "row_0348", "row_0349", "row_0350", "row_0351", "row_0352", "row_0353", "row_0354", "row_0355", "row_0356", "row_0357", "row_0358", "row_0359", "row_0360", "row_0361", "row_0362", "row_0363", "row_0364", "row_0365", "row_0366", "row_0367", "row_0368", "row_0369", "row_0370", "row_0371", "row_0372", "row_0373", "row_0374", "row_0375", "row_0376", "row_0377", "row_0378", "row_0379", "row_0380", "row_0381", "row_0382", "row_0383", "row_0384", "row_0385", "row_0386", "row_0387", "row_0388", "row_0389", "row_0390", "row_0391", "row_0392", "row_0393", "row_0394", "row_0395", "row_0396", "row_0397", "row_0398", "row_0399", "row_0400", "row_0401", "row_0402", "row_0403", "row_0404", "row_0405", "row_0406", "row_0407", "row_0408", "row_0409", "row_0410", "row_0411", "row_0412", "row_0413", "row_0414", "row_0415", "row_0416", "row_0417", "row_0418", "row_0419", "row_0420", "row_0421", "row_0422", "row_0423", "row_0424", "row_0425", "row_0426", "row_0427", "row_0428", "row_0429", "row_0430", "row_0431", "row_0432", "row_0433", "row_0434", "row_0435", "row_0436", "row_0437", "row_0438", "row_0439", "row_0440", "row_0441", "row_0442", "row_0443", "row_0444", "row_0445", "row_0446", "row_0447", "row_0448", "row_0449", "row_0450", "row_0451", "row_0452", "row_0453", "row_0454", "row_0455", "row_0456", "row_0457", "row_0458", "row_0459", "row_0460", "row_0461", "row_0462", "row_0463", "row_0464", "row_0465", "row_0466", "row_0467", "row_0468", "row_0469", "row_0470", "row_0471", "row_0472", "row_0473", "row_0474", "row_0475", "row_0476", "row_0477", "row_0478", "row_0479", "row_0480", "row_0481", "row_0482", "row_0483", "row_0484", "row_0485", "row_0486", "row_0487", "row_0488", "row_0489", "row_0490", "row_0491", "row_0492", "row_0493", "row_0494", "row_0495", "row_0496", "row_0497", "row_0498", "row_0499", "row_0500", "row_0501", "row_0502", "row_0503", "row_0504", "row_0505", "row_0506", "row_0507", "row_0508", "row_0509", "row_0510", "row_0511", "row_0512", "row_0513", "row_0514", "row_0515", "row_0516", "row_0517", "row_0518", "row_0519", "row_0520", "row_0521", "row_0522", "row_0523", "row_0524", "row_0525", "row_0526", "row_0527", "row_0528", "row_0529", "row_0530", "row_0531", "row_0532", "row_0533", "row_0534", "row_0535", "row_0536", "row_0537", "row_0538", "row_0539", "row_0540", "row_0541", "row_0542", "row_0543", "row_0544", "row_0545", "row_0546", "row_0547", "row_0548", "row_0549", "row_0550", "row_0551", "row_0552", "row_0553", "row_0554", "row_0555", "row_0556", "row_0557", "row_0558", "row_0559", "row_0560", "row_0561", "row_0562", "row_0563", "row_0564", "row_0565", "row_0566", "row_0567", "row_0568", "row_0569", "row_0570", "row_0571", "row_0572", "row_0573", "row_0574", "row_0575", "row_0576", "row_0577", "row_0578", "row_0579", "row_0580", "row_0581", "row_0582", "row_0583", "row_0584", "row_0585", "row_0586", "row_0587", "row_0588", "row_0589", "row_0590", "row_0591", "row_0592", "row_0593", "row_0594", "row_0595", "row_0596", "row_0597", "row_0598", "row_0599", "row_0600", "row_0601", "row_0602", "row_0603", "row_0604", "row_0605", "row_0606", "row_0607", "row_0608", "row_0609", "row_0610", "row_0611", "row_0612", "row_0613", "row_0614", "row_0615", "row_0616", "row_0617", "row_0618", "row_0619", "row_0620", "row_0621", "row_0622", "row_0623", "row_0624", "row_0625", "row_0626", "row_0627", "row_0628", "row_0629", "row_0630", "row_0631", "row_0632", "row_0633", "row_0634", "row_0635", "row_0636", "row_0637", "row_0638", "row_0639", "row_0640", "row_0641", "row_0642", "row_0643", "row_0644", "row_0645", "row_0646", "row_0647", "row_0648", "row_0649", "row_0650", "row_0651", "row_0652", "row_0653", "row_0654", "row_0655", "row_0656", "row_0657", "row_0658", "row_0659", "row_0660", "row_0661", "row_0662", "row_0663", "row_0664", "row_0665", "row_0666", "row_0667", "row_0668", "row_0669", "row_0670", "row_0671", "row_0672", "row_0673", "row_0674", "row_0675", "row_0676", "row_0677", "row_0678", "row_0679", "row_0680", "row_0681", "row_0682", "row_0683", "row_0684", "row_0685", "row_0686", "row_0687", "row_0688", "row_0689", "row_0690", "row_0691", "row_0692", "row_0693", "row_0694", "row_0695", "row_0696", "row_0697", "row_0698", "row_0699", "row_0700", "row_0701", "row_0702", "row_0703", "row_0704", "row_0705", "row_0706", "row_0707", "row_0708", "row_0709", "row_0710", "row_0711", "row_0712", "row_0713", "row_0714", "row_0715", "row_0716", "row_0717", "row_0718", "row_0719", "row_0720", "row_0721", "row_0722", "row_0723", "row_0724", "row_0725", "row_0726", "row_0727", "row_0728", "row_0729", "row_0730", "row_0731", "row_0732", "row_0733", "row_0734", "row_0735", "row_0736", "row_0737", "row_0738", "row_0739", "row_0740", "row_0741", "row_0742", "row_0743", "row_0744", "row_0745", "row_0746", "row_0747", "row_0748", "row_0749", "row_0750", "row_0751", "row_0752", "row_0753", "row_0754", "row_0755", "row_0756", "row_0757", "row_0758", "row_0759", "row_0760", "row_0761", "row_0762", "row_0763", "row_0764", "row_0765", "row_0766", "row_0767", "row_0768", "row_0769", "row_0770", "row_0771", "row_0772", "row_0773", "row_0774", "row_0775", "row_0776", "row_0777", "row_0778", "row_0779", "row_0780", "row_0781", "row_0782", "row_0783", "row_0784", "row_0785", "row_0786", "row_0787", "row_0788", "row_0789", "row_0790", "row_0791", "row_0792", "row_0793", "row_0794", "row_0795", "row_0796", "row_0797", "row_0798", "row_0799", "row_0800", "row_0801", "row_0802", "row_0803", "row_0804", "row_0805", "row_0806", "row_0807", "row_0808", "row_0809", "row_0810", "row_0811", "row_0812", "row_0813", "row_0814", "row_0815", "row_0816", "row_0817", "row_0818", "row_0819", "row_0820", "row_0821", "row_0822", "row_0823", "row_0824", "row_0825", "row_0826", "row_0827", "row_0828", "row_0829", "row_0830", "row_0831", "row_0832", "row_0833", "row_0834", "row_0835", "row_0836", "row_0837", "row_0838", "row_0839", "row_0840", "row_0841", "row_0842", "row_0843", "row_0844", "row_0845", "row_0846", "row_0847", "row_0848", "row_0849", "row_0850", "row_0851", "row_0852", "row_0853", "row_0854", "row_0855", "row_0856", "row_0857", "row_0858", "row_0859", "row_0860", "row_0861", "row_0862", "row_0863", "row_0864", "row_0865", "row_0866", "row_0867", "row_0868", "row_0869", "row_0870", "row_0871", "row_0872", "row_0873", "row_0874", "row_0875", "row_0876", "row_0877", "row_0878", "row_0879", "row_0880", "row_0881", "row_0882", "row_0883", "row_0884", "row_0885", "row_0886", "row_0887", "row_0888", "row_0889", "row_0890", "row_0891", "row_0892", "row_0893", "row_0894", "row_0895", "row_0896", "row_0897", "row_0898", "row_0899", "row_0900", "row_0901", "row_0902", "row_0903", "row_0904", "row_0905", "row_0906", "row_0907", "row_0908", "row_0909", "row_0910", "row_0911", "row_0912", "row_0913", "row_0914", "row_0915", "row_0916", "row_0917", "row_0918", "row_0919", "row_0920", "row_0921", "row_0922", "row_0923", "row_0924", "row_0925", "row_0926", "row_0927", "row_0928", "row_0929", "row_0930", "row_0931", "row_0932", "row_0933", "row_0934", "row_0935", "row_0936", "row_0937", "row_0938", "row_0939", "row_0940", "row_0941", "row_0942", "row_0943", "row_0944", "row_0945", "row_0946", "row_0947", "row_0948", "row_0949", "row_0950", "row_0951", "row_0952", "row_0953", "row_0954", "row_0955", "row_0956", "row_0957", "row_0958", "row_0959", "row_0960", "row_0961", "row_0962", "row_0963", "row_0964", "row_0965", "row_0966", "row_0967", "row_0968", "row_0969", "row_0970", "row_0971", "row_0972", "row_0973", "row_0974", "row_0975", "row_0976", "row_0977", "row_0978", "row_0979", "row_0980", "row_0981", "row_0982", "row_0983", "row_0984", "row_0985", "row_0986", "row_0987", "row_0988", "row_0989", "row_0990", "row_0991", "row_0992", "row_0993", "row_0994", "row_0995", "row_0996", "row_0997", "row_0998", "row_0999", "row_1000", "row_1001", "row_1002", "row_1003", "row_1004", "row_1005", "row_1006", "row_1007", "row_1008", "row_1009", "row_1010", "row_1011", "row_1012", "row_1013", "row_1014", "row_1015", "row_1016", "row_1017", "row_1018", "row_1019", "row_1020", "row_1021", "row_1022", "row_1023", "row_1024", "row_1025", "row_1026", "row_1027", "row_1028", "row_1029", "row_1030", "row_1031", "row_1032", "row_1033", "row_1034", "row_1035", "row_1036", "row_1037", "row_1038", "row_1039", "row_1040", "row_1041", "row_1042", "row_1043", "row_1044", "row_1045", "row_1046", "row_1047", "row_1048", "row_1049", "row_1050", "row_1051", "row_1052", "row_1053", "row_1054", "row_1055", "row_1056", "row_1057", "row_1058", "row_1059", "row_1060", "row_1061", "row_1062", "row_1063", "row_1064", "row_1065", "row_1066", "row_1067", "row_1068", "row_1069", "row_1070", "row_1071", "row_1072", "row_1073", "row_1074", "row_1075", "row_1076", "row_1077", "row_1078", "row_1079", "row_1080", "row_1081", "row_1082", "row_1083", "row_1084", "row_1085", "row_1086", "row_1087", "row_1088", "row_1089", "row_1090", "row_1091", "row_1092", "row_1093", "row_1094", "row_1095", "row_1096", "row_1097", "row_1098", "row_1099", "row_1100", "row_1101", "row_1102", "row_1103", "row_1104", "row_1105", "row_1106", "row_1107", "row_1108", "row_1109", "row_1110", "row_1111", "row_1112", "row_1113", "row_1114", "row_1115", "row_1116", "row_1117", "row_1118", "row_1119", "row_1120", "row_1121", "row_1122", "row_1123", "row_1124", "row_1125", "row_1126", "row_1127", "row_1128", "row_1129", "row_1130", "row_1131", "row_1132", "row_1133", "row_1134", "row_1135", "row_1136", "row_1137", "row_1138", "row_1139", "row_1140", "row_1141", "row_1142", "row_1143", "row_1144", "row_1145", "row_1146", "row_1147", "row_1148", "row_1149", "row_1150", "row_1151", "row_1152", "row_1153", "row_1154", "row_1155", "row_1156", "row_1157", "row_1158", "row_1159", "row_1160", "row_1161", "row_1162", "row_1163", "row_1164", "row_1165", "row_1166", "row_1167", "row_1168", "row_1169", "row_1170", "row_1171", "row_1172", "row_1173", "row_1174", "row_1175", "row_1176", "row_1177", "row_1178", "row_1179", "row_1180", "row_1181", "row_1182", "row_1183", "row_1184", "row_1185", "row_1186", "row_1187", "row_1188", "row_1189", "row_1190", "row_1191", "row_1192", "row_1193", "row_1194", "row_1195", "row_1196", "row_1197", "row_1198", "row_1199", "row_1200", "row_1201", "row_1202", "row_1203", "row_1204", "row_1205", "row_1206", "row_1207", "row_1208", "row_1209", "row_1210", "row_1211", "row_1212", "row_1213", "row_1214", "row_1215", "row_1216", "row_1217", "row_1218", "row_1219", "row_1220", "row_1221", "row_1222", "row_1223", "row_1224", "row_1225", "row_1226", "row_1227", "row_1228", "row_1229", "row_1230", "row_1231", "row_1232", "row_1233", "row_1234", "row_1235", "row_1236", "row_1237", "row_1238", "row_1239", "row_1240", "row_1241", "row_1242", "row_1243", "row_1244", "row_1245", "row_1246", "row_1247", "row_1248", "row_1249", "row_1250", "row_1251", "row_1252", "row_1253", "row_1254", "row_1255", "row_1256", "row_1257", "row_1258", "row_1259", "row_1260", "row_1261", "row_1262", "row_1263", "row_1264", "row_1265", "row_1266", "row_1267", "row_1268", "row_1269", "row_1270", "row_1271", "row_1272", "row_1273", "row_1274", "row_1275", "row_1276", "row_1277", "row_1278", "row_1279", "row_1280", "row_1281", "row_1282", "row_1283", "row_1284", "row_1285", "row_1286", "row_1287", "row_1288", "row_1289", "row_1290", "row_1291", "row_1292", "row_1293", "row_1294", "row_1295", "row_1296", "row_1297", "row_1298", "row_1299", "row_1300", "row_1301", "row_1302", "row_1303", "row_1304", "row_1305", "row_1306", "row_1307", "row_1308", "row_1309", "row_1310", "row_1311", "row_1312", "row_1313", "row_1314", "row_1315", "row_1316", "row_1317", "row_1318", "row_1319", "row_1320", "row_1321", "row_1322", "row_1323", "row_1324", "row_1325", "row_1326", "row_1327", "row_1328", "row_1329", "row_1330", "row_1331", "row_1332", "row_1333", "row_1334", "row_1335", "row_1336", "row_1337", "row_1338", "row_1339", "row_1340", "row_1341", "row_1342", "row_1343", "row_1344", "row_1345", "row_1346", "row_1347", "row_1348", "row_1349", "row_1350", "row_1351", "row_1352", "row_1353", "row_1354", "row_1355", "row_1356", "row_1357", "row_1358", "row_1359", "row_1360", "row_1361", "row_1362", "row_1363", "row_1364", "row_1365", "row_1366", "row_1367", "row_1368", "row_1369", "row_1370", "row_1371", "row_1372", "row_1373", "row_1374", "row_1375", "row_1376", "row_1377", "row_1378", "row_1379", "row_1380", "row_1381", "row_1382", "row_1383", "row_1384", "row_1385", "row_1386", "row_1387", "row_1388", "row_1389", "row_1390", "row_1391", "row_1392", "row_1393", "row_1394", "row_1395", "row_1396", "row_1397", "row_1398", "row_1399", "row_1400", "row_1401", "row_1402", "row_1403", "row_1404", "row_1405", "row_1406", "row_1407", "row_1408", "row_1409", "row_1410", "row_1411", "row_1412", "row_1413", "row_1414", "row_1415", "row_1416", "row_1417", "row_1418", "row_1419", "row_1420", "row_1421", "row_1422", "row_1423", "row_1424", "row_1425", "row_1426", "row_1427", "row_1428", "row_1429", "row_1430", "row_1431", "row_1432", "row_1433", "row_1434", "row_1435", "row_1436", "row_1437", "row_1438", "row_1439", "row_1440", "row_1441", "row_1442", "row_1443", "row_1444", "row_1445", "row_1446", "row_1447", "row_1448", "row_1449", "row_1450", "row_1451", "row_1452", "row_1453", "row_1454", "row_1455", "row_1456", "row_1457", "row_1458", "row_1459", "row_1460", "row_1461", "row_1462", "row_1463", "row_1464", "row_1465", "row_1466", "row_1467", "row_1468", "row_1469", "row_1470", "row_1471", "row_1472", "row_1473", "row_1474", "row_1475", "row_1476", "row_1477", "row_1478", "row_1479", "row_1480", "row_1481", "row_1482", "row_1483", "row_1484", "row_1485", "row_1486", "row_1487", "row_1488", "row_1489", "row_1490", "row_1491", "row_1492", "row_1493", "row_1494", "row_1495", "row_1496", "row_1497", "row_1498", "row_1499", "row_1500", "row_1501", "row_1502", "row_1503", "row_1504", "row_1505", "row_1506", "row_1507", "row_1508", "row_1509", "row_1510", "row_1511", "row_1512", "row_1513", "row_1514", "row_1515", "row_1516", "row_1517", "row_1518", "row_1519", "row_1520", "row_1521", "row_1522", "row_1523", "row_1524", "row_1525", "row_1526", "row_1527", "row_1528", "row_1529", "row_1530", "row_1531", "row_1532", "row_1533", "row_1534", "row_1535", "row_1536", "row_1537", "row_1538", "row_1539", "row_1540", "row_1541", "row_1542", "row_1543", "row_1544", "row_1545", "row_1546", "row_1547", "row_1548", "row_1549", "row_1550", "row_1551", "row_1552", "row_1553", "row_1554", "row_1555", "row_1556", "row_1557", "row_1558", "row_1559", "row_1560", "row_1561", "row_1562", "row_1563", "row_1564", "row_1565", "row_1566", "row_1567", "row_1568", "row_1569", "row_1570", "row_1571", "row_1572", "row_1573", "row_1574", "row_1575", "row_1576", "row_1577", "row_1578", "row_1579", "row_1580", "row_1581", "row_1582", "row_1583", "row_1584", "row_1585", "row_1586", "row_1587", "row_1588", "row_1589", "row_1590", "row_1591", "row_1592", "row_1593", "row_1594", "row_1595", "row_1596", "row_1597", "row_1598", "row_1599", "row_1600", "row_1601", "row_1602", "row_1603", "row_1604", "row_1605", "row_1606", "row_1607", "row_1608", "row_1609", "row_1610", "row_1611", "row_1612", "row_1613", "row_1614", "row_1615", "row_1616", "row_1617", "row_1618", "row_1619", "row_1620", "row_1621", "row_1622", "row_1623", "row_1624", "row_1625", "row_1626", "row_1627", "row_1628", "row_1629", "row_1630", "row_1631", "row_1632", "row_1633", "row_1634", "row_1635", "row_1636", "row_1637", "row_1638", "row_1639", "row_1640", "row_1641", "row_1642", "row_1643", "row_1644", "row_1645", "row_1646", "row_1647", "row_1648", "row_1649", "row_1650", "row_1651", "row_1652", "row_1653", "row_1654", "row_1655", "row_1656", "row_1657", "row_1658", "row_1659", "row_1660", "row_1661", "row_1662", "row_1663", "row_1664", "row_1665", "row_1666", "row_1667", "row_1668", "row_1669", "row_1670", "row_1671", "row_1672", "row_1673", "row_1674", "row_1675", "row_1676", "row_1677", "row_1678", "row_1679", "row_1680", "row_1681", "row_1682", "row_1683", "row_1684", "row_1685", "row_1686", "row_1687", "row_1688", "row_1689", "row_1690", "row_1691", "row_1692", "row_1693", "row_1694", "row_1695", "row_1696", "row_1697", "row_1698", "row_1699", "row_1700", "row_1701", "row_1702", "row_1703", "row_1704", "row_1705", "row_1706", "row_1707", "row_1708", "row_1709", "row_1710", "row_1711", "row_1712", "row_1713", "row_1714", "row_1715", "row_1716", "row_1717", "row_1718", "row_1719", "row_1720", "row_1721", "row_1722", "row_1723", "row_1724", "row_1725", "row_1726", "row_1727", "row_1728", "row_1729", "row_1730", "row_1731", "row_1732", "row_1733", "row_1734", "row_1735", "row_1736", "row_1737", "row_1738", "row_1739", "row_1740", "row_1741", "row_1742", "row_1743", "row_1744", "row_1745", "row_1746", "row_1747", "row_1748", "row_1749", "row_1750", "row_1751", "row_1752", "row_1753", "row_1754", "row_1755", "row_1756", "row_1757", "row_1758", "row_1759", "row_1760", "row_1761", "row_1762", "row_1763", "row_1764", "row_1765", "row_1766", "row_1767", "row_1768", "row_1769", "row_1770", "row_1771", "row_1772", "row_1773", "row_1774", "row_1775", "row_1776", "row_1777", "row_1778", "row_1779", "row_1780", "row_1781", "row_1782", "row_1783", "row_1784", "row_1785", "row_1786", "row_1787", "row_1788", "row_1789", "row_1790", "row_1791", "row_1792", "row_1793", "row_1794", "row_1795", "row_1796", "row_1797", "row_1798", "row_1799", "row_1800", "row_1801", "row_1802", "row_1803", "row_1804", "row_1805", "row_1806", "row_1807", "row_1808", "row_1809", "row_1810", "row_1811", "row_1812", "row_1813", "row_1814", "row_1815", "row_1816", "row_1817", "row_1818", "row_1819", "row_1820", "row_1821", "row_1822", "row_1823", "row_1824", "row_1825", "row_1826", "row_1827", "row_1828", "row_1829", "row_1830", "row_1831", "row_1832", "row_1833", "row_1834", "row_1835", "row_1836", "row_1837", "row_1838", "row_1839", "row_1840", "row_1841", "row_1842", "row_1843", "row_1844", "row_1845", "row_1846", "row_1847", "row_1848", "row_1849", "row_1850", "row_1851", "row_1852", "row_1853", "row_1854", "row_1855", "row_1856", "row_1857", "row_1858", "row_1859", "row_1860", "row_1861", "row_1862", "row_1863", "row_1864", "row_1865", "row_1866", "row_1867", "row_1868", "row_1869", "row_1870", "row_1871", "row_1872", "row_1873", "row_1874", "row_1875", "row_1876", "row_1877", "row_1878", "row_1879", "row_1880", "row_1881", "row_1882", "row_1883", "row_1884", "row_1885", "row_1886", "row_1887", "row_1888", "row_1889", "row_1890", "row_1891", "row_1892", "row_1893", "row_1894", "row_1895", "row_1896", "row_1897", "row_1898", "row_1899", "row_1900", "row_1901", "row_1902", "row_1903", "row_1904", "row_1905", "row_1906", "row_1907", "row_1908", "row_1909", "row_1910", "row_1911", "row_1912", "row_1913", "row_1914", "row_1915", "row_1916", "row_1917", "row_1918", "row_1919", "row_1920", "row_1921", "row_1922", "row_1923", "row_1924", "row_1925", "row_1926", "row_1927", "row_1928", "row_1929", "row_1930", "row_1931", "row_1932", "row_1933", "row_1934", "row_1935", "row_1936", "row_1937", "row_1938", "row_1939", "row_1940", "row_1941", "row_1942", "row_1943", "row_1944", "row_1945", "row_1946", "row_1947", "row_1948", "row_1949", "row_1950", "row_1951", "row_1952", "row_1953", "row_1954", "row_1955", "row_1956", "row_1957", "row_1958", "row_1959", "row_1960", "row_1961", "row_1962", "row_1963", "row_1964", "row_1965", "row_1966", "row_1967", "row_1968", "row_1969", "row_1970", "row_1971", "row_1972", "row_1973", "row_1974", "row_1975", "row_1976", "row_1977", "row_1978", "row_1979", "row_1980", "row_1981", "row_1982", "row_1983", "row_1984", "row_1985", "row_1986", "row_1987", "row_1988", "row_1989", "row_1990", "row_1991", "row_1992", "row_1993", "row_1994", "row_1995", "row_1996", "row_1997", "row_1998", "row_1999", "row_2000", "row_2001", "row_2002", "row_2003", "row_2004", "row_2005", "row_2006", "row_2007", "row_2008", "row_2009", "row_2010", "row_2011", "row_2012", "row_2013", "row_2014", "row_2015", "row_2016", "row_2017", "row_2018", "row_2019", "row_2020", "row_2021", "row_2022", "row_2023", "row_2024", "row_2025", "row_2026", "row_2027", "row_2028", "row_2029", "row_2030", "row_2031", "row_2032", "row_2033", "row_2034", "row_2035", "row_2036", "row_2037", "row_2038", "row_2039", "row_2040", "row_2041", "row_2042", "row_2043", "row_2044", "row_2045", "row_2046", "row_2047", "row_2048", "row_2049", "row_2050", "row_2051", "row_2052", "row_2053", "row_2054", "row_2055", "row_2056", "row_2057", "row_2058", "row_2059", "row_2060", "row_2061", "row_2062", "row_2063", "row_2064", "row_2065", "row_2066", "row_2067", "row_2068", "row_2069", "row_2070", "row_2071", "row_2072", "row_2073", "row_2074", "row_2075", "row_2076", "row_2077", "row_2078", "row_2079", "row_2080", "row_2081", "row_2082", "row_2083", "row_2084", "row_2085", "row_2086", "row_2087", "row_2088", "row_2089", "row_2090", "row_2091", "row_2092", "row_2093", "row_2094", "row_2095", "row_2096", "row_2097", "row_2098", "row_2099", "row_2100", "row_2101", "row_2102", "row_2103", "row_2104", "row_2105", "row_2106", "row_2107", "row_2108", "row_2109", "row_2110", "row_2111", "row_2112", "row_2113", "row_2114", "row_2115", "row_2116", "row_2117", "row_2118", "row_2119", "row_2120", "row_2121", "row_2122", "row_2123", "row_2124", "row_2125", "row_2126", "row_2127", "row_2128", "row_2129", "row_2130", "row_2131", "row_2132", "row_2133", "row_2134", "row_2135", "row_2136", "row_2137", "row_2138", "row_2139", "row_2140", "row_2141", "row_2142", "row_2143", "row_2144", "row_2145", "row_2146", "row_2147", "row_2148", "row_2149", "row_2150", "row_2151", "row_2152", "row_2153", "row_2154", "row_2155", "row_2156", "row_2157", "row_2158", "row_2159", "row_2160", "row_2161", "row_2162", "row_2163", "row_2164", "row_2165", "row_2166", "row_2167", "row_2168", "row_2169", "row_2170", "row_2171", "row_2172", "row_2173", "row_2174", "row_2175", "row_2176", "row_2177", "row_2178", "row_2179", "row_2180", "row_2181", "row_2182", "row_2183", "row_2184", "row_2185", "row_2186", "row_2187", "row_2188", "row_2189", "row_2190", "row_2191", "row_2192", "row_2193", "row_2194", "row_2195", "row_2196", "row_2197", "row_2198", "row_2199", "row_2200", "row_2201", "row_2202", "row_2203", "row_2204", "row_2205", "row_2206", "row_2207", "row_2208", "row_2209", "row_2210", "row_2211", "row_2212", "row_2213", "row_2214", "row_2215", "row_2216", "row_2217", "row_2218", "row_2219", "row_2220", "row_2221", "row_2222", "row_2223", "row_2224", "row_2225", "row_2226", "row_2227", "row_2228", "row_2229", "row_2230", "row_2231", "row_2232", "row_2233", "row_2234", "row_2235", "row_2236", "row_2237", "row_2238", "row_2239", "row_2240", "row_2241", "row_2242", "row_2243", "row_2244", "row_2245", "row_2246", "row_2247", "row_2248", "row_2249", "row_2250", "row_2251", "row_2252", "row_2253", "row_2254", "row_2255", "row_2256", "row_2257", "row_2258", "row_2259", "row_2260", "row_2261", "row_2262", "row_2263", "row_2264", "row_2265", "row_2266", "row_2267", "row_2268", "row_2269", "row_2270", "row_2271", "row_2272", "row_2273", "row_2274", "row_2275", "row_2276", "row_2277", "row_2278", "row_2279", "row_2280", "row_2281", "row_2282", "row_2283", "row_2284", "row_2285", "row_2286", "row_2287", "row_2288", "row_2289", "row_2290", "row_2291", "row_2292", "row_2293", "row_2294", "row_2295", "row_2296", "row_2297", "row_2298", "row_2299", "row_2300", "row_2301", "row_2302", "row_2303", "row_2304", "row_2305", "row_2306", "row_2307", "row_2308", "row_2309", "row_2310", "row_2311", "row_2312", "row_2313", "row_2314", "row_2315", "row_2316", "row_2317", "row_2318", "row_2319", "row_2320", "row_2321", "row_2322", "row_2323", "row_2324", "row_2325", "row_2326", "row_2327", "row_2328", "row_2329", "row_2330", "row_2331", "row_2332", "row_2333", "row_2334", "row_2335", "row_2336", "row_2337", "row_2338", "row_2339", "row_2340", "row_2341", "row_2342", "row_2343", "row_2344", "row_2345", "row_2346", "row_2347", "row_2348", "row_2349", "row_2350", "row_2351", "row_2352", "row_2353", "row_2354", "row_2355", "row_2356", "row_2357", "row_2358", "row_2359", "row_2360", "row_2361", "row_2362", "row_2363", "row_2364", "row_2365", "row_2366", "row_2367", "row_2368", "row_2369", "row_2370", "row_2371", "row_2372", "row_2373", "row_2374", "row_2375", "row_2376", "row_2377", "row_2378", "row_2379", "row_2380", "row_2381", "row_2382", "row_2383", "row_2384", "row_2385", "row_2386", "row_2387", "row_2388", "row_2389", "row_2390", "row_2391", "row_2392", "row_2393", "row_2394", "row_2395", "row_2396", "row_2397", "row_2398", "row_2399", "row_2400", "row_2401", "row_2402", "row_2403", "row_2404", "row_2405", "row_2406", "row_2407", "row_2408", "row_2409", "row_2410", "row_2411", "row_2412", "row_2413", "row_2414", "row_2415", "row_2416", "row_2417", "row_2418", "row_2419", "row_2420", "row_2421", "row_2422", "row_2423", "row_2424", "row_2425", "row_2426", "row_2427", "row_2428", "row_2429", "row_2430", "row_2431", "row_2432", "row_2433", "row_2434", "row_2435", "row_2436", "row_2437", "row_2438", "row_2439", "row_2440", "row_2441", "row_2442", "row_2443", "row_2444", "row_2445", "row_2446", "row_2447", "row_2448", "row_2449", "row_2450", "row_2451", "row_2452", "row_2453", "row_2454", "row_2455", "row_2456", "row_2457", "row_2458", "row_2459", "row_2460", "row_2461", "row_2462", "row_2463", "row_2464", "row_2465", "row_2466", "row_2467", "row_2468", "row_2469", "row_2470", "row_2471", "row_2472", "row_2473", "row_2474", "row_2475", "row_2476", "row_2477", "row_2478", "row_2479", "row_2480", "row_2481", "row_2482", "row_2483", "row_2484", "row_2485", "row_2486", "row_2487", "row_2488", "row_2489", "row_2490", "row_2491", "row_2492", "row_2493", "row_2494", "row_2495", "row_2496", "row_2497", "row_2498", "row_2499", "row_2500", "row_2501", "row_2502", "row_2503", "row_2504", "row_2505", "row_2506", "row_2507", "row_2508", "row_2509", "row_2510", "row_2511", "row_2512", "row_2513", "row_2514", "row_2515", "row_2516", "row_2517", "row_2518", "row_2519", "row_2520", "row_2521", "row_2522", "row_2523", "row_2524", "row_2525", "row_2526", "row_2527", "row_2528", "row_2529", "row_2530", "row_2531", "row_2532", "row_2533", "row_2534", "row_2535", "row_2536", "row_2537", "row_2538", "row_2539", "row_2540", "row_2541", "row_2542", "row_2543", "row_2544", "row_2545", "row_2546", "row_2547", "row_2548", "row_2549", "row_2550", "row_2551", "row_2552", "row_2553", "row_2554", "row_2555", "row_2556", "row_2557", "row_2558", "row_2559", "row_2560", "row_2561", "row_2562", "row_2563", "row_2564", "row_2565", "row_2566", "row_2567", "row_2568", "row_2569", "row_2570", "row_2571", "row_2572", "row_2573", "row_2574", "row_2575", "row_2576", "row_2577", "row_2578", "row_2579", "row_2580", "row_2581", "row_2582", "row_2583", "row_2584", "row_2585", "row_2586", "row_2587", "row_2588", "row_2589", "row_2590", "row_2591", "row_2592", "row_2593", "row_2594", "row_2595", "row_2596", "row_2597", "row_2598", "row_2599", "row_2600", "row_2601", "row_2602", "row_2603", "row_2604", "row_2605", "row_2606", "row_2607", "row_2608", "row_2609", "row_2610", "row_2611", "row_2612", "row_2613", "row_2614", "row_2615", "row_2616", "row_2617", "row_2618", "row_2619", "row_2620", "row_2621", "row_2622", "row_2623", "row_2624", "row_2625", "row_2626", "row_2627", "row_2628", "row_2629", "row_2630", "row_2631", "row_2632", "row_2633", "row_2634", "row_2635", "row_2636", "row_2637", "row_2638", "row_2639", "row_2640", "row_2641", "row_2642", "row_2643", "row_2644", "row_2645", "row_2646", "row_2647", "row_2648", "row_2649", "row_2650", "row_2651", "row_2652", "row_2653", "row_2654", "row_2655", "row_2656", "row_2657", "row_2658", "row_2659", "row_2660", "row_2661", "row_2662", "row_2663", "row_2664", "row_2665", "row_2666", "row_2667", "row_2668", "row_2669", "row_2670", "row_2671", "row_2672", "row_2673", "row_2674", "row_2675", "row_2676", "row_2677", "row_2678", "row_2679", "row_2680", "row_2681", "row_2682", "row_2683", "row_2684", "row_2685", "row_2686", "row_2687", "row_2688", "row_2689", "row_2690", "row_2691", "row_2692", "row_2693", "row_2694", "row_2695", "row_2696", "row_2697", "row_2698", "row_2699", "row_2700", "row_2701", "row_2702", "row_2703", "row_2704", "row_2705", "row_2706", "row_2707", "row_2708", "row_2709", "row_2710", "row_2711", "row_2712", "row_2713", "row_2714", "row_2715", "row_2716", "row_2717", "row_2718", "row_2719", "row_2720", "row_2721", "row_2722", "row_2723", "row_2724", "row_2725", "row_2726", "row_2727", "row_2728", "row_2729", "row_2730", "row_2731", "row_2732", "row_2733", "row_2734", "row_2735", "row_2736", "row_2737", "row_2738", "row_2739", "row_2740", "row_2741", "row_2742", "row_2743", "row_2744", "row_2745", "row_2746", "row_2747", "row_2748", "row_2749", "row_2750", "row_2751", "row_2752", "row_2753", "row_2754", "row_2755", "row_2756", "row_2757", "row_2758", "row_2759", "row_2760", "row_2761", "row_2762", "row_2763", "row_2764", "row_2765", "row_2766", "row_2767", "row_2768", "row_2769", "row_2770", "row_2771", "row_2772", "row_2773", "row_2774", "row_2775", "row_2776", "row_2777", "row_2778", "row_2779", "row_2780", "row_2781", "row_2782", "row_2783", "row_2784", "row_2785", "row_2786", "row_2787", "row_2788", "row_2789", "row_2790", "row_2791", "row_2792", "row_2793", "row_2794", "row_2795", "row_2796", "row_2797", "row_2798", "row_2799", "row_2800", "row_2801", "row_2802", "row_2803", "row_2804", "row_2805", "row_2806", "row_2807", "row_2808", "row_2809", "row_2810", "row_2811", "row_2812", "row_2813", "row_2814", "row_2815", "row_2816", "row_2817", "row_2818", "row_2819", "row_2820", "row_2821", "row_2822", "row_2823", "row_2824", "row_2825", "row_2826", "row_2827", "row_2828", "row_2829", "row_2830", "row_2831", "row_2832", "row_2833", "row_2834", "row_2835", "row_2836", "row_2837", "row_2838", "row_2839", "row_2840" ], "source_sha256": { "inference.py": "e1405c61c77765a3d7252ce4fbc597604821a13ca2dc6b922bc8cacb7b61b2ae", "evaluation.py": "02600d8abd80d582ea154f570f102f9051c51d5e14b9cdf09b439f6e264ce015", "trt_backend.py": "eafc144a9b698e94dfe155074c7a3ab1063ee7817ab1a285b69639db1c07b424", "benchmark.py": "5a74707e3e2e9f23b5c4f7ebc2e0d296e9e6ff716f5417d798aa08d7961ee97b" }, "dataset": { "dataset_id": "redmadrobot-rnd/pii_benchmark", "revision": "f77ea831274daf980cc45c61a93c226be9d978d6", "sha256": "6bf544a380a3ee5bec94b946124bea3afaecce49e734679ad0f0c0e7c12977bb", "split": "test", "source_url": "https://huggingface.co/datasets/redmadrobot-rnd/pii_benchmark/resolve/f77ea831274daf980cc45c61a93c226be9d978d6/test.csv", "source_rows": 2841, "evaluated_rows": 2841, "excluded_rows": [], "case_insensitive_alignment_rows": [ { "id": "row_0000", "source_row_zero_based": 0, "reason": "Token WWW differs from original text www; same-length case-insensitive comparison at original offsets" }, { "id": "row_1628", "source_row_zero_based": 1628, "reason": "Token WWW differs from original text www; same-length case-insensitive comparison at original offsets" } ], "strict_alignment_rows": 2839, "gold_entities": 5614, "per_label_support": { "BIRTH_CERTIFICATE": 341, "CITY": 339, "COUNTRY": 242, "CREDIT_CARD": 203, "DISTRICT": 161, "DRIVER_LICENSE": 371, "EMAIL": 221, "FIRST_NAME": 499, "HOUSE": 163, "INN": 263, "IP_ADDRESS": 155, "LAST_NAME": 457, "MIDDLE_NAME": 308, "MILITARY_ID": 278, "OMS": 170, "PASSPORT": 494, "PHONE": 173, "REGION": 176, "SNILS": 223, "STREET": 171, "URL": 206 }, "alignment_policy": "Original text unchanged; exact monotonic offsets; whitespace-only gaps; strict BIO; empty O token allowed; only equal-length case differences at original offsets allowed as explicit fallback", "primary_metric": "Exact span micro-F1 across all 21 fine labels, gold BIO boundaries unchanged", "secondary_metric": "Coarse14 exact (no gold merge), and PERSON+LOCATION overlap after identical whitespace merge on both sides", "published_score_comparability": "Leaderboard-style diagnostic only: the public code differs from the card; this evaluation preserves all 2841 rows, explicitly aligns WWW/www on two rows, and never tunes a threshold on test" }, "evaluated_rows": 2841 }, "token_lengths": { "count": 2841, "mean": 61.1735304470257, "p50": 28.0, "p95": 220.0, "p99": 785.0 }, "agreement_with_torch_fp32": { "exact_document_fraction": 1.0, "changed_documents": 0, "changed_record_indices": [] }, "latency_e2e_batch1": { "count": 768, "mean_ms": 4.338136834635416, "p50_ms": 3.283219, "p95_ms": 8.534234999999999, "p99_ms": 16.62495859000002 }, "latency_model_with_transfers_batch1": { "32": { "count": 100, "mean_ms": 2.5534402, "p50_ms": 2.245244, "p95_ms": 4.1106772, "p99_ms": 6.435467550000005 }, "128": { "count": 100, "mean_ms": 3.9541245400000005, "p50_ms": 3.243965, "p95_ms": 7.9958354, "p99_ms": 9.127662770000002 }, "512": { "count": 100, "mean_ms": 7.6860065099999995, "p50_ms": 7.606868, "p95_ms": 9.7087102, "p99_ms": 10.119910030000007 } }, "throughput_batch16_docs_s": { "runs": [ 775.2138149411115, 768.269900900315, 755.0303209356899 ], "median": 768.269900900315 } }