{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 50.0,
  "eval_steps": 500,
  "global_step": 3750,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 7.266074180603027,
      "learning_rate": 0.0,
      "loss": 1.9476,
      "step": 1
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 7.149895191192627,
      "learning_rate": 5e-05,
      "loss": 1.9716,
      "step": 2
    },
    {
      "epoch": 0.04,
      "grad_norm": 7.407131195068359,
      "learning_rate": 5e-05,
      "loss": 1.9292,
      "step": 3
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 6.360928058624268,
      "learning_rate": 5e-05,
      "loss": 1.753,
      "step": 4
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 5.608377456665039,
      "learning_rate": 5e-05,
      "loss": 1.5006,
      "step": 5
    },
    {
      "epoch": 0.08,
      "grad_norm": 5.276346683502197,
      "learning_rate": 5e-05,
      "loss": 1.2704,
      "step": 6
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 5.037189483642578,
      "learning_rate": 5e-05,
      "loss": 1.0972,
      "step": 7
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 5.272848606109619,
      "learning_rate": 5e-05,
      "loss": 0.9794,
      "step": 8
    },
    {
      "epoch": 0.12,
      "grad_norm": 5.6903815269470215,
      "learning_rate": 5e-05,
      "loss": 0.7401,
      "step": 9
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 5.835597038269043,
      "learning_rate": 5e-05,
      "loss": 0.5503,
      "step": 10
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 5.302466869354248,
      "learning_rate": 5e-05,
      "loss": 0.4365,
      "step": 11
    },
    {
      "epoch": 0.16,
      "grad_norm": 5.8085455894470215,
      "learning_rate": 5e-05,
      "loss": 0.4434,
      "step": 12
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 4.886758327484131,
      "learning_rate": 5e-05,
      "loss": 0.3929,
      "step": 13
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 3.8651199340820312,
      "learning_rate": 5e-05,
      "loss": 0.3226,
      "step": 14
    },
    {
      "epoch": 0.2,
      "grad_norm": 4.446734428405762,
      "learning_rate": 5e-05,
      "loss": 0.2906,
      "step": 15
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 4.5220136642456055,
      "learning_rate": 5e-05,
      "loss": 0.3074,
      "step": 16
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 4.3292670249938965,
      "learning_rate": 5e-05,
      "loss": 0.2589,
      "step": 17
    },
    {
      "epoch": 0.24,
      "grad_norm": 3.93192982673645,
      "learning_rate": 5e-05,
      "loss": 0.1722,
      "step": 18
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 2.501683235168457,
      "learning_rate": 5e-05,
      "loss": 0.1589,
      "step": 19
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 2.263808012008667,
      "learning_rate": 5e-05,
      "loss": 0.148,
      "step": 20
    },
    {
      "epoch": 0.28,
      "grad_norm": 4.734708786010742,
      "learning_rate": 5e-05,
      "loss": 0.2685,
      "step": 21
    },
    {
      "epoch": 0.29333333333333333,
      "grad_norm": 4.114713191986084,
      "learning_rate": 5e-05,
      "loss": 0.1803,
      "step": 22
    },
    {
      "epoch": 0.30666666666666664,
      "grad_norm": 2.461939811706543,
      "learning_rate": 5e-05,
      "loss": 0.1631,
      "step": 23
    },
    {
      "epoch": 0.32,
      "grad_norm": 3.0148065090179443,
      "learning_rate": 5e-05,
      "loss": 0.1579,
      "step": 24
    },
    {
      "epoch": 0.3333333333333333,
      "grad_norm": 3.2992568016052246,
      "learning_rate": 5e-05,
      "loss": 0.1839,
      "step": 25
    },
    {
      "epoch": 0.3466666666666667,
      "grad_norm": 2.814338207244873,
      "learning_rate": 5e-05,
      "loss": 0.1582,
      "step": 26
    },
    {
      "epoch": 0.36,
      "grad_norm": 2.389753818511963,
      "learning_rate": 5e-05,
      "loss": 0.1335,
      "step": 27
    },
    {
      "epoch": 0.37333333333333335,
      "grad_norm": 3.2417914867401123,
      "learning_rate": 5e-05,
      "loss": 0.1961,
      "step": 28
    },
    {
      "epoch": 0.38666666666666666,
      "grad_norm": 2.6653568744659424,
      "learning_rate": 5e-05,
      "loss": 0.1741,
      "step": 29
    },
    {
      "epoch": 0.4,
      "grad_norm": 2.3327829837799072,
      "learning_rate": 5e-05,
      "loss": 0.1494,
      "step": 30
    },
    {
      "epoch": 0.41333333333333333,
      "grad_norm": 1.904600739479065,
      "learning_rate": 5e-05,
      "loss": 0.1678,
      "step": 31
    },
    {
      "epoch": 0.4266666666666667,
      "grad_norm": 2.9544663429260254,
      "learning_rate": 5e-05,
      "loss": 0.2024,
      "step": 32
    },
    {
      "epoch": 0.44,
      "grad_norm": 1.957661747932434,
      "learning_rate": 5e-05,
      "loss": 0.1431,
      "step": 33
    },
    {
      "epoch": 0.4533333333333333,
      "grad_norm": 1.6361920833587646,
      "learning_rate": 5e-05,
      "loss": 0.1287,
      "step": 34
    },
    {
      "epoch": 0.4666666666666667,
      "grad_norm": 3.1050374507904053,
      "learning_rate": 5e-05,
      "loss": 0.1574,
      "step": 35
    },
    {
      "epoch": 0.48,
      "grad_norm": 1.9057338237762451,
      "learning_rate": 5e-05,
      "loss": 0.1567,
      "step": 36
    },
    {
      "epoch": 0.49333333333333335,
      "grad_norm": 2.7652859687805176,
      "learning_rate": 5e-05,
      "loss": 0.1679,
      "step": 37
    },
    {
      "epoch": 0.5066666666666667,
      "grad_norm": 2.3605947494506836,
      "learning_rate": 5e-05,
      "loss": 0.148,
      "step": 38
    },
    {
      "epoch": 0.52,
      "grad_norm": 2.3014557361602783,
      "learning_rate": 5e-05,
      "loss": 0.1526,
      "step": 39
    },
    {
      "epoch": 0.5333333333333333,
      "grad_norm": 1.9351816177368164,
      "learning_rate": 5e-05,
      "loss": 0.1287,
      "step": 40
    },
    {
      "epoch": 0.5466666666666666,
      "grad_norm": 1.930930733680725,
      "learning_rate": 5e-05,
      "loss": 0.1434,
      "step": 41
    },
    {
      "epoch": 0.56,
      "grad_norm": 1.5314557552337646,
      "learning_rate": 5e-05,
      "loss": 0.1248,
      "step": 42
    },
    {
      "epoch": 0.5733333333333334,
      "grad_norm": 1.433789849281311,
      "learning_rate": 5e-05,
      "loss": 0.1528,
      "step": 43
    },
    {
      "epoch": 0.5866666666666667,
      "grad_norm": 1.356629729270935,
      "learning_rate": 5e-05,
      "loss": 0.1146,
      "step": 44
    },
    {
      "epoch": 0.6,
      "grad_norm": 1.8337424993515015,
      "learning_rate": 5e-05,
      "loss": 0.12,
      "step": 45
    },
    {
      "epoch": 0.6133333333333333,
      "grad_norm": 1.9644628763198853,
      "learning_rate": 5e-05,
      "loss": 0.1162,
      "step": 46
    },
    {
      "epoch": 0.6266666666666667,
      "grad_norm": 3.1981289386749268,
      "learning_rate": 5e-05,
      "loss": 0.1569,
      "step": 47
    },
    {
      "epoch": 0.64,
      "grad_norm": 2.170348882675171,
      "learning_rate": 5e-05,
      "loss": 0.1543,
      "step": 48
    },
    {
      "epoch": 0.6533333333333333,
      "grad_norm": 2.3286194801330566,
      "learning_rate": 5e-05,
      "loss": 0.1079,
      "step": 49
    },
    {
      "epoch": 0.6666666666666666,
      "grad_norm": 1.9395771026611328,
      "learning_rate": 5e-05,
      "loss": 0.1357,
      "step": 50
    },
    {
      "epoch": 0.68,
      "grad_norm": 4.169980049133301,
      "learning_rate": 5e-05,
      "loss": 0.1208,
      "step": 51
    },
    {
      "epoch": 0.6933333333333334,
      "grad_norm": 2.417177200317383,
      "learning_rate": 5e-05,
      "loss": 0.1224,
      "step": 52
    },
    {
      "epoch": 0.7066666666666667,
      "grad_norm": 1.5710859298706055,
      "learning_rate": 5e-05,
      "loss": 0.1293,
      "step": 53
    },
    {
      "epoch": 0.72,
      "grad_norm": 1.581333041191101,
      "learning_rate": 5e-05,
      "loss": 0.1183,
      "step": 54
    },
    {
      "epoch": 0.7333333333333333,
      "grad_norm": 2.9886322021484375,
      "learning_rate": 5e-05,
      "loss": 0.1155,
      "step": 55
    },
    {
      "epoch": 0.7466666666666667,
      "grad_norm": 2.6402337551116943,
      "learning_rate": 5e-05,
      "loss": 0.1144,
      "step": 56
    },
    {
      "epoch": 0.76,
      "grad_norm": 1.9379501342773438,
      "learning_rate": 5e-05,
      "loss": 0.1245,
      "step": 57
    },
    {
      "epoch": 0.7733333333333333,
      "grad_norm": 1.76102614402771,
      "learning_rate": 5e-05,
      "loss": 0.1079,
      "step": 58
    },
    {
      "epoch": 0.7866666666666666,
      "grad_norm": 1.8295081853866577,
      "learning_rate": 5e-05,
      "loss": 0.1536,
      "step": 59
    },
    {
      "epoch": 0.8,
      "grad_norm": 1.6513118743896484,
      "learning_rate": 5e-05,
      "loss": 0.1161,
      "step": 60
    },
    {
      "epoch": 0.8133333333333334,
      "grad_norm": 1.8357397317886353,
      "learning_rate": 5e-05,
      "loss": 0.086,
      "step": 61
    },
    {
      "epoch": 0.8266666666666667,
      "grad_norm": 1.2759827375411987,
      "learning_rate": 5e-05,
      "loss": 0.1191,
      "step": 62
    },
    {
      "epoch": 0.84,
      "grad_norm": 1.7683438062667847,
      "learning_rate": 5e-05,
      "loss": 0.1537,
      "step": 63
    },
    {
      "epoch": 0.8533333333333334,
      "grad_norm": 2.438058853149414,
      "learning_rate": 5e-05,
      "loss": 0.1366,
      "step": 64
    },
    {
      "epoch": 0.8666666666666667,
      "grad_norm": 1.4565982818603516,
      "learning_rate": 5e-05,
      "loss": 0.1285,
      "step": 65
    },
    {
      "epoch": 0.88,
      "grad_norm": 1.3603811264038086,
      "learning_rate": 5e-05,
      "loss": 0.1074,
      "step": 66
    },
    {
      "epoch": 0.8933333333333333,
      "grad_norm": 1.1587432622909546,
      "learning_rate": 5e-05,
      "loss": 0.0895,
      "step": 67
    },
    {
      "epoch": 0.9066666666666666,
      "grad_norm": 1.1295464038848877,
      "learning_rate": 5e-05,
      "loss": 0.1013,
      "step": 68
    },
    {
      "epoch": 0.92,
      "grad_norm": 1.4135485887527466,
      "learning_rate": 5e-05,
      "loss": 0.1016,
      "step": 69
    },
    {
      "epoch": 0.9333333333333333,
      "grad_norm": 1.7843446731567383,
      "learning_rate": 5e-05,
      "loss": 0.1149,
      "step": 70
    },
    {
      "epoch": 0.9466666666666667,
      "grad_norm": 2.347601890563965,
      "learning_rate": 5e-05,
      "loss": 0.122,
      "step": 71
    },
    {
      "epoch": 0.96,
      "grad_norm": 1.9810620546340942,
      "learning_rate": 5e-05,
      "loss": 0.1437,
      "step": 72
    },
    {
      "epoch": 0.9733333333333334,
      "grad_norm": 2.7864744663238525,
      "learning_rate": 5e-05,
      "loss": 0.1693,
      "step": 73
    },
    {
      "epoch": 0.9866666666666667,
      "grad_norm": 1.658277153968811,
      "learning_rate": 5e-05,
      "loss": 0.1228,
      "step": 74
    },
    {
      "epoch": 1.0,
      "grad_norm": 2.185669422149658,
      "learning_rate": 5e-05,
      "loss": 0.1011,
      "step": 75
    },
    {
      "epoch": 1.0133333333333334,
      "grad_norm": 1.2313696146011353,
      "learning_rate": 5e-05,
      "loss": 0.0805,
      "step": 76
    },
    {
      "epoch": 1.0266666666666666,
      "grad_norm": 1.498572587966919,
      "learning_rate": 5e-05,
      "loss": 0.1,
      "step": 77
    },
    {
      "epoch": 1.04,
      "grad_norm": 1.12559974193573,
      "learning_rate": 5e-05,
      "loss": 0.0943,
      "step": 78
    },
    {
      "epoch": 1.0533333333333332,
      "grad_norm": 0.9439926743507385,
      "learning_rate": 5e-05,
      "loss": 0.094,
      "step": 79
    },
    {
      "epoch": 1.0666666666666667,
      "grad_norm": 1.1854784488677979,
      "learning_rate": 5e-05,
      "loss": 0.0855,
      "step": 80
    },
    {
      "epoch": 1.08,
      "grad_norm": 1.7676979303359985,
      "learning_rate": 5e-05,
      "loss": 0.0999,
      "step": 81
    },
    {
      "epoch": 1.0933333333333333,
      "grad_norm": 2.386197090148926,
      "learning_rate": 5e-05,
      "loss": 0.1301,
      "step": 82
    },
    {
      "epoch": 1.1066666666666667,
      "grad_norm": 1.9864779710769653,
      "learning_rate": 5e-05,
      "loss": 0.108,
      "step": 83
    },
    {
      "epoch": 1.12,
      "grad_norm": 1.6803449392318726,
      "learning_rate": 5e-05,
      "loss": 0.1014,
      "step": 84
    },
    {
      "epoch": 1.1333333333333333,
      "grad_norm": 1.8564772605895996,
      "learning_rate": 5e-05,
      "loss": 0.1199,
      "step": 85
    },
    {
      "epoch": 1.1466666666666667,
      "grad_norm": 1.3722805976867676,
      "learning_rate": 5e-05,
      "loss": 0.0835,
      "step": 86
    },
    {
      "epoch": 1.16,
      "grad_norm": 1.864695429801941,
      "learning_rate": 5e-05,
      "loss": 0.1321,
      "step": 87
    },
    {
      "epoch": 1.1733333333333333,
      "grad_norm": 2.622457981109619,
      "learning_rate": 5e-05,
      "loss": 0.1176,
      "step": 88
    },
    {
      "epoch": 1.1866666666666668,
      "grad_norm": 1.6440030336380005,
      "learning_rate": 5e-05,
      "loss": 0.0889,
      "step": 89
    },
    {
      "epoch": 1.2,
      "grad_norm": 1.0448120832443237,
      "learning_rate": 5e-05,
      "loss": 0.0977,
      "step": 90
    },
    {
      "epoch": 1.2133333333333334,
      "grad_norm": 1.369689702987671,
      "learning_rate": 5e-05,
      "loss": 0.1014,
      "step": 91
    },
    {
      "epoch": 1.2266666666666666,
      "grad_norm": 1.4255791902542114,
      "learning_rate": 5e-05,
      "loss": 0.1081,
      "step": 92
    },
    {
      "epoch": 1.24,
      "grad_norm": 0.9042455554008484,
      "learning_rate": 5e-05,
      "loss": 0.0831,
      "step": 93
    },
    {
      "epoch": 1.2533333333333334,
      "grad_norm": 0.8627500534057617,
      "learning_rate": 5e-05,
      "loss": 0.0907,
      "step": 94
    },
    {
      "epoch": 1.2666666666666666,
      "grad_norm": 1.1270091533660889,
      "learning_rate": 5e-05,
      "loss": 0.1253,
      "step": 95
    },
    {
      "epoch": 1.28,
      "grad_norm": 1.6382380723953247,
      "learning_rate": 5e-05,
      "loss": 0.1205,
      "step": 96
    },
    {
      "epoch": 1.2933333333333334,
      "grad_norm": 1.4930201768875122,
      "learning_rate": 5e-05,
      "loss": 0.0889,
      "step": 97
    },
    {
      "epoch": 1.3066666666666666,
      "grad_norm": 1.150479793548584,
      "learning_rate": 5e-05,
      "loss": 0.1027,
      "step": 98
    },
    {
      "epoch": 1.32,
      "grad_norm": 1.3419779539108276,
      "learning_rate": 5e-05,
      "loss": 0.1142,
      "step": 99
    },
    {
      "epoch": 1.3333333333333333,
      "grad_norm": 1.1994547843933105,
      "learning_rate": 5e-05,
      "loss": 0.1055,
      "step": 100
    },
    {
      "epoch": 1.3466666666666667,
      "grad_norm": 1.6286019086837769,
      "learning_rate": 5e-05,
      "loss": 0.1088,
      "step": 101
    },
    {
      "epoch": 1.3599999999999999,
      "grad_norm": 1.3852109909057617,
      "learning_rate": 5e-05,
      "loss": 0.1138,
      "step": 102
    },
    {
      "epoch": 1.3733333333333333,
      "grad_norm": 1.2364692687988281,
      "learning_rate": 5e-05,
      "loss": 0.1004,
      "step": 103
    },
    {
      "epoch": 1.3866666666666667,
      "grad_norm": 1.4233111143112183,
      "learning_rate": 5e-05,
      "loss": 0.0987,
      "step": 104
    },
    {
      "epoch": 1.4,
      "grad_norm": 1.0272600650787354,
      "learning_rate": 5e-05,
      "loss": 0.1002,
      "step": 105
    },
    {
      "epoch": 1.4133333333333333,
      "grad_norm": 0.9611064195632935,
      "learning_rate": 5e-05,
      "loss": 0.0997,
      "step": 106
    },
    {
      "epoch": 1.4266666666666667,
      "grad_norm": 1.118754267692566,
      "learning_rate": 5e-05,
      "loss": 0.1179,
      "step": 107
    },
    {
      "epoch": 1.44,
      "grad_norm": 0.9565966725349426,
      "learning_rate": 5e-05,
      "loss": 0.1165,
      "step": 108
    },
    {
      "epoch": 1.4533333333333334,
      "grad_norm": 1.5028437376022339,
      "learning_rate": 5e-05,
      "loss": 0.103,
      "step": 109
    },
    {
      "epoch": 1.4666666666666668,
      "grad_norm": 1.0119599103927612,
      "learning_rate": 5e-05,
      "loss": 0.1012,
      "step": 110
    },
    {
      "epoch": 1.48,
      "grad_norm": 1.2435458898544312,
      "learning_rate": 5e-05,
      "loss": 0.1072,
      "step": 111
    },
    {
      "epoch": 1.4933333333333334,
      "grad_norm": 1.3016693592071533,
      "learning_rate": 5e-05,
      "loss": 0.1015,
      "step": 112
    },
    {
      "epoch": 1.5066666666666668,
      "grad_norm": 1.1442116498947144,
      "learning_rate": 5e-05,
      "loss": 0.1044,
      "step": 113
    },
    {
      "epoch": 1.52,
      "grad_norm": 1.1346330642700195,
      "learning_rate": 5e-05,
      "loss": 0.1081,
      "step": 114
    },
    {
      "epoch": 1.5333333333333332,
      "grad_norm": 1.1857892274856567,
      "learning_rate": 5e-05,
      "loss": 0.1083,
      "step": 115
    },
    {
      "epoch": 1.5466666666666666,
      "grad_norm": 1.510777235031128,
      "learning_rate": 5e-05,
      "loss": 0.1095,
      "step": 116
    },
    {
      "epoch": 1.56,
      "grad_norm": 1.0776573419570923,
      "learning_rate": 5e-05,
      "loss": 0.0755,
      "step": 117
    },
    {
      "epoch": 1.5733333333333333,
      "grad_norm": 2.096109390258789,
      "learning_rate": 5e-05,
      "loss": 0.1583,
      "step": 118
    },
    {
      "epoch": 1.5866666666666667,
      "grad_norm": 1.3807382583618164,
      "learning_rate": 5e-05,
      "loss": 0.0981,
      "step": 119
    },
    {
      "epoch": 1.6,
      "grad_norm": 1.1158252954483032,
      "learning_rate": 5e-05,
      "loss": 0.1214,
      "step": 120
    },
    {
      "epoch": 1.6133333333333333,
      "grad_norm": 1.8060364723205566,
      "learning_rate": 5e-05,
      "loss": 0.0963,
      "step": 121
    },
    {
      "epoch": 1.6266666666666667,
      "grad_norm": 1.1581372022628784,
      "learning_rate": 5e-05,
      "loss": 0.1001,
      "step": 122
    },
    {
      "epoch": 1.6400000000000001,
      "grad_norm": 1.3448996543884277,
      "learning_rate": 5e-05,
      "loss": 0.0977,
      "step": 123
    },
    {
      "epoch": 1.6533333333333333,
      "grad_norm": 1.182073950767517,
      "learning_rate": 5e-05,
      "loss": 0.1166,
      "step": 124
    },
    {
      "epoch": 1.6666666666666665,
      "grad_norm": 1.179580569267273,
      "learning_rate": 5e-05,
      "loss": 0.095,
      "step": 125
    },
    {
      "epoch": 1.6800000000000002,
      "grad_norm": 0.7518996000289917,
      "learning_rate": 5e-05,
      "loss": 0.0961,
      "step": 126
    },
    {
      "epoch": 1.6933333333333334,
      "grad_norm": 1.3115592002868652,
      "learning_rate": 5e-05,
      "loss": 0.1186,
      "step": 127
    },
    {
      "epoch": 1.7066666666666666,
      "grad_norm": 0.9870573878288269,
      "learning_rate": 5e-05,
      "loss": 0.0776,
      "step": 128
    },
    {
      "epoch": 1.72,
      "grad_norm": 1.276160717010498,
      "learning_rate": 5e-05,
      "loss": 0.0865,
      "step": 129
    },
    {
      "epoch": 1.7333333333333334,
      "grad_norm": 1.2934322357177734,
      "learning_rate": 5e-05,
      "loss": 0.102,
      "step": 130
    },
    {
      "epoch": 1.7466666666666666,
      "grad_norm": 1.4974784851074219,
      "learning_rate": 5e-05,
      "loss": 0.1054,
      "step": 131
    },
    {
      "epoch": 1.76,
      "grad_norm": 1.4502631425857544,
      "learning_rate": 5e-05,
      "loss": 0.0838,
      "step": 132
    },
    {
      "epoch": 1.7733333333333334,
      "grad_norm": 0.8845887184143066,
      "learning_rate": 5e-05,
      "loss": 0.0888,
      "step": 133
    },
    {
      "epoch": 1.7866666666666666,
      "grad_norm": 1.1675502061843872,
      "learning_rate": 5e-05,
      "loss": 0.1062,
      "step": 134
    },
    {
      "epoch": 1.8,
      "grad_norm": 1.5442029237747192,
      "learning_rate": 5e-05,
      "loss": 0.1236,
      "step": 135
    },
    {
      "epoch": 1.8133333333333335,
      "grad_norm": 1.7326472997665405,
      "learning_rate": 5e-05,
      "loss": 0.1657,
      "step": 136
    },
    {
      "epoch": 1.8266666666666667,
      "grad_norm": 1.0860484838485718,
      "learning_rate": 5e-05,
      "loss": 0.0857,
      "step": 137
    },
    {
      "epoch": 1.8399999999999999,
      "grad_norm": 1.2509510517120361,
      "learning_rate": 5e-05,
      "loss": 0.0905,
      "step": 138
    },
    {
      "epoch": 1.8533333333333335,
      "grad_norm": 1.3467923402786255,
      "learning_rate": 5e-05,
      "loss": 0.088,
      "step": 139
    },
    {
      "epoch": 1.8666666666666667,
      "grad_norm": 0.9607044458389282,
      "learning_rate": 5e-05,
      "loss": 0.0976,
      "step": 140
    },
    {
      "epoch": 1.88,
      "grad_norm": 0.7689345479011536,
      "learning_rate": 5e-05,
      "loss": 0.0885,
      "step": 141
    },
    {
      "epoch": 1.8933333333333333,
      "grad_norm": 1.3766463994979858,
      "learning_rate": 5e-05,
      "loss": 0.0766,
      "step": 142
    },
    {
      "epoch": 1.9066666666666667,
      "grad_norm": 1.1033425331115723,
      "learning_rate": 5e-05,
      "loss": 0.0937,
      "step": 143
    },
    {
      "epoch": 1.92,
      "grad_norm": 0.8757332563400269,
      "learning_rate": 5e-05,
      "loss": 0.0793,
      "step": 144
    },
    {
      "epoch": 1.9333333333333333,
      "grad_norm": 1.1673016548156738,
      "learning_rate": 5e-05,
      "loss": 0.0836,
      "step": 145
    },
    {
      "epoch": 1.9466666666666668,
      "grad_norm": 1.3856475353240967,
      "learning_rate": 5e-05,
      "loss": 0.1352,
      "step": 146
    },
    {
      "epoch": 1.96,
      "grad_norm": 1.8705333471298218,
      "learning_rate": 5e-05,
      "loss": 0.1249,
      "step": 147
    },
    {
      "epoch": 1.9733333333333334,
      "grad_norm": 1.8416777849197388,
      "learning_rate": 5e-05,
      "loss": 0.1274,
      "step": 148
    },
    {
      "epoch": 1.9866666666666668,
      "grad_norm": 1.5440133810043335,
      "learning_rate": 5e-05,
      "loss": 0.1217,
      "step": 149
    },
    {
      "epoch": 2.0,
      "grad_norm": 1.6130750179290771,
      "learning_rate": 5e-05,
      "loss": 0.068,
      "step": 150
    },
    {
      "epoch": 2.013333333333333,
      "grad_norm": 1.1220670938491821,
      "learning_rate": 5e-05,
      "loss": 0.0914,
      "step": 151
    },
    {
      "epoch": 2.026666666666667,
      "grad_norm": 1.0506126880645752,
      "learning_rate": 5e-05,
      "loss": 0.0703,
      "step": 152
    },
    {
      "epoch": 2.04,
      "grad_norm": 1.260456919670105,
      "learning_rate": 5e-05,
      "loss": 0.1241,
      "step": 153
    },
    {
      "epoch": 2.0533333333333332,
      "grad_norm": 1.891754388809204,
      "learning_rate": 5e-05,
      "loss": 0.1084,
      "step": 154
    },
    {
      "epoch": 2.066666666666667,
      "grad_norm": 1.0873351097106934,
      "learning_rate": 5e-05,
      "loss": 0.0729,
      "step": 155
    },
    {
      "epoch": 2.08,
      "grad_norm": 1.2518507242202759,
      "learning_rate": 5e-05,
      "loss": 0.1008,
      "step": 156
    },
    {
      "epoch": 2.0933333333333333,
      "grad_norm": 1.3904800415039062,
      "learning_rate": 5e-05,
      "loss": 0.1106,
      "step": 157
    },
    {
      "epoch": 2.1066666666666665,
      "grad_norm": 1.6073613166809082,
      "learning_rate": 5e-05,
      "loss": 0.1125,
      "step": 158
    },
    {
      "epoch": 2.12,
      "grad_norm": 1.4361897706985474,
      "learning_rate": 5e-05,
      "loss": 0.1126,
      "step": 159
    },
    {
      "epoch": 2.1333333333333333,
      "grad_norm": 1.1765776872634888,
      "learning_rate": 5e-05,
      "loss": 0.0815,
      "step": 160
    },
    {
      "epoch": 2.1466666666666665,
      "grad_norm": 1.3600175380706787,
      "learning_rate": 5e-05,
      "loss": 0.1308,
      "step": 161
    },
    {
      "epoch": 2.16,
      "grad_norm": 1.0331529378890991,
      "learning_rate": 5e-05,
      "loss": 0.1024,
      "step": 162
    },
    {
      "epoch": 2.1733333333333333,
      "grad_norm": 0.851861298084259,
      "learning_rate": 5e-05,
      "loss": 0.0953,
      "step": 163
    },
    {
      "epoch": 2.1866666666666665,
      "grad_norm": 1.1656817197799683,
      "learning_rate": 5e-05,
      "loss": 0.0939,
      "step": 164
    },
    {
      "epoch": 2.2,
      "grad_norm": 0.8586227297782898,
      "learning_rate": 5e-05,
      "loss": 0.0776,
      "step": 165
    },
    {
      "epoch": 2.2133333333333334,
      "grad_norm": 0.9513989686965942,
      "learning_rate": 5e-05,
      "loss": 0.088,
      "step": 166
    },
    {
      "epoch": 2.2266666666666666,
      "grad_norm": 1.2887046337127686,
      "learning_rate": 5e-05,
      "loss": 0.0749,
      "step": 167
    },
    {
      "epoch": 2.24,
      "grad_norm": 1.023216962814331,
      "learning_rate": 5e-05,
      "loss": 0.0995,
      "step": 168
    },
    {
      "epoch": 2.2533333333333334,
      "grad_norm": 0.9359700679779053,
      "learning_rate": 5e-05,
      "loss": 0.081,
      "step": 169
    },
    {
      "epoch": 2.2666666666666666,
      "grad_norm": 0.9314294457435608,
      "learning_rate": 5e-05,
      "loss": 0.076,
      "step": 170
    },
    {
      "epoch": 2.2800000000000002,
      "grad_norm": 1.7981470823287964,
      "learning_rate": 5e-05,
      "loss": 0.0966,
      "step": 171
    },
    {
      "epoch": 2.2933333333333334,
      "grad_norm": 1.047856330871582,
      "learning_rate": 5e-05,
      "loss": 0.0836,
      "step": 172
    },
    {
      "epoch": 2.3066666666666666,
      "grad_norm": 0.9699634909629822,
      "learning_rate": 5e-05,
      "loss": 0.0772,
      "step": 173
    },
    {
      "epoch": 2.32,
      "grad_norm": 1.1871166229248047,
      "learning_rate": 5e-05,
      "loss": 0.0839,
      "step": 174
    },
    {
      "epoch": 2.3333333333333335,
      "grad_norm": 2.3452043533325195,
      "learning_rate": 5e-05,
      "loss": 0.1393,
      "step": 175
    },
    {
      "epoch": 2.3466666666666667,
      "grad_norm": 0.8220815062522888,
      "learning_rate": 5e-05,
      "loss": 0.0724,
      "step": 176
    },
    {
      "epoch": 2.36,
      "grad_norm": 1.1462843418121338,
      "learning_rate": 5e-05,
      "loss": 0.0706,
      "step": 177
    },
    {
      "epoch": 2.3733333333333335,
      "grad_norm": 1.0602511167526245,
      "learning_rate": 5e-05,
      "loss": 0.085,
      "step": 178
    },
    {
      "epoch": 2.3866666666666667,
      "grad_norm": 1.0658999681472778,
      "learning_rate": 5e-05,
      "loss": 0.0873,
      "step": 179
    },
    {
      "epoch": 2.4,
      "grad_norm": 1.232669472694397,
      "learning_rate": 5e-05,
      "loss": 0.071,
      "step": 180
    },
    {
      "epoch": 2.413333333333333,
      "grad_norm": 1.7238681316375732,
      "learning_rate": 5e-05,
      "loss": 0.1319,
      "step": 181
    },
    {
      "epoch": 2.4266666666666667,
      "grad_norm": 0.9805583953857422,
      "learning_rate": 5e-05,
      "loss": 0.0745,
      "step": 182
    },
    {
      "epoch": 2.44,
      "grad_norm": 1.0749214887619019,
      "learning_rate": 5e-05,
      "loss": 0.0886,
      "step": 183
    },
    {
      "epoch": 2.453333333333333,
      "grad_norm": 1.226638913154602,
      "learning_rate": 5e-05,
      "loss": 0.1241,
      "step": 184
    },
    {
      "epoch": 2.466666666666667,
      "grad_norm": 0.986648440361023,
      "learning_rate": 5e-05,
      "loss": 0.0741,
      "step": 185
    },
    {
      "epoch": 2.48,
      "grad_norm": 1.1670111417770386,
      "learning_rate": 5e-05,
      "loss": 0.0611,
      "step": 186
    },
    {
      "epoch": 2.493333333333333,
      "grad_norm": 1.1518583297729492,
      "learning_rate": 5e-05,
      "loss": 0.1004,
      "step": 187
    },
    {
      "epoch": 2.506666666666667,
      "grad_norm": 0.9218354821205139,
      "learning_rate": 5e-05,
      "loss": 0.0827,
      "step": 188
    },
    {
      "epoch": 2.52,
      "grad_norm": 1.121873378753662,
      "learning_rate": 5e-05,
      "loss": 0.0737,
      "step": 189
    },
    {
      "epoch": 2.533333333333333,
      "grad_norm": 1.0712629556655884,
      "learning_rate": 5e-05,
      "loss": 0.0803,
      "step": 190
    },
    {
      "epoch": 2.546666666666667,
      "grad_norm": 0.7600801587104797,
      "learning_rate": 5e-05,
      "loss": 0.0821,
      "step": 191
    },
    {
      "epoch": 2.56,
      "grad_norm": 1.004255771636963,
      "learning_rate": 5e-05,
      "loss": 0.0974,
      "step": 192
    },
    {
      "epoch": 2.5733333333333333,
      "grad_norm": 1.0783413648605347,
      "learning_rate": 5e-05,
      "loss": 0.0904,
      "step": 193
    },
    {
      "epoch": 2.586666666666667,
      "grad_norm": 0.9378050565719604,
      "learning_rate": 5e-05,
      "loss": 0.0738,
      "step": 194
    },
    {
      "epoch": 2.6,
      "grad_norm": 1.1150906085968018,
      "learning_rate": 5e-05,
      "loss": 0.0851,
      "step": 195
    },
    {
      "epoch": 2.6133333333333333,
      "grad_norm": 1.193402886390686,
      "learning_rate": 5e-05,
      "loss": 0.1012,
      "step": 196
    },
    {
      "epoch": 2.626666666666667,
      "grad_norm": 0.9014663100242615,
      "learning_rate": 5e-05,
      "loss": 0.0909,
      "step": 197
    },
    {
      "epoch": 2.64,
      "grad_norm": 0.6400647759437561,
      "learning_rate": 5e-05,
      "loss": 0.0585,
      "step": 198
    },
    {
      "epoch": 2.6533333333333333,
      "grad_norm": 0.9877362251281738,
      "learning_rate": 5e-05,
      "loss": 0.1039,
      "step": 199
    },
    {
      "epoch": 2.6666666666666665,
      "grad_norm": 0.5879557728767395,
      "learning_rate": 5e-05,
      "loss": 0.0542,
      "step": 200
    },
    {
      "epoch": 2.68,
      "grad_norm": 1.0554378032684326,
      "learning_rate": 5e-05,
      "loss": 0.0847,
      "step": 201
    },
    {
      "epoch": 2.6933333333333334,
      "grad_norm": 0.9771130084991455,
      "learning_rate": 5e-05,
      "loss": 0.0831,
      "step": 202
    },
    {
      "epoch": 2.7066666666666666,
      "grad_norm": 1.161084532737732,
      "learning_rate": 5e-05,
      "loss": 0.1016,
      "step": 203
    },
    {
      "epoch": 2.7199999999999998,
      "grad_norm": 2.4165759086608887,
      "learning_rate": 5e-05,
      "loss": 0.0968,
      "step": 204
    },
    {
      "epoch": 2.7333333333333334,
      "grad_norm": 0.9774281978607178,
      "learning_rate": 5e-05,
      "loss": 0.088,
      "step": 205
    },
    {
      "epoch": 2.7466666666666666,
      "grad_norm": 1.7248343229293823,
      "learning_rate": 5e-05,
      "loss": 0.1094,
      "step": 206
    },
    {
      "epoch": 2.76,
      "grad_norm": 0.9386411905288696,
      "learning_rate": 5e-05,
      "loss": 0.0755,
      "step": 207
    },
    {
      "epoch": 2.7733333333333334,
      "grad_norm": 1.390535593032837,
      "learning_rate": 5e-05,
      "loss": 0.0919,
      "step": 208
    },
    {
      "epoch": 2.7866666666666666,
      "grad_norm": 0.8164703845977783,
      "learning_rate": 5e-05,
      "loss": 0.0756,
      "step": 209
    },
    {
      "epoch": 2.8,
      "grad_norm": 0.6000808477401733,
      "learning_rate": 5e-05,
      "loss": 0.062,
      "step": 210
    },
    {
      "epoch": 2.8133333333333335,
      "grad_norm": 1.2031108140945435,
      "learning_rate": 5e-05,
      "loss": 0.1002,
      "step": 211
    },
    {
      "epoch": 2.8266666666666667,
      "grad_norm": 0.8607243299484253,
      "learning_rate": 5e-05,
      "loss": 0.0933,
      "step": 212
    },
    {
      "epoch": 2.84,
      "grad_norm": 0.9413211345672607,
      "learning_rate": 5e-05,
      "loss": 0.0866,
      "step": 213
    },
    {
      "epoch": 2.8533333333333335,
      "grad_norm": 0.7693034410476685,
      "learning_rate": 5e-05,
      "loss": 0.0688,
      "step": 214
    },
    {
      "epoch": 2.8666666666666667,
      "grad_norm": 1.015238881111145,
      "learning_rate": 5e-05,
      "loss": 0.0812,
      "step": 215
    },
    {
      "epoch": 2.88,
      "grad_norm": 0.9344954490661621,
      "learning_rate": 5e-05,
      "loss": 0.0722,
      "step": 216
    },
    {
      "epoch": 2.8933333333333335,
      "grad_norm": 0.9067590236663818,
      "learning_rate": 5e-05,
      "loss": 0.0719,
      "step": 217
    },
    {
      "epoch": 2.9066666666666667,
      "grad_norm": 1.0695290565490723,
      "learning_rate": 5e-05,
      "loss": 0.0876,
      "step": 218
    },
    {
      "epoch": 2.92,
      "grad_norm": 1.4924570322036743,
      "learning_rate": 5e-05,
      "loss": 0.1076,
      "step": 219
    },
    {
      "epoch": 2.9333333333333336,
      "grad_norm": 1.2600291967391968,
      "learning_rate": 5e-05,
      "loss": 0.0913,
      "step": 220
    },
    {
      "epoch": 2.9466666666666668,
      "grad_norm": 0.9054092168807983,
      "learning_rate": 5e-05,
      "loss": 0.0782,
      "step": 221
    },
    {
      "epoch": 2.96,
      "grad_norm": 1.1255512237548828,
      "learning_rate": 5e-05,
      "loss": 0.0711,
      "step": 222
    },
    {
      "epoch": 2.9733333333333336,
      "grad_norm": 1.2435319423675537,
      "learning_rate": 5e-05,
      "loss": 0.0812,
      "step": 223
    },
    {
      "epoch": 2.986666666666667,
      "grad_norm": 1.5756416320800781,
      "learning_rate": 5e-05,
      "loss": 0.081,
      "step": 224
    },
    {
      "epoch": 3.0,
      "grad_norm": 1.1590620279312134,
      "learning_rate": 5e-05,
      "loss": 0.0891,
      "step": 225
    },
    {
      "epoch": 3.013333333333333,
      "grad_norm": 0.9255651235580444,
      "learning_rate": 5e-05,
      "loss": 0.0833,
      "step": 226
    },
    {
      "epoch": 3.026666666666667,
      "grad_norm": 1.03403902053833,
      "learning_rate": 5e-05,
      "loss": 0.0711,
      "step": 227
    },
    {
      "epoch": 3.04,
      "grad_norm": 1.339857816696167,
      "learning_rate": 5e-05,
      "loss": 0.0843,
      "step": 228
    },
    {
      "epoch": 3.0533333333333332,
      "grad_norm": 2.013404369354248,
      "learning_rate": 5e-05,
      "loss": 0.1202,
      "step": 229
    },
    {
      "epoch": 3.066666666666667,
      "grad_norm": 1.217871069908142,
      "learning_rate": 5e-05,
      "loss": 0.1005,
      "step": 230
    },
    {
      "epoch": 3.08,
      "grad_norm": 0.5267625451087952,
      "learning_rate": 5e-05,
      "loss": 0.053,
      "step": 231
    },
    {
      "epoch": 3.0933333333333333,
      "grad_norm": 1.3638004064559937,
      "learning_rate": 5e-05,
      "loss": 0.1102,
      "step": 232
    },
    {
      "epoch": 3.1066666666666665,
      "grad_norm": 1.2093255519866943,
      "learning_rate": 5e-05,
      "loss": 0.1081,
      "step": 233
    },
    {
      "epoch": 3.12,
      "grad_norm": 1.103407621383667,
      "learning_rate": 5e-05,
      "loss": 0.0695,
      "step": 234
    },
    {
      "epoch": 3.1333333333333333,
      "grad_norm": 0.9462965130805969,
      "learning_rate": 5e-05,
      "loss": 0.0778,
      "step": 235
    },
    {
      "epoch": 3.1466666666666665,
      "grad_norm": 0.7679587602615356,
      "learning_rate": 5e-05,
      "loss": 0.0685,
      "step": 236
    },
    {
      "epoch": 3.16,
      "grad_norm": 0.6071596145629883,
      "learning_rate": 5e-05,
      "loss": 0.0602,
      "step": 237
    },
    {
      "epoch": 3.1733333333333333,
      "grad_norm": 1.3073508739471436,
      "learning_rate": 5e-05,
      "loss": 0.0935,
      "step": 238
    },
    {
      "epoch": 3.1866666666666665,
      "grad_norm": 1.3457365036010742,
      "learning_rate": 5e-05,
      "loss": 0.0746,
      "step": 239
    },
    {
      "epoch": 3.2,
      "grad_norm": 1.2504603862762451,
      "learning_rate": 5e-05,
      "loss": 0.0759,
      "step": 240
    },
    {
      "epoch": 3.2133333333333334,
      "grad_norm": 1.0213676691055298,
      "learning_rate": 5e-05,
      "loss": 0.0646,
      "step": 241
    },
    {
      "epoch": 3.2266666666666666,
      "grad_norm": 1.0859973430633545,
      "learning_rate": 5e-05,
      "loss": 0.0868,
      "step": 242
    },
    {
      "epoch": 3.24,
      "grad_norm": 0.7229369282722473,
      "learning_rate": 5e-05,
      "loss": 0.0708,
      "step": 243
    },
    {
      "epoch": 3.2533333333333334,
      "grad_norm": 1.2348382472991943,
      "learning_rate": 5e-05,
      "loss": 0.0707,
      "step": 244
    },
    {
      "epoch": 3.2666666666666666,
      "grad_norm": 1.386197566986084,
      "learning_rate": 5e-05,
      "loss": 0.1086,
      "step": 245
    },
    {
      "epoch": 3.2800000000000002,
      "grad_norm": 0.8665621876716614,
      "learning_rate": 5e-05,
      "loss": 0.0646,
      "step": 246
    },
    {
      "epoch": 3.2933333333333334,
      "grad_norm": 0.9169515371322632,
      "learning_rate": 5e-05,
      "loss": 0.0596,
      "step": 247
    },
    {
      "epoch": 3.3066666666666666,
      "grad_norm": 1.6358206272125244,
      "learning_rate": 5e-05,
      "loss": 0.1007,
      "step": 248
    },
    {
      "epoch": 3.32,
      "grad_norm": 1.2086595296859741,
      "learning_rate": 5e-05,
      "loss": 0.0631,
      "step": 249
    },
    {
      "epoch": 3.3333333333333335,
      "grad_norm": 1.0473216772079468,
      "learning_rate": 5e-05,
      "loss": 0.0531,
      "step": 250
    },
    {
      "epoch": 3.3466666666666667,
      "grad_norm": 2.359208583831787,
      "learning_rate": 5e-05,
      "loss": 0.1159,
      "step": 251
    },
    {
      "epoch": 3.36,
      "grad_norm": 1.5442492961883545,
      "learning_rate": 5e-05,
      "loss": 0.0744,
      "step": 252
    },
    {
      "epoch": 3.3733333333333335,
      "grad_norm": 1.229161024093628,
      "learning_rate": 5e-05,
      "loss": 0.0682,
      "step": 253
    },
    {
      "epoch": 3.3866666666666667,
      "grad_norm": 1.3509191274642944,
      "learning_rate": 5e-05,
      "loss": 0.0706,
      "step": 254
    },
    {
      "epoch": 3.4,
      "grad_norm": 1.6131092309951782,
      "learning_rate": 5e-05,
      "loss": 0.0673,
      "step": 255
    },
    {
      "epoch": 3.413333333333333,
      "grad_norm": 1.415147304534912,
      "learning_rate": 5e-05,
      "loss": 0.0699,
      "step": 256
    },
    {
      "epoch": 3.4266666666666667,
      "grad_norm": 0.9980612993240356,
      "learning_rate": 5e-05,
      "loss": 0.0601,
      "step": 257
    },
    {
      "epoch": 3.44,
      "grad_norm": 1.3480230569839478,
      "learning_rate": 5e-05,
      "loss": 0.0812,
      "step": 258
    },
    {
      "epoch": 3.453333333333333,
      "grad_norm": 1.0251033306121826,
      "learning_rate": 5e-05,
      "loss": 0.0643,
      "step": 259
    },
    {
      "epoch": 3.466666666666667,
      "grad_norm": 1.295918583869934,
      "learning_rate": 5e-05,
      "loss": 0.0941,
      "step": 260
    },
    {
      "epoch": 3.48,
      "grad_norm": 1.575547695159912,
      "learning_rate": 5e-05,
      "loss": 0.0844,
      "step": 261
    },
    {
      "epoch": 3.493333333333333,
      "grad_norm": 1.6229546070098877,
      "learning_rate": 5e-05,
      "loss": 0.0971,
      "step": 262
    },
    {
      "epoch": 3.506666666666667,
      "grad_norm": 1.547552466392517,
      "learning_rate": 5e-05,
      "loss": 0.088,
      "step": 263
    },
    {
      "epoch": 3.52,
      "grad_norm": 1.4063398838043213,
      "learning_rate": 5e-05,
      "loss": 0.109,
      "step": 264
    },
    {
      "epoch": 3.533333333333333,
      "grad_norm": 0.9496246576309204,
      "learning_rate": 5e-05,
      "loss": 0.0784,
      "step": 265
    },
    {
      "epoch": 3.546666666666667,
      "grad_norm": 0.8345260620117188,
      "learning_rate": 5e-05,
      "loss": 0.0682,
      "step": 266
    },
    {
      "epoch": 3.56,
      "grad_norm": 1.2048834562301636,
      "learning_rate": 5e-05,
      "loss": 0.0755,
      "step": 267
    },
    {
      "epoch": 3.5733333333333333,
      "grad_norm": 0.7368026971817017,
      "learning_rate": 5e-05,
      "loss": 0.0734,
      "step": 268
    },
    {
      "epoch": 3.586666666666667,
      "grad_norm": 0.6808459758758545,
      "learning_rate": 5e-05,
      "loss": 0.0593,
      "step": 269
    },
    {
      "epoch": 3.6,
      "grad_norm": 0.6896843314170837,
      "learning_rate": 5e-05,
      "loss": 0.0588,
      "step": 270
    },
    {
      "epoch": 3.6133333333333333,
      "grad_norm": 1.5875993967056274,
      "learning_rate": 5e-05,
      "loss": 0.0917,
      "step": 271
    },
    {
      "epoch": 3.626666666666667,
      "grad_norm": 0.9548890590667725,
      "learning_rate": 5e-05,
      "loss": 0.0898,
      "step": 272
    },
    {
      "epoch": 3.64,
      "grad_norm": 0.7727396488189697,
      "learning_rate": 5e-05,
      "loss": 0.0741,
      "step": 273
    },
    {
      "epoch": 3.6533333333333333,
      "grad_norm": 0.90712571144104,
      "learning_rate": 5e-05,
      "loss": 0.0764,
      "step": 274
    },
    {
      "epoch": 3.6666666666666665,
      "grad_norm": 0.9783328175544739,
      "learning_rate": 5e-05,
      "loss": 0.0641,
      "step": 275
    },
    {
      "epoch": 3.68,
      "grad_norm": 0.895087480545044,
      "learning_rate": 5e-05,
      "loss": 0.0644,
      "step": 276
    },
    {
      "epoch": 3.6933333333333334,
      "grad_norm": 0.8163763880729675,
      "learning_rate": 5e-05,
      "loss": 0.0802,
      "step": 277
    },
    {
      "epoch": 3.7066666666666666,
      "grad_norm": 1.066266417503357,
      "learning_rate": 5e-05,
      "loss": 0.0822,
      "step": 278
    },
    {
      "epoch": 3.7199999999999998,
      "grad_norm": 1.0824133157730103,
      "learning_rate": 5e-05,
      "loss": 0.0929,
      "step": 279
    },
    {
      "epoch": 3.7333333333333334,
      "grad_norm": 0.8664358258247375,
      "learning_rate": 5e-05,
      "loss": 0.0722,
      "step": 280
    },
    {
      "epoch": 3.7466666666666666,
      "grad_norm": 1.7096538543701172,
      "learning_rate": 5e-05,
      "loss": 0.1044,
      "step": 281
    },
    {
      "epoch": 3.76,
      "grad_norm": 0.6691399216651917,
      "learning_rate": 5e-05,
      "loss": 0.0514,
      "step": 282
    },
    {
      "epoch": 3.7733333333333334,
      "grad_norm": 1.4033738374710083,
      "learning_rate": 5e-05,
      "loss": 0.1175,
      "step": 283
    },
    {
      "epoch": 3.7866666666666666,
      "grad_norm": 1.3168761730194092,
      "learning_rate": 5e-05,
      "loss": 0.0889,
      "step": 284
    },
    {
      "epoch": 3.8,
      "grad_norm": 1.5293045043945312,
      "learning_rate": 5e-05,
      "loss": 0.0749,
      "step": 285
    },
    {
      "epoch": 3.8133333333333335,
      "grad_norm": 1.38128662109375,
      "learning_rate": 5e-05,
      "loss": 0.1143,
      "step": 286
    },
    {
      "epoch": 3.8266666666666667,
      "grad_norm": 0.9122106432914734,
      "learning_rate": 5e-05,
      "loss": 0.0703,
      "step": 287
    },
    {
      "epoch": 3.84,
      "grad_norm": 1.2739896774291992,
      "learning_rate": 5e-05,
      "loss": 0.0701,
      "step": 288
    },
    {
      "epoch": 3.8533333333333335,
      "grad_norm": 0.754926860332489,
      "learning_rate": 5e-05,
      "loss": 0.0774,
      "step": 289
    },
    {
      "epoch": 3.8666666666666667,
      "grad_norm": 1.5779297351837158,
      "learning_rate": 5e-05,
      "loss": 0.0766,
      "step": 290
    },
    {
      "epoch": 3.88,
      "grad_norm": 0.8817570805549622,
      "learning_rate": 5e-05,
      "loss": 0.0859,
      "step": 291
    },
    {
      "epoch": 3.8933333333333335,
      "grad_norm": 0.8899888396263123,
      "learning_rate": 5e-05,
      "loss": 0.0731,
      "step": 292
    },
    {
      "epoch": 3.9066666666666667,
      "grad_norm": 1.014600396156311,
      "learning_rate": 5e-05,
      "loss": 0.0772,
      "step": 293
    },
    {
      "epoch": 3.92,
      "grad_norm": 1.23408842086792,
      "learning_rate": 5e-05,
      "loss": 0.1002,
      "step": 294
    },
    {
      "epoch": 3.9333333333333336,
      "grad_norm": 1.1050355434417725,
      "learning_rate": 5e-05,
      "loss": 0.0776,
      "step": 295
    },
    {
      "epoch": 3.9466666666666668,
      "grad_norm": 0.7722406983375549,
      "learning_rate": 5e-05,
      "loss": 0.0684,
      "step": 296
    },
    {
      "epoch": 3.96,
      "grad_norm": 0.8776477575302124,
      "learning_rate": 5e-05,
      "loss": 0.0801,
      "step": 297
    },
    {
      "epoch": 3.9733333333333336,
      "grad_norm": 1.0422239303588867,
      "learning_rate": 5e-05,
      "loss": 0.0647,
      "step": 298
    },
    {
      "epoch": 3.986666666666667,
      "grad_norm": 0.9048238396644592,
      "learning_rate": 5e-05,
      "loss": 0.0654,
      "step": 299
    },
    {
      "epoch": 4.0,
      "grad_norm": 2.6658129692077637,
      "learning_rate": 5e-05,
      "loss": 0.0741,
      "step": 300
    },
    {
      "epoch": 4.013333333333334,
      "grad_norm": 0.7878364324569702,
      "learning_rate": 5e-05,
      "loss": 0.067,
      "step": 301
    },
    {
      "epoch": 4.026666666666666,
      "grad_norm": 1.0894700288772583,
      "learning_rate": 5e-05,
      "loss": 0.0901,
      "step": 302
    },
    {
      "epoch": 4.04,
      "grad_norm": 0.8642763495445251,
      "learning_rate": 5e-05,
      "loss": 0.0659,
      "step": 303
    },
    {
      "epoch": 4.053333333333334,
      "grad_norm": 1.5162020921707153,
      "learning_rate": 5e-05,
      "loss": 0.0802,
      "step": 304
    },
    {
      "epoch": 4.066666666666666,
      "grad_norm": 0.9625334143638611,
      "learning_rate": 5e-05,
      "loss": 0.0745,
      "step": 305
    },
    {
      "epoch": 4.08,
      "grad_norm": 1.0279940366744995,
      "learning_rate": 5e-05,
      "loss": 0.0587,
      "step": 306
    },
    {
      "epoch": 4.093333333333334,
      "grad_norm": 1.0988425016403198,
      "learning_rate": 5e-05,
      "loss": 0.0682,
      "step": 307
    },
    {
      "epoch": 4.1066666666666665,
      "grad_norm": 1.1598637104034424,
      "learning_rate": 5e-05,
      "loss": 0.0685,
      "step": 308
    },
    {
      "epoch": 4.12,
      "grad_norm": 1.4866868257522583,
      "learning_rate": 5e-05,
      "loss": 0.1064,
      "step": 309
    },
    {
      "epoch": 4.133333333333334,
      "grad_norm": 1.4502676725387573,
      "learning_rate": 5e-05,
      "loss": 0.0908,
      "step": 310
    },
    {
      "epoch": 4.1466666666666665,
      "grad_norm": 1.2312685251235962,
      "learning_rate": 5e-05,
      "loss": 0.0727,
      "step": 311
    },
    {
      "epoch": 4.16,
      "grad_norm": 1.4437962770462036,
      "learning_rate": 5e-05,
      "loss": 0.0815,
      "step": 312
    },
    {
      "epoch": 4.173333333333334,
      "grad_norm": 1.1021467447280884,
      "learning_rate": 5e-05,
      "loss": 0.0822,
      "step": 313
    },
    {
      "epoch": 4.1866666666666665,
      "grad_norm": 1.1597613096237183,
      "learning_rate": 5e-05,
      "loss": 0.0585,
      "step": 314
    },
    {
      "epoch": 4.2,
      "grad_norm": 1.0457009077072144,
      "learning_rate": 5e-05,
      "loss": 0.073,
      "step": 315
    },
    {
      "epoch": 4.213333333333333,
      "grad_norm": 1.631196141242981,
      "learning_rate": 5e-05,
      "loss": 0.0687,
      "step": 316
    },
    {
      "epoch": 4.226666666666667,
      "grad_norm": 1.9902803897857666,
      "learning_rate": 5e-05,
      "loss": 0.0774,
      "step": 317
    },
    {
      "epoch": 4.24,
      "grad_norm": 1.622710108757019,
      "learning_rate": 5e-05,
      "loss": 0.0647,
      "step": 318
    },
    {
      "epoch": 4.253333333333333,
      "grad_norm": 1.129908561706543,
      "learning_rate": 5e-05,
      "loss": 0.0858,
      "step": 319
    },
    {
      "epoch": 4.266666666666667,
      "grad_norm": 1.1765214204788208,
      "learning_rate": 5e-05,
      "loss": 0.0631,
      "step": 320
    },
    {
      "epoch": 4.28,
      "grad_norm": 1.056462287902832,
      "learning_rate": 5e-05,
      "loss": 0.0701,
      "step": 321
    },
    {
      "epoch": 4.293333333333333,
      "grad_norm": 1.0239253044128418,
      "learning_rate": 5e-05,
      "loss": 0.0775,
      "step": 322
    },
    {
      "epoch": 4.306666666666667,
      "grad_norm": 0.961539626121521,
      "learning_rate": 5e-05,
      "loss": 0.0569,
      "step": 323
    },
    {
      "epoch": 4.32,
      "grad_norm": 0.9583209753036499,
      "learning_rate": 5e-05,
      "loss": 0.062,
      "step": 324
    },
    {
      "epoch": 4.333333333333333,
      "grad_norm": 1.2238346338272095,
      "learning_rate": 5e-05,
      "loss": 0.0556,
      "step": 325
    },
    {
      "epoch": 4.346666666666667,
      "grad_norm": 1.3092149496078491,
      "learning_rate": 5e-05,
      "loss": 0.09,
      "step": 326
    },
    {
      "epoch": 4.36,
      "grad_norm": 0.9584442377090454,
      "learning_rate": 5e-05,
      "loss": 0.0682,
      "step": 327
    },
    {
      "epoch": 4.373333333333333,
      "grad_norm": 1.077234148979187,
      "learning_rate": 5e-05,
      "loss": 0.0735,
      "step": 328
    },
    {
      "epoch": 4.386666666666667,
      "grad_norm": 1.0986671447753906,
      "learning_rate": 5e-05,
      "loss": 0.0738,
      "step": 329
    },
    {
      "epoch": 4.4,
      "grad_norm": 1.317063570022583,
      "learning_rate": 5e-05,
      "loss": 0.081,
      "step": 330
    },
    {
      "epoch": 4.413333333333333,
      "grad_norm": 1.239463448524475,
      "learning_rate": 5e-05,
      "loss": 0.09,
      "step": 331
    },
    {
      "epoch": 4.426666666666667,
      "grad_norm": 1.038275957107544,
      "learning_rate": 5e-05,
      "loss": 0.0678,
      "step": 332
    },
    {
      "epoch": 4.44,
      "grad_norm": 1.6486817598342896,
      "learning_rate": 5e-05,
      "loss": 0.0634,
      "step": 333
    },
    {
      "epoch": 4.453333333333333,
      "grad_norm": 0.7881708145141602,
      "learning_rate": 5e-05,
      "loss": 0.0611,
      "step": 334
    },
    {
      "epoch": 4.466666666666667,
      "grad_norm": 0.8247883915901184,
      "learning_rate": 5e-05,
      "loss": 0.0611,
      "step": 335
    },
    {
      "epoch": 4.48,
      "grad_norm": 0.9982878565788269,
      "learning_rate": 5e-05,
      "loss": 0.0782,
      "step": 336
    },
    {
      "epoch": 4.493333333333333,
      "grad_norm": 1.2461893558502197,
      "learning_rate": 5e-05,
      "loss": 0.0598,
      "step": 337
    },
    {
      "epoch": 4.506666666666667,
      "grad_norm": 1.551218867301941,
      "learning_rate": 5e-05,
      "loss": 0.0713,
      "step": 338
    },
    {
      "epoch": 4.52,
      "grad_norm": 0.7570325136184692,
      "learning_rate": 5e-05,
      "loss": 0.0623,
      "step": 339
    },
    {
      "epoch": 4.533333333333333,
      "grad_norm": 0.73170006275177,
      "learning_rate": 5e-05,
      "loss": 0.0561,
      "step": 340
    },
    {
      "epoch": 4.546666666666667,
      "grad_norm": 1.237500548362732,
      "learning_rate": 5e-05,
      "loss": 0.0669,
      "step": 341
    },
    {
      "epoch": 4.5600000000000005,
      "grad_norm": 0.9667535424232483,
      "learning_rate": 5e-05,
      "loss": 0.0731,
      "step": 342
    },
    {
      "epoch": 4.573333333333333,
      "grad_norm": 1.4086544513702393,
      "learning_rate": 5e-05,
      "loss": 0.0818,
      "step": 343
    },
    {
      "epoch": 4.586666666666667,
      "grad_norm": 1.0048846006393433,
      "learning_rate": 5e-05,
      "loss": 0.0642,
      "step": 344
    },
    {
      "epoch": 4.6,
      "grad_norm": 0.8421762585639954,
      "learning_rate": 5e-05,
      "loss": 0.0635,
      "step": 345
    },
    {
      "epoch": 4.613333333333333,
      "grad_norm": 0.9210547804832458,
      "learning_rate": 5e-05,
      "loss": 0.0697,
      "step": 346
    },
    {
      "epoch": 4.626666666666667,
      "grad_norm": 1.4081106185913086,
      "learning_rate": 5e-05,
      "loss": 0.085,
      "step": 347
    },
    {
      "epoch": 4.64,
      "grad_norm": 1.5045615434646606,
      "learning_rate": 5e-05,
      "loss": 0.0914,
      "step": 348
    },
    {
      "epoch": 4.653333333333333,
      "grad_norm": 0.953515887260437,
      "learning_rate": 5e-05,
      "loss": 0.0626,
      "step": 349
    },
    {
      "epoch": 4.666666666666667,
      "grad_norm": 0.9587944746017456,
      "learning_rate": 5e-05,
      "loss": 0.071,
      "step": 350
    },
    {
      "epoch": 4.68,
      "grad_norm": 1.6769262552261353,
      "learning_rate": 5e-05,
      "loss": 0.0995,
      "step": 351
    },
    {
      "epoch": 4.693333333333333,
      "grad_norm": 1.01185941696167,
      "learning_rate": 5e-05,
      "loss": 0.0771,
      "step": 352
    },
    {
      "epoch": 4.706666666666667,
      "grad_norm": 0.7377867698669434,
      "learning_rate": 5e-05,
      "loss": 0.0593,
      "step": 353
    },
    {
      "epoch": 4.72,
      "grad_norm": 0.5780742764472961,
      "learning_rate": 5e-05,
      "loss": 0.0518,
      "step": 354
    },
    {
      "epoch": 4.733333333333333,
      "grad_norm": 1.0719112157821655,
      "learning_rate": 5e-05,
      "loss": 0.0672,
      "step": 355
    },
    {
      "epoch": 4.746666666666667,
      "grad_norm": 0.9339229464530945,
      "learning_rate": 5e-05,
      "loss": 0.0677,
      "step": 356
    },
    {
      "epoch": 4.76,
      "grad_norm": 0.8213583827018738,
      "learning_rate": 5e-05,
      "loss": 0.0576,
      "step": 357
    },
    {
      "epoch": 4.773333333333333,
      "grad_norm": 0.9759109020233154,
      "learning_rate": 5e-05,
      "loss": 0.0676,
      "step": 358
    },
    {
      "epoch": 4.786666666666667,
      "grad_norm": 1.3248724937438965,
      "learning_rate": 5e-05,
      "loss": 0.0593,
      "step": 359
    },
    {
      "epoch": 4.8,
      "grad_norm": 1.0840883255004883,
      "learning_rate": 5e-05,
      "loss": 0.0722,
      "step": 360
    },
    {
      "epoch": 4.8133333333333335,
      "grad_norm": 0.8773708939552307,
      "learning_rate": 5e-05,
      "loss": 0.0588,
      "step": 361
    },
    {
      "epoch": 4.826666666666666,
      "grad_norm": 0.8601547479629517,
      "learning_rate": 5e-05,
      "loss": 0.0632,
      "step": 362
    },
    {
      "epoch": 4.84,
      "grad_norm": 1.4541720151901245,
      "learning_rate": 5e-05,
      "loss": 0.0883,
      "step": 363
    },
    {
      "epoch": 4.8533333333333335,
      "grad_norm": 1.0706583261489868,
      "learning_rate": 5e-05,
      "loss": 0.0723,
      "step": 364
    },
    {
      "epoch": 4.866666666666667,
      "grad_norm": 1.2494127750396729,
      "learning_rate": 5e-05,
      "loss": 0.0803,
      "step": 365
    },
    {
      "epoch": 4.88,
      "grad_norm": 1.633622169494629,
      "learning_rate": 5e-05,
      "loss": 0.0901,
      "step": 366
    },
    {
      "epoch": 4.8933333333333335,
      "grad_norm": 0.9982932806015015,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 367
    },
    {
      "epoch": 4.906666666666666,
      "grad_norm": 0.9796539545059204,
      "learning_rate": 5e-05,
      "loss": 0.0643,
      "step": 368
    },
    {
      "epoch": 4.92,
      "grad_norm": 0.8773131370544434,
      "learning_rate": 5e-05,
      "loss": 0.0521,
      "step": 369
    },
    {
      "epoch": 4.933333333333334,
      "grad_norm": 1.2136778831481934,
      "learning_rate": 5e-05,
      "loss": 0.0918,
      "step": 370
    },
    {
      "epoch": 4.946666666666666,
      "grad_norm": 1.0860283374786377,
      "learning_rate": 5e-05,
      "loss": 0.0696,
      "step": 371
    },
    {
      "epoch": 4.96,
      "grad_norm": 0.6087421178817749,
      "learning_rate": 5e-05,
      "loss": 0.0626,
      "step": 372
    },
    {
      "epoch": 4.973333333333334,
      "grad_norm": 0.7740611433982849,
      "learning_rate": 5e-05,
      "loss": 0.0564,
      "step": 373
    },
    {
      "epoch": 4.986666666666666,
      "grad_norm": 1.6997560262680054,
      "learning_rate": 5e-05,
      "loss": 0.0819,
      "step": 374
    },
    {
      "epoch": 5.0,
      "grad_norm": 1.0256965160369873,
      "learning_rate": 5e-05,
      "loss": 0.0719,
      "step": 375
    },
    {
      "epoch": 5.013333333333334,
      "grad_norm": 1.0243124961853027,
      "learning_rate": 5e-05,
      "loss": 0.0591,
      "step": 376
    },
    {
      "epoch": 5.026666666666666,
      "grad_norm": 1.5032302141189575,
      "learning_rate": 5e-05,
      "loss": 0.09,
      "step": 377
    },
    {
      "epoch": 5.04,
      "grad_norm": 1.0040596723556519,
      "learning_rate": 5e-05,
      "loss": 0.0683,
      "step": 378
    },
    {
      "epoch": 5.053333333333334,
      "grad_norm": 0.7853786945343018,
      "learning_rate": 5e-05,
      "loss": 0.0499,
      "step": 379
    },
    {
      "epoch": 5.066666666666666,
      "grad_norm": 0.950198769569397,
      "learning_rate": 5e-05,
      "loss": 0.0524,
      "step": 380
    },
    {
      "epoch": 5.08,
      "grad_norm": 1.232823371887207,
      "learning_rate": 5e-05,
      "loss": 0.0684,
      "step": 381
    },
    {
      "epoch": 5.093333333333334,
      "grad_norm": 1.5279511213302612,
      "learning_rate": 5e-05,
      "loss": 0.0672,
      "step": 382
    },
    {
      "epoch": 5.1066666666666665,
      "grad_norm": 0.9933570623397827,
      "learning_rate": 5e-05,
      "loss": 0.0486,
      "step": 383
    },
    {
      "epoch": 5.12,
      "grad_norm": 1.1546218395233154,
      "learning_rate": 5e-05,
      "loss": 0.0558,
      "step": 384
    },
    {
      "epoch": 5.133333333333334,
      "grad_norm": 1.177202582359314,
      "learning_rate": 5e-05,
      "loss": 0.0526,
      "step": 385
    },
    {
      "epoch": 5.1466666666666665,
      "grad_norm": 1.5310049057006836,
      "learning_rate": 5e-05,
      "loss": 0.057,
      "step": 386
    },
    {
      "epoch": 5.16,
      "grad_norm": 1.6686135530471802,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 387
    },
    {
      "epoch": 5.173333333333334,
      "grad_norm": 0.9779473543167114,
      "learning_rate": 5e-05,
      "loss": 0.0476,
      "step": 388
    },
    {
      "epoch": 5.1866666666666665,
      "grad_norm": 1.3346878290176392,
      "learning_rate": 5e-05,
      "loss": 0.0617,
      "step": 389
    },
    {
      "epoch": 5.2,
      "grad_norm": 1.4960678815841675,
      "learning_rate": 5e-05,
      "loss": 0.0597,
      "step": 390
    },
    {
      "epoch": 5.213333333333333,
      "grad_norm": 1.3698673248291016,
      "learning_rate": 5e-05,
      "loss": 0.0584,
      "step": 391
    },
    {
      "epoch": 5.226666666666667,
      "grad_norm": 1.5784049034118652,
      "learning_rate": 5e-05,
      "loss": 0.0627,
      "step": 392
    },
    {
      "epoch": 5.24,
      "grad_norm": 1.5325424671173096,
      "learning_rate": 5e-05,
      "loss": 0.0629,
      "step": 393
    },
    {
      "epoch": 5.253333333333333,
      "grad_norm": 1.405439853668213,
      "learning_rate": 5e-05,
      "loss": 0.0667,
      "step": 394
    },
    {
      "epoch": 5.266666666666667,
      "grad_norm": 1.248327374458313,
      "learning_rate": 5e-05,
      "loss": 0.0556,
      "step": 395
    },
    {
      "epoch": 5.28,
      "grad_norm": 1.6313247680664062,
      "learning_rate": 5e-05,
      "loss": 0.0742,
      "step": 396
    },
    {
      "epoch": 5.293333333333333,
      "grad_norm": 1.700760006904602,
      "learning_rate": 5e-05,
      "loss": 0.0699,
      "step": 397
    },
    {
      "epoch": 5.306666666666667,
      "grad_norm": 1.6532881259918213,
      "learning_rate": 5e-05,
      "loss": 0.0691,
      "step": 398
    },
    {
      "epoch": 5.32,
      "grad_norm": 1.2671326398849487,
      "learning_rate": 5e-05,
      "loss": 0.0579,
      "step": 399
    },
    {
      "epoch": 5.333333333333333,
      "grad_norm": 1.3848904371261597,
      "learning_rate": 5e-05,
      "loss": 0.0554,
      "step": 400
    },
    {
      "epoch": 5.346666666666667,
      "grad_norm": 1.0157246589660645,
      "learning_rate": 5e-05,
      "loss": 0.0585,
      "step": 401
    },
    {
      "epoch": 5.36,
      "grad_norm": 1.2523956298828125,
      "learning_rate": 5e-05,
      "loss": 0.0577,
      "step": 402
    },
    {
      "epoch": 5.373333333333333,
      "grad_norm": 1.171950101852417,
      "learning_rate": 5e-05,
      "loss": 0.0733,
      "step": 403
    },
    {
      "epoch": 5.386666666666667,
      "grad_norm": 0.8564261198043823,
      "learning_rate": 5e-05,
      "loss": 0.0536,
      "step": 404
    },
    {
      "epoch": 5.4,
      "grad_norm": 2.011744737625122,
      "learning_rate": 5e-05,
      "loss": 0.0769,
      "step": 405
    },
    {
      "epoch": 5.413333333333333,
      "grad_norm": 1.0304845571517944,
      "learning_rate": 5e-05,
      "loss": 0.0575,
      "step": 406
    },
    {
      "epoch": 5.426666666666667,
      "grad_norm": 0.9607263207435608,
      "learning_rate": 5e-05,
      "loss": 0.0588,
      "step": 407
    },
    {
      "epoch": 5.44,
      "grad_norm": 1.1527327299118042,
      "learning_rate": 5e-05,
      "loss": 0.0612,
      "step": 408
    },
    {
      "epoch": 5.453333333333333,
      "grad_norm": 1.2200384140014648,
      "learning_rate": 5e-05,
      "loss": 0.068,
      "step": 409
    },
    {
      "epoch": 5.466666666666667,
      "grad_norm": 0.7762887477874756,
      "learning_rate": 5e-05,
      "loss": 0.0493,
      "step": 410
    },
    {
      "epoch": 5.48,
      "grad_norm": 1.4998360872268677,
      "learning_rate": 5e-05,
      "loss": 0.0806,
      "step": 411
    },
    {
      "epoch": 5.493333333333333,
      "grad_norm": 0.8294333815574646,
      "learning_rate": 5e-05,
      "loss": 0.0573,
      "step": 412
    },
    {
      "epoch": 5.506666666666667,
      "grad_norm": 0.8120402097702026,
      "learning_rate": 5e-05,
      "loss": 0.041,
      "step": 413
    },
    {
      "epoch": 5.52,
      "grad_norm": 1.2440226078033447,
      "learning_rate": 5e-05,
      "loss": 0.0742,
      "step": 414
    },
    {
      "epoch": 5.533333333333333,
      "grad_norm": 1.418455719947815,
      "learning_rate": 5e-05,
      "loss": 0.069,
      "step": 415
    },
    {
      "epoch": 5.546666666666667,
      "grad_norm": 1.595211386680603,
      "learning_rate": 5e-05,
      "loss": 0.0575,
      "step": 416
    },
    {
      "epoch": 5.5600000000000005,
      "grad_norm": 1.4687731266021729,
      "learning_rate": 5e-05,
      "loss": 0.0865,
      "step": 417
    },
    {
      "epoch": 5.573333333333333,
      "grad_norm": 1.1765944957733154,
      "learning_rate": 5e-05,
      "loss": 0.0573,
      "step": 418
    },
    {
      "epoch": 5.586666666666667,
      "grad_norm": 1.109541654586792,
      "learning_rate": 5e-05,
      "loss": 0.0623,
      "step": 419
    },
    {
      "epoch": 5.6,
      "grad_norm": 1.082016944885254,
      "learning_rate": 5e-05,
      "loss": 0.0629,
      "step": 420
    },
    {
      "epoch": 5.613333333333333,
      "grad_norm": 1.5395517349243164,
      "learning_rate": 5e-05,
      "loss": 0.0661,
      "step": 421
    },
    {
      "epoch": 5.626666666666667,
      "grad_norm": 0.9944804310798645,
      "learning_rate": 5e-05,
      "loss": 0.0516,
      "step": 422
    },
    {
      "epoch": 5.64,
      "grad_norm": 1.0724358558654785,
      "learning_rate": 5e-05,
      "loss": 0.0599,
      "step": 423
    },
    {
      "epoch": 5.653333333333333,
      "grad_norm": 1.1002970933914185,
      "learning_rate": 5e-05,
      "loss": 0.0607,
      "step": 424
    },
    {
      "epoch": 5.666666666666667,
      "grad_norm": 1.0657470226287842,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 425
    },
    {
      "epoch": 5.68,
      "grad_norm": 1.090976595878601,
      "learning_rate": 5e-05,
      "loss": 0.0638,
      "step": 426
    },
    {
      "epoch": 5.693333333333333,
      "grad_norm": 0.8777350783348083,
      "learning_rate": 5e-05,
      "loss": 0.0497,
      "step": 427
    },
    {
      "epoch": 5.706666666666667,
      "grad_norm": 1.4749083518981934,
      "learning_rate": 5e-05,
      "loss": 0.0499,
      "step": 428
    },
    {
      "epoch": 5.72,
      "grad_norm": 1.0157713890075684,
      "learning_rate": 5e-05,
      "loss": 0.0583,
      "step": 429
    },
    {
      "epoch": 5.733333333333333,
      "grad_norm": 0.9775939583778381,
      "learning_rate": 5e-05,
      "loss": 0.0597,
      "step": 430
    },
    {
      "epoch": 5.746666666666667,
      "grad_norm": 3.3955671787261963,
      "learning_rate": 5e-05,
      "loss": 0.0776,
      "step": 431
    },
    {
      "epoch": 5.76,
      "grad_norm": 1.0326505899429321,
      "learning_rate": 5e-05,
      "loss": 0.0556,
      "step": 432
    },
    {
      "epoch": 5.773333333333333,
      "grad_norm": 1.6700921058654785,
      "learning_rate": 5e-05,
      "loss": 0.0803,
      "step": 433
    },
    {
      "epoch": 5.786666666666667,
      "grad_norm": 1.1420685052871704,
      "learning_rate": 5e-05,
      "loss": 0.0842,
      "step": 434
    },
    {
      "epoch": 5.8,
      "grad_norm": 1.7350431680679321,
      "learning_rate": 5e-05,
      "loss": 0.0911,
      "step": 435
    },
    {
      "epoch": 5.8133333333333335,
      "grad_norm": 1.1788735389709473,
      "learning_rate": 5e-05,
      "loss": 0.0693,
      "step": 436
    },
    {
      "epoch": 5.826666666666666,
      "grad_norm": 1.304215908050537,
      "learning_rate": 5e-05,
      "loss": 0.076,
      "step": 437
    },
    {
      "epoch": 5.84,
      "grad_norm": 1.191362738609314,
      "learning_rate": 5e-05,
      "loss": 0.0623,
      "step": 438
    },
    {
      "epoch": 5.8533333333333335,
      "grad_norm": 0.9551642537117004,
      "learning_rate": 5e-05,
      "loss": 0.0646,
      "step": 439
    },
    {
      "epoch": 5.866666666666667,
      "grad_norm": 0.8555372357368469,
      "learning_rate": 5e-05,
      "loss": 0.0559,
      "step": 440
    },
    {
      "epoch": 5.88,
      "grad_norm": 0.9719071984291077,
      "learning_rate": 5e-05,
      "loss": 0.0773,
      "step": 441
    },
    {
      "epoch": 5.8933333333333335,
      "grad_norm": 0.6611596941947937,
      "learning_rate": 5e-05,
      "loss": 0.048,
      "step": 442
    },
    {
      "epoch": 5.906666666666666,
      "grad_norm": 0.7107468247413635,
      "learning_rate": 5e-05,
      "loss": 0.052,
      "step": 443
    },
    {
      "epoch": 5.92,
      "grad_norm": 0.61954265832901,
      "learning_rate": 5e-05,
      "loss": 0.0531,
      "step": 444
    },
    {
      "epoch": 5.933333333333334,
      "grad_norm": 1.576166033744812,
      "learning_rate": 5e-05,
      "loss": 0.081,
      "step": 445
    },
    {
      "epoch": 5.946666666666666,
      "grad_norm": 1.0616414546966553,
      "learning_rate": 5e-05,
      "loss": 0.0716,
      "step": 446
    },
    {
      "epoch": 5.96,
      "grad_norm": 1.302692174911499,
      "learning_rate": 5e-05,
      "loss": 0.0616,
      "step": 447
    },
    {
      "epoch": 5.973333333333334,
      "grad_norm": 1.099412441253662,
      "learning_rate": 5e-05,
      "loss": 0.0626,
      "step": 448
    },
    {
      "epoch": 5.986666666666666,
      "grad_norm": 1.1012039184570312,
      "learning_rate": 5e-05,
      "loss": 0.0722,
      "step": 449
    },
    {
      "epoch": 6.0,
      "grad_norm": 1.4718997478485107,
      "learning_rate": 5e-05,
      "loss": 0.0789,
      "step": 450
    },
    {
      "epoch": 6.013333333333334,
      "grad_norm": 1.0217639207839966,
      "learning_rate": 5e-05,
      "loss": 0.0565,
      "step": 451
    },
    {
      "epoch": 6.026666666666666,
      "grad_norm": 1.613083839416504,
      "learning_rate": 5e-05,
      "loss": 0.0594,
      "step": 452
    },
    {
      "epoch": 6.04,
      "grad_norm": 0.7209377884864807,
      "learning_rate": 5e-05,
      "loss": 0.0473,
      "step": 453
    },
    {
      "epoch": 6.053333333333334,
      "grad_norm": 1.9596658945083618,
      "learning_rate": 5e-05,
      "loss": 0.0704,
      "step": 454
    },
    {
      "epoch": 6.066666666666666,
      "grad_norm": 0.971053957939148,
      "learning_rate": 5e-05,
      "loss": 0.0538,
      "step": 455
    },
    {
      "epoch": 6.08,
      "grad_norm": 1.1891517639160156,
      "learning_rate": 5e-05,
      "loss": 0.0542,
      "step": 456
    },
    {
      "epoch": 6.093333333333334,
      "grad_norm": 0.8653203845024109,
      "learning_rate": 5e-05,
      "loss": 0.0452,
      "step": 457
    },
    {
      "epoch": 6.1066666666666665,
      "grad_norm": 1.399405837059021,
      "learning_rate": 5e-05,
      "loss": 0.0589,
      "step": 458
    },
    {
      "epoch": 6.12,
      "grad_norm": 1.6532820463180542,
      "learning_rate": 5e-05,
      "loss": 0.0793,
      "step": 459
    },
    {
      "epoch": 6.133333333333334,
      "grad_norm": 1.131476640701294,
      "learning_rate": 5e-05,
      "loss": 0.053,
      "step": 460
    },
    {
      "epoch": 6.1466666666666665,
      "grad_norm": 1.258745551109314,
      "learning_rate": 5e-05,
      "loss": 0.0514,
      "step": 461
    },
    {
      "epoch": 6.16,
      "grad_norm": 1.3994406461715698,
      "learning_rate": 5e-05,
      "loss": 0.0401,
      "step": 462
    },
    {
      "epoch": 6.173333333333334,
      "grad_norm": 1.3040175437927246,
      "learning_rate": 5e-05,
      "loss": 0.0395,
      "step": 463
    },
    {
      "epoch": 6.1866666666666665,
      "grad_norm": 1.415630578994751,
      "learning_rate": 5e-05,
      "loss": 0.0513,
      "step": 464
    },
    {
      "epoch": 6.2,
      "grad_norm": 1.324337363243103,
      "learning_rate": 5e-05,
      "loss": 0.0404,
      "step": 465
    },
    {
      "epoch": 6.213333333333333,
      "grad_norm": 1.5093024969100952,
      "learning_rate": 5e-05,
      "loss": 0.0545,
      "step": 466
    },
    {
      "epoch": 6.226666666666667,
      "grad_norm": 1.7280172109603882,
      "learning_rate": 5e-05,
      "loss": 0.0622,
      "step": 467
    },
    {
      "epoch": 6.24,
      "grad_norm": 1.5170258283615112,
      "learning_rate": 5e-05,
      "loss": 0.0576,
      "step": 468
    },
    {
      "epoch": 6.253333333333333,
      "grad_norm": 1.324419379234314,
      "learning_rate": 5e-05,
      "loss": 0.0423,
      "step": 469
    },
    {
      "epoch": 6.266666666666667,
      "grad_norm": 1.303835153579712,
      "learning_rate": 5e-05,
      "loss": 0.0426,
      "step": 470
    },
    {
      "epoch": 6.28,
      "grad_norm": 1.7440383434295654,
      "learning_rate": 5e-05,
      "loss": 0.0567,
      "step": 471
    },
    {
      "epoch": 6.293333333333333,
      "grad_norm": 1.3748260736465454,
      "learning_rate": 5e-05,
      "loss": 0.0568,
      "step": 472
    },
    {
      "epoch": 6.306666666666667,
      "grad_norm": 1.0190541744232178,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 473
    },
    {
      "epoch": 6.32,
      "grad_norm": 0.9129578471183777,
      "learning_rate": 5e-05,
      "loss": 0.0437,
      "step": 474
    },
    {
      "epoch": 6.333333333333333,
      "grad_norm": 2.0954878330230713,
      "learning_rate": 5e-05,
      "loss": 0.0781,
      "step": 475
    },
    {
      "epoch": 6.346666666666667,
      "grad_norm": 1.2659275531768799,
      "learning_rate": 5e-05,
      "loss": 0.0654,
      "step": 476
    },
    {
      "epoch": 6.36,
      "grad_norm": 1.2998321056365967,
      "learning_rate": 5e-05,
      "loss": 0.055,
      "step": 477
    },
    {
      "epoch": 6.373333333333333,
      "grad_norm": 1.7237697839736938,
      "learning_rate": 5e-05,
      "loss": 0.0688,
      "step": 478
    },
    {
      "epoch": 6.386666666666667,
      "grad_norm": 0.7258663773536682,
      "learning_rate": 5e-05,
      "loss": 0.047,
      "step": 479
    },
    {
      "epoch": 6.4,
      "grad_norm": 0.9855083227157593,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 480
    },
    {
      "epoch": 6.413333333333333,
      "grad_norm": 1.4718514680862427,
      "learning_rate": 5e-05,
      "loss": 0.0617,
      "step": 481
    },
    {
      "epoch": 6.426666666666667,
      "grad_norm": 0.803354024887085,
      "learning_rate": 5e-05,
      "loss": 0.0567,
      "step": 482
    },
    {
      "epoch": 6.44,
      "grad_norm": 0.810654878616333,
      "learning_rate": 5e-05,
      "loss": 0.0534,
      "step": 483
    },
    {
      "epoch": 6.453333333333333,
      "grad_norm": 0.892612099647522,
      "learning_rate": 5e-05,
      "loss": 0.053,
      "step": 484
    },
    {
      "epoch": 6.466666666666667,
      "grad_norm": 0.7175348997116089,
      "learning_rate": 5e-05,
      "loss": 0.0412,
      "step": 485
    },
    {
      "epoch": 6.48,
      "grad_norm": 1.078782558441162,
      "learning_rate": 5e-05,
      "loss": 0.0532,
      "step": 486
    },
    {
      "epoch": 6.493333333333333,
      "grad_norm": 1.1960670948028564,
      "learning_rate": 5e-05,
      "loss": 0.0714,
      "step": 487
    },
    {
      "epoch": 6.506666666666667,
      "grad_norm": 1.0024322271347046,
      "learning_rate": 5e-05,
      "loss": 0.0476,
      "step": 488
    },
    {
      "epoch": 6.52,
      "grad_norm": 0.8957560062408447,
      "learning_rate": 5e-05,
      "loss": 0.0467,
      "step": 489
    },
    {
      "epoch": 6.533333333333333,
      "grad_norm": 1.1140891313552856,
      "learning_rate": 5e-05,
      "loss": 0.0511,
      "step": 490
    },
    {
      "epoch": 6.546666666666667,
      "grad_norm": 1.0888797044754028,
      "learning_rate": 5e-05,
      "loss": 0.0641,
      "step": 491
    },
    {
      "epoch": 6.5600000000000005,
      "grad_norm": 1.365333080291748,
      "learning_rate": 5e-05,
      "loss": 0.0692,
      "step": 492
    },
    {
      "epoch": 6.573333333333333,
      "grad_norm": 0.8508499264717102,
      "learning_rate": 5e-05,
      "loss": 0.0518,
      "step": 493
    },
    {
      "epoch": 6.586666666666667,
      "grad_norm": 0.7934689521789551,
      "learning_rate": 5e-05,
      "loss": 0.0464,
      "step": 494
    },
    {
      "epoch": 6.6,
      "grad_norm": 0.9589546918869019,
      "learning_rate": 5e-05,
      "loss": 0.0574,
      "step": 495
    },
    {
      "epoch": 6.613333333333333,
      "grad_norm": 0.9297116994857788,
      "learning_rate": 5e-05,
      "loss": 0.051,
      "step": 496
    },
    {
      "epoch": 6.626666666666667,
      "grad_norm": 1.0672516822814941,
      "learning_rate": 5e-05,
      "loss": 0.051,
      "step": 497
    },
    {
      "epoch": 6.64,
      "grad_norm": 0.9773082137107849,
      "learning_rate": 5e-05,
      "loss": 0.0654,
      "step": 498
    },
    {
      "epoch": 6.653333333333333,
      "grad_norm": 1.5004117488861084,
      "learning_rate": 5e-05,
      "loss": 0.069,
      "step": 499
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 1.289797306060791,
      "learning_rate": 5e-05,
      "loss": 0.0558,
      "step": 500
    },
    {
      "epoch": 6.68,
      "grad_norm": 2.2481026649475098,
      "learning_rate": 5e-05,
      "loss": 0.0715,
      "step": 501
    },
    {
      "epoch": 6.693333333333333,
      "grad_norm": 1.4283967018127441,
      "learning_rate": 5e-05,
      "loss": 0.0503,
      "step": 502
    },
    {
      "epoch": 6.706666666666667,
      "grad_norm": 0.9912819266319275,
      "learning_rate": 5e-05,
      "loss": 0.0526,
      "step": 503
    },
    {
      "epoch": 6.72,
      "grad_norm": 1.2265005111694336,
      "learning_rate": 5e-05,
      "loss": 0.0649,
      "step": 504
    },
    {
      "epoch": 6.733333333333333,
      "grad_norm": 0.9620277285575867,
      "learning_rate": 5e-05,
      "loss": 0.0512,
      "step": 505
    },
    {
      "epoch": 6.746666666666667,
      "grad_norm": 0.9941208958625793,
      "learning_rate": 5e-05,
      "loss": 0.0466,
      "step": 506
    },
    {
      "epoch": 6.76,
      "grad_norm": 1.4527933597564697,
      "learning_rate": 5e-05,
      "loss": 0.0526,
      "step": 507
    },
    {
      "epoch": 6.773333333333333,
      "grad_norm": 1.411002278327942,
      "learning_rate": 5e-05,
      "loss": 0.0589,
      "step": 508
    },
    {
      "epoch": 6.786666666666667,
      "grad_norm": 1.3351002931594849,
      "learning_rate": 5e-05,
      "loss": 0.0586,
      "step": 509
    },
    {
      "epoch": 6.8,
      "grad_norm": 1.0967837572097778,
      "learning_rate": 5e-05,
      "loss": 0.0557,
      "step": 510
    },
    {
      "epoch": 6.8133333333333335,
      "grad_norm": 1.0451891422271729,
      "learning_rate": 5e-05,
      "loss": 0.0467,
      "step": 511
    },
    {
      "epoch": 6.826666666666666,
      "grad_norm": 1.3360421657562256,
      "learning_rate": 5e-05,
      "loss": 0.062,
      "step": 512
    },
    {
      "epoch": 6.84,
      "grad_norm": 1.5721075534820557,
      "learning_rate": 5e-05,
      "loss": 0.0656,
      "step": 513
    },
    {
      "epoch": 6.8533333333333335,
      "grad_norm": 1.1552765369415283,
      "learning_rate": 5e-05,
      "loss": 0.0459,
      "step": 514
    },
    {
      "epoch": 6.866666666666667,
      "grad_norm": 1.4677001237869263,
      "learning_rate": 5e-05,
      "loss": 0.0761,
      "step": 515
    },
    {
      "epoch": 6.88,
      "grad_norm": 1.3247274160385132,
      "learning_rate": 5e-05,
      "loss": 0.0594,
      "step": 516
    },
    {
      "epoch": 6.8933333333333335,
      "grad_norm": 2.1522600650787354,
      "learning_rate": 5e-05,
      "loss": 0.0726,
      "step": 517
    },
    {
      "epoch": 6.906666666666666,
      "grad_norm": 1.029257893562317,
      "learning_rate": 5e-05,
      "loss": 0.0559,
      "step": 518
    },
    {
      "epoch": 6.92,
      "grad_norm": 1.2731562852859497,
      "learning_rate": 5e-05,
      "loss": 0.0572,
      "step": 519
    },
    {
      "epoch": 6.933333333333334,
      "grad_norm": 1.3810217380523682,
      "learning_rate": 5e-05,
      "loss": 0.07,
      "step": 520
    },
    {
      "epoch": 6.946666666666666,
      "grad_norm": 0.8485857248306274,
      "learning_rate": 5e-05,
      "loss": 0.0478,
      "step": 521
    },
    {
      "epoch": 6.96,
      "grad_norm": 1.5569225549697876,
      "learning_rate": 5e-05,
      "loss": 0.0626,
      "step": 522
    },
    {
      "epoch": 6.973333333333334,
      "grad_norm": 1.1375991106033325,
      "learning_rate": 5e-05,
      "loss": 0.0557,
      "step": 523
    },
    {
      "epoch": 6.986666666666666,
      "grad_norm": 1.3687587976455688,
      "learning_rate": 5e-05,
      "loss": 0.0574,
      "step": 524
    },
    {
      "epoch": 7.0,
      "grad_norm": 2.054133653640747,
      "learning_rate": 5e-05,
      "loss": 0.0639,
      "step": 525
    },
    {
      "epoch": 7.013333333333334,
      "grad_norm": 1.0407342910766602,
      "learning_rate": 5e-05,
      "loss": 0.0518,
      "step": 526
    },
    {
      "epoch": 7.026666666666666,
      "grad_norm": 1.0455068349838257,
      "learning_rate": 5e-05,
      "loss": 0.0418,
      "step": 527
    },
    {
      "epoch": 7.04,
      "grad_norm": 0.8502786755561829,
      "learning_rate": 5e-05,
      "loss": 0.0451,
      "step": 528
    },
    {
      "epoch": 7.053333333333334,
      "grad_norm": 2.6262502670288086,
      "learning_rate": 5e-05,
      "loss": 0.0579,
      "step": 529
    },
    {
      "epoch": 7.066666666666666,
      "grad_norm": 0.9454079866409302,
      "learning_rate": 5e-05,
      "loss": 0.0475,
      "step": 530
    },
    {
      "epoch": 7.08,
      "grad_norm": 1.1589428186416626,
      "learning_rate": 5e-05,
      "loss": 0.0474,
      "step": 531
    },
    {
      "epoch": 7.093333333333334,
      "grad_norm": 1.5449025630950928,
      "learning_rate": 5e-05,
      "loss": 0.0503,
      "step": 532
    },
    {
      "epoch": 7.1066666666666665,
      "grad_norm": 1.2829995155334473,
      "learning_rate": 5e-05,
      "loss": 0.0548,
      "step": 533
    },
    {
      "epoch": 7.12,
      "grad_norm": 1.6964457035064697,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 534
    },
    {
      "epoch": 7.133333333333334,
      "grad_norm": 2.629882574081421,
      "learning_rate": 5e-05,
      "loss": 0.0444,
      "step": 535
    },
    {
      "epoch": 7.1466666666666665,
      "grad_norm": 1.2674510478973389,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 536
    },
    {
      "epoch": 7.16,
      "grad_norm": 1.6054942607879639,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 537
    },
    {
      "epoch": 7.173333333333334,
      "grad_norm": 1.1595137119293213,
      "learning_rate": 5e-05,
      "loss": 0.04,
      "step": 538
    },
    {
      "epoch": 7.1866666666666665,
      "grad_norm": 1.2160688638687134,
      "learning_rate": 5e-05,
      "loss": 0.0418,
      "step": 539
    },
    {
      "epoch": 7.2,
      "grad_norm": 1.9602324962615967,
      "learning_rate": 5e-05,
      "loss": 0.0434,
      "step": 540
    },
    {
      "epoch": 7.213333333333333,
      "grad_norm": 1.4317046403884888,
      "learning_rate": 5e-05,
      "loss": 0.047,
      "step": 541
    },
    {
      "epoch": 7.226666666666667,
      "grad_norm": 1.8992221355438232,
      "learning_rate": 5e-05,
      "loss": 0.0504,
      "step": 542
    },
    {
      "epoch": 7.24,
      "grad_norm": 1.6640657186508179,
      "learning_rate": 5e-05,
      "loss": 0.049,
      "step": 543
    },
    {
      "epoch": 7.253333333333333,
      "grad_norm": 0.9131702780723572,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 544
    },
    {
      "epoch": 7.266666666666667,
      "grad_norm": 2.1855552196502686,
      "learning_rate": 5e-05,
      "loss": 0.0469,
      "step": 545
    },
    {
      "epoch": 7.28,
      "grad_norm": 1.4030245542526245,
      "learning_rate": 5e-05,
      "loss": 0.059,
      "step": 546
    },
    {
      "epoch": 7.293333333333333,
      "grad_norm": 1.061953067779541,
      "learning_rate": 5e-05,
      "loss": 0.0458,
      "step": 547
    },
    {
      "epoch": 7.306666666666667,
      "grad_norm": 1.5969107151031494,
      "learning_rate": 5e-05,
      "loss": 0.0417,
      "step": 548
    },
    {
      "epoch": 7.32,
      "grad_norm": 1.0035121440887451,
      "learning_rate": 5e-05,
      "loss": 0.04,
      "step": 549
    },
    {
      "epoch": 7.333333333333333,
      "grad_norm": 1.216305136680603,
      "learning_rate": 5e-05,
      "loss": 0.0422,
      "step": 550
    },
    {
      "epoch": 7.346666666666667,
      "grad_norm": 0.8648256063461304,
      "learning_rate": 5e-05,
      "loss": 0.0324,
      "step": 551
    },
    {
      "epoch": 7.36,
      "grad_norm": 0.8865857720375061,
      "learning_rate": 5e-05,
      "loss": 0.0328,
      "step": 552
    },
    {
      "epoch": 7.373333333333333,
      "grad_norm": 1.3210102319717407,
      "learning_rate": 5e-05,
      "loss": 0.056,
      "step": 553
    },
    {
      "epoch": 7.386666666666667,
      "grad_norm": 0.8562206029891968,
      "learning_rate": 5e-05,
      "loss": 0.0293,
      "step": 554
    },
    {
      "epoch": 7.4,
      "grad_norm": 2.4590530395507812,
      "learning_rate": 5e-05,
      "loss": 0.0647,
      "step": 555
    },
    {
      "epoch": 7.413333333333333,
      "grad_norm": 1.5032495260238647,
      "learning_rate": 5e-05,
      "loss": 0.0467,
      "step": 556
    },
    {
      "epoch": 7.426666666666667,
      "grad_norm": 1.5638597011566162,
      "learning_rate": 5e-05,
      "loss": 0.0656,
      "step": 557
    },
    {
      "epoch": 7.44,
      "grad_norm": 1.0094841718673706,
      "learning_rate": 5e-05,
      "loss": 0.0403,
      "step": 558
    },
    {
      "epoch": 7.453333333333333,
      "grad_norm": 0.9497914910316467,
      "learning_rate": 5e-05,
      "loss": 0.0467,
      "step": 559
    },
    {
      "epoch": 7.466666666666667,
      "grad_norm": 1.6951850652694702,
      "learning_rate": 5e-05,
      "loss": 0.0606,
      "step": 560
    },
    {
      "epoch": 7.48,
      "grad_norm": 1.9824796915054321,
      "learning_rate": 5e-05,
      "loss": 0.0644,
      "step": 561
    },
    {
      "epoch": 7.493333333333333,
      "grad_norm": 1.1584749221801758,
      "learning_rate": 5e-05,
      "loss": 0.0461,
      "step": 562
    },
    {
      "epoch": 7.506666666666667,
      "grad_norm": 1.2745342254638672,
      "learning_rate": 5e-05,
      "loss": 0.0565,
      "step": 563
    },
    {
      "epoch": 7.52,
      "grad_norm": 1.076324701309204,
      "learning_rate": 5e-05,
      "loss": 0.0458,
      "step": 564
    },
    {
      "epoch": 7.533333333333333,
      "grad_norm": 1.0505785942077637,
      "learning_rate": 5e-05,
      "loss": 0.0544,
      "step": 565
    },
    {
      "epoch": 7.546666666666667,
      "grad_norm": 1.017244577407837,
      "learning_rate": 5e-05,
      "loss": 0.0486,
      "step": 566
    },
    {
      "epoch": 7.5600000000000005,
      "grad_norm": 1.1373136043548584,
      "learning_rate": 5e-05,
      "loss": 0.0521,
      "step": 567
    },
    {
      "epoch": 7.573333333333333,
      "grad_norm": 0.9907152056694031,
      "learning_rate": 5e-05,
      "loss": 0.0514,
      "step": 568
    },
    {
      "epoch": 7.586666666666667,
      "grad_norm": 1.655730128288269,
      "learning_rate": 5e-05,
      "loss": 0.0624,
      "step": 569
    },
    {
      "epoch": 7.6,
      "grad_norm": 0.8373252749443054,
      "learning_rate": 5e-05,
      "loss": 0.0433,
      "step": 570
    },
    {
      "epoch": 7.613333333333333,
      "grad_norm": 1.0944359302520752,
      "learning_rate": 5e-05,
      "loss": 0.055,
      "step": 571
    },
    {
      "epoch": 7.626666666666667,
      "grad_norm": 1.226988434791565,
      "learning_rate": 5e-05,
      "loss": 0.0563,
      "step": 572
    },
    {
      "epoch": 7.64,
      "grad_norm": 0.8687776327133179,
      "learning_rate": 5e-05,
      "loss": 0.0445,
      "step": 573
    },
    {
      "epoch": 7.653333333333333,
      "grad_norm": 0.8939914703369141,
      "learning_rate": 5e-05,
      "loss": 0.0424,
      "step": 574
    },
    {
      "epoch": 7.666666666666667,
      "grad_norm": 1.0357240438461304,
      "learning_rate": 5e-05,
      "loss": 0.052,
      "step": 575
    },
    {
      "epoch": 7.68,
      "grad_norm": 1.9919503927230835,
      "learning_rate": 5e-05,
      "loss": 0.0519,
      "step": 576
    },
    {
      "epoch": 7.693333333333333,
      "grad_norm": 1.1115856170654297,
      "learning_rate": 5e-05,
      "loss": 0.063,
      "step": 577
    },
    {
      "epoch": 7.706666666666667,
      "grad_norm": 0.9789990186691284,
      "learning_rate": 5e-05,
      "loss": 0.0494,
      "step": 578
    },
    {
      "epoch": 7.72,
      "grad_norm": 1.2293906211853027,
      "learning_rate": 5e-05,
      "loss": 0.0556,
      "step": 579
    },
    {
      "epoch": 7.733333333333333,
      "grad_norm": 1.7060704231262207,
      "learning_rate": 5e-05,
      "loss": 0.0733,
      "step": 580
    },
    {
      "epoch": 7.746666666666667,
      "grad_norm": 1.2547416687011719,
      "learning_rate": 5e-05,
      "loss": 0.0621,
      "step": 581
    },
    {
      "epoch": 7.76,
      "grad_norm": 1.7389625310897827,
      "learning_rate": 5e-05,
      "loss": 0.053,
      "step": 582
    },
    {
      "epoch": 7.773333333333333,
      "grad_norm": 1.0396045446395874,
      "learning_rate": 5e-05,
      "loss": 0.0427,
      "step": 583
    },
    {
      "epoch": 7.786666666666667,
      "grad_norm": 1.1003419160842896,
      "learning_rate": 5e-05,
      "loss": 0.05,
      "step": 584
    },
    {
      "epoch": 7.8,
      "grad_norm": 1.2689223289489746,
      "learning_rate": 5e-05,
      "loss": 0.0627,
      "step": 585
    },
    {
      "epoch": 7.8133333333333335,
      "grad_norm": 1.394692301750183,
      "learning_rate": 5e-05,
      "loss": 0.0434,
      "step": 586
    },
    {
      "epoch": 7.826666666666666,
      "grad_norm": 0.9998233914375305,
      "learning_rate": 5e-05,
      "loss": 0.0427,
      "step": 587
    },
    {
      "epoch": 7.84,
      "grad_norm": 1.7495684623718262,
      "learning_rate": 5e-05,
      "loss": 0.0627,
      "step": 588
    },
    {
      "epoch": 7.8533333333333335,
      "grad_norm": 0.8880852460861206,
      "learning_rate": 5e-05,
      "loss": 0.0422,
      "step": 589
    },
    {
      "epoch": 7.866666666666667,
      "grad_norm": 1.302067756652832,
      "learning_rate": 5e-05,
      "loss": 0.0526,
      "step": 590
    },
    {
      "epoch": 7.88,
      "grad_norm": 1.0547324419021606,
      "learning_rate": 5e-05,
      "loss": 0.0506,
      "step": 591
    },
    {
      "epoch": 7.8933333333333335,
      "grad_norm": 1.3135712146759033,
      "learning_rate": 5e-05,
      "loss": 0.0548,
      "step": 592
    },
    {
      "epoch": 7.906666666666666,
      "grad_norm": 0.9748501777648926,
      "learning_rate": 5e-05,
      "loss": 0.0489,
      "step": 593
    },
    {
      "epoch": 7.92,
      "grad_norm": 1.7298859357833862,
      "learning_rate": 5e-05,
      "loss": 0.0685,
      "step": 594
    },
    {
      "epoch": 7.933333333333334,
      "grad_norm": 1.6584692001342773,
      "learning_rate": 5e-05,
      "loss": 0.0534,
      "step": 595
    },
    {
      "epoch": 7.946666666666666,
      "grad_norm": 1.4009019136428833,
      "learning_rate": 5e-05,
      "loss": 0.0613,
      "step": 596
    },
    {
      "epoch": 7.96,
      "grad_norm": 0.9039485454559326,
      "learning_rate": 5e-05,
      "loss": 0.045,
      "step": 597
    },
    {
      "epoch": 7.973333333333334,
      "grad_norm": 0.853873610496521,
      "learning_rate": 5e-05,
      "loss": 0.0399,
      "step": 598
    },
    {
      "epoch": 7.986666666666666,
      "grad_norm": 1.104542851448059,
      "learning_rate": 5e-05,
      "loss": 0.0653,
      "step": 599
    },
    {
      "epoch": 8.0,
      "grad_norm": 2.0021727085113525,
      "learning_rate": 5e-05,
      "loss": 0.0533,
      "step": 600
    },
    {
      "epoch": 8.013333333333334,
      "grad_norm": 1.0587313175201416,
      "learning_rate": 5e-05,
      "loss": 0.0352,
      "step": 601
    },
    {
      "epoch": 8.026666666666667,
      "grad_norm": 0.802966833114624,
      "learning_rate": 5e-05,
      "loss": 0.0428,
      "step": 602
    },
    {
      "epoch": 8.04,
      "grad_norm": 0.7360743284225464,
      "learning_rate": 5e-05,
      "loss": 0.0361,
      "step": 603
    },
    {
      "epoch": 8.053333333333333,
      "grad_norm": 0.6840856075286865,
      "learning_rate": 5e-05,
      "loss": 0.0371,
      "step": 604
    },
    {
      "epoch": 8.066666666666666,
      "grad_norm": 0.816645622253418,
      "learning_rate": 5e-05,
      "loss": 0.038,
      "step": 605
    },
    {
      "epoch": 8.08,
      "grad_norm": 0.9588437080383301,
      "learning_rate": 5e-05,
      "loss": 0.0382,
      "step": 606
    },
    {
      "epoch": 8.093333333333334,
      "grad_norm": 1.0003236532211304,
      "learning_rate": 5e-05,
      "loss": 0.0376,
      "step": 607
    },
    {
      "epoch": 8.106666666666667,
      "grad_norm": 0.9829567670822144,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 608
    },
    {
      "epoch": 8.12,
      "grad_norm": 1.6854138374328613,
      "learning_rate": 5e-05,
      "loss": 0.0427,
      "step": 609
    },
    {
      "epoch": 8.133333333333333,
      "grad_norm": 1.7506402730941772,
      "learning_rate": 5e-05,
      "loss": 0.052,
      "step": 610
    },
    {
      "epoch": 8.146666666666667,
      "grad_norm": 1.188307285308838,
      "learning_rate": 5e-05,
      "loss": 0.0397,
      "step": 611
    },
    {
      "epoch": 8.16,
      "grad_norm": 2.81479811668396,
      "learning_rate": 5e-05,
      "loss": 0.049,
      "step": 612
    },
    {
      "epoch": 8.173333333333334,
      "grad_norm": 0.8068000078201294,
      "learning_rate": 5e-05,
      "loss": 0.0255,
      "step": 613
    },
    {
      "epoch": 8.186666666666667,
      "grad_norm": 1.5958725214004517,
      "learning_rate": 5e-05,
      "loss": 0.0412,
      "step": 614
    },
    {
      "epoch": 8.2,
      "grad_norm": 1.3436477184295654,
      "learning_rate": 5e-05,
      "loss": 0.0375,
      "step": 615
    },
    {
      "epoch": 8.213333333333333,
      "grad_norm": 1.660119652748108,
      "learning_rate": 5e-05,
      "loss": 0.0549,
      "step": 616
    },
    {
      "epoch": 8.226666666666667,
      "grad_norm": 1.4564934968948364,
      "learning_rate": 5e-05,
      "loss": 0.0397,
      "step": 617
    },
    {
      "epoch": 8.24,
      "grad_norm": 2.108125925064087,
      "learning_rate": 5e-05,
      "loss": 0.0494,
      "step": 618
    },
    {
      "epoch": 8.253333333333334,
      "grad_norm": 1.2054657936096191,
      "learning_rate": 5e-05,
      "loss": 0.0307,
      "step": 619
    },
    {
      "epoch": 8.266666666666667,
      "grad_norm": 1.5119507312774658,
      "learning_rate": 5e-05,
      "loss": 0.0479,
      "step": 620
    },
    {
      "epoch": 8.28,
      "grad_norm": 1.0795197486877441,
      "learning_rate": 5e-05,
      "loss": 0.0356,
      "step": 621
    },
    {
      "epoch": 8.293333333333333,
      "grad_norm": 1.5843720436096191,
      "learning_rate": 5e-05,
      "loss": 0.039,
      "step": 622
    },
    {
      "epoch": 8.306666666666667,
      "grad_norm": 0.8438041806221008,
      "learning_rate": 5e-05,
      "loss": 0.0317,
      "step": 623
    },
    {
      "epoch": 8.32,
      "grad_norm": 1.1930145025253296,
      "learning_rate": 5e-05,
      "loss": 0.051,
      "step": 624
    },
    {
      "epoch": 8.333333333333334,
      "grad_norm": 1.1333829164505005,
      "learning_rate": 5e-05,
      "loss": 0.039,
      "step": 625
    },
    {
      "epoch": 8.346666666666668,
      "grad_norm": 1.230132818222046,
      "learning_rate": 5e-05,
      "loss": 0.0465,
      "step": 626
    },
    {
      "epoch": 8.36,
      "grad_norm": 1.018532395362854,
      "learning_rate": 5e-05,
      "loss": 0.044,
      "step": 627
    },
    {
      "epoch": 8.373333333333333,
      "grad_norm": 1.904288411140442,
      "learning_rate": 5e-05,
      "loss": 0.051,
      "step": 628
    },
    {
      "epoch": 8.386666666666667,
      "grad_norm": 1.2218379974365234,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 629
    },
    {
      "epoch": 8.4,
      "grad_norm": 1.0348984003067017,
      "learning_rate": 5e-05,
      "loss": 0.045,
      "step": 630
    },
    {
      "epoch": 8.413333333333334,
      "grad_norm": 0.6080915927886963,
      "learning_rate": 5e-05,
      "loss": 0.0311,
      "step": 631
    },
    {
      "epoch": 8.426666666666666,
      "grad_norm": 0.8198778629302979,
      "learning_rate": 5e-05,
      "loss": 0.0355,
      "step": 632
    },
    {
      "epoch": 8.44,
      "grad_norm": 1.1395273208618164,
      "learning_rate": 5e-05,
      "loss": 0.0401,
      "step": 633
    },
    {
      "epoch": 8.453333333333333,
      "grad_norm": 0.821709394454956,
      "learning_rate": 5e-05,
      "loss": 0.0381,
      "step": 634
    },
    {
      "epoch": 8.466666666666667,
      "grad_norm": 1.2524646520614624,
      "learning_rate": 5e-05,
      "loss": 0.0454,
      "step": 635
    },
    {
      "epoch": 8.48,
      "grad_norm": 1.4171884059906006,
      "learning_rate": 5e-05,
      "loss": 0.0485,
      "step": 636
    },
    {
      "epoch": 8.493333333333334,
      "grad_norm": 0.8319035172462463,
      "learning_rate": 5e-05,
      "loss": 0.0434,
      "step": 637
    },
    {
      "epoch": 8.506666666666666,
      "grad_norm": 1.010322093963623,
      "learning_rate": 5e-05,
      "loss": 0.0543,
      "step": 638
    },
    {
      "epoch": 8.52,
      "grad_norm": 1.1872830390930176,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 639
    },
    {
      "epoch": 8.533333333333333,
      "grad_norm": 1.6248561143875122,
      "learning_rate": 5e-05,
      "loss": 0.0464,
      "step": 640
    },
    {
      "epoch": 8.546666666666667,
      "grad_norm": 1.7318243980407715,
      "learning_rate": 5e-05,
      "loss": 0.0481,
      "step": 641
    },
    {
      "epoch": 8.56,
      "grad_norm": 1.6822166442871094,
      "learning_rate": 5e-05,
      "loss": 0.051,
      "step": 642
    },
    {
      "epoch": 8.573333333333334,
      "grad_norm": 0.8274394869804382,
      "learning_rate": 5e-05,
      "loss": 0.038,
      "step": 643
    },
    {
      "epoch": 8.586666666666666,
      "grad_norm": 0.7382844090461731,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 644
    },
    {
      "epoch": 8.6,
      "grad_norm": 0.8841344118118286,
      "learning_rate": 5e-05,
      "loss": 0.041,
      "step": 645
    },
    {
      "epoch": 8.613333333333333,
      "grad_norm": 0.901658833026886,
      "learning_rate": 5e-05,
      "loss": 0.035,
      "step": 646
    },
    {
      "epoch": 8.626666666666667,
      "grad_norm": 1.0373544692993164,
      "learning_rate": 5e-05,
      "loss": 0.0415,
      "step": 647
    },
    {
      "epoch": 8.64,
      "grad_norm": 1.3505029678344727,
      "learning_rate": 5e-05,
      "loss": 0.043,
      "step": 648
    },
    {
      "epoch": 8.653333333333332,
      "grad_norm": 0.9371490478515625,
      "learning_rate": 5e-05,
      "loss": 0.0422,
      "step": 649
    },
    {
      "epoch": 8.666666666666666,
      "grad_norm": 1.7042102813720703,
      "learning_rate": 5e-05,
      "loss": 0.0553,
      "step": 650
    },
    {
      "epoch": 8.68,
      "grad_norm": 1.4378559589385986,
      "learning_rate": 5e-05,
      "loss": 0.0457,
      "step": 651
    },
    {
      "epoch": 8.693333333333333,
      "grad_norm": 1.231943130493164,
      "learning_rate": 5e-05,
      "loss": 0.0441,
      "step": 652
    },
    {
      "epoch": 8.706666666666667,
      "grad_norm": 2.577775478363037,
      "learning_rate": 5e-05,
      "loss": 0.0516,
      "step": 653
    },
    {
      "epoch": 8.72,
      "grad_norm": 0.9263588190078735,
      "learning_rate": 5e-05,
      "loss": 0.0423,
      "step": 654
    },
    {
      "epoch": 8.733333333333333,
      "grad_norm": 0.8365538716316223,
      "learning_rate": 5e-05,
      "loss": 0.0437,
      "step": 655
    },
    {
      "epoch": 8.746666666666666,
      "grad_norm": 1.0142228603363037,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 656
    },
    {
      "epoch": 8.76,
      "grad_norm": 1.2413673400878906,
      "learning_rate": 5e-05,
      "loss": 0.0466,
      "step": 657
    },
    {
      "epoch": 8.773333333333333,
      "grad_norm": 1.2871476411819458,
      "learning_rate": 5e-05,
      "loss": 0.0521,
      "step": 658
    },
    {
      "epoch": 8.786666666666667,
      "grad_norm": 0.7555338144302368,
      "learning_rate": 5e-05,
      "loss": 0.0356,
      "step": 659
    },
    {
      "epoch": 8.8,
      "grad_norm": 2.2080538272857666,
      "learning_rate": 5e-05,
      "loss": 0.0544,
      "step": 660
    },
    {
      "epoch": 8.813333333333333,
      "grad_norm": 1.6713569164276123,
      "learning_rate": 5e-05,
      "loss": 0.0619,
      "step": 661
    },
    {
      "epoch": 8.826666666666666,
      "grad_norm": 1.6983699798583984,
      "learning_rate": 5e-05,
      "loss": 0.0498,
      "step": 662
    },
    {
      "epoch": 8.84,
      "grad_norm": 1.2764942646026611,
      "learning_rate": 5e-05,
      "loss": 0.0475,
      "step": 663
    },
    {
      "epoch": 8.853333333333333,
      "grad_norm": 1.4663830995559692,
      "learning_rate": 5e-05,
      "loss": 0.0488,
      "step": 664
    },
    {
      "epoch": 8.866666666666667,
      "grad_norm": 2.4731719493865967,
      "learning_rate": 5e-05,
      "loss": 0.0511,
      "step": 665
    },
    {
      "epoch": 8.88,
      "grad_norm": 1.446028709411621,
      "learning_rate": 5e-05,
      "loss": 0.0434,
      "step": 666
    },
    {
      "epoch": 8.893333333333333,
      "grad_norm": 1.6038364171981812,
      "learning_rate": 5e-05,
      "loss": 0.0545,
      "step": 667
    },
    {
      "epoch": 8.906666666666666,
      "grad_norm": 1.1709717512130737,
      "learning_rate": 5e-05,
      "loss": 0.05,
      "step": 668
    },
    {
      "epoch": 8.92,
      "grad_norm": 1.3158012628555298,
      "learning_rate": 5e-05,
      "loss": 0.0505,
      "step": 669
    },
    {
      "epoch": 8.933333333333334,
      "grad_norm": 1.7765659093856812,
      "learning_rate": 5e-05,
      "loss": 0.0541,
      "step": 670
    },
    {
      "epoch": 8.946666666666667,
      "grad_norm": 1.273442029953003,
      "learning_rate": 5e-05,
      "loss": 0.0509,
      "step": 671
    },
    {
      "epoch": 8.96,
      "grad_norm": 1.9431357383728027,
      "learning_rate": 5e-05,
      "loss": 0.064,
      "step": 672
    },
    {
      "epoch": 8.973333333333333,
      "grad_norm": 1.590578317642212,
      "learning_rate": 5e-05,
      "loss": 0.0631,
      "step": 673
    },
    {
      "epoch": 8.986666666666666,
      "grad_norm": 1.11795973777771,
      "learning_rate": 5e-05,
      "loss": 0.0491,
      "step": 674
    },
    {
      "epoch": 9.0,
      "grad_norm": 0.8391268253326416,
      "learning_rate": 5e-05,
      "loss": 0.045,
      "step": 675
    },
    {
      "epoch": 9.013333333333334,
      "grad_norm": 0.8175935745239258,
      "learning_rate": 5e-05,
      "loss": 0.0371,
      "step": 676
    },
    {
      "epoch": 9.026666666666667,
      "grad_norm": 0.6099808216094971,
      "learning_rate": 5e-05,
      "loss": 0.0268,
      "step": 677
    },
    {
      "epoch": 9.04,
      "grad_norm": 0.6322200894355774,
      "learning_rate": 5e-05,
      "loss": 0.0319,
      "step": 678
    },
    {
      "epoch": 9.053333333333333,
      "grad_norm": 0.99205482006073,
      "learning_rate": 5e-05,
      "loss": 0.0371,
      "step": 679
    },
    {
      "epoch": 9.066666666666666,
      "grad_norm": 1.208396553993225,
      "learning_rate": 5e-05,
      "loss": 0.0385,
      "step": 680
    },
    {
      "epoch": 9.08,
      "grad_norm": 1.2589207887649536,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 681
    },
    {
      "epoch": 9.093333333333334,
      "grad_norm": 0.6628096699714661,
      "learning_rate": 5e-05,
      "loss": 0.034,
      "step": 682
    },
    {
      "epoch": 9.106666666666667,
      "grad_norm": 0.8464210033416748,
      "learning_rate": 5e-05,
      "loss": 0.0275,
      "step": 683
    },
    {
      "epoch": 9.12,
      "grad_norm": 1.2981994152069092,
      "learning_rate": 5e-05,
      "loss": 0.0497,
      "step": 684
    },
    {
      "epoch": 9.133333333333333,
      "grad_norm": 0.9209049344062805,
      "learning_rate": 5e-05,
      "loss": 0.0336,
      "step": 685
    },
    {
      "epoch": 9.146666666666667,
      "grad_norm": 0.9378163814544678,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 686
    },
    {
      "epoch": 9.16,
      "grad_norm": 1.3610944747924805,
      "learning_rate": 5e-05,
      "loss": 0.0387,
      "step": 687
    },
    {
      "epoch": 9.173333333333334,
      "grad_norm": 1.7976020574569702,
      "learning_rate": 5e-05,
      "loss": 0.0466,
      "step": 688
    },
    {
      "epoch": 9.186666666666667,
      "grad_norm": 1.372673749923706,
      "learning_rate": 5e-05,
      "loss": 0.0372,
      "step": 689
    },
    {
      "epoch": 9.2,
      "grad_norm": 2.6209444999694824,
      "learning_rate": 5e-05,
      "loss": 0.0443,
      "step": 690
    },
    {
      "epoch": 9.213333333333333,
      "grad_norm": 1.6725502014160156,
      "learning_rate": 5e-05,
      "loss": 0.0401,
      "step": 691
    },
    {
      "epoch": 9.226666666666667,
      "grad_norm": 1.2352527379989624,
      "learning_rate": 5e-05,
      "loss": 0.0481,
      "step": 692
    },
    {
      "epoch": 9.24,
      "grad_norm": 1.388350486755371,
      "learning_rate": 5e-05,
      "loss": 0.0452,
      "step": 693
    },
    {
      "epoch": 9.253333333333334,
      "grad_norm": 1.8130228519439697,
      "learning_rate": 5e-05,
      "loss": 0.0386,
      "step": 694
    },
    {
      "epoch": 9.266666666666667,
      "grad_norm": 0.8246960639953613,
      "learning_rate": 5e-05,
      "loss": 0.0325,
      "step": 695
    },
    {
      "epoch": 9.28,
      "grad_norm": 1.4479858875274658,
      "learning_rate": 5e-05,
      "loss": 0.037,
      "step": 696
    },
    {
      "epoch": 9.293333333333333,
      "grad_norm": 1.7649052143096924,
      "learning_rate": 5e-05,
      "loss": 0.0492,
      "step": 697
    },
    {
      "epoch": 9.306666666666667,
      "grad_norm": 0.8499141335487366,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 698
    },
    {
      "epoch": 9.32,
      "grad_norm": 2.205155849456787,
      "learning_rate": 5e-05,
      "loss": 0.0413,
      "step": 699
    },
    {
      "epoch": 9.333333333333334,
      "grad_norm": 1.1221588850021362,
      "learning_rate": 5e-05,
      "loss": 0.037,
      "step": 700
    },
    {
      "epoch": 9.346666666666668,
      "grad_norm": 1.399914264678955,
      "learning_rate": 5e-05,
      "loss": 0.0514,
      "step": 701
    },
    {
      "epoch": 9.36,
      "grad_norm": 0.699018120765686,
      "learning_rate": 5e-05,
      "loss": 0.0324,
      "step": 702
    },
    {
      "epoch": 9.373333333333333,
      "grad_norm": 1.208932876586914,
      "learning_rate": 5e-05,
      "loss": 0.0379,
      "step": 703
    },
    {
      "epoch": 9.386666666666667,
      "grad_norm": 1.1772291660308838,
      "learning_rate": 5e-05,
      "loss": 0.0426,
      "step": 704
    },
    {
      "epoch": 9.4,
      "grad_norm": 0.7636887431144714,
      "learning_rate": 5e-05,
      "loss": 0.0341,
      "step": 705
    },
    {
      "epoch": 9.413333333333334,
      "grad_norm": 1.1736172437667847,
      "learning_rate": 5e-05,
      "loss": 0.0409,
      "step": 706
    },
    {
      "epoch": 9.426666666666666,
      "grad_norm": 1.4921902418136597,
      "learning_rate": 5e-05,
      "loss": 0.0429,
      "step": 707
    },
    {
      "epoch": 9.44,
      "grad_norm": 1.6868597269058228,
      "learning_rate": 5e-05,
      "loss": 0.0409,
      "step": 708
    },
    {
      "epoch": 9.453333333333333,
      "grad_norm": 1.2842533588409424,
      "learning_rate": 5e-05,
      "loss": 0.0462,
      "step": 709
    },
    {
      "epoch": 9.466666666666667,
      "grad_norm": 1.4506003856658936,
      "learning_rate": 5e-05,
      "loss": 0.0483,
      "step": 710
    },
    {
      "epoch": 9.48,
      "grad_norm": 1.0544785261154175,
      "learning_rate": 5e-05,
      "loss": 0.0256,
      "step": 711
    },
    {
      "epoch": 9.493333333333334,
      "grad_norm": 1.3705189228057861,
      "learning_rate": 5e-05,
      "loss": 0.047,
      "step": 712
    },
    {
      "epoch": 9.506666666666666,
      "grad_norm": 1.403200387954712,
      "learning_rate": 5e-05,
      "loss": 0.0343,
      "step": 713
    },
    {
      "epoch": 9.52,
      "grad_norm": 0.885320782661438,
      "learning_rate": 5e-05,
      "loss": 0.0391,
      "step": 714
    },
    {
      "epoch": 9.533333333333333,
      "grad_norm": 2.5795865058898926,
      "learning_rate": 5e-05,
      "loss": 0.0564,
      "step": 715
    },
    {
      "epoch": 9.546666666666667,
      "grad_norm": 0.8708263635635376,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 716
    },
    {
      "epoch": 9.56,
      "grad_norm": 0.8441603183746338,
      "learning_rate": 5e-05,
      "loss": 0.0391,
      "step": 717
    },
    {
      "epoch": 9.573333333333334,
      "grad_norm": 1.169707179069519,
      "learning_rate": 5e-05,
      "loss": 0.0381,
      "step": 718
    },
    {
      "epoch": 9.586666666666666,
      "grad_norm": 1.284806251525879,
      "learning_rate": 5e-05,
      "loss": 0.0376,
      "step": 719
    },
    {
      "epoch": 9.6,
      "grad_norm": 0.9960992336273193,
      "learning_rate": 5e-05,
      "loss": 0.0428,
      "step": 720
    },
    {
      "epoch": 9.613333333333333,
      "grad_norm": 0.996209442615509,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 721
    },
    {
      "epoch": 9.626666666666667,
      "grad_norm": 1.164789080619812,
      "learning_rate": 5e-05,
      "loss": 0.0478,
      "step": 722
    },
    {
      "epoch": 9.64,
      "grad_norm": 1.140083909034729,
      "learning_rate": 5e-05,
      "loss": 0.0426,
      "step": 723
    },
    {
      "epoch": 9.653333333333332,
      "grad_norm": 0.7685004472732544,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 724
    },
    {
      "epoch": 9.666666666666666,
      "grad_norm": 0.8255116939544678,
      "learning_rate": 5e-05,
      "loss": 0.0344,
      "step": 725
    },
    {
      "epoch": 9.68,
      "grad_norm": 0.6775627136230469,
      "learning_rate": 5e-05,
      "loss": 0.0336,
      "step": 726
    },
    {
      "epoch": 9.693333333333333,
      "grad_norm": 0.7755810618400574,
      "learning_rate": 5e-05,
      "loss": 0.032,
      "step": 727
    },
    {
      "epoch": 9.706666666666667,
      "grad_norm": 0.9233232736587524,
      "learning_rate": 5e-05,
      "loss": 0.0457,
      "step": 728
    },
    {
      "epoch": 9.72,
      "grad_norm": 0.949068009853363,
      "learning_rate": 5e-05,
      "loss": 0.0428,
      "step": 729
    },
    {
      "epoch": 9.733333333333333,
      "grad_norm": 1.1197245121002197,
      "learning_rate": 5e-05,
      "loss": 0.0444,
      "step": 730
    },
    {
      "epoch": 9.746666666666666,
      "grad_norm": 3.9869585037231445,
      "learning_rate": 5e-05,
      "loss": 0.053,
      "step": 731
    },
    {
      "epoch": 9.76,
      "grad_norm": 0.7694447636604309,
      "learning_rate": 5e-05,
      "loss": 0.034,
      "step": 732
    },
    {
      "epoch": 9.773333333333333,
      "grad_norm": 1.7880678176879883,
      "learning_rate": 5e-05,
      "loss": 0.0476,
      "step": 733
    },
    {
      "epoch": 9.786666666666667,
      "grad_norm": 0.9607177972793579,
      "learning_rate": 5e-05,
      "loss": 0.0411,
      "step": 734
    },
    {
      "epoch": 9.8,
      "grad_norm": 1.008922815322876,
      "learning_rate": 5e-05,
      "loss": 0.0407,
      "step": 735
    },
    {
      "epoch": 9.813333333333333,
      "grad_norm": 1.0466609001159668,
      "learning_rate": 5e-05,
      "loss": 0.0466,
      "step": 736
    },
    {
      "epoch": 9.826666666666666,
      "grad_norm": 1.152834415435791,
      "learning_rate": 5e-05,
      "loss": 0.0436,
      "step": 737
    },
    {
      "epoch": 9.84,
      "grad_norm": 1.9646413326263428,
      "learning_rate": 5e-05,
      "loss": 0.0638,
      "step": 738
    },
    {
      "epoch": 9.853333333333333,
      "grad_norm": 0.993999719619751,
      "learning_rate": 5e-05,
      "loss": 0.0333,
      "step": 739
    },
    {
      "epoch": 9.866666666666667,
      "grad_norm": 1.06688392162323,
      "learning_rate": 5e-05,
      "loss": 0.0446,
      "step": 740
    },
    {
      "epoch": 9.88,
      "grad_norm": 1.1333763599395752,
      "learning_rate": 5e-05,
      "loss": 0.0497,
      "step": 741
    },
    {
      "epoch": 9.893333333333333,
      "grad_norm": 1.3647485971450806,
      "learning_rate": 5e-05,
      "loss": 0.0533,
      "step": 742
    },
    {
      "epoch": 9.906666666666666,
      "grad_norm": 0.8672668933868408,
      "learning_rate": 5e-05,
      "loss": 0.0352,
      "step": 743
    },
    {
      "epoch": 9.92,
      "grad_norm": 0.7442356944084167,
      "learning_rate": 5e-05,
      "loss": 0.0349,
      "step": 744
    },
    {
      "epoch": 9.933333333333334,
      "grad_norm": 0.7881815433502197,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 745
    },
    {
      "epoch": 9.946666666666667,
      "grad_norm": 1.0688014030456543,
      "learning_rate": 5e-05,
      "loss": 0.0391,
      "step": 746
    },
    {
      "epoch": 9.96,
      "grad_norm": 0.9770925045013428,
      "learning_rate": 5e-05,
      "loss": 0.0419,
      "step": 747
    },
    {
      "epoch": 9.973333333333333,
      "grad_norm": 1.3078304529190063,
      "learning_rate": 5e-05,
      "loss": 0.0453,
      "step": 748
    },
    {
      "epoch": 9.986666666666666,
      "grad_norm": 1.0031726360321045,
      "learning_rate": 5e-05,
      "loss": 0.0394,
      "step": 749
    },
    {
      "epoch": 10.0,
      "grad_norm": 1.0168079137802124,
      "learning_rate": 5e-05,
      "loss": 0.0351,
      "step": 750
    },
    {
      "epoch": 10.013333333333334,
      "grad_norm": 0.5644466280937195,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 751
    },
    {
      "epoch": 10.026666666666667,
      "grad_norm": 0.6269052028656006,
      "learning_rate": 5e-05,
      "loss": 0.029,
      "step": 752
    },
    {
      "epoch": 10.04,
      "grad_norm": 0.6387448906898499,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 753
    },
    {
      "epoch": 10.053333333333333,
      "grad_norm": 1.4315568208694458,
      "learning_rate": 5e-05,
      "loss": 0.0321,
      "step": 754
    },
    {
      "epoch": 10.066666666666666,
      "grad_norm": 1.430770993232727,
      "learning_rate": 5e-05,
      "loss": 0.046,
      "step": 755
    },
    {
      "epoch": 10.08,
      "grad_norm": 1.2366561889648438,
      "learning_rate": 5e-05,
      "loss": 0.0419,
      "step": 756
    },
    {
      "epoch": 10.093333333333334,
      "grad_norm": 0.9581563472747803,
      "learning_rate": 5e-05,
      "loss": 0.0411,
      "step": 757
    },
    {
      "epoch": 10.106666666666667,
      "grad_norm": 1.2746508121490479,
      "learning_rate": 5e-05,
      "loss": 0.025,
      "step": 758
    },
    {
      "epoch": 10.12,
      "grad_norm": 0.9860959649085999,
      "learning_rate": 5e-05,
      "loss": 0.0291,
      "step": 759
    },
    {
      "epoch": 10.133333333333333,
      "grad_norm": 0.785024881362915,
      "learning_rate": 5e-05,
      "loss": 0.0302,
      "step": 760
    },
    {
      "epoch": 10.146666666666667,
      "grad_norm": 1.4881447553634644,
      "learning_rate": 5e-05,
      "loss": 0.0462,
      "step": 761
    },
    {
      "epoch": 10.16,
      "grad_norm": 2.706404209136963,
      "learning_rate": 5e-05,
      "loss": 0.054,
      "step": 762
    },
    {
      "epoch": 10.173333333333334,
      "grad_norm": 1.0470061302185059,
      "learning_rate": 5e-05,
      "loss": 0.038,
      "step": 763
    },
    {
      "epoch": 10.186666666666667,
      "grad_norm": 0.9317217469215393,
      "learning_rate": 5e-05,
      "loss": 0.0369,
      "step": 764
    },
    {
      "epoch": 10.2,
      "grad_norm": 1.5287067890167236,
      "learning_rate": 5e-05,
      "loss": 0.0433,
      "step": 765
    },
    {
      "epoch": 10.213333333333333,
      "grad_norm": 1.2003182172775269,
      "learning_rate": 5e-05,
      "loss": 0.0414,
      "step": 766
    },
    {
      "epoch": 10.226666666666667,
      "grad_norm": 1.3359534740447998,
      "learning_rate": 5e-05,
      "loss": 0.0426,
      "step": 767
    },
    {
      "epoch": 10.24,
      "grad_norm": 1.602890133857727,
      "learning_rate": 5e-05,
      "loss": 0.0447,
      "step": 768
    },
    {
      "epoch": 10.253333333333334,
      "grad_norm": 1.0910112857818604,
      "learning_rate": 5e-05,
      "loss": 0.0251,
      "step": 769
    },
    {
      "epoch": 10.266666666666667,
      "grad_norm": 0.8337787389755249,
      "learning_rate": 5e-05,
      "loss": 0.0299,
      "step": 770
    },
    {
      "epoch": 10.28,
      "grad_norm": 2.190037488937378,
      "learning_rate": 5e-05,
      "loss": 0.0306,
      "step": 771
    },
    {
      "epoch": 10.293333333333333,
      "grad_norm": 0.7720882892608643,
      "learning_rate": 5e-05,
      "loss": 0.032,
      "step": 772
    },
    {
      "epoch": 10.306666666666667,
      "grad_norm": 1.0164427757263184,
      "learning_rate": 5e-05,
      "loss": 0.0228,
      "step": 773
    },
    {
      "epoch": 10.32,
      "grad_norm": 1.5815037488937378,
      "learning_rate": 5e-05,
      "loss": 0.0238,
      "step": 774
    },
    {
      "epoch": 10.333333333333334,
      "grad_norm": 1.1797502040863037,
      "learning_rate": 5e-05,
      "loss": 0.0377,
      "step": 775
    },
    {
      "epoch": 10.346666666666668,
      "grad_norm": 0.9859685301780701,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 776
    },
    {
      "epoch": 10.36,
      "grad_norm": 0.7318446636199951,
      "learning_rate": 5e-05,
      "loss": 0.0307,
      "step": 777
    },
    {
      "epoch": 10.373333333333333,
      "grad_norm": 1.390822410583496,
      "learning_rate": 5e-05,
      "loss": 0.0373,
      "step": 778
    },
    {
      "epoch": 10.386666666666667,
      "grad_norm": 1.013755440711975,
      "learning_rate": 5e-05,
      "loss": 0.0319,
      "step": 779
    },
    {
      "epoch": 10.4,
      "grad_norm": 1.1672403812408447,
      "learning_rate": 5e-05,
      "loss": 0.0342,
      "step": 780
    },
    {
      "epoch": 10.413333333333334,
      "grad_norm": 0.9905690550804138,
      "learning_rate": 5e-05,
      "loss": 0.0282,
      "step": 781
    },
    {
      "epoch": 10.426666666666666,
      "grad_norm": 0.9546751976013184,
      "learning_rate": 5e-05,
      "loss": 0.0404,
      "step": 782
    },
    {
      "epoch": 10.44,
      "grad_norm": 1.3522772789001465,
      "learning_rate": 5e-05,
      "loss": 0.0384,
      "step": 783
    },
    {
      "epoch": 10.453333333333333,
      "grad_norm": 1.0197713375091553,
      "learning_rate": 5e-05,
      "loss": 0.0261,
      "step": 784
    },
    {
      "epoch": 10.466666666666667,
      "grad_norm": 1.1052570343017578,
      "learning_rate": 5e-05,
      "loss": 0.0416,
      "step": 785
    },
    {
      "epoch": 10.48,
      "grad_norm": 1.0098674297332764,
      "learning_rate": 5e-05,
      "loss": 0.0417,
      "step": 786
    },
    {
      "epoch": 10.493333333333334,
      "grad_norm": 3.4181230068206787,
      "learning_rate": 5e-05,
      "loss": 0.0399,
      "step": 787
    },
    {
      "epoch": 10.506666666666666,
      "grad_norm": 0.6528542637825012,
      "learning_rate": 5e-05,
      "loss": 0.0329,
      "step": 788
    },
    {
      "epoch": 10.52,
      "grad_norm": 1.1196547746658325,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 789
    },
    {
      "epoch": 10.533333333333333,
      "grad_norm": 1.3663418292999268,
      "learning_rate": 5e-05,
      "loss": 0.0435,
      "step": 790
    },
    {
      "epoch": 10.546666666666667,
      "grad_norm": 1.5580687522888184,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 791
    },
    {
      "epoch": 10.56,
      "grad_norm": 1.123694896697998,
      "learning_rate": 5e-05,
      "loss": 0.0456,
      "step": 792
    },
    {
      "epoch": 10.573333333333334,
      "grad_norm": 1.2248692512512207,
      "learning_rate": 5e-05,
      "loss": 0.0435,
      "step": 793
    },
    {
      "epoch": 10.586666666666666,
      "grad_norm": 0.9310649037361145,
      "learning_rate": 5e-05,
      "loss": 0.0406,
      "step": 794
    },
    {
      "epoch": 10.6,
      "grad_norm": 0.8648613095283508,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 795
    },
    {
      "epoch": 10.613333333333333,
      "grad_norm": 1.4569118022918701,
      "learning_rate": 5e-05,
      "loss": 0.0367,
      "step": 796
    },
    {
      "epoch": 10.626666666666667,
      "grad_norm": 0.6787144541740417,
      "learning_rate": 5e-05,
      "loss": 0.0283,
      "step": 797
    },
    {
      "epoch": 10.64,
      "grad_norm": 0.9750679731369019,
      "learning_rate": 5e-05,
      "loss": 0.041,
      "step": 798
    },
    {
      "epoch": 10.653333333333332,
      "grad_norm": 1.0306838750839233,
      "learning_rate": 5e-05,
      "loss": 0.0348,
      "step": 799
    },
    {
      "epoch": 10.666666666666666,
      "grad_norm": 0.9225911498069763,
      "learning_rate": 5e-05,
      "loss": 0.0387,
      "step": 800
    },
    {
      "epoch": 10.68,
      "grad_norm": 1.0650591850280762,
      "learning_rate": 5e-05,
      "loss": 0.0319,
      "step": 801
    },
    {
      "epoch": 10.693333333333333,
      "grad_norm": 1.7738628387451172,
      "learning_rate": 5e-05,
      "loss": 0.0522,
      "step": 802
    },
    {
      "epoch": 10.706666666666667,
      "grad_norm": 0.9118750691413879,
      "learning_rate": 5e-05,
      "loss": 0.0264,
      "step": 803
    },
    {
      "epoch": 10.72,
      "grad_norm": 0.9405617713928223,
      "learning_rate": 5e-05,
      "loss": 0.0364,
      "step": 804
    },
    {
      "epoch": 10.733333333333333,
      "grad_norm": 1.7075481414794922,
      "learning_rate": 5e-05,
      "loss": 0.0473,
      "step": 805
    },
    {
      "epoch": 10.746666666666666,
      "grad_norm": 1.6113184690475464,
      "learning_rate": 5e-05,
      "loss": 0.0424,
      "step": 806
    },
    {
      "epoch": 10.76,
      "grad_norm": 1.6817412376403809,
      "learning_rate": 5e-05,
      "loss": 0.0494,
      "step": 807
    },
    {
      "epoch": 10.773333333333333,
      "grad_norm": 1.3678059577941895,
      "learning_rate": 5e-05,
      "loss": 0.0491,
      "step": 808
    },
    {
      "epoch": 10.786666666666667,
      "grad_norm": 1.3968442678451538,
      "learning_rate": 5e-05,
      "loss": 0.045,
      "step": 809
    },
    {
      "epoch": 10.8,
      "grad_norm": 0.9073758125305176,
      "learning_rate": 5e-05,
      "loss": 0.0462,
      "step": 810
    },
    {
      "epoch": 10.813333333333333,
      "grad_norm": 0.7407078742980957,
      "learning_rate": 5e-05,
      "loss": 0.0366,
      "step": 811
    },
    {
      "epoch": 10.826666666666666,
      "grad_norm": 0.7783226370811462,
      "learning_rate": 5e-05,
      "loss": 0.0394,
      "step": 812
    },
    {
      "epoch": 10.84,
      "grad_norm": 0.48144957423210144,
      "learning_rate": 5e-05,
      "loss": 0.0347,
      "step": 813
    },
    {
      "epoch": 10.853333333333333,
      "grad_norm": 1.1215155124664307,
      "learning_rate": 5e-05,
      "loss": 0.0381,
      "step": 814
    },
    {
      "epoch": 10.866666666666667,
      "grad_norm": 0.9482815861701965,
      "learning_rate": 5e-05,
      "loss": 0.0406,
      "step": 815
    },
    {
      "epoch": 10.88,
      "grad_norm": 1.2793573141098022,
      "learning_rate": 5e-05,
      "loss": 0.0337,
      "step": 816
    },
    {
      "epoch": 10.893333333333333,
      "grad_norm": 0.8507941961288452,
      "learning_rate": 5e-05,
      "loss": 0.0294,
      "step": 817
    },
    {
      "epoch": 10.906666666666666,
      "grad_norm": 1.0317206382751465,
      "learning_rate": 5e-05,
      "loss": 0.0388,
      "step": 818
    },
    {
      "epoch": 10.92,
      "grad_norm": 0.7523844242095947,
      "learning_rate": 5e-05,
      "loss": 0.0489,
      "step": 819
    },
    {
      "epoch": 10.933333333333334,
      "grad_norm": 1.0047266483306885,
      "learning_rate": 5e-05,
      "loss": 0.0353,
      "step": 820
    },
    {
      "epoch": 10.946666666666667,
      "grad_norm": 1.9492477178573608,
      "learning_rate": 5e-05,
      "loss": 0.0399,
      "step": 821
    },
    {
      "epoch": 10.96,
      "grad_norm": 2.570873498916626,
      "learning_rate": 5e-05,
      "loss": 0.0361,
      "step": 822
    },
    {
      "epoch": 10.973333333333333,
      "grad_norm": 1.0199933052062988,
      "learning_rate": 5e-05,
      "loss": 0.0476,
      "step": 823
    },
    {
      "epoch": 10.986666666666666,
      "grad_norm": 1.2896062135696411,
      "learning_rate": 5e-05,
      "loss": 0.0537,
      "step": 824
    },
    {
      "epoch": 11.0,
      "grad_norm": 0.7963124513626099,
      "learning_rate": 5e-05,
      "loss": 0.034,
      "step": 825
    },
    {
      "epoch": 11.013333333333334,
      "grad_norm": 1.023789405822754,
      "learning_rate": 5e-05,
      "loss": 0.0322,
      "step": 826
    },
    {
      "epoch": 11.026666666666667,
      "grad_norm": 1.058576226234436,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 827
    },
    {
      "epoch": 11.04,
      "grad_norm": 1.049187183380127,
      "learning_rate": 5e-05,
      "loss": 0.0331,
      "step": 828
    },
    {
      "epoch": 11.053333333333333,
      "grad_norm": 0.6187224388122559,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 829
    },
    {
      "epoch": 11.066666666666666,
      "grad_norm": 1.0146669149398804,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 830
    },
    {
      "epoch": 11.08,
      "grad_norm": 0.7848014831542969,
      "learning_rate": 5e-05,
      "loss": 0.0277,
      "step": 831
    },
    {
      "epoch": 11.093333333333334,
      "grad_norm": 2.6543009281158447,
      "learning_rate": 5e-05,
      "loss": 0.0408,
      "step": 832
    },
    {
      "epoch": 11.106666666666667,
      "grad_norm": 1.1954450607299805,
      "learning_rate": 5e-05,
      "loss": 0.0336,
      "step": 833
    },
    {
      "epoch": 11.12,
      "grad_norm": 1.567706823348999,
      "learning_rate": 5e-05,
      "loss": 0.029,
      "step": 834
    },
    {
      "epoch": 11.133333333333333,
      "grad_norm": 1.4932855367660522,
      "learning_rate": 5e-05,
      "loss": 0.0218,
      "step": 835
    },
    {
      "epoch": 11.146666666666667,
      "grad_norm": 1.082951307296753,
      "learning_rate": 5e-05,
      "loss": 0.0382,
      "step": 836
    },
    {
      "epoch": 11.16,
      "grad_norm": 1.075440526008606,
      "learning_rate": 5e-05,
      "loss": 0.0355,
      "step": 837
    },
    {
      "epoch": 11.173333333333334,
      "grad_norm": 1.5903056859970093,
      "learning_rate": 5e-05,
      "loss": 0.0342,
      "step": 838
    },
    {
      "epoch": 11.186666666666667,
      "grad_norm": 0.696674108505249,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 839
    },
    {
      "epoch": 11.2,
      "grad_norm": 0.9966558814048767,
      "learning_rate": 5e-05,
      "loss": 0.034,
      "step": 840
    },
    {
      "epoch": 11.213333333333333,
      "grad_norm": 0.9745540618896484,
      "learning_rate": 5e-05,
      "loss": 0.0314,
      "step": 841
    },
    {
      "epoch": 11.226666666666667,
      "grad_norm": 1.1523710489273071,
      "learning_rate": 5e-05,
      "loss": 0.0262,
      "step": 842
    },
    {
      "epoch": 11.24,
      "grad_norm": 0.9232870936393738,
      "learning_rate": 5e-05,
      "loss": 0.0318,
      "step": 843
    },
    {
      "epoch": 11.253333333333334,
      "grad_norm": 1.392648458480835,
      "learning_rate": 5e-05,
      "loss": 0.0451,
      "step": 844
    },
    {
      "epoch": 11.266666666666667,
      "grad_norm": 1.109569787979126,
      "learning_rate": 5e-05,
      "loss": 0.0307,
      "step": 845
    },
    {
      "epoch": 11.28,
      "grad_norm": 0.6122995018959045,
      "learning_rate": 5e-05,
      "loss": 0.0249,
      "step": 846
    },
    {
      "epoch": 11.293333333333333,
      "grad_norm": 0.9389365911483765,
      "learning_rate": 5e-05,
      "loss": 0.0354,
      "step": 847
    },
    {
      "epoch": 11.306666666666667,
      "grad_norm": 0.6622259616851807,
      "learning_rate": 5e-05,
      "loss": 0.0281,
      "step": 848
    },
    {
      "epoch": 11.32,
      "grad_norm": 2.2183444499969482,
      "learning_rate": 5e-05,
      "loss": 0.0374,
      "step": 849
    },
    {
      "epoch": 11.333333333333334,
      "grad_norm": 1.1509097814559937,
      "learning_rate": 5e-05,
      "loss": 0.0412,
      "step": 850
    },
    {
      "epoch": 11.346666666666668,
      "grad_norm": 1.4437108039855957,
      "learning_rate": 5e-05,
      "loss": 0.0409,
      "step": 851
    },
    {
      "epoch": 11.36,
      "grad_norm": 1.2066441774368286,
      "learning_rate": 5e-05,
      "loss": 0.0349,
      "step": 852
    },
    {
      "epoch": 11.373333333333333,
      "grad_norm": 1.0192235708236694,
      "learning_rate": 5e-05,
      "loss": 0.0361,
      "step": 853
    },
    {
      "epoch": 11.386666666666667,
      "grad_norm": 0.7271385192871094,
      "learning_rate": 5e-05,
      "loss": 0.034,
      "step": 854
    },
    {
      "epoch": 11.4,
      "grad_norm": 0.8568341732025146,
      "learning_rate": 5e-05,
      "loss": 0.032,
      "step": 855
    },
    {
      "epoch": 11.413333333333334,
      "grad_norm": 0.8307594060897827,
      "learning_rate": 5e-05,
      "loss": 0.0319,
      "step": 856
    },
    {
      "epoch": 11.426666666666666,
      "grad_norm": 0.9971637725830078,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 857
    },
    {
      "epoch": 11.44,
      "grad_norm": 0.9985301494598389,
      "learning_rate": 5e-05,
      "loss": 0.0342,
      "step": 858
    },
    {
      "epoch": 11.453333333333333,
      "grad_norm": 1.9462846517562866,
      "learning_rate": 5e-05,
      "loss": 0.0285,
      "step": 859
    },
    {
      "epoch": 11.466666666666667,
      "grad_norm": 1.148534893989563,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 860
    },
    {
      "epoch": 11.48,
      "grad_norm": 1.279520034790039,
      "learning_rate": 5e-05,
      "loss": 0.0441,
      "step": 861
    },
    {
      "epoch": 11.493333333333334,
      "grad_norm": 0.8318332433700562,
      "learning_rate": 5e-05,
      "loss": 0.0321,
      "step": 862
    },
    {
      "epoch": 11.506666666666666,
      "grad_norm": 1.5203381776809692,
      "learning_rate": 5e-05,
      "loss": 0.0312,
      "step": 863
    },
    {
      "epoch": 11.52,
      "grad_norm": 0.803471028804779,
      "learning_rate": 5e-05,
      "loss": 0.0388,
      "step": 864
    },
    {
      "epoch": 11.533333333333333,
      "grad_norm": 2.1674764156341553,
      "learning_rate": 5e-05,
      "loss": 0.0447,
      "step": 865
    },
    {
      "epoch": 11.546666666666667,
      "grad_norm": 0.9412129521369934,
      "learning_rate": 5e-05,
      "loss": 0.0318,
      "step": 866
    },
    {
      "epoch": 11.56,
      "grad_norm": 0.7408146858215332,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 867
    },
    {
      "epoch": 11.573333333333334,
      "grad_norm": 1.4724706411361694,
      "learning_rate": 5e-05,
      "loss": 0.0486,
      "step": 868
    },
    {
      "epoch": 11.586666666666666,
      "grad_norm": 0.7540333867073059,
      "learning_rate": 5e-05,
      "loss": 0.0321,
      "step": 869
    },
    {
      "epoch": 11.6,
      "grad_norm": 1.0215362310409546,
      "learning_rate": 5e-05,
      "loss": 0.0343,
      "step": 870
    },
    {
      "epoch": 11.613333333333333,
      "grad_norm": 0.7868123054504395,
      "learning_rate": 5e-05,
      "loss": 0.0344,
      "step": 871
    },
    {
      "epoch": 11.626666666666667,
      "grad_norm": 1.2389448881149292,
      "learning_rate": 5e-05,
      "loss": 0.0313,
      "step": 872
    },
    {
      "epoch": 11.64,
      "grad_norm": 2.079524517059326,
      "learning_rate": 5e-05,
      "loss": 0.0253,
      "step": 873
    },
    {
      "epoch": 11.653333333333332,
      "grad_norm": 1.1590865850448608,
      "learning_rate": 5e-05,
      "loss": 0.038,
      "step": 874
    },
    {
      "epoch": 11.666666666666666,
      "grad_norm": 1.2651541233062744,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 875
    },
    {
      "epoch": 11.68,
      "grad_norm": 1.0975251197814941,
      "learning_rate": 5e-05,
      "loss": 0.0346,
      "step": 876
    },
    {
      "epoch": 11.693333333333333,
      "grad_norm": 0.9912931323051453,
      "learning_rate": 5e-05,
      "loss": 0.0364,
      "step": 877
    },
    {
      "epoch": 11.706666666666667,
      "grad_norm": 0.6769680380821228,
      "learning_rate": 5e-05,
      "loss": 0.0339,
      "step": 878
    },
    {
      "epoch": 11.72,
      "grad_norm": 0.5816580057144165,
      "learning_rate": 5e-05,
      "loss": 0.0292,
      "step": 879
    },
    {
      "epoch": 11.733333333333333,
      "grad_norm": 1.2175683975219727,
      "learning_rate": 5e-05,
      "loss": 0.0362,
      "step": 880
    },
    {
      "epoch": 11.746666666666666,
      "grad_norm": 0.8013982772827148,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 881
    },
    {
      "epoch": 11.76,
      "grad_norm": 0.7629945278167725,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 882
    },
    {
      "epoch": 11.773333333333333,
      "grad_norm": 1.1285768747329712,
      "learning_rate": 5e-05,
      "loss": 0.0374,
      "step": 883
    },
    {
      "epoch": 11.786666666666667,
      "grad_norm": 1.0317031145095825,
      "learning_rate": 5e-05,
      "loss": 0.0256,
      "step": 884
    },
    {
      "epoch": 11.8,
      "grad_norm": 0.6558197736740112,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 885
    },
    {
      "epoch": 11.813333333333333,
      "grad_norm": 0.833771824836731,
      "learning_rate": 5e-05,
      "loss": 0.0342,
      "step": 886
    },
    {
      "epoch": 11.826666666666666,
      "grad_norm": 1.2422056198120117,
      "learning_rate": 5e-05,
      "loss": 0.0497,
      "step": 887
    },
    {
      "epoch": 11.84,
      "grad_norm": 0.6707838177680969,
      "learning_rate": 5e-05,
      "loss": 0.0339,
      "step": 888
    },
    {
      "epoch": 11.853333333333333,
      "grad_norm": 0.9656683802604675,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 889
    },
    {
      "epoch": 11.866666666666667,
      "grad_norm": 0.66469806432724,
      "learning_rate": 5e-05,
      "loss": 0.0317,
      "step": 890
    },
    {
      "epoch": 11.88,
      "grad_norm": 3.2746143341064453,
      "learning_rate": 5e-05,
      "loss": 0.0348,
      "step": 891
    },
    {
      "epoch": 11.893333333333333,
      "grad_norm": 0.7613828182220459,
      "learning_rate": 5e-05,
      "loss": 0.0366,
      "step": 892
    },
    {
      "epoch": 11.906666666666666,
      "grad_norm": 0.7543074488639832,
      "learning_rate": 5e-05,
      "loss": 0.0385,
      "step": 893
    },
    {
      "epoch": 11.92,
      "grad_norm": 0.9979185461997986,
      "learning_rate": 5e-05,
      "loss": 0.0433,
      "step": 894
    },
    {
      "epoch": 11.933333333333334,
      "grad_norm": 0.9317325353622437,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 895
    },
    {
      "epoch": 11.946666666666667,
      "grad_norm": 0.652338981628418,
      "learning_rate": 5e-05,
      "loss": 0.0324,
      "step": 896
    },
    {
      "epoch": 11.96,
      "grad_norm": 2.25707745552063,
      "learning_rate": 5e-05,
      "loss": 0.0519,
      "step": 897
    },
    {
      "epoch": 11.973333333333333,
      "grad_norm": 1.6879456043243408,
      "learning_rate": 5e-05,
      "loss": 0.0568,
      "step": 898
    },
    {
      "epoch": 11.986666666666666,
      "grad_norm": 0.7939422130584717,
      "learning_rate": 5e-05,
      "loss": 0.0326,
      "step": 899
    },
    {
      "epoch": 12.0,
      "grad_norm": 1.1034663915634155,
      "learning_rate": 5e-05,
      "loss": 0.0458,
      "step": 900
    },
    {
      "epoch": 12.013333333333334,
      "grad_norm": 1.260490894317627,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 901
    },
    {
      "epoch": 12.026666666666667,
      "grad_norm": 0.508156955242157,
      "learning_rate": 5e-05,
      "loss": 0.0228,
      "step": 902
    },
    {
      "epoch": 12.04,
      "grad_norm": 0.5860975384712219,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 903
    },
    {
      "epoch": 12.053333333333333,
      "grad_norm": 1.328373670578003,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 904
    },
    {
      "epoch": 12.066666666666666,
      "grad_norm": 0.6690332889556885,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 905
    },
    {
      "epoch": 12.08,
      "grad_norm": 0.5449155569076538,
      "learning_rate": 5e-05,
      "loss": 0.0262,
      "step": 906
    },
    {
      "epoch": 12.093333333333334,
      "grad_norm": 0.950017511844635,
      "learning_rate": 5e-05,
      "loss": 0.0402,
      "step": 907
    },
    {
      "epoch": 12.106666666666667,
      "grad_norm": 0.6652404069900513,
      "learning_rate": 5e-05,
      "loss": 0.025,
      "step": 908
    },
    {
      "epoch": 12.12,
      "grad_norm": 0.8039630055427551,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 909
    },
    {
      "epoch": 12.133333333333333,
      "grad_norm": 0.5771080851554871,
      "learning_rate": 5e-05,
      "loss": 0.0197,
      "step": 910
    },
    {
      "epoch": 12.146666666666667,
      "grad_norm": 0.6253827214241028,
      "learning_rate": 5e-05,
      "loss": 0.0264,
      "step": 911
    },
    {
      "epoch": 12.16,
      "grad_norm": 1.0377321243286133,
      "learning_rate": 5e-05,
      "loss": 0.0295,
      "step": 912
    },
    {
      "epoch": 12.173333333333334,
      "grad_norm": 0.9449471235275269,
      "learning_rate": 5e-05,
      "loss": 0.0367,
      "step": 913
    },
    {
      "epoch": 12.186666666666667,
      "grad_norm": 1.3063081502914429,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 914
    },
    {
      "epoch": 12.2,
      "grad_norm": 1.217589259147644,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 915
    },
    {
      "epoch": 12.213333333333333,
      "grad_norm": 0.994083821773529,
      "learning_rate": 5e-05,
      "loss": 0.0197,
      "step": 916
    },
    {
      "epoch": 12.226666666666667,
      "grad_norm": 1.1022647619247437,
      "learning_rate": 5e-05,
      "loss": 0.0317,
      "step": 917
    },
    {
      "epoch": 12.24,
      "grad_norm": 1.1937408447265625,
      "learning_rate": 5e-05,
      "loss": 0.0338,
      "step": 918
    },
    {
      "epoch": 12.253333333333334,
      "grad_norm": 1.4856858253479004,
      "learning_rate": 5e-05,
      "loss": 0.0333,
      "step": 919
    },
    {
      "epoch": 12.266666666666667,
      "grad_norm": 1.1920382976531982,
      "learning_rate": 5e-05,
      "loss": 0.0346,
      "step": 920
    },
    {
      "epoch": 12.28,
      "grad_norm": 1.4005022048950195,
      "learning_rate": 5e-05,
      "loss": 0.0292,
      "step": 921
    },
    {
      "epoch": 12.293333333333333,
      "grad_norm": 1.3316153287887573,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 922
    },
    {
      "epoch": 12.306666666666667,
      "grad_norm": 0.7346697449684143,
      "learning_rate": 5e-05,
      "loss": 0.0202,
      "step": 923
    },
    {
      "epoch": 12.32,
      "grad_norm": 1.2102925777435303,
      "learning_rate": 5e-05,
      "loss": 0.032,
      "step": 924
    },
    {
      "epoch": 12.333333333333334,
      "grad_norm": 0.6152395606040955,
      "learning_rate": 5e-05,
      "loss": 0.0172,
      "step": 925
    },
    {
      "epoch": 12.346666666666668,
      "grad_norm": 0.5844482779502869,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 926
    },
    {
      "epoch": 12.36,
      "grad_norm": 1.1607760190963745,
      "learning_rate": 5e-05,
      "loss": 0.0284,
      "step": 927
    },
    {
      "epoch": 12.373333333333333,
      "grad_norm": 1.1574885845184326,
      "learning_rate": 5e-05,
      "loss": 0.0442,
      "step": 928
    },
    {
      "epoch": 12.386666666666667,
      "grad_norm": 0.6886640787124634,
      "learning_rate": 5e-05,
      "loss": 0.0297,
      "step": 929
    },
    {
      "epoch": 12.4,
      "grad_norm": 1.7054277658462524,
      "learning_rate": 5e-05,
      "loss": 0.0313,
      "step": 930
    },
    {
      "epoch": 12.413333333333334,
      "grad_norm": 0.8460717797279358,
      "learning_rate": 5e-05,
      "loss": 0.0356,
      "step": 931
    },
    {
      "epoch": 12.426666666666666,
      "grad_norm": 0.7758485078811646,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 932
    },
    {
      "epoch": 12.44,
      "grad_norm": 0.8863556981086731,
      "learning_rate": 5e-05,
      "loss": 0.0213,
      "step": 933
    },
    {
      "epoch": 12.453333333333333,
      "grad_norm": 0.9825117588043213,
      "learning_rate": 5e-05,
      "loss": 0.0361,
      "step": 934
    },
    {
      "epoch": 12.466666666666667,
      "grad_norm": 1.3368926048278809,
      "learning_rate": 5e-05,
      "loss": 0.0395,
      "step": 935
    },
    {
      "epoch": 12.48,
      "grad_norm": 0.6869122385978699,
      "learning_rate": 5e-05,
      "loss": 0.0288,
      "step": 936
    },
    {
      "epoch": 12.493333333333334,
      "grad_norm": 0.8223547339439392,
      "learning_rate": 5e-05,
      "loss": 0.0417,
      "step": 937
    },
    {
      "epoch": 12.506666666666666,
      "grad_norm": 1.1502525806427002,
      "learning_rate": 5e-05,
      "loss": 0.0377,
      "step": 938
    },
    {
      "epoch": 12.52,
      "grad_norm": 0.8847864270210266,
      "learning_rate": 5e-05,
      "loss": 0.0355,
      "step": 939
    },
    {
      "epoch": 12.533333333333333,
      "grad_norm": 0.8711476922035217,
      "learning_rate": 5e-05,
      "loss": 0.0299,
      "step": 940
    },
    {
      "epoch": 12.546666666666667,
      "grad_norm": 1.0383533239364624,
      "learning_rate": 5e-05,
      "loss": 0.0218,
      "step": 941
    },
    {
      "epoch": 12.56,
      "grad_norm": 0.8002606630325317,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 942
    },
    {
      "epoch": 12.573333333333334,
      "grad_norm": 0.7142730355262756,
      "learning_rate": 5e-05,
      "loss": 0.0286,
      "step": 943
    },
    {
      "epoch": 12.586666666666666,
      "grad_norm": 1.0711442232131958,
      "learning_rate": 5e-05,
      "loss": 0.0285,
      "step": 944
    },
    {
      "epoch": 12.6,
      "grad_norm": 1.2874524593353271,
      "learning_rate": 5e-05,
      "loss": 0.0278,
      "step": 945
    },
    {
      "epoch": 12.613333333333333,
      "grad_norm": 1.6094852685928345,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 946
    },
    {
      "epoch": 12.626666666666667,
      "grad_norm": 0.4502836763858795,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 947
    },
    {
      "epoch": 12.64,
      "grad_norm": 0.7432142496109009,
      "learning_rate": 5e-05,
      "loss": 0.0328,
      "step": 948
    },
    {
      "epoch": 12.653333333333332,
      "grad_norm": 0.7696417570114136,
      "learning_rate": 5e-05,
      "loss": 0.0338,
      "step": 949
    },
    {
      "epoch": 12.666666666666666,
      "grad_norm": 1.2183843851089478,
      "learning_rate": 5e-05,
      "loss": 0.0379,
      "step": 950
    },
    {
      "epoch": 12.68,
      "grad_norm": 1.3085410594940186,
      "learning_rate": 5e-05,
      "loss": 0.0367,
      "step": 951
    },
    {
      "epoch": 12.693333333333333,
      "grad_norm": 0.8198243379592896,
      "learning_rate": 5e-05,
      "loss": 0.0224,
      "step": 952
    },
    {
      "epoch": 12.706666666666667,
      "grad_norm": 0.6584181785583496,
      "learning_rate": 5e-05,
      "loss": 0.0265,
      "step": 953
    },
    {
      "epoch": 12.72,
      "grad_norm": 0.9622198939323425,
      "learning_rate": 5e-05,
      "loss": 0.0312,
      "step": 954
    },
    {
      "epoch": 12.733333333333333,
      "grad_norm": 0.9993056058883667,
      "learning_rate": 5e-05,
      "loss": 0.0405,
      "step": 955
    },
    {
      "epoch": 12.746666666666666,
      "grad_norm": 1.500878095626831,
      "learning_rate": 5e-05,
      "loss": 0.0418,
      "step": 956
    },
    {
      "epoch": 12.76,
      "grad_norm": 1.3212134838104248,
      "learning_rate": 5e-05,
      "loss": 0.0372,
      "step": 957
    },
    {
      "epoch": 12.773333333333333,
      "grad_norm": 0.7997548580169678,
      "learning_rate": 5e-05,
      "loss": 0.0327,
      "step": 958
    },
    {
      "epoch": 12.786666666666667,
      "grad_norm": 0.5334410071372986,
      "learning_rate": 5e-05,
      "loss": 0.0206,
      "step": 959
    },
    {
      "epoch": 12.8,
      "grad_norm": 0.832783043384552,
      "learning_rate": 5e-05,
      "loss": 0.031,
      "step": 960
    },
    {
      "epoch": 12.813333333333333,
      "grad_norm": 0.7837901711463928,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 961
    },
    {
      "epoch": 12.826666666666666,
      "grad_norm": 1.1945805549621582,
      "learning_rate": 5e-05,
      "loss": 0.0341,
      "step": 962
    },
    {
      "epoch": 12.84,
      "grad_norm": 0.9201553463935852,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 963
    },
    {
      "epoch": 12.853333333333333,
      "grad_norm": 0.9956549406051636,
      "learning_rate": 5e-05,
      "loss": 0.0339,
      "step": 964
    },
    {
      "epoch": 12.866666666666667,
      "grad_norm": 1.889448881149292,
      "learning_rate": 5e-05,
      "loss": 0.0535,
      "step": 965
    },
    {
      "epoch": 12.88,
      "grad_norm": 1.6086617708206177,
      "learning_rate": 5e-05,
      "loss": 0.0347,
      "step": 966
    },
    {
      "epoch": 12.893333333333333,
      "grad_norm": 1.477162480354309,
      "learning_rate": 5e-05,
      "loss": 0.0439,
      "step": 967
    },
    {
      "epoch": 12.906666666666666,
      "grad_norm": 1.0738587379455566,
      "learning_rate": 5e-05,
      "loss": 0.0382,
      "step": 968
    },
    {
      "epoch": 12.92,
      "grad_norm": 0.7289194464683533,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 969
    },
    {
      "epoch": 12.933333333333334,
      "grad_norm": 0.8330310583114624,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 970
    },
    {
      "epoch": 12.946666666666667,
      "grad_norm": 1.0484920740127563,
      "learning_rate": 5e-05,
      "loss": 0.0373,
      "step": 971
    },
    {
      "epoch": 12.96,
      "grad_norm": 0.9071473479270935,
      "learning_rate": 5e-05,
      "loss": 0.0359,
      "step": 972
    },
    {
      "epoch": 12.973333333333333,
      "grad_norm": 0.9384321570396423,
      "learning_rate": 5e-05,
      "loss": 0.0392,
      "step": 973
    },
    {
      "epoch": 12.986666666666666,
      "grad_norm": 0.8579729795455933,
      "learning_rate": 5e-05,
      "loss": 0.0263,
      "step": 974
    },
    {
      "epoch": 13.0,
      "grad_norm": 0.9784299731254578,
      "learning_rate": 5e-05,
      "loss": 0.0252,
      "step": 975
    },
    {
      "epoch": 13.013333333333334,
      "grad_norm": 0.8188267350196838,
      "learning_rate": 5e-05,
      "loss": 0.0213,
      "step": 976
    },
    {
      "epoch": 13.026666666666667,
      "grad_norm": 0.4681665003299713,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 977
    },
    {
      "epoch": 13.04,
      "grad_norm": 2.689054489135742,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 978
    },
    {
      "epoch": 13.053333333333333,
      "grad_norm": 0.926395058631897,
      "learning_rate": 5e-05,
      "loss": 0.0338,
      "step": 979
    },
    {
      "epoch": 13.066666666666666,
      "grad_norm": 1.673946499824524,
      "learning_rate": 5e-05,
      "loss": 0.0375,
      "step": 980
    },
    {
      "epoch": 13.08,
      "grad_norm": 0.7499354481697083,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 981
    },
    {
      "epoch": 13.093333333333334,
      "grad_norm": 0.759735107421875,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 982
    },
    {
      "epoch": 13.106666666666667,
      "grad_norm": 0.6065549850463867,
      "learning_rate": 5e-05,
      "loss": 0.02,
      "step": 983
    },
    {
      "epoch": 13.12,
      "grad_norm": 0.9421942234039307,
      "learning_rate": 5e-05,
      "loss": 0.0245,
      "step": 984
    },
    {
      "epoch": 13.133333333333333,
      "grad_norm": 0.9288488030433655,
      "learning_rate": 5e-05,
      "loss": 0.0261,
      "step": 985
    },
    {
      "epoch": 13.146666666666667,
      "grad_norm": 1.2062792778015137,
      "learning_rate": 5e-05,
      "loss": 0.022,
      "step": 986
    },
    {
      "epoch": 13.16,
      "grad_norm": 0.7035022974014282,
      "learning_rate": 5e-05,
      "loss": 0.0241,
      "step": 987
    },
    {
      "epoch": 13.173333333333334,
      "grad_norm": 1.3874664306640625,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 988
    },
    {
      "epoch": 13.186666666666667,
      "grad_norm": 0.9182235598564148,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 989
    },
    {
      "epoch": 13.2,
      "grad_norm": 0.6282105445861816,
      "learning_rate": 5e-05,
      "loss": 0.0253,
      "step": 990
    },
    {
      "epoch": 13.213333333333333,
      "grad_norm": 1.5189003944396973,
      "learning_rate": 5e-05,
      "loss": 0.033,
      "step": 991
    },
    {
      "epoch": 13.226666666666667,
      "grad_norm": 1.2653381824493408,
      "learning_rate": 5e-05,
      "loss": 0.0336,
      "step": 992
    },
    {
      "epoch": 13.24,
      "grad_norm": 1.0374499559402466,
      "learning_rate": 5e-05,
      "loss": 0.0292,
      "step": 993
    },
    {
      "epoch": 13.253333333333334,
      "grad_norm": 1.2788665294647217,
      "learning_rate": 5e-05,
      "loss": 0.035,
      "step": 994
    },
    {
      "epoch": 13.266666666666667,
      "grad_norm": 0.5695939064025879,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 995
    },
    {
      "epoch": 13.28,
      "grad_norm": 0.7613754272460938,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 996
    },
    {
      "epoch": 13.293333333333333,
      "grad_norm": 0.6919668912887573,
      "learning_rate": 5e-05,
      "loss": 0.0275,
      "step": 997
    },
    {
      "epoch": 13.306666666666667,
      "grad_norm": 1.4773199558258057,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 998
    },
    {
      "epoch": 13.32,
      "grad_norm": 0.777776837348938,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 999
    },
    {
      "epoch": 13.333333333333334,
      "grad_norm": 0.6898117065429688,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 1000
    },
    {
      "epoch": 13.346666666666668,
      "grad_norm": 0.9085352420806885,
      "learning_rate": 5e-05,
      "loss": 0.0292,
      "step": 1001
    },
    {
      "epoch": 13.36,
      "grad_norm": 1.3945928812026978,
      "learning_rate": 5e-05,
      "loss": 0.0341,
      "step": 1002
    },
    {
      "epoch": 13.373333333333333,
      "grad_norm": 1.1535007953643799,
      "learning_rate": 5e-05,
      "loss": 0.0342,
      "step": 1003
    },
    {
      "epoch": 13.386666666666667,
      "grad_norm": 0.896858811378479,
      "learning_rate": 5e-05,
      "loss": 0.0325,
      "step": 1004
    },
    {
      "epoch": 13.4,
      "grad_norm": 1.034288763999939,
      "learning_rate": 5e-05,
      "loss": 0.0288,
      "step": 1005
    },
    {
      "epoch": 13.413333333333334,
      "grad_norm": 0.612937331199646,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1006
    },
    {
      "epoch": 13.426666666666666,
      "grad_norm": 1.209679365158081,
      "learning_rate": 5e-05,
      "loss": 0.0294,
      "step": 1007
    },
    {
      "epoch": 13.44,
      "grad_norm": 0.516222357749939,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 1008
    },
    {
      "epoch": 13.453333333333333,
      "grad_norm": 0.7546021342277527,
      "learning_rate": 5e-05,
      "loss": 0.0351,
      "step": 1009
    },
    {
      "epoch": 13.466666666666667,
      "grad_norm": 1.100987434387207,
      "learning_rate": 5e-05,
      "loss": 0.0293,
      "step": 1010
    },
    {
      "epoch": 13.48,
      "grad_norm": 1.1615915298461914,
      "learning_rate": 5e-05,
      "loss": 0.0412,
      "step": 1011
    },
    {
      "epoch": 13.493333333333334,
      "grad_norm": 0.5402889847755432,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 1012
    },
    {
      "epoch": 13.506666666666666,
      "grad_norm": 0.5987013578414917,
      "learning_rate": 5e-05,
      "loss": 0.028,
      "step": 1013
    },
    {
      "epoch": 13.52,
      "grad_norm": 0.7134963870048523,
      "learning_rate": 5e-05,
      "loss": 0.0286,
      "step": 1014
    },
    {
      "epoch": 13.533333333333333,
      "grad_norm": 0.8402339220046997,
      "learning_rate": 5e-05,
      "loss": 0.0346,
      "step": 1015
    },
    {
      "epoch": 13.546666666666667,
      "grad_norm": 0.8988457322120667,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 1016
    },
    {
      "epoch": 13.56,
      "grad_norm": 0.7057849168777466,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 1017
    },
    {
      "epoch": 13.573333333333334,
      "grad_norm": 0.785785436630249,
      "learning_rate": 5e-05,
      "loss": 0.0302,
      "step": 1018
    },
    {
      "epoch": 13.586666666666666,
      "grad_norm": 0.5874534845352173,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 1019
    },
    {
      "epoch": 13.6,
      "grad_norm": 0.9868318438529968,
      "learning_rate": 5e-05,
      "loss": 0.0288,
      "step": 1020
    },
    {
      "epoch": 13.613333333333333,
      "grad_norm": 0.6982121467590332,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 1021
    },
    {
      "epoch": 13.626666666666667,
      "grad_norm": 1.498112440109253,
      "learning_rate": 5e-05,
      "loss": 0.0407,
      "step": 1022
    },
    {
      "epoch": 13.64,
      "grad_norm": 0.8169640898704529,
      "learning_rate": 5e-05,
      "loss": 0.031,
      "step": 1023
    },
    {
      "epoch": 13.653333333333332,
      "grad_norm": 1.575575590133667,
      "learning_rate": 5e-05,
      "loss": 0.0204,
      "step": 1024
    },
    {
      "epoch": 13.666666666666666,
      "grad_norm": 1.1515237092971802,
      "learning_rate": 5e-05,
      "loss": 0.041,
      "step": 1025
    },
    {
      "epoch": 13.68,
      "grad_norm": 0.8112136721611023,
      "learning_rate": 5e-05,
      "loss": 0.0318,
      "step": 1026
    },
    {
      "epoch": 13.693333333333333,
      "grad_norm": 0.7789561748504639,
      "learning_rate": 5e-05,
      "loss": 0.0299,
      "step": 1027
    },
    {
      "epoch": 13.706666666666667,
      "grad_norm": 1.844854474067688,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 1028
    },
    {
      "epoch": 13.72,
      "grad_norm": 0.8226414918899536,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 1029
    },
    {
      "epoch": 13.733333333333333,
      "grad_norm": 0.7542392015457153,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1030
    },
    {
      "epoch": 13.746666666666666,
      "grad_norm": 0.6149208545684814,
      "learning_rate": 5e-05,
      "loss": 0.0303,
      "step": 1031
    },
    {
      "epoch": 13.76,
      "grad_norm": 1.2699788808822632,
      "learning_rate": 5e-05,
      "loss": 0.0307,
      "step": 1032
    },
    {
      "epoch": 13.773333333333333,
      "grad_norm": 1.2219479084014893,
      "learning_rate": 5e-05,
      "loss": 0.0258,
      "step": 1033
    },
    {
      "epoch": 13.786666666666667,
      "grad_norm": 1.773316740989685,
      "learning_rate": 5e-05,
      "loss": 0.0412,
      "step": 1034
    },
    {
      "epoch": 13.8,
      "grad_norm": 1.2871956825256348,
      "learning_rate": 5e-05,
      "loss": 0.0324,
      "step": 1035
    },
    {
      "epoch": 13.813333333333333,
      "grad_norm": 1.363955020904541,
      "learning_rate": 5e-05,
      "loss": 0.0256,
      "step": 1036
    },
    {
      "epoch": 13.826666666666666,
      "grad_norm": 1.7466106414794922,
      "learning_rate": 5e-05,
      "loss": 0.029,
      "step": 1037
    },
    {
      "epoch": 13.84,
      "grad_norm": 1.1464310884475708,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1038
    },
    {
      "epoch": 13.853333333333333,
      "grad_norm": 1.3707972764968872,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1039
    },
    {
      "epoch": 13.866666666666667,
      "grad_norm": 1.7920732498168945,
      "learning_rate": 5e-05,
      "loss": 0.0445,
      "step": 1040
    },
    {
      "epoch": 13.88,
      "grad_norm": 1.0182090997695923,
      "learning_rate": 5e-05,
      "loss": 0.0361,
      "step": 1041
    },
    {
      "epoch": 13.893333333333333,
      "grad_norm": 0.6617705821990967,
      "learning_rate": 5e-05,
      "loss": 0.0241,
      "step": 1042
    },
    {
      "epoch": 13.906666666666666,
      "grad_norm": 0.7498663663864136,
      "learning_rate": 5e-05,
      "loss": 0.03,
      "step": 1043
    },
    {
      "epoch": 13.92,
      "grad_norm": 1.7384990453720093,
      "learning_rate": 5e-05,
      "loss": 0.0378,
      "step": 1044
    },
    {
      "epoch": 13.933333333333334,
      "grad_norm": 0.8279744982719421,
      "learning_rate": 5e-05,
      "loss": 0.0293,
      "step": 1045
    },
    {
      "epoch": 13.946666666666667,
      "grad_norm": 1.119629144668579,
      "learning_rate": 5e-05,
      "loss": 0.0384,
      "step": 1046
    },
    {
      "epoch": 13.96,
      "grad_norm": 0.8789724111557007,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 1047
    },
    {
      "epoch": 13.973333333333333,
      "grad_norm": 1.3373204469680786,
      "learning_rate": 5e-05,
      "loss": 0.0457,
      "step": 1048
    },
    {
      "epoch": 13.986666666666666,
      "grad_norm": 0.8680039644241333,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 1049
    },
    {
      "epoch": 14.0,
      "grad_norm": 1.2504737377166748,
      "learning_rate": 5e-05,
      "loss": 0.0241,
      "step": 1050
    },
    {
      "epoch": 14.013333333333334,
      "grad_norm": 0.9575602412223816,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 1051
    },
    {
      "epoch": 14.026666666666667,
      "grad_norm": 1.0011835098266602,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 1052
    },
    {
      "epoch": 14.04,
      "grad_norm": 0.6903290152549744,
      "learning_rate": 5e-05,
      "loss": 0.0255,
      "step": 1053
    },
    {
      "epoch": 14.053333333333333,
      "grad_norm": 0.6997407078742981,
      "learning_rate": 5e-05,
      "loss": 0.0283,
      "step": 1054
    },
    {
      "epoch": 14.066666666666666,
      "grad_norm": 0.5487696528434753,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1055
    },
    {
      "epoch": 14.08,
      "grad_norm": 0.8694429993629456,
      "learning_rate": 5e-05,
      "loss": 0.0191,
      "step": 1056
    },
    {
      "epoch": 14.093333333333334,
      "grad_norm": 0.6150205731391907,
      "learning_rate": 5e-05,
      "loss": 0.0211,
      "step": 1057
    },
    {
      "epoch": 14.106666666666667,
      "grad_norm": 0.6140570640563965,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 1058
    },
    {
      "epoch": 14.12,
      "grad_norm": 1.0661660432815552,
      "learning_rate": 5e-05,
      "loss": 0.0203,
      "step": 1059
    },
    {
      "epoch": 14.133333333333333,
      "grad_norm": 1.3609338998794556,
      "learning_rate": 5e-05,
      "loss": 0.0341,
      "step": 1060
    },
    {
      "epoch": 14.146666666666667,
      "grad_norm": 1.128989815711975,
      "learning_rate": 5e-05,
      "loss": 0.0269,
      "step": 1061
    },
    {
      "epoch": 14.16,
      "grad_norm": 1.7678245306015015,
      "learning_rate": 5e-05,
      "loss": 0.0459,
      "step": 1062
    },
    {
      "epoch": 14.173333333333334,
      "grad_norm": 0.7033216953277588,
      "learning_rate": 5e-05,
      "loss": 0.026,
      "step": 1063
    },
    {
      "epoch": 14.186666666666667,
      "grad_norm": 2.7542712688446045,
      "learning_rate": 5e-05,
      "loss": 0.0452,
      "step": 1064
    },
    {
      "epoch": 14.2,
      "grad_norm": 1.2025110721588135,
      "learning_rate": 5e-05,
      "loss": 0.0164,
      "step": 1065
    },
    {
      "epoch": 14.213333333333333,
      "grad_norm": 0.9639080166816711,
      "learning_rate": 5e-05,
      "loss": 0.022,
      "step": 1066
    },
    {
      "epoch": 14.226666666666667,
      "grad_norm": 1.1895710229873657,
      "learning_rate": 5e-05,
      "loss": 0.0228,
      "step": 1067
    },
    {
      "epoch": 14.24,
      "grad_norm": 0.8251201510429382,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1068
    },
    {
      "epoch": 14.253333333333334,
      "grad_norm": 0.9155835509300232,
      "learning_rate": 5e-05,
      "loss": 0.0262,
      "step": 1069
    },
    {
      "epoch": 14.266666666666667,
      "grad_norm": 1.3057403564453125,
      "learning_rate": 5e-05,
      "loss": 0.0334,
      "step": 1070
    },
    {
      "epoch": 14.28,
      "grad_norm": 1.106070637702942,
      "learning_rate": 5e-05,
      "loss": 0.0264,
      "step": 1071
    },
    {
      "epoch": 14.293333333333333,
      "grad_norm": 1.0134159326553345,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 1072
    },
    {
      "epoch": 14.306666666666667,
      "grad_norm": 1.0452053546905518,
      "learning_rate": 5e-05,
      "loss": 0.0211,
      "step": 1073
    },
    {
      "epoch": 14.32,
      "grad_norm": 0.6434504389762878,
      "learning_rate": 5e-05,
      "loss": 0.0226,
      "step": 1074
    },
    {
      "epoch": 14.333333333333334,
      "grad_norm": 1.766873836517334,
      "learning_rate": 5e-05,
      "loss": 0.0236,
      "step": 1075
    },
    {
      "epoch": 14.346666666666668,
      "grad_norm": 1.0614206790924072,
      "learning_rate": 5e-05,
      "loss": 0.0324,
      "step": 1076
    },
    {
      "epoch": 14.36,
      "grad_norm": 1.6864813566207886,
      "learning_rate": 5e-05,
      "loss": 0.0321,
      "step": 1077
    },
    {
      "epoch": 14.373333333333333,
      "grad_norm": 1.5816500186920166,
      "learning_rate": 5e-05,
      "loss": 0.0435,
      "step": 1078
    },
    {
      "epoch": 14.386666666666667,
      "grad_norm": 0.7199922800064087,
      "learning_rate": 5e-05,
      "loss": 0.0164,
      "step": 1079
    },
    {
      "epoch": 14.4,
      "grad_norm": 1.603300929069519,
      "learning_rate": 5e-05,
      "loss": 0.0311,
      "step": 1080
    },
    {
      "epoch": 14.413333333333334,
      "grad_norm": 2.311041831970215,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1081
    },
    {
      "epoch": 14.426666666666666,
      "grad_norm": 1.099531650543213,
      "learning_rate": 5e-05,
      "loss": 0.0213,
      "step": 1082
    },
    {
      "epoch": 14.44,
      "grad_norm": 0.5934815406799316,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1083
    },
    {
      "epoch": 14.453333333333333,
      "grad_norm": 0.7469717860221863,
      "learning_rate": 5e-05,
      "loss": 0.0313,
      "step": 1084
    },
    {
      "epoch": 14.466666666666667,
      "grad_norm": 1.4874294996261597,
      "learning_rate": 5e-05,
      "loss": 0.0306,
      "step": 1085
    },
    {
      "epoch": 14.48,
      "grad_norm": 1.5687787532806396,
      "learning_rate": 5e-05,
      "loss": 0.0212,
      "step": 1086
    },
    {
      "epoch": 14.493333333333334,
      "grad_norm": 0.6010351777076721,
      "learning_rate": 5e-05,
      "loss": 0.0274,
      "step": 1087
    },
    {
      "epoch": 14.506666666666666,
      "grad_norm": 1.0141561031341553,
      "learning_rate": 5e-05,
      "loss": 0.03,
      "step": 1088
    },
    {
      "epoch": 14.52,
      "grad_norm": 1.819748044013977,
      "learning_rate": 5e-05,
      "loss": 0.0266,
      "step": 1089
    },
    {
      "epoch": 14.533333333333333,
      "grad_norm": 0.4848414957523346,
      "learning_rate": 5e-05,
      "loss": 0.0215,
      "step": 1090
    },
    {
      "epoch": 14.546666666666667,
      "grad_norm": 0.753628671169281,
      "learning_rate": 5e-05,
      "loss": 0.0305,
      "step": 1091
    },
    {
      "epoch": 14.56,
      "grad_norm": 0.7498197555541992,
      "learning_rate": 5e-05,
      "loss": 0.0308,
      "step": 1092
    },
    {
      "epoch": 14.573333333333334,
      "grad_norm": 0.4876028001308441,
      "learning_rate": 5e-05,
      "loss": 0.0268,
      "step": 1093
    },
    {
      "epoch": 14.586666666666666,
      "grad_norm": 1.3728423118591309,
      "learning_rate": 5e-05,
      "loss": 0.0224,
      "step": 1094
    },
    {
      "epoch": 14.6,
      "grad_norm": 0.866471529006958,
      "learning_rate": 5e-05,
      "loss": 0.0273,
      "step": 1095
    },
    {
      "epoch": 14.613333333333333,
      "grad_norm": 0.7188490033149719,
      "learning_rate": 5e-05,
      "loss": 0.0259,
      "step": 1096
    },
    {
      "epoch": 14.626666666666667,
      "grad_norm": 1.4692695140838623,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 1097
    },
    {
      "epoch": 14.64,
      "grad_norm": 0.831988513469696,
      "learning_rate": 5e-05,
      "loss": 0.0313,
      "step": 1098
    },
    {
      "epoch": 14.653333333333332,
      "grad_norm": 0.5938396453857422,
      "learning_rate": 5e-05,
      "loss": 0.0236,
      "step": 1099
    },
    {
      "epoch": 14.666666666666666,
      "grad_norm": 0.8736293315887451,
      "learning_rate": 5e-05,
      "loss": 0.0314,
      "step": 1100
    },
    {
      "epoch": 14.68,
      "grad_norm": 0.9222400784492493,
      "learning_rate": 5e-05,
      "loss": 0.0276,
      "step": 1101
    },
    {
      "epoch": 14.693333333333333,
      "grad_norm": 1.7295076847076416,
      "learning_rate": 5e-05,
      "loss": 0.0236,
      "step": 1102
    },
    {
      "epoch": 14.706666666666667,
      "grad_norm": 1.8838032484054565,
      "learning_rate": 5e-05,
      "loss": 0.0316,
      "step": 1103
    },
    {
      "epoch": 14.72,
      "grad_norm": 0.668241560459137,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1104
    },
    {
      "epoch": 14.733333333333333,
      "grad_norm": 0.7326180934906006,
      "learning_rate": 5e-05,
      "loss": 0.0267,
      "step": 1105
    },
    {
      "epoch": 14.746666666666666,
      "grad_norm": 0.8134192228317261,
      "learning_rate": 5e-05,
      "loss": 0.0223,
      "step": 1106
    },
    {
      "epoch": 14.76,
      "grad_norm": 1.9081531763076782,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1107
    },
    {
      "epoch": 14.773333333333333,
      "grad_norm": 0.514102578163147,
      "learning_rate": 5e-05,
      "loss": 0.0269,
      "step": 1108
    },
    {
      "epoch": 14.786666666666667,
      "grad_norm": 2.1125869750976562,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 1109
    },
    {
      "epoch": 14.8,
      "grad_norm": 1.4485634565353394,
      "learning_rate": 5e-05,
      "loss": 0.0307,
      "step": 1110
    },
    {
      "epoch": 14.813333333333333,
      "grad_norm": 1.4842840433120728,
      "learning_rate": 5e-05,
      "loss": 0.0492,
      "step": 1111
    },
    {
      "epoch": 14.826666666666666,
      "grad_norm": 1.037920355796814,
      "learning_rate": 5e-05,
      "loss": 0.0347,
      "step": 1112
    },
    {
      "epoch": 14.84,
      "grad_norm": 2.209106683731079,
      "learning_rate": 5e-05,
      "loss": 0.0339,
      "step": 1113
    },
    {
      "epoch": 14.853333333333333,
      "grad_norm": 1.191952109336853,
      "learning_rate": 5e-05,
      "loss": 0.0321,
      "step": 1114
    },
    {
      "epoch": 14.866666666666667,
      "grad_norm": 0.8234140276908875,
      "learning_rate": 5e-05,
      "loss": 0.022,
      "step": 1115
    },
    {
      "epoch": 14.88,
      "grad_norm": 2.3577651977539062,
      "learning_rate": 5e-05,
      "loss": 0.0297,
      "step": 1116
    },
    {
      "epoch": 14.893333333333333,
      "grad_norm": 1.0339092016220093,
      "learning_rate": 5e-05,
      "loss": 0.0322,
      "step": 1117
    },
    {
      "epoch": 14.906666666666666,
      "grad_norm": 0.6815767884254456,
      "learning_rate": 5e-05,
      "loss": 0.0266,
      "step": 1118
    },
    {
      "epoch": 14.92,
      "grad_norm": 0.6235224604606628,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1119
    },
    {
      "epoch": 14.933333333333334,
      "grad_norm": 2.8699610233306885,
      "learning_rate": 5e-05,
      "loss": 0.0357,
      "step": 1120
    },
    {
      "epoch": 14.946666666666667,
      "grad_norm": 1.1835827827453613,
      "learning_rate": 5e-05,
      "loss": 0.0201,
      "step": 1121
    },
    {
      "epoch": 14.96,
      "grad_norm": 0.9938316941261292,
      "learning_rate": 5e-05,
      "loss": 0.032,
      "step": 1122
    },
    {
      "epoch": 14.973333333333333,
      "grad_norm": 0.6389616131782532,
      "learning_rate": 5e-05,
      "loss": 0.0232,
      "step": 1123
    },
    {
      "epoch": 14.986666666666666,
      "grad_norm": 1.0909383296966553,
      "learning_rate": 5e-05,
      "loss": 0.0259,
      "step": 1124
    },
    {
      "epoch": 15.0,
      "grad_norm": 0.5817322134971619,
      "learning_rate": 5e-05,
      "loss": 0.0269,
      "step": 1125
    },
    {
      "epoch": 15.013333333333334,
      "grad_norm": 0.5194475650787354,
      "learning_rate": 5e-05,
      "loss": 0.0219,
      "step": 1126
    },
    {
      "epoch": 15.026666666666667,
      "grad_norm": 0.714329719543457,
      "learning_rate": 5e-05,
      "loss": 0.0264,
      "step": 1127
    },
    {
      "epoch": 15.04,
      "grad_norm": 0.8205890655517578,
      "learning_rate": 5e-05,
      "loss": 0.0204,
      "step": 1128
    },
    {
      "epoch": 15.053333333333333,
      "grad_norm": 0.6385941505432129,
      "learning_rate": 5e-05,
      "loss": 0.0219,
      "step": 1129
    },
    {
      "epoch": 15.066666666666666,
      "grad_norm": 0.5950105786323547,
      "learning_rate": 5e-05,
      "loss": 0.0197,
      "step": 1130
    },
    {
      "epoch": 15.08,
      "grad_norm": 1.9604828357696533,
      "learning_rate": 5e-05,
      "loss": 0.0277,
      "step": 1131
    },
    {
      "epoch": 15.093333333333334,
      "grad_norm": 1.4994724988937378,
      "learning_rate": 5e-05,
      "loss": 0.0238,
      "step": 1132
    },
    {
      "epoch": 15.106666666666667,
      "grad_norm": 1.150612473487854,
      "learning_rate": 5e-05,
      "loss": 0.0245,
      "step": 1133
    },
    {
      "epoch": 15.12,
      "grad_norm": 0.48358869552612305,
      "learning_rate": 5e-05,
      "loss": 0.0162,
      "step": 1134
    },
    {
      "epoch": 15.133333333333333,
      "grad_norm": 0.9049088358879089,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 1135
    },
    {
      "epoch": 15.146666666666667,
      "grad_norm": 0.7023703455924988,
      "learning_rate": 5e-05,
      "loss": 0.0263,
      "step": 1136
    },
    {
      "epoch": 15.16,
      "grad_norm": 0.9165419936180115,
      "learning_rate": 5e-05,
      "loss": 0.0205,
      "step": 1137
    },
    {
      "epoch": 15.173333333333334,
      "grad_norm": 1.5160181522369385,
      "learning_rate": 5e-05,
      "loss": 0.0226,
      "step": 1138
    },
    {
      "epoch": 15.186666666666667,
      "grad_norm": 0.4632417857646942,
      "learning_rate": 5e-05,
      "loss": 0.0225,
      "step": 1139
    },
    {
      "epoch": 15.2,
      "grad_norm": 0.9290808439254761,
      "learning_rate": 5e-05,
      "loss": 0.0216,
      "step": 1140
    },
    {
      "epoch": 15.213333333333333,
      "grad_norm": 0.9636831283569336,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1141
    },
    {
      "epoch": 15.226666666666667,
      "grad_norm": 3.5886924266815186,
      "learning_rate": 5e-05,
      "loss": 0.0354,
      "step": 1142
    },
    {
      "epoch": 15.24,
      "grad_norm": 1.7856680154800415,
      "learning_rate": 5e-05,
      "loss": 0.0314,
      "step": 1143
    },
    {
      "epoch": 15.253333333333334,
      "grad_norm": 1.022601842880249,
      "learning_rate": 5e-05,
      "loss": 0.0313,
      "step": 1144
    },
    {
      "epoch": 15.266666666666667,
      "grad_norm": 1.2665605545043945,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1145
    },
    {
      "epoch": 15.28,
      "grad_norm": 0.7194769382476807,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1146
    },
    {
      "epoch": 15.293333333333333,
      "grad_norm": 1.1286187171936035,
      "learning_rate": 5e-05,
      "loss": 0.02,
      "step": 1147
    },
    {
      "epoch": 15.306666666666667,
      "grad_norm": 1.1223784685134888,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 1148
    },
    {
      "epoch": 15.32,
      "grad_norm": 0.8482850193977356,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 1149
    },
    {
      "epoch": 15.333333333333334,
      "grad_norm": 1.7698235511779785,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 1150
    },
    {
      "epoch": 15.346666666666668,
      "grad_norm": 0.9299769997596741,
      "learning_rate": 5e-05,
      "loss": 0.0215,
      "step": 1151
    },
    {
      "epoch": 15.36,
      "grad_norm": 1.296079397201538,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 1152
    },
    {
      "epoch": 15.373333333333333,
      "grad_norm": 1.448467493057251,
      "learning_rate": 5e-05,
      "loss": 0.0359,
      "step": 1153
    },
    {
      "epoch": 15.386666666666667,
      "grad_norm": 1.0598818063735962,
      "learning_rate": 5e-05,
      "loss": 0.0181,
      "step": 1154
    },
    {
      "epoch": 15.4,
      "grad_norm": 0.5659708380699158,
      "learning_rate": 5e-05,
      "loss": 0.0173,
      "step": 1155
    },
    {
      "epoch": 15.413333333333334,
      "grad_norm": 0.9423542022705078,
      "learning_rate": 5e-05,
      "loss": 0.0251,
      "step": 1156
    },
    {
      "epoch": 15.426666666666666,
      "grad_norm": 1.3272514343261719,
      "learning_rate": 5e-05,
      "loss": 0.0226,
      "step": 1157
    },
    {
      "epoch": 15.44,
      "grad_norm": 1.8069791793823242,
      "learning_rate": 5e-05,
      "loss": 0.0291,
      "step": 1158
    },
    {
      "epoch": 15.453333333333333,
      "grad_norm": 0.8562222123146057,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 1159
    },
    {
      "epoch": 15.466666666666667,
      "grad_norm": 0.6315947771072388,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1160
    },
    {
      "epoch": 15.48,
      "grad_norm": 1.0742034912109375,
      "learning_rate": 5e-05,
      "loss": 0.0269,
      "step": 1161
    },
    {
      "epoch": 15.493333333333334,
      "grad_norm": 0.8870148658752441,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1162
    },
    {
      "epoch": 15.506666666666666,
      "grad_norm": 1.0800472497940063,
      "learning_rate": 5e-05,
      "loss": 0.0276,
      "step": 1163
    },
    {
      "epoch": 15.52,
      "grad_norm": 1.2624164819717407,
      "learning_rate": 5e-05,
      "loss": 0.0315,
      "step": 1164
    },
    {
      "epoch": 15.533333333333333,
      "grad_norm": 1.9241273403167725,
      "learning_rate": 5e-05,
      "loss": 0.0317,
      "step": 1165
    },
    {
      "epoch": 15.546666666666667,
      "grad_norm": 0.6638510227203369,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 1166
    },
    {
      "epoch": 15.56,
      "grad_norm": 1.080137014389038,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1167
    },
    {
      "epoch": 15.573333333333334,
      "grad_norm": 0.6373670101165771,
      "learning_rate": 5e-05,
      "loss": 0.0225,
      "step": 1168
    },
    {
      "epoch": 15.586666666666666,
      "grad_norm": 1.1642495393753052,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 1169
    },
    {
      "epoch": 15.6,
      "grad_norm": 0.8122469186782837,
      "learning_rate": 5e-05,
      "loss": 0.0255,
      "step": 1170
    },
    {
      "epoch": 15.613333333333333,
      "grad_norm": 0.9350821375846863,
      "learning_rate": 5e-05,
      "loss": 0.0243,
      "step": 1171
    },
    {
      "epoch": 15.626666666666667,
      "grad_norm": 0.2503560483455658,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 1172
    },
    {
      "epoch": 15.64,
      "grad_norm": 0.695875883102417,
      "learning_rate": 5e-05,
      "loss": 0.0239,
      "step": 1173
    },
    {
      "epoch": 15.653333333333332,
      "grad_norm": 1.2200347185134888,
      "learning_rate": 5e-05,
      "loss": 0.0171,
      "step": 1174
    },
    {
      "epoch": 15.666666666666666,
      "grad_norm": 1.4320765733718872,
      "learning_rate": 5e-05,
      "loss": 0.0379,
      "step": 1175
    },
    {
      "epoch": 15.68,
      "grad_norm": 0.5297321677207947,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 1176
    },
    {
      "epoch": 15.693333333333333,
      "grad_norm": 1.1023211479187012,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1177
    },
    {
      "epoch": 15.706666666666667,
      "grad_norm": 1.4973528385162354,
      "learning_rate": 5e-05,
      "loss": 0.0299,
      "step": 1178
    },
    {
      "epoch": 15.72,
      "grad_norm": 1.6697450876235962,
      "learning_rate": 5e-05,
      "loss": 0.0326,
      "step": 1179
    },
    {
      "epoch": 15.733333333333333,
      "grad_norm": 0.7776433229446411,
      "learning_rate": 5e-05,
      "loss": 0.0288,
      "step": 1180
    },
    {
      "epoch": 15.746666666666666,
      "grad_norm": 1.2937417030334473,
      "learning_rate": 5e-05,
      "loss": 0.0296,
      "step": 1181
    },
    {
      "epoch": 15.76,
      "grad_norm": 0.8404781222343445,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 1182
    },
    {
      "epoch": 15.773333333333333,
      "grad_norm": 1.3460218906402588,
      "learning_rate": 5e-05,
      "loss": 0.0263,
      "step": 1183
    },
    {
      "epoch": 15.786666666666667,
      "grad_norm": 0.7351200580596924,
      "learning_rate": 5e-05,
      "loss": 0.0284,
      "step": 1184
    },
    {
      "epoch": 15.8,
      "grad_norm": 0.786925733089447,
      "learning_rate": 5e-05,
      "loss": 0.0262,
      "step": 1185
    },
    {
      "epoch": 15.813333333333333,
      "grad_norm": 1.2125835418701172,
      "learning_rate": 5e-05,
      "loss": 0.0261,
      "step": 1186
    },
    {
      "epoch": 15.826666666666666,
      "grad_norm": 1.2879307270050049,
      "learning_rate": 5e-05,
      "loss": 0.0281,
      "step": 1187
    },
    {
      "epoch": 15.84,
      "grad_norm": 0.5223439931869507,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 1188
    },
    {
      "epoch": 15.853333333333333,
      "grad_norm": 1.5596725940704346,
      "learning_rate": 5e-05,
      "loss": 0.0261,
      "step": 1189
    },
    {
      "epoch": 15.866666666666667,
      "grad_norm": 0.5893502831459045,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 1190
    },
    {
      "epoch": 15.88,
      "grad_norm": 1.0651609897613525,
      "learning_rate": 5e-05,
      "loss": 0.0267,
      "step": 1191
    },
    {
      "epoch": 15.893333333333333,
      "grad_norm": 0.9350767135620117,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1192
    },
    {
      "epoch": 15.906666666666666,
      "grad_norm": 1.5746771097183228,
      "learning_rate": 5e-05,
      "loss": 0.031,
      "step": 1193
    },
    {
      "epoch": 15.92,
      "grad_norm": 0.8513308763504028,
      "learning_rate": 5e-05,
      "loss": 0.0271,
      "step": 1194
    },
    {
      "epoch": 15.933333333333334,
      "grad_norm": 1.602989912033081,
      "learning_rate": 5e-05,
      "loss": 0.0115,
      "step": 1195
    },
    {
      "epoch": 15.946666666666667,
      "grad_norm": 0.7533468008041382,
      "learning_rate": 5e-05,
      "loss": 0.0229,
      "step": 1196
    },
    {
      "epoch": 15.96,
      "grad_norm": 0.6720600128173828,
      "learning_rate": 5e-05,
      "loss": 0.0235,
      "step": 1197
    },
    {
      "epoch": 15.973333333333333,
      "grad_norm": 0.9835032224655151,
      "learning_rate": 5e-05,
      "loss": 0.0308,
      "step": 1198
    },
    {
      "epoch": 15.986666666666666,
      "grad_norm": 1.1177161931991577,
      "learning_rate": 5e-05,
      "loss": 0.0258,
      "step": 1199
    },
    {
      "epoch": 16.0,
      "grad_norm": 0.7458707690238953,
      "learning_rate": 5e-05,
      "loss": 0.0199,
      "step": 1200
    },
    {
      "epoch": 16.013333333333332,
      "grad_norm": 0.5458320379257202,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1201
    },
    {
      "epoch": 16.026666666666667,
      "grad_norm": 0.7006085515022278,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 1202
    },
    {
      "epoch": 16.04,
      "grad_norm": 0.5104414820671082,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1203
    },
    {
      "epoch": 16.053333333333335,
      "grad_norm": 0.5243533253669739,
      "learning_rate": 5e-05,
      "loss": 0.0202,
      "step": 1204
    },
    {
      "epoch": 16.066666666666666,
      "grad_norm": 0.5929422378540039,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 1205
    },
    {
      "epoch": 16.08,
      "grad_norm": 3.3388261795043945,
      "learning_rate": 5e-05,
      "loss": 0.0345,
      "step": 1206
    },
    {
      "epoch": 16.093333333333334,
      "grad_norm": 0.5241329669952393,
      "learning_rate": 5e-05,
      "loss": 0.0125,
      "step": 1207
    },
    {
      "epoch": 16.106666666666666,
      "grad_norm": 0.8955496549606323,
      "learning_rate": 5e-05,
      "loss": 0.0234,
      "step": 1208
    },
    {
      "epoch": 16.12,
      "grad_norm": 1.209211826324463,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 1209
    },
    {
      "epoch": 16.133333333333333,
      "grad_norm": 1.288906216621399,
      "learning_rate": 5e-05,
      "loss": 0.0201,
      "step": 1210
    },
    {
      "epoch": 16.14666666666667,
      "grad_norm": 1.4972145557403564,
      "learning_rate": 5e-05,
      "loss": 0.0274,
      "step": 1211
    },
    {
      "epoch": 16.16,
      "grad_norm": 0.895159900188446,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 1212
    },
    {
      "epoch": 16.173333333333332,
      "grad_norm": 0.9786317944526672,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 1213
    },
    {
      "epoch": 16.186666666666667,
      "grad_norm": 0.9197483062744141,
      "learning_rate": 5e-05,
      "loss": 0.0163,
      "step": 1214
    },
    {
      "epoch": 16.2,
      "grad_norm": 3.2197091579437256,
      "learning_rate": 5e-05,
      "loss": 0.0216,
      "step": 1215
    },
    {
      "epoch": 16.213333333333335,
      "grad_norm": 0.7940748929977417,
      "learning_rate": 5e-05,
      "loss": 0.0219,
      "step": 1216
    },
    {
      "epoch": 16.226666666666667,
      "grad_norm": 0.5550197958946228,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 1217
    },
    {
      "epoch": 16.24,
      "grad_norm": 0.7416572570800781,
      "learning_rate": 5e-05,
      "loss": 0.0175,
      "step": 1218
    },
    {
      "epoch": 16.253333333333334,
      "grad_norm": 0.6336642503738403,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 1219
    },
    {
      "epoch": 16.266666666666666,
      "grad_norm": 1.1767868995666504,
      "learning_rate": 5e-05,
      "loss": 0.0235,
      "step": 1220
    },
    {
      "epoch": 16.28,
      "grad_norm": 1.168578028678894,
      "learning_rate": 5e-05,
      "loss": 0.0296,
      "step": 1221
    },
    {
      "epoch": 16.293333333333333,
      "grad_norm": 0.7691121697425842,
      "learning_rate": 5e-05,
      "loss": 0.0191,
      "step": 1222
    },
    {
      "epoch": 16.306666666666665,
      "grad_norm": 0.4615907371044159,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 1223
    },
    {
      "epoch": 16.32,
      "grad_norm": 0.8144834041595459,
      "learning_rate": 5e-05,
      "loss": 0.0207,
      "step": 1224
    },
    {
      "epoch": 16.333333333333332,
      "grad_norm": 0.5396506190299988,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 1225
    },
    {
      "epoch": 16.346666666666668,
      "grad_norm": 0.6971701383590698,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1226
    },
    {
      "epoch": 16.36,
      "grad_norm": 0.6976144313812256,
      "learning_rate": 5e-05,
      "loss": 0.0172,
      "step": 1227
    },
    {
      "epoch": 16.373333333333335,
      "grad_norm": 0.9580062627792358,
      "learning_rate": 5e-05,
      "loss": 0.0217,
      "step": 1228
    },
    {
      "epoch": 16.386666666666667,
      "grad_norm": 0.8864527344703674,
      "learning_rate": 5e-05,
      "loss": 0.0276,
      "step": 1229
    },
    {
      "epoch": 16.4,
      "grad_norm": 1.0126475095748901,
      "learning_rate": 5e-05,
      "loss": 0.0233,
      "step": 1230
    },
    {
      "epoch": 16.413333333333334,
      "grad_norm": 0.814918041229248,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 1231
    },
    {
      "epoch": 16.426666666666666,
      "grad_norm": 1.2942346334457397,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 1232
    },
    {
      "epoch": 16.44,
      "grad_norm": 2.5877628326416016,
      "learning_rate": 5e-05,
      "loss": 0.0409,
      "step": 1233
    },
    {
      "epoch": 16.453333333333333,
      "grad_norm": 1.1273020505905151,
      "learning_rate": 5e-05,
      "loss": 0.0155,
      "step": 1234
    },
    {
      "epoch": 16.466666666666665,
      "grad_norm": 0.6591518521308899,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1235
    },
    {
      "epoch": 16.48,
      "grad_norm": 1.5643317699432373,
      "learning_rate": 5e-05,
      "loss": 0.0302,
      "step": 1236
    },
    {
      "epoch": 16.493333333333332,
      "grad_norm": 3.4647440910339355,
      "learning_rate": 5e-05,
      "loss": 0.0263,
      "step": 1237
    },
    {
      "epoch": 16.506666666666668,
      "grad_norm": 1.4467960596084595,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 1238
    },
    {
      "epoch": 16.52,
      "grad_norm": 0.5916150212287903,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1239
    },
    {
      "epoch": 16.533333333333335,
      "grad_norm": 1.295413613319397,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 1240
    },
    {
      "epoch": 16.546666666666667,
      "grad_norm": 0.8029200434684753,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 1241
    },
    {
      "epoch": 16.56,
      "grad_norm": 1.2211257219314575,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1242
    },
    {
      "epoch": 16.573333333333334,
      "grad_norm": 0.5788500308990479,
      "learning_rate": 5e-05,
      "loss": 0.0177,
      "step": 1243
    },
    {
      "epoch": 16.586666666666666,
      "grad_norm": 1.3101656436920166,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 1244
    },
    {
      "epoch": 16.6,
      "grad_norm": 0.8052251935005188,
      "learning_rate": 5e-05,
      "loss": 0.0194,
      "step": 1245
    },
    {
      "epoch": 16.613333333333333,
      "grad_norm": 0.9254873394966125,
      "learning_rate": 5e-05,
      "loss": 0.0224,
      "step": 1246
    },
    {
      "epoch": 16.626666666666665,
      "grad_norm": 2.030606746673584,
      "learning_rate": 5e-05,
      "loss": 0.0205,
      "step": 1247
    },
    {
      "epoch": 16.64,
      "grad_norm": 0.5902377963066101,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 1248
    },
    {
      "epoch": 16.653333333333332,
      "grad_norm": 2.824500322341919,
      "learning_rate": 5e-05,
      "loss": 0.0549,
      "step": 1249
    },
    {
      "epoch": 16.666666666666668,
      "grad_norm": 1.3221631050109863,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 1250
    },
    {
      "epoch": 16.68,
      "grad_norm": 0.7293440699577332,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1251
    },
    {
      "epoch": 16.693333333333335,
      "grad_norm": 0.7741032838821411,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 1252
    },
    {
      "epoch": 16.706666666666667,
      "grad_norm": 0.6451069116592407,
      "learning_rate": 5e-05,
      "loss": 0.0193,
      "step": 1253
    },
    {
      "epoch": 16.72,
      "grad_norm": 1.4867926836013794,
      "learning_rate": 5e-05,
      "loss": 0.0251,
      "step": 1254
    },
    {
      "epoch": 16.733333333333334,
      "grad_norm": 1.0433344841003418,
      "learning_rate": 5e-05,
      "loss": 0.0291,
      "step": 1255
    },
    {
      "epoch": 16.746666666666666,
      "grad_norm": 1.2565973997116089,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1256
    },
    {
      "epoch": 16.76,
      "grad_norm": 1.0887707471847534,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 1257
    },
    {
      "epoch": 16.773333333333333,
      "grad_norm": 0.9131329655647278,
      "learning_rate": 5e-05,
      "loss": 0.03,
      "step": 1258
    },
    {
      "epoch": 16.786666666666665,
      "grad_norm": 1.6264084577560425,
      "learning_rate": 5e-05,
      "loss": 0.0267,
      "step": 1259
    },
    {
      "epoch": 16.8,
      "grad_norm": 1.2560964822769165,
      "learning_rate": 5e-05,
      "loss": 0.0251,
      "step": 1260
    },
    {
      "epoch": 16.813333333333333,
      "grad_norm": 1.5536085367202759,
      "learning_rate": 5e-05,
      "loss": 0.0333,
      "step": 1261
    },
    {
      "epoch": 16.826666666666668,
      "grad_norm": 0.6729118227958679,
      "learning_rate": 5e-05,
      "loss": 0.028,
      "step": 1262
    },
    {
      "epoch": 16.84,
      "grad_norm": 1.2888816595077515,
      "learning_rate": 5e-05,
      "loss": 0.0259,
      "step": 1263
    },
    {
      "epoch": 16.85333333333333,
      "grad_norm": 1.019743800163269,
      "learning_rate": 5e-05,
      "loss": 0.0266,
      "step": 1264
    },
    {
      "epoch": 16.866666666666667,
      "grad_norm": 1.1098157167434692,
      "learning_rate": 5e-05,
      "loss": 0.0314,
      "step": 1265
    },
    {
      "epoch": 16.88,
      "grad_norm": 0.9269315600395203,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 1266
    },
    {
      "epoch": 16.893333333333334,
      "grad_norm": 0.8421787619590759,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1267
    },
    {
      "epoch": 16.906666666666666,
      "grad_norm": 0.8755340576171875,
      "learning_rate": 5e-05,
      "loss": 0.0237,
      "step": 1268
    },
    {
      "epoch": 16.92,
      "grad_norm": 1.2826073169708252,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 1269
    },
    {
      "epoch": 16.933333333333334,
      "grad_norm": 2.118381977081299,
      "learning_rate": 5e-05,
      "loss": 0.0245,
      "step": 1270
    },
    {
      "epoch": 16.946666666666665,
      "grad_norm": 0.4612305462360382,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1271
    },
    {
      "epoch": 16.96,
      "grad_norm": 0.8836535215377808,
      "learning_rate": 5e-05,
      "loss": 0.0146,
      "step": 1272
    },
    {
      "epoch": 16.973333333333333,
      "grad_norm": 1.6400096416473389,
      "learning_rate": 5e-05,
      "loss": 0.028,
      "step": 1273
    },
    {
      "epoch": 16.986666666666668,
      "grad_norm": 0.9790554046630859,
      "learning_rate": 5e-05,
      "loss": 0.0252,
      "step": 1274
    },
    {
      "epoch": 17.0,
      "grad_norm": 0.6486406326293945,
      "learning_rate": 5e-05,
      "loss": 0.0215,
      "step": 1275
    },
    {
      "epoch": 17.013333333333332,
      "grad_norm": 1.851447582244873,
      "learning_rate": 5e-05,
      "loss": 0.0148,
      "step": 1276
    },
    {
      "epoch": 17.026666666666667,
      "grad_norm": 0.8564110398292542,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 1277
    },
    {
      "epoch": 17.04,
      "grad_norm": 1.3603805303573608,
      "learning_rate": 5e-05,
      "loss": 0.0204,
      "step": 1278
    },
    {
      "epoch": 17.053333333333335,
      "grad_norm": 0.738102376461029,
      "learning_rate": 5e-05,
      "loss": 0.0185,
      "step": 1279
    },
    {
      "epoch": 17.066666666666666,
      "grad_norm": 0.641768753528595,
      "learning_rate": 5e-05,
      "loss": 0.0158,
      "step": 1280
    },
    {
      "epoch": 17.08,
      "grad_norm": 0.8192396759986877,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1281
    },
    {
      "epoch": 17.093333333333334,
      "grad_norm": 0.5177478790283203,
      "learning_rate": 5e-05,
      "loss": 0.0154,
      "step": 1282
    },
    {
      "epoch": 17.106666666666666,
      "grad_norm": 0.9962120056152344,
      "learning_rate": 5e-05,
      "loss": 0.0252,
      "step": 1283
    },
    {
      "epoch": 17.12,
      "grad_norm": 1.3142801523208618,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 1284
    },
    {
      "epoch": 17.133333333333333,
      "grad_norm": 1.89609694480896,
      "learning_rate": 5e-05,
      "loss": 0.0194,
      "step": 1285
    },
    {
      "epoch": 17.14666666666667,
      "grad_norm": 4.208120346069336,
      "learning_rate": 5e-05,
      "loss": 0.0233,
      "step": 1286
    },
    {
      "epoch": 17.16,
      "grad_norm": 0.9356346130371094,
      "learning_rate": 5e-05,
      "loss": 0.0188,
      "step": 1287
    },
    {
      "epoch": 17.173333333333332,
      "grad_norm": 1.6268579959869385,
      "learning_rate": 5e-05,
      "loss": 0.0225,
      "step": 1288
    },
    {
      "epoch": 17.186666666666667,
      "grad_norm": 1.111055850982666,
      "learning_rate": 5e-05,
      "loss": 0.0232,
      "step": 1289
    },
    {
      "epoch": 17.2,
      "grad_norm": 0.5538979172706604,
      "learning_rate": 5e-05,
      "loss": 0.0167,
      "step": 1290
    },
    {
      "epoch": 17.213333333333335,
      "grad_norm": 1.223741054534912,
      "learning_rate": 5e-05,
      "loss": 0.0144,
      "step": 1291
    },
    {
      "epoch": 17.226666666666667,
      "grad_norm": 1.1577728986740112,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1292
    },
    {
      "epoch": 17.24,
      "grad_norm": 0.7897547483444214,
      "learning_rate": 5e-05,
      "loss": 0.0241,
      "step": 1293
    },
    {
      "epoch": 17.253333333333334,
      "grad_norm": 2.1296961307525635,
      "learning_rate": 5e-05,
      "loss": 0.0358,
      "step": 1294
    },
    {
      "epoch": 17.266666666666666,
      "grad_norm": 0.8219303488731384,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1295
    },
    {
      "epoch": 17.28,
      "grad_norm": 0.8672080636024475,
      "learning_rate": 5e-05,
      "loss": 0.0129,
      "step": 1296
    },
    {
      "epoch": 17.293333333333333,
      "grad_norm": 1.297871470451355,
      "learning_rate": 5e-05,
      "loss": 0.0239,
      "step": 1297
    },
    {
      "epoch": 17.306666666666665,
      "grad_norm": 1.8332204818725586,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1298
    },
    {
      "epoch": 17.32,
      "grad_norm": 1.174450159072876,
      "learning_rate": 5e-05,
      "loss": 0.0155,
      "step": 1299
    },
    {
      "epoch": 17.333333333333332,
      "grad_norm": 0.8875411748886108,
      "learning_rate": 5e-05,
      "loss": 0.0233,
      "step": 1300
    },
    {
      "epoch": 17.346666666666668,
      "grad_norm": 0.8543311953544617,
      "learning_rate": 5e-05,
      "loss": 0.0213,
      "step": 1301
    },
    {
      "epoch": 17.36,
      "grad_norm": 1.8124293088912964,
      "learning_rate": 5e-05,
      "loss": 0.0315,
      "step": 1302
    },
    {
      "epoch": 17.373333333333335,
      "grad_norm": 0.8055273294448853,
      "learning_rate": 5e-05,
      "loss": 0.0208,
      "step": 1303
    },
    {
      "epoch": 17.386666666666667,
      "grad_norm": 0.7720450162887573,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1304
    },
    {
      "epoch": 17.4,
      "grad_norm": 0.6031418442726135,
      "learning_rate": 5e-05,
      "loss": 0.0205,
      "step": 1305
    },
    {
      "epoch": 17.413333333333334,
      "grad_norm": 1.1001255512237549,
      "learning_rate": 5e-05,
      "loss": 0.0164,
      "step": 1306
    },
    {
      "epoch": 17.426666666666666,
      "grad_norm": 0.6026609539985657,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1307
    },
    {
      "epoch": 17.44,
      "grad_norm": 1.1914161443710327,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 1308
    },
    {
      "epoch": 17.453333333333333,
      "grad_norm": 1.2457067966461182,
      "learning_rate": 5e-05,
      "loss": 0.0316,
      "step": 1309
    },
    {
      "epoch": 17.466666666666665,
      "grad_norm": 1.3972185850143433,
      "learning_rate": 5e-05,
      "loss": 0.0275,
      "step": 1310
    },
    {
      "epoch": 17.48,
      "grad_norm": 0.9979528188705444,
      "learning_rate": 5e-05,
      "loss": 0.0199,
      "step": 1311
    },
    {
      "epoch": 17.493333333333332,
      "grad_norm": 1.0057096481323242,
      "learning_rate": 5e-05,
      "loss": 0.0227,
      "step": 1312
    },
    {
      "epoch": 17.506666666666668,
      "grad_norm": 0.8360955119132996,
      "learning_rate": 5e-05,
      "loss": 0.0289,
      "step": 1313
    },
    {
      "epoch": 17.52,
      "grad_norm": 0.6809808611869812,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 1314
    },
    {
      "epoch": 17.533333333333335,
      "grad_norm": 1.0216562747955322,
      "learning_rate": 5e-05,
      "loss": 0.0196,
      "step": 1315
    },
    {
      "epoch": 17.546666666666667,
      "grad_norm": 1.7770594358444214,
      "learning_rate": 5e-05,
      "loss": 0.0438,
      "step": 1316
    },
    {
      "epoch": 17.56,
      "grad_norm": 0.5518591403961182,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1317
    },
    {
      "epoch": 17.573333333333334,
      "grad_norm": 1.31163489818573,
      "learning_rate": 5e-05,
      "loss": 0.0332,
      "step": 1318
    },
    {
      "epoch": 17.586666666666666,
      "grad_norm": 2.333735227584839,
      "learning_rate": 5e-05,
      "loss": 0.0396,
      "step": 1319
    },
    {
      "epoch": 17.6,
      "grad_norm": 1.0109432935714722,
      "learning_rate": 5e-05,
      "loss": 0.0292,
      "step": 1320
    },
    {
      "epoch": 17.613333333333333,
      "grad_norm": 1.2029491662979126,
      "learning_rate": 5e-05,
      "loss": 0.0271,
      "step": 1321
    },
    {
      "epoch": 17.626666666666665,
      "grad_norm": 0.9376161694526672,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1322
    },
    {
      "epoch": 17.64,
      "grad_norm": 0.801936686038971,
      "learning_rate": 5e-05,
      "loss": 0.0268,
      "step": 1323
    },
    {
      "epoch": 17.653333333333332,
      "grad_norm": 1.370958685874939,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 1324
    },
    {
      "epoch": 17.666666666666668,
      "grad_norm": 0.8554992079734802,
      "learning_rate": 5e-05,
      "loss": 0.0295,
      "step": 1325
    },
    {
      "epoch": 17.68,
      "grad_norm": 1.0661332607269287,
      "learning_rate": 5e-05,
      "loss": 0.0255,
      "step": 1326
    },
    {
      "epoch": 17.693333333333335,
      "grad_norm": 0.7635381817817688,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1327
    },
    {
      "epoch": 17.706666666666667,
      "grad_norm": 1.3338046073913574,
      "learning_rate": 5e-05,
      "loss": 0.0227,
      "step": 1328
    },
    {
      "epoch": 17.72,
      "grad_norm": 0.6585826277732849,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1329
    },
    {
      "epoch": 17.733333333333334,
      "grad_norm": 1.3274152278900146,
      "learning_rate": 5e-05,
      "loss": 0.0218,
      "step": 1330
    },
    {
      "epoch": 17.746666666666666,
      "grad_norm": 0.8243910670280457,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 1331
    },
    {
      "epoch": 17.76,
      "grad_norm": 2.607469320297241,
      "learning_rate": 5e-05,
      "loss": 0.0256,
      "step": 1332
    },
    {
      "epoch": 17.773333333333333,
      "grad_norm": 1.1195082664489746,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1333
    },
    {
      "epoch": 17.786666666666665,
      "grad_norm": 0.7259648442268372,
      "learning_rate": 5e-05,
      "loss": 0.0249,
      "step": 1334
    },
    {
      "epoch": 17.8,
      "grad_norm": 1.4623513221740723,
      "learning_rate": 5e-05,
      "loss": 0.0188,
      "step": 1335
    },
    {
      "epoch": 17.813333333333333,
      "grad_norm": 1.103212833404541,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1336
    },
    {
      "epoch": 17.826666666666668,
      "grad_norm": 0.841979444026947,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 1337
    },
    {
      "epoch": 17.84,
      "grad_norm": 0.8390806913375854,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 1338
    },
    {
      "epoch": 17.85333333333333,
      "grad_norm": 0.8512693047523499,
      "learning_rate": 5e-05,
      "loss": 0.0224,
      "step": 1339
    },
    {
      "epoch": 17.866666666666667,
      "grad_norm": 0.9805595874786377,
      "learning_rate": 5e-05,
      "loss": 0.0193,
      "step": 1340
    },
    {
      "epoch": 17.88,
      "grad_norm": 0.9313766956329346,
      "learning_rate": 5e-05,
      "loss": 0.0245,
      "step": 1341
    },
    {
      "epoch": 17.893333333333334,
      "grad_norm": 0.821267306804657,
      "learning_rate": 5e-05,
      "loss": 0.0167,
      "step": 1342
    },
    {
      "epoch": 17.906666666666666,
      "grad_norm": 1.0544980764389038,
      "learning_rate": 5e-05,
      "loss": 0.0241,
      "step": 1343
    },
    {
      "epoch": 17.92,
      "grad_norm": 0.829806387424469,
      "learning_rate": 5e-05,
      "loss": 0.025,
      "step": 1344
    },
    {
      "epoch": 17.933333333333334,
      "grad_norm": 1.4576406478881836,
      "learning_rate": 5e-05,
      "loss": 0.026,
      "step": 1345
    },
    {
      "epoch": 17.946666666666665,
      "grad_norm": 1.7340506315231323,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1346
    },
    {
      "epoch": 17.96,
      "grad_norm": 0.9255589842796326,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1347
    },
    {
      "epoch": 17.973333333333333,
      "grad_norm": 0.34040120244026184,
      "learning_rate": 5e-05,
      "loss": 0.0158,
      "step": 1348
    },
    {
      "epoch": 17.986666666666668,
      "grad_norm": 1.3598023653030396,
      "learning_rate": 5e-05,
      "loss": 0.0298,
      "step": 1349
    },
    {
      "epoch": 18.0,
      "grad_norm": 0.848351001739502,
      "learning_rate": 5e-05,
      "loss": 0.0203,
      "step": 1350
    },
    {
      "epoch": 18.013333333333332,
      "grad_norm": 1.0661228895187378,
      "learning_rate": 5e-05,
      "loss": 0.0213,
      "step": 1351
    },
    {
      "epoch": 18.026666666666667,
      "grad_norm": 4.5104193687438965,
      "learning_rate": 5e-05,
      "loss": 0.0185,
      "step": 1352
    },
    {
      "epoch": 18.04,
      "grad_norm": 1.271317481994629,
      "learning_rate": 5e-05,
      "loss": 0.0149,
      "step": 1353
    },
    {
      "epoch": 18.053333333333335,
      "grad_norm": 0.6163813471794128,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1354
    },
    {
      "epoch": 18.066666666666666,
      "grad_norm": 1.1439989805221558,
      "learning_rate": 5e-05,
      "loss": 0.0265,
      "step": 1355
    },
    {
      "epoch": 18.08,
      "grad_norm": 1.917730689048767,
      "learning_rate": 5e-05,
      "loss": 0.0203,
      "step": 1356
    },
    {
      "epoch": 18.093333333333334,
      "grad_norm": 0.7472595572471619,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 1357
    },
    {
      "epoch": 18.106666666666666,
      "grad_norm": 1.1492948532104492,
      "learning_rate": 5e-05,
      "loss": 0.0274,
      "step": 1358
    },
    {
      "epoch": 18.12,
      "grad_norm": 0.342090368270874,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 1359
    },
    {
      "epoch": 18.133333333333333,
      "grad_norm": 1.62587308883667,
      "learning_rate": 5e-05,
      "loss": 0.0328,
      "step": 1360
    },
    {
      "epoch": 18.14666666666667,
      "grad_norm": 1.2972959280014038,
      "learning_rate": 5e-05,
      "loss": 0.0236,
      "step": 1361
    },
    {
      "epoch": 18.16,
      "grad_norm": 1.0558767318725586,
      "learning_rate": 5e-05,
      "loss": 0.0282,
      "step": 1362
    },
    {
      "epoch": 18.173333333333332,
      "grad_norm": 0.654978334903717,
      "learning_rate": 5e-05,
      "loss": 0.0199,
      "step": 1363
    },
    {
      "epoch": 18.186666666666667,
      "grad_norm": 0.9099631309509277,
      "learning_rate": 5e-05,
      "loss": 0.0207,
      "step": 1364
    },
    {
      "epoch": 18.2,
      "grad_norm": 0.7870449423789978,
      "learning_rate": 5e-05,
      "loss": 0.0173,
      "step": 1365
    },
    {
      "epoch": 18.213333333333335,
      "grad_norm": 0.6507319211959839,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 1366
    },
    {
      "epoch": 18.226666666666667,
      "grad_norm": 0.846405029296875,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 1367
    },
    {
      "epoch": 18.24,
      "grad_norm": 0.5807725787162781,
      "learning_rate": 5e-05,
      "loss": 0.0185,
      "step": 1368
    },
    {
      "epoch": 18.253333333333334,
      "grad_norm": 0.9280930161476135,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1369
    },
    {
      "epoch": 18.266666666666666,
      "grad_norm": 0.9349632859230042,
      "learning_rate": 5e-05,
      "loss": 0.026,
      "step": 1370
    },
    {
      "epoch": 18.28,
      "grad_norm": 1.6800400018692017,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 1371
    },
    {
      "epoch": 18.293333333333333,
      "grad_norm": 0.6167058348655701,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1372
    },
    {
      "epoch": 18.306666666666665,
      "grad_norm": 1.6333417892456055,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1373
    },
    {
      "epoch": 18.32,
      "grad_norm": 1.1429574489593506,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 1374
    },
    {
      "epoch": 18.333333333333332,
      "grad_norm": 2.415982961654663,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 1375
    },
    {
      "epoch": 18.346666666666668,
      "grad_norm": 0.8793371915817261,
      "learning_rate": 5e-05,
      "loss": 0.0216,
      "step": 1376
    },
    {
      "epoch": 18.36,
      "grad_norm": 1.3174704313278198,
      "learning_rate": 5e-05,
      "loss": 0.0218,
      "step": 1377
    },
    {
      "epoch": 18.373333333333335,
      "grad_norm": 1.0777876377105713,
      "learning_rate": 5e-05,
      "loss": 0.0167,
      "step": 1378
    },
    {
      "epoch": 18.386666666666667,
      "grad_norm": 1.082677960395813,
      "learning_rate": 5e-05,
      "loss": 0.0206,
      "step": 1379
    },
    {
      "epoch": 18.4,
      "grad_norm": 0.7296702861785889,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1380
    },
    {
      "epoch": 18.413333333333334,
      "grad_norm": 0.9100240468978882,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1381
    },
    {
      "epoch": 18.426666666666666,
      "grad_norm": 0.7532846927642822,
      "learning_rate": 5e-05,
      "loss": 0.0127,
      "step": 1382
    },
    {
      "epoch": 18.44,
      "grad_norm": 0.7585853338241577,
      "learning_rate": 5e-05,
      "loss": 0.0207,
      "step": 1383
    },
    {
      "epoch": 18.453333333333333,
      "grad_norm": 0.7504978775978088,
      "learning_rate": 5e-05,
      "loss": 0.0174,
      "step": 1384
    },
    {
      "epoch": 18.466666666666665,
      "grad_norm": 0.5394027233123779,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 1385
    },
    {
      "epoch": 18.48,
      "grad_norm": 1.682297945022583,
      "learning_rate": 5e-05,
      "loss": 0.0235,
      "step": 1386
    },
    {
      "epoch": 18.493333333333332,
      "grad_norm": 0.7715672254562378,
      "learning_rate": 5e-05,
      "loss": 0.0164,
      "step": 1387
    },
    {
      "epoch": 18.506666666666668,
      "grad_norm": 4.074628829956055,
      "learning_rate": 5e-05,
      "loss": 0.0264,
      "step": 1388
    },
    {
      "epoch": 18.52,
      "grad_norm": 0.6143805384635925,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1389
    },
    {
      "epoch": 18.533333333333335,
      "grad_norm": 0.7960674166679382,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1390
    },
    {
      "epoch": 18.546666666666667,
      "grad_norm": 0.7270134091377258,
      "learning_rate": 5e-05,
      "loss": 0.0154,
      "step": 1391
    },
    {
      "epoch": 18.56,
      "grad_norm": 2.307265043258667,
      "learning_rate": 5e-05,
      "loss": 0.0306,
      "step": 1392
    },
    {
      "epoch": 18.573333333333334,
      "grad_norm": 0.639824628829956,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 1393
    },
    {
      "epoch": 18.586666666666666,
      "grad_norm": 1.2373212575912476,
      "learning_rate": 5e-05,
      "loss": 0.0193,
      "step": 1394
    },
    {
      "epoch": 18.6,
      "grad_norm": 1.8208917379379272,
      "learning_rate": 5e-05,
      "loss": 0.0204,
      "step": 1395
    },
    {
      "epoch": 18.613333333333333,
      "grad_norm": 1.7821913957595825,
      "learning_rate": 5e-05,
      "loss": 0.0232,
      "step": 1396
    },
    {
      "epoch": 18.626666666666665,
      "grad_norm": 1.3836677074432373,
      "learning_rate": 5e-05,
      "loss": 0.0238,
      "step": 1397
    },
    {
      "epoch": 18.64,
      "grad_norm": 0.6358140707015991,
      "learning_rate": 5e-05,
      "loss": 0.0189,
      "step": 1398
    },
    {
      "epoch": 18.653333333333332,
      "grad_norm": 0.8877052068710327,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1399
    },
    {
      "epoch": 18.666666666666668,
      "grad_norm": 0.6596325039863586,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 1400
    },
    {
      "epoch": 18.68,
      "grad_norm": 1.1885268688201904,
      "learning_rate": 5e-05,
      "loss": 0.0239,
      "step": 1401
    },
    {
      "epoch": 18.693333333333335,
      "grad_norm": 1.4462586641311646,
      "learning_rate": 5e-05,
      "loss": 0.0227,
      "step": 1402
    },
    {
      "epoch": 18.706666666666667,
      "grad_norm": 0.757377564907074,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 1403
    },
    {
      "epoch": 18.72,
      "grad_norm": 0.8225184679031372,
      "learning_rate": 5e-05,
      "loss": 0.0151,
      "step": 1404
    },
    {
      "epoch": 18.733333333333334,
      "grad_norm": 0.938360333442688,
      "learning_rate": 5e-05,
      "loss": 0.0228,
      "step": 1405
    },
    {
      "epoch": 18.746666666666666,
      "grad_norm": 1.0711125135421753,
      "learning_rate": 5e-05,
      "loss": 0.0205,
      "step": 1406
    },
    {
      "epoch": 18.76,
      "grad_norm": 2.0881576538085938,
      "learning_rate": 5e-05,
      "loss": 0.0277,
      "step": 1407
    },
    {
      "epoch": 18.773333333333333,
      "grad_norm": 1.1742050647735596,
      "learning_rate": 5e-05,
      "loss": 0.0243,
      "step": 1408
    },
    {
      "epoch": 18.786666666666665,
      "grad_norm": 0.7097263336181641,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 1409
    },
    {
      "epoch": 18.8,
      "grad_norm": 1.0105736255645752,
      "learning_rate": 5e-05,
      "loss": 0.0208,
      "step": 1410
    },
    {
      "epoch": 18.813333333333333,
      "grad_norm": 0.8584281206130981,
      "learning_rate": 5e-05,
      "loss": 0.0262,
      "step": 1411
    },
    {
      "epoch": 18.826666666666668,
      "grad_norm": 0.6056768298149109,
      "learning_rate": 5e-05,
      "loss": 0.0187,
      "step": 1412
    },
    {
      "epoch": 18.84,
      "grad_norm": 0.5578343868255615,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 1413
    },
    {
      "epoch": 18.85333333333333,
      "grad_norm": 0.7702759504318237,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 1414
    },
    {
      "epoch": 18.866666666666667,
      "grad_norm": 0.8205946683883667,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1415
    },
    {
      "epoch": 18.88,
      "grad_norm": 0.5409225225448608,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 1416
    },
    {
      "epoch": 18.893333333333334,
      "grad_norm": 0.7331964373588562,
      "learning_rate": 5e-05,
      "loss": 0.0227,
      "step": 1417
    },
    {
      "epoch": 18.906666666666666,
      "grad_norm": 0.8535971641540527,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 1418
    },
    {
      "epoch": 18.92,
      "grad_norm": 0.8852238655090332,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1419
    },
    {
      "epoch": 18.933333333333334,
      "grad_norm": 0.8137136101722717,
      "learning_rate": 5e-05,
      "loss": 0.024,
      "step": 1420
    },
    {
      "epoch": 18.946666666666665,
      "grad_norm": 1.7246829271316528,
      "learning_rate": 5e-05,
      "loss": 0.0331,
      "step": 1421
    },
    {
      "epoch": 18.96,
      "grad_norm": 0.9311110973358154,
      "learning_rate": 5e-05,
      "loss": 0.0245,
      "step": 1422
    },
    {
      "epoch": 18.973333333333333,
      "grad_norm": 1.1752498149871826,
      "learning_rate": 5e-05,
      "loss": 0.02,
      "step": 1423
    },
    {
      "epoch": 18.986666666666668,
      "grad_norm": 4.084629058837891,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 1424
    },
    {
      "epoch": 19.0,
      "grad_norm": 1.6130123138427734,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 1425
    },
    {
      "epoch": 19.013333333333332,
      "grad_norm": 1.7594424486160278,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1426
    },
    {
      "epoch": 19.026666666666667,
      "grad_norm": 0.3681996166706085,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1427
    },
    {
      "epoch": 19.04,
      "grad_norm": 0.2481398582458496,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 1428
    },
    {
      "epoch": 19.053333333333335,
      "grad_norm": 0.8756863474845886,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1429
    },
    {
      "epoch": 19.066666666666666,
      "grad_norm": 0.6372984647750854,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 1430
    },
    {
      "epoch": 19.08,
      "grad_norm": 0.4337511658668518,
      "learning_rate": 5e-05,
      "loss": 0.0128,
      "step": 1431
    },
    {
      "epoch": 19.093333333333334,
      "grad_norm": 0.5589763522148132,
      "learning_rate": 5e-05,
      "loss": 0.0173,
      "step": 1432
    },
    {
      "epoch": 19.106666666666666,
      "grad_norm": 0.6952994465827942,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 1433
    },
    {
      "epoch": 19.12,
      "grad_norm": 1.7544125318527222,
      "learning_rate": 5e-05,
      "loss": 0.0205,
      "step": 1434
    },
    {
      "epoch": 19.133333333333333,
      "grad_norm": 0.9919406175613403,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1435
    },
    {
      "epoch": 19.14666666666667,
      "grad_norm": 0.9358723759651184,
      "learning_rate": 5e-05,
      "loss": 0.0187,
      "step": 1436
    },
    {
      "epoch": 19.16,
      "grad_norm": 1.3614921569824219,
      "learning_rate": 5e-05,
      "loss": 0.0061,
      "step": 1437
    },
    {
      "epoch": 19.173333333333332,
      "grad_norm": 0.8430854082107544,
      "learning_rate": 5e-05,
      "loss": 0.014,
      "step": 1438
    },
    {
      "epoch": 19.186666666666667,
      "grad_norm": 0.9771093726158142,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1439
    },
    {
      "epoch": 19.2,
      "grad_norm": 2.2704646587371826,
      "learning_rate": 5e-05,
      "loss": 0.0224,
      "step": 1440
    },
    {
      "epoch": 19.213333333333335,
      "grad_norm": 0.5283713340759277,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 1441
    },
    {
      "epoch": 19.226666666666667,
      "grad_norm": 0.5195993781089783,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 1442
    },
    {
      "epoch": 19.24,
      "grad_norm": 1.3670933246612549,
      "learning_rate": 5e-05,
      "loss": 0.02,
      "step": 1443
    },
    {
      "epoch": 19.253333333333334,
      "grad_norm": 0.6359460353851318,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1444
    },
    {
      "epoch": 19.266666666666666,
      "grad_norm": 1.1717466115951538,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 1445
    },
    {
      "epoch": 19.28,
      "grad_norm": 0.8778412342071533,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 1446
    },
    {
      "epoch": 19.293333333333333,
      "grad_norm": 1.166883945465088,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1447
    },
    {
      "epoch": 19.306666666666665,
      "grad_norm": 1.055158019065857,
      "learning_rate": 5e-05,
      "loss": 0.015,
      "step": 1448
    },
    {
      "epoch": 19.32,
      "grad_norm": 1.32778000831604,
      "learning_rate": 5e-05,
      "loss": 0.0137,
      "step": 1449
    },
    {
      "epoch": 19.333333333333332,
      "grad_norm": 0.4781520366668701,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 1450
    },
    {
      "epoch": 19.346666666666668,
      "grad_norm": 1.6459317207336426,
      "learning_rate": 5e-05,
      "loss": 0.0155,
      "step": 1451
    },
    {
      "epoch": 19.36,
      "grad_norm": 1.3562403917312622,
      "learning_rate": 5e-05,
      "loss": 0.0308,
      "step": 1452
    },
    {
      "epoch": 19.373333333333335,
      "grad_norm": 1.8263003826141357,
      "learning_rate": 5e-05,
      "loss": 0.0236,
      "step": 1453
    },
    {
      "epoch": 19.386666666666667,
      "grad_norm": 1.1040351390838623,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1454
    },
    {
      "epoch": 19.4,
      "grad_norm": 1.7067649364471436,
      "learning_rate": 5e-05,
      "loss": 0.0198,
      "step": 1455
    },
    {
      "epoch": 19.413333333333334,
      "grad_norm": 0.8179553747177124,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 1456
    },
    {
      "epoch": 19.426666666666666,
      "grad_norm": 1.1219764947891235,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 1457
    },
    {
      "epoch": 19.44,
      "grad_norm": 1.9008145332336426,
      "learning_rate": 5e-05,
      "loss": 0.018,
      "step": 1458
    },
    {
      "epoch": 19.453333333333333,
      "grad_norm": 1.5445789098739624,
      "learning_rate": 5e-05,
      "loss": 0.0363,
      "step": 1459
    },
    {
      "epoch": 19.466666666666665,
      "grad_norm": 0.8006373047828674,
      "learning_rate": 5e-05,
      "loss": 0.0155,
      "step": 1460
    },
    {
      "epoch": 19.48,
      "grad_norm": 1.0430054664611816,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 1461
    },
    {
      "epoch": 19.493333333333332,
      "grad_norm": 0.4892379343509674,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1462
    },
    {
      "epoch": 19.506666666666668,
      "grad_norm": 1.6873447895050049,
      "learning_rate": 5e-05,
      "loss": 0.0206,
      "step": 1463
    },
    {
      "epoch": 19.52,
      "grad_norm": 0.9196087121963501,
      "learning_rate": 5e-05,
      "loss": 0.0188,
      "step": 1464
    },
    {
      "epoch": 19.533333333333335,
      "grad_norm": 1.0988667011260986,
      "learning_rate": 5e-05,
      "loss": 0.021,
      "step": 1465
    },
    {
      "epoch": 19.546666666666667,
      "grad_norm": 1.3816462755203247,
      "learning_rate": 5e-05,
      "loss": 0.0203,
      "step": 1466
    },
    {
      "epoch": 19.56,
      "grad_norm": 1.2896395921707153,
      "learning_rate": 5e-05,
      "loss": 0.0238,
      "step": 1467
    },
    {
      "epoch": 19.573333333333334,
      "grad_norm": 1.2437608242034912,
      "learning_rate": 5e-05,
      "loss": 0.0216,
      "step": 1468
    },
    {
      "epoch": 19.586666666666666,
      "grad_norm": 0.7443817853927612,
      "learning_rate": 5e-05,
      "loss": 0.0172,
      "step": 1469
    },
    {
      "epoch": 19.6,
      "grad_norm": 1.21784508228302,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1470
    },
    {
      "epoch": 19.613333333333333,
      "grad_norm": 1.2423263788223267,
      "learning_rate": 5e-05,
      "loss": 0.0249,
      "step": 1471
    },
    {
      "epoch": 19.626666666666665,
      "grad_norm": 0.9830647110939026,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1472
    },
    {
      "epoch": 19.64,
      "grad_norm": 1.3493131399154663,
      "learning_rate": 5e-05,
      "loss": 0.0212,
      "step": 1473
    },
    {
      "epoch": 19.653333333333332,
      "grad_norm": 0.710362434387207,
      "learning_rate": 5e-05,
      "loss": 0.0175,
      "step": 1474
    },
    {
      "epoch": 19.666666666666668,
      "grad_norm": 0.7462192177772522,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 1475
    },
    {
      "epoch": 19.68,
      "grad_norm": 0.7842730283737183,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1476
    },
    {
      "epoch": 19.693333333333335,
      "grad_norm": 0.4330235719680786,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1477
    },
    {
      "epoch": 19.706666666666667,
      "grad_norm": 1.122346043586731,
      "learning_rate": 5e-05,
      "loss": 0.024,
      "step": 1478
    },
    {
      "epoch": 19.72,
      "grad_norm": 1.6127805709838867,
      "learning_rate": 5e-05,
      "loss": 0.024,
      "step": 1479
    },
    {
      "epoch": 19.733333333333334,
      "grad_norm": 3.295897960662842,
      "learning_rate": 5e-05,
      "loss": 0.0149,
      "step": 1480
    },
    {
      "epoch": 19.746666666666666,
      "grad_norm": 0.9776082634925842,
      "learning_rate": 5e-05,
      "loss": 0.0233,
      "step": 1481
    },
    {
      "epoch": 19.76,
      "grad_norm": 0.8894938826560974,
      "learning_rate": 5e-05,
      "loss": 0.0117,
      "step": 1482
    },
    {
      "epoch": 19.773333333333333,
      "grad_norm": 1.2819620370864868,
      "learning_rate": 5e-05,
      "loss": 0.01,
      "step": 1483
    },
    {
      "epoch": 19.786666666666665,
      "grad_norm": 0.9159634113311768,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 1484
    },
    {
      "epoch": 19.8,
      "grad_norm": 0.32728323340415955,
      "learning_rate": 5e-05,
      "loss": 0.0107,
      "step": 1485
    },
    {
      "epoch": 19.813333333333333,
      "grad_norm": 1.026781439781189,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 1486
    },
    {
      "epoch": 19.826666666666668,
      "grad_norm": 0.642916202545166,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1487
    },
    {
      "epoch": 19.84,
      "grad_norm": 0.7625219821929932,
      "learning_rate": 5e-05,
      "loss": 0.0235,
      "step": 1488
    },
    {
      "epoch": 19.85333333333333,
      "grad_norm": 0.9449175000190735,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 1489
    },
    {
      "epoch": 19.866666666666667,
      "grad_norm": 1.465425968170166,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 1490
    },
    {
      "epoch": 19.88,
      "grad_norm": 0.25188833475112915,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 1491
    },
    {
      "epoch": 19.893333333333334,
      "grad_norm": 1.048783779144287,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1492
    },
    {
      "epoch": 19.906666666666666,
      "grad_norm": 1.1048229932785034,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 1493
    },
    {
      "epoch": 19.92,
      "grad_norm": 1.3133068084716797,
      "learning_rate": 5e-05,
      "loss": 0.018,
      "step": 1494
    },
    {
      "epoch": 19.933333333333334,
      "grad_norm": 0.9453654885292053,
      "learning_rate": 5e-05,
      "loss": 0.0172,
      "step": 1495
    },
    {
      "epoch": 19.946666666666665,
      "grad_norm": 0.7211800813674927,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1496
    },
    {
      "epoch": 19.96,
      "grad_norm": 0.7970477342605591,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 1497
    },
    {
      "epoch": 19.973333333333333,
      "grad_norm": 0.7335843443870544,
      "learning_rate": 5e-05,
      "loss": 0.0202,
      "step": 1498
    },
    {
      "epoch": 19.986666666666668,
      "grad_norm": 0.8581439852714539,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1499
    },
    {
      "epoch": 20.0,
      "grad_norm": 2.3416497707366943,
      "learning_rate": 5e-05,
      "loss": 0.0308,
      "step": 1500
    },
    {
      "epoch": 20.013333333333332,
      "grad_norm": 0.4893726110458374,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1501
    },
    {
      "epoch": 20.026666666666667,
      "grad_norm": 0.36457398533821106,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 1502
    },
    {
      "epoch": 20.04,
      "grad_norm": 2.35715913772583,
      "learning_rate": 5e-05,
      "loss": 0.0144,
      "step": 1503
    },
    {
      "epoch": 20.053333333333335,
      "grad_norm": 1.9025954008102417,
      "learning_rate": 5e-05,
      "loss": 0.029,
      "step": 1504
    },
    {
      "epoch": 20.066666666666666,
      "grad_norm": 0.6829627752304077,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 1505
    },
    {
      "epoch": 20.08,
      "grad_norm": 0.6878913640975952,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 1506
    },
    {
      "epoch": 20.093333333333334,
      "grad_norm": 0.6435057520866394,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1507
    },
    {
      "epoch": 20.106666666666666,
      "grad_norm": 3.610586404800415,
      "learning_rate": 5e-05,
      "loss": 0.0202,
      "step": 1508
    },
    {
      "epoch": 20.12,
      "grad_norm": 0.7612793445587158,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 1509
    },
    {
      "epoch": 20.133333333333333,
      "grad_norm": 0.5144936442375183,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 1510
    },
    {
      "epoch": 20.14666666666667,
      "grad_norm": 0.7521246671676636,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1511
    },
    {
      "epoch": 20.16,
      "grad_norm": 1.774235725402832,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 1512
    },
    {
      "epoch": 20.173333333333332,
      "grad_norm": 3.7306859493255615,
      "learning_rate": 5e-05,
      "loss": 0.0367,
      "step": 1513
    },
    {
      "epoch": 20.186666666666667,
      "grad_norm": 0.5175037980079651,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 1514
    },
    {
      "epoch": 20.2,
      "grad_norm": 0.4774650037288666,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 1515
    },
    {
      "epoch": 20.213333333333335,
      "grad_norm": 0.9982003569602966,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 1516
    },
    {
      "epoch": 20.226666666666667,
      "grad_norm": 0.865140974521637,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 1517
    },
    {
      "epoch": 20.24,
      "grad_norm": 0.7940151691436768,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 1518
    },
    {
      "epoch": 20.253333333333334,
      "grad_norm": 0.8878028988838196,
      "learning_rate": 5e-05,
      "loss": 0.0137,
      "step": 1519
    },
    {
      "epoch": 20.266666666666666,
      "grad_norm": 1.0114294290542603,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 1520
    },
    {
      "epoch": 20.28,
      "grad_norm": 1.8881350755691528,
      "learning_rate": 5e-05,
      "loss": 0.0244,
      "step": 1521
    },
    {
      "epoch": 20.293333333333333,
      "grad_norm": 1.0073198080062866,
      "learning_rate": 5e-05,
      "loss": 0.0123,
      "step": 1522
    },
    {
      "epoch": 20.306666666666665,
      "grad_norm": 1.3431912660598755,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 1523
    },
    {
      "epoch": 20.32,
      "grad_norm": 1.364253044128418,
      "learning_rate": 5e-05,
      "loss": 0.0098,
      "step": 1524
    },
    {
      "epoch": 20.333333333333332,
      "grad_norm": 1.5737146139144897,
      "learning_rate": 5e-05,
      "loss": 0.0174,
      "step": 1525
    },
    {
      "epoch": 20.346666666666668,
      "grad_norm": 2.2265753746032715,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1526
    },
    {
      "epoch": 20.36,
      "grad_norm": 1.048303484916687,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1527
    },
    {
      "epoch": 20.373333333333335,
      "grad_norm": 1.3347699642181396,
      "learning_rate": 5e-05,
      "loss": 0.0121,
      "step": 1528
    },
    {
      "epoch": 20.386666666666667,
      "grad_norm": 0.8362078070640564,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 1529
    },
    {
      "epoch": 20.4,
      "grad_norm": 0.5914862751960754,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 1530
    },
    {
      "epoch": 20.413333333333334,
      "grad_norm": 2.5343453884124756,
      "learning_rate": 5e-05,
      "loss": 0.0162,
      "step": 1531
    },
    {
      "epoch": 20.426666666666666,
      "grad_norm": 2.426514148712158,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1532
    },
    {
      "epoch": 20.44,
      "grad_norm": 1.0240046977996826,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 1533
    },
    {
      "epoch": 20.453333333333333,
      "grad_norm": 0.49172842502593994,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1534
    },
    {
      "epoch": 20.466666666666665,
      "grad_norm": 0.7672731876373291,
      "learning_rate": 5e-05,
      "loss": 0.0167,
      "step": 1535
    },
    {
      "epoch": 20.48,
      "grad_norm": 1.8841946125030518,
      "learning_rate": 5e-05,
      "loss": 0.0256,
      "step": 1536
    },
    {
      "epoch": 20.493333333333332,
      "grad_norm": 1.1217674016952515,
      "learning_rate": 5e-05,
      "loss": 0.0154,
      "step": 1537
    },
    {
      "epoch": 20.506666666666668,
      "grad_norm": 1.3415316343307495,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 1538
    },
    {
      "epoch": 20.52,
      "grad_norm": 1.376643180847168,
      "learning_rate": 5e-05,
      "loss": 0.0206,
      "step": 1539
    },
    {
      "epoch": 20.533333333333335,
      "grad_norm": 2.2421627044677734,
      "learning_rate": 5e-05,
      "loss": 0.0489,
      "step": 1540
    },
    {
      "epoch": 20.546666666666667,
      "grad_norm": 3.0031375885009766,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1541
    },
    {
      "epoch": 20.56,
      "grad_norm": 1.5265130996704102,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1542
    },
    {
      "epoch": 20.573333333333334,
      "grad_norm": 1.247560739517212,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 1543
    },
    {
      "epoch": 20.586666666666666,
      "grad_norm": 0.9409888982772827,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1544
    },
    {
      "epoch": 20.6,
      "grad_norm": 0.9305148720741272,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 1545
    },
    {
      "epoch": 20.613333333333333,
      "grad_norm": 0.6065844893455505,
      "learning_rate": 5e-05,
      "loss": 0.0185,
      "step": 1546
    },
    {
      "epoch": 20.626666666666665,
      "grad_norm": 2.4830665588378906,
      "learning_rate": 5e-05,
      "loss": 0.0207,
      "step": 1547
    },
    {
      "epoch": 20.64,
      "grad_norm": 0.4871751070022583,
      "learning_rate": 5e-05,
      "loss": 0.0144,
      "step": 1548
    },
    {
      "epoch": 20.653333333333332,
      "grad_norm": 1.2681145668029785,
      "learning_rate": 5e-05,
      "loss": 0.0251,
      "step": 1549
    },
    {
      "epoch": 20.666666666666668,
      "grad_norm": 1.3256785869598389,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1550
    },
    {
      "epoch": 20.68,
      "grad_norm": 2.2027664184570312,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1551
    },
    {
      "epoch": 20.693333333333335,
      "grad_norm": 2.2556304931640625,
      "learning_rate": 5e-05,
      "loss": 0.0414,
      "step": 1552
    },
    {
      "epoch": 20.706666666666667,
      "grad_norm": 1.3787274360656738,
      "learning_rate": 5e-05,
      "loss": 0.017,
      "step": 1553
    },
    {
      "epoch": 20.72,
      "grad_norm": 1.445723056793213,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 1554
    },
    {
      "epoch": 20.733333333333334,
      "grad_norm": 1.481758952140808,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 1555
    },
    {
      "epoch": 20.746666666666666,
      "grad_norm": 2.024799108505249,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1556
    },
    {
      "epoch": 20.76,
      "grad_norm": 1.1195958852767944,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1557
    },
    {
      "epoch": 20.773333333333333,
      "grad_norm": 0.5536027550697327,
      "learning_rate": 5e-05,
      "loss": 0.0208,
      "step": 1558
    },
    {
      "epoch": 20.786666666666665,
      "grad_norm": 1.0916460752487183,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1559
    },
    {
      "epoch": 20.8,
      "grad_norm": 2.041651725769043,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 1560
    },
    {
      "epoch": 20.813333333333333,
      "grad_norm": 0.9898146390914917,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 1561
    },
    {
      "epoch": 20.826666666666668,
      "grad_norm": 0.8781360983848572,
      "learning_rate": 5e-05,
      "loss": 0.0231,
      "step": 1562
    },
    {
      "epoch": 20.84,
      "grad_norm": 2.011934280395508,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1563
    },
    {
      "epoch": 20.85333333333333,
      "grad_norm": 0.7740210294723511,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 1564
    },
    {
      "epoch": 20.866666666666667,
      "grad_norm": 0.6097338199615479,
      "learning_rate": 5e-05,
      "loss": 0.014,
      "step": 1565
    },
    {
      "epoch": 20.88,
      "grad_norm": 1.4842017889022827,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 1566
    },
    {
      "epoch": 20.893333333333334,
      "grad_norm": 1.4165772199630737,
      "learning_rate": 5e-05,
      "loss": 0.0225,
      "step": 1567
    },
    {
      "epoch": 20.906666666666666,
      "grad_norm": 0.7813743352890015,
      "learning_rate": 5e-05,
      "loss": 0.0144,
      "step": 1568
    },
    {
      "epoch": 20.92,
      "grad_norm": 2.5829169750213623,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 1569
    },
    {
      "epoch": 20.933333333333334,
      "grad_norm": 1.064789056777954,
      "learning_rate": 5e-05,
      "loss": 0.0165,
      "step": 1570
    },
    {
      "epoch": 20.946666666666665,
      "grad_norm": 1.0786093473434448,
      "learning_rate": 5e-05,
      "loss": 0.0149,
      "step": 1571
    },
    {
      "epoch": 20.96,
      "grad_norm": 0.736745297908783,
      "learning_rate": 5e-05,
      "loss": 0.0134,
      "step": 1572
    },
    {
      "epoch": 20.973333333333333,
      "grad_norm": 1.1881129741668701,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 1573
    },
    {
      "epoch": 20.986666666666668,
      "grad_norm": 1.176634669303894,
      "learning_rate": 5e-05,
      "loss": 0.0223,
      "step": 1574
    },
    {
      "epoch": 21.0,
      "grad_norm": 1.204124093055725,
      "learning_rate": 5e-05,
      "loss": 0.0177,
      "step": 1575
    },
    {
      "epoch": 21.013333333333332,
      "grad_norm": 0.8358691334724426,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 1576
    },
    {
      "epoch": 21.026666666666667,
      "grad_norm": 2.0388662815093994,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1577
    },
    {
      "epoch": 21.04,
      "grad_norm": 1.0140737295150757,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 1578
    },
    {
      "epoch": 21.053333333333335,
      "grad_norm": 0.7471141815185547,
      "learning_rate": 5e-05,
      "loss": 0.0109,
      "step": 1579
    },
    {
      "epoch": 21.066666666666666,
      "grad_norm": 0.4147932231426239,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 1580
    },
    {
      "epoch": 21.08,
      "grad_norm": 0.6348949670791626,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 1581
    },
    {
      "epoch": 21.093333333333334,
      "grad_norm": 1.542024850845337,
      "learning_rate": 5e-05,
      "loss": 0.0191,
      "step": 1582
    },
    {
      "epoch": 21.106666666666666,
      "grad_norm": 0.4645640254020691,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 1583
    },
    {
      "epoch": 21.12,
      "grad_norm": 1.0800262689590454,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1584
    },
    {
      "epoch": 21.133333333333333,
      "grad_norm": 0.7936879396438599,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 1585
    },
    {
      "epoch": 21.14666666666667,
      "grad_norm": 0.6395152807235718,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1586
    },
    {
      "epoch": 21.16,
      "grad_norm": 2.335479259490967,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 1587
    },
    {
      "epoch": 21.173333333333332,
      "grad_norm": 0.7217929363250732,
      "learning_rate": 5e-05,
      "loss": 0.0188,
      "step": 1588
    },
    {
      "epoch": 21.186666666666667,
      "grad_norm": 0.9293258190155029,
      "learning_rate": 5e-05,
      "loss": 0.0163,
      "step": 1589
    },
    {
      "epoch": 21.2,
      "grad_norm": 2.2764875888824463,
      "learning_rate": 5e-05,
      "loss": 0.0139,
      "step": 1590
    },
    {
      "epoch": 21.213333333333335,
      "grad_norm": 0.44374918937683105,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 1591
    },
    {
      "epoch": 21.226666666666667,
      "grad_norm": 0.4724859297275543,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 1592
    },
    {
      "epoch": 21.24,
      "grad_norm": 1.6811492443084717,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1593
    },
    {
      "epoch": 21.253333333333334,
      "grad_norm": 1.2298928499221802,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1594
    },
    {
      "epoch": 21.266666666666666,
      "grad_norm": 1.6722333431243896,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 1595
    },
    {
      "epoch": 21.28,
      "grad_norm": 3.0093815326690674,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 1596
    },
    {
      "epoch": 21.293333333333333,
      "grad_norm": 1.2766327857971191,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 1597
    },
    {
      "epoch": 21.306666666666665,
      "grad_norm": 1.325404405593872,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 1598
    },
    {
      "epoch": 21.32,
      "grad_norm": 0.9505341649055481,
      "learning_rate": 5e-05,
      "loss": 0.0098,
      "step": 1599
    },
    {
      "epoch": 21.333333333333332,
      "grad_norm": 1.0097352266311646,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 1600
    },
    {
      "epoch": 21.346666666666668,
      "grad_norm": 1.106284499168396,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 1601
    },
    {
      "epoch": 21.36,
      "grad_norm": 0.6639277338981628,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1602
    },
    {
      "epoch": 21.373333333333335,
      "grad_norm": 1.871043086051941,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 1603
    },
    {
      "epoch": 21.386666666666667,
      "grad_norm": 1.2104533910751343,
      "learning_rate": 5e-05,
      "loss": 0.0181,
      "step": 1604
    },
    {
      "epoch": 21.4,
      "grad_norm": 0.6435469388961792,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 1605
    },
    {
      "epoch": 21.413333333333334,
      "grad_norm": 2.193133592605591,
      "learning_rate": 5e-05,
      "loss": 0.0304,
      "step": 1606
    },
    {
      "epoch": 21.426666666666666,
      "grad_norm": 1.5290049314498901,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 1607
    },
    {
      "epoch": 21.44,
      "grad_norm": 1.0691193342208862,
      "learning_rate": 5e-05,
      "loss": 0.0187,
      "step": 1608
    },
    {
      "epoch": 21.453333333333333,
      "grad_norm": 2.0477235317230225,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 1609
    },
    {
      "epoch": 21.466666666666665,
      "grad_norm": 2.5674219131469727,
      "learning_rate": 5e-05,
      "loss": 0.0088,
      "step": 1610
    },
    {
      "epoch": 21.48,
      "grad_norm": 2.080322742462158,
      "learning_rate": 5e-05,
      "loss": 0.0128,
      "step": 1611
    },
    {
      "epoch": 21.493333333333332,
      "grad_norm": 0.6531161069869995,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 1612
    },
    {
      "epoch": 21.506666666666668,
      "grad_norm": 1.9162468910217285,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 1613
    },
    {
      "epoch": 21.52,
      "grad_norm": 0.8667401075363159,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 1614
    },
    {
      "epoch": 21.533333333333335,
      "grad_norm": 1.714219570159912,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1615
    },
    {
      "epoch": 21.546666666666667,
      "grad_norm": 1.1138176918029785,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1616
    },
    {
      "epoch": 21.56,
      "grad_norm": 3.289459228515625,
      "learning_rate": 5e-05,
      "loss": 0.0448,
      "step": 1617
    },
    {
      "epoch": 21.573333333333334,
      "grad_norm": 2.16038179397583,
      "learning_rate": 5e-05,
      "loss": 0.0229,
      "step": 1618
    },
    {
      "epoch": 21.586666666666666,
      "grad_norm": 0.6720148324966431,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1619
    },
    {
      "epoch": 21.6,
      "grad_norm": 1.043673038482666,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 1620
    },
    {
      "epoch": 21.613333333333333,
      "grad_norm": 0.7514071464538574,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 1621
    },
    {
      "epoch": 21.626666666666665,
      "grad_norm": 0.8763969540596008,
      "learning_rate": 5e-05,
      "loss": 0.0152,
      "step": 1622
    },
    {
      "epoch": 21.64,
      "grad_norm": 1.2278001308441162,
      "learning_rate": 5e-05,
      "loss": 0.0161,
      "step": 1623
    },
    {
      "epoch": 21.653333333333332,
      "grad_norm": 1.1182737350463867,
      "learning_rate": 5e-05,
      "loss": 0.0191,
      "step": 1624
    },
    {
      "epoch": 21.666666666666668,
      "grad_norm": 0.6792675852775574,
      "learning_rate": 5e-05,
      "loss": 0.013,
      "step": 1625
    },
    {
      "epoch": 21.68,
      "grad_norm": 0.8807654976844788,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 1626
    },
    {
      "epoch": 21.693333333333335,
      "grad_norm": 0.5037842392921448,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 1627
    },
    {
      "epoch": 21.706666666666667,
      "grad_norm": 0.8578066229820251,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 1628
    },
    {
      "epoch": 21.72,
      "grad_norm": 1.9296631813049316,
      "learning_rate": 5e-05,
      "loss": 0.027,
      "step": 1629
    },
    {
      "epoch": 21.733333333333334,
      "grad_norm": 1.0587003231048584,
      "learning_rate": 5e-05,
      "loss": 0.0135,
      "step": 1630
    },
    {
      "epoch": 21.746666666666666,
      "grad_norm": 1.6653636693954468,
      "learning_rate": 5e-05,
      "loss": 0.0265,
      "step": 1631
    },
    {
      "epoch": 21.76,
      "grad_norm": 0.49698105454444885,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 1632
    },
    {
      "epoch": 21.773333333333333,
      "grad_norm": 0.8172726631164551,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 1633
    },
    {
      "epoch": 21.786666666666665,
      "grad_norm": 0.5680902004241943,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 1634
    },
    {
      "epoch": 21.8,
      "grad_norm": 1.3301366567611694,
      "learning_rate": 5e-05,
      "loss": 0.0158,
      "step": 1635
    },
    {
      "epoch": 21.813333333333333,
      "grad_norm": 1.4988117218017578,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 1636
    },
    {
      "epoch": 21.826666666666668,
      "grad_norm": 1.119241714477539,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1637
    },
    {
      "epoch": 21.84,
      "grad_norm": 2.1579318046569824,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1638
    },
    {
      "epoch": 21.85333333333333,
      "grad_norm": 1.0356794595718384,
      "learning_rate": 5e-05,
      "loss": 0.0174,
      "step": 1639
    },
    {
      "epoch": 21.866666666666667,
      "grad_norm": 1.3430984020233154,
      "learning_rate": 5e-05,
      "loss": 0.0174,
      "step": 1640
    },
    {
      "epoch": 21.88,
      "grad_norm": 0.7285307049751282,
      "learning_rate": 5e-05,
      "loss": 0.0207,
      "step": 1641
    },
    {
      "epoch": 21.893333333333334,
      "grad_norm": 0.9703537225723267,
      "learning_rate": 5e-05,
      "loss": 0.0134,
      "step": 1642
    },
    {
      "epoch": 21.906666666666666,
      "grad_norm": 0.936041533946991,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1643
    },
    {
      "epoch": 21.92,
      "grad_norm": 1.6562395095825195,
      "learning_rate": 5e-05,
      "loss": 0.0201,
      "step": 1644
    },
    {
      "epoch": 21.933333333333334,
      "grad_norm": 0.9883025288581848,
      "learning_rate": 5e-05,
      "loss": 0.0125,
      "step": 1645
    },
    {
      "epoch": 21.946666666666665,
      "grad_norm": 0.3837890028953552,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 1646
    },
    {
      "epoch": 21.96,
      "grad_norm": 0.7188788056373596,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1647
    },
    {
      "epoch": 21.973333333333333,
      "grad_norm": 0.6274406909942627,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 1648
    },
    {
      "epoch": 21.986666666666668,
      "grad_norm": 1.173640489578247,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1649
    },
    {
      "epoch": 22.0,
      "grad_norm": 1.3989607095718384,
      "learning_rate": 5e-05,
      "loss": 0.0235,
      "step": 1650
    },
    {
      "epoch": 22.013333333333332,
      "grad_norm": 1.1292768716812134,
      "learning_rate": 5e-05,
      "loss": 0.0134,
      "step": 1651
    },
    {
      "epoch": 22.026666666666667,
      "grad_norm": 0.5741273164749146,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 1652
    },
    {
      "epoch": 22.04,
      "grad_norm": 0.39009925723075867,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 1653
    },
    {
      "epoch": 22.053333333333335,
      "grad_norm": 0.9925534725189209,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1654
    },
    {
      "epoch": 22.066666666666666,
      "grad_norm": 0.3737242519855499,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 1655
    },
    {
      "epoch": 22.08,
      "grad_norm": 0.9665697813034058,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1656
    },
    {
      "epoch": 22.093333333333334,
      "grad_norm": 1.1675832271575928,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 1657
    },
    {
      "epoch": 22.106666666666666,
      "grad_norm": 1.3940821886062622,
      "learning_rate": 5e-05,
      "loss": 0.0065,
      "step": 1658
    },
    {
      "epoch": 22.12,
      "grad_norm": 0.9329957962036133,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 1659
    },
    {
      "epoch": 22.133333333333333,
      "grad_norm": 1.098938226699829,
      "learning_rate": 5e-05,
      "loss": 0.0147,
      "step": 1660
    },
    {
      "epoch": 22.14666666666667,
      "grad_norm": 1.5155795812606812,
      "learning_rate": 5e-05,
      "loss": 0.023,
      "step": 1661
    },
    {
      "epoch": 22.16,
      "grad_norm": 1.0963770151138306,
      "learning_rate": 5e-05,
      "loss": 0.0179,
      "step": 1662
    },
    {
      "epoch": 22.173333333333332,
      "grad_norm": 0.8251962661743164,
      "learning_rate": 5e-05,
      "loss": 0.0109,
      "step": 1663
    },
    {
      "epoch": 22.186666666666667,
      "grad_norm": 0.7457290291786194,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 1664
    },
    {
      "epoch": 22.2,
      "grad_norm": 0.7432063817977905,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 1665
    },
    {
      "epoch": 22.213333333333335,
      "grad_norm": 1.417360544204712,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1666
    },
    {
      "epoch": 22.226666666666667,
      "grad_norm": 0.309451162815094,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 1667
    },
    {
      "epoch": 22.24,
      "grad_norm": 1.6025100946426392,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1668
    },
    {
      "epoch": 22.253333333333334,
      "grad_norm": 0.6474436521530151,
      "learning_rate": 5e-05,
      "loss": 0.0089,
      "step": 1669
    },
    {
      "epoch": 22.266666666666666,
      "grad_norm": 1.0555453300476074,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 1670
    },
    {
      "epoch": 22.28,
      "grad_norm": 0.7384516000747681,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 1671
    },
    {
      "epoch": 22.293333333333333,
      "grad_norm": 0.4879762828350067,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1672
    },
    {
      "epoch": 22.306666666666665,
      "grad_norm": 1.2981101274490356,
      "learning_rate": 5e-05,
      "loss": 0.0165,
      "step": 1673
    },
    {
      "epoch": 22.32,
      "grad_norm": 2.2784674167633057,
      "learning_rate": 5e-05,
      "loss": 0.028,
      "step": 1674
    },
    {
      "epoch": 22.333333333333332,
      "grad_norm": 1.1576043367385864,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 1675
    },
    {
      "epoch": 22.346666666666668,
      "grad_norm": 1.220625400543213,
      "learning_rate": 5e-05,
      "loss": 0.0162,
      "step": 1676
    },
    {
      "epoch": 22.36,
      "grad_norm": 0.8297447562217712,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 1677
    },
    {
      "epoch": 22.373333333333335,
      "grad_norm": 0.6319898962974548,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 1678
    },
    {
      "epoch": 22.386666666666667,
      "grad_norm": 2.342130661010742,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 1679
    },
    {
      "epoch": 22.4,
      "grad_norm": 1.725050687789917,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1680
    },
    {
      "epoch": 22.413333333333334,
      "grad_norm": 0.6730514168739319,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 1681
    },
    {
      "epoch": 22.426666666666666,
      "grad_norm": 0.888434886932373,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 1682
    },
    {
      "epoch": 22.44,
      "grad_norm": 0.719520092010498,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 1683
    },
    {
      "epoch": 22.453333333333333,
      "grad_norm": 0.6469740867614746,
      "learning_rate": 5e-05,
      "loss": 0.0076,
      "step": 1684
    },
    {
      "epoch": 22.466666666666665,
      "grad_norm": 0.7758063673973083,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 1685
    },
    {
      "epoch": 22.48,
      "grad_norm": 0.4931947588920593,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 1686
    },
    {
      "epoch": 22.493333333333332,
      "grad_norm": 1.0222773551940918,
      "learning_rate": 5e-05,
      "loss": 0.0078,
      "step": 1687
    },
    {
      "epoch": 22.506666666666668,
      "grad_norm": 0.5816932916641235,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 1688
    },
    {
      "epoch": 22.52,
      "grad_norm": 1.2652674913406372,
      "learning_rate": 5e-05,
      "loss": 0.0139,
      "step": 1689
    },
    {
      "epoch": 22.533333333333335,
      "grad_norm": 0.8457074165344238,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 1690
    },
    {
      "epoch": 22.546666666666667,
      "grad_norm": 0.8357415795326233,
      "learning_rate": 5e-05,
      "loss": 0.0055,
      "step": 1691
    },
    {
      "epoch": 22.56,
      "grad_norm": 1.4931102991104126,
      "learning_rate": 5e-05,
      "loss": 0.0243,
      "step": 1692
    },
    {
      "epoch": 22.573333333333334,
      "grad_norm": 0.7474319934844971,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 1693
    },
    {
      "epoch": 22.586666666666666,
      "grad_norm": 1.431404709815979,
      "learning_rate": 5e-05,
      "loss": 0.0135,
      "step": 1694
    },
    {
      "epoch": 22.6,
      "grad_norm": 1.2256954908370972,
      "learning_rate": 5e-05,
      "loss": 0.012,
      "step": 1695
    },
    {
      "epoch": 22.613333333333333,
      "grad_norm": 0.9633076190948486,
      "learning_rate": 5e-05,
      "loss": 0.0152,
      "step": 1696
    },
    {
      "epoch": 22.626666666666665,
      "grad_norm": 0.7542400360107422,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1697
    },
    {
      "epoch": 22.64,
      "grad_norm": 2.1649227142333984,
      "learning_rate": 5e-05,
      "loss": 0.0171,
      "step": 1698
    },
    {
      "epoch": 22.653333333333332,
      "grad_norm": 0.5850458741188049,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 1699
    },
    {
      "epoch": 22.666666666666668,
      "grad_norm": 1.3361698389053345,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 1700
    },
    {
      "epoch": 22.68,
      "grad_norm": 1.7964671850204468,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 1701
    },
    {
      "epoch": 22.693333333333335,
      "grad_norm": 0.8149912357330322,
      "learning_rate": 5e-05,
      "loss": 0.0115,
      "step": 1702
    },
    {
      "epoch": 22.706666666666667,
      "grad_norm": 1.4143303632736206,
      "learning_rate": 5e-05,
      "loss": 0.0103,
      "step": 1703
    },
    {
      "epoch": 22.72,
      "grad_norm": 0.7161027789115906,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 1704
    },
    {
      "epoch": 22.733333333333334,
      "grad_norm": 1.7565052509307861,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1705
    },
    {
      "epoch": 22.746666666666666,
      "grad_norm": 4.373876571655273,
      "learning_rate": 5e-05,
      "loss": 0.015,
      "step": 1706
    },
    {
      "epoch": 22.76,
      "grad_norm": 1.404253602027893,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 1707
    },
    {
      "epoch": 22.773333333333333,
      "grad_norm": 1.6254119873046875,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 1708
    },
    {
      "epoch": 22.786666666666665,
      "grad_norm": 1.428538203239441,
      "learning_rate": 5e-05,
      "loss": 0.0164,
      "step": 1709
    },
    {
      "epoch": 22.8,
      "grad_norm": 0.7098090648651123,
      "learning_rate": 5e-05,
      "loss": 0.01,
      "step": 1710
    },
    {
      "epoch": 22.813333333333333,
      "grad_norm": 1.0249944925308228,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 1711
    },
    {
      "epoch": 22.826666666666668,
      "grad_norm": 1.2298200130462646,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 1712
    },
    {
      "epoch": 22.84,
      "grad_norm": 1.0261592864990234,
      "learning_rate": 5e-05,
      "loss": 0.0148,
      "step": 1713
    },
    {
      "epoch": 22.85333333333333,
      "grad_norm": 3.4024908542633057,
      "learning_rate": 5e-05,
      "loss": 0.0247,
      "step": 1714
    },
    {
      "epoch": 22.866666666666667,
      "grad_norm": 1.802922248840332,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 1715
    },
    {
      "epoch": 22.88,
      "grad_norm": 0.43393462896347046,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 1716
    },
    {
      "epoch": 22.893333333333334,
      "grad_norm": 0.5473036766052246,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 1717
    },
    {
      "epoch": 22.906666666666666,
      "grad_norm": 0.41545379161834717,
      "learning_rate": 5e-05,
      "loss": 0.0078,
      "step": 1718
    },
    {
      "epoch": 22.92,
      "grad_norm": 2.6478981971740723,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 1719
    },
    {
      "epoch": 22.933333333333334,
      "grad_norm": 1.0911072492599487,
      "learning_rate": 5e-05,
      "loss": 0.0163,
      "step": 1720
    },
    {
      "epoch": 22.946666666666665,
      "grad_norm": 1.1694183349609375,
      "learning_rate": 5e-05,
      "loss": 0.0198,
      "step": 1721
    },
    {
      "epoch": 22.96,
      "grad_norm": 0.8590342402458191,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 1722
    },
    {
      "epoch": 22.973333333333333,
      "grad_norm": 1.183719515800476,
      "learning_rate": 5e-05,
      "loss": 0.0188,
      "step": 1723
    },
    {
      "epoch": 22.986666666666668,
      "grad_norm": 2.217899799346924,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 1724
    },
    {
      "epoch": 23.0,
      "grad_norm": 1.4236483573913574,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 1725
    },
    {
      "epoch": 23.013333333333332,
      "grad_norm": 0.8004629611968994,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 1726
    },
    {
      "epoch": 23.026666666666667,
      "grad_norm": 1.1498984098434448,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 1727
    },
    {
      "epoch": 23.04,
      "grad_norm": 0.2145400047302246,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 1728
    },
    {
      "epoch": 23.053333333333335,
      "grad_norm": 0.9089798927307129,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 1729
    },
    {
      "epoch": 23.066666666666666,
      "grad_norm": 1.5620994567871094,
      "learning_rate": 5e-05,
      "loss": 0.0153,
      "step": 1730
    },
    {
      "epoch": 23.08,
      "grad_norm": 1.0908805131912231,
      "learning_rate": 5e-05,
      "loss": 0.0107,
      "step": 1731
    },
    {
      "epoch": 23.093333333333334,
      "grad_norm": 0.5334154367446899,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1732
    },
    {
      "epoch": 23.106666666666666,
      "grad_norm": 0.9977536797523499,
      "learning_rate": 5e-05,
      "loss": 0.0137,
      "step": 1733
    },
    {
      "epoch": 23.12,
      "grad_norm": 1.4641432762145996,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 1734
    },
    {
      "epoch": 23.133333333333333,
      "grad_norm": 3.378838539123535,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 1735
    },
    {
      "epoch": 23.14666666666667,
      "grad_norm": 0.8245779871940613,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 1736
    },
    {
      "epoch": 23.16,
      "grad_norm": 2.408043146133423,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 1737
    },
    {
      "epoch": 23.173333333333332,
      "grad_norm": 2.860184907913208,
      "learning_rate": 5e-05,
      "loss": 0.02,
      "step": 1738
    },
    {
      "epoch": 23.186666666666667,
      "grad_norm": 0.6596395969390869,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 1739
    },
    {
      "epoch": 23.2,
      "grad_norm": 0.5300654768943787,
      "learning_rate": 5e-05,
      "loss": 0.0057,
      "step": 1740
    },
    {
      "epoch": 23.213333333333335,
      "grad_norm": 0.6879261136054993,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 1741
    },
    {
      "epoch": 23.226666666666667,
      "grad_norm": 1.5362249612808228,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 1742
    },
    {
      "epoch": 23.24,
      "grad_norm": 0.5608065128326416,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 1743
    },
    {
      "epoch": 23.253333333333334,
      "grad_norm": 0.40072643756866455,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 1744
    },
    {
      "epoch": 23.266666666666666,
      "grad_norm": 0.4637308716773987,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 1745
    },
    {
      "epoch": 23.28,
      "grad_norm": 1.2919673919677734,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 1746
    },
    {
      "epoch": 23.293333333333333,
      "grad_norm": 2.476321220397949,
      "learning_rate": 5e-05,
      "loss": 0.0137,
      "step": 1747
    },
    {
      "epoch": 23.306666666666665,
      "grad_norm": 1.6724903583526611,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 1748
    },
    {
      "epoch": 23.32,
      "grad_norm": 2.035153865814209,
      "learning_rate": 5e-05,
      "loss": 0.0287,
      "step": 1749
    },
    {
      "epoch": 23.333333333333332,
      "grad_norm": 0.888749897480011,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 1750
    },
    {
      "epoch": 23.346666666666668,
      "grad_norm": 0.08741786330938339,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 1751
    },
    {
      "epoch": 23.36,
      "grad_norm": 0.2904474437236786,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 1752
    },
    {
      "epoch": 23.373333333333335,
      "grad_norm": 2.2579052448272705,
      "learning_rate": 5e-05,
      "loss": 0.0127,
      "step": 1753
    },
    {
      "epoch": 23.386666666666667,
      "grad_norm": 0.4701129198074341,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 1754
    },
    {
      "epoch": 23.4,
      "grad_norm": 0.5469374060630798,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 1755
    },
    {
      "epoch": 23.413333333333334,
      "grad_norm": 2.594212293624878,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 1756
    },
    {
      "epoch": 23.426666666666666,
      "grad_norm": 1.259290099143982,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 1757
    },
    {
      "epoch": 23.44,
      "grad_norm": 1.658913493156433,
      "learning_rate": 5e-05,
      "loss": 0.0078,
      "step": 1758
    },
    {
      "epoch": 23.453333333333333,
      "grad_norm": 0.8793174028396606,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 1759
    },
    {
      "epoch": 23.466666666666665,
      "grad_norm": 0.7126021385192871,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 1760
    },
    {
      "epoch": 23.48,
      "grad_norm": 1.401606559753418,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 1761
    },
    {
      "epoch": 23.493333333333332,
      "grad_norm": 1.1449910402297974,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 1762
    },
    {
      "epoch": 23.506666666666668,
      "grad_norm": 0.9656516909599304,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 1763
    },
    {
      "epoch": 23.52,
      "grad_norm": 0.9297250509262085,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 1764
    },
    {
      "epoch": 23.533333333333335,
      "grad_norm": 1.2681972980499268,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 1765
    },
    {
      "epoch": 23.546666666666667,
      "grad_norm": 2.093667507171631,
      "learning_rate": 5e-05,
      "loss": 0.0121,
      "step": 1766
    },
    {
      "epoch": 23.56,
      "grad_norm": 1.8937379121780396,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 1767
    },
    {
      "epoch": 23.573333333333334,
      "grad_norm": 2.242309093475342,
      "learning_rate": 5e-05,
      "loss": 0.0175,
      "step": 1768
    },
    {
      "epoch": 23.586666666666666,
      "grad_norm": 1.4305574893951416,
      "learning_rate": 5e-05,
      "loss": 0.0139,
      "step": 1769
    },
    {
      "epoch": 23.6,
      "grad_norm": 0.7572844624519348,
      "learning_rate": 5e-05,
      "loss": 0.0144,
      "step": 1770
    },
    {
      "epoch": 23.613333333333333,
      "grad_norm": 0.6463807821273804,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 1771
    },
    {
      "epoch": 23.626666666666665,
      "grad_norm": 1.8031487464904785,
      "learning_rate": 5e-05,
      "loss": 0.0246,
      "step": 1772
    },
    {
      "epoch": 23.64,
      "grad_norm": 0.839262843132019,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 1773
    },
    {
      "epoch": 23.653333333333332,
      "grad_norm": 0.9226762652397156,
      "learning_rate": 5e-05,
      "loss": 0.0135,
      "step": 1774
    },
    {
      "epoch": 23.666666666666668,
      "grad_norm": 0.8431039452552795,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 1775
    },
    {
      "epoch": 23.68,
      "grad_norm": 0.6405225992202759,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 1776
    },
    {
      "epoch": 23.693333333333335,
      "grad_norm": 0.6569792032241821,
      "learning_rate": 5e-05,
      "loss": 0.0088,
      "step": 1777
    },
    {
      "epoch": 23.706666666666667,
      "grad_norm": 0.7700952887535095,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 1778
    },
    {
      "epoch": 23.72,
      "grad_norm": 1.7401808500289917,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 1779
    },
    {
      "epoch": 23.733333333333334,
      "grad_norm": 0.6648542284965515,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 1780
    },
    {
      "epoch": 23.746666666666666,
      "grad_norm": 1.1741719245910645,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 1781
    },
    {
      "epoch": 23.76,
      "grad_norm": 1.2775604724884033,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1782
    },
    {
      "epoch": 23.773333333333333,
      "grad_norm": 1.301609992980957,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1783
    },
    {
      "epoch": 23.786666666666665,
      "grad_norm": 3.411078691482544,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1784
    },
    {
      "epoch": 23.8,
      "grad_norm": 0.333036869764328,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 1785
    },
    {
      "epoch": 23.813333333333333,
      "grad_norm": 0.6600362658500671,
      "learning_rate": 5e-05,
      "loss": 0.0055,
      "step": 1786
    },
    {
      "epoch": 23.826666666666668,
      "grad_norm": 1.0077358484268188,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1787
    },
    {
      "epoch": 23.84,
      "grad_norm": 0.8194039463996887,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1788
    },
    {
      "epoch": 23.85333333333333,
      "grad_norm": 1.1036570072174072,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 1789
    },
    {
      "epoch": 23.866666666666667,
      "grad_norm": 0.49000823497772217,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 1790
    },
    {
      "epoch": 23.88,
      "grad_norm": 0.3008875548839569,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1791
    },
    {
      "epoch": 23.893333333333334,
      "grad_norm": 1.668784260749817,
      "learning_rate": 5e-05,
      "loss": 0.0154,
      "step": 1792
    },
    {
      "epoch": 23.906666666666666,
      "grad_norm": 0.373500794172287,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 1793
    },
    {
      "epoch": 23.92,
      "grad_norm": 1.474198818206787,
      "learning_rate": 5e-05,
      "loss": 0.0233,
      "step": 1794
    },
    {
      "epoch": 23.933333333333334,
      "grad_norm": 2.4048709869384766,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 1795
    },
    {
      "epoch": 23.946666666666665,
      "grad_norm": 0.9756313562393188,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 1796
    },
    {
      "epoch": 23.96,
      "grad_norm": 1.447951316833496,
      "learning_rate": 5e-05,
      "loss": 0.0136,
      "step": 1797
    },
    {
      "epoch": 23.973333333333333,
      "grad_norm": 0.602950394153595,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 1798
    },
    {
      "epoch": 23.986666666666668,
      "grad_norm": 0.6417945623397827,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 1799
    },
    {
      "epoch": 24.0,
      "grad_norm": 1.2530639171600342,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 1800
    },
    {
      "epoch": 24.013333333333332,
      "grad_norm": 0.7027612924575806,
      "learning_rate": 5e-05,
      "loss": 0.0088,
      "step": 1801
    },
    {
      "epoch": 24.026666666666667,
      "grad_norm": 0.32426485419273376,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 1802
    },
    {
      "epoch": 24.04,
      "grad_norm": 0.6378292441368103,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 1803
    },
    {
      "epoch": 24.053333333333335,
      "grad_norm": 0.5515622496604919,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 1804
    },
    {
      "epoch": 24.066666666666666,
      "grad_norm": 0.8826682567596436,
      "learning_rate": 5e-05,
      "loss": 0.0125,
      "step": 1805
    },
    {
      "epoch": 24.08,
      "grad_norm": 0.4423803389072418,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 1806
    },
    {
      "epoch": 24.093333333333334,
      "grad_norm": 0.752889096736908,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 1807
    },
    {
      "epoch": 24.106666666666666,
      "grad_norm": 0.6564030051231384,
      "learning_rate": 5e-05,
      "loss": 0.0168,
      "step": 1808
    },
    {
      "epoch": 24.12,
      "grad_norm": 0.6739360094070435,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 1809
    },
    {
      "epoch": 24.133333333333333,
      "grad_norm": 0.370291531085968,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 1810
    },
    {
      "epoch": 24.14666666666667,
      "grad_norm": 1.0519012212753296,
      "learning_rate": 5e-05,
      "loss": 0.0105,
      "step": 1811
    },
    {
      "epoch": 24.16,
      "grad_norm": 0.7616636157035828,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 1812
    },
    {
      "epoch": 24.173333333333332,
      "grad_norm": 1.2665376663208008,
      "learning_rate": 5e-05,
      "loss": 0.0152,
      "step": 1813
    },
    {
      "epoch": 24.186666666666667,
      "grad_norm": 0.6205129623413086,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 1814
    },
    {
      "epoch": 24.2,
      "grad_norm": 0.38954588770866394,
      "learning_rate": 5e-05,
      "loss": 0.0083,
      "step": 1815
    },
    {
      "epoch": 24.213333333333335,
      "grad_norm": 0.48392656445503235,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 1816
    },
    {
      "epoch": 24.226666666666667,
      "grad_norm": 1.7856532335281372,
      "learning_rate": 5e-05,
      "loss": 0.0091,
      "step": 1817
    },
    {
      "epoch": 24.24,
      "grad_norm": 0.35813573002815247,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 1818
    },
    {
      "epoch": 24.253333333333334,
      "grad_norm": 1.5457100868225098,
      "learning_rate": 5e-05,
      "loss": 0.0242,
      "step": 1819
    },
    {
      "epoch": 24.266666666666666,
      "grad_norm": 0.5147534608840942,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 1820
    },
    {
      "epoch": 24.28,
      "grad_norm": 0.5403139591217041,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 1821
    },
    {
      "epoch": 24.293333333333333,
      "grad_norm": 0.923454761505127,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 1822
    },
    {
      "epoch": 24.306666666666665,
      "grad_norm": 1.1429800987243652,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 1823
    },
    {
      "epoch": 24.32,
      "grad_norm": 0.6923366189002991,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1824
    },
    {
      "epoch": 24.333333333333332,
      "grad_norm": 0.2825145721435547,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 1825
    },
    {
      "epoch": 24.346666666666668,
      "grad_norm": 0.9410238265991211,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 1826
    },
    {
      "epoch": 24.36,
      "grad_norm": 0.6622958779335022,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 1827
    },
    {
      "epoch": 24.373333333333335,
      "grad_norm": 0.6728902459144592,
      "learning_rate": 5e-05,
      "loss": 0.0117,
      "step": 1828
    },
    {
      "epoch": 24.386666666666667,
      "grad_norm": 2.185638904571533,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 1829
    },
    {
      "epoch": 24.4,
      "grad_norm": 0.10928405076265335,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 1830
    },
    {
      "epoch": 24.413333333333334,
      "grad_norm": 1.0595709085464478,
      "learning_rate": 5e-05,
      "loss": 0.0076,
      "step": 1831
    },
    {
      "epoch": 24.426666666666666,
      "grad_norm": 0.44546857476234436,
      "learning_rate": 5e-05,
      "loss": 0.0062,
      "step": 1832
    },
    {
      "epoch": 24.44,
      "grad_norm": 1.2127442359924316,
      "learning_rate": 5e-05,
      "loss": 0.0151,
      "step": 1833
    },
    {
      "epoch": 24.453333333333333,
      "grad_norm": 2.0846543312072754,
      "learning_rate": 5e-05,
      "loss": 0.0187,
      "step": 1834
    },
    {
      "epoch": 24.466666666666665,
      "grad_norm": 0.8414649367332458,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 1835
    },
    {
      "epoch": 24.48,
      "grad_norm": 0.3297249674797058,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 1836
    },
    {
      "epoch": 24.493333333333332,
      "grad_norm": 0.4995254576206207,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 1837
    },
    {
      "epoch": 24.506666666666668,
      "grad_norm": 0.6504414677619934,
      "learning_rate": 5e-05,
      "loss": 0.0107,
      "step": 1838
    },
    {
      "epoch": 24.52,
      "grad_norm": 0.5845454931259155,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 1839
    },
    {
      "epoch": 24.533333333333335,
      "grad_norm": 0.36817467212677,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 1840
    },
    {
      "epoch": 24.546666666666667,
      "grad_norm": 0.43025365471839905,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 1841
    },
    {
      "epoch": 24.56,
      "grad_norm": 1.0826971530914307,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1842
    },
    {
      "epoch": 24.573333333333334,
      "grad_norm": 0.5116661190986633,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 1843
    },
    {
      "epoch": 24.586666666666666,
      "grad_norm": 0.4283721148967743,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 1844
    },
    {
      "epoch": 24.6,
      "grad_norm": 0.7470614314079285,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 1845
    },
    {
      "epoch": 24.613333333333333,
      "grad_norm": 0.9694363474845886,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 1846
    },
    {
      "epoch": 24.626666666666665,
      "grad_norm": 0.6106060743331909,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 1847
    },
    {
      "epoch": 24.64,
      "grad_norm": 0.744716227054596,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 1848
    },
    {
      "epoch": 24.653333333333332,
      "grad_norm": 0.49855145812034607,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 1849
    },
    {
      "epoch": 24.666666666666668,
      "grad_norm": 1.1495357751846313,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 1850
    },
    {
      "epoch": 24.68,
      "grad_norm": 0.9169101119041443,
      "learning_rate": 5e-05,
      "loss": 0.0091,
      "step": 1851
    },
    {
      "epoch": 24.693333333333335,
      "grad_norm": 0.3978807032108307,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 1852
    },
    {
      "epoch": 24.706666666666667,
      "grad_norm": 0.42592382431030273,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 1853
    },
    {
      "epoch": 24.72,
      "grad_norm": 2.405200242996216,
      "learning_rate": 5e-05,
      "loss": 0.0276,
      "step": 1854
    },
    {
      "epoch": 24.733333333333334,
      "grad_norm": 0.9026684761047363,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 1855
    },
    {
      "epoch": 24.746666666666666,
      "grad_norm": 1.1504627466201782,
      "learning_rate": 5e-05,
      "loss": 0.0098,
      "step": 1856
    },
    {
      "epoch": 24.76,
      "grad_norm": 0.6683211922645569,
      "learning_rate": 5e-05,
      "loss": 0.008,
      "step": 1857
    },
    {
      "epoch": 24.773333333333333,
      "grad_norm": 0.4543255865573883,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 1858
    },
    {
      "epoch": 24.786666666666665,
      "grad_norm": 0.6358757019042969,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 1859
    },
    {
      "epoch": 24.8,
      "grad_norm": 1.087830662727356,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 1860
    },
    {
      "epoch": 24.813333333333333,
      "grad_norm": 1.1336441040039062,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 1861
    },
    {
      "epoch": 24.826666666666668,
      "grad_norm": 1.037434458732605,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 1862
    },
    {
      "epoch": 24.84,
      "grad_norm": 0.9168573617935181,
      "learning_rate": 5e-05,
      "loss": 0.0055,
      "step": 1863
    },
    {
      "epoch": 24.85333333333333,
      "grad_norm": 1.3463746309280396,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 1864
    },
    {
      "epoch": 24.866666666666667,
      "grad_norm": 0.8815928101539612,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 1865
    },
    {
      "epoch": 24.88,
      "grad_norm": 0.6680574417114258,
      "learning_rate": 5e-05,
      "loss": 0.0061,
      "step": 1866
    },
    {
      "epoch": 24.893333333333334,
      "grad_norm": 0.7144416570663452,
      "learning_rate": 5e-05,
      "loss": 0.01,
      "step": 1867
    },
    {
      "epoch": 24.906666666666666,
      "grad_norm": 1.1482689380645752,
      "learning_rate": 5e-05,
      "loss": 0.0055,
      "step": 1868
    },
    {
      "epoch": 24.92,
      "grad_norm": 0.7745413780212402,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 1869
    },
    {
      "epoch": 24.933333333333334,
      "grad_norm": 0.6090587973594666,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1870
    },
    {
      "epoch": 24.946666666666665,
      "grad_norm": 2.106013059616089,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 1871
    },
    {
      "epoch": 24.96,
      "grad_norm": 0.8672865033149719,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 1872
    },
    {
      "epoch": 24.973333333333333,
      "grad_norm": 0.7211934924125671,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 1873
    },
    {
      "epoch": 24.986666666666668,
      "grad_norm": 0.39288315176963806,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 1874
    },
    {
      "epoch": 25.0,
      "grad_norm": 1.3178350925445557,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 1875
    },
    {
      "epoch": 25.013333333333332,
      "grad_norm": 2.2452304363250732,
      "learning_rate": 5e-05,
      "loss": 0.0316,
      "step": 1876
    },
    {
      "epoch": 25.026666666666667,
      "grad_norm": 0.5211937427520752,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 1877
    },
    {
      "epoch": 25.04,
      "grad_norm": 0.44835832715034485,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 1878
    },
    {
      "epoch": 25.053333333333335,
      "grad_norm": 0.7754466533660889,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 1879
    },
    {
      "epoch": 25.066666666666666,
      "grad_norm": 0.9221148490905762,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 1880
    },
    {
      "epoch": 25.08,
      "grad_norm": 0.237352192401886,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 1881
    },
    {
      "epoch": 25.093333333333334,
      "grad_norm": 1.0408804416656494,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 1882
    },
    {
      "epoch": 25.106666666666666,
      "grad_norm": 0.5339290499687195,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 1883
    },
    {
      "epoch": 25.12,
      "grad_norm": 0.7988533973693848,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 1884
    },
    {
      "epoch": 25.133333333333333,
      "grad_norm": 0.20330369472503662,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 1885
    },
    {
      "epoch": 25.14666666666667,
      "grad_norm": 0.7772301435470581,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 1886
    },
    {
      "epoch": 25.16,
      "grad_norm": 1.0840495824813843,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 1887
    },
    {
      "epoch": 25.173333333333332,
      "grad_norm": 0.35828012228012085,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 1888
    },
    {
      "epoch": 25.186666666666667,
      "grad_norm": 0.6898312568664551,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 1889
    },
    {
      "epoch": 25.2,
      "grad_norm": 0.07771476358175278,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 1890
    },
    {
      "epoch": 25.213333333333335,
      "grad_norm": 0.9339137077331543,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 1891
    },
    {
      "epoch": 25.226666666666667,
      "grad_norm": 1.3588504791259766,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 1892
    },
    {
      "epoch": 25.24,
      "grad_norm": 0.39734622836112976,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 1893
    },
    {
      "epoch": 25.253333333333334,
      "grad_norm": 0.5383690595626831,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 1894
    },
    {
      "epoch": 25.266666666666666,
      "grad_norm": 0.8885815143585205,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 1895
    },
    {
      "epoch": 25.28,
      "grad_norm": 0.42148733139038086,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 1896
    },
    {
      "epoch": 25.293333333333333,
      "grad_norm": 0.520963191986084,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 1897
    },
    {
      "epoch": 25.306666666666665,
      "grad_norm": 0.6621973514556885,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 1898
    },
    {
      "epoch": 25.32,
      "grad_norm": 0.39748626947402954,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 1899
    },
    {
      "epoch": 25.333333333333332,
      "grad_norm": 1.0176821947097778,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1900
    },
    {
      "epoch": 25.346666666666668,
      "grad_norm": 0.5425108075141907,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 1901
    },
    {
      "epoch": 25.36,
      "grad_norm": 0.6290835738182068,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 1902
    },
    {
      "epoch": 25.373333333333335,
      "grad_norm": 0.4049840569496155,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 1903
    },
    {
      "epoch": 25.386666666666667,
      "grad_norm": 0.09843075275421143,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 1904
    },
    {
      "epoch": 25.4,
      "grad_norm": 1.3167827129364014,
      "learning_rate": 5e-05,
      "loss": 0.0091,
      "step": 1905
    },
    {
      "epoch": 25.413333333333334,
      "grad_norm": 1.9877758026123047,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 1906
    },
    {
      "epoch": 25.426666666666666,
      "grad_norm": 0.6112822890281677,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 1907
    },
    {
      "epoch": 25.44,
      "grad_norm": 2.5761513710021973,
      "learning_rate": 5e-05,
      "loss": 0.0311,
      "step": 1908
    },
    {
      "epoch": 25.453333333333333,
      "grad_norm": 0.3267555832862854,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 1909
    },
    {
      "epoch": 25.466666666666665,
      "grad_norm": 0.6174939870834351,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 1910
    },
    {
      "epoch": 25.48,
      "grad_norm": 0.7996857166290283,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 1911
    },
    {
      "epoch": 25.493333333333332,
      "grad_norm": 1.252841591835022,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 1912
    },
    {
      "epoch": 25.506666666666668,
      "grad_norm": 0.8723631501197815,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 1913
    },
    {
      "epoch": 25.52,
      "grad_norm": 0.4274379014968872,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 1914
    },
    {
      "epoch": 25.533333333333335,
      "grad_norm": 1.4107789993286133,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 1915
    },
    {
      "epoch": 25.546666666666667,
      "grad_norm": 0.6854560971260071,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 1916
    },
    {
      "epoch": 25.56,
      "grad_norm": 1.1379523277282715,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 1917
    },
    {
      "epoch": 25.573333333333334,
      "grad_norm": 1.9956226348876953,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 1918
    },
    {
      "epoch": 25.586666666666666,
      "grad_norm": 1.5586352348327637,
      "learning_rate": 5e-05,
      "loss": 0.0204,
      "step": 1919
    },
    {
      "epoch": 25.6,
      "grad_norm": 0.9302119016647339,
      "learning_rate": 5e-05,
      "loss": 0.0121,
      "step": 1920
    },
    {
      "epoch": 25.613333333333333,
      "grad_norm": 0.8458281755447388,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1921
    },
    {
      "epoch": 25.626666666666665,
      "grad_norm": 1.0214921236038208,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 1922
    },
    {
      "epoch": 25.64,
      "grad_norm": 1.1315679550170898,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 1923
    },
    {
      "epoch": 25.653333333333332,
      "grad_norm": 0.6161441802978516,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 1924
    },
    {
      "epoch": 25.666666666666668,
      "grad_norm": 1.4694390296936035,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 1925
    },
    {
      "epoch": 25.68,
      "grad_norm": 1.6559970378875732,
      "learning_rate": 5e-05,
      "loss": 0.0072,
      "step": 1926
    },
    {
      "epoch": 25.693333333333335,
      "grad_norm": 0.5574795007705688,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 1927
    },
    {
      "epoch": 25.706666666666667,
      "grad_norm": 0.7393211126327515,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 1928
    },
    {
      "epoch": 25.72,
      "grad_norm": 0.25515857338905334,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 1929
    },
    {
      "epoch": 25.733333333333334,
      "grad_norm": 0.8890318870544434,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 1930
    },
    {
      "epoch": 25.746666666666666,
      "grad_norm": 0.716337263584137,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 1931
    },
    {
      "epoch": 25.76,
      "grad_norm": 0.9876633882522583,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 1932
    },
    {
      "epoch": 25.773333333333333,
      "grad_norm": 2.287449836730957,
      "learning_rate": 5e-05,
      "loss": 0.0193,
      "step": 1933
    },
    {
      "epoch": 25.786666666666665,
      "grad_norm": 0.5304887890815735,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 1934
    },
    {
      "epoch": 25.8,
      "grad_norm": 0.5419135093688965,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 1935
    },
    {
      "epoch": 25.813333333333333,
      "grad_norm": 0.5974867343902588,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 1936
    },
    {
      "epoch": 25.826666666666668,
      "grad_norm": 1.1601215600967407,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 1937
    },
    {
      "epoch": 25.84,
      "grad_norm": 0.8666916489601135,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 1938
    },
    {
      "epoch": 25.85333333333333,
      "grad_norm": 0.9663330316543579,
      "learning_rate": 5e-05,
      "loss": 0.0072,
      "step": 1939
    },
    {
      "epoch": 25.866666666666667,
      "grad_norm": 0.37048429250717163,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1940
    },
    {
      "epoch": 25.88,
      "grad_norm": 0.9604371190071106,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 1941
    },
    {
      "epoch": 25.893333333333334,
      "grad_norm": 0.5606663227081299,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 1942
    },
    {
      "epoch": 25.906666666666666,
      "grad_norm": 0.4109911024570465,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 1943
    },
    {
      "epoch": 25.92,
      "grad_norm": 0.4028385579586029,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 1944
    },
    {
      "epoch": 25.933333333333334,
      "grad_norm": 0.6095184683799744,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 1945
    },
    {
      "epoch": 25.946666666666665,
      "grad_norm": 2.0989930629730225,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 1946
    },
    {
      "epoch": 25.96,
      "grad_norm": 0.5415112376213074,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 1947
    },
    {
      "epoch": 25.973333333333333,
      "grad_norm": 1.699540376663208,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 1948
    },
    {
      "epoch": 25.986666666666668,
      "grad_norm": 1.1650004386901855,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 1949
    },
    {
      "epoch": 26.0,
      "grad_norm": 0.8555057048797607,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 1950
    },
    {
      "epoch": 26.013333333333332,
      "grad_norm": 0.6406516432762146,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 1951
    },
    {
      "epoch": 26.026666666666667,
      "grad_norm": 0.4414594769477844,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 1952
    },
    {
      "epoch": 26.04,
      "grad_norm": 0.7583906054496765,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 1953
    },
    {
      "epoch": 26.053333333333335,
      "grad_norm": 1.4543180465698242,
      "learning_rate": 5e-05,
      "loss": 0.012,
      "step": 1954
    },
    {
      "epoch": 26.066666666666666,
      "grad_norm": 0.6383520364761353,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 1955
    },
    {
      "epoch": 26.08,
      "grad_norm": 0.2337348461151123,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 1956
    },
    {
      "epoch": 26.093333333333334,
      "grad_norm": 1.6828428506851196,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 1957
    },
    {
      "epoch": 26.106666666666666,
      "grad_norm": 0.97013920545578,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 1958
    },
    {
      "epoch": 26.12,
      "grad_norm": 0.5163356065750122,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 1959
    },
    {
      "epoch": 26.133333333333333,
      "grad_norm": 0.9069258570671082,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 1960
    },
    {
      "epoch": 26.14666666666667,
      "grad_norm": 1.4649803638458252,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 1961
    },
    {
      "epoch": 26.16,
      "grad_norm": 1.2074922323226929,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 1962
    },
    {
      "epoch": 26.173333333333332,
      "grad_norm": 0.3016408681869507,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 1963
    },
    {
      "epoch": 26.186666666666667,
      "grad_norm": 0.5723109841346741,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 1964
    },
    {
      "epoch": 26.2,
      "grad_norm": 1.0808221101760864,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 1965
    },
    {
      "epoch": 26.213333333333335,
      "grad_norm": 0.27167806029319763,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 1966
    },
    {
      "epoch": 26.226666666666667,
      "grad_norm": 0.26683154702186584,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 1967
    },
    {
      "epoch": 26.24,
      "grad_norm": 0.6238401532173157,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 1968
    },
    {
      "epoch": 26.253333333333334,
      "grad_norm": 0.2007528841495514,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 1969
    },
    {
      "epoch": 26.266666666666666,
      "grad_norm": 1.0916976928710938,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 1970
    },
    {
      "epoch": 26.28,
      "grad_norm": 0.885751485824585,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 1971
    },
    {
      "epoch": 26.293333333333333,
      "grad_norm": 0.7775686979293823,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 1972
    },
    {
      "epoch": 26.306666666666665,
      "grad_norm": 1.7006913423538208,
      "learning_rate": 5e-05,
      "loss": 0.0078,
      "step": 1973
    },
    {
      "epoch": 26.32,
      "grad_norm": 1.8971771001815796,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 1974
    },
    {
      "epoch": 26.333333333333332,
      "grad_norm": 0.6307061910629272,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 1975
    },
    {
      "epoch": 26.346666666666668,
      "grad_norm": 0.5899897813796997,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 1976
    },
    {
      "epoch": 26.36,
      "grad_norm": 1.4221739768981934,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 1977
    },
    {
      "epoch": 26.373333333333335,
      "grad_norm": 0.43323269486427307,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 1978
    },
    {
      "epoch": 26.386666666666667,
      "grad_norm": 1.2501494884490967,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 1979
    },
    {
      "epoch": 26.4,
      "grad_norm": 0.882681667804718,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 1980
    },
    {
      "epoch": 26.413333333333334,
      "grad_norm": 1.2768566608428955,
      "learning_rate": 5e-05,
      "loss": 0.0128,
      "step": 1981
    },
    {
      "epoch": 26.426666666666666,
      "grad_norm": 0.3041470944881439,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 1982
    },
    {
      "epoch": 26.44,
      "grad_norm": 0.7530540823936462,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 1983
    },
    {
      "epoch": 26.453333333333333,
      "grad_norm": 0.8695782423019409,
      "learning_rate": 5e-05,
      "loss": 0.0095,
      "step": 1984
    },
    {
      "epoch": 26.466666666666665,
      "grad_norm": 0.25004541873931885,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 1985
    },
    {
      "epoch": 26.48,
      "grad_norm": 1.2584120035171509,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 1986
    },
    {
      "epoch": 26.493333333333332,
      "grad_norm": 0.698693573474884,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 1987
    },
    {
      "epoch": 26.506666666666668,
      "grad_norm": 2.1930742263793945,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 1988
    },
    {
      "epoch": 26.52,
      "grad_norm": 1.845949411392212,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 1989
    },
    {
      "epoch": 26.533333333333335,
      "grad_norm": 0.12868373095989227,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 1990
    },
    {
      "epoch": 26.546666666666667,
      "grad_norm": 2.5069587230682373,
      "learning_rate": 5e-05,
      "loss": 0.0302,
      "step": 1991
    },
    {
      "epoch": 26.56,
      "grad_norm": 1.64524245262146,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 1992
    },
    {
      "epoch": 26.573333333333334,
      "grad_norm": 0.5094851851463318,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 1993
    },
    {
      "epoch": 26.586666666666666,
      "grad_norm": 0.6642358899116516,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 1994
    },
    {
      "epoch": 26.6,
      "grad_norm": 1.3142555952072144,
      "learning_rate": 5e-05,
      "loss": 0.0076,
      "step": 1995
    },
    {
      "epoch": 26.613333333333333,
      "grad_norm": 1.3922094106674194,
      "learning_rate": 5e-05,
      "loss": 0.0105,
      "step": 1996
    },
    {
      "epoch": 26.626666666666665,
      "grad_norm": 0.3614368736743927,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 1997
    },
    {
      "epoch": 26.64,
      "grad_norm": 1.0315661430358887,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 1998
    },
    {
      "epoch": 26.653333333333332,
      "grad_norm": 2.4817075729370117,
      "learning_rate": 5e-05,
      "loss": 0.0248,
      "step": 1999
    },
    {
      "epoch": 26.666666666666668,
      "grad_norm": 1.5410276651382446,
      "learning_rate": 5e-05,
      "loss": 0.018,
      "step": 2000
    },
    {
      "epoch": 26.68,
      "grad_norm": 0.9078676104545593,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2001
    },
    {
      "epoch": 26.693333333333335,
      "grad_norm": 0.6282526254653931,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 2002
    },
    {
      "epoch": 26.706666666666667,
      "grad_norm": 0.42799270153045654,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 2003
    },
    {
      "epoch": 26.72,
      "grad_norm": 1.1855419874191284,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 2004
    },
    {
      "epoch": 26.733333333333334,
      "grad_norm": 0.46911340951919556,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2005
    },
    {
      "epoch": 26.746666666666666,
      "grad_norm": 0.416733980178833,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2006
    },
    {
      "epoch": 26.76,
      "grad_norm": 1.1762263774871826,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 2007
    },
    {
      "epoch": 26.773333333333333,
      "grad_norm": 0.6544625759124756,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2008
    },
    {
      "epoch": 26.786666666666665,
      "grad_norm": 0.8977497816085815,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2009
    },
    {
      "epoch": 26.8,
      "grad_norm": 1.4200308322906494,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 2010
    },
    {
      "epoch": 26.813333333333333,
      "grad_norm": 0.4578979015350342,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 2011
    },
    {
      "epoch": 26.826666666666668,
      "grad_norm": 0.949353039264679,
      "learning_rate": 5e-05,
      "loss": 0.0109,
      "step": 2012
    },
    {
      "epoch": 26.84,
      "grad_norm": 1.335321307182312,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 2013
    },
    {
      "epoch": 26.85333333333333,
      "grad_norm": 0.6418758034706116,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2014
    },
    {
      "epoch": 26.866666666666667,
      "grad_norm": 0.3632746636867523,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 2015
    },
    {
      "epoch": 26.88,
      "grad_norm": 0.6191681623458862,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 2016
    },
    {
      "epoch": 26.893333333333334,
      "grad_norm": 2.362112045288086,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 2017
    },
    {
      "epoch": 26.906666666666666,
      "grad_norm": 2.223533868789673,
      "learning_rate": 5e-05,
      "loss": 0.0098,
      "step": 2018
    },
    {
      "epoch": 26.92,
      "grad_norm": 2.334775924682617,
      "learning_rate": 5e-05,
      "loss": 0.0163,
      "step": 2019
    },
    {
      "epoch": 26.933333333333334,
      "grad_norm": 0.9424709677696228,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 2020
    },
    {
      "epoch": 26.946666666666665,
      "grad_norm": 0.2551088333129883,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2021
    },
    {
      "epoch": 26.96,
      "grad_norm": 0.44490769505500793,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2022
    },
    {
      "epoch": 26.973333333333333,
      "grad_norm": 0.6326022744178772,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2023
    },
    {
      "epoch": 26.986666666666668,
      "grad_norm": 2.7255890369415283,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 2024
    },
    {
      "epoch": 27.0,
      "grad_norm": 1.2592536211013794,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2025
    },
    {
      "epoch": 27.013333333333332,
      "grad_norm": 0.15853101015090942,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2026
    },
    {
      "epoch": 27.026666666666667,
      "grad_norm": 0.26251113414764404,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2027
    },
    {
      "epoch": 27.04,
      "grad_norm": 0.19024775922298431,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2028
    },
    {
      "epoch": 27.053333333333335,
      "grad_norm": 1.0024640560150146,
      "learning_rate": 5e-05,
      "loss": 0.011,
      "step": 2029
    },
    {
      "epoch": 27.066666666666666,
      "grad_norm": 0.18703074753284454,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2030
    },
    {
      "epoch": 27.08,
      "grad_norm": 0.3430148661136627,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2031
    },
    {
      "epoch": 27.093333333333334,
      "grad_norm": 0.08352302014827728,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2032
    },
    {
      "epoch": 27.106666666666666,
      "grad_norm": 0.4992579519748688,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 2033
    },
    {
      "epoch": 27.12,
      "grad_norm": 0.2360287755727768,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2034
    },
    {
      "epoch": 27.133333333333333,
      "grad_norm": 0.40369802713394165,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2035
    },
    {
      "epoch": 27.14666666666667,
      "grad_norm": 0.5428497791290283,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2036
    },
    {
      "epoch": 27.16,
      "grad_norm": 0.42808040976524353,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2037
    },
    {
      "epoch": 27.173333333333332,
      "grad_norm": 1.6835854053497314,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 2038
    },
    {
      "epoch": 27.186666666666667,
      "grad_norm": 1.5106909275054932,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 2039
    },
    {
      "epoch": 27.2,
      "grad_norm": 0.6837705969810486,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2040
    },
    {
      "epoch": 27.213333333333335,
      "grad_norm": 0.4238947331905365,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2041
    },
    {
      "epoch": 27.226666666666667,
      "grad_norm": 0.24071352183818817,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2042
    },
    {
      "epoch": 27.24,
      "grad_norm": 0.7771866321563721,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 2043
    },
    {
      "epoch": 27.253333333333334,
      "grad_norm": 0.5133501887321472,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2044
    },
    {
      "epoch": 27.266666666666666,
      "grad_norm": 6.254115581512451,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 2045
    },
    {
      "epoch": 27.28,
      "grad_norm": 0.13178032636642456,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2046
    },
    {
      "epoch": 27.293333333333333,
      "grad_norm": 0.23166169226169586,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2047
    },
    {
      "epoch": 27.306666666666665,
      "grad_norm": 0.28127261996269226,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2048
    },
    {
      "epoch": 27.32,
      "grad_norm": 1.625806212425232,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 2049
    },
    {
      "epoch": 27.333333333333332,
      "grad_norm": 0.46314358711242676,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2050
    },
    {
      "epoch": 27.346666666666668,
      "grad_norm": 0.07067614048719406,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2051
    },
    {
      "epoch": 27.36,
      "grad_norm": 0.47962144017219543,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2052
    },
    {
      "epoch": 27.373333333333335,
      "grad_norm": 0.1308409869670868,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2053
    },
    {
      "epoch": 27.386666666666667,
      "grad_norm": 1.1384882926940918,
      "learning_rate": 5e-05,
      "loss": 0.0095,
      "step": 2054
    },
    {
      "epoch": 27.4,
      "grad_norm": 1.0404921770095825,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 2055
    },
    {
      "epoch": 27.413333333333334,
      "grad_norm": 0.18483157455921173,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2056
    },
    {
      "epoch": 27.426666666666666,
      "grad_norm": 0.6484698057174683,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2057
    },
    {
      "epoch": 27.44,
      "grad_norm": 0.13014435768127441,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2058
    },
    {
      "epoch": 27.453333333333333,
      "grad_norm": 0.16753564774990082,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2059
    },
    {
      "epoch": 27.466666666666665,
      "grad_norm": 1.6231329441070557,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 2060
    },
    {
      "epoch": 27.48,
      "grad_norm": 1.009496808052063,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2061
    },
    {
      "epoch": 27.493333333333332,
      "grad_norm": 2.88222336769104,
      "learning_rate": 5e-05,
      "loss": 0.014,
      "step": 2062
    },
    {
      "epoch": 27.506666666666668,
      "grad_norm": 0.09388421475887299,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2063
    },
    {
      "epoch": 27.52,
      "grad_norm": 0.4346981346607208,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2064
    },
    {
      "epoch": 27.533333333333335,
      "grad_norm": 1.8900699615478516,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2065
    },
    {
      "epoch": 27.546666666666667,
      "grad_norm": 1.4154618978500366,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2066
    },
    {
      "epoch": 27.56,
      "grad_norm": 1.1696842908859253,
      "learning_rate": 5e-05,
      "loss": 0.0065,
      "step": 2067
    },
    {
      "epoch": 27.573333333333334,
      "grad_norm": 0.47750067710876465,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2068
    },
    {
      "epoch": 27.586666666666666,
      "grad_norm": 0.7038528323173523,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2069
    },
    {
      "epoch": 27.6,
      "grad_norm": 0.10646598786115646,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2070
    },
    {
      "epoch": 27.613333333333333,
      "grad_norm": 1.0862575769424438,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 2071
    },
    {
      "epoch": 27.626666666666665,
      "grad_norm": 0.46246999502182007,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2072
    },
    {
      "epoch": 27.64,
      "grad_norm": 0.7085361480712891,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2073
    },
    {
      "epoch": 27.653333333333332,
      "grad_norm": 0.457528293132782,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2074
    },
    {
      "epoch": 27.666666666666668,
      "grad_norm": 0.3505001664161682,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2075
    },
    {
      "epoch": 27.68,
      "grad_norm": 0.7201725244522095,
      "learning_rate": 5e-05,
      "loss": 0.0058,
      "step": 2076
    },
    {
      "epoch": 27.693333333333335,
      "grad_norm": 0.2991926372051239,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2077
    },
    {
      "epoch": 27.706666666666667,
      "grad_norm": 0.14969880878925323,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2078
    },
    {
      "epoch": 27.72,
      "grad_norm": 3.0836784839630127,
      "learning_rate": 5e-05,
      "loss": 0.0304,
      "step": 2079
    },
    {
      "epoch": 27.733333333333334,
      "grad_norm": 0.35619989037513733,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2080
    },
    {
      "epoch": 27.746666666666666,
      "grad_norm": 0.13668808341026306,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2081
    },
    {
      "epoch": 27.76,
      "grad_norm": 0.46324554085731506,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 2082
    },
    {
      "epoch": 27.773333333333333,
      "grad_norm": 0.32773613929748535,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2083
    },
    {
      "epoch": 27.786666666666665,
      "grad_norm": 1.6127889156341553,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 2084
    },
    {
      "epoch": 27.8,
      "grad_norm": 0.6015322208404541,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2085
    },
    {
      "epoch": 27.813333333333333,
      "grad_norm": 0.925957202911377,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 2086
    },
    {
      "epoch": 27.826666666666668,
      "grad_norm": 0.5045520663261414,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2087
    },
    {
      "epoch": 27.84,
      "grad_norm": 1.653777003288269,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 2088
    },
    {
      "epoch": 27.85333333333333,
      "grad_norm": 0.28198137879371643,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2089
    },
    {
      "epoch": 27.866666666666667,
      "grad_norm": 2.4599945545196533,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 2090
    },
    {
      "epoch": 27.88,
      "grad_norm": 0.8053178787231445,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2091
    },
    {
      "epoch": 27.893333333333334,
      "grad_norm": 0.2639431953430176,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2092
    },
    {
      "epoch": 27.906666666666666,
      "grad_norm": 0.6397038698196411,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2093
    },
    {
      "epoch": 27.92,
      "grad_norm": 0.7468405961990356,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2094
    },
    {
      "epoch": 27.933333333333334,
      "grad_norm": 0.6198577284812927,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2095
    },
    {
      "epoch": 27.946666666666665,
      "grad_norm": 0.2703861594200134,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2096
    },
    {
      "epoch": 27.96,
      "grad_norm": 0.6273847818374634,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 2097
    },
    {
      "epoch": 27.973333333333333,
      "grad_norm": 0.533789873123169,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2098
    },
    {
      "epoch": 27.986666666666668,
      "grad_norm": 1.5633748769760132,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 2099
    },
    {
      "epoch": 28.0,
      "grad_norm": 0.21850599348545074,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2100
    },
    {
      "epoch": 28.013333333333332,
      "grad_norm": 0.40772756934165955,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2101
    },
    {
      "epoch": 28.026666666666667,
      "grad_norm": 1.6328295469284058,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 2102
    },
    {
      "epoch": 28.04,
      "grad_norm": 0.23591159284114838,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2103
    },
    {
      "epoch": 28.053333333333335,
      "grad_norm": 0.8297116756439209,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2104
    },
    {
      "epoch": 28.066666666666666,
      "grad_norm": 3.143164873123169,
      "learning_rate": 5e-05,
      "loss": 0.0194,
      "step": 2105
    },
    {
      "epoch": 28.08,
      "grad_norm": 0.37503471970558167,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 2106
    },
    {
      "epoch": 28.093333333333334,
      "grad_norm": 0.4488936960697174,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2107
    },
    {
      "epoch": 28.106666666666666,
      "grad_norm": 0.16296109557151794,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2108
    },
    {
      "epoch": 28.12,
      "grad_norm": 0.19539788365364075,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2109
    },
    {
      "epoch": 28.133333333333333,
      "grad_norm": 0.9008063077926636,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2110
    },
    {
      "epoch": 28.14666666666667,
      "grad_norm": 1.9439184665679932,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 2111
    },
    {
      "epoch": 28.16,
      "grad_norm": 1.0309873819351196,
      "learning_rate": 5e-05,
      "loss": 0.0072,
      "step": 2112
    },
    {
      "epoch": 28.173333333333332,
      "grad_norm": 0.419676274061203,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2113
    },
    {
      "epoch": 28.186666666666667,
      "grad_norm": 1.2359304428100586,
      "learning_rate": 5e-05,
      "loss": 0.0089,
      "step": 2114
    },
    {
      "epoch": 28.2,
      "grad_norm": 0.3663232922554016,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2115
    },
    {
      "epoch": 28.213333333333335,
      "grad_norm": 0.3444751799106598,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2116
    },
    {
      "epoch": 28.226666666666667,
      "grad_norm": 0.13236230611801147,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2117
    },
    {
      "epoch": 28.24,
      "grad_norm": 0.5412682890892029,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2118
    },
    {
      "epoch": 28.253333333333334,
      "grad_norm": 0.2985154688358307,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2119
    },
    {
      "epoch": 28.266666666666666,
      "grad_norm": 0.07973761856555939,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2120
    },
    {
      "epoch": 28.28,
      "grad_norm": 0.24394850432872772,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2121
    },
    {
      "epoch": 28.293333333333333,
      "grad_norm": 0.07381024211645126,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2122
    },
    {
      "epoch": 28.306666666666665,
      "grad_norm": 1.8104208707809448,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 2123
    },
    {
      "epoch": 28.32,
      "grad_norm": 0.596743106842041,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2124
    },
    {
      "epoch": 28.333333333333332,
      "grad_norm": 0.4444694221019745,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2125
    },
    {
      "epoch": 28.346666666666668,
      "grad_norm": 1.2437961101531982,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 2126
    },
    {
      "epoch": 28.36,
      "grad_norm": 0.04431240260601044,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2127
    },
    {
      "epoch": 28.373333333333335,
      "grad_norm": 0.28733089566230774,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2128
    },
    {
      "epoch": 28.386666666666667,
      "grad_norm": 1.257838249206543,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2129
    },
    {
      "epoch": 28.4,
      "grad_norm": 0.48330435156822205,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2130
    },
    {
      "epoch": 28.413333333333334,
      "grad_norm": 0.932761549949646,
      "learning_rate": 5e-05,
      "loss": 0.0058,
      "step": 2131
    },
    {
      "epoch": 28.426666666666666,
      "grad_norm": 0.814111590385437,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2132
    },
    {
      "epoch": 28.44,
      "grad_norm": 0.48291051387786865,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2133
    },
    {
      "epoch": 28.453333333333333,
      "grad_norm": 0.5014944076538086,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2134
    },
    {
      "epoch": 28.466666666666665,
      "grad_norm": 0.2550908625125885,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2135
    },
    {
      "epoch": 28.48,
      "grad_norm": 1.0827877521514893,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 2136
    },
    {
      "epoch": 28.493333333333332,
      "grad_norm": 0.6604677438735962,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2137
    },
    {
      "epoch": 28.506666666666668,
      "grad_norm": 0.8880933523178101,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2138
    },
    {
      "epoch": 28.52,
      "grad_norm": 0.5793783068656921,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2139
    },
    {
      "epoch": 28.533333333333335,
      "grad_norm": 1.7270351648330688,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 2140
    },
    {
      "epoch": 28.546666666666667,
      "grad_norm": 0.6492516994476318,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2141
    },
    {
      "epoch": 28.56,
      "grad_norm": 0.4082406461238861,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2142
    },
    {
      "epoch": 28.573333333333334,
      "grad_norm": 0.09782252460718155,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2143
    },
    {
      "epoch": 28.586666666666666,
      "grad_norm": 0.1047593280673027,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2144
    },
    {
      "epoch": 28.6,
      "grad_norm": 0.6576213836669922,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2145
    },
    {
      "epoch": 28.613333333333333,
      "grad_norm": 0.03359060734510422,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2146
    },
    {
      "epoch": 28.626666666666665,
      "grad_norm": 0.47711560130119324,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2147
    },
    {
      "epoch": 28.64,
      "grad_norm": 0.5740859508514404,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2148
    },
    {
      "epoch": 28.653333333333332,
      "grad_norm": 0.1840737760066986,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2149
    },
    {
      "epoch": 28.666666666666668,
      "grad_norm": 2.5230565071105957,
      "learning_rate": 5e-05,
      "loss": 0.0181,
      "step": 2150
    },
    {
      "epoch": 28.68,
      "grad_norm": 1.7871237993240356,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 2151
    },
    {
      "epoch": 28.693333333333335,
      "grad_norm": 0.12629267573356628,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2152
    },
    {
      "epoch": 28.706666666666667,
      "grad_norm": 0.14466945827007294,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2153
    },
    {
      "epoch": 28.72,
      "grad_norm": 2.340715169906616,
      "learning_rate": 5e-05,
      "loss": 0.0338,
      "step": 2154
    },
    {
      "epoch": 28.733333333333334,
      "grad_norm": 0.2529276907444,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2155
    },
    {
      "epoch": 28.746666666666666,
      "grad_norm": 0.4538436233997345,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2156
    },
    {
      "epoch": 28.76,
      "grad_norm": 1.2986083030700684,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 2157
    },
    {
      "epoch": 28.773333333333333,
      "grad_norm": 0.08623553812503815,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2158
    },
    {
      "epoch": 28.786666666666665,
      "grad_norm": 0.5150186419487,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2159
    },
    {
      "epoch": 28.8,
      "grad_norm": 2.204329252243042,
      "learning_rate": 5e-05,
      "loss": 0.0065,
      "step": 2160
    },
    {
      "epoch": 28.813333333333333,
      "grad_norm": 2.5411155223846436,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 2161
    },
    {
      "epoch": 28.826666666666668,
      "grad_norm": 0.44721144437789917,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2162
    },
    {
      "epoch": 28.84,
      "grad_norm": 1.167773723602295,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 2163
    },
    {
      "epoch": 28.85333333333333,
      "grad_norm": 1.3467754125595093,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2164
    },
    {
      "epoch": 28.866666666666667,
      "grad_norm": 1.5507358312606812,
      "learning_rate": 5e-05,
      "loss": 0.0257,
      "step": 2165
    },
    {
      "epoch": 28.88,
      "grad_norm": 0.3475363254547119,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2166
    },
    {
      "epoch": 28.893333333333334,
      "grad_norm": 0.7778974175453186,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2167
    },
    {
      "epoch": 28.906666666666666,
      "grad_norm": 1.5617492198944092,
      "learning_rate": 5e-05,
      "loss": 0.0099,
      "step": 2168
    },
    {
      "epoch": 28.92,
      "grad_norm": 2.90567946434021,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 2169
    },
    {
      "epoch": 28.933333333333334,
      "grad_norm": 0.4934322237968445,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2170
    },
    {
      "epoch": 28.946666666666665,
      "grad_norm": 0.2681953012943268,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2171
    },
    {
      "epoch": 28.96,
      "grad_norm": 0.861672043800354,
      "learning_rate": 5e-05,
      "loss": 0.0057,
      "step": 2172
    },
    {
      "epoch": 28.973333333333333,
      "grad_norm": 2.565859079360962,
      "learning_rate": 5e-05,
      "loss": 0.0105,
      "step": 2173
    },
    {
      "epoch": 28.986666666666668,
      "grad_norm": 0.8641564846038818,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2174
    },
    {
      "epoch": 29.0,
      "grad_norm": 0.9043929576873779,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 2175
    },
    {
      "epoch": 29.013333333333332,
      "grad_norm": 0.22827890515327454,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2176
    },
    {
      "epoch": 29.026666666666667,
      "grad_norm": 1.9288734197616577,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 2177
    },
    {
      "epoch": 29.04,
      "grad_norm": 0.30682677030563354,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2178
    },
    {
      "epoch": 29.053333333333335,
      "grad_norm": 0.7778920531272888,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 2179
    },
    {
      "epoch": 29.066666666666666,
      "grad_norm": 0.48578476905822754,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2180
    },
    {
      "epoch": 29.08,
      "grad_norm": 0.17248505353927612,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2181
    },
    {
      "epoch": 29.093333333333334,
      "grad_norm": 0.8465856909751892,
      "learning_rate": 5e-05,
      "loss": 0.0072,
      "step": 2182
    },
    {
      "epoch": 29.106666666666666,
      "grad_norm": 0.8569709658622742,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2183
    },
    {
      "epoch": 29.12,
      "grad_norm": 2.583791494369507,
      "learning_rate": 5e-05,
      "loss": 0.012,
      "step": 2184
    },
    {
      "epoch": 29.133333333333333,
      "grad_norm": 0.4048907160758972,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2185
    },
    {
      "epoch": 29.14666666666667,
      "grad_norm": 0.015950622037053108,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2186
    },
    {
      "epoch": 29.16,
      "grad_norm": 1.3494949340820312,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 2187
    },
    {
      "epoch": 29.173333333333332,
      "grad_norm": 0.15101130306720734,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2188
    },
    {
      "epoch": 29.186666666666667,
      "grad_norm": 0.19661659002304077,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2189
    },
    {
      "epoch": 29.2,
      "grad_norm": 0.09727852046489716,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2190
    },
    {
      "epoch": 29.213333333333335,
      "grad_norm": 0.31870150566101074,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2191
    },
    {
      "epoch": 29.226666666666667,
      "grad_norm": 1.8967822790145874,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 2192
    },
    {
      "epoch": 29.24,
      "grad_norm": 2.5074551105499268,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 2193
    },
    {
      "epoch": 29.253333333333334,
      "grad_norm": 0.48346686363220215,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2194
    },
    {
      "epoch": 29.266666666666666,
      "grad_norm": 0.7022148370742798,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2195
    },
    {
      "epoch": 29.28,
      "grad_norm": 0.3480759561061859,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2196
    },
    {
      "epoch": 29.293333333333333,
      "grad_norm": 0.43111467361450195,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2197
    },
    {
      "epoch": 29.306666666666665,
      "grad_norm": 0.5418605208396912,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2198
    },
    {
      "epoch": 29.32,
      "grad_norm": 0.1544923484325409,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2199
    },
    {
      "epoch": 29.333333333333332,
      "grad_norm": 0.15119759738445282,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2200
    },
    {
      "epoch": 29.346666666666668,
      "grad_norm": 0.3253004252910614,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2201
    },
    {
      "epoch": 29.36,
      "grad_norm": 0.2274661660194397,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2202
    },
    {
      "epoch": 29.373333333333335,
      "grad_norm": 0.09237192571163177,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2203
    },
    {
      "epoch": 29.386666666666667,
      "grad_norm": 0.4353909194469452,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2204
    },
    {
      "epoch": 29.4,
      "grad_norm": 0.10492181032896042,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2205
    },
    {
      "epoch": 29.413333333333334,
      "grad_norm": 0.5677922368049622,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2206
    },
    {
      "epoch": 29.426666666666666,
      "grad_norm": 0.9524187445640564,
      "learning_rate": 5e-05,
      "loss": 0.0081,
      "step": 2207
    },
    {
      "epoch": 29.44,
      "grad_norm": 0.11470028012990952,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2208
    },
    {
      "epoch": 29.453333333333333,
      "grad_norm": 0.05179769545793533,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2209
    },
    {
      "epoch": 29.466666666666665,
      "grad_norm": 1.8848682641983032,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 2210
    },
    {
      "epoch": 29.48,
      "grad_norm": 1.9678162336349487,
      "learning_rate": 5e-05,
      "loss": 0.0185,
      "step": 2211
    },
    {
      "epoch": 29.493333333333332,
      "grad_norm": 0.0326332151889801,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2212
    },
    {
      "epoch": 29.506666666666668,
      "grad_norm": 0.6492294073104858,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2213
    },
    {
      "epoch": 29.52,
      "grad_norm": 0.7263035774230957,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2214
    },
    {
      "epoch": 29.533333333333335,
      "grad_norm": 0.0641193613409996,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2215
    },
    {
      "epoch": 29.546666666666667,
      "grad_norm": 2.1598758697509766,
      "learning_rate": 5e-05,
      "loss": 0.0115,
      "step": 2216
    },
    {
      "epoch": 29.56,
      "grad_norm": 0.11530424654483795,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2217
    },
    {
      "epoch": 29.573333333333334,
      "grad_norm": 0.1703220009803772,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2218
    },
    {
      "epoch": 29.586666666666666,
      "grad_norm": 0.1315024197101593,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2219
    },
    {
      "epoch": 29.6,
      "grad_norm": 1.4871021509170532,
      "learning_rate": 5e-05,
      "loss": 0.01,
      "step": 2220
    },
    {
      "epoch": 29.613333333333333,
      "grad_norm": 0.48838600516319275,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2221
    },
    {
      "epoch": 29.626666666666665,
      "grad_norm": 0.0416758768260479,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2222
    },
    {
      "epoch": 29.64,
      "grad_norm": 1.8344749212265015,
      "learning_rate": 5e-05,
      "loss": 0.0301,
      "step": 2223
    },
    {
      "epoch": 29.653333333333332,
      "grad_norm": 0.12895557284355164,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2224
    },
    {
      "epoch": 29.666666666666668,
      "grad_norm": 1.0349329710006714,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 2225
    },
    {
      "epoch": 29.68,
      "grad_norm": 1.3765184879302979,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 2226
    },
    {
      "epoch": 29.693333333333335,
      "grad_norm": 1.3542578220367432,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 2227
    },
    {
      "epoch": 29.706666666666667,
      "grad_norm": 1.0529645681381226,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2228
    },
    {
      "epoch": 29.72,
      "grad_norm": 0.4610288441181183,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2229
    },
    {
      "epoch": 29.733333333333334,
      "grad_norm": 0.7364941835403442,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2230
    },
    {
      "epoch": 29.746666666666666,
      "grad_norm": 0.09454670548439026,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2231
    },
    {
      "epoch": 29.76,
      "grad_norm": 0.7062358260154724,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2232
    },
    {
      "epoch": 29.773333333333333,
      "grad_norm": 0.3414405286312103,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2233
    },
    {
      "epoch": 29.786666666666665,
      "grad_norm": 0.912134051322937,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2234
    },
    {
      "epoch": 29.8,
      "grad_norm": 1.5129472017288208,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 2235
    },
    {
      "epoch": 29.813333333333333,
      "grad_norm": 1.7297420501708984,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 2236
    },
    {
      "epoch": 29.826666666666668,
      "grad_norm": 0.2589230239391327,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2237
    },
    {
      "epoch": 29.84,
      "grad_norm": 0.6856632828712463,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2238
    },
    {
      "epoch": 29.85333333333333,
      "grad_norm": 0.3613618016242981,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2239
    },
    {
      "epoch": 29.866666666666667,
      "grad_norm": 0.6333697438240051,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2240
    },
    {
      "epoch": 29.88,
      "grad_norm": 0.1757233589887619,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2241
    },
    {
      "epoch": 29.893333333333334,
      "grad_norm": 0.3300465941429138,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2242
    },
    {
      "epoch": 29.906666666666666,
      "grad_norm": 0.6731685996055603,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2243
    },
    {
      "epoch": 29.92,
      "grad_norm": 0.06350866705179214,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2244
    },
    {
      "epoch": 29.933333333333334,
      "grad_norm": 1.3127691745758057,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 2245
    },
    {
      "epoch": 29.946666666666665,
      "grad_norm": 0.046999383717775345,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2246
    },
    {
      "epoch": 29.96,
      "grad_norm": 0.5515562891960144,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2247
    },
    {
      "epoch": 29.973333333333333,
      "grad_norm": 0.23188163340091705,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2248
    },
    {
      "epoch": 29.986666666666668,
      "grad_norm": 0.33360153436660767,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2249
    },
    {
      "epoch": 30.0,
      "grad_norm": 0.18430237472057343,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2250
    },
    {
      "epoch": 30.013333333333332,
      "grad_norm": 0.41352835297584534,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2251
    },
    {
      "epoch": 30.026666666666667,
      "grad_norm": 0.39961034059524536,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2252
    },
    {
      "epoch": 30.04,
      "grad_norm": 0.22940143942832947,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2253
    },
    {
      "epoch": 30.053333333333335,
      "grad_norm": 0.0337284654378891,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2254
    },
    {
      "epoch": 30.066666666666666,
      "grad_norm": 0.8772467374801636,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2255
    },
    {
      "epoch": 30.08,
      "grad_norm": 0.33176857233047485,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2256
    },
    {
      "epoch": 30.093333333333334,
      "grad_norm": 1.9901204109191895,
      "learning_rate": 5e-05,
      "loss": 0.0137,
      "step": 2257
    },
    {
      "epoch": 30.106666666666666,
      "grad_norm": 0.733212411403656,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 2258
    },
    {
      "epoch": 30.12,
      "grad_norm": 0.6677851676940918,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2259
    },
    {
      "epoch": 30.133333333333333,
      "grad_norm": 0.3337339758872986,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2260
    },
    {
      "epoch": 30.14666666666667,
      "grad_norm": 0.0947473794221878,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2261
    },
    {
      "epoch": 30.16,
      "grad_norm": 0.047021593898534775,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2262
    },
    {
      "epoch": 30.173333333333332,
      "grad_norm": 1.0256645679473877,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2263
    },
    {
      "epoch": 30.186666666666667,
      "grad_norm": 0.05011206865310669,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2264
    },
    {
      "epoch": 30.2,
      "grad_norm": 0.48738721013069153,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2265
    },
    {
      "epoch": 30.213333333333335,
      "grad_norm": 0.4845377802848816,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2266
    },
    {
      "epoch": 30.226666666666667,
      "grad_norm": 0.07121176272630692,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2267
    },
    {
      "epoch": 30.24,
      "grad_norm": 0.01701781153678894,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2268
    },
    {
      "epoch": 30.253333333333334,
      "grad_norm": 0.10771726071834564,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2269
    },
    {
      "epoch": 30.266666666666666,
      "grad_norm": 2.2627289295196533,
      "learning_rate": 5e-05,
      "loss": 0.022,
      "step": 2270
    },
    {
      "epoch": 30.28,
      "grad_norm": 0.05520762875676155,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2271
    },
    {
      "epoch": 30.293333333333333,
      "grad_norm": 0.024576107040047646,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2272
    },
    {
      "epoch": 30.306666666666665,
      "grad_norm": 0.556708037853241,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2273
    },
    {
      "epoch": 30.32,
      "grad_norm": 0.0925719141960144,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2274
    },
    {
      "epoch": 30.333333333333332,
      "grad_norm": 1.995191216468811,
      "learning_rate": 5e-05,
      "loss": 0.0192,
      "step": 2275
    },
    {
      "epoch": 30.346666666666668,
      "grad_norm": 0.18401803076267242,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2276
    },
    {
      "epoch": 30.36,
      "grad_norm": 0.20110933482646942,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2277
    },
    {
      "epoch": 30.373333333333335,
      "grad_norm": 0.06907083839178085,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2278
    },
    {
      "epoch": 30.386666666666667,
      "grad_norm": 0.25483372807502747,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2279
    },
    {
      "epoch": 30.4,
      "grad_norm": 0.39893969893455505,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2280
    },
    {
      "epoch": 30.413333333333334,
      "grad_norm": 1.0214259624481201,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2281
    },
    {
      "epoch": 30.426666666666666,
      "grad_norm": 0.1523807793855667,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2282
    },
    {
      "epoch": 30.44,
      "grad_norm": 0.5402083396911621,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2283
    },
    {
      "epoch": 30.453333333333333,
      "grad_norm": 0.38461509346961975,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 2284
    },
    {
      "epoch": 30.466666666666665,
      "grad_norm": 0.5728404521942139,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2285
    },
    {
      "epoch": 30.48,
      "grad_norm": 0.3235674202442169,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2286
    },
    {
      "epoch": 30.493333333333332,
      "grad_norm": 0.014947638846933842,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2287
    },
    {
      "epoch": 30.506666666666668,
      "grad_norm": 0.6110787987709045,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2288
    },
    {
      "epoch": 30.52,
      "grad_norm": 0.3489135205745697,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2289
    },
    {
      "epoch": 30.533333333333335,
      "grad_norm": 0.11609430611133575,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2290
    },
    {
      "epoch": 30.546666666666667,
      "grad_norm": 0.04971317574381828,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2291
    },
    {
      "epoch": 30.56,
      "grad_norm": 0.06824134290218353,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2292
    },
    {
      "epoch": 30.573333333333334,
      "grad_norm": 0.036879077553749084,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2293
    },
    {
      "epoch": 30.586666666666666,
      "grad_norm": 0.5110058188438416,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2294
    },
    {
      "epoch": 30.6,
      "grad_norm": 0.24947257339954376,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2295
    },
    {
      "epoch": 30.613333333333333,
      "grad_norm": 0.12645401060581207,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2296
    },
    {
      "epoch": 30.626666666666665,
      "grad_norm": 0.02742931619286537,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2297
    },
    {
      "epoch": 30.64,
      "grad_norm": 1.6628186702728271,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 2298
    },
    {
      "epoch": 30.653333333333332,
      "grad_norm": 0.03258056938648224,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2299
    },
    {
      "epoch": 30.666666666666668,
      "grad_norm": 0.570356547832489,
      "learning_rate": 5e-05,
      "loss": 0.0062,
      "step": 2300
    },
    {
      "epoch": 30.68,
      "grad_norm": 1.5103728771209717,
      "learning_rate": 5e-05,
      "loss": 0.0276,
      "step": 2301
    },
    {
      "epoch": 30.693333333333335,
      "grad_norm": 1.2069207429885864,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 2302
    },
    {
      "epoch": 30.706666666666667,
      "grad_norm": 1.5015422105789185,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 2303
    },
    {
      "epoch": 30.72,
      "grad_norm": 0.9871147871017456,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2304
    },
    {
      "epoch": 30.733333333333334,
      "grad_norm": 0.09631571918725967,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2305
    },
    {
      "epoch": 30.746666666666666,
      "grad_norm": 0.271738201379776,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2306
    },
    {
      "epoch": 30.76,
      "grad_norm": 0.40354815125465393,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2307
    },
    {
      "epoch": 30.773333333333333,
      "grad_norm": 0.42308229207992554,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2308
    },
    {
      "epoch": 30.786666666666665,
      "grad_norm": 0.057053904980421066,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2309
    },
    {
      "epoch": 30.8,
      "grad_norm": 0.03918382152915001,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2310
    },
    {
      "epoch": 30.813333333333333,
      "grad_norm": 0.5279298424720764,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2311
    },
    {
      "epoch": 30.826666666666668,
      "grad_norm": 0.07800626009702682,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2312
    },
    {
      "epoch": 30.84,
      "grad_norm": 0.11525046825408936,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2313
    },
    {
      "epoch": 30.85333333333333,
      "grad_norm": 0.2202836573123932,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2314
    },
    {
      "epoch": 30.866666666666667,
      "grad_norm": 1.6994186639785767,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 2315
    },
    {
      "epoch": 30.88,
      "grad_norm": 0.051684096455574036,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2316
    },
    {
      "epoch": 30.893333333333334,
      "grad_norm": 0.04240953549742699,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2317
    },
    {
      "epoch": 30.906666666666666,
      "grad_norm": 0.8169264197349548,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2318
    },
    {
      "epoch": 30.92,
      "grad_norm": 0.06900188326835632,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2319
    },
    {
      "epoch": 30.933333333333334,
      "grad_norm": 0.2222561538219452,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2320
    },
    {
      "epoch": 30.946666666666665,
      "grad_norm": 1.3880759477615356,
      "learning_rate": 5e-05,
      "loss": 0.0076,
      "step": 2321
    },
    {
      "epoch": 30.96,
      "grad_norm": 0.1375652402639389,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2322
    },
    {
      "epoch": 30.973333333333333,
      "grad_norm": 0.030438896268606186,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2323
    },
    {
      "epoch": 30.986666666666668,
      "grad_norm": 0.8400198221206665,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2324
    },
    {
      "epoch": 31.0,
      "grad_norm": 2.9475250244140625,
      "learning_rate": 5e-05,
      "loss": 0.0222,
      "step": 2325
    },
    {
      "epoch": 31.013333333333332,
      "grad_norm": 0.3617962598800659,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2326
    },
    {
      "epoch": 31.026666666666667,
      "grad_norm": 0.07825613021850586,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2327
    },
    {
      "epoch": 31.04,
      "grad_norm": 2.1297593116760254,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 2328
    },
    {
      "epoch": 31.053333333333335,
      "grad_norm": 0.0390801876783371,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2329
    },
    {
      "epoch": 31.066666666666666,
      "grad_norm": 0.20333482325077057,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2330
    },
    {
      "epoch": 31.08,
      "grad_norm": 0.27886879444122314,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 2331
    },
    {
      "epoch": 31.093333333333334,
      "grad_norm": 0.8584581613540649,
      "learning_rate": 5e-05,
      "loss": 0.0075,
      "step": 2332
    },
    {
      "epoch": 31.106666666666666,
      "grad_norm": 0.06051872298121452,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2333
    },
    {
      "epoch": 31.12,
      "grad_norm": 0.10516215115785599,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2334
    },
    {
      "epoch": 31.133333333333333,
      "grad_norm": 0.02807503193616867,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2335
    },
    {
      "epoch": 31.14666666666667,
      "grad_norm": 0.16483254730701447,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2336
    },
    {
      "epoch": 31.16,
      "grad_norm": 0.02553853578865528,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2337
    },
    {
      "epoch": 31.173333333333332,
      "grad_norm": 0.019738128408789635,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2338
    },
    {
      "epoch": 31.186666666666667,
      "grad_norm": 0.1391671895980835,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2339
    },
    {
      "epoch": 31.2,
      "grad_norm": 0.6849733591079712,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 2340
    },
    {
      "epoch": 31.213333333333335,
      "grad_norm": 0.0648624524474144,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2341
    },
    {
      "epoch": 31.226666666666667,
      "grad_norm": 0.19715598225593567,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2342
    },
    {
      "epoch": 31.24,
      "grad_norm": 0.0924820676445961,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2343
    },
    {
      "epoch": 31.253333333333334,
      "grad_norm": 1.8950685262680054,
      "learning_rate": 5e-05,
      "loss": 0.0294,
      "step": 2344
    },
    {
      "epoch": 31.266666666666666,
      "grad_norm": 0.558326244354248,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 2345
    },
    {
      "epoch": 31.28,
      "grad_norm": 1.0469475984573364,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 2346
    },
    {
      "epoch": 31.293333333333333,
      "grad_norm": 0.18016144633293152,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2347
    },
    {
      "epoch": 31.306666666666665,
      "grad_norm": 0.01822318695485592,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2348
    },
    {
      "epoch": 31.32,
      "grad_norm": 0.1065773069858551,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2349
    },
    {
      "epoch": 31.333333333333332,
      "grad_norm": 0.6809248328208923,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2350
    },
    {
      "epoch": 31.346666666666668,
      "grad_norm": 1.6092764139175415,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2351
    },
    {
      "epoch": 31.36,
      "grad_norm": 0.06735681742429733,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2352
    },
    {
      "epoch": 31.373333333333335,
      "grad_norm": 0.10891202837228775,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2353
    },
    {
      "epoch": 31.386666666666667,
      "grad_norm": 0.6460357308387756,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2354
    },
    {
      "epoch": 31.4,
      "grad_norm": 0.24701429903507233,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2355
    },
    {
      "epoch": 31.413333333333334,
      "grad_norm": 0.9071801900863647,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2356
    },
    {
      "epoch": 31.426666666666666,
      "grad_norm": 0.28915807604789734,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2357
    },
    {
      "epoch": 31.44,
      "grad_norm": 1.3614705801010132,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 2358
    },
    {
      "epoch": 31.453333333333333,
      "grad_norm": 0.6053258180618286,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 2359
    },
    {
      "epoch": 31.466666666666665,
      "grad_norm": 0.10715649276971817,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2360
    },
    {
      "epoch": 31.48,
      "grad_norm": 0.18271832168102264,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2361
    },
    {
      "epoch": 31.493333333333332,
      "grad_norm": 0.05875305458903313,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2362
    },
    {
      "epoch": 31.506666666666668,
      "grad_norm": 0.02338165044784546,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2363
    },
    {
      "epoch": 31.52,
      "grad_norm": 0.7638768553733826,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2364
    },
    {
      "epoch": 31.533333333333335,
      "grad_norm": 0.03704078868031502,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2365
    },
    {
      "epoch": 31.546666666666667,
      "grad_norm": 0.6157702803611755,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2366
    },
    {
      "epoch": 31.56,
      "grad_norm": 0.7915752530097961,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2367
    },
    {
      "epoch": 31.573333333333334,
      "grad_norm": 0.2728763818740845,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2368
    },
    {
      "epoch": 31.586666666666666,
      "grad_norm": 0.26130908727645874,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2369
    },
    {
      "epoch": 31.6,
      "grad_norm": 1.68761146068573,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 2370
    },
    {
      "epoch": 31.613333333333333,
      "grad_norm": 0.8342379927635193,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2371
    },
    {
      "epoch": 31.626666666666665,
      "grad_norm": 0.02832161635160446,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2372
    },
    {
      "epoch": 31.64,
      "grad_norm": 0.03529992327094078,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2373
    },
    {
      "epoch": 31.653333333333332,
      "grad_norm": 0.6308120489120483,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2374
    },
    {
      "epoch": 31.666666666666668,
      "grad_norm": 0.0235682874917984,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2375
    },
    {
      "epoch": 31.68,
      "grad_norm": 0.530950129032135,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2376
    },
    {
      "epoch": 31.693333333333335,
      "grad_norm": 0.9515085220336914,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2377
    },
    {
      "epoch": 31.706666666666667,
      "grad_norm": 0.99041748046875,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2378
    },
    {
      "epoch": 31.72,
      "grad_norm": 1.200645923614502,
      "learning_rate": 5e-05,
      "loss": 0.0068,
      "step": 2379
    },
    {
      "epoch": 31.733333333333334,
      "grad_norm": 1.147447109222412,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 2380
    },
    {
      "epoch": 31.746666666666666,
      "grad_norm": 1.1217894554138184,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2381
    },
    {
      "epoch": 31.76,
      "grad_norm": 0.10872285068035126,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2382
    },
    {
      "epoch": 31.773333333333333,
      "grad_norm": 0.29179537296295166,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2383
    },
    {
      "epoch": 31.786666666666665,
      "grad_norm": 0.0210728719830513,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2384
    },
    {
      "epoch": 31.8,
      "grad_norm": 0.022166619077324867,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2385
    },
    {
      "epoch": 31.813333333333333,
      "grad_norm": 0.6338457465171814,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2386
    },
    {
      "epoch": 31.826666666666668,
      "grad_norm": 0.057939328253269196,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2387
    },
    {
      "epoch": 31.84,
      "grad_norm": 0.6726039052009583,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2388
    },
    {
      "epoch": 31.85333333333333,
      "grad_norm": 0.511195957660675,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2389
    },
    {
      "epoch": 31.866666666666667,
      "grad_norm": 0.026161206886172295,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2390
    },
    {
      "epoch": 31.88,
      "grad_norm": 0.4873092770576477,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2391
    },
    {
      "epoch": 31.893333333333334,
      "grad_norm": 0.2103573977947235,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2392
    },
    {
      "epoch": 31.906666666666666,
      "grad_norm": 0.31649959087371826,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2393
    },
    {
      "epoch": 31.92,
      "grad_norm": 0.0274355448782444,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2394
    },
    {
      "epoch": 31.933333333333334,
      "grad_norm": 0.24556735157966614,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2395
    },
    {
      "epoch": 31.946666666666665,
      "grad_norm": 0.45873767137527466,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2396
    },
    {
      "epoch": 31.96,
      "grad_norm": 0.31470757722854614,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2397
    },
    {
      "epoch": 31.973333333333333,
      "grad_norm": 0.022714903578162193,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2398
    },
    {
      "epoch": 31.986666666666668,
      "grad_norm": 1.9166160821914673,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 2399
    },
    {
      "epoch": 32.0,
      "grad_norm": 2.2841551303863525,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 2400
    },
    {
      "epoch": 32.013333333333335,
      "grad_norm": 0.18404102325439453,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2401
    },
    {
      "epoch": 32.026666666666664,
      "grad_norm": 0.18176110088825226,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2402
    },
    {
      "epoch": 32.04,
      "grad_norm": 2.62092924118042,
      "learning_rate": 5e-05,
      "loss": 0.0232,
      "step": 2403
    },
    {
      "epoch": 32.053333333333335,
      "grad_norm": 0.16908538341522217,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2404
    },
    {
      "epoch": 32.06666666666667,
      "grad_norm": 0.317738801240921,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2405
    },
    {
      "epoch": 32.08,
      "grad_norm": 0.8229326009750366,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 2406
    },
    {
      "epoch": 32.093333333333334,
      "grad_norm": 0.019564690068364143,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2407
    },
    {
      "epoch": 32.10666666666667,
      "grad_norm": 2.601921796798706,
      "learning_rate": 5e-05,
      "loss": 0.0055,
      "step": 2408
    },
    {
      "epoch": 32.12,
      "grad_norm": 0.33472689986228943,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2409
    },
    {
      "epoch": 32.13333333333333,
      "grad_norm": 0.33449679613113403,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2410
    },
    {
      "epoch": 32.14666666666667,
      "grad_norm": 0.22305656969547272,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2411
    },
    {
      "epoch": 32.16,
      "grad_norm": 0.028389528393745422,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2412
    },
    {
      "epoch": 32.17333333333333,
      "grad_norm": 0.2932142913341522,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2413
    },
    {
      "epoch": 32.18666666666667,
      "grad_norm": 0.10445383936166763,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2414
    },
    {
      "epoch": 32.2,
      "grad_norm": 0.2694278657436371,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2415
    },
    {
      "epoch": 32.21333333333333,
      "grad_norm": 0.06233333796262741,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2416
    },
    {
      "epoch": 32.22666666666667,
      "grad_norm": 0.8549274802207947,
      "learning_rate": 5e-05,
      "loss": 0.0083,
      "step": 2417
    },
    {
      "epoch": 32.24,
      "grad_norm": 0.052248962223529816,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2418
    },
    {
      "epoch": 32.25333333333333,
      "grad_norm": 0.04565385729074478,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2419
    },
    {
      "epoch": 32.266666666666666,
      "grad_norm": 0.24446721374988556,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2420
    },
    {
      "epoch": 32.28,
      "grad_norm": 1.0360167026519775,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2421
    },
    {
      "epoch": 32.29333333333334,
      "grad_norm": 0.2004694789648056,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2422
    },
    {
      "epoch": 32.306666666666665,
      "grad_norm": 0.5106565952301025,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2423
    },
    {
      "epoch": 32.32,
      "grad_norm": 0.40187689661979675,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2424
    },
    {
      "epoch": 32.333333333333336,
      "grad_norm": 0.29480817914009094,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2425
    },
    {
      "epoch": 32.346666666666664,
      "grad_norm": 0.24760188162326813,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2426
    },
    {
      "epoch": 32.36,
      "grad_norm": 0.0911247506737709,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2427
    },
    {
      "epoch": 32.373333333333335,
      "grad_norm": 1.355362892150879,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2428
    },
    {
      "epoch": 32.38666666666666,
      "grad_norm": 0.04430558905005455,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2429
    },
    {
      "epoch": 32.4,
      "grad_norm": 0.9690677523612976,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 2430
    },
    {
      "epoch": 32.413333333333334,
      "grad_norm": 0.1028614193201065,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2431
    },
    {
      "epoch": 32.42666666666667,
      "grad_norm": 0.058106373995542526,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2432
    },
    {
      "epoch": 32.44,
      "grad_norm": 0.13198654353618622,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2433
    },
    {
      "epoch": 32.45333333333333,
      "grad_norm": 1.203681230545044,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2434
    },
    {
      "epoch": 32.46666666666667,
      "grad_norm": 0.14737248420715332,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2435
    },
    {
      "epoch": 32.48,
      "grad_norm": 0.8872111439704895,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2436
    },
    {
      "epoch": 32.49333333333333,
      "grad_norm": 0.052134253084659576,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2437
    },
    {
      "epoch": 32.50666666666667,
      "grad_norm": 0.01765773445367813,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2438
    },
    {
      "epoch": 32.52,
      "grad_norm": 0.35383695363998413,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2439
    },
    {
      "epoch": 32.53333333333333,
      "grad_norm": 0.10206151753664017,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2440
    },
    {
      "epoch": 32.54666666666667,
      "grad_norm": 2.3236682415008545,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 2441
    },
    {
      "epoch": 32.56,
      "grad_norm": 0.017081938683986664,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2442
    },
    {
      "epoch": 32.57333333333333,
      "grad_norm": 1.3864551782608032,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2443
    },
    {
      "epoch": 32.586666666666666,
      "grad_norm": 0.04374166205525398,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2444
    },
    {
      "epoch": 32.6,
      "grad_norm": 0.026661209762096405,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2445
    },
    {
      "epoch": 32.61333333333333,
      "grad_norm": 0.022839725017547607,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2446
    },
    {
      "epoch": 32.626666666666665,
      "grad_norm": 2.084326982498169,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 2447
    },
    {
      "epoch": 32.64,
      "grad_norm": 4.016315937042236,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 2448
    },
    {
      "epoch": 32.653333333333336,
      "grad_norm": 0.1002129390835762,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2449
    },
    {
      "epoch": 32.666666666666664,
      "grad_norm": 0.7659818530082703,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2450
    },
    {
      "epoch": 32.68,
      "grad_norm": 2.987921953201294,
      "learning_rate": 5e-05,
      "loss": 0.0136,
      "step": 2451
    },
    {
      "epoch": 32.693333333333335,
      "grad_norm": 0.1373891681432724,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2452
    },
    {
      "epoch": 32.70666666666666,
      "grad_norm": 0.5862321257591248,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2453
    },
    {
      "epoch": 32.72,
      "grad_norm": 0.015086285769939423,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2454
    },
    {
      "epoch": 32.733333333333334,
      "grad_norm": 3.554734230041504,
      "learning_rate": 5e-05,
      "loss": 0.0221,
      "step": 2455
    },
    {
      "epoch": 32.74666666666667,
      "grad_norm": 0.024935979396104813,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2456
    },
    {
      "epoch": 32.76,
      "grad_norm": 0.9046010375022888,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 2457
    },
    {
      "epoch": 32.77333333333333,
      "grad_norm": 0.11857382208108902,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2458
    },
    {
      "epoch": 32.78666666666667,
      "grad_norm": 0.47519901394844055,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2459
    },
    {
      "epoch": 32.8,
      "grad_norm": 0.5070507526397705,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2460
    },
    {
      "epoch": 32.81333333333333,
      "grad_norm": 0.019220443442463875,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2461
    },
    {
      "epoch": 32.82666666666667,
      "grad_norm": 2.382512092590332,
      "learning_rate": 5e-05,
      "loss": 0.0163,
      "step": 2462
    },
    {
      "epoch": 32.84,
      "grad_norm": 1.131091594696045,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2463
    },
    {
      "epoch": 32.85333333333333,
      "grad_norm": 0.102698415517807,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2464
    },
    {
      "epoch": 32.86666666666667,
      "grad_norm": 1.1952956914901733,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2465
    },
    {
      "epoch": 32.88,
      "grad_norm": 0.235366553068161,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2466
    },
    {
      "epoch": 32.89333333333333,
      "grad_norm": 0.2710443437099457,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2467
    },
    {
      "epoch": 32.906666666666666,
      "grad_norm": 0.2546667754650116,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2468
    },
    {
      "epoch": 32.92,
      "grad_norm": 0.12195634096860886,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2469
    },
    {
      "epoch": 32.93333333333333,
      "grad_norm": 0.053245607763528824,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2470
    },
    {
      "epoch": 32.946666666666665,
      "grad_norm": 1.2365831136703491,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 2471
    },
    {
      "epoch": 32.96,
      "grad_norm": 0.9161641001701355,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2472
    },
    {
      "epoch": 32.973333333333336,
      "grad_norm": 0.35058045387268066,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2473
    },
    {
      "epoch": 32.986666666666665,
      "grad_norm": 0.9448738098144531,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2474
    },
    {
      "epoch": 33.0,
      "grad_norm": 0.4085218608379364,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2475
    },
    {
      "epoch": 33.013333333333335,
      "grad_norm": 0.06253161281347275,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2476
    },
    {
      "epoch": 33.026666666666664,
      "grad_norm": 0.05939381942152977,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2477
    },
    {
      "epoch": 33.04,
      "grad_norm": 0.6554771661758423,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 2478
    },
    {
      "epoch": 33.053333333333335,
      "grad_norm": 0.8071372509002686,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 2479
    },
    {
      "epoch": 33.06666666666667,
      "grad_norm": 0.5113255381584167,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2480
    },
    {
      "epoch": 33.08,
      "grad_norm": 0.21989931166172028,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2481
    },
    {
      "epoch": 33.093333333333334,
      "grad_norm": 1.3759807348251343,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 2482
    },
    {
      "epoch": 33.10666666666667,
      "grad_norm": 0.36730873584747314,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2483
    },
    {
      "epoch": 33.12,
      "grad_norm": 0.024076208472251892,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2484
    },
    {
      "epoch": 33.13333333333333,
      "grad_norm": 0.12335658073425293,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2485
    },
    {
      "epoch": 33.14666666666667,
      "grad_norm": 0.5514457821846008,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2486
    },
    {
      "epoch": 33.16,
      "grad_norm": 0.4947236180305481,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2487
    },
    {
      "epoch": 33.17333333333333,
      "grad_norm": 1.6664307117462158,
      "learning_rate": 5e-05,
      "loss": 0.019,
      "step": 2488
    },
    {
      "epoch": 33.18666666666667,
      "grad_norm": 2.2629246711730957,
      "learning_rate": 5e-05,
      "loss": 0.036,
      "step": 2489
    },
    {
      "epoch": 33.2,
      "grad_norm": 0.20675602555274963,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2490
    },
    {
      "epoch": 33.21333333333333,
      "grad_norm": 0.44421207904815674,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2491
    },
    {
      "epoch": 33.22666666666667,
      "grad_norm": 0.21501347422599792,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2492
    },
    {
      "epoch": 33.24,
      "grad_norm": 0.9425198435783386,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 2493
    },
    {
      "epoch": 33.25333333333333,
      "grad_norm": 0.15146537125110626,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2494
    },
    {
      "epoch": 33.266666666666666,
      "grad_norm": 2.3485188484191895,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 2495
    },
    {
      "epoch": 33.28,
      "grad_norm": 0.4226081371307373,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2496
    },
    {
      "epoch": 33.29333333333334,
      "grad_norm": 0.028329361230134964,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2497
    },
    {
      "epoch": 33.306666666666665,
      "grad_norm": 1.2233266830444336,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 2498
    },
    {
      "epoch": 33.32,
      "grad_norm": 0.05612493306398392,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2499
    },
    {
      "epoch": 33.333333333333336,
      "grad_norm": 0.04390151798725128,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2500
    },
    {
      "epoch": 33.346666666666664,
      "grad_norm": 0.09457998722791672,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2501
    },
    {
      "epoch": 33.36,
      "grad_norm": 0.37609732151031494,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2502
    },
    {
      "epoch": 33.373333333333335,
      "grad_norm": 0.0762106329202652,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2503
    },
    {
      "epoch": 33.38666666666666,
      "grad_norm": 0.12493359297513962,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2504
    },
    {
      "epoch": 33.4,
      "grad_norm": 2.3877241611480713,
      "learning_rate": 5e-05,
      "loss": 0.0073,
      "step": 2505
    },
    {
      "epoch": 33.413333333333334,
      "grad_norm": 0.08956995606422424,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2506
    },
    {
      "epoch": 33.42666666666667,
      "grad_norm": 0.7521516680717468,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2507
    },
    {
      "epoch": 33.44,
      "grad_norm": 4.064378261566162,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 2508
    },
    {
      "epoch": 33.45333333333333,
      "grad_norm": 1.2344675064086914,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2509
    },
    {
      "epoch": 33.46666666666667,
      "grad_norm": 0.0684390440583229,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2510
    },
    {
      "epoch": 33.48,
      "grad_norm": 0.12347324937582016,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2511
    },
    {
      "epoch": 33.49333333333333,
      "grad_norm": 0.13583898544311523,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2512
    },
    {
      "epoch": 33.50666666666667,
      "grad_norm": 0.06276539713144302,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2513
    },
    {
      "epoch": 33.52,
      "grad_norm": 0.059922266751527786,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2514
    },
    {
      "epoch": 33.53333333333333,
      "grad_norm": 0.05869614705443382,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2515
    },
    {
      "epoch": 33.54666666666667,
      "grad_norm": 0.1727050542831421,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2516
    },
    {
      "epoch": 33.56,
      "grad_norm": 0.1234574019908905,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2517
    },
    {
      "epoch": 33.57333333333333,
      "grad_norm": 0.6692191362380981,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2518
    },
    {
      "epoch": 33.586666666666666,
      "grad_norm": 0.11193596571683884,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2519
    },
    {
      "epoch": 33.6,
      "grad_norm": 1.8480383157730103,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 2520
    },
    {
      "epoch": 33.61333333333333,
      "grad_norm": 0.5270036458969116,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2521
    },
    {
      "epoch": 33.626666666666665,
      "grad_norm": 1.938048243522644,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 2522
    },
    {
      "epoch": 33.64,
      "grad_norm": 0.38587164878845215,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2523
    },
    {
      "epoch": 33.653333333333336,
      "grad_norm": 1.988397240638733,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 2524
    },
    {
      "epoch": 33.666666666666664,
      "grad_norm": 0.3180711567401886,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2525
    },
    {
      "epoch": 33.68,
      "grad_norm": 0.060593847185373306,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2526
    },
    {
      "epoch": 33.693333333333335,
      "grad_norm": 2.0068552494049072,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 2527
    },
    {
      "epoch": 33.70666666666666,
      "grad_norm": 0.661932647228241,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2528
    },
    {
      "epoch": 33.72,
      "grad_norm": 0.1348695009946823,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2529
    },
    {
      "epoch": 33.733333333333334,
      "grad_norm": 0.07817383110523224,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2530
    },
    {
      "epoch": 33.74666666666667,
      "grad_norm": 1.539254069328308,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2531
    },
    {
      "epoch": 33.76,
      "grad_norm": 0.04172239825129509,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2532
    },
    {
      "epoch": 33.77333333333333,
      "grad_norm": 0.8287792801856995,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2533
    },
    {
      "epoch": 33.78666666666667,
      "grad_norm": 0.045406609773635864,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2534
    },
    {
      "epoch": 33.8,
      "grad_norm": 1.1934990882873535,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2535
    },
    {
      "epoch": 33.81333333333333,
      "grad_norm": 0.03295876458287239,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2536
    },
    {
      "epoch": 33.82666666666667,
      "grad_norm": 0.030125856399536133,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2537
    },
    {
      "epoch": 33.84,
      "grad_norm": 3.9753499031066895,
      "learning_rate": 5e-05,
      "loss": 0.0375,
      "step": 2538
    },
    {
      "epoch": 33.85333333333333,
      "grad_norm": 0.03539576753973961,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2539
    },
    {
      "epoch": 33.86666666666667,
      "grad_norm": 3.6562652587890625,
      "learning_rate": 5e-05,
      "loss": 0.0216,
      "step": 2540
    },
    {
      "epoch": 33.88,
      "grad_norm": 0.1911071538925171,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2541
    },
    {
      "epoch": 33.89333333333333,
      "grad_norm": 1.5905176401138306,
      "learning_rate": 5e-05,
      "loss": 0.0078,
      "step": 2542
    },
    {
      "epoch": 33.906666666666666,
      "grad_norm": 1.3724507093429565,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 2543
    },
    {
      "epoch": 33.92,
      "grad_norm": 1.7980432510375977,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 2544
    },
    {
      "epoch": 33.93333333333333,
      "grad_norm": 2.7171621322631836,
      "learning_rate": 5e-05,
      "loss": 0.0259,
      "step": 2545
    },
    {
      "epoch": 33.946666666666665,
      "grad_norm": 0.8636480569839478,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2546
    },
    {
      "epoch": 33.96,
      "grad_norm": 0.01981436274945736,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2547
    },
    {
      "epoch": 33.973333333333336,
      "grad_norm": 0.2032543420791626,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2548
    },
    {
      "epoch": 33.986666666666665,
      "grad_norm": 1.3852527141571045,
      "learning_rate": 5e-05,
      "loss": 0.0128,
      "step": 2549
    },
    {
      "epoch": 34.0,
      "grad_norm": 0.567529559135437,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2550
    },
    {
      "epoch": 34.013333333333335,
      "grad_norm": 0.22334079444408417,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2551
    },
    {
      "epoch": 34.026666666666664,
      "grad_norm": 0.4840407967567444,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2552
    },
    {
      "epoch": 34.04,
      "grad_norm": 0.7654337882995605,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2553
    },
    {
      "epoch": 34.053333333333335,
      "grad_norm": 1.306693434715271,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2554
    },
    {
      "epoch": 34.06666666666667,
      "grad_norm": 0.03167012706398964,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2555
    },
    {
      "epoch": 34.08,
      "grad_norm": 1.7272344827651978,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 2556
    },
    {
      "epoch": 34.093333333333334,
      "grad_norm": 0.04579942300915718,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2557
    },
    {
      "epoch": 34.10666666666667,
      "grad_norm": 0.1612676978111267,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2558
    },
    {
      "epoch": 34.12,
      "grad_norm": 0.7449705004692078,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2559
    },
    {
      "epoch": 34.13333333333333,
      "grad_norm": 1.3589208126068115,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 2560
    },
    {
      "epoch": 34.14666666666667,
      "grad_norm": 3.884512186050415,
      "learning_rate": 5e-05,
      "loss": 0.0065,
      "step": 2561
    },
    {
      "epoch": 34.16,
      "grad_norm": 1.6778773069381714,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 2562
    },
    {
      "epoch": 34.17333333333333,
      "grad_norm": 0.1898268461227417,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2563
    },
    {
      "epoch": 34.18666666666667,
      "grad_norm": 0.19478850066661835,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2564
    },
    {
      "epoch": 34.2,
      "grad_norm": 2.431259870529175,
      "learning_rate": 5e-05,
      "loss": 0.0198,
      "step": 2565
    },
    {
      "epoch": 34.21333333333333,
      "grad_norm": 0.7866161465644836,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2566
    },
    {
      "epoch": 34.22666666666667,
      "grad_norm": 1.2641135454177856,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 2567
    },
    {
      "epoch": 34.24,
      "grad_norm": 0.03102157823741436,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2568
    },
    {
      "epoch": 34.25333333333333,
      "grad_norm": 1.0296273231506348,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2569
    },
    {
      "epoch": 34.266666666666666,
      "grad_norm": 0.6213578581809998,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2570
    },
    {
      "epoch": 34.28,
      "grad_norm": 0.8935263156890869,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 2571
    },
    {
      "epoch": 34.29333333333334,
      "grad_norm": 0.4324708580970764,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2572
    },
    {
      "epoch": 34.306666666666665,
      "grad_norm": 0.10929107666015625,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2573
    },
    {
      "epoch": 34.32,
      "grad_norm": 0.08436097204685211,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2574
    },
    {
      "epoch": 34.333333333333336,
      "grad_norm": 0.9973545074462891,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2575
    },
    {
      "epoch": 34.346666666666664,
      "grad_norm": 0.41476768255233765,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2576
    },
    {
      "epoch": 34.36,
      "grad_norm": 0.03009760193526745,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2577
    },
    {
      "epoch": 34.373333333333335,
      "grad_norm": 0.45112332701683044,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2578
    },
    {
      "epoch": 34.38666666666666,
      "grad_norm": 3.1194305419921875,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 2579
    },
    {
      "epoch": 34.4,
      "grad_norm": 0.6424664855003357,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2580
    },
    {
      "epoch": 34.413333333333334,
      "grad_norm": 0.5442976355552673,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2581
    },
    {
      "epoch": 34.42666666666667,
      "grad_norm": 0.4375533163547516,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2582
    },
    {
      "epoch": 34.44,
      "grad_norm": 0.22237467765808105,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2583
    },
    {
      "epoch": 34.45333333333333,
      "grad_norm": 0.6350975036621094,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2584
    },
    {
      "epoch": 34.46666666666667,
      "grad_norm": 0.04825925454497337,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2585
    },
    {
      "epoch": 34.48,
      "grad_norm": 0.67262202501297,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2586
    },
    {
      "epoch": 34.49333333333333,
      "grad_norm": 0.17233113944530487,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2587
    },
    {
      "epoch": 34.50666666666667,
      "grad_norm": 0.9052152037620544,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 2588
    },
    {
      "epoch": 34.52,
      "grad_norm": 0.25955262780189514,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2589
    },
    {
      "epoch": 34.53333333333333,
      "grad_norm": 0.2430223524570465,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2590
    },
    {
      "epoch": 34.54666666666667,
      "grad_norm": 0.2073461264371872,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2591
    },
    {
      "epoch": 34.56,
      "grad_norm": 0.12368592619895935,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2592
    },
    {
      "epoch": 34.57333333333333,
      "grad_norm": 0.5746263861656189,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2593
    },
    {
      "epoch": 34.586666666666666,
      "grad_norm": 0.1813531219959259,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2594
    },
    {
      "epoch": 34.6,
      "grad_norm": 0.06068026274442673,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2595
    },
    {
      "epoch": 34.61333333333333,
      "grad_norm": 0.8487873077392578,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2596
    },
    {
      "epoch": 34.626666666666665,
      "grad_norm": 2.91707706451416,
      "learning_rate": 5e-05,
      "loss": 0.022,
      "step": 2597
    },
    {
      "epoch": 34.64,
      "grad_norm": 2.349071741104126,
      "learning_rate": 5e-05,
      "loss": 0.0169,
      "step": 2598
    },
    {
      "epoch": 34.653333333333336,
      "grad_norm": 0.06077418103814125,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2599
    },
    {
      "epoch": 34.666666666666664,
      "grad_norm": 2.157728910446167,
      "learning_rate": 5e-05,
      "loss": 0.0151,
      "step": 2600
    },
    {
      "epoch": 34.68,
      "grad_norm": 0.4708169996738434,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2601
    },
    {
      "epoch": 34.693333333333335,
      "grad_norm": 2.172873020172119,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2602
    },
    {
      "epoch": 34.70666666666666,
      "grad_norm": 0.09501762688159943,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2603
    },
    {
      "epoch": 34.72,
      "grad_norm": 0.3852510452270508,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2604
    },
    {
      "epoch": 34.733333333333334,
      "grad_norm": 0.42736223340034485,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2605
    },
    {
      "epoch": 34.74666666666667,
      "grad_norm": 0.041449613869190216,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2606
    },
    {
      "epoch": 34.76,
      "grad_norm": 0.1835831254720688,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2607
    },
    {
      "epoch": 34.77333333333333,
      "grad_norm": 0.06411141157150269,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2608
    },
    {
      "epoch": 34.78666666666667,
      "grad_norm": 0.37261348962783813,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2609
    },
    {
      "epoch": 34.8,
      "grad_norm": 2.509399890899658,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 2610
    },
    {
      "epoch": 34.81333333333333,
      "grad_norm": 1.1170498132705688,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 2611
    },
    {
      "epoch": 34.82666666666667,
      "grad_norm": 1.6622002124786377,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2612
    },
    {
      "epoch": 34.84,
      "grad_norm": 0.618744432926178,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2613
    },
    {
      "epoch": 34.85333333333333,
      "grad_norm": 2.077885150909424,
      "learning_rate": 5e-05,
      "loss": 0.0197,
      "step": 2614
    },
    {
      "epoch": 34.86666666666667,
      "grad_norm": 1.3911186456680298,
      "learning_rate": 5e-05,
      "loss": 0.0089,
      "step": 2615
    },
    {
      "epoch": 34.88,
      "grad_norm": 0.12931329011917114,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2616
    },
    {
      "epoch": 34.89333333333333,
      "grad_norm": 0.028209228068590164,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2617
    },
    {
      "epoch": 34.906666666666666,
      "grad_norm": 0.039170484989881516,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2618
    },
    {
      "epoch": 34.92,
      "grad_norm": 0.7891864776611328,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2619
    },
    {
      "epoch": 34.93333333333333,
      "grad_norm": 0.03609680011868477,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2620
    },
    {
      "epoch": 34.946666666666665,
      "grad_norm": 0.03193674236536026,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2621
    },
    {
      "epoch": 34.96,
      "grad_norm": 1.4486985206604004,
      "learning_rate": 5e-05,
      "loss": 0.0089,
      "step": 2622
    },
    {
      "epoch": 34.973333333333336,
      "grad_norm": 0.7573881149291992,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2623
    },
    {
      "epoch": 34.986666666666665,
      "grad_norm": 1.4986554384231567,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2624
    },
    {
      "epoch": 35.0,
      "grad_norm": 0.1676989197731018,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2625
    },
    {
      "epoch": 35.013333333333335,
      "grad_norm": 1.2436540126800537,
      "learning_rate": 5e-05,
      "loss": 0.0155,
      "step": 2626
    },
    {
      "epoch": 35.026666666666664,
      "grad_norm": 0.20942336320877075,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2627
    },
    {
      "epoch": 35.04,
      "grad_norm": 0.779518723487854,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2628
    },
    {
      "epoch": 35.053333333333335,
      "grad_norm": 1.0611556768417358,
      "learning_rate": 5e-05,
      "loss": 0.0083,
      "step": 2629
    },
    {
      "epoch": 35.06666666666667,
      "grad_norm": 0.16190409660339355,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2630
    },
    {
      "epoch": 35.08,
      "grad_norm": 0.23910833895206451,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2631
    },
    {
      "epoch": 35.093333333333334,
      "grad_norm": 0.5783689618110657,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2632
    },
    {
      "epoch": 35.10666666666667,
      "grad_norm": 0.34912189841270447,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2633
    },
    {
      "epoch": 35.12,
      "grad_norm": 0.10610141605138779,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2634
    },
    {
      "epoch": 35.13333333333333,
      "grad_norm": 0.2002577781677246,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2635
    },
    {
      "epoch": 35.14666666666667,
      "grad_norm": 1.4145641326904297,
      "learning_rate": 5e-05,
      "loss": 0.0099,
      "step": 2636
    },
    {
      "epoch": 35.16,
      "grad_norm": 0.26583555340766907,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2637
    },
    {
      "epoch": 35.17333333333333,
      "grad_norm": 0.02824067510664463,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2638
    },
    {
      "epoch": 35.18666666666667,
      "grad_norm": 0.07196222990751266,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2639
    },
    {
      "epoch": 35.2,
      "grad_norm": 0.5386441349983215,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2640
    },
    {
      "epoch": 35.21333333333333,
      "grad_norm": 0.49971893429756165,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2641
    },
    {
      "epoch": 35.22666666666667,
      "grad_norm": 0.7987561821937561,
      "learning_rate": 5e-05,
      "loss": 0.0057,
      "step": 2642
    },
    {
      "epoch": 35.24,
      "grad_norm": 0.8907470703125,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2643
    },
    {
      "epoch": 35.25333333333333,
      "grad_norm": 0.26031672954559326,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2644
    },
    {
      "epoch": 35.266666666666666,
      "grad_norm": 0.06178928166627884,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2645
    },
    {
      "epoch": 35.28,
      "grad_norm": 0.8698740005493164,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2646
    },
    {
      "epoch": 35.29333333333334,
      "grad_norm": 0.16658781468868256,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2647
    },
    {
      "epoch": 35.306666666666665,
      "grad_norm": 1.135306477546692,
      "learning_rate": 5e-05,
      "loss": 0.0122,
      "step": 2648
    },
    {
      "epoch": 35.32,
      "grad_norm": 2.1381070613861084,
      "learning_rate": 5e-05,
      "loss": 0.013,
      "step": 2649
    },
    {
      "epoch": 35.333333333333336,
      "grad_norm": 0.11582551896572113,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2650
    },
    {
      "epoch": 35.346666666666664,
      "grad_norm": 0.13712359964847565,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2651
    },
    {
      "epoch": 35.36,
      "grad_norm": 0.3649148643016815,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2652
    },
    {
      "epoch": 35.373333333333335,
      "grad_norm": 0.6768386960029602,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2653
    },
    {
      "epoch": 35.38666666666666,
      "grad_norm": 0.7494542002677917,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2654
    },
    {
      "epoch": 35.4,
      "grad_norm": 0.10406707972288132,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2655
    },
    {
      "epoch": 35.413333333333334,
      "grad_norm": 0.884842038154602,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 2656
    },
    {
      "epoch": 35.42666666666667,
      "grad_norm": 0.9837437868118286,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2657
    },
    {
      "epoch": 35.44,
      "grad_norm": 0.4628262519836426,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2658
    },
    {
      "epoch": 35.45333333333333,
      "grad_norm": 1.6418360471725464,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 2659
    },
    {
      "epoch": 35.46666666666667,
      "grad_norm": 0.47609448432922363,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2660
    },
    {
      "epoch": 35.48,
      "grad_norm": 0.10686621069908142,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2661
    },
    {
      "epoch": 35.49333333333333,
      "grad_norm": 0.8544036149978638,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2662
    },
    {
      "epoch": 35.50666666666667,
      "grad_norm": 0.17771433293819427,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2663
    },
    {
      "epoch": 35.52,
      "grad_norm": 1.5484341382980347,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 2664
    },
    {
      "epoch": 35.53333333333333,
      "grad_norm": 0.15233226120471954,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2665
    },
    {
      "epoch": 35.54666666666667,
      "grad_norm": 0.11671532690525055,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2666
    },
    {
      "epoch": 35.56,
      "grad_norm": 0.6978081464767456,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2667
    },
    {
      "epoch": 35.57333333333333,
      "grad_norm": 0.8804664611816406,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 2668
    },
    {
      "epoch": 35.586666666666666,
      "grad_norm": 0.19860677421092987,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2669
    },
    {
      "epoch": 35.6,
      "grad_norm": 1.096100091934204,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2670
    },
    {
      "epoch": 35.61333333333333,
      "grad_norm": 0.291168212890625,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2671
    },
    {
      "epoch": 35.626666666666665,
      "grad_norm": 1.0064747333526611,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2672
    },
    {
      "epoch": 35.64,
      "grad_norm": 0.2646910548210144,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2673
    },
    {
      "epoch": 35.653333333333336,
      "grad_norm": 0.27133965492248535,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2674
    },
    {
      "epoch": 35.666666666666664,
      "grad_norm": 3.777186870574951,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 2675
    },
    {
      "epoch": 35.68,
      "grad_norm": 0.052302271127700806,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2676
    },
    {
      "epoch": 35.693333333333335,
      "grad_norm": 1.3718839883804321,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2677
    },
    {
      "epoch": 35.70666666666666,
      "grad_norm": 0.40649473667144775,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2678
    },
    {
      "epoch": 35.72,
      "grad_norm": 0.11659828573465347,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2679
    },
    {
      "epoch": 35.733333333333334,
      "grad_norm": 0.08447856456041336,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2680
    },
    {
      "epoch": 35.74666666666667,
      "grad_norm": 0.47476619482040405,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2681
    },
    {
      "epoch": 35.76,
      "grad_norm": 0.9194156527519226,
      "learning_rate": 5e-05,
      "loss": 0.0089,
      "step": 2682
    },
    {
      "epoch": 35.77333333333333,
      "grad_norm": 0.11060355603694916,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2683
    },
    {
      "epoch": 35.78666666666667,
      "grad_norm": 0.17924176156520844,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2684
    },
    {
      "epoch": 35.8,
      "grad_norm": 0.1073780283331871,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2685
    },
    {
      "epoch": 35.81333333333333,
      "grad_norm": 0.09040964394807816,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2686
    },
    {
      "epoch": 35.82666666666667,
      "grad_norm": 0.06539977341890335,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2687
    },
    {
      "epoch": 35.84,
      "grad_norm": 1.523653268814087,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 2688
    },
    {
      "epoch": 35.85333333333333,
      "grad_norm": 0.03525463119149208,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2689
    },
    {
      "epoch": 35.86666666666667,
      "grad_norm": 0.12561622262001038,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2690
    },
    {
      "epoch": 35.88,
      "grad_norm": 0.2245113104581833,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2691
    },
    {
      "epoch": 35.89333333333333,
      "grad_norm": 1.2205318212509155,
      "learning_rate": 5e-05,
      "loss": 0.0102,
      "step": 2692
    },
    {
      "epoch": 35.906666666666666,
      "grad_norm": 0.1391569972038269,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2693
    },
    {
      "epoch": 35.92,
      "grad_norm": 0.04386165365576744,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2694
    },
    {
      "epoch": 35.93333333333333,
      "grad_norm": 1.0476171970367432,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2695
    },
    {
      "epoch": 35.946666666666665,
      "grad_norm": 0.2116651087999344,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2696
    },
    {
      "epoch": 35.96,
      "grad_norm": 0.6397665143013,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2697
    },
    {
      "epoch": 35.973333333333336,
      "grad_norm": 1.0625189542770386,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2698
    },
    {
      "epoch": 35.986666666666665,
      "grad_norm": 0.185876727104187,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2699
    },
    {
      "epoch": 36.0,
      "grad_norm": 1.331869125366211,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2700
    },
    {
      "epoch": 36.013333333333335,
      "grad_norm": 0.04332304000854492,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2701
    },
    {
      "epoch": 36.026666666666664,
      "grad_norm": 0.2922787368297577,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2702
    },
    {
      "epoch": 36.04,
      "grad_norm": 0.07931039482355118,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2703
    },
    {
      "epoch": 36.053333333333335,
      "grad_norm": 0.0749545767903328,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2704
    },
    {
      "epoch": 36.06666666666667,
      "grad_norm": 0.07743319123983383,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2705
    },
    {
      "epoch": 36.08,
      "grad_norm": 0.11676344275474548,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2706
    },
    {
      "epoch": 36.093333333333334,
      "grad_norm": 2.685344934463501,
      "learning_rate": 5e-05,
      "loss": 0.0049,
      "step": 2707
    },
    {
      "epoch": 36.10666666666667,
      "grad_norm": 1.8529250621795654,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 2708
    },
    {
      "epoch": 36.12,
      "grad_norm": 0.059768978506326675,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2709
    },
    {
      "epoch": 36.13333333333333,
      "grad_norm": 1.2806174755096436,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 2710
    },
    {
      "epoch": 36.14666666666667,
      "grad_norm": 1.417224645614624,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 2711
    },
    {
      "epoch": 36.16,
      "grad_norm": 1.244845986366272,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 2712
    },
    {
      "epoch": 36.17333333333333,
      "grad_norm": 0.3394668698310852,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2713
    },
    {
      "epoch": 36.18666666666667,
      "grad_norm": 0.25362592935562134,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2714
    },
    {
      "epoch": 36.2,
      "grad_norm": 0.05947335064411163,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2715
    },
    {
      "epoch": 36.21333333333333,
      "grad_norm": 0.13648682832717896,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2716
    },
    {
      "epoch": 36.22666666666667,
      "grad_norm": 1.6714524030685425,
      "learning_rate": 5e-05,
      "loss": 0.0057,
      "step": 2717
    },
    {
      "epoch": 36.24,
      "grad_norm": 0.16435010731220245,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2718
    },
    {
      "epoch": 36.25333333333333,
      "grad_norm": 0.0967620313167572,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2719
    },
    {
      "epoch": 36.266666666666666,
      "grad_norm": 0.297542929649353,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2720
    },
    {
      "epoch": 36.28,
      "grad_norm": 2.33823823928833,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 2721
    },
    {
      "epoch": 36.29333333333334,
      "grad_norm": 1.8117969036102295,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 2722
    },
    {
      "epoch": 36.306666666666665,
      "grad_norm": 0.05964824557304382,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2723
    },
    {
      "epoch": 36.32,
      "grad_norm": 0.22556237876415253,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2724
    },
    {
      "epoch": 36.333333333333336,
      "grad_norm": 0.8183833956718445,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2725
    },
    {
      "epoch": 36.346666666666664,
      "grad_norm": 2.6957290172576904,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 2726
    },
    {
      "epoch": 36.36,
      "grad_norm": 0.1262671947479248,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2727
    },
    {
      "epoch": 36.373333333333335,
      "grad_norm": 2.6009433269500732,
      "learning_rate": 5e-05,
      "loss": 0.0178,
      "step": 2728
    },
    {
      "epoch": 36.38666666666666,
      "grad_norm": 1.3973716497421265,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2729
    },
    {
      "epoch": 36.4,
      "grad_norm": 2.4494996070861816,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 2730
    },
    {
      "epoch": 36.413333333333334,
      "grad_norm": 3.9062705039978027,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 2731
    },
    {
      "epoch": 36.42666666666667,
      "grad_norm": 0.7060088515281677,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2732
    },
    {
      "epoch": 36.44,
      "grad_norm": 2.4872875213623047,
      "learning_rate": 5e-05,
      "loss": 0.0138,
      "step": 2733
    },
    {
      "epoch": 36.45333333333333,
      "grad_norm": 0.04633965343236923,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2734
    },
    {
      "epoch": 36.46666666666667,
      "grad_norm": 1.1730194091796875,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2735
    },
    {
      "epoch": 36.48,
      "grad_norm": 0.2893141508102417,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2736
    },
    {
      "epoch": 36.49333333333333,
      "grad_norm": 0.5291773080825806,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2737
    },
    {
      "epoch": 36.50666666666667,
      "grad_norm": 0.6440103054046631,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2738
    },
    {
      "epoch": 36.52,
      "grad_norm": 1.5620923042297363,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2739
    },
    {
      "epoch": 36.53333333333333,
      "grad_norm": 0.21276628971099854,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2740
    },
    {
      "epoch": 36.54666666666667,
      "grad_norm": 3.1608951091766357,
      "learning_rate": 5e-05,
      "loss": 0.0317,
      "step": 2741
    },
    {
      "epoch": 36.56,
      "grad_norm": 0.33893269300460815,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2742
    },
    {
      "epoch": 36.57333333333333,
      "grad_norm": 2.0756571292877197,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 2743
    },
    {
      "epoch": 36.586666666666666,
      "grad_norm": 1.9400150775909424,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 2744
    },
    {
      "epoch": 36.6,
      "grad_norm": 1.040701985359192,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2745
    },
    {
      "epoch": 36.61333333333333,
      "grad_norm": 0.29407647252082825,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2746
    },
    {
      "epoch": 36.626666666666665,
      "grad_norm": 2.6388843059539795,
      "learning_rate": 5e-05,
      "loss": 0.0101,
      "step": 2747
    },
    {
      "epoch": 36.64,
      "grad_norm": 0.4343383312225342,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 2748
    },
    {
      "epoch": 36.653333333333336,
      "grad_norm": 1.224748134613037,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 2749
    },
    {
      "epoch": 36.666666666666664,
      "grad_norm": 4.061001777648926,
      "learning_rate": 5e-05,
      "loss": 0.0135,
      "step": 2750
    },
    {
      "epoch": 36.68,
      "grad_norm": 0.44328805804252625,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2751
    },
    {
      "epoch": 36.693333333333335,
      "grad_norm": 0.7004712224006653,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2752
    },
    {
      "epoch": 36.70666666666666,
      "grad_norm": 2.3016750812530518,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 2753
    },
    {
      "epoch": 36.72,
      "grad_norm": 1.2575054168701172,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 2754
    },
    {
      "epoch": 36.733333333333334,
      "grad_norm": 0.06841498613357544,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2755
    },
    {
      "epoch": 36.74666666666667,
      "grad_norm": 0.08639878034591675,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2756
    },
    {
      "epoch": 36.76,
      "grad_norm": 0.07501349598169327,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2757
    },
    {
      "epoch": 36.77333333333333,
      "grad_norm": 0.8141177892684937,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2758
    },
    {
      "epoch": 36.78666666666667,
      "grad_norm": 1.7407207489013672,
      "learning_rate": 5e-05,
      "loss": 0.0184,
      "step": 2759
    },
    {
      "epoch": 36.8,
      "grad_norm": 1.9114840030670166,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 2760
    },
    {
      "epoch": 36.81333333333333,
      "grad_norm": 1.0844348669052124,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 2761
    },
    {
      "epoch": 36.82666666666667,
      "grad_norm": 0.4889734983444214,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2762
    },
    {
      "epoch": 36.84,
      "grad_norm": 0.5781223177909851,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2763
    },
    {
      "epoch": 36.85333333333333,
      "grad_norm": 0.09995962679386139,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2764
    },
    {
      "epoch": 36.86666666666667,
      "grad_norm": 0.7444425225257874,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2765
    },
    {
      "epoch": 36.88,
      "grad_norm": 0.06816250085830688,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2766
    },
    {
      "epoch": 36.89333333333333,
      "grad_norm": 1.2971980571746826,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2767
    },
    {
      "epoch": 36.906666666666666,
      "grad_norm": 0.37708231806755066,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2768
    },
    {
      "epoch": 36.92,
      "grad_norm": 0.10724584013223648,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2769
    },
    {
      "epoch": 36.93333333333333,
      "grad_norm": 0.9264498949050903,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2770
    },
    {
      "epoch": 36.946666666666665,
      "grad_norm": 0.1246158555150032,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2771
    },
    {
      "epoch": 36.96,
      "grad_norm": 1.2130827903747559,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 2772
    },
    {
      "epoch": 36.973333333333336,
      "grad_norm": 0.5845173001289368,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 2773
    },
    {
      "epoch": 36.986666666666665,
      "grad_norm": 0.08838476985692978,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2774
    },
    {
      "epoch": 37.0,
      "grad_norm": 0.866094172000885,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2775
    },
    {
      "epoch": 37.013333333333335,
      "grad_norm": 0.17774273455142975,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2776
    },
    {
      "epoch": 37.026666666666664,
      "grad_norm": 0.05723828822374344,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2777
    },
    {
      "epoch": 37.04,
      "grad_norm": 2.452104091644287,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 2778
    },
    {
      "epoch": 37.053333333333335,
      "grad_norm": 0.4727538824081421,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2779
    },
    {
      "epoch": 37.06666666666667,
      "grad_norm": 0.12659750878810883,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2780
    },
    {
      "epoch": 37.08,
      "grad_norm": 1.5930174589157104,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2781
    },
    {
      "epoch": 37.093333333333334,
      "grad_norm": 0.28422465920448303,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2782
    },
    {
      "epoch": 37.10666666666667,
      "grad_norm": 0.1738915741443634,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2783
    },
    {
      "epoch": 37.12,
      "grad_norm": 0.7663201093673706,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2784
    },
    {
      "epoch": 37.13333333333333,
      "grad_norm": 0.08153564482927322,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2785
    },
    {
      "epoch": 37.14666666666667,
      "grad_norm": 0.6979030966758728,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2786
    },
    {
      "epoch": 37.16,
      "grad_norm": 0.14614734053611755,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2787
    },
    {
      "epoch": 37.17333333333333,
      "grad_norm": 0.03640172258019447,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2788
    },
    {
      "epoch": 37.18666666666667,
      "grad_norm": 0.15662802755832672,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2789
    },
    {
      "epoch": 37.2,
      "grad_norm": 0.13107706606388092,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2790
    },
    {
      "epoch": 37.21333333333333,
      "grad_norm": 0.27450743317604065,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2791
    },
    {
      "epoch": 37.22666666666667,
      "grad_norm": 1.6426692008972168,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 2792
    },
    {
      "epoch": 37.24,
      "grad_norm": 0.04132157191634178,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2793
    },
    {
      "epoch": 37.25333333333333,
      "grad_norm": 0.023788483813405037,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2794
    },
    {
      "epoch": 37.266666666666666,
      "grad_norm": 0.04295125603675842,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2795
    },
    {
      "epoch": 37.28,
      "grad_norm": 0.5773134231567383,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2796
    },
    {
      "epoch": 37.29333333333334,
      "grad_norm": 1.4241293668746948,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 2797
    },
    {
      "epoch": 37.306666666666665,
      "grad_norm": 0.07061156630516052,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2798
    },
    {
      "epoch": 37.32,
      "grad_norm": 0.672423243522644,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2799
    },
    {
      "epoch": 37.333333333333336,
      "grad_norm": 1.3657782077789307,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 2800
    },
    {
      "epoch": 37.346666666666664,
      "grad_norm": 1.666208267211914,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 2801
    },
    {
      "epoch": 37.36,
      "grad_norm": 1.136039137840271,
      "learning_rate": 5e-05,
      "loss": 0.0156,
      "step": 2802
    },
    {
      "epoch": 37.373333333333335,
      "grad_norm": 0.10129256546497345,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2803
    },
    {
      "epoch": 37.38666666666666,
      "grad_norm": 0.12170551717281342,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2804
    },
    {
      "epoch": 37.4,
      "grad_norm": 0.12525531649589539,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2805
    },
    {
      "epoch": 37.413333333333334,
      "grad_norm": 0.6989652514457703,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2806
    },
    {
      "epoch": 37.42666666666667,
      "grad_norm": 0.8313000798225403,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2807
    },
    {
      "epoch": 37.44,
      "grad_norm": 0.1036171019077301,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2808
    },
    {
      "epoch": 37.45333333333333,
      "grad_norm": 0.8051230311393738,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2809
    },
    {
      "epoch": 37.46666666666667,
      "grad_norm": 0.1823786497116089,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2810
    },
    {
      "epoch": 37.48,
      "grad_norm": 0.311735063791275,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2811
    },
    {
      "epoch": 37.49333333333333,
      "grad_norm": 0.2683751583099365,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2812
    },
    {
      "epoch": 37.50666666666667,
      "grad_norm": 2.5680742263793945,
      "learning_rate": 5e-05,
      "loss": 0.0114,
      "step": 2813
    },
    {
      "epoch": 37.52,
      "grad_norm": 0.8839541673660278,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 2814
    },
    {
      "epoch": 37.53333333333333,
      "grad_norm": 0.44329047203063965,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2815
    },
    {
      "epoch": 37.54666666666667,
      "grad_norm": 1.024627923965454,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 2816
    },
    {
      "epoch": 37.56,
      "grad_norm": 1.963975191116333,
      "learning_rate": 5e-05,
      "loss": 0.0157,
      "step": 2817
    },
    {
      "epoch": 37.57333333333333,
      "grad_norm": 0.6721762418746948,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 2818
    },
    {
      "epoch": 37.586666666666666,
      "grad_norm": 0.3758903443813324,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2819
    },
    {
      "epoch": 37.6,
      "grad_norm": 0.13565506041049957,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2820
    },
    {
      "epoch": 37.61333333333333,
      "grad_norm": 0.1257714480161667,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2821
    },
    {
      "epoch": 37.626666666666665,
      "grad_norm": 1.900032639503479,
      "learning_rate": 5e-05,
      "loss": 0.0152,
      "step": 2822
    },
    {
      "epoch": 37.64,
      "grad_norm": 1.0798089504241943,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 2823
    },
    {
      "epoch": 37.653333333333336,
      "grad_norm": 0.9105445742607117,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 2824
    },
    {
      "epoch": 37.666666666666664,
      "grad_norm": 0.6044617295265198,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2825
    },
    {
      "epoch": 37.68,
      "grad_norm": 1.6658813953399658,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 2826
    },
    {
      "epoch": 37.693333333333335,
      "grad_norm": 0.2978191673755646,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2827
    },
    {
      "epoch": 37.70666666666666,
      "grad_norm": 0.43179017305374146,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2828
    },
    {
      "epoch": 37.72,
      "grad_norm": 0.14712105691432953,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2829
    },
    {
      "epoch": 37.733333333333334,
      "grad_norm": 0.3261038064956665,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2830
    },
    {
      "epoch": 37.74666666666667,
      "grad_norm": 1.844538927078247,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 2831
    },
    {
      "epoch": 37.76,
      "grad_norm": 0.5968013405799866,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2832
    },
    {
      "epoch": 37.77333333333333,
      "grad_norm": 1.8877090215682983,
      "learning_rate": 5e-05,
      "loss": 0.0062,
      "step": 2833
    },
    {
      "epoch": 37.78666666666667,
      "grad_norm": 2.185410737991333,
      "learning_rate": 5e-05,
      "loss": 0.0198,
      "step": 2834
    },
    {
      "epoch": 37.8,
      "grad_norm": 1.5452183485031128,
      "learning_rate": 5e-05,
      "loss": 0.0174,
      "step": 2835
    },
    {
      "epoch": 37.81333333333333,
      "grad_norm": 0.4092657268047333,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2836
    },
    {
      "epoch": 37.82666666666667,
      "grad_norm": 0.2681899666786194,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2837
    },
    {
      "epoch": 37.84,
      "grad_norm": 0.7789486646652222,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 2838
    },
    {
      "epoch": 37.85333333333333,
      "grad_norm": 0.5987704396247864,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 2839
    },
    {
      "epoch": 37.86666666666667,
      "grad_norm": 0.6974825263023376,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2840
    },
    {
      "epoch": 37.88,
      "grad_norm": 0.7143046855926514,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2841
    },
    {
      "epoch": 37.89333333333333,
      "grad_norm": 0.4009866714477539,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2842
    },
    {
      "epoch": 37.906666666666666,
      "grad_norm": 0.5531873106956482,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 2843
    },
    {
      "epoch": 37.92,
      "grad_norm": 2.1244521141052246,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2844
    },
    {
      "epoch": 37.93333333333333,
      "grad_norm": 1.6606171131134033,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 2845
    },
    {
      "epoch": 37.946666666666665,
      "grad_norm": 0.1272502988576889,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2846
    },
    {
      "epoch": 37.96,
      "grad_norm": 0.596660852432251,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2847
    },
    {
      "epoch": 37.973333333333336,
      "grad_norm": 0.6413149237632751,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2848
    },
    {
      "epoch": 37.986666666666665,
      "grad_norm": 1.2849336862564087,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 2849
    },
    {
      "epoch": 38.0,
      "grad_norm": 0.21265649795532227,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2850
    },
    {
      "epoch": 38.013333333333335,
      "grad_norm": 0.05467233061790466,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2851
    },
    {
      "epoch": 38.026666666666664,
      "grad_norm": 0.032980602234601974,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2852
    },
    {
      "epoch": 38.04,
      "grad_norm": 0.0391964390873909,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2853
    },
    {
      "epoch": 38.053333333333335,
      "grad_norm": 1.3130189180374146,
      "learning_rate": 5e-05,
      "loss": 0.0074,
      "step": 2854
    },
    {
      "epoch": 38.06666666666667,
      "grad_norm": 1.2377101182937622,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 2855
    },
    {
      "epoch": 38.08,
      "grad_norm": 0.09295766800642014,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2856
    },
    {
      "epoch": 38.093333333333334,
      "grad_norm": 0.36117544770240784,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2857
    },
    {
      "epoch": 38.10666666666667,
      "grad_norm": 0.06108525022864342,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2858
    },
    {
      "epoch": 38.12,
      "grad_norm": 0.32382509112358093,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2859
    },
    {
      "epoch": 38.13333333333333,
      "grad_norm": 0.08135735988616943,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2860
    },
    {
      "epoch": 38.14666666666667,
      "grad_norm": 0.1877821534872055,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2861
    },
    {
      "epoch": 38.16,
      "grad_norm": 0.031928107142448425,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2862
    },
    {
      "epoch": 38.17333333333333,
      "grad_norm": 1.400755524635315,
      "learning_rate": 5e-05,
      "loss": 0.0223,
      "step": 2863
    },
    {
      "epoch": 38.18666666666667,
      "grad_norm": 0.6805223822593689,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 2864
    },
    {
      "epoch": 38.2,
      "grad_norm": 0.019077498465776443,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2865
    },
    {
      "epoch": 38.21333333333333,
      "grad_norm": 0.13333660364151,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2866
    },
    {
      "epoch": 38.22666666666667,
      "grad_norm": 1.0919922590255737,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2867
    },
    {
      "epoch": 38.24,
      "grad_norm": 0.1554434895515442,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2868
    },
    {
      "epoch": 38.25333333333333,
      "grad_norm": 0.04749908298254013,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2869
    },
    {
      "epoch": 38.266666666666666,
      "grad_norm": 0.034860316663980484,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2870
    },
    {
      "epoch": 38.28,
      "grad_norm": 1.3056303262710571,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 2871
    },
    {
      "epoch": 38.29333333333334,
      "grad_norm": 0.0797126367688179,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2872
    },
    {
      "epoch": 38.306666666666665,
      "grad_norm": 0.23587080836296082,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2873
    },
    {
      "epoch": 38.32,
      "grad_norm": 1.7345457077026367,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2874
    },
    {
      "epoch": 38.333333333333336,
      "grad_norm": 1.917385220527649,
      "learning_rate": 5e-05,
      "loss": 0.0158,
      "step": 2875
    },
    {
      "epoch": 38.346666666666664,
      "grad_norm": 0.3137310743331909,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2876
    },
    {
      "epoch": 38.36,
      "grad_norm": 0.041636016219854355,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2877
    },
    {
      "epoch": 38.373333333333335,
      "grad_norm": 1.8454490900039673,
      "learning_rate": 5e-05,
      "loss": 0.0106,
      "step": 2878
    },
    {
      "epoch": 38.38666666666666,
      "grad_norm": 0.09554899483919144,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2879
    },
    {
      "epoch": 38.4,
      "grad_norm": 0.5794045329093933,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2880
    },
    {
      "epoch": 38.413333333333334,
      "grad_norm": 0.8764992952346802,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 2881
    },
    {
      "epoch": 38.42666666666667,
      "grad_norm": 0.7707592844963074,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2882
    },
    {
      "epoch": 38.44,
      "grad_norm": 0.3128490746021271,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2883
    },
    {
      "epoch": 38.45333333333333,
      "grad_norm": 0.6001099348068237,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 2884
    },
    {
      "epoch": 38.46666666666667,
      "grad_norm": 0.9966325759887695,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2885
    },
    {
      "epoch": 38.48,
      "grad_norm": 0.8236600160598755,
      "learning_rate": 5e-05,
      "loss": 0.0086,
      "step": 2886
    },
    {
      "epoch": 38.49333333333333,
      "grad_norm": 0.19055119156837463,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2887
    },
    {
      "epoch": 38.50666666666667,
      "grad_norm": 0.1092509776353836,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2888
    },
    {
      "epoch": 38.52,
      "grad_norm": 0.25474876165390015,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2889
    },
    {
      "epoch": 38.53333333333333,
      "grad_norm": 0.2882482409477234,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2890
    },
    {
      "epoch": 38.54666666666667,
      "grad_norm": 0.15448783338069916,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2891
    },
    {
      "epoch": 38.56,
      "grad_norm": 1.1188552379608154,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2892
    },
    {
      "epoch": 38.57333333333333,
      "grad_norm": 0.07865661382675171,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2893
    },
    {
      "epoch": 38.586666666666666,
      "grad_norm": 0.4165450930595398,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2894
    },
    {
      "epoch": 38.6,
      "grad_norm": 0.09843666851520538,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2895
    },
    {
      "epoch": 38.61333333333333,
      "grad_norm": 0.05697998031973839,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2896
    },
    {
      "epoch": 38.626666666666665,
      "grad_norm": 0.978359580039978,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2897
    },
    {
      "epoch": 38.64,
      "grad_norm": 0.49925926327705383,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 2898
    },
    {
      "epoch": 38.653333333333336,
      "grad_norm": 0.20901896059513092,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2899
    },
    {
      "epoch": 38.666666666666664,
      "grad_norm": 0.07719096541404724,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2900
    },
    {
      "epoch": 38.68,
      "grad_norm": 1.3714429140090942,
      "learning_rate": 5e-05,
      "loss": 0.0112,
      "step": 2901
    },
    {
      "epoch": 38.693333333333335,
      "grad_norm": 0.9381171464920044,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 2902
    },
    {
      "epoch": 38.70666666666666,
      "grad_norm": 0.7980956435203552,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 2903
    },
    {
      "epoch": 38.72,
      "grad_norm": 0.5899840593338013,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2904
    },
    {
      "epoch": 38.733333333333334,
      "grad_norm": 0.08714362978935242,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2905
    },
    {
      "epoch": 38.74666666666667,
      "grad_norm": 0.032657068222761154,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2906
    },
    {
      "epoch": 38.76,
      "grad_norm": 0.9182342886924744,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 2907
    },
    {
      "epoch": 38.77333333333333,
      "grad_norm": 0.8456293940544128,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2908
    },
    {
      "epoch": 38.78666666666667,
      "grad_norm": 1.1846377849578857,
      "learning_rate": 5e-05,
      "loss": 0.0037,
      "step": 2909
    },
    {
      "epoch": 38.8,
      "grad_norm": 0.32517850399017334,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 2910
    },
    {
      "epoch": 38.81333333333333,
      "grad_norm": 0.04264914616942406,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2911
    },
    {
      "epoch": 38.82666666666667,
      "grad_norm": 0.18559305369853973,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2912
    },
    {
      "epoch": 38.84,
      "grad_norm": 0.46987971663475037,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2913
    },
    {
      "epoch": 38.85333333333333,
      "grad_norm": 0.1809292882680893,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2914
    },
    {
      "epoch": 38.86666666666667,
      "grad_norm": 0.8666489720344543,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 2915
    },
    {
      "epoch": 38.88,
      "grad_norm": 0.17448186874389648,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2916
    },
    {
      "epoch": 38.89333333333333,
      "grad_norm": 1.0099419355392456,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 2917
    },
    {
      "epoch": 38.906666666666666,
      "grad_norm": 0.3649737238883972,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2918
    },
    {
      "epoch": 38.92,
      "grad_norm": 0.2443864792585373,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 2919
    },
    {
      "epoch": 38.93333333333333,
      "grad_norm": 0.0971975028514862,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2920
    },
    {
      "epoch": 38.946666666666665,
      "grad_norm": 0.33900904655456543,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 2921
    },
    {
      "epoch": 38.96,
      "grad_norm": 0.3130197823047638,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2922
    },
    {
      "epoch": 38.973333333333336,
      "grad_norm": 0.5601344704627991,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 2923
    },
    {
      "epoch": 38.986666666666665,
      "grad_norm": 2.156642436981201,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2924
    },
    {
      "epoch": 39.0,
      "grad_norm": 1.1014498472213745,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 2925
    },
    {
      "epoch": 39.013333333333335,
      "grad_norm": 1.4100637435913086,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 2926
    },
    {
      "epoch": 39.026666666666664,
      "grad_norm": 0.04117628186941147,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2927
    },
    {
      "epoch": 39.04,
      "grad_norm": 1.8291282653808594,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 2928
    },
    {
      "epoch": 39.053333333333335,
      "grad_norm": 1.3902360200881958,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2929
    },
    {
      "epoch": 39.06666666666667,
      "grad_norm": 0.16492459177970886,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2930
    },
    {
      "epoch": 39.08,
      "grad_norm": 0.24817140400409698,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2931
    },
    {
      "epoch": 39.093333333333334,
      "grad_norm": 0.7280942797660828,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2932
    },
    {
      "epoch": 39.10666666666667,
      "grad_norm": 2.158885955810547,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 2933
    },
    {
      "epoch": 39.12,
      "grad_norm": 0.05252297222614288,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2934
    },
    {
      "epoch": 39.13333333333333,
      "grad_norm": 0.0869167298078537,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2935
    },
    {
      "epoch": 39.14666666666667,
      "grad_norm": 1.0722639560699463,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2936
    },
    {
      "epoch": 39.16,
      "grad_norm": 0.05137258768081665,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2937
    },
    {
      "epoch": 39.17333333333333,
      "grad_norm": 0.7575669884681702,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 2938
    },
    {
      "epoch": 39.18666666666667,
      "grad_norm": 0.3940330743789673,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2939
    },
    {
      "epoch": 39.2,
      "grad_norm": 0.012868042103946209,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2940
    },
    {
      "epoch": 39.21333333333333,
      "grad_norm": 0.8954793214797974,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 2941
    },
    {
      "epoch": 39.22666666666667,
      "grad_norm": 0.539155900478363,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2942
    },
    {
      "epoch": 39.24,
      "grad_norm": 0.16448840498924255,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2943
    },
    {
      "epoch": 39.25333333333333,
      "grad_norm": 0.052636947482824326,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2944
    },
    {
      "epoch": 39.266666666666666,
      "grad_norm": 1.4965852499008179,
      "learning_rate": 5e-05,
      "loss": 0.0105,
      "step": 2945
    },
    {
      "epoch": 39.28,
      "grad_norm": 0.1068013459444046,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2946
    },
    {
      "epoch": 39.29333333333334,
      "grad_norm": 0.013136202469468117,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2947
    },
    {
      "epoch": 39.306666666666665,
      "grad_norm": 0.14883580803871155,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2948
    },
    {
      "epoch": 39.32,
      "grad_norm": 0.6310290694236755,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2949
    },
    {
      "epoch": 39.333333333333336,
      "grad_norm": 1.2071459293365479,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 2950
    },
    {
      "epoch": 39.346666666666664,
      "grad_norm": 0.34459540247917175,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2951
    },
    {
      "epoch": 39.36,
      "grad_norm": 0.1472996026277542,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2952
    },
    {
      "epoch": 39.373333333333335,
      "grad_norm": 0.12995074689388275,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2953
    },
    {
      "epoch": 39.38666666666666,
      "grad_norm": 0.3493661880493164,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2954
    },
    {
      "epoch": 39.4,
      "grad_norm": 0.39101898670196533,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2955
    },
    {
      "epoch": 39.413333333333334,
      "grad_norm": 0.052084073424339294,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2956
    },
    {
      "epoch": 39.42666666666667,
      "grad_norm": 2.420621156692505,
      "learning_rate": 5e-05,
      "loss": 0.0119,
      "step": 2957
    },
    {
      "epoch": 39.44,
      "grad_norm": 0.07464346289634705,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2958
    },
    {
      "epoch": 39.45333333333333,
      "grad_norm": 1.160632610321045,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2959
    },
    {
      "epoch": 39.46666666666667,
      "grad_norm": 0.05554461106657982,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2960
    },
    {
      "epoch": 39.48,
      "grad_norm": 0.30671048164367676,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2961
    },
    {
      "epoch": 39.49333333333333,
      "grad_norm": 1.7231593132019043,
      "learning_rate": 5e-05,
      "loss": 0.0404,
      "step": 2962
    },
    {
      "epoch": 39.50666666666667,
      "grad_norm": 0.06009926646947861,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2963
    },
    {
      "epoch": 39.52,
      "grad_norm": 2.6579761505126953,
      "learning_rate": 5e-05,
      "loss": 0.0104,
      "step": 2964
    },
    {
      "epoch": 39.53333333333333,
      "grad_norm": 1.4084079265594482,
      "learning_rate": 5e-05,
      "loss": 0.0061,
      "step": 2965
    },
    {
      "epoch": 39.54666666666667,
      "grad_norm": 0.5089908838272095,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 2966
    },
    {
      "epoch": 39.56,
      "grad_norm": 0.3888055682182312,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 2967
    },
    {
      "epoch": 39.57333333333333,
      "grad_norm": 0.8100304007530212,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 2968
    },
    {
      "epoch": 39.586666666666666,
      "grad_norm": 0.5900771021842957,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2969
    },
    {
      "epoch": 39.6,
      "grad_norm": 0.03471139445900917,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2970
    },
    {
      "epoch": 39.61333333333333,
      "grad_norm": 1.7814339399337769,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 2971
    },
    {
      "epoch": 39.626666666666665,
      "grad_norm": 0.021034888923168182,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 2972
    },
    {
      "epoch": 39.64,
      "grad_norm": 2.7072343826293945,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 2973
    },
    {
      "epoch": 39.653333333333336,
      "grad_norm": 1.2183924913406372,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2974
    },
    {
      "epoch": 39.666666666666664,
      "grad_norm": 0.15287162363529205,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2975
    },
    {
      "epoch": 39.68,
      "grad_norm": 1.2271678447723389,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 2976
    },
    {
      "epoch": 39.693333333333335,
      "grad_norm": 1.1341121196746826,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 2977
    },
    {
      "epoch": 39.70666666666666,
      "grad_norm": 0.12264909595251083,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2978
    },
    {
      "epoch": 39.72,
      "grad_norm": 0.9203506112098694,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 2979
    },
    {
      "epoch": 39.733333333333334,
      "grad_norm": 0.24010176956653595,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2980
    },
    {
      "epoch": 39.74666666666667,
      "grad_norm": 0.10904497653245926,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2981
    },
    {
      "epoch": 39.76,
      "grad_norm": 0.21963177621364594,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 2982
    },
    {
      "epoch": 39.77333333333333,
      "grad_norm": 0.13400885462760925,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2983
    },
    {
      "epoch": 39.78666666666667,
      "grad_norm": 0.34629037976264954,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 2984
    },
    {
      "epoch": 39.8,
      "grad_norm": 0.1070939153432846,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 2985
    },
    {
      "epoch": 39.81333333333333,
      "grad_norm": 1.4259071350097656,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 2986
    },
    {
      "epoch": 39.82666666666667,
      "grad_norm": 0.08892049640417099,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2987
    },
    {
      "epoch": 39.84,
      "grad_norm": 0.5473366379737854,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 2988
    },
    {
      "epoch": 39.85333333333333,
      "grad_norm": 1.3984062671661377,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 2989
    },
    {
      "epoch": 39.86666666666667,
      "grad_norm": 0.13682222366333008,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2990
    },
    {
      "epoch": 39.88,
      "grad_norm": 0.04354165121912956,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 2991
    },
    {
      "epoch": 39.89333333333333,
      "grad_norm": 1.2556477785110474,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 2992
    },
    {
      "epoch": 39.906666666666666,
      "grad_norm": 0.215859517455101,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2993
    },
    {
      "epoch": 39.92,
      "grad_norm": 0.2099456489086151,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 2994
    },
    {
      "epoch": 39.93333333333333,
      "grad_norm": 0.6874901056289673,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 2995
    },
    {
      "epoch": 39.946666666666665,
      "grad_norm": 1.233950138092041,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 2996
    },
    {
      "epoch": 39.96,
      "grad_norm": 2.0854578018188477,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 2997
    },
    {
      "epoch": 39.973333333333336,
      "grad_norm": 0.8916428089141846,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 2998
    },
    {
      "epoch": 39.986666666666665,
      "grad_norm": 0.13240939378738403,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 2999
    },
    {
      "epoch": 40.0,
      "grad_norm": 3.1327033042907715,
      "learning_rate": 5e-05,
      "loss": 0.0095,
      "step": 3000
    },
    {
      "epoch": 40.013333333333335,
      "grad_norm": 1.1172528266906738,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 3001
    },
    {
      "epoch": 40.026666666666664,
      "grad_norm": 0.32186105847358704,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3002
    },
    {
      "epoch": 40.04,
      "grad_norm": 0.02681846357882023,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3003
    },
    {
      "epoch": 40.053333333333335,
      "grad_norm": 0.19492396712303162,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3004
    },
    {
      "epoch": 40.06666666666667,
      "grad_norm": 0.45225733518600464,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3005
    },
    {
      "epoch": 40.08,
      "grad_norm": 0.025457601994276047,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3006
    },
    {
      "epoch": 40.093333333333334,
      "grad_norm": 0.7275521159172058,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3007
    },
    {
      "epoch": 40.10666666666667,
      "grad_norm": 0.9579156041145325,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 3008
    },
    {
      "epoch": 40.12,
      "grad_norm": 0.20968367159366608,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3009
    },
    {
      "epoch": 40.13333333333333,
      "grad_norm": 0.15055908262729645,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3010
    },
    {
      "epoch": 40.14666666666667,
      "grad_norm": 0.4024466872215271,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 3011
    },
    {
      "epoch": 40.16,
      "grad_norm": 0.04566460847854614,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3012
    },
    {
      "epoch": 40.17333333333333,
      "grad_norm": 0.8402957320213318,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3013
    },
    {
      "epoch": 40.18666666666667,
      "grad_norm": 1.6269235610961914,
      "learning_rate": 5e-05,
      "loss": 0.0119,
      "step": 3014
    },
    {
      "epoch": 40.2,
      "grad_norm": 0.7075985670089722,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3015
    },
    {
      "epoch": 40.21333333333333,
      "grad_norm": 0.6868382692337036,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 3016
    },
    {
      "epoch": 40.22666666666667,
      "grad_norm": 0.48149797320365906,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3017
    },
    {
      "epoch": 40.24,
      "grad_norm": 0.043825019150972366,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3018
    },
    {
      "epoch": 40.25333333333333,
      "grad_norm": 0.06596586853265762,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3019
    },
    {
      "epoch": 40.266666666666666,
      "grad_norm": 0.024969661608338356,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3020
    },
    {
      "epoch": 40.28,
      "grad_norm": 0.1950940191745758,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3021
    },
    {
      "epoch": 40.29333333333334,
      "grad_norm": 0.6035110950469971,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3022
    },
    {
      "epoch": 40.306666666666665,
      "grad_norm": 0.9172570705413818,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 3023
    },
    {
      "epoch": 40.32,
      "grad_norm": 0.27159175276756287,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3024
    },
    {
      "epoch": 40.333333333333336,
      "grad_norm": 1.1461870670318604,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 3025
    },
    {
      "epoch": 40.346666666666664,
      "grad_norm": 0.08387093991041183,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3026
    },
    {
      "epoch": 40.36,
      "grad_norm": 0.07410579174757004,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3027
    },
    {
      "epoch": 40.373333333333335,
      "grad_norm": 0.048808373510837555,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3028
    },
    {
      "epoch": 40.38666666666666,
      "grad_norm": 0.33190256357192993,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3029
    },
    {
      "epoch": 40.4,
      "grad_norm": 2.5953848361968994,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 3030
    },
    {
      "epoch": 40.413333333333334,
      "grad_norm": 0.023064641281962395,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3031
    },
    {
      "epoch": 40.42666666666667,
      "grad_norm": 1.023572325706482,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3032
    },
    {
      "epoch": 40.44,
      "grad_norm": 1.0475033521652222,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3033
    },
    {
      "epoch": 40.45333333333333,
      "grad_norm": 0.4396457076072693,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3034
    },
    {
      "epoch": 40.46666666666667,
      "grad_norm": 0.08400163799524307,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3035
    },
    {
      "epoch": 40.48,
      "grad_norm": 1.9501638412475586,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 3036
    },
    {
      "epoch": 40.49333333333333,
      "grad_norm": 1.2098686695098877,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3037
    },
    {
      "epoch": 40.50666666666667,
      "grad_norm": 0.17264117300510406,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3038
    },
    {
      "epoch": 40.52,
      "grad_norm": 0.1939190924167633,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3039
    },
    {
      "epoch": 40.53333333333333,
      "grad_norm": 0.018123410642147064,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3040
    },
    {
      "epoch": 40.54666666666667,
      "grad_norm": 1.0552245378494263,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 3041
    },
    {
      "epoch": 40.56,
      "grad_norm": 1.672391414642334,
      "learning_rate": 5e-05,
      "loss": 0.0083,
      "step": 3042
    },
    {
      "epoch": 40.57333333333333,
      "grad_norm": 0.16894379258155823,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3043
    },
    {
      "epoch": 40.586666666666666,
      "grad_norm": 0.5640755891799927,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3044
    },
    {
      "epoch": 40.6,
      "grad_norm": 1.5214937925338745,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3045
    },
    {
      "epoch": 40.61333333333333,
      "grad_norm": 0.5085949301719666,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3046
    },
    {
      "epoch": 40.626666666666665,
      "grad_norm": 0.9452060461044312,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 3047
    },
    {
      "epoch": 40.64,
      "grad_norm": 2.0785844326019287,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 3048
    },
    {
      "epoch": 40.653333333333336,
      "grad_norm": 0.04816235601902008,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3049
    },
    {
      "epoch": 40.666666666666664,
      "grad_norm": 0.02652679570019245,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3050
    },
    {
      "epoch": 40.68,
      "grad_norm": 0.7817510366439819,
      "learning_rate": 5e-05,
      "loss": 0.0062,
      "step": 3051
    },
    {
      "epoch": 40.693333333333335,
      "grad_norm": 0.08334711939096451,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3052
    },
    {
      "epoch": 40.70666666666666,
      "grad_norm": 0.274440199136734,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3053
    },
    {
      "epoch": 40.72,
      "grad_norm": 0.1824943572282791,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3054
    },
    {
      "epoch": 40.733333333333334,
      "grad_norm": 0.11421549320220947,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3055
    },
    {
      "epoch": 40.74666666666667,
      "grad_norm": 1.1988914012908936,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 3056
    },
    {
      "epoch": 40.76,
      "grad_norm": 0.5775593519210815,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3057
    },
    {
      "epoch": 40.77333333333333,
      "grad_norm": 2.1652681827545166,
      "learning_rate": 5e-05,
      "loss": 0.0232,
      "step": 3058
    },
    {
      "epoch": 40.78666666666667,
      "grad_norm": 1.7645750045776367,
      "learning_rate": 5e-05,
      "loss": 0.0092,
      "step": 3059
    },
    {
      "epoch": 40.8,
      "grad_norm": 0.053351230919361115,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3060
    },
    {
      "epoch": 40.81333333333333,
      "grad_norm": 1.2571167945861816,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 3061
    },
    {
      "epoch": 40.82666666666667,
      "grad_norm": 0.9730691313743591,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 3062
    },
    {
      "epoch": 40.84,
      "grad_norm": 0.1100347489118576,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3063
    },
    {
      "epoch": 40.85333333333333,
      "grad_norm": 1.6316373348236084,
      "learning_rate": 5e-05,
      "loss": 0.0098,
      "step": 3064
    },
    {
      "epoch": 40.86666666666667,
      "grad_norm": 0.3416022062301636,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3065
    },
    {
      "epoch": 40.88,
      "grad_norm": 0.739372193813324,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 3066
    },
    {
      "epoch": 40.89333333333333,
      "grad_norm": 1.348799228668213,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3067
    },
    {
      "epoch": 40.906666666666666,
      "grad_norm": 0.19609661400318146,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3068
    },
    {
      "epoch": 40.92,
      "grad_norm": 0.16110555827617645,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3069
    },
    {
      "epoch": 40.93333333333333,
      "grad_norm": 0.43524065613746643,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3070
    },
    {
      "epoch": 40.946666666666665,
      "grad_norm": 0.37884455919265747,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3071
    },
    {
      "epoch": 40.96,
      "grad_norm": 0.936357855796814,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 3072
    },
    {
      "epoch": 40.973333333333336,
      "grad_norm": 0.5037771463394165,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3073
    },
    {
      "epoch": 40.986666666666665,
      "grad_norm": 0.7798212766647339,
      "learning_rate": 5e-05,
      "loss": 0.0133,
      "step": 3074
    },
    {
      "epoch": 41.0,
      "grad_norm": 2.017462730407715,
      "learning_rate": 5e-05,
      "loss": 0.0166,
      "step": 3075
    },
    {
      "epoch": 41.013333333333335,
      "grad_norm": 0.33124232292175293,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3076
    },
    {
      "epoch": 41.026666666666664,
      "grad_norm": 0.6936637759208679,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3077
    },
    {
      "epoch": 41.04,
      "grad_norm": 0.15373972058296204,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3078
    },
    {
      "epoch": 41.053333333333335,
      "grad_norm": 0.41759225726127625,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3079
    },
    {
      "epoch": 41.06666666666667,
      "grad_norm": 0.9610600471496582,
      "learning_rate": 5e-05,
      "loss": 0.0121,
      "step": 3080
    },
    {
      "epoch": 41.08,
      "grad_norm": 0.6492592096328735,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3081
    },
    {
      "epoch": 41.093333333333334,
      "grad_norm": 0.11959066241979599,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3082
    },
    {
      "epoch": 41.10666666666667,
      "grad_norm": 0.15715204179286957,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3083
    },
    {
      "epoch": 41.12,
      "grad_norm": 0.31629058718681335,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3084
    },
    {
      "epoch": 41.13333333333333,
      "grad_norm": 0.4397694766521454,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3085
    },
    {
      "epoch": 41.14666666666667,
      "grad_norm": 0.047126807272434235,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3086
    },
    {
      "epoch": 41.16,
      "grad_norm": 0.2338368445634842,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3087
    },
    {
      "epoch": 41.17333333333333,
      "grad_norm": 1.0344070196151733,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 3088
    },
    {
      "epoch": 41.18666666666667,
      "grad_norm": 0.11486215144395828,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3089
    },
    {
      "epoch": 41.2,
      "grad_norm": 1.1776130199432373,
      "learning_rate": 5e-05,
      "loss": 0.0065,
      "step": 3090
    },
    {
      "epoch": 41.21333333333333,
      "grad_norm": 1.0420722961425781,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 3091
    },
    {
      "epoch": 41.22666666666667,
      "grad_norm": 0.35896170139312744,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3092
    },
    {
      "epoch": 41.24,
      "grad_norm": 0.49625536799430847,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3093
    },
    {
      "epoch": 41.25333333333333,
      "grad_norm": 0.5557723641395569,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 3094
    },
    {
      "epoch": 41.266666666666666,
      "grad_norm": 0.08921428769826889,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3095
    },
    {
      "epoch": 41.28,
      "grad_norm": 0.043142903596162796,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3096
    },
    {
      "epoch": 41.29333333333334,
      "grad_norm": 0.0729130208492279,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3097
    },
    {
      "epoch": 41.306666666666665,
      "grad_norm": 0.442055344581604,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3098
    },
    {
      "epoch": 41.32,
      "grad_norm": 0.22664706408977509,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3099
    },
    {
      "epoch": 41.333333333333336,
      "grad_norm": 0.9064590334892273,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3100
    },
    {
      "epoch": 41.346666666666664,
      "grad_norm": 1.0076128244400024,
      "learning_rate": 5e-05,
      "loss": 0.0045,
      "step": 3101
    },
    {
      "epoch": 41.36,
      "grad_norm": 0.32914426922798157,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3102
    },
    {
      "epoch": 41.373333333333335,
      "grad_norm": 0.7613028883934021,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 3103
    },
    {
      "epoch": 41.38666666666666,
      "grad_norm": 0.26627758145332336,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3104
    },
    {
      "epoch": 41.4,
      "grad_norm": 1.773041844367981,
      "learning_rate": 5e-05,
      "loss": 0.0201,
      "step": 3105
    },
    {
      "epoch": 41.413333333333334,
      "grad_norm": 0.032438501715660095,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3106
    },
    {
      "epoch": 41.42666666666667,
      "grad_norm": 0.32966384291648865,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3107
    },
    {
      "epoch": 41.44,
      "grad_norm": 0.37950950860977173,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3108
    },
    {
      "epoch": 41.45333333333333,
      "grad_norm": 0.22535374760627747,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3109
    },
    {
      "epoch": 41.46666666666667,
      "grad_norm": 0.4326170086860657,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3110
    },
    {
      "epoch": 41.48,
      "grad_norm": 1.3696088790893555,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3111
    },
    {
      "epoch": 41.49333333333333,
      "grad_norm": 0.24218517541885376,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3112
    },
    {
      "epoch": 41.50666666666667,
      "grad_norm": 1.0943244695663452,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 3113
    },
    {
      "epoch": 41.52,
      "grad_norm": 0.6966385245323181,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3114
    },
    {
      "epoch": 41.53333333333333,
      "grad_norm": 0.07614035159349442,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3115
    },
    {
      "epoch": 41.54666666666667,
      "grad_norm": 0.13436490297317505,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3116
    },
    {
      "epoch": 41.56,
      "grad_norm": 1.0890045166015625,
      "learning_rate": 5e-05,
      "loss": 0.0116,
      "step": 3117
    },
    {
      "epoch": 41.57333333333333,
      "grad_norm": 0.21428868174552917,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3118
    },
    {
      "epoch": 41.586666666666666,
      "grad_norm": 0.89983069896698,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 3119
    },
    {
      "epoch": 41.6,
      "grad_norm": 1.028254747390747,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 3120
    },
    {
      "epoch": 41.61333333333333,
      "grad_norm": 0.034201398491859436,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3121
    },
    {
      "epoch": 41.626666666666665,
      "grad_norm": 0.19151145219802856,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3122
    },
    {
      "epoch": 41.64,
      "grad_norm": 0.04375860095024109,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3123
    },
    {
      "epoch": 41.653333333333336,
      "grad_norm": 0.2211076319217682,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3124
    },
    {
      "epoch": 41.666666666666664,
      "grad_norm": 0.3363843858242035,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3125
    },
    {
      "epoch": 41.68,
      "grad_norm": 0.8957112431526184,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 3126
    },
    {
      "epoch": 41.693333333333335,
      "grad_norm": 0.4367371201515198,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3127
    },
    {
      "epoch": 41.70666666666666,
      "grad_norm": 0.1300603151321411,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3128
    },
    {
      "epoch": 41.72,
      "grad_norm": 0.48818933963775635,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 3129
    },
    {
      "epoch": 41.733333333333334,
      "grad_norm": 0.7497047185897827,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 3130
    },
    {
      "epoch": 41.74666666666667,
      "grad_norm": 1.559962511062622,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 3131
    },
    {
      "epoch": 41.76,
      "grad_norm": 0.6857374906539917,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 3132
    },
    {
      "epoch": 41.77333333333333,
      "grad_norm": 0.17946256697177887,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3133
    },
    {
      "epoch": 41.78666666666667,
      "grad_norm": 0.7392643094062805,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 3134
    },
    {
      "epoch": 41.8,
      "grad_norm": 0.6443184018135071,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3135
    },
    {
      "epoch": 41.81333333333333,
      "grad_norm": 0.35649341344833374,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3136
    },
    {
      "epoch": 41.82666666666667,
      "grad_norm": 0.7961448431015015,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3137
    },
    {
      "epoch": 41.84,
      "grad_norm": 0.3200300633907318,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3138
    },
    {
      "epoch": 41.85333333333333,
      "grad_norm": 3.341167688369751,
      "learning_rate": 5e-05,
      "loss": 0.0104,
      "step": 3139
    },
    {
      "epoch": 41.86666666666667,
      "grad_norm": 1.9654433727264404,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 3140
    },
    {
      "epoch": 41.88,
      "grad_norm": 0.12306768447160721,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3141
    },
    {
      "epoch": 41.89333333333333,
      "grad_norm": 3.5046284198760986,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 3142
    },
    {
      "epoch": 41.906666666666666,
      "grad_norm": 0.33693110942840576,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3143
    },
    {
      "epoch": 41.92,
      "grad_norm": 0.15645213425159454,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3144
    },
    {
      "epoch": 41.93333333333333,
      "grad_norm": 0.9678058624267578,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 3145
    },
    {
      "epoch": 41.946666666666665,
      "grad_norm": 0.08461900800466537,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3146
    },
    {
      "epoch": 41.96,
      "grad_norm": 0.4480478763580322,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3147
    },
    {
      "epoch": 41.973333333333336,
      "grad_norm": 2.077894449234009,
      "learning_rate": 5e-05,
      "loss": 0.0059,
      "step": 3148
    },
    {
      "epoch": 41.986666666666665,
      "grad_norm": 2.3131463527679443,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 3149
    },
    {
      "epoch": 42.0,
      "grad_norm": 0.48729661107063293,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3150
    },
    {
      "epoch": 42.013333333333335,
      "grad_norm": 0.2463625967502594,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3151
    },
    {
      "epoch": 42.026666666666664,
      "grad_norm": 0.14334040880203247,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3152
    },
    {
      "epoch": 42.04,
      "grad_norm": 0.6495603919029236,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 3153
    },
    {
      "epoch": 42.053333333333335,
      "grad_norm": 0.8028947710990906,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3154
    },
    {
      "epoch": 42.06666666666667,
      "grad_norm": 0.9998956322669983,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3155
    },
    {
      "epoch": 42.08,
      "grad_norm": 0.4360944330692291,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3156
    },
    {
      "epoch": 42.093333333333334,
      "grad_norm": 0.06112704798579216,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3157
    },
    {
      "epoch": 42.10666666666667,
      "grad_norm": 1.1730376482009888,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 3158
    },
    {
      "epoch": 42.12,
      "grad_norm": 0.43408164381980896,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3159
    },
    {
      "epoch": 42.13333333333333,
      "grad_norm": 0.24540963768959045,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3160
    },
    {
      "epoch": 42.14666666666667,
      "grad_norm": 1.1092989444732666,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 3161
    },
    {
      "epoch": 42.16,
      "grad_norm": 0.8040657043457031,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 3162
    },
    {
      "epoch": 42.17333333333333,
      "grad_norm": 0.3547821640968323,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3163
    },
    {
      "epoch": 42.18666666666667,
      "grad_norm": 0.2009996771812439,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3164
    },
    {
      "epoch": 42.2,
      "grad_norm": 0.09954904764890671,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3165
    },
    {
      "epoch": 42.21333333333333,
      "grad_norm": 0.21848590672016144,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3166
    },
    {
      "epoch": 42.22666666666667,
      "grad_norm": 0.49143823981285095,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3167
    },
    {
      "epoch": 42.24,
      "grad_norm": 0.3067266643047333,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3168
    },
    {
      "epoch": 42.25333333333333,
      "grad_norm": 0.2022838145494461,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3169
    },
    {
      "epoch": 42.266666666666666,
      "grad_norm": 1.2290211915969849,
      "learning_rate": 5e-05,
      "loss": 0.0095,
      "step": 3170
    },
    {
      "epoch": 42.28,
      "grad_norm": 0.0662960335612297,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3171
    },
    {
      "epoch": 42.29333333333334,
      "grad_norm": 1.5156558752059937,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 3172
    },
    {
      "epoch": 42.306666666666665,
      "grad_norm": 0.06573525071144104,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3173
    },
    {
      "epoch": 42.32,
      "grad_norm": 0.9402391910552979,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3174
    },
    {
      "epoch": 42.333333333333336,
      "grad_norm": 0.09966439753770828,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3175
    },
    {
      "epoch": 42.346666666666664,
      "grad_norm": 0.565005898475647,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3176
    },
    {
      "epoch": 42.36,
      "grad_norm": 1.0492745637893677,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 3177
    },
    {
      "epoch": 42.373333333333335,
      "grad_norm": 0.29228028655052185,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3178
    },
    {
      "epoch": 42.38666666666666,
      "grad_norm": 1.5399620532989502,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 3179
    },
    {
      "epoch": 42.4,
      "grad_norm": 0.047899261116981506,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3180
    },
    {
      "epoch": 42.413333333333334,
      "grad_norm": 0.19616210460662842,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3181
    },
    {
      "epoch": 42.42666666666667,
      "grad_norm": 0.5985478758811951,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 3182
    },
    {
      "epoch": 42.44,
      "grad_norm": 0.8197818398475647,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3183
    },
    {
      "epoch": 42.45333333333333,
      "grad_norm": 0.02691097930073738,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3184
    },
    {
      "epoch": 42.46666666666667,
      "grad_norm": 0.07180143147706985,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3185
    },
    {
      "epoch": 42.48,
      "grad_norm": 0.4216257929801941,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3186
    },
    {
      "epoch": 42.49333333333333,
      "grad_norm": 0.1309620887041092,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3187
    },
    {
      "epoch": 42.50666666666667,
      "grad_norm": 1.2760672569274902,
      "learning_rate": 5e-05,
      "loss": 0.0051,
      "step": 3188
    },
    {
      "epoch": 42.52,
      "grad_norm": 0.04446463659405708,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3189
    },
    {
      "epoch": 42.53333333333333,
      "grad_norm": 0.3189103305339813,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3190
    },
    {
      "epoch": 42.54666666666667,
      "grad_norm": 0.8269366025924683,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3191
    },
    {
      "epoch": 42.56,
      "grad_norm": 0.06317072361707687,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3192
    },
    {
      "epoch": 42.57333333333333,
      "grad_norm": 0.9906002879142761,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 3193
    },
    {
      "epoch": 42.586666666666666,
      "grad_norm": 0.04164836183190346,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3194
    },
    {
      "epoch": 42.6,
      "grad_norm": 0.09868074953556061,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3195
    },
    {
      "epoch": 42.61333333333333,
      "grad_norm": 1.9675276279449463,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 3196
    },
    {
      "epoch": 42.626666666666665,
      "grad_norm": 0.7034320831298828,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3197
    },
    {
      "epoch": 42.64,
      "grad_norm": 1.3965555429458618,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3198
    },
    {
      "epoch": 42.653333333333336,
      "grad_norm": 1.6000070571899414,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3199
    },
    {
      "epoch": 42.666666666666664,
      "grad_norm": 1.3244398832321167,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3200
    },
    {
      "epoch": 42.68,
      "grad_norm": 0.24445030093193054,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3201
    },
    {
      "epoch": 42.693333333333335,
      "grad_norm": 1.5905362367630005,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 3202
    },
    {
      "epoch": 42.70666666666666,
      "grad_norm": 0.09845423698425293,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3203
    },
    {
      "epoch": 42.72,
      "grad_norm": 0.9613615870475769,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 3204
    },
    {
      "epoch": 42.733333333333334,
      "grad_norm": 0.1328778862953186,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3205
    },
    {
      "epoch": 42.74666666666667,
      "grad_norm": 0.8797625303268433,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 3206
    },
    {
      "epoch": 42.76,
      "grad_norm": 0.1237221285700798,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3207
    },
    {
      "epoch": 42.77333333333333,
      "grad_norm": 0.47067147493362427,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3208
    },
    {
      "epoch": 42.78666666666667,
      "grad_norm": 0.3741966485977173,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3209
    },
    {
      "epoch": 42.8,
      "grad_norm": 1.140320062637329,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3210
    },
    {
      "epoch": 42.81333333333333,
      "grad_norm": 0.017873646691441536,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3211
    },
    {
      "epoch": 42.82666666666667,
      "grad_norm": 3.1688232421875,
      "learning_rate": 5e-05,
      "loss": 0.0135,
      "step": 3212
    },
    {
      "epoch": 42.84,
      "grad_norm": 0.7995662689208984,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 3213
    },
    {
      "epoch": 42.85333333333333,
      "grad_norm": 0.2621294856071472,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3214
    },
    {
      "epoch": 42.86666666666667,
      "grad_norm": 2.2424025535583496,
      "learning_rate": 5e-05,
      "loss": 0.0088,
      "step": 3215
    },
    {
      "epoch": 42.88,
      "grad_norm": 1.4570293426513672,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 3216
    },
    {
      "epoch": 42.89333333333333,
      "grad_norm": 0.4786136746406555,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3217
    },
    {
      "epoch": 42.906666666666666,
      "grad_norm": 0.31169089674949646,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3218
    },
    {
      "epoch": 42.92,
      "grad_norm": 1.8296983242034912,
      "learning_rate": 5e-05,
      "loss": 0.0142,
      "step": 3219
    },
    {
      "epoch": 42.93333333333333,
      "grad_norm": 2.657970666885376,
      "learning_rate": 5e-05,
      "loss": 0.0103,
      "step": 3220
    },
    {
      "epoch": 42.946666666666665,
      "grad_norm": 2.7108724117279053,
      "learning_rate": 5e-05,
      "loss": 0.0195,
      "step": 3221
    },
    {
      "epoch": 42.96,
      "grad_norm": 0.7076060175895691,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 3222
    },
    {
      "epoch": 42.973333333333336,
      "grad_norm": 0.8531895279884338,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3223
    },
    {
      "epoch": 42.986666666666665,
      "grad_norm": 0.8802707195281982,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3224
    },
    {
      "epoch": 43.0,
      "grad_norm": 0.14202575385570526,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3225
    },
    {
      "epoch": 43.013333333333335,
      "grad_norm": 1.1164419651031494,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 3226
    },
    {
      "epoch": 43.026666666666664,
      "grad_norm": 0.8342639207839966,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3227
    },
    {
      "epoch": 43.04,
      "grad_norm": 1.5170361995697021,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 3228
    },
    {
      "epoch": 43.053333333333335,
      "grad_norm": 0.4984815716743469,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3229
    },
    {
      "epoch": 43.06666666666667,
      "grad_norm": 0.04136903956532478,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3230
    },
    {
      "epoch": 43.08,
      "grad_norm": 0.8764374256134033,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3231
    },
    {
      "epoch": 43.093333333333334,
      "grad_norm": 1.688306212425232,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3232
    },
    {
      "epoch": 43.10666666666667,
      "grad_norm": 1.5230803489685059,
      "learning_rate": 5e-05,
      "loss": 0.0214,
      "step": 3233
    },
    {
      "epoch": 43.12,
      "grad_norm": 0.5605842471122742,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3234
    },
    {
      "epoch": 43.13333333333333,
      "grad_norm": 2.9962093830108643,
      "learning_rate": 5e-05,
      "loss": 0.0124,
      "step": 3235
    },
    {
      "epoch": 43.14666666666667,
      "grad_norm": 0.09179208427667618,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3236
    },
    {
      "epoch": 43.16,
      "grad_norm": 0.640263020992279,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3237
    },
    {
      "epoch": 43.17333333333333,
      "grad_norm": 1.1404961347579956,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3238
    },
    {
      "epoch": 43.18666666666667,
      "grad_norm": 0.06423474848270416,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3239
    },
    {
      "epoch": 43.2,
      "grad_norm": 0.29980504512786865,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3240
    },
    {
      "epoch": 43.21333333333333,
      "grad_norm": 2.3377957344055176,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 3241
    },
    {
      "epoch": 43.22666666666667,
      "grad_norm": 0.8803176879882812,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3242
    },
    {
      "epoch": 43.24,
      "grad_norm": 0.09429782629013062,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3243
    },
    {
      "epoch": 43.25333333333333,
      "grad_norm": 0.4989684820175171,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3244
    },
    {
      "epoch": 43.266666666666666,
      "grad_norm": 0.23282793164253235,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3245
    },
    {
      "epoch": 43.28,
      "grad_norm": 1.7514352798461914,
      "learning_rate": 5e-05,
      "loss": 0.0249,
      "step": 3246
    },
    {
      "epoch": 43.29333333333334,
      "grad_norm": 0.14520590007305145,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3247
    },
    {
      "epoch": 43.306666666666665,
      "grad_norm": 1.8371779918670654,
      "learning_rate": 5e-05,
      "loss": 0.0212,
      "step": 3248
    },
    {
      "epoch": 43.32,
      "grad_norm": 0.7387998700141907,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3249
    },
    {
      "epoch": 43.333333333333336,
      "grad_norm": 0.1504824161529541,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3250
    },
    {
      "epoch": 43.346666666666664,
      "grad_norm": 1.7202064990997314,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 3251
    },
    {
      "epoch": 43.36,
      "grad_norm": 1.2294988632202148,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 3252
    },
    {
      "epoch": 43.373333333333335,
      "grad_norm": 0.1216948851943016,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3253
    },
    {
      "epoch": 43.38666666666666,
      "grad_norm": 0.27913913130760193,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3254
    },
    {
      "epoch": 43.4,
      "grad_norm": 0.28348633646965027,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3255
    },
    {
      "epoch": 43.413333333333334,
      "grad_norm": 0.4787924289703369,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3256
    },
    {
      "epoch": 43.42666666666667,
      "grad_norm": 0.7956244349479675,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3257
    },
    {
      "epoch": 43.44,
      "grad_norm": 1.742830753326416,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3258
    },
    {
      "epoch": 43.45333333333333,
      "grad_norm": 0.7563657760620117,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3259
    },
    {
      "epoch": 43.46666666666667,
      "grad_norm": 0.10448329895734787,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3260
    },
    {
      "epoch": 43.48,
      "grad_norm": 0.09269601851701736,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3261
    },
    {
      "epoch": 43.49333333333333,
      "grad_norm": 1.309771180152893,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 3262
    },
    {
      "epoch": 43.50666666666667,
      "grad_norm": 1.2424622774124146,
      "learning_rate": 5e-05,
      "loss": 0.0134,
      "step": 3263
    },
    {
      "epoch": 43.52,
      "grad_norm": 0.049576178193092346,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3264
    },
    {
      "epoch": 43.53333333333333,
      "grad_norm": 0.7829945087432861,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 3265
    },
    {
      "epoch": 43.54666666666667,
      "grad_norm": 1.4377920627593994,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 3266
    },
    {
      "epoch": 43.56,
      "grad_norm": 0.8640760183334351,
      "learning_rate": 5e-05,
      "loss": 0.0052,
      "step": 3267
    },
    {
      "epoch": 43.57333333333333,
      "grad_norm": 0.6943498849868774,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 3268
    },
    {
      "epoch": 43.586666666666666,
      "grad_norm": 1.1857982873916626,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3269
    },
    {
      "epoch": 43.6,
      "grad_norm": 1.0754350423812866,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3270
    },
    {
      "epoch": 43.61333333333333,
      "grad_norm": 0.04736464470624924,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3271
    },
    {
      "epoch": 43.626666666666665,
      "grad_norm": 0.9618803858757019,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 3272
    },
    {
      "epoch": 43.64,
      "grad_norm": 0.3833245038986206,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3273
    },
    {
      "epoch": 43.653333333333336,
      "grad_norm": 0.14594028890132904,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3274
    },
    {
      "epoch": 43.666666666666664,
      "grad_norm": 2.484809398651123,
      "learning_rate": 5e-05,
      "loss": 0.0375,
      "step": 3275
    },
    {
      "epoch": 43.68,
      "grad_norm": 1.8979941606521606,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3276
    },
    {
      "epoch": 43.693333333333335,
      "grad_norm": 1.1684110164642334,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 3277
    },
    {
      "epoch": 43.70666666666666,
      "grad_norm": 1.2607064247131348,
      "learning_rate": 5e-05,
      "loss": 0.0067,
      "step": 3278
    },
    {
      "epoch": 43.72,
      "grad_norm": 1.2004315853118896,
      "learning_rate": 5e-05,
      "loss": 0.0083,
      "step": 3279
    },
    {
      "epoch": 43.733333333333334,
      "grad_norm": 0.10072404891252518,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3280
    },
    {
      "epoch": 43.74666666666667,
      "grad_norm": 0.5477852821350098,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3281
    },
    {
      "epoch": 43.76,
      "grad_norm": 0.07217862457036972,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3282
    },
    {
      "epoch": 43.77333333333333,
      "grad_norm": 2.473172426223755,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 3283
    },
    {
      "epoch": 43.78666666666667,
      "grad_norm": 0.7365539073944092,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 3284
    },
    {
      "epoch": 43.8,
      "grad_norm": 2.367992401123047,
      "learning_rate": 5e-05,
      "loss": 0.0143,
      "step": 3285
    },
    {
      "epoch": 43.81333333333333,
      "grad_norm": 1.7369903326034546,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 3286
    },
    {
      "epoch": 43.82666666666667,
      "grad_norm": 1.3997845649719238,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 3287
    },
    {
      "epoch": 43.84,
      "grad_norm": 0.08349861204624176,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3288
    },
    {
      "epoch": 43.85333333333333,
      "grad_norm": 2.734287977218628,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 3289
    },
    {
      "epoch": 43.86666666666667,
      "grad_norm": 0.7400499582290649,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 3290
    },
    {
      "epoch": 43.88,
      "grad_norm": 0.8921260237693787,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 3291
    },
    {
      "epoch": 43.89333333333333,
      "grad_norm": 0.33836668729782104,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3292
    },
    {
      "epoch": 43.906666666666666,
      "grad_norm": 0.32470229268074036,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3293
    },
    {
      "epoch": 43.92,
      "grad_norm": 0.37208351492881775,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3294
    },
    {
      "epoch": 43.93333333333333,
      "grad_norm": 0.8709496855735779,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3295
    },
    {
      "epoch": 43.946666666666665,
      "grad_norm": 0.6343393325805664,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3296
    },
    {
      "epoch": 43.96,
      "grad_norm": 1.0095059871673584,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 3297
    },
    {
      "epoch": 43.973333333333336,
      "grad_norm": 0.6513344049453735,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3298
    },
    {
      "epoch": 43.986666666666665,
      "grad_norm": 0.2393079400062561,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3299
    },
    {
      "epoch": 44.0,
      "grad_norm": 1.4568287134170532,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 3300
    },
    {
      "epoch": 44.013333333333335,
      "grad_norm": 0.5084768533706665,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3301
    },
    {
      "epoch": 44.026666666666664,
      "grad_norm": 1.140041470527649,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3302
    },
    {
      "epoch": 44.04,
      "grad_norm": 0.1673218309879303,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3303
    },
    {
      "epoch": 44.053333333333335,
      "grad_norm": 0.09823574125766754,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3304
    },
    {
      "epoch": 44.06666666666667,
      "grad_norm": 3.425499439239502,
      "learning_rate": 5e-05,
      "loss": 0.0093,
      "step": 3305
    },
    {
      "epoch": 44.08,
      "grad_norm": 1.6613764762878418,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 3306
    },
    {
      "epoch": 44.093333333333334,
      "grad_norm": 2.5351550579071045,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 3307
    },
    {
      "epoch": 44.10666666666667,
      "grad_norm": 1.3530086278915405,
      "learning_rate": 5e-05,
      "loss": 0.0027,
      "step": 3308
    },
    {
      "epoch": 44.12,
      "grad_norm": 1.5307053327560425,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 3309
    },
    {
      "epoch": 44.13333333333333,
      "grad_norm": 0.6520978212356567,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 3310
    },
    {
      "epoch": 44.14666666666667,
      "grad_norm": 0.34874364733695984,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3311
    },
    {
      "epoch": 44.16,
      "grad_norm": 2.147561550140381,
      "learning_rate": 5e-05,
      "loss": 0.0054,
      "step": 3312
    },
    {
      "epoch": 44.17333333333333,
      "grad_norm": 0.20796214044094086,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3313
    },
    {
      "epoch": 44.18666666666667,
      "grad_norm": 0.16305223107337952,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3314
    },
    {
      "epoch": 44.2,
      "grad_norm": 0.18056654930114746,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3315
    },
    {
      "epoch": 44.21333333333333,
      "grad_norm": 0.08354201167821884,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3316
    },
    {
      "epoch": 44.22666666666667,
      "grad_norm": 0.12046124041080475,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3317
    },
    {
      "epoch": 44.24,
      "grad_norm": 0.1451629400253296,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3318
    },
    {
      "epoch": 44.25333333333333,
      "grad_norm": 0.6830624341964722,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3319
    },
    {
      "epoch": 44.266666666666666,
      "grad_norm": 3.1052753925323486,
      "learning_rate": 5e-05,
      "loss": 0.013,
      "step": 3320
    },
    {
      "epoch": 44.28,
      "grad_norm": 0.20228852331638336,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3321
    },
    {
      "epoch": 44.29333333333334,
      "grad_norm": 2.1887781620025635,
      "learning_rate": 5e-05,
      "loss": 0.0141,
      "step": 3322
    },
    {
      "epoch": 44.306666666666665,
      "grad_norm": 0.7355712652206421,
      "learning_rate": 5e-05,
      "loss": 0.0041,
      "step": 3323
    },
    {
      "epoch": 44.32,
      "grad_norm": 1.155150055885315,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 3324
    },
    {
      "epoch": 44.333333333333336,
      "grad_norm": 1.1183643341064453,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 3325
    },
    {
      "epoch": 44.346666666666664,
      "grad_norm": 6.308408260345459,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 3326
    },
    {
      "epoch": 44.36,
      "grad_norm": 2.482881546020508,
      "learning_rate": 5e-05,
      "loss": 0.0132,
      "step": 3327
    },
    {
      "epoch": 44.373333333333335,
      "grad_norm": 0.040518466383218765,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3328
    },
    {
      "epoch": 44.38666666666666,
      "grad_norm": 3.1137161254882812,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 3329
    },
    {
      "epoch": 44.4,
      "grad_norm": 2.236356019973755,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 3330
    },
    {
      "epoch": 44.413333333333334,
      "grad_norm": 0.9308958053588867,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3331
    },
    {
      "epoch": 44.42666666666667,
      "grad_norm": 1.2292439937591553,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 3332
    },
    {
      "epoch": 44.44,
      "grad_norm": 0.15820087492465973,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3333
    },
    {
      "epoch": 44.45333333333333,
      "grad_norm": 0.2116529941558838,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3334
    },
    {
      "epoch": 44.46666666666667,
      "grad_norm": 0.30425700545310974,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3335
    },
    {
      "epoch": 44.48,
      "grad_norm": 0.047082047909498215,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3336
    },
    {
      "epoch": 44.49333333333333,
      "grad_norm": 0.21889178454875946,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3337
    },
    {
      "epoch": 44.50666666666667,
      "grad_norm": 1.1388288736343384,
      "learning_rate": 5e-05,
      "loss": 0.0094,
      "step": 3338
    },
    {
      "epoch": 44.52,
      "grad_norm": 1.0952585935592651,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 3339
    },
    {
      "epoch": 44.53333333333333,
      "grad_norm": 0.2479393482208252,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3340
    },
    {
      "epoch": 44.54666666666667,
      "grad_norm": 1.0258654356002808,
      "learning_rate": 5e-05,
      "loss": 0.0063,
      "step": 3341
    },
    {
      "epoch": 44.56,
      "grad_norm": 1.5243629217147827,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3342
    },
    {
      "epoch": 44.57333333333333,
      "grad_norm": 0.15129737555980682,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3343
    },
    {
      "epoch": 44.586666666666666,
      "grad_norm": 0.6571367979049683,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3344
    },
    {
      "epoch": 44.6,
      "grad_norm": 1.4933918714523315,
      "learning_rate": 5e-05,
      "loss": 0.0128,
      "step": 3345
    },
    {
      "epoch": 44.61333333333333,
      "grad_norm": 2.0207738876342773,
      "learning_rate": 5e-05,
      "loss": 0.0119,
      "step": 3346
    },
    {
      "epoch": 44.626666666666665,
      "grad_norm": 0.16214753687381744,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3347
    },
    {
      "epoch": 44.64,
      "grad_norm": 0.2325671911239624,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3348
    },
    {
      "epoch": 44.653333333333336,
      "grad_norm": 0.9565972089767456,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 3349
    },
    {
      "epoch": 44.666666666666664,
      "grad_norm": 0.43400096893310547,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3350
    },
    {
      "epoch": 44.68,
      "grad_norm": 1.012779712677002,
      "learning_rate": 5e-05,
      "loss": 0.0085,
      "step": 3351
    },
    {
      "epoch": 44.693333333333335,
      "grad_norm": 0.20096339285373688,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3352
    },
    {
      "epoch": 44.70666666666666,
      "grad_norm": 0.33047744631767273,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3353
    },
    {
      "epoch": 44.72,
      "grad_norm": 1.7962241172790527,
      "learning_rate": 5e-05,
      "loss": 0.0096,
      "step": 3354
    },
    {
      "epoch": 44.733333333333334,
      "grad_norm": 0.5736928582191467,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3355
    },
    {
      "epoch": 44.74666666666667,
      "grad_norm": 1.3074012994766235,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3356
    },
    {
      "epoch": 44.76,
      "grad_norm": 0.5321797132492065,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3357
    },
    {
      "epoch": 44.77333333333333,
      "grad_norm": 2.4182817935943604,
      "learning_rate": 5e-05,
      "loss": 0.0113,
      "step": 3358
    },
    {
      "epoch": 44.78666666666667,
      "grad_norm": 0.24939964711666107,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3359
    },
    {
      "epoch": 44.8,
      "grad_norm": 1.7428580522537231,
      "learning_rate": 5e-05,
      "loss": 0.0111,
      "step": 3360
    },
    {
      "epoch": 44.81333333333333,
      "grad_norm": 1.6767677068710327,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 3361
    },
    {
      "epoch": 44.82666666666667,
      "grad_norm": 0.3399485945701599,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3362
    },
    {
      "epoch": 44.84,
      "grad_norm": 0.11608560383319855,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3363
    },
    {
      "epoch": 44.85333333333333,
      "grad_norm": 0.7330482602119446,
      "learning_rate": 5e-05,
      "loss": 0.0031,
      "step": 3364
    },
    {
      "epoch": 44.86666666666667,
      "grad_norm": 0.40373992919921875,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3365
    },
    {
      "epoch": 44.88,
      "grad_norm": 1.6270594596862793,
      "learning_rate": 5e-05,
      "loss": 0.0183,
      "step": 3366
    },
    {
      "epoch": 44.89333333333333,
      "grad_norm": 0.9496293663978577,
      "learning_rate": 5e-05,
      "loss": 0.0091,
      "step": 3367
    },
    {
      "epoch": 44.906666666666666,
      "grad_norm": 0.26704126596450806,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3368
    },
    {
      "epoch": 44.92,
      "grad_norm": 2.1053268909454346,
      "learning_rate": 5e-05,
      "loss": 0.0066,
      "step": 3369
    },
    {
      "epoch": 44.93333333333333,
      "grad_norm": 0.8167365789413452,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 3370
    },
    {
      "epoch": 44.946666666666665,
      "grad_norm": 0.05812923237681389,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3371
    },
    {
      "epoch": 44.96,
      "grad_norm": 0.4198594093322754,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3372
    },
    {
      "epoch": 44.973333333333336,
      "grad_norm": 0.5073373317718506,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3373
    },
    {
      "epoch": 44.986666666666665,
      "grad_norm": 1.1371220350265503,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 3374
    },
    {
      "epoch": 45.0,
      "grad_norm": 0.7443786859512329,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3375
    },
    {
      "epoch": 45.013333333333335,
      "grad_norm": 0.0591060109436512,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3376
    },
    {
      "epoch": 45.026666666666664,
      "grad_norm": 2.114435911178589,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 3377
    },
    {
      "epoch": 45.04,
      "grad_norm": 1.55293869972229,
      "learning_rate": 5e-05,
      "loss": 0.0115,
      "step": 3378
    },
    {
      "epoch": 45.053333333333335,
      "grad_norm": 1.6245304346084595,
      "learning_rate": 5e-05,
      "loss": 0.0108,
      "step": 3379
    },
    {
      "epoch": 45.06666666666667,
      "grad_norm": 0.6754413843154907,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3380
    },
    {
      "epoch": 45.08,
      "grad_norm": 1.8113908767700195,
      "learning_rate": 5e-05,
      "loss": 0.0176,
      "step": 3381
    },
    {
      "epoch": 45.093333333333334,
      "grad_norm": 0.15891921520233154,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3382
    },
    {
      "epoch": 45.10666666666667,
      "grad_norm": 0.121724434196949,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3383
    },
    {
      "epoch": 45.12,
      "grad_norm": 0.12426124513149261,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3384
    },
    {
      "epoch": 45.13333333333333,
      "grad_norm": 0.40576595067977905,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3385
    },
    {
      "epoch": 45.14666666666667,
      "grad_norm": 0.7174810171127319,
      "learning_rate": 5e-05,
      "loss": 0.009,
      "step": 3386
    },
    {
      "epoch": 45.16,
      "grad_norm": 0.11613684147596359,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3387
    },
    {
      "epoch": 45.17333333333333,
      "grad_norm": 0.24000856280326843,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3388
    },
    {
      "epoch": 45.18666666666667,
      "grad_norm": 0.619840681552887,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 3389
    },
    {
      "epoch": 45.2,
      "grad_norm": 0.670435905456543,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 3390
    },
    {
      "epoch": 45.21333333333333,
      "grad_norm": 0.16213031113147736,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3391
    },
    {
      "epoch": 45.22666666666667,
      "grad_norm": 0.07287372648715973,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3392
    },
    {
      "epoch": 45.24,
      "grad_norm": 0.08621760457754135,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3393
    },
    {
      "epoch": 45.25333333333333,
      "grad_norm": 0.014617875218391418,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3394
    },
    {
      "epoch": 45.266666666666666,
      "grad_norm": 0.18418823182582855,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3395
    },
    {
      "epoch": 45.28,
      "grad_norm": 2.0138869285583496,
      "learning_rate": 5e-05,
      "loss": 0.0145,
      "step": 3396
    },
    {
      "epoch": 45.29333333333334,
      "grad_norm": 0.5727786421775818,
      "learning_rate": 5e-05,
      "loss": 0.0079,
      "step": 3397
    },
    {
      "epoch": 45.306666666666665,
      "grad_norm": 0.5439596772193909,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3398
    },
    {
      "epoch": 45.32,
      "grad_norm": 0.363748699426651,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3399
    },
    {
      "epoch": 45.333333333333336,
      "grad_norm": 0.060362573713064194,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3400
    },
    {
      "epoch": 45.346666666666664,
      "grad_norm": 0.9137758016586304,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 3401
    },
    {
      "epoch": 45.36,
      "grad_norm": 1.0168482065200806,
      "learning_rate": 5e-05,
      "loss": 0.0032,
      "step": 3402
    },
    {
      "epoch": 45.373333333333335,
      "grad_norm": 0.11524803936481476,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3403
    },
    {
      "epoch": 45.38666666666666,
      "grad_norm": 0.3098871409893036,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3404
    },
    {
      "epoch": 45.4,
      "grad_norm": 0.07879279553890228,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3405
    },
    {
      "epoch": 45.413333333333334,
      "grad_norm": 2.563594102859497,
      "learning_rate": 5e-05,
      "loss": 0.0095,
      "step": 3406
    },
    {
      "epoch": 45.42666666666667,
      "grad_norm": 1.3746432065963745,
      "learning_rate": 5e-05,
      "loss": 0.0043,
      "step": 3407
    },
    {
      "epoch": 45.44,
      "grad_norm": 0.8987370729446411,
      "learning_rate": 5e-05,
      "loss": 0.0035,
      "step": 3408
    },
    {
      "epoch": 45.45333333333333,
      "grad_norm": 0.03665166720747948,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3409
    },
    {
      "epoch": 45.46666666666667,
      "grad_norm": 0.4602968692779541,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3410
    },
    {
      "epoch": 45.48,
      "grad_norm": 0.4849895238876343,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3411
    },
    {
      "epoch": 45.49333333333333,
      "grad_norm": 1.1581051349639893,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 3412
    },
    {
      "epoch": 45.50666666666667,
      "grad_norm": 2.239495038986206,
      "learning_rate": 5e-05,
      "loss": 0.0202,
      "step": 3413
    },
    {
      "epoch": 45.52,
      "grad_norm": 0.3349854350090027,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3414
    },
    {
      "epoch": 45.53333333333333,
      "grad_norm": 0.09629591554403305,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3415
    },
    {
      "epoch": 45.54666666666667,
      "grad_norm": 0.2308332324028015,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3416
    },
    {
      "epoch": 45.56,
      "grad_norm": 0.35980015993118286,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3417
    },
    {
      "epoch": 45.57333333333333,
      "grad_norm": 0.6590060591697693,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3418
    },
    {
      "epoch": 45.586666666666666,
      "grad_norm": 0.12215832620859146,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3419
    },
    {
      "epoch": 45.6,
      "grad_norm": 0.8700262904167175,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 3420
    },
    {
      "epoch": 45.61333333333333,
      "grad_norm": 1.6850186586380005,
      "learning_rate": 5e-05,
      "loss": 0.0105,
      "step": 3421
    },
    {
      "epoch": 45.626666666666665,
      "grad_norm": 0.17488627135753632,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3422
    },
    {
      "epoch": 45.64,
      "grad_norm": 2.617880344390869,
      "learning_rate": 5e-05,
      "loss": 0.0119,
      "step": 3423
    },
    {
      "epoch": 45.653333333333336,
      "grad_norm": 0.2197529524564743,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3424
    },
    {
      "epoch": 45.666666666666664,
      "grad_norm": 0.4166103005409241,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3425
    },
    {
      "epoch": 45.68,
      "grad_norm": 0.04053652286529541,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3426
    },
    {
      "epoch": 45.693333333333335,
      "grad_norm": 0.36980053782463074,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3427
    },
    {
      "epoch": 45.70666666666666,
      "grad_norm": 0.6827241778373718,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3428
    },
    {
      "epoch": 45.72,
      "grad_norm": 0.03295741230249405,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3429
    },
    {
      "epoch": 45.733333333333334,
      "grad_norm": 0.5228527188301086,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3430
    },
    {
      "epoch": 45.74666666666667,
      "grad_norm": 0.06971283257007599,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3431
    },
    {
      "epoch": 45.76,
      "grad_norm": 1.326813817024231,
      "learning_rate": 5e-05,
      "loss": 0.0044,
      "step": 3432
    },
    {
      "epoch": 45.77333333333333,
      "grad_norm": 0.5293944478034973,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 3433
    },
    {
      "epoch": 45.78666666666667,
      "grad_norm": 0.3258008360862732,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3434
    },
    {
      "epoch": 45.8,
      "grad_norm": 1.766075611114502,
      "learning_rate": 5e-05,
      "loss": 0.007,
      "step": 3435
    },
    {
      "epoch": 45.81333333333333,
      "grad_norm": 2.024806022644043,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3436
    },
    {
      "epoch": 45.82666666666667,
      "grad_norm": 0.5330310463905334,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3437
    },
    {
      "epoch": 45.84,
      "grad_norm": 0.07129890471696854,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3438
    },
    {
      "epoch": 45.85333333333333,
      "grad_norm": 1.3834894895553589,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 3439
    },
    {
      "epoch": 45.86666666666667,
      "grad_norm": 0.19885587692260742,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3440
    },
    {
      "epoch": 45.88,
      "grad_norm": 2.232715129852295,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 3441
    },
    {
      "epoch": 45.89333333333333,
      "grad_norm": 0.20084568858146667,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3442
    },
    {
      "epoch": 45.906666666666666,
      "grad_norm": 2.9487006664276123,
      "learning_rate": 5e-05,
      "loss": 0.0039,
      "step": 3443
    },
    {
      "epoch": 45.92,
      "grad_norm": 0.3798862397670746,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3444
    },
    {
      "epoch": 45.93333333333333,
      "grad_norm": 0.35763636231422424,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3445
    },
    {
      "epoch": 45.946666666666665,
      "grad_norm": 0.3275499939918518,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3446
    },
    {
      "epoch": 45.96,
      "grad_norm": 1.0680180788040161,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 3447
    },
    {
      "epoch": 45.973333333333336,
      "grad_norm": 0.20199532806873322,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3448
    },
    {
      "epoch": 45.986666666666665,
      "grad_norm": 0.1328195184469223,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3449
    },
    {
      "epoch": 46.0,
      "grad_norm": 0.3194977045059204,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3450
    },
    {
      "epoch": 46.013333333333335,
      "grad_norm": 0.3727385401725769,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3451
    },
    {
      "epoch": 46.026666666666664,
      "grad_norm": 0.021875014528632164,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3452
    },
    {
      "epoch": 46.04,
      "grad_norm": 0.11403408646583557,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3453
    },
    {
      "epoch": 46.053333333333335,
      "grad_norm": 0.600121259689331,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3454
    },
    {
      "epoch": 46.06666666666667,
      "grad_norm": 0.023825449869036674,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3455
    },
    {
      "epoch": 46.08,
      "grad_norm": 0.034822020679712296,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3456
    },
    {
      "epoch": 46.093333333333334,
      "grad_norm": 0.1538204550743103,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3457
    },
    {
      "epoch": 46.10666666666667,
      "grad_norm": 0.01831628754734993,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3458
    },
    {
      "epoch": 46.12,
      "grad_norm": 0.5597481727600098,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3459
    },
    {
      "epoch": 46.13333333333333,
      "grad_norm": 1.6055628061294556,
      "learning_rate": 5e-05,
      "loss": 0.0182,
      "step": 3460
    },
    {
      "epoch": 46.14666666666667,
      "grad_norm": 0.07347454130649567,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3461
    },
    {
      "epoch": 46.16,
      "grad_norm": 0.10665290802717209,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3462
    },
    {
      "epoch": 46.17333333333333,
      "grad_norm": 0.5703677535057068,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3463
    },
    {
      "epoch": 46.18666666666667,
      "grad_norm": 0.197377011179924,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3464
    },
    {
      "epoch": 46.2,
      "grad_norm": 0.06918985396623611,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3465
    },
    {
      "epoch": 46.21333333333333,
      "grad_norm": 1.1808048486709595,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3466
    },
    {
      "epoch": 46.22666666666667,
      "grad_norm": 1.6612836122512817,
      "learning_rate": 5e-05,
      "loss": 0.0058,
      "step": 3467
    },
    {
      "epoch": 46.24,
      "grad_norm": 0.13475489616394043,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3468
    },
    {
      "epoch": 46.25333333333333,
      "grad_norm": 0.1873970776796341,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3469
    },
    {
      "epoch": 46.266666666666666,
      "grad_norm": 0.22370114922523499,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3470
    },
    {
      "epoch": 46.28,
      "grad_norm": 0.05816744640469551,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3471
    },
    {
      "epoch": 46.29333333333334,
      "grad_norm": 0.09367994964122772,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3472
    },
    {
      "epoch": 46.306666666666665,
      "grad_norm": 1.6332772970199585,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3473
    },
    {
      "epoch": 46.32,
      "grad_norm": 2.472888469696045,
      "learning_rate": 5e-05,
      "loss": 0.0186,
      "step": 3474
    },
    {
      "epoch": 46.333333333333336,
      "grad_norm": 0.8626495599746704,
      "learning_rate": 5e-05,
      "loss": 0.0034,
      "step": 3475
    },
    {
      "epoch": 46.346666666666664,
      "grad_norm": 0.14497578144073486,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3476
    },
    {
      "epoch": 46.36,
      "grad_norm": 0.9867462515830994,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 3477
    },
    {
      "epoch": 46.373333333333335,
      "grad_norm": 0.8927364945411682,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3478
    },
    {
      "epoch": 46.38666666666666,
      "grad_norm": 0.06016131490468979,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3479
    },
    {
      "epoch": 46.4,
      "grad_norm": 0.07257858663797379,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3480
    },
    {
      "epoch": 46.413333333333334,
      "grad_norm": 0.07041262090206146,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3481
    },
    {
      "epoch": 46.42666666666667,
      "grad_norm": 1.1869596242904663,
      "learning_rate": 5e-05,
      "loss": 0.0131,
      "step": 3482
    },
    {
      "epoch": 46.44,
      "grad_norm": 0.017258737236261368,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3483
    },
    {
      "epoch": 46.45333333333333,
      "grad_norm": 0.08722276240587234,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3484
    },
    {
      "epoch": 46.46666666666667,
      "grad_norm": 0.11016970127820969,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3485
    },
    {
      "epoch": 46.48,
      "grad_norm": 3.1094329357147217,
      "learning_rate": 5e-05,
      "loss": 0.0042,
      "step": 3486
    },
    {
      "epoch": 46.49333333333333,
      "grad_norm": 0.02681649662554264,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3487
    },
    {
      "epoch": 46.50666666666667,
      "grad_norm": 1.6008480787277222,
      "learning_rate": 5e-05,
      "loss": 0.0047,
      "step": 3488
    },
    {
      "epoch": 46.52,
      "grad_norm": 1.965311884880066,
      "learning_rate": 5e-05,
      "loss": 0.0069,
      "step": 3489
    },
    {
      "epoch": 46.53333333333333,
      "grad_norm": 0.06045391038060188,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3490
    },
    {
      "epoch": 46.54666666666667,
      "grad_norm": 0.3890185058116913,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3491
    },
    {
      "epoch": 46.56,
      "grad_norm": 0.17390857636928558,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3492
    },
    {
      "epoch": 46.57333333333333,
      "grad_norm": 0.15532465279102325,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3493
    },
    {
      "epoch": 46.586666666666666,
      "grad_norm": 0.22961197793483734,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3494
    },
    {
      "epoch": 46.6,
      "grad_norm": 0.33045580983161926,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3495
    },
    {
      "epoch": 46.61333333333333,
      "grad_norm": 1.1765432357788086,
      "learning_rate": 5e-05,
      "loss": 0.0038,
      "step": 3496
    },
    {
      "epoch": 46.626666666666665,
      "grad_norm": 1.0058789253234863,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3497
    },
    {
      "epoch": 46.64,
      "grad_norm": 0.20792266726493835,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3498
    },
    {
      "epoch": 46.653333333333336,
      "grad_norm": 1.7278820276260376,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 3499
    },
    {
      "epoch": 46.666666666666664,
      "grad_norm": 0.1543656289577484,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3500
    },
    {
      "epoch": 46.68,
      "grad_norm": 0.08246210962533951,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3501
    },
    {
      "epoch": 46.693333333333335,
      "grad_norm": 0.29808035492897034,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3502
    },
    {
      "epoch": 46.70666666666666,
      "grad_norm": 0.02682039886713028,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3503
    },
    {
      "epoch": 46.72,
      "grad_norm": 0.6789302825927734,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3504
    },
    {
      "epoch": 46.733333333333334,
      "grad_norm": 0.216294527053833,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3505
    },
    {
      "epoch": 46.74666666666667,
      "grad_norm": 0.4409295618534088,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3506
    },
    {
      "epoch": 46.76,
      "grad_norm": 1.1791526079177856,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3507
    },
    {
      "epoch": 46.77333333333333,
      "grad_norm": 0.7393962144851685,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3508
    },
    {
      "epoch": 46.78666666666667,
      "grad_norm": 0.4469348192214966,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3509
    },
    {
      "epoch": 46.8,
      "grad_norm": 2.9886887073516846,
      "learning_rate": 5e-05,
      "loss": 0.0159,
      "step": 3510
    },
    {
      "epoch": 46.81333333333333,
      "grad_norm": 0.054816585034132004,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3511
    },
    {
      "epoch": 46.82666666666667,
      "grad_norm": 3.9943461418151855,
      "learning_rate": 5e-05,
      "loss": 0.014,
      "step": 3512
    },
    {
      "epoch": 46.84,
      "grad_norm": 0.3886817395687103,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3513
    },
    {
      "epoch": 46.85333333333333,
      "grad_norm": 0.08656210452318192,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3514
    },
    {
      "epoch": 46.86666666666667,
      "grad_norm": 0.7050470113754272,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3515
    },
    {
      "epoch": 46.88,
      "grad_norm": 2.185262680053711,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 3516
    },
    {
      "epoch": 46.89333333333333,
      "grad_norm": 0.06602556258440018,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3517
    },
    {
      "epoch": 46.906666666666666,
      "grad_norm": 0.8720542192459106,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3518
    },
    {
      "epoch": 46.92,
      "grad_norm": 0.6566493511199951,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3519
    },
    {
      "epoch": 46.93333333333333,
      "grad_norm": 0.14604978263378143,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3520
    },
    {
      "epoch": 46.946666666666665,
      "grad_norm": 0.13817660510540009,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3521
    },
    {
      "epoch": 46.96,
      "grad_norm": 1.320963978767395,
      "learning_rate": 5e-05,
      "loss": 0.0023,
      "step": 3522
    },
    {
      "epoch": 46.973333333333336,
      "grad_norm": 2.277855396270752,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 3523
    },
    {
      "epoch": 46.986666666666665,
      "grad_norm": 0.08388831466436386,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3524
    },
    {
      "epoch": 47.0,
      "grad_norm": 1.3216426372528076,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3525
    },
    {
      "epoch": 47.013333333333335,
      "grad_norm": 2.425006628036499,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3526
    },
    {
      "epoch": 47.026666666666664,
      "grad_norm": 0.0511656291782856,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3527
    },
    {
      "epoch": 47.04,
      "grad_norm": 0.6154800057411194,
      "learning_rate": 5e-05,
      "loss": 0.0009,
      "step": 3528
    },
    {
      "epoch": 47.053333333333335,
      "grad_norm": 0.041294269263744354,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3529
    },
    {
      "epoch": 47.06666666666667,
      "grad_norm": 0.06687935441732407,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3530
    },
    {
      "epoch": 47.08,
      "grad_norm": 0.15213778614997864,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3531
    },
    {
      "epoch": 47.093333333333334,
      "grad_norm": 0.05731199309229851,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3532
    },
    {
      "epoch": 47.10666666666667,
      "grad_norm": 0.018336983397603035,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3533
    },
    {
      "epoch": 47.12,
      "grad_norm": 0.04371687024831772,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3534
    },
    {
      "epoch": 47.13333333333333,
      "grad_norm": 1.6755071878433228,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 3535
    },
    {
      "epoch": 47.14666666666667,
      "grad_norm": 0.06879045069217682,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3536
    },
    {
      "epoch": 47.16,
      "grad_norm": 0.539378821849823,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3537
    },
    {
      "epoch": 47.17333333333333,
      "grad_norm": 0.3868773579597473,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3538
    },
    {
      "epoch": 47.18666666666667,
      "grad_norm": 0.06786497682332993,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3539
    },
    {
      "epoch": 47.2,
      "grad_norm": 0.042562227696180344,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3540
    },
    {
      "epoch": 47.21333333333333,
      "grad_norm": 0.8225099444389343,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3541
    },
    {
      "epoch": 47.22666666666667,
      "grad_norm": 0.11508297920227051,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3542
    },
    {
      "epoch": 47.24,
      "grad_norm": 0.11293459683656693,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3543
    },
    {
      "epoch": 47.25333333333333,
      "grad_norm": 0.014109508134424686,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3544
    },
    {
      "epoch": 47.266666666666666,
      "grad_norm": 0.019634444266557693,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3545
    },
    {
      "epoch": 47.28,
      "grad_norm": 1.8211872577667236,
      "learning_rate": 5e-05,
      "loss": 0.0118,
      "step": 3546
    },
    {
      "epoch": 47.29333333333334,
      "grad_norm": 0.03777230530977249,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3547
    },
    {
      "epoch": 47.306666666666665,
      "grad_norm": 0.6909416913986206,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3548
    },
    {
      "epoch": 47.32,
      "grad_norm": 0.008472362533211708,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3549
    },
    {
      "epoch": 47.333333333333336,
      "grad_norm": 1.1988810300827026,
      "learning_rate": 5e-05,
      "loss": 0.002,
      "step": 3550
    },
    {
      "epoch": 47.346666666666664,
      "grad_norm": 1.6708667278289795,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 3551
    },
    {
      "epoch": 47.36,
      "grad_norm": 0.09307874739170074,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3552
    },
    {
      "epoch": 47.373333333333335,
      "grad_norm": 2.3464572429656982,
      "learning_rate": 5e-05,
      "loss": 0.0209,
      "step": 3553
    },
    {
      "epoch": 47.38666666666666,
      "grad_norm": 0.05079841613769531,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3554
    },
    {
      "epoch": 47.4,
      "grad_norm": 0.014110296964645386,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3555
    },
    {
      "epoch": 47.413333333333334,
      "grad_norm": 0.8030363917350769,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3556
    },
    {
      "epoch": 47.42666666666667,
      "grad_norm": 0.01974213682115078,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3557
    },
    {
      "epoch": 47.44,
      "grad_norm": 0.10195805132389069,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3558
    },
    {
      "epoch": 47.45333333333333,
      "grad_norm": 0.03605515509843826,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3559
    },
    {
      "epoch": 47.46666666666667,
      "grad_norm": 0.0867268443107605,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3560
    },
    {
      "epoch": 47.48,
      "grad_norm": 0.0398501493036747,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3561
    },
    {
      "epoch": 47.49333333333333,
      "grad_norm": 1.583662986755371,
      "learning_rate": 5e-05,
      "loss": 0.0077,
      "step": 3562
    },
    {
      "epoch": 47.50666666666667,
      "grad_norm": 0.08901184052228928,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3563
    },
    {
      "epoch": 47.52,
      "grad_norm": 0.7002491354942322,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 3564
    },
    {
      "epoch": 47.53333333333333,
      "grad_norm": 0.3453155755996704,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3565
    },
    {
      "epoch": 47.54666666666667,
      "grad_norm": 0.07773400843143463,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3566
    },
    {
      "epoch": 47.56,
      "grad_norm": 0.020384011790156364,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3567
    },
    {
      "epoch": 47.57333333333333,
      "grad_norm": 0.508014440536499,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3568
    },
    {
      "epoch": 47.586666666666666,
      "grad_norm": 0.02536117285490036,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3569
    },
    {
      "epoch": 47.6,
      "grad_norm": 0.21713759005069733,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3570
    },
    {
      "epoch": 47.61333333333333,
      "grad_norm": 1.5083707571029663,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3571
    },
    {
      "epoch": 47.626666666666665,
      "grad_norm": 0.0362960509955883,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3572
    },
    {
      "epoch": 47.64,
      "grad_norm": 0.04954199492931366,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3573
    },
    {
      "epoch": 47.653333333333336,
      "grad_norm": 0.4496828615665436,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3574
    },
    {
      "epoch": 47.666666666666664,
      "grad_norm": 0.25467804074287415,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3575
    },
    {
      "epoch": 47.68,
      "grad_norm": 0.3048292398452759,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3576
    },
    {
      "epoch": 47.693333333333335,
      "grad_norm": 0.08038246631622314,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3577
    },
    {
      "epoch": 47.70666666666666,
      "grad_norm": 0.804084062576294,
      "learning_rate": 5e-05,
      "loss": 0.0022,
      "step": 3578
    },
    {
      "epoch": 47.72,
      "grad_norm": 0.02494294010102749,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3579
    },
    {
      "epoch": 47.733333333333334,
      "grad_norm": 0.056482866406440735,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3580
    },
    {
      "epoch": 47.74666666666667,
      "grad_norm": 1.6077229976654053,
      "learning_rate": 5e-05,
      "loss": 0.0025,
      "step": 3581
    },
    {
      "epoch": 47.76,
      "grad_norm": 0.3921583294868469,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3582
    },
    {
      "epoch": 47.77333333333333,
      "grad_norm": 0.03125053644180298,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3583
    },
    {
      "epoch": 47.78666666666667,
      "grad_norm": 2.8208730220794678,
      "learning_rate": 5e-05,
      "loss": 0.0147,
      "step": 3584
    },
    {
      "epoch": 47.8,
      "grad_norm": 0.05458046495914459,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3585
    },
    {
      "epoch": 47.81333333333333,
      "grad_norm": 0.578628659248352,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3586
    },
    {
      "epoch": 47.82666666666667,
      "grad_norm": 1.0194011926651,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3587
    },
    {
      "epoch": 47.84,
      "grad_norm": 0.09723694622516632,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3588
    },
    {
      "epoch": 47.85333333333333,
      "grad_norm": 0.06700918078422546,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3589
    },
    {
      "epoch": 47.86666666666667,
      "grad_norm": 2.053666591644287,
      "learning_rate": 5e-05,
      "loss": 0.016,
      "step": 3590
    },
    {
      "epoch": 47.88,
      "grad_norm": 1.0873559713363647,
      "learning_rate": 5e-05,
      "loss": 0.0033,
      "step": 3591
    },
    {
      "epoch": 47.89333333333333,
      "grad_norm": 0.0233526099473238,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3592
    },
    {
      "epoch": 47.906666666666666,
      "grad_norm": 0.4956391453742981,
      "learning_rate": 5e-05,
      "loss": 0.0013,
      "step": 3593
    },
    {
      "epoch": 47.92,
      "grad_norm": 0.06604915112257004,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3594
    },
    {
      "epoch": 47.93333333333333,
      "grad_norm": 0.027978938072919846,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3595
    },
    {
      "epoch": 47.946666666666665,
      "grad_norm": 0.0165272057056427,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3596
    },
    {
      "epoch": 47.96,
      "grad_norm": 0.29422727227211,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3597
    },
    {
      "epoch": 47.973333333333336,
      "grad_norm": 0.5777604579925537,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3598
    },
    {
      "epoch": 47.986666666666665,
      "grad_norm": 1.084450364112854,
      "learning_rate": 5e-05,
      "loss": 0.0061,
      "step": 3599
    },
    {
      "epoch": 48.0,
      "grad_norm": 0.47236868739128113,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3600
    },
    {
      "epoch": 48.013333333333335,
      "grad_norm": 0.01571277715265751,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3601
    },
    {
      "epoch": 48.026666666666664,
      "grad_norm": 0.5050113201141357,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3602
    },
    {
      "epoch": 48.04,
      "grad_norm": 0.05367604270577431,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3603
    },
    {
      "epoch": 48.053333333333335,
      "grad_norm": 0.046727560460567474,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3604
    },
    {
      "epoch": 48.06666666666667,
      "grad_norm": 0.4617964029312134,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3605
    },
    {
      "epoch": 48.08,
      "grad_norm": 0.31339550018310547,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3606
    },
    {
      "epoch": 48.093333333333334,
      "grad_norm": 0.031435489654541016,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3607
    },
    {
      "epoch": 48.10666666666667,
      "grad_norm": 0.056497856974601746,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3608
    },
    {
      "epoch": 48.12,
      "grad_norm": 0.015569640323519707,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3609
    },
    {
      "epoch": 48.13333333333333,
      "grad_norm": 0.2148299515247345,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3610
    },
    {
      "epoch": 48.14666666666667,
      "grad_norm": 0.044258665293455124,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3611
    },
    {
      "epoch": 48.16,
      "grad_norm": 0.06992819160223007,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3612
    },
    {
      "epoch": 48.17333333333333,
      "grad_norm": 0.015018044970929623,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3613
    },
    {
      "epoch": 48.18666666666667,
      "grad_norm": 0.01627003587782383,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3614
    },
    {
      "epoch": 48.2,
      "grad_norm": 1.8479288816452026,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 3615
    },
    {
      "epoch": 48.21333333333333,
      "grad_norm": 2.568713426589966,
      "learning_rate": 5e-05,
      "loss": 0.004,
      "step": 3616
    },
    {
      "epoch": 48.22666666666667,
      "grad_norm": 2.3462448120117188,
      "learning_rate": 5e-05,
      "loss": 0.012,
      "step": 3617
    },
    {
      "epoch": 48.24,
      "grad_norm": 0.07180709391832352,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3618
    },
    {
      "epoch": 48.25333333333333,
      "grad_norm": 0.1250942349433899,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3619
    },
    {
      "epoch": 48.266666666666666,
      "grad_norm": 0.8225361108779907,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 3620
    },
    {
      "epoch": 48.28,
      "grad_norm": 0.03599823638796806,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3621
    },
    {
      "epoch": 48.29333333333334,
      "grad_norm": 0.027206499129533768,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3622
    },
    {
      "epoch": 48.306666666666665,
      "grad_norm": 0.05945591256022453,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3623
    },
    {
      "epoch": 48.32,
      "grad_norm": 0.03117288462817669,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3624
    },
    {
      "epoch": 48.333333333333336,
      "grad_norm": 0.07328169047832489,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3625
    },
    {
      "epoch": 48.346666666666664,
      "grad_norm": 0.07542893290519714,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3626
    },
    {
      "epoch": 48.36,
      "grad_norm": 0.4581824839115143,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3627
    },
    {
      "epoch": 48.373333333333335,
      "grad_norm": 0.03846178576350212,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3628
    },
    {
      "epoch": 48.38666666666666,
      "grad_norm": 1.3039393424987793,
      "learning_rate": 5e-05,
      "loss": 0.0048,
      "step": 3629
    },
    {
      "epoch": 48.4,
      "grad_norm": 0.06615133583545685,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3630
    },
    {
      "epoch": 48.413333333333334,
      "grad_norm": 0.03151891753077507,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3631
    },
    {
      "epoch": 48.42666666666667,
      "grad_norm": 0.1907861828804016,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3632
    },
    {
      "epoch": 48.44,
      "grad_norm": 0.042100269347429276,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3633
    },
    {
      "epoch": 48.45333333333333,
      "grad_norm": 0.010786614380776882,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3634
    },
    {
      "epoch": 48.46666666666667,
      "grad_norm": 0.01230709720402956,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3635
    },
    {
      "epoch": 48.48,
      "grad_norm": 0.20875747501850128,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3636
    },
    {
      "epoch": 48.49333333333333,
      "grad_norm": 0.040705606341362,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3637
    },
    {
      "epoch": 48.50666666666667,
      "grad_norm": 1.169566035270691,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3638
    },
    {
      "epoch": 48.52,
      "grad_norm": 0.015601611696183681,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3639
    },
    {
      "epoch": 48.53333333333333,
      "grad_norm": 0.5971507430076599,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3640
    },
    {
      "epoch": 48.54666666666667,
      "grad_norm": 0.631751537322998,
      "learning_rate": 5e-05,
      "loss": 0.0008,
      "step": 3641
    },
    {
      "epoch": 48.56,
      "grad_norm": 1.5378409624099731,
      "learning_rate": 5e-05,
      "loss": 0.0019,
      "step": 3642
    },
    {
      "epoch": 48.57333333333333,
      "grad_norm": 0.04595097899436951,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3643
    },
    {
      "epoch": 48.586666666666666,
      "grad_norm": 0.03903929889202118,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3644
    },
    {
      "epoch": 48.6,
      "grad_norm": 0.23047485947608948,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3645
    },
    {
      "epoch": 48.61333333333333,
      "grad_norm": 0.018025413155555725,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3646
    },
    {
      "epoch": 48.626666666666665,
      "grad_norm": 0.2890947759151459,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3647
    },
    {
      "epoch": 48.64,
      "grad_norm": 0.44014933705329895,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3648
    },
    {
      "epoch": 48.653333333333336,
      "grad_norm": 0.08327123522758484,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3649
    },
    {
      "epoch": 48.666666666666664,
      "grad_norm": 0.009343056008219719,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3650
    },
    {
      "epoch": 48.68,
      "grad_norm": 0.1751646250486374,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3651
    },
    {
      "epoch": 48.693333333333335,
      "grad_norm": 0.02784280851483345,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3652
    },
    {
      "epoch": 48.70666666666666,
      "grad_norm": 0.013565714471042156,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3653
    },
    {
      "epoch": 48.72,
      "grad_norm": 0.6652625799179077,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3654
    },
    {
      "epoch": 48.733333333333334,
      "grad_norm": 1.8262765407562256,
      "learning_rate": 5e-05,
      "loss": 0.0126,
      "step": 3655
    },
    {
      "epoch": 48.74666666666667,
      "grad_norm": 0.4120528995990753,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3656
    },
    {
      "epoch": 48.76,
      "grad_norm": 0.14046554267406464,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3657
    },
    {
      "epoch": 48.77333333333333,
      "grad_norm": 0.12191057950258255,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3658
    },
    {
      "epoch": 48.78666666666667,
      "grad_norm": 0.03038875013589859,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3659
    },
    {
      "epoch": 48.8,
      "grad_norm": 1.6872817277908325,
      "learning_rate": 5e-05,
      "loss": 0.0104,
      "step": 3660
    },
    {
      "epoch": 48.81333333333333,
      "grad_norm": 0.8915730714797974,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3661
    },
    {
      "epoch": 48.82666666666667,
      "grad_norm": 0.14989334344863892,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3662
    },
    {
      "epoch": 48.84,
      "grad_norm": 0.4730905294418335,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3663
    },
    {
      "epoch": 48.85333333333333,
      "grad_norm": 0.019444050267338753,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3664
    },
    {
      "epoch": 48.86666666666667,
      "grad_norm": 0.3056243062019348,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3665
    },
    {
      "epoch": 48.88,
      "grad_norm": 0.597764790058136,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3666
    },
    {
      "epoch": 48.89333333333333,
      "grad_norm": 0.5695730447769165,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3667
    },
    {
      "epoch": 48.906666666666666,
      "grad_norm": 0.06771204620599747,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3668
    },
    {
      "epoch": 48.92,
      "grad_norm": 0.037845443934202194,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3669
    },
    {
      "epoch": 48.93333333333333,
      "grad_norm": 2.519831657409668,
      "learning_rate": 5e-05,
      "loss": 0.0127,
      "step": 3670
    },
    {
      "epoch": 48.946666666666665,
      "grad_norm": 0.014873085543513298,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3671
    },
    {
      "epoch": 48.96,
      "grad_norm": 0.10219118744134903,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3672
    },
    {
      "epoch": 48.973333333333336,
      "grad_norm": 0.03285450115799904,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3673
    },
    {
      "epoch": 48.986666666666665,
      "grad_norm": 1.238933801651001,
      "learning_rate": 5e-05,
      "loss": 0.0017,
      "step": 3674
    },
    {
      "epoch": 49.0,
      "grad_norm": 0.8514717221260071,
      "learning_rate": 5e-05,
      "loss": 0.0064,
      "step": 3675
    },
    {
      "epoch": 49.013333333333335,
      "grad_norm": 0.15925796329975128,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3676
    },
    {
      "epoch": 49.026666666666664,
      "grad_norm": 0.047366801649332047,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3677
    },
    {
      "epoch": 49.04,
      "grad_norm": 0.21765142679214478,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3678
    },
    {
      "epoch": 49.053333333333335,
      "grad_norm": 0.48852381110191345,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3679
    },
    {
      "epoch": 49.06666666666667,
      "grad_norm": 2.7433314323425293,
      "learning_rate": 5e-05,
      "loss": 0.0082,
      "step": 3680
    },
    {
      "epoch": 49.08,
      "grad_norm": 1.4004812240600586,
      "learning_rate": 5e-05,
      "loss": 0.0018,
      "step": 3681
    },
    {
      "epoch": 49.093333333333334,
      "grad_norm": 0.01568448916077614,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3682
    },
    {
      "epoch": 49.10666666666667,
      "grad_norm": 1.1489371061325073,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3683
    },
    {
      "epoch": 49.12,
      "grad_norm": 0.9888437986373901,
      "learning_rate": 5e-05,
      "loss": 0.0028,
      "step": 3684
    },
    {
      "epoch": 49.13333333333333,
      "grad_norm": 0.012356763705611229,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3685
    },
    {
      "epoch": 49.14666666666667,
      "grad_norm": 1.8191502094268799,
      "learning_rate": 5e-05,
      "loss": 0.0104,
      "step": 3686
    },
    {
      "epoch": 49.16,
      "grad_norm": 0.012061065062880516,
      "learning_rate": 5e-05,
      "loss": 0.0,
      "step": 3687
    },
    {
      "epoch": 49.17333333333333,
      "grad_norm": 1.3630335330963135,
      "learning_rate": 5e-05,
      "loss": 0.0046,
      "step": 3688
    },
    {
      "epoch": 49.18666666666667,
      "grad_norm": 0.06308045238256454,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3689
    },
    {
      "epoch": 49.2,
      "grad_norm": 0.8837246298789978,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3690
    },
    {
      "epoch": 49.21333333333333,
      "grad_norm": 1.498623013496399,
      "learning_rate": 5e-05,
      "loss": 0.01,
      "step": 3691
    },
    {
      "epoch": 49.22666666666667,
      "grad_norm": 0.13572774827480316,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3692
    },
    {
      "epoch": 49.24,
      "grad_norm": 0.39970824122428894,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3693
    },
    {
      "epoch": 49.25333333333333,
      "grad_norm": 2.3690383434295654,
      "learning_rate": 5e-05,
      "loss": 0.0056,
      "step": 3694
    },
    {
      "epoch": 49.266666666666666,
      "grad_norm": 0.31930744647979736,
      "learning_rate": 5e-05,
      "loss": 0.001,
      "step": 3695
    },
    {
      "epoch": 49.28,
      "grad_norm": 0.1589266061782837,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3696
    },
    {
      "epoch": 49.29333333333334,
      "grad_norm": 0.08380543440580368,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3697
    },
    {
      "epoch": 49.306666666666665,
      "grad_norm": 0.8488297462463379,
      "learning_rate": 5e-05,
      "loss": 0.0024,
      "step": 3698
    },
    {
      "epoch": 49.32,
      "grad_norm": 2.4309208393096924,
      "learning_rate": 5e-05,
      "loss": 0.0272,
      "step": 3699
    },
    {
      "epoch": 49.333333333333336,
      "grad_norm": 4.078642845153809,
      "learning_rate": 5e-05,
      "loss": 0.0177,
      "step": 3700
    },
    {
      "epoch": 49.346666666666664,
      "grad_norm": 0.052576445043087006,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3701
    },
    {
      "epoch": 49.36,
      "grad_norm": 0.030839314684271812,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3702
    },
    {
      "epoch": 49.373333333333335,
      "grad_norm": 0.6208991408348083,
      "learning_rate": 5e-05,
      "loss": 0.0015,
      "step": 3703
    },
    {
      "epoch": 49.38666666666666,
      "grad_norm": 0.09667704254388809,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3704
    },
    {
      "epoch": 49.4,
      "grad_norm": 0.09976232051849365,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3705
    },
    {
      "epoch": 49.413333333333334,
      "grad_norm": 0.41064581274986267,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3706
    },
    {
      "epoch": 49.42666666666667,
      "grad_norm": 3.133563995361328,
      "learning_rate": 5e-05,
      "loss": 0.006,
      "step": 3707
    },
    {
      "epoch": 49.44,
      "grad_norm": 0.12508662045001984,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3708
    },
    {
      "epoch": 49.45333333333333,
      "grad_norm": 0.07048720866441727,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3709
    },
    {
      "epoch": 49.46666666666667,
      "grad_norm": 1.2311371564865112,
      "learning_rate": 5e-05,
      "loss": 0.005,
      "step": 3710
    },
    {
      "epoch": 49.48,
      "grad_norm": 0.017645111307501793,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3711
    },
    {
      "epoch": 49.49333333333333,
      "grad_norm": 1.3845652341842651,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3712
    },
    {
      "epoch": 49.50666666666667,
      "grad_norm": 1.6590430736541748,
      "learning_rate": 5e-05,
      "loss": 0.0088,
      "step": 3713
    },
    {
      "epoch": 49.52,
      "grad_norm": 0.8109446167945862,
      "learning_rate": 5e-05,
      "loss": 0.0029,
      "step": 3714
    },
    {
      "epoch": 49.53333333333333,
      "grad_norm": 1.096614122390747,
      "learning_rate": 5e-05,
      "loss": 0.0084,
      "step": 3715
    },
    {
      "epoch": 49.54666666666667,
      "grad_norm": 0.11287902295589447,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3716
    },
    {
      "epoch": 49.56,
      "grad_norm": 0.09406508505344391,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3717
    },
    {
      "epoch": 49.57333333333333,
      "grad_norm": 2.4214589595794678,
      "learning_rate": 5e-05,
      "loss": 0.0097,
      "step": 3718
    },
    {
      "epoch": 49.586666666666666,
      "grad_norm": 0.2934461832046509,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3719
    },
    {
      "epoch": 49.6,
      "grad_norm": 0.2777223289012909,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3720
    },
    {
      "epoch": 49.61333333333333,
      "grad_norm": 0.25561007857322693,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3721
    },
    {
      "epoch": 49.626666666666665,
      "grad_norm": 0.5384796857833862,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3722
    },
    {
      "epoch": 49.64,
      "grad_norm": 0.10363531112670898,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3723
    },
    {
      "epoch": 49.653333333333336,
      "grad_norm": 0.15150919556617737,
      "learning_rate": 5e-05,
      "loss": 0.0005,
      "step": 3724
    },
    {
      "epoch": 49.666666666666664,
      "grad_norm": 0.4007740616798401,
      "learning_rate": 5e-05,
      "loss": 0.0006,
      "step": 3725
    },
    {
      "epoch": 49.68,
      "grad_norm": 0.07197070866823196,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3726
    },
    {
      "epoch": 49.693333333333335,
      "grad_norm": 0.30088090896606445,
      "learning_rate": 5e-05,
      "loss": 0.0011,
      "step": 3727
    },
    {
      "epoch": 49.70666666666666,
      "grad_norm": 0.13701561093330383,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3728
    },
    {
      "epoch": 49.72,
      "grad_norm": 1.3177770376205444,
      "learning_rate": 5e-05,
      "loss": 0.0036,
      "step": 3729
    },
    {
      "epoch": 49.733333333333334,
      "grad_norm": 0.6140894293785095,
      "learning_rate": 5e-05,
      "loss": 0.0053,
      "step": 3730
    },
    {
      "epoch": 49.74666666666667,
      "grad_norm": 0.05606221407651901,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3731
    },
    {
      "epoch": 49.76,
      "grad_norm": 0.6792832016944885,
      "learning_rate": 5e-05,
      "loss": 0.003,
      "step": 3732
    },
    {
      "epoch": 49.77333333333333,
      "grad_norm": 0.6515985131263733,
      "learning_rate": 5e-05,
      "loss": 0.0026,
      "step": 3733
    },
    {
      "epoch": 49.78666666666667,
      "grad_norm": 0.9798668622970581,
      "learning_rate": 5e-05,
      "loss": 0.0016,
      "step": 3734
    },
    {
      "epoch": 49.8,
      "grad_norm": 0.4023344814777374,
      "learning_rate": 5e-05,
      "loss": 0.0012,
      "step": 3735
    },
    {
      "epoch": 49.81333333333333,
      "grad_norm": 0.1501217782497406,
      "learning_rate": 5e-05,
      "loss": 0.0004,
      "step": 3736
    },
    {
      "epoch": 49.82666666666667,
      "grad_norm": 0.09567907452583313,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3737
    },
    {
      "epoch": 49.84,
      "grad_norm": 0.06064581498503685,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3738
    },
    {
      "epoch": 49.85333333333333,
      "grad_norm": 0.27468639612197876,
      "learning_rate": 5e-05,
      "loss": 0.0007,
      "step": 3739
    },
    {
      "epoch": 49.86666666666667,
      "grad_norm": 0.6269971132278442,
      "learning_rate": 5e-05,
      "loss": 0.0021,
      "step": 3740
    },
    {
      "epoch": 49.88,
      "grad_norm": 0.13605627417564392,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3741
    },
    {
      "epoch": 49.89333333333333,
      "grad_norm": 0.04833316430449486,
      "learning_rate": 5e-05,
      "loss": 0.0002,
      "step": 3742
    },
    {
      "epoch": 49.906666666666666,
      "grad_norm": 2.073427677154541,
      "learning_rate": 5e-05,
      "loss": 0.0087,
      "step": 3743
    },
    {
      "epoch": 49.92,
      "grad_norm": 0.11037302762269974,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3744
    },
    {
      "epoch": 49.93333333333333,
      "grad_norm": 0.19461962580680847,
      "learning_rate": 5e-05,
      "loss": 0.0003,
      "step": 3745
    },
    {
      "epoch": 49.946666666666665,
      "grad_norm": 0.03453030437231064,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3746
    },
    {
      "epoch": 49.96,
      "grad_norm": 1.0093978643417358,
      "learning_rate": 5e-05,
      "loss": 0.0071,
      "step": 3747
    },
    {
      "epoch": 49.973333333333336,
      "grad_norm": 0.04130095988512039,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3748
    },
    {
      "epoch": 49.986666666666665,
      "grad_norm": 0.04559515416622162,
      "learning_rate": 5e-05,
      "loss": 0.0001,
      "step": 3749
    },
    {
      "epoch": 50.0,
      "grad_norm": 0.406473845243454,
      "learning_rate": 5e-05,
      "loss": 0.0014,
      "step": 3750
    },
    {
      "epoch": 50.0,
      "step": 3750,
      "total_flos": 4.538871076481925e+17,
      "train_loss": 0.02668233241593795,
      "train_runtime": 9724.6757,
      "train_samples_per_second": 1.542,
      "train_steps_per_second": 0.386
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 3750,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 50,
  "save_steps": 500,
  "total_flos": 4.538871076481925e+17,
  "train_batch_size": 1,
  "trial_name": null,
  "trial_params": null
}