{
  "best_global_step": 6000,
  "best_metric": 1.8343037366867065,
  "best_model_checkpoint": "outputs/checkpoint-6000",
  "epoch": 0.26666666666666666,
  "eval_steps": 300,
  "global_step": 6000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.00022222222222222223,
      "grad_norm": 6.344844818115234,
      "learning_rate": 8.88888888888889e-08,
      "loss": 3.8912,
      "step": 5
    },
    {
      "epoch": 0.00044444444444444447,
      "grad_norm": 10.219792366027832,
      "learning_rate": 2.0000000000000002e-07,
      "loss": 4.0951,
      "step": 10
    },
    {
      "epoch": 0.0006666666666666666,
      "grad_norm": 9.86119556427002,
      "learning_rate": 3.111111111111111e-07,
      "loss": 3.7389,
      "step": 15
    },
    {
      "epoch": 0.0008888888888888889,
      "grad_norm": 12.66784381866455,
      "learning_rate": 4.222222222222222e-07,
      "loss": 3.7937,
      "step": 20
    },
    {
      "epoch": 0.0011111111111111111,
      "grad_norm": 12.37441349029541,
      "learning_rate": 5.333333333333333e-07,
      "loss": 4.2985,
      "step": 25
    },
    {
      "epoch": 0.0013333333333333333,
      "grad_norm": 10.327600479125977,
      "learning_rate": 6.444444444444444e-07,
      "loss": 4.0805,
      "step": 30
    },
    {
      "epoch": 0.0015555555555555555,
      "grad_norm": 10.308342933654785,
      "learning_rate": 7.555555555555556e-07,
      "loss": 3.932,
      "step": 35
    },
    {
      "epoch": 0.0017777777777777779,
      "grad_norm": 8.040725708007812,
      "learning_rate": 8.666666666666667e-07,
      "loss": 4.0376,
      "step": 40
    },
    {
      "epoch": 0.002,
      "grad_norm": 7.767608165740967,
      "learning_rate": 9.777777777777778e-07,
      "loss": 4.2005,
      "step": 45
    },
    {
      "epoch": 0.0022222222222222222,
      "grad_norm": 11.157668113708496,
      "learning_rate": 1.0888888888888889e-06,
      "loss": 4.1091,
      "step": 50
    },
    {
      "epoch": 0.0024444444444444444,
      "grad_norm": 7.708156108856201,
      "learning_rate": 1.2000000000000002e-06,
      "loss": 3.5297,
      "step": 55
    },
    {
      "epoch": 0.0026666666666666666,
      "grad_norm": 11.009324073791504,
      "learning_rate": 1.3111111111111112e-06,
      "loss": 3.927,
      "step": 60
    },
    {
      "epoch": 0.0028888888888888888,
      "grad_norm": 8.163405418395996,
      "learning_rate": 1.4222222222222223e-06,
      "loss": 3.8446,
      "step": 65
    },
    {
      "epoch": 0.003111111111111111,
      "grad_norm": 7.284047603607178,
      "learning_rate": 1.5333333333333334e-06,
      "loss": 3.8862,
      "step": 70
    },
    {
      "epoch": 0.0033333333333333335,
      "grad_norm": 7.508033752441406,
      "learning_rate": 1.6444444444444447e-06,
      "loss": 3.749,
      "step": 75
    },
    {
      "epoch": 0.0035555555555555557,
      "grad_norm": 11.52286434173584,
      "learning_rate": 1.7555555555555558e-06,
      "loss": 3.7965,
      "step": 80
    },
    {
      "epoch": 0.003777777777777778,
      "grad_norm": 14.203084945678711,
      "learning_rate": 1.8666666666666669e-06,
      "loss": 4.1951,
      "step": 85
    },
    {
      "epoch": 0.004,
      "grad_norm": 6.662874221801758,
      "learning_rate": 1.9777777777777775e-06,
      "loss": 3.2254,
      "step": 90
    },
    {
      "epoch": 0.004222222222222222,
      "grad_norm": 7.805052280426025,
      "learning_rate": 2.088888888888889e-06,
      "loss": 3.9123,
      "step": 95
    },
    {
      "epoch": 0.0044444444444444444,
      "grad_norm": 9.289763450622559,
      "learning_rate": 2.2e-06,
      "loss": 3.8455,
      "step": 100
    },
    {
      "epoch": 0.004666666666666667,
      "grad_norm": 8.41050910949707,
      "learning_rate": 2.311111111111111e-06,
      "loss": 3.5809,
      "step": 105
    },
    {
      "epoch": 0.004888888888888889,
      "grad_norm": 6.5607194900512695,
      "learning_rate": 2.4222222222222223e-06,
      "loss": 3.6663,
      "step": 110
    },
    {
      "epoch": 0.005111111111111111,
      "grad_norm": 2.8974788188934326,
      "learning_rate": 2.5333333333333334e-06,
      "loss": 3.4141,
      "step": 115
    },
    {
      "epoch": 0.005333333333333333,
      "grad_norm": 13.53911304473877,
      "learning_rate": 2.6444444444444444e-06,
      "loss": 3.6122,
      "step": 120
    },
    {
      "epoch": 0.005555555555555556,
      "grad_norm": 12.277505874633789,
      "learning_rate": 2.7555555555555555e-06,
      "loss": 3.4601,
      "step": 125
    },
    {
      "epoch": 0.0057777777777777775,
      "grad_norm": 5.336562156677246,
      "learning_rate": 2.8666666666666666e-06,
      "loss": 3.0845,
      "step": 130
    },
    {
      "epoch": 0.006,
      "grad_norm": 8.763041496276855,
      "learning_rate": 2.977777777777778e-06,
      "loss": 3.6673,
      "step": 135
    },
    {
      "epoch": 0.006222222222222222,
      "grad_norm": 5.4279680252075195,
      "learning_rate": 3.088888888888889e-06,
      "loss": 3.2633,
      "step": 140
    },
    {
      "epoch": 0.0064444444444444445,
      "grad_norm": 6.147117614746094,
      "learning_rate": 3.2000000000000003e-06,
      "loss": 3.2528,
      "step": 145
    },
    {
      "epoch": 0.006666666666666667,
      "grad_norm": 4.124385356903076,
      "learning_rate": 3.3111111111111114e-06,
      "loss": 2.7949,
      "step": 150
    },
    {
      "epoch": 0.006888888888888889,
      "grad_norm": 5.662855625152588,
      "learning_rate": 3.4222222222222224e-06,
      "loss": 3.1645,
      "step": 155
    },
    {
      "epoch": 0.0071111111111111115,
      "grad_norm": 5.355251312255859,
      "learning_rate": 3.5333333333333335e-06,
      "loss": 3.2165,
      "step": 160
    },
    {
      "epoch": 0.007333333333333333,
      "grad_norm": 5.740970134735107,
      "learning_rate": 3.6444444444444446e-06,
      "loss": 3.0889,
      "step": 165
    },
    {
      "epoch": 0.007555555555555556,
      "grad_norm": 4.96527624130249,
      "learning_rate": 3.755555555555556e-06,
      "loss": 3.1546,
      "step": 170
    },
    {
      "epoch": 0.0077777777777777776,
      "grad_norm": 4.736088275909424,
      "learning_rate": 3.866666666666667e-06,
      "loss": 3.1201,
      "step": 175
    },
    {
      "epoch": 0.008,
      "grad_norm": 6.0325703620910645,
      "learning_rate": 3.977777777777778e-06,
      "loss": 2.8611,
      "step": 180
    },
    {
      "epoch": 0.008222222222222223,
      "grad_norm": 3.0293924808502197,
      "learning_rate": 4.088888888888889e-06,
      "loss": 2.8221,
      "step": 185
    },
    {
      "epoch": 0.008444444444444444,
      "grad_norm": 5.00014591217041,
      "learning_rate": 4.2000000000000004e-06,
      "loss": 3.0864,
      "step": 190
    },
    {
      "epoch": 0.008666666666666666,
      "grad_norm": 4.158146858215332,
      "learning_rate": 4.3111111111111115e-06,
      "loss": 3.347,
      "step": 195
    },
    {
      "epoch": 0.008888888888888889,
      "grad_norm": 4.4262003898620605,
      "learning_rate": 4.422222222222223e-06,
      "loss": 3.2125,
      "step": 200
    },
    {
      "epoch": 0.009111111111111111,
      "grad_norm": 4.212845802307129,
      "learning_rate": 4.533333333333334e-06,
      "loss": 3.1072,
      "step": 205
    },
    {
      "epoch": 0.009333333333333334,
      "grad_norm": 5.176687240600586,
      "learning_rate": 4.644444444444444e-06,
      "loss": 2.7431,
      "step": 210
    },
    {
      "epoch": 0.009555555555555555,
      "grad_norm": 4.628310680389404,
      "learning_rate": 4.755555555555556e-06,
      "loss": 3.0751,
      "step": 215
    },
    {
      "epoch": 0.009777777777777778,
      "grad_norm": 5.556001663208008,
      "learning_rate": 4.866666666666667e-06,
      "loss": 2.8081,
      "step": 220
    },
    {
      "epoch": 0.01,
      "grad_norm": 3.2706360816955566,
      "learning_rate": 4.977777777777778e-06,
      "loss": 2.908,
      "step": 225
    },
    {
      "epoch": 0.010222222222222223,
      "grad_norm": 3.099757432937622,
      "learning_rate": 5.088888888888889e-06,
      "loss": 2.7261,
      "step": 230
    },
    {
      "epoch": 0.010444444444444444,
      "grad_norm": 4.776375770568848,
      "learning_rate": 5.2e-06,
      "loss": 3.0838,
      "step": 235
    },
    {
      "epoch": 0.010666666666666666,
      "grad_norm": 3.3333146572113037,
      "learning_rate": 5.311111111111111e-06,
      "loss": 2.9019,
      "step": 240
    },
    {
      "epoch": 0.010888888888888889,
      "grad_norm": 2.8973817825317383,
      "learning_rate": 5.422222222222222e-06,
      "loss": 3.0341,
      "step": 245
    },
    {
      "epoch": 0.011111111111111112,
      "grad_norm": 3.426558494567871,
      "learning_rate": 5.5333333333333334e-06,
      "loss": 3.127,
      "step": 250
    },
    {
      "epoch": 0.011333333333333334,
      "grad_norm": 2.8902790546417236,
      "learning_rate": 5.6444444444444445e-06,
      "loss": 2.7675,
      "step": 255
    },
    {
      "epoch": 0.011555555555555555,
      "grad_norm": 2.9996888637542725,
      "learning_rate": 5.755555555555556e-06,
      "loss": 2.9284,
      "step": 260
    },
    {
      "epoch": 0.011777777777777778,
      "grad_norm": 4.050363063812256,
      "learning_rate": 5.866666666666667e-06,
      "loss": 2.9597,
      "step": 265
    },
    {
      "epoch": 0.012,
      "grad_norm": 5.057988166809082,
      "learning_rate": 5.977777777777778e-06,
      "loss": 2.756,
      "step": 270
    },
    {
      "epoch": 0.012222222222222223,
      "grad_norm": 3.447948455810547,
      "learning_rate": 6.088888888888889e-06,
      "loss": 2.9014,
      "step": 275
    },
    {
      "epoch": 0.012444444444444444,
      "grad_norm": 2.521477460861206,
      "learning_rate": 6.2e-06,
      "loss": 3.0721,
      "step": 280
    },
    {
      "epoch": 0.012666666666666666,
      "grad_norm": 4.991641998291016,
      "learning_rate": 6.311111111111112e-06,
      "loss": 2.5865,
      "step": 285
    },
    {
      "epoch": 0.012888888888888889,
      "grad_norm": 4.313478946685791,
      "learning_rate": 6.422222222222223e-06,
      "loss": 2.7815,
      "step": 290
    },
    {
      "epoch": 0.013111111111111112,
      "grad_norm": 5.765913963317871,
      "learning_rate": 6.533333333333333e-06,
      "loss": 2.856,
      "step": 295
    },
    {
      "epoch": 0.013333333333333334,
      "grad_norm": 3.3221609592437744,
      "learning_rate": 6.644444444444445e-06,
      "loss": 2.6985,
      "step": 300
    },
    {
      "epoch": 0.013333333333333334,
      "eval_loss": 2.7384567260742188,
      "eval_runtime": 133.4381,
      "eval_samples_per_second": 14.988,
      "eval_steps_per_second": 3.747,
      "step": 300
    },
    {
      "epoch": 0.013555555555555555,
      "grad_norm": 4.676116943359375,
      "learning_rate": 6.755555555555555e-06,
      "loss": 2.7582,
      "step": 305
    },
    {
      "epoch": 0.013777777777777778,
      "grad_norm": 3.3844101428985596,
      "learning_rate": 6.866666666666667e-06,
      "loss": 2.6791,
      "step": 310
    },
    {
      "epoch": 0.014,
      "grad_norm": 2.7353014945983887,
      "learning_rate": 6.9777777777777775e-06,
      "loss": 2.7112,
      "step": 315
    },
    {
      "epoch": 0.014222222222222223,
      "grad_norm": 3.455840826034546,
      "learning_rate": 7.0888888888888894e-06,
      "loss": 2.7043,
      "step": 320
    },
    {
      "epoch": 0.014444444444444444,
      "grad_norm": 3.099796772003174,
      "learning_rate": 7.2e-06,
      "loss": 2.561,
      "step": 325
    },
    {
      "epoch": 0.014666666666666666,
      "grad_norm": 4.880616188049316,
      "learning_rate": 7.311111111111112e-06,
      "loss": 2.4774,
      "step": 330
    },
    {
      "epoch": 0.014888888888888889,
      "grad_norm": 2.7418410778045654,
      "learning_rate": 7.422222222222222e-06,
      "loss": 2.838,
      "step": 335
    },
    {
      "epoch": 0.015111111111111112,
      "grad_norm": 3.3508975505828857,
      "learning_rate": 7.533333333333334e-06,
      "loss": 2.4214,
      "step": 340
    },
    {
      "epoch": 0.015333333333333332,
      "grad_norm": 3.7632625102996826,
      "learning_rate": 7.644444444444445e-06,
      "loss": 2.7262,
      "step": 345
    },
    {
      "epoch": 0.015555555555555555,
      "grad_norm": 2.91072154045105,
      "learning_rate": 7.755555555555557e-06,
      "loss": 2.5733,
      "step": 350
    },
    {
      "epoch": 0.01577777777777778,
      "grad_norm": 6.32914924621582,
      "learning_rate": 7.866666666666667e-06,
      "loss": 2.6824,
      "step": 355
    },
    {
      "epoch": 0.016,
      "grad_norm": 2.036541223526001,
      "learning_rate": 7.977777777777779e-06,
      "loss": 2.7623,
      "step": 360
    },
    {
      "epoch": 0.01622222222222222,
      "grad_norm": 3.0926406383514404,
      "learning_rate": 8.08888888888889e-06,
      "loss": 2.6621,
      "step": 365
    },
    {
      "epoch": 0.016444444444444446,
      "grad_norm": 2.8233540058135986,
      "learning_rate": 8.200000000000001e-06,
      "loss": 2.7963,
      "step": 370
    },
    {
      "epoch": 0.016666666666666666,
      "grad_norm": 5.297996520996094,
      "learning_rate": 8.311111111111111e-06,
      "loss": 2.478,
      "step": 375
    },
    {
      "epoch": 0.016888888888888887,
      "grad_norm": 2.94858980178833,
      "learning_rate": 8.422222222222223e-06,
      "loss": 2.7915,
      "step": 380
    },
    {
      "epoch": 0.01711111111111111,
      "grad_norm": 3.2107338905334473,
      "learning_rate": 8.533333333333334e-06,
      "loss": 2.5525,
      "step": 385
    },
    {
      "epoch": 0.017333333333333333,
      "grad_norm": 2.8194403648376465,
      "learning_rate": 8.644444444444445e-06,
      "loss": 2.8078,
      "step": 390
    },
    {
      "epoch": 0.017555555555555557,
      "grad_norm": 3.4428091049194336,
      "learning_rate": 8.755555555555556e-06,
      "loss": 2.6341,
      "step": 395
    },
    {
      "epoch": 0.017777777777777778,
      "grad_norm": 3.4401333332061768,
      "learning_rate": 8.866666666666668e-06,
      "loss": 2.4744,
      "step": 400
    },
    {
      "epoch": 0.018,
      "grad_norm": 4.443613529205322,
      "learning_rate": 8.977777777777778e-06,
      "loss": 2.3644,
      "step": 405
    },
    {
      "epoch": 0.018222222222222223,
      "grad_norm": 2.7666146755218506,
      "learning_rate": 9.08888888888889e-06,
      "loss": 2.4375,
      "step": 410
    },
    {
      "epoch": 0.018444444444444444,
      "grad_norm": 5.183053493499756,
      "learning_rate": 9.2e-06,
      "loss": 2.6171,
      "step": 415
    },
    {
      "epoch": 0.018666666666666668,
      "grad_norm": 1.7841767072677612,
      "learning_rate": 9.311111111111112e-06,
      "loss": 2.4401,
      "step": 420
    },
    {
      "epoch": 0.01888888888888889,
      "grad_norm": 4.918925762176514,
      "learning_rate": 9.422222222222222e-06,
      "loss": 2.0619,
      "step": 425
    },
    {
      "epoch": 0.01911111111111111,
      "grad_norm": 4.801138877868652,
      "learning_rate": 9.533333333333334e-06,
      "loss": 2.5435,
      "step": 430
    },
    {
      "epoch": 0.019333333333333334,
      "grad_norm": 4.211996078491211,
      "learning_rate": 9.644444444444444e-06,
      "loss": 2.1533,
      "step": 435
    },
    {
      "epoch": 0.019555555555555555,
      "grad_norm": 3.5905158519744873,
      "learning_rate": 9.755555555555556e-06,
      "loss": 2.6095,
      "step": 440
    },
    {
      "epoch": 0.019777777777777776,
      "grad_norm": 3.2211239337921143,
      "learning_rate": 9.866666666666667e-06,
      "loss": 2.2446,
      "step": 445
    },
    {
      "epoch": 0.02,
      "grad_norm": 3.005544900894165,
      "learning_rate": 9.977777777777778e-06,
      "loss": 2.3948,
      "step": 450
    },
    {
      "epoch": 0.02022222222222222,
      "grad_norm": 2.677239179611206,
      "learning_rate": 1.0088888888888889e-05,
      "loss": 2.8408,
      "step": 455
    },
    {
      "epoch": 0.020444444444444446,
      "grad_norm": 3.921037435531616,
      "learning_rate": 1.02e-05,
      "loss": 2.7042,
      "step": 460
    },
    {
      "epoch": 0.020666666666666667,
      "grad_norm": 3.354316234588623,
      "learning_rate": 1.031111111111111e-05,
      "loss": 2.8568,
      "step": 465
    },
    {
      "epoch": 0.020888888888888887,
      "grad_norm": 3.3190629482269287,
      "learning_rate": 1.0422222222222223e-05,
      "loss": 2.6102,
      "step": 470
    },
    {
      "epoch": 0.021111111111111112,
      "grad_norm": 4.268034934997559,
      "learning_rate": 1.0533333333333335e-05,
      "loss": 1.7567,
      "step": 475
    },
    {
      "epoch": 0.021333333333333333,
      "grad_norm": 6.449651718139648,
      "learning_rate": 1.0644444444444445e-05,
      "loss": 2.2788,
      "step": 480
    },
    {
      "epoch": 0.021555555555555557,
      "grad_norm": 11.033609390258789,
      "learning_rate": 1.0755555555555557e-05,
      "loss": 2.3745,
      "step": 485
    },
    {
      "epoch": 0.021777777777777778,
      "grad_norm": 3.364046573638916,
      "learning_rate": 1.0866666666666667e-05,
      "loss": 2.5535,
      "step": 490
    },
    {
      "epoch": 0.022,
      "grad_norm": 2.871312379837036,
      "learning_rate": 1.0977777777777779e-05,
      "loss": 2.2567,
      "step": 495
    },
    {
      "epoch": 0.022222222222222223,
      "grad_norm": 3.4055421352386475,
      "learning_rate": 1.108888888888889e-05,
      "loss": 2.5953,
      "step": 500
    },
    {
      "epoch": 0.022444444444444444,
      "grad_norm": 3.0293517112731934,
      "learning_rate": 1.1200000000000001e-05,
      "loss": 2.3443,
      "step": 505
    },
    {
      "epoch": 0.02266666666666667,
      "grad_norm": 2.7696104049682617,
      "learning_rate": 1.1311111111111111e-05,
      "loss": 1.7966,
      "step": 510
    },
    {
      "epoch": 0.02288888888888889,
      "grad_norm": 4.5593109130859375,
      "learning_rate": 1.1422222222222223e-05,
      "loss": 2.2477,
      "step": 515
    },
    {
      "epoch": 0.02311111111111111,
      "grad_norm": 3.247077465057373,
      "learning_rate": 1.1533333333333334e-05,
      "loss": 2.2549,
      "step": 520
    },
    {
      "epoch": 0.023333333333333334,
      "grad_norm": 4.432023525238037,
      "learning_rate": 1.1644444444444446e-05,
      "loss": 1.9684,
      "step": 525
    },
    {
      "epoch": 0.023555555555555555,
      "grad_norm": 9.221541404724121,
      "learning_rate": 1.1755555555555556e-05,
      "loss": 1.445,
      "step": 530
    },
    {
      "epoch": 0.023777777777777776,
      "grad_norm": 3.385503053665161,
      "learning_rate": 1.1866666666666668e-05,
      "loss": 2.5738,
      "step": 535
    },
    {
      "epoch": 0.024,
      "grad_norm": 2.432652711868286,
      "learning_rate": 1.1977777777777778e-05,
      "loss": 2.5442,
      "step": 540
    },
    {
      "epoch": 0.02422222222222222,
      "grad_norm": 2.612622022628784,
      "learning_rate": 1.208888888888889e-05,
      "loss": 2.0222,
      "step": 545
    },
    {
      "epoch": 0.024444444444444446,
      "grad_norm": 2.8759169578552246,
      "learning_rate": 1.22e-05,
      "loss": 2.0001,
      "step": 550
    },
    {
      "epoch": 0.024666666666666667,
      "grad_norm": 2.4430480003356934,
      "learning_rate": 1.2311111111111112e-05,
      "loss": 2.4677,
      "step": 555
    },
    {
      "epoch": 0.024888888888888887,
      "grad_norm": 2.5264949798583984,
      "learning_rate": 1.2422222222222222e-05,
      "loss": 2.1517,
      "step": 560
    },
    {
      "epoch": 0.025111111111111112,
      "grad_norm": 3.1334543228149414,
      "learning_rate": 1.2533333333333332e-05,
      "loss": 2.2382,
      "step": 565
    },
    {
      "epoch": 0.025333333333333333,
      "grad_norm": 3.822608232498169,
      "learning_rate": 1.2644444444444444e-05,
      "loss": 2.2113,
      "step": 570
    },
    {
      "epoch": 0.025555555555555557,
      "grad_norm": 2.899874448776245,
      "learning_rate": 1.2755555555555556e-05,
      "loss": 2.376,
      "step": 575
    },
    {
      "epoch": 0.025777777777777778,
      "grad_norm": 1.7434487342834473,
      "learning_rate": 1.2866666666666668e-05,
      "loss": 2.4639,
      "step": 580
    },
    {
      "epoch": 0.026,
      "grad_norm": 2.306281566619873,
      "learning_rate": 1.2977777777777777e-05,
      "loss": 2.4649,
      "step": 585
    },
    {
      "epoch": 0.026222222222222223,
      "grad_norm": 3.8442423343658447,
      "learning_rate": 1.3088888888888889e-05,
      "loss": 1.9843,
      "step": 590
    },
    {
      "epoch": 0.026444444444444444,
      "grad_norm": 3.0726191997528076,
      "learning_rate": 1.32e-05,
      "loss": 2.2724,
      "step": 595
    },
    {
      "epoch": 0.02666666666666667,
      "grad_norm": 2.504060745239258,
      "learning_rate": 1.3311111111111113e-05,
      "loss": 2.7241,
      "step": 600
    },
    {
      "epoch": 0.02666666666666667,
      "eval_loss": 2.3449056148529053,
      "eval_runtime": 122.0261,
      "eval_samples_per_second": 16.39,
      "eval_steps_per_second": 4.097,
      "step": 600
    },
    {
      "epoch": 0.02688888888888889,
      "grad_norm": 2.505890369415283,
      "learning_rate": 1.3422222222222223e-05,
      "loss": 2.36,
      "step": 605
    },
    {
      "epoch": 0.02711111111111111,
      "grad_norm": 3.9791626930236816,
      "learning_rate": 1.3533333333333335e-05,
      "loss": 2.118,
      "step": 610
    },
    {
      "epoch": 0.027333333333333334,
      "grad_norm": 4.523385524749756,
      "learning_rate": 1.3644444444444445e-05,
      "loss": 2.2621,
      "step": 615
    },
    {
      "epoch": 0.027555555555555555,
      "grad_norm": 3.1997721195220947,
      "learning_rate": 1.3755555555555555e-05,
      "loss": 2.3535,
      "step": 620
    },
    {
      "epoch": 0.027777777777777776,
      "grad_norm": 2.7726638317108154,
      "learning_rate": 1.3866666666666667e-05,
      "loss": 2.1697,
      "step": 625
    },
    {
      "epoch": 0.028,
      "grad_norm": 3.4329774379730225,
      "learning_rate": 1.3977777777777779e-05,
      "loss": 2.501,
      "step": 630
    },
    {
      "epoch": 0.02822222222222222,
      "grad_norm": 2.7428247928619385,
      "learning_rate": 1.4088888888888891e-05,
      "loss": 2.5598,
      "step": 635
    },
    {
      "epoch": 0.028444444444444446,
      "grad_norm": 7.076749324798584,
      "learning_rate": 1.42e-05,
      "loss": 2.0388,
      "step": 640
    },
    {
      "epoch": 0.028666666666666667,
      "grad_norm": 4.947920799255371,
      "learning_rate": 1.4311111111111111e-05,
      "loss": 2.5014,
      "step": 645
    },
    {
      "epoch": 0.028888888888888888,
      "grad_norm": 3.1845197677612305,
      "learning_rate": 1.4422222222222223e-05,
      "loss": 2.1492,
      "step": 650
    },
    {
      "epoch": 0.029111111111111112,
      "grad_norm": 3.097929000854492,
      "learning_rate": 1.4533333333333335e-05,
      "loss": 1.9625,
      "step": 655
    },
    {
      "epoch": 0.029333333333333333,
      "grad_norm": 2.375373125076294,
      "learning_rate": 1.4644444444444444e-05,
      "loss": 2.5216,
      "step": 660
    },
    {
      "epoch": 0.029555555555555557,
      "grad_norm": 3.156926155090332,
      "learning_rate": 1.4755555555555556e-05,
      "loss": 1.9908,
      "step": 665
    },
    {
      "epoch": 0.029777777777777778,
      "grad_norm": 3.546030282974243,
      "learning_rate": 1.4866666666666668e-05,
      "loss": 2.4969,
      "step": 670
    },
    {
      "epoch": 0.03,
      "grad_norm": 2.7741615772247314,
      "learning_rate": 1.497777777777778e-05,
      "loss": 1.8912,
      "step": 675
    },
    {
      "epoch": 0.030222222222222223,
      "grad_norm": 2.340933322906494,
      "learning_rate": 1.5088888888888888e-05,
      "loss": 2.3597,
      "step": 680
    },
    {
      "epoch": 0.030444444444444444,
      "grad_norm": 3.9195711612701416,
      "learning_rate": 1.52e-05,
      "loss": 2.3615,
      "step": 685
    },
    {
      "epoch": 0.030666666666666665,
      "grad_norm": 2.756321430206299,
      "learning_rate": 1.5311111111111112e-05,
      "loss": 2.0117,
      "step": 690
    },
    {
      "epoch": 0.03088888888888889,
      "grad_norm": 3.569385528564453,
      "learning_rate": 1.5422222222222224e-05,
      "loss": 2.0033,
      "step": 695
    },
    {
      "epoch": 0.03111111111111111,
      "grad_norm": 4.183380603790283,
      "learning_rate": 1.5533333333333333e-05,
      "loss": 2.2346,
      "step": 700
    },
    {
      "epoch": 0.03133333333333333,
      "grad_norm": 4.075239181518555,
      "learning_rate": 1.5644444444444444e-05,
      "loss": 2.1708,
      "step": 705
    },
    {
      "epoch": 0.03155555555555556,
      "grad_norm": 7.644771099090576,
      "learning_rate": 1.5755555555555556e-05,
      "loss": 2.8056,
      "step": 710
    },
    {
      "epoch": 0.03177777777777778,
      "grad_norm": 3.0999248027801514,
      "learning_rate": 1.586666666666667e-05,
      "loss": 2.0751,
      "step": 715
    },
    {
      "epoch": 0.032,
      "grad_norm": 2.656479597091675,
      "learning_rate": 1.5977777777777777e-05,
      "loss": 2.5763,
      "step": 720
    },
    {
      "epoch": 0.03222222222222222,
      "grad_norm": 1.8006937503814697,
      "learning_rate": 1.608888888888889e-05,
      "loss": 1.888,
      "step": 725
    },
    {
      "epoch": 0.03244444444444444,
      "grad_norm": 2.5289664268493652,
      "learning_rate": 1.62e-05,
      "loss": 2.2011,
      "step": 730
    },
    {
      "epoch": 0.03266666666666666,
      "grad_norm": 3.968630075454712,
      "learning_rate": 1.6311111111111113e-05,
      "loss": 2.4763,
      "step": 735
    },
    {
      "epoch": 0.03288888888888889,
      "grad_norm": 2.751746416091919,
      "learning_rate": 1.642222222222222e-05,
      "loss": 2.1171,
      "step": 740
    },
    {
      "epoch": 0.03311111111111111,
      "grad_norm": 3.1956238746643066,
      "learning_rate": 1.6533333333333333e-05,
      "loss": 2.2022,
      "step": 745
    },
    {
      "epoch": 0.03333333333333333,
      "grad_norm": 3.6604161262512207,
      "learning_rate": 1.6644444444444445e-05,
      "loss": 1.7974,
      "step": 750
    },
    {
      "epoch": 0.033555555555555554,
      "grad_norm": 6.11625337600708,
      "learning_rate": 1.6755555555555557e-05,
      "loss": 1.9283,
      "step": 755
    },
    {
      "epoch": 0.033777777777777775,
      "grad_norm": 2.661973237991333,
      "learning_rate": 1.6866666666666666e-05,
      "loss": 2.076,
      "step": 760
    },
    {
      "epoch": 0.034,
      "grad_norm": 3.5354864597320557,
      "learning_rate": 1.6977777777777777e-05,
      "loss": 2.3123,
      "step": 765
    },
    {
      "epoch": 0.03422222222222222,
      "grad_norm": 3.8947877883911133,
      "learning_rate": 1.708888888888889e-05,
      "loss": 1.906,
      "step": 770
    },
    {
      "epoch": 0.034444444444444444,
      "grad_norm": 4.865787506103516,
      "learning_rate": 1.7199999999999998e-05,
      "loss": 2.6558,
      "step": 775
    },
    {
      "epoch": 0.034666666666666665,
      "grad_norm": 3.0027949810028076,
      "learning_rate": 1.731111111111111e-05,
      "loss": 2.3249,
      "step": 780
    },
    {
      "epoch": 0.034888888888888886,
      "grad_norm": 2.407522201538086,
      "learning_rate": 1.7422222222222222e-05,
      "loss": 2.0733,
      "step": 785
    },
    {
      "epoch": 0.035111111111111114,
      "grad_norm": 3.589709997177124,
      "learning_rate": 1.7533333333333334e-05,
      "loss": 2.9468,
      "step": 790
    },
    {
      "epoch": 0.035333333333333335,
      "grad_norm": 2.7520623207092285,
      "learning_rate": 1.7644444444444446e-05,
      "loss": 2.3089,
      "step": 795
    },
    {
      "epoch": 0.035555555555555556,
      "grad_norm": 2.523850202560425,
      "learning_rate": 1.7755555555555554e-05,
      "loss": 2.3348,
      "step": 800
    },
    {
      "epoch": 0.035777777777777776,
      "grad_norm": 3.008690118789673,
      "learning_rate": 1.7866666666666666e-05,
      "loss": 2.4537,
      "step": 805
    },
    {
      "epoch": 0.036,
      "grad_norm": 1.92422354221344,
      "learning_rate": 1.7977777777777778e-05,
      "loss": 2.1094,
      "step": 810
    },
    {
      "epoch": 0.036222222222222225,
      "grad_norm": 2.6908483505249023,
      "learning_rate": 1.808888888888889e-05,
      "loss": 2.3636,
      "step": 815
    },
    {
      "epoch": 0.036444444444444446,
      "grad_norm": 2.5317819118499756,
      "learning_rate": 1.8200000000000002e-05,
      "loss": 2.344,
      "step": 820
    },
    {
      "epoch": 0.03666666666666667,
      "grad_norm": 2.664870262145996,
      "learning_rate": 1.8311111111111114e-05,
      "loss": 2.4269,
      "step": 825
    },
    {
      "epoch": 0.03688888888888889,
      "grad_norm": 2.5346293449401855,
      "learning_rate": 1.8422222222222222e-05,
      "loss": 1.9529,
      "step": 830
    },
    {
      "epoch": 0.03711111111111111,
      "grad_norm": 4.729602336883545,
      "learning_rate": 1.8533333333333334e-05,
      "loss": 1.8282,
      "step": 835
    },
    {
      "epoch": 0.037333333333333336,
      "grad_norm": 2.897312879562378,
      "learning_rate": 1.8644444444444446e-05,
      "loss": 2.455,
      "step": 840
    },
    {
      "epoch": 0.03755555555555556,
      "grad_norm": 1.5036487579345703,
      "learning_rate": 1.8755555555555558e-05,
      "loss": 2.1418,
      "step": 845
    },
    {
      "epoch": 0.03777777777777778,
      "grad_norm": 2.2969272136688232,
      "learning_rate": 1.886666666666667e-05,
      "loss": 2.3581,
      "step": 850
    },
    {
      "epoch": 0.038,
      "grad_norm": 1.9850976467132568,
      "learning_rate": 1.897777777777778e-05,
      "loss": 1.7106,
      "step": 855
    },
    {
      "epoch": 0.03822222222222222,
      "grad_norm": 2.8446402549743652,
      "learning_rate": 1.908888888888889e-05,
      "loss": 2.158,
      "step": 860
    },
    {
      "epoch": 0.03844444444444445,
      "grad_norm": 2.7452175617218018,
      "learning_rate": 1.9200000000000003e-05,
      "loss": 2.2244,
      "step": 865
    },
    {
      "epoch": 0.03866666666666667,
      "grad_norm": 2.1304049491882324,
      "learning_rate": 1.9311111111111114e-05,
      "loss": 1.9334,
      "step": 870
    },
    {
      "epoch": 0.03888888888888889,
      "grad_norm": 2.952160120010376,
      "learning_rate": 1.9422222222222223e-05,
      "loss": 2.5245,
      "step": 875
    },
    {
      "epoch": 0.03911111111111111,
      "grad_norm": 3.6346590518951416,
      "learning_rate": 1.9533333333333335e-05,
      "loss": 2.2464,
      "step": 880
    },
    {
      "epoch": 0.03933333333333333,
      "grad_norm": 3.7679920196533203,
      "learning_rate": 1.9644444444444447e-05,
      "loss": 2.1262,
      "step": 885
    },
    {
      "epoch": 0.03955555555555555,
      "grad_norm": 2.804164409637451,
      "learning_rate": 1.975555555555556e-05,
      "loss": 2.3773,
      "step": 890
    },
    {
      "epoch": 0.03977777777777778,
      "grad_norm": 2.6044199466705322,
      "learning_rate": 1.9866666666666667e-05,
      "loss": 1.9468,
      "step": 895
    },
    {
      "epoch": 0.04,
      "grad_norm": 4.933115482330322,
      "learning_rate": 1.997777777777778e-05,
      "loss": 2.4194,
      "step": 900
    },
    {
      "epoch": 0.04,
      "eval_loss": 2.1922495365142822,
      "eval_runtime": 121.6112,
      "eval_samples_per_second": 16.446,
      "eval_steps_per_second": 4.111,
      "step": 900
    },
    {
      "epoch": 0.04022222222222222,
      "grad_norm": 2.2340450286865234,
      "learning_rate": 2.008888888888889e-05,
      "loss": 2.0463,
      "step": 905
    },
    {
      "epoch": 0.04044444444444444,
      "grad_norm": 3.1962203979492188,
      "learning_rate": 2.0200000000000003e-05,
      "loss": 2.007,
      "step": 910
    },
    {
      "epoch": 0.04066666666666666,
      "grad_norm": 1.8759125471115112,
      "learning_rate": 2.031111111111111e-05,
      "loss": 1.719,
      "step": 915
    },
    {
      "epoch": 0.04088888888888889,
      "grad_norm": 2.859252691268921,
      "learning_rate": 2.0422222222222224e-05,
      "loss": 2.2057,
      "step": 920
    },
    {
      "epoch": 0.04111111111111111,
      "grad_norm": 2.392113208770752,
      "learning_rate": 2.0533333333333336e-05,
      "loss": 1.8602,
      "step": 925
    },
    {
      "epoch": 0.04133333333333333,
      "grad_norm": 2.9999499320983887,
      "learning_rate": 2.0644444444444447e-05,
      "loss": 2.031,
      "step": 930
    },
    {
      "epoch": 0.041555555555555554,
      "grad_norm": 2.6758992671966553,
      "learning_rate": 2.0755555555555556e-05,
      "loss": 2.3315,
      "step": 935
    },
    {
      "epoch": 0.041777777777777775,
      "grad_norm": 3.57662296295166,
      "learning_rate": 2.0866666666666668e-05,
      "loss": 2.6149,
      "step": 940
    },
    {
      "epoch": 0.042,
      "grad_norm": 2.5644922256469727,
      "learning_rate": 2.097777777777778e-05,
      "loss": 2.243,
      "step": 945
    },
    {
      "epoch": 0.042222222222222223,
      "grad_norm": 2.488584280014038,
      "learning_rate": 2.108888888888889e-05,
      "loss": 2.0762,
      "step": 950
    },
    {
      "epoch": 0.042444444444444444,
      "grad_norm": 2.284942626953125,
      "learning_rate": 2.12e-05,
      "loss": 2.1822,
      "step": 955
    },
    {
      "epoch": 0.042666666666666665,
      "grad_norm": 2.5661721229553223,
      "learning_rate": 2.1311111111111112e-05,
      "loss": 2.3151,
      "step": 960
    },
    {
      "epoch": 0.042888888888888886,
      "grad_norm": 2.431342363357544,
      "learning_rate": 2.1422222222222224e-05,
      "loss": 2.1396,
      "step": 965
    },
    {
      "epoch": 0.043111111111111114,
      "grad_norm": 2.6072208881378174,
      "learning_rate": 2.1533333333333333e-05,
      "loss": 2.0849,
      "step": 970
    },
    {
      "epoch": 0.043333333333333335,
      "grad_norm": 4.004359722137451,
      "learning_rate": 2.1644444444444445e-05,
      "loss": 2.0889,
      "step": 975
    },
    {
      "epoch": 0.043555555555555556,
      "grad_norm": 2.8259735107421875,
      "learning_rate": 2.1755555555555557e-05,
      "loss": 2.2998,
      "step": 980
    },
    {
      "epoch": 0.04377777777777778,
      "grad_norm": 2.4177334308624268,
      "learning_rate": 2.186666666666667e-05,
      "loss": 1.988,
      "step": 985
    },
    {
      "epoch": 0.044,
      "grad_norm": 2.3826918601989746,
      "learning_rate": 2.1977777777777777e-05,
      "loss": 2.347,
      "step": 990
    },
    {
      "epoch": 0.044222222222222225,
      "grad_norm": 2.311108112335205,
      "learning_rate": 2.208888888888889e-05,
      "loss": 2.3839,
      "step": 995
    },
    {
      "epoch": 0.044444444444444446,
      "grad_norm": 2.9172418117523193,
      "learning_rate": 2.22e-05,
      "loss": 2.5369,
      "step": 1000
    },
    {
      "epoch": 0.04466666666666667,
      "grad_norm": 1.2693814039230347,
      "learning_rate": 2.2311111111111113e-05,
      "loss": 1.8546,
      "step": 1005
    },
    {
      "epoch": 0.04488888888888889,
      "grad_norm": 2.004131555557251,
      "learning_rate": 2.242222222222222e-05,
      "loss": 2.4054,
      "step": 1010
    },
    {
      "epoch": 0.04511111111111111,
      "grad_norm": 2.7270309925079346,
      "learning_rate": 2.2533333333333333e-05,
      "loss": 2.3425,
      "step": 1015
    },
    {
      "epoch": 0.04533333333333334,
      "grad_norm": 2.327594757080078,
      "learning_rate": 2.2644444444444445e-05,
      "loss": 2.136,
      "step": 1020
    },
    {
      "epoch": 0.04555555555555556,
      "grad_norm": 2.3644492626190186,
      "learning_rate": 2.2755555555555557e-05,
      "loss": 2.1806,
      "step": 1025
    },
    {
      "epoch": 0.04577777777777778,
      "grad_norm": 2.3974053859710693,
      "learning_rate": 2.2866666666666666e-05,
      "loss": 2.6024,
      "step": 1030
    },
    {
      "epoch": 0.046,
      "grad_norm": 2.9210939407348633,
      "learning_rate": 2.2977777777777778e-05,
      "loss": 2.0413,
      "step": 1035
    },
    {
      "epoch": 0.04622222222222222,
      "grad_norm": 2.8473854064941406,
      "learning_rate": 2.308888888888889e-05,
      "loss": 2.2626,
      "step": 1040
    },
    {
      "epoch": 0.04644444444444444,
      "grad_norm": 2.321446180343628,
      "learning_rate": 2.32e-05,
      "loss": 1.9676,
      "step": 1045
    },
    {
      "epoch": 0.04666666666666667,
      "grad_norm": 2.900174617767334,
      "learning_rate": 2.331111111111111e-05,
      "loss": 2.0846,
      "step": 1050
    },
    {
      "epoch": 0.04688888888888889,
      "grad_norm": 4.56205940246582,
      "learning_rate": 2.3422222222222222e-05,
      "loss": 1.547,
      "step": 1055
    },
    {
      "epoch": 0.04711111111111111,
      "grad_norm": 2.702590227127075,
      "learning_rate": 2.3533333333333334e-05,
      "loss": 1.3599,
      "step": 1060
    },
    {
      "epoch": 0.04733333333333333,
      "grad_norm": 2.005094528198242,
      "learning_rate": 2.3644444444444446e-05,
      "loss": 2.0571,
      "step": 1065
    },
    {
      "epoch": 0.04755555555555555,
      "grad_norm": 1.5232588052749634,
      "learning_rate": 2.3755555555555554e-05,
      "loss": 1.6517,
      "step": 1070
    },
    {
      "epoch": 0.04777777777777778,
      "grad_norm": 2.2803235054016113,
      "learning_rate": 2.3866666666666666e-05,
      "loss": 2.1729,
      "step": 1075
    },
    {
      "epoch": 0.048,
      "grad_norm": 2.4489965438842773,
      "learning_rate": 2.3977777777777778e-05,
      "loss": 2.1002,
      "step": 1080
    },
    {
      "epoch": 0.04822222222222222,
      "grad_norm": 4.467298984527588,
      "learning_rate": 2.408888888888889e-05,
      "loss": 2.2163,
      "step": 1085
    },
    {
      "epoch": 0.04844444444444444,
      "grad_norm": 2.408956527709961,
      "learning_rate": 2.4200000000000002e-05,
      "loss": 2.4721,
      "step": 1090
    },
    {
      "epoch": 0.048666666666666664,
      "grad_norm": 2.4447994232177734,
      "learning_rate": 2.431111111111111e-05,
      "loss": 2.0216,
      "step": 1095
    },
    {
      "epoch": 0.04888888888888889,
      "grad_norm": 2.60015869140625,
      "learning_rate": 2.4422222222222223e-05,
      "loss": 2.4361,
      "step": 1100
    },
    {
      "epoch": 0.04911111111111111,
      "grad_norm": 2.8069276809692383,
      "learning_rate": 2.4533333333333334e-05,
      "loss": 2.1592,
      "step": 1105
    },
    {
      "epoch": 0.04933333333333333,
      "grad_norm": 3.1446211338043213,
      "learning_rate": 2.4644444444444446e-05,
      "loss": 2.0119,
      "step": 1110
    },
    {
      "epoch": 0.049555555555555554,
      "grad_norm": 2.6775500774383545,
      "learning_rate": 2.475555555555556e-05,
      "loss": 2.125,
      "step": 1115
    },
    {
      "epoch": 0.049777777777777775,
      "grad_norm": 1.9002012014389038,
      "learning_rate": 2.486666666666667e-05,
      "loss": 2.4244,
      "step": 1120
    },
    {
      "epoch": 0.05,
      "grad_norm": 2.7031078338623047,
      "learning_rate": 2.497777777777778e-05,
      "loss": 2.2575,
      "step": 1125
    },
    {
      "epoch": 0.050222222222222224,
      "grad_norm": 5.2952985763549805,
      "learning_rate": 2.508888888888889e-05,
      "loss": 2.1536,
      "step": 1130
    },
    {
      "epoch": 0.050444444444444445,
      "grad_norm": 2.9006426334381104,
      "learning_rate": 2.5200000000000003e-05,
      "loss": 1.9887,
      "step": 1135
    },
    {
      "epoch": 0.050666666666666665,
      "grad_norm": 2.394052743911743,
      "learning_rate": 2.5311111111111115e-05,
      "loss": 1.9303,
      "step": 1140
    },
    {
      "epoch": 0.050888888888888886,
      "grad_norm": 1.8533062934875488,
      "learning_rate": 2.5422222222222227e-05,
      "loss": 2.3408,
      "step": 1145
    },
    {
      "epoch": 0.051111111111111114,
      "grad_norm": 3.0593295097351074,
      "learning_rate": 2.553333333333334e-05,
      "loss": 1.7697,
      "step": 1150
    },
    {
      "epoch": 0.051333333333333335,
      "grad_norm": 2.1991188526153564,
      "learning_rate": 2.5644444444444444e-05,
      "loss": 1.6954,
      "step": 1155
    },
    {
      "epoch": 0.051555555555555556,
      "grad_norm": 3.317169427871704,
      "learning_rate": 2.5755555555555556e-05,
      "loss": 2.2708,
      "step": 1160
    },
    {
      "epoch": 0.05177777777777778,
      "grad_norm": 2.8485376834869385,
      "learning_rate": 2.5866666666666667e-05,
      "loss": 2.2675,
      "step": 1165
    },
    {
      "epoch": 0.052,
      "grad_norm": 2.9806668758392334,
      "learning_rate": 2.597777777777778e-05,
      "loss": 2.3689,
      "step": 1170
    },
    {
      "epoch": 0.052222222222222225,
      "grad_norm": 3.4120755195617676,
      "learning_rate": 2.608888888888889e-05,
      "loss": 2.2599,
      "step": 1175
    },
    {
      "epoch": 0.052444444444444446,
      "grad_norm": 2.735034942626953,
      "learning_rate": 2.6200000000000003e-05,
      "loss": 1.7794,
      "step": 1180
    },
    {
      "epoch": 0.05266666666666667,
      "grad_norm": 2.8549139499664307,
      "learning_rate": 2.6311111111111115e-05,
      "loss": 2.1447,
      "step": 1185
    },
    {
      "epoch": 0.05288888888888889,
      "grad_norm": 2.1999311447143555,
      "learning_rate": 2.6422222222222227e-05,
      "loss": 2.1818,
      "step": 1190
    },
    {
      "epoch": 0.05311111111111111,
      "grad_norm": 1.8845670223236084,
      "learning_rate": 2.6533333333333332e-05,
      "loss": 1.628,
      "step": 1195
    },
    {
      "epoch": 0.05333333333333334,
      "grad_norm": 2.9839091300964355,
      "learning_rate": 2.6644444444444444e-05,
      "loss": 2.4163,
      "step": 1200
    },
    {
      "epoch": 0.05333333333333334,
      "eval_loss": 2.116730213165283,
      "eval_runtime": 122.9018,
      "eval_samples_per_second": 16.273,
      "eval_steps_per_second": 4.068,
      "step": 1200
    },
    {
      "epoch": 0.05355555555555556,
      "grad_norm": 3.499262809753418,
      "learning_rate": 2.6755555555555556e-05,
      "loss": 2.2253,
      "step": 1205
    },
    {
      "epoch": 0.05377777777777778,
      "grad_norm": 2.2500741481781006,
      "learning_rate": 2.6866666666666668e-05,
      "loss": 2.5208,
      "step": 1210
    },
    {
      "epoch": 0.054,
      "grad_norm": 3.09938383102417,
      "learning_rate": 2.697777777777778e-05,
      "loss": 2.0376,
      "step": 1215
    },
    {
      "epoch": 0.05422222222222222,
      "grad_norm": 2.2679011821746826,
      "learning_rate": 2.7088888888888892e-05,
      "loss": 2.2969,
      "step": 1220
    },
    {
      "epoch": 0.05444444444444444,
      "grad_norm": 2.072340488433838,
      "learning_rate": 2.7200000000000004e-05,
      "loss": 1.954,
      "step": 1225
    },
    {
      "epoch": 0.05466666666666667,
      "grad_norm": 2.278684616088867,
      "learning_rate": 2.7311111111111116e-05,
      "loss": 1.795,
      "step": 1230
    },
    {
      "epoch": 0.05488888888888889,
      "grad_norm": 2.8150813579559326,
      "learning_rate": 2.742222222222222e-05,
      "loss": 2.2126,
      "step": 1235
    },
    {
      "epoch": 0.05511111111111111,
      "grad_norm": 1.7313519716262817,
      "learning_rate": 2.7533333333333333e-05,
      "loss": 1.9136,
      "step": 1240
    },
    {
      "epoch": 0.05533333333333333,
      "grad_norm": 2.224745273590088,
      "learning_rate": 2.7644444444444445e-05,
      "loss": 2.1167,
      "step": 1245
    },
    {
      "epoch": 0.05555555555555555,
      "grad_norm": 2.25691819190979,
      "learning_rate": 2.7755555555555557e-05,
      "loss": 2.5292,
      "step": 1250
    },
    {
      "epoch": 0.05577777777777778,
      "grad_norm": 2.2253289222717285,
      "learning_rate": 2.786666666666667e-05,
      "loss": 2.3742,
      "step": 1255
    },
    {
      "epoch": 0.056,
      "grad_norm": 3.635000705718994,
      "learning_rate": 2.797777777777778e-05,
      "loss": 2.2928,
      "step": 1260
    },
    {
      "epoch": 0.05622222222222222,
      "grad_norm": 3.2435271739959717,
      "learning_rate": 2.8088888888888893e-05,
      "loss": 1.8852,
      "step": 1265
    },
    {
      "epoch": 0.05644444444444444,
      "grad_norm": 3.7098515033721924,
      "learning_rate": 2.8199999999999998e-05,
      "loss": 2.0217,
      "step": 1270
    },
    {
      "epoch": 0.056666666666666664,
      "grad_norm": 2.0103607177734375,
      "learning_rate": 2.831111111111111e-05,
      "loss": 2.0969,
      "step": 1275
    },
    {
      "epoch": 0.05688888888888889,
      "grad_norm": 1.955574870109558,
      "learning_rate": 2.842222222222222e-05,
      "loss": 2.1102,
      "step": 1280
    },
    {
      "epoch": 0.05711111111111111,
      "grad_norm": 1.8896914720535278,
      "learning_rate": 2.8533333333333333e-05,
      "loss": 2.0736,
      "step": 1285
    },
    {
      "epoch": 0.05733333333333333,
      "grad_norm": 3.405611038208008,
      "learning_rate": 2.8644444444444445e-05,
      "loss": 2.169,
      "step": 1290
    },
    {
      "epoch": 0.057555555555555554,
      "grad_norm": 2.8378794193267822,
      "learning_rate": 2.8755555555555557e-05,
      "loss": 2.0658,
      "step": 1295
    },
    {
      "epoch": 0.057777777777777775,
      "grad_norm": 2.5923609733581543,
      "learning_rate": 2.886666666666667e-05,
      "loss": 1.3537,
      "step": 1300
    },
    {
      "epoch": 0.058,
      "grad_norm": 3.333406686782837,
      "learning_rate": 2.897777777777778e-05,
      "loss": 1.7891,
      "step": 1305
    },
    {
      "epoch": 0.058222222222222224,
      "grad_norm": 2.288517713546753,
      "learning_rate": 2.9088888888888886e-05,
      "loss": 1.8562,
      "step": 1310
    },
    {
      "epoch": 0.058444444444444445,
      "grad_norm": 1.935430645942688,
      "learning_rate": 2.9199999999999998e-05,
      "loss": 2.1005,
      "step": 1315
    },
    {
      "epoch": 0.058666666666666666,
      "grad_norm": 2.2541344165802,
      "learning_rate": 2.931111111111111e-05,
      "loss": 1.9783,
      "step": 1320
    },
    {
      "epoch": 0.058888888888888886,
      "grad_norm": 2.7847342491149902,
      "learning_rate": 2.9422222222222222e-05,
      "loss": 2.1267,
      "step": 1325
    },
    {
      "epoch": 0.059111111111111114,
      "grad_norm": 2.0758981704711914,
      "learning_rate": 2.9533333333333334e-05,
      "loss": 2.018,
      "step": 1330
    },
    {
      "epoch": 0.059333333333333335,
      "grad_norm": 2.3598146438598633,
      "learning_rate": 2.9644444444444446e-05,
      "loss": 2.3688,
      "step": 1335
    },
    {
      "epoch": 0.059555555555555556,
      "grad_norm": 1.9790630340576172,
      "learning_rate": 2.9755555555555558e-05,
      "loss": 2.1991,
      "step": 1340
    },
    {
      "epoch": 0.05977777777777778,
      "grad_norm": 3.9391543865203857,
      "learning_rate": 2.986666666666667e-05,
      "loss": 2.0899,
      "step": 1345
    },
    {
      "epoch": 0.06,
      "grad_norm": 2.6449711322784424,
      "learning_rate": 2.997777777777778e-05,
      "loss": 1.3889,
      "step": 1350
    },
    {
      "epoch": 0.060222222222222226,
      "grad_norm": 6.675472736358643,
      "learning_rate": 3.008888888888889e-05,
      "loss": 2.0226,
      "step": 1355
    },
    {
      "epoch": 0.060444444444444446,
      "grad_norm": 2.1411337852478027,
      "learning_rate": 3.02e-05,
      "loss": 2.06,
      "step": 1360
    },
    {
      "epoch": 0.06066666666666667,
      "grad_norm": 2.417407989501953,
      "learning_rate": 3.031111111111111e-05,
      "loss": 2.0874,
      "step": 1365
    },
    {
      "epoch": 0.06088888888888889,
      "grad_norm": 2.633039951324463,
      "learning_rate": 3.0422222222222223e-05,
      "loss": 1.8665,
      "step": 1370
    },
    {
      "epoch": 0.06111111111111111,
      "grad_norm": 2.4330198764801025,
      "learning_rate": 3.0533333333333335e-05,
      "loss": 1.8775,
      "step": 1375
    },
    {
      "epoch": 0.06133333333333333,
      "grad_norm": 2.4115240573883057,
      "learning_rate": 3.064444444444445e-05,
      "loss": 1.7059,
      "step": 1380
    },
    {
      "epoch": 0.06155555555555556,
      "grad_norm": 2.0788280963897705,
      "learning_rate": 3.075555555555556e-05,
      "loss": 1.5115,
      "step": 1385
    },
    {
      "epoch": 0.06177777777777778,
      "grad_norm": 2.9254491329193115,
      "learning_rate": 3.086666666666667e-05,
      "loss": 2.2823,
      "step": 1390
    },
    {
      "epoch": 0.062,
      "grad_norm": 2.5361244678497314,
      "learning_rate": 3.0977777777777776e-05,
      "loss": 2.1533,
      "step": 1395
    },
    {
      "epoch": 0.06222222222222222,
      "grad_norm": 1.7986576557159424,
      "learning_rate": 3.108888888888889e-05,
      "loss": 2.3658,
      "step": 1400
    },
    {
      "epoch": 0.06244444444444444,
      "grad_norm": 2.703726291656494,
      "learning_rate": 3.12e-05,
      "loss": 2.0944,
      "step": 1405
    },
    {
      "epoch": 0.06266666666666666,
      "grad_norm": 2.1036455631256104,
      "learning_rate": 3.1311111111111115e-05,
      "loss": 2.2053,
      "step": 1410
    },
    {
      "epoch": 0.06288888888888888,
      "grad_norm": 2.8514058589935303,
      "learning_rate": 3.142222222222222e-05,
      "loss": 2.2996,
      "step": 1415
    },
    {
      "epoch": 0.06311111111111112,
      "grad_norm": 2.4299604892730713,
      "learning_rate": 3.153333333333334e-05,
      "loss": 2.0626,
      "step": 1420
    },
    {
      "epoch": 0.06333333333333334,
      "grad_norm": 3.186521530151367,
      "learning_rate": 3.164444444444444e-05,
      "loss": 1.8634,
      "step": 1425
    },
    {
      "epoch": 0.06355555555555556,
      "grad_norm": 2.2165074348449707,
      "learning_rate": 3.1755555555555556e-05,
      "loss": 1.6962,
      "step": 1430
    },
    {
      "epoch": 0.06377777777777778,
      "grad_norm": 2.0812759399414062,
      "learning_rate": 3.1866666666666664e-05,
      "loss": 2.1125,
      "step": 1435
    },
    {
      "epoch": 0.064,
      "grad_norm": 1.9406180381774902,
      "learning_rate": 3.197777777777778e-05,
      "loss": 1.846,
      "step": 1440
    },
    {
      "epoch": 0.06422222222222222,
      "grad_norm": 2.7002949714660645,
      "learning_rate": 3.208888888888889e-05,
      "loss": 2.1475,
      "step": 1445
    },
    {
      "epoch": 0.06444444444444444,
      "grad_norm": 1.8844832181930542,
      "learning_rate": 3.2200000000000003e-05,
      "loss": 1.627,
      "step": 1450
    },
    {
      "epoch": 0.06466666666666666,
      "grad_norm": 4.114424705505371,
      "learning_rate": 3.231111111111111e-05,
      "loss": 1.8776,
      "step": 1455
    },
    {
      "epoch": 0.06488888888888888,
      "grad_norm": 1.4310358762741089,
      "learning_rate": 3.242222222222223e-05,
      "loss": 2.3732,
      "step": 1460
    },
    {
      "epoch": 0.0651111111111111,
      "grad_norm": 2.0722603797912598,
      "learning_rate": 3.253333333333333e-05,
      "loss": 1.8982,
      "step": 1465
    },
    {
      "epoch": 0.06533333333333333,
      "grad_norm": 2.6970906257629395,
      "learning_rate": 3.2644444444444444e-05,
      "loss": 1.5162,
      "step": 1470
    },
    {
      "epoch": 0.06555555555555556,
      "grad_norm": 2.662952184677124,
      "learning_rate": 3.275555555555555e-05,
      "loss": 2.1413,
      "step": 1475
    },
    {
      "epoch": 0.06577777777777778,
      "grad_norm": 2.682344913482666,
      "learning_rate": 3.286666666666667e-05,
      "loss": 2.0477,
      "step": 1480
    },
    {
      "epoch": 0.066,
      "grad_norm": 1.4214606285095215,
      "learning_rate": 3.297777777777778e-05,
      "loss": 1.8711,
      "step": 1485
    },
    {
      "epoch": 0.06622222222222222,
      "grad_norm": 2.1296916007995605,
      "learning_rate": 3.308888888888889e-05,
      "loss": 2.2862,
      "step": 1490
    },
    {
      "epoch": 0.06644444444444444,
      "grad_norm": 1.474441647529602,
      "learning_rate": 3.32e-05,
      "loss": 1.8182,
      "step": 1495
    },
    {
      "epoch": 0.06666666666666667,
      "grad_norm": 2.103790760040283,
      "learning_rate": 3.3311111111111116e-05,
      "loss": 2.0999,
      "step": 1500
    },
    {
      "epoch": 0.06666666666666667,
      "eval_loss": 2.0684010982513428,
      "eval_runtime": 122.1391,
      "eval_samples_per_second": 16.375,
      "eval_steps_per_second": 4.094,
      "step": 1500
    },
    {
      "epoch": 0.06688888888888889,
      "grad_norm": 2.0956037044525146,
      "learning_rate": 3.3422222222222224e-05,
      "loss": 1.6298,
      "step": 1505
    },
    {
      "epoch": 0.06711111111111111,
      "grad_norm": 2.053703546524048,
      "learning_rate": 3.353333333333333e-05,
      "loss": 2.1867,
      "step": 1510
    },
    {
      "epoch": 0.06733333333333333,
      "grad_norm": 2.2930593490600586,
      "learning_rate": 3.364444444444445e-05,
      "loss": 2.2898,
      "step": 1515
    },
    {
      "epoch": 0.06755555555555555,
      "grad_norm": 2.600916624069214,
      "learning_rate": 3.375555555555556e-05,
      "loss": 2.0731,
      "step": 1520
    },
    {
      "epoch": 0.06777777777777778,
      "grad_norm": 2.643256902694702,
      "learning_rate": 3.3866666666666665e-05,
      "loss": 2.1295,
      "step": 1525
    },
    {
      "epoch": 0.068,
      "grad_norm": 2.4151999950408936,
      "learning_rate": 3.397777777777778e-05,
      "loss": 1.9239,
      "step": 1530
    },
    {
      "epoch": 0.06822222222222223,
      "grad_norm": 2.4963622093200684,
      "learning_rate": 3.408888888888889e-05,
      "loss": 2.1167,
      "step": 1535
    },
    {
      "epoch": 0.06844444444444445,
      "grad_norm": 3.504605531692505,
      "learning_rate": 3.4200000000000005e-05,
      "loss": 1.9943,
      "step": 1540
    },
    {
      "epoch": 0.06866666666666667,
      "grad_norm": 2.1117711067199707,
      "learning_rate": 3.431111111111111e-05,
      "loss": 2.015,
      "step": 1545
    },
    {
      "epoch": 0.06888888888888889,
      "grad_norm": 1.926093578338623,
      "learning_rate": 3.442222222222222e-05,
      "loss": 1.7877,
      "step": 1550
    },
    {
      "epoch": 0.06911111111111111,
      "grad_norm": 2.11346173286438,
      "learning_rate": 3.453333333333334e-05,
      "loss": 1.824,
      "step": 1555
    },
    {
      "epoch": 0.06933333333333333,
      "grad_norm": 1.9799891710281372,
      "learning_rate": 3.4644444444444446e-05,
      "loss": 1.8263,
      "step": 1560
    },
    {
      "epoch": 0.06955555555555555,
      "grad_norm": 2.1366405487060547,
      "learning_rate": 3.475555555555556e-05,
      "loss": 1.5424,
      "step": 1565
    },
    {
      "epoch": 0.06977777777777777,
      "grad_norm": 2.8417274951934814,
      "learning_rate": 3.486666666666667e-05,
      "loss": 1.688,
      "step": 1570
    },
    {
      "epoch": 0.07,
      "grad_norm": 3.0865869522094727,
      "learning_rate": 3.4977777777777785e-05,
      "loss": 2.0044,
      "step": 1575
    },
    {
      "epoch": 0.07022222222222223,
      "grad_norm": 1.8550642728805542,
      "learning_rate": 3.5088888888888886e-05,
      "loss": 1.9463,
      "step": 1580
    },
    {
      "epoch": 0.07044444444444445,
      "grad_norm": 3.2522130012512207,
      "learning_rate": 3.52e-05,
      "loss": 2.3959,
      "step": 1585
    },
    {
      "epoch": 0.07066666666666667,
      "grad_norm": 2.40838360786438,
      "learning_rate": 3.531111111111111e-05,
      "loss": 1.9108,
      "step": 1590
    },
    {
      "epoch": 0.07088888888888889,
      "grad_norm": 1.9844175577163696,
      "learning_rate": 3.5422222222222226e-05,
      "loss": 1.7555,
      "step": 1595
    },
    {
      "epoch": 0.07111111111111111,
      "grad_norm": 1.846855878829956,
      "learning_rate": 3.5533333333333334e-05,
      "loss": 1.8669,
      "step": 1600
    },
    {
      "epoch": 0.07133333333333333,
      "grad_norm": 3.909207344055176,
      "learning_rate": 3.564444444444445e-05,
      "loss": 2.0279,
      "step": 1605
    },
    {
      "epoch": 0.07155555555555555,
      "grad_norm": 2.8819656372070312,
      "learning_rate": 3.575555555555556e-05,
      "loss": 2.1987,
      "step": 1610
    },
    {
      "epoch": 0.07177777777777777,
      "grad_norm": 2.12593150138855,
      "learning_rate": 3.586666666666667e-05,
      "loss": 2.1379,
      "step": 1615
    },
    {
      "epoch": 0.072,
      "grad_norm": 2.1572515964508057,
      "learning_rate": 3.5977777777777775e-05,
      "loss": 1.731,
      "step": 1620
    },
    {
      "epoch": 0.07222222222222222,
      "grad_norm": 2.51926589012146,
      "learning_rate": 3.608888888888889e-05,
      "loss": 1.6069,
      "step": 1625
    },
    {
      "epoch": 0.07244444444444445,
      "grad_norm": 2.4744632244110107,
      "learning_rate": 3.62e-05,
      "loss": 1.6963,
      "step": 1630
    },
    {
      "epoch": 0.07266666666666667,
      "grad_norm": 2.593453884124756,
      "learning_rate": 3.6311111111111114e-05,
      "loss": 1.9171,
      "step": 1635
    },
    {
      "epoch": 0.07288888888888889,
      "grad_norm": 2.835726261138916,
      "learning_rate": 3.642222222222222e-05,
      "loss": 1.8071,
      "step": 1640
    },
    {
      "epoch": 0.07311111111111111,
      "grad_norm": 2.594386100769043,
      "learning_rate": 3.653333333333334e-05,
      "loss": 1.8259,
      "step": 1645
    },
    {
      "epoch": 0.07333333333333333,
      "grad_norm": 2.472090482711792,
      "learning_rate": 3.664444444444445e-05,
      "loss": 1.7703,
      "step": 1650
    },
    {
      "epoch": 0.07355555555555555,
      "grad_norm": 2.473289966583252,
      "learning_rate": 3.675555555555556e-05,
      "loss": 1.8329,
      "step": 1655
    },
    {
      "epoch": 0.07377777777777778,
      "grad_norm": 2.8853282928466797,
      "learning_rate": 3.6866666666666664e-05,
      "loss": 2.0905,
      "step": 1660
    },
    {
      "epoch": 0.074,
      "grad_norm": 3.0256757736206055,
      "learning_rate": 3.697777777777778e-05,
      "loss": 2.2349,
      "step": 1665
    },
    {
      "epoch": 0.07422222222222222,
      "grad_norm": 2.4593427181243896,
      "learning_rate": 3.708888888888889e-05,
      "loss": 1.8952,
      "step": 1670
    },
    {
      "epoch": 0.07444444444444444,
      "grad_norm": 2.474836587905884,
      "learning_rate": 3.72e-05,
      "loss": 2.037,
      "step": 1675
    },
    {
      "epoch": 0.07466666666666667,
      "grad_norm": 2.7880139350891113,
      "learning_rate": 3.731111111111111e-05,
      "loss": 1.8287,
      "step": 1680
    },
    {
      "epoch": 0.0748888888888889,
      "grad_norm": 0.8330377340316772,
      "learning_rate": 3.742222222222223e-05,
      "loss": 1.5941,
      "step": 1685
    },
    {
      "epoch": 0.07511111111111111,
      "grad_norm": 3.4685285091400146,
      "learning_rate": 3.7533333333333335e-05,
      "loss": 1.7324,
      "step": 1690
    },
    {
      "epoch": 0.07533333333333334,
      "grad_norm": 2.875338077545166,
      "learning_rate": 3.764444444444445e-05,
      "loss": 1.8641,
      "step": 1695
    },
    {
      "epoch": 0.07555555555555556,
      "grad_norm": 2.169759750366211,
      "learning_rate": 3.775555555555555e-05,
      "loss": 1.4627,
      "step": 1700
    },
    {
      "epoch": 0.07577777777777778,
      "grad_norm": 1.5770620107650757,
      "learning_rate": 3.786666666666667e-05,
      "loss": 1.9297,
      "step": 1705
    },
    {
      "epoch": 0.076,
      "grad_norm": 2.375988721847534,
      "learning_rate": 3.7977777777777776e-05,
      "loss": 1.7521,
      "step": 1710
    },
    {
      "epoch": 0.07622222222222222,
      "grad_norm": 4.957764148712158,
      "learning_rate": 3.808888888888889e-05,
      "loss": 2.3277,
      "step": 1715
    },
    {
      "epoch": 0.07644444444444444,
      "grad_norm": 2.1816136837005615,
      "learning_rate": 3.82e-05,
      "loss": 2.0751,
      "step": 1720
    },
    {
      "epoch": 0.07666666666666666,
      "grad_norm": 1.502572774887085,
      "learning_rate": 3.8311111111111115e-05,
      "loss": 1.4424,
      "step": 1725
    },
    {
      "epoch": 0.0768888888888889,
      "grad_norm": 4.95842981338501,
      "learning_rate": 3.8422222222222224e-05,
      "loss": 1.95,
      "step": 1730
    },
    {
      "epoch": 0.07711111111111112,
      "grad_norm": 2.581796407699585,
      "learning_rate": 3.853333333333334e-05,
      "loss": 1.9157,
      "step": 1735
    },
    {
      "epoch": 0.07733333333333334,
      "grad_norm": 6.370711803436279,
      "learning_rate": 3.864444444444444e-05,
      "loss": 1.738,
      "step": 1740
    },
    {
      "epoch": 0.07755555555555556,
      "grad_norm": 2.6470346450805664,
      "learning_rate": 3.8755555555555556e-05,
      "loss": 1.92,
      "step": 1745
    },
    {
      "epoch": 0.07777777777777778,
      "grad_norm": 0.8188801407814026,
      "learning_rate": 3.8866666666666665e-05,
      "loss": 0.8246,
      "step": 1750
    },
    {
      "epoch": 0.078,
      "grad_norm": 3.1352319717407227,
      "learning_rate": 3.897777777777778e-05,
      "loss": 1.8318,
      "step": 1755
    },
    {
      "epoch": 0.07822222222222222,
      "grad_norm": 2.309589147567749,
      "learning_rate": 3.908888888888889e-05,
      "loss": 2.131,
      "step": 1760
    },
    {
      "epoch": 0.07844444444444444,
      "grad_norm": 1.7519222497940063,
      "learning_rate": 3.9200000000000004e-05,
      "loss": 1.3135,
      "step": 1765
    },
    {
      "epoch": 0.07866666666666666,
      "grad_norm": 3.2879140377044678,
      "learning_rate": 3.931111111111111e-05,
      "loss": 1.7934,
      "step": 1770
    },
    {
      "epoch": 0.07888888888888888,
      "grad_norm": 2.5657825469970703,
      "learning_rate": 3.942222222222222e-05,
      "loss": 1.8432,
      "step": 1775
    },
    {
      "epoch": 0.0791111111111111,
      "grad_norm": 1.8088513612747192,
      "learning_rate": 3.9533333333333337e-05,
      "loss": 2.2774,
      "step": 1780
    },
    {
      "epoch": 0.07933333333333334,
      "grad_norm": 2.5453269481658936,
      "learning_rate": 3.9644444444444445e-05,
      "loss": 2.094,
      "step": 1785
    },
    {
      "epoch": 0.07955555555555556,
      "grad_norm": 1.9421855211257935,
      "learning_rate": 3.9755555555555554e-05,
      "loss": 1.8346,
      "step": 1790
    },
    {
      "epoch": 0.07977777777777778,
      "grad_norm": 2.2306156158447266,
      "learning_rate": 3.986666666666667e-05,
      "loss": 1.5522,
      "step": 1795
    },
    {
      "epoch": 0.08,
      "grad_norm": 1.7891724109649658,
      "learning_rate": 3.997777777777778e-05,
      "loss": 1.9233,
      "step": 1800
    },
    {
      "epoch": 0.08,
      "eval_loss": 2.0342750549316406,
      "eval_runtime": 121.9393,
      "eval_samples_per_second": 16.402,
      "eval_steps_per_second": 4.1,
      "step": 1800
    },
    {
      "epoch": 0.08022222222222222,
      "grad_norm": 1.5035170316696167,
      "learning_rate": 4.008888888888889e-05,
      "loss": 1.9803,
      "step": 1805
    },
    {
      "epoch": 0.08044444444444444,
      "grad_norm": 2.369595527648926,
      "learning_rate": 4.02e-05,
      "loss": 1.898,
      "step": 1810
    },
    {
      "epoch": 0.08066666666666666,
      "grad_norm": 2.002580404281616,
      "learning_rate": 4.031111111111111e-05,
      "loss": 2.079,
      "step": 1815
    },
    {
      "epoch": 0.08088888888888889,
      "grad_norm": 1.9352738857269287,
      "learning_rate": 4.0422222222222225e-05,
      "loss": 1.8198,
      "step": 1820
    },
    {
      "epoch": 0.0811111111111111,
      "grad_norm": 1.7339955568313599,
      "learning_rate": 4.0533333333333334e-05,
      "loss": 2.2741,
      "step": 1825
    },
    {
      "epoch": 0.08133333333333333,
      "grad_norm": 2.2577333450317383,
      "learning_rate": 4.064444444444445e-05,
      "loss": 1.9235,
      "step": 1830
    },
    {
      "epoch": 0.08155555555555556,
      "grad_norm": 2.5537281036376953,
      "learning_rate": 4.075555555555556e-05,
      "loss": 1.9645,
      "step": 1835
    },
    {
      "epoch": 0.08177777777777778,
      "grad_norm": 2.0256567001342773,
      "learning_rate": 4.086666666666667e-05,
      "loss": 2.1379,
      "step": 1840
    },
    {
      "epoch": 0.082,
      "grad_norm": 0.7651568055152893,
      "learning_rate": 4.097777777777778e-05,
      "loss": 1.8702,
      "step": 1845
    },
    {
      "epoch": 0.08222222222222222,
      "grad_norm": 1.9118269681930542,
      "learning_rate": 4.10888888888889e-05,
      "loss": 2.242,
      "step": 1850
    },
    {
      "epoch": 0.08244444444444445,
      "grad_norm": 2.038362979888916,
      "learning_rate": 4.12e-05,
      "loss": 1.7657,
      "step": 1855
    },
    {
      "epoch": 0.08266666666666667,
      "grad_norm": 2.4957435131073,
      "learning_rate": 4.1311111111111114e-05,
      "loss": 1.8924,
      "step": 1860
    },
    {
      "epoch": 0.08288888888888889,
      "grad_norm": 2.122509241104126,
      "learning_rate": 4.142222222222222e-05,
      "loss": 1.9131,
      "step": 1865
    },
    {
      "epoch": 0.08311111111111111,
      "grad_norm": 1.4855365753173828,
      "learning_rate": 4.153333333333334e-05,
      "loss": 2.1654,
      "step": 1870
    },
    {
      "epoch": 0.08333333333333333,
      "grad_norm": 2.464536428451538,
      "learning_rate": 4.1644444444444446e-05,
      "loss": 2.0236,
      "step": 1875
    },
    {
      "epoch": 0.08355555555555555,
      "grad_norm": 2.3184924125671387,
      "learning_rate": 4.175555555555556e-05,
      "loss": 2.2958,
      "step": 1880
    },
    {
      "epoch": 0.08377777777777778,
      "grad_norm": 2.039975881576538,
      "learning_rate": 4.186666666666667e-05,
      "loss": 1.8278,
      "step": 1885
    },
    {
      "epoch": 0.084,
      "grad_norm": 2.6562352180480957,
      "learning_rate": 4.1977777777777785e-05,
      "loss": 2.1509,
      "step": 1890
    },
    {
      "epoch": 0.08422222222222223,
      "grad_norm": 3.4507012367248535,
      "learning_rate": 4.208888888888889e-05,
      "loss": 1.8209,
      "step": 1895
    },
    {
      "epoch": 0.08444444444444445,
      "grad_norm": 2.286764144897461,
      "learning_rate": 4.22e-05,
      "loss": 2.2813,
      "step": 1900
    },
    {
      "epoch": 0.08466666666666667,
      "grad_norm": 2.9504542350769043,
      "learning_rate": 4.231111111111111e-05,
      "loss": 2.1606,
      "step": 1905
    },
    {
      "epoch": 0.08488888888888889,
      "grad_norm": 1.7212591171264648,
      "learning_rate": 4.2422222222222226e-05,
      "loss": 1.9508,
      "step": 1910
    },
    {
      "epoch": 0.08511111111111111,
      "grad_norm": 2.790598154067993,
      "learning_rate": 4.2533333333333335e-05,
      "loss": 1.8956,
      "step": 1915
    },
    {
      "epoch": 0.08533333333333333,
      "grad_norm": 1.9606642723083496,
      "learning_rate": 4.264444444444445e-05,
      "loss": 2.0656,
      "step": 1920
    },
    {
      "epoch": 0.08555555555555555,
      "grad_norm": 1.957405686378479,
      "learning_rate": 4.275555555555556e-05,
      "loss": 2.1744,
      "step": 1925
    },
    {
      "epoch": 0.08577777777777777,
      "grad_norm": 2.1646008491516113,
      "learning_rate": 4.286666666666667e-05,
      "loss": 1.8977,
      "step": 1930
    },
    {
      "epoch": 0.086,
      "grad_norm": 2.1646227836608887,
      "learning_rate": 4.2977777777777776e-05,
      "loss": 2.2086,
      "step": 1935
    },
    {
      "epoch": 0.08622222222222223,
      "grad_norm": 2.424565076828003,
      "learning_rate": 4.308888888888889e-05,
      "loss": 1.8723,
      "step": 1940
    },
    {
      "epoch": 0.08644444444444445,
      "grad_norm": 2.4096944332122803,
      "learning_rate": 4.32e-05,
      "loss": 2.1088,
      "step": 1945
    },
    {
      "epoch": 0.08666666666666667,
      "grad_norm": 2.700857162475586,
      "learning_rate": 4.3311111111111115e-05,
      "loss": 1.7662,
      "step": 1950
    },
    {
      "epoch": 0.08688888888888889,
      "grad_norm": 2.3438637256622314,
      "learning_rate": 4.3422222222222224e-05,
      "loss": 2.3363,
      "step": 1955
    },
    {
      "epoch": 0.08711111111111111,
      "grad_norm": 1.277588963508606,
      "learning_rate": 4.353333333333334e-05,
      "loss": 1.9841,
      "step": 1960
    },
    {
      "epoch": 0.08733333333333333,
      "grad_norm": 2.5005133152008057,
      "learning_rate": 4.364444444444445e-05,
      "loss": 2.0113,
      "step": 1965
    },
    {
      "epoch": 0.08755555555555555,
      "grad_norm": 2.1023125648498535,
      "learning_rate": 4.3755555555555556e-05,
      "loss": 2.3008,
      "step": 1970
    },
    {
      "epoch": 0.08777777777777777,
      "grad_norm": 2.1307971477508545,
      "learning_rate": 4.3866666666666665e-05,
      "loss": 2.1014,
      "step": 1975
    },
    {
      "epoch": 0.088,
      "grad_norm": 2.453190565109253,
      "learning_rate": 4.397777777777778e-05,
      "loss": 2.0515,
      "step": 1980
    },
    {
      "epoch": 0.08822222222222222,
      "grad_norm": 2.4623236656188965,
      "learning_rate": 4.408888888888889e-05,
      "loss": 2.0254,
      "step": 1985
    },
    {
      "epoch": 0.08844444444444445,
      "grad_norm": 2.0474932193756104,
      "learning_rate": 4.4200000000000004e-05,
      "loss": 1.6791,
      "step": 1990
    },
    {
      "epoch": 0.08866666666666667,
      "grad_norm": 2.1333961486816406,
      "learning_rate": 4.431111111111111e-05,
      "loss": 2.1629,
      "step": 1995
    },
    {
      "epoch": 0.08888888888888889,
      "grad_norm": 1.8846896886825562,
      "learning_rate": 4.442222222222223e-05,
      "loss": 1.9459,
      "step": 2000
    },
    {
      "epoch": 0.08911111111111111,
      "grad_norm": 2.545307159423828,
      "learning_rate": 4.4533333333333336e-05,
      "loss": 1.4811,
      "step": 2005
    },
    {
      "epoch": 0.08933333333333333,
      "grad_norm": 2.179758071899414,
      "learning_rate": 4.4644444444444445e-05,
      "loss": 2.1946,
      "step": 2010
    },
    {
      "epoch": 0.08955555555555555,
      "grad_norm": 2.9177284240722656,
      "learning_rate": 4.475555555555555e-05,
      "loss": 2.196,
      "step": 2015
    },
    {
      "epoch": 0.08977777777777778,
      "grad_norm": 1.7919845581054688,
      "learning_rate": 4.486666666666667e-05,
      "loss": 1.7281,
      "step": 2020
    },
    {
      "epoch": 0.09,
      "grad_norm": 1.6688721179962158,
      "learning_rate": 4.497777777777778e-05,
      "loss": 1.98,
      "step": 2025
    },
    {
      "epoch": 0.09022222222222222,
      "grad_norm": 2.541410207748413,
      "learning_rate": 4.508888888888889e-05,
      "loss": 2.0107,
      "step": 2030
    },
    {
      "epoch": 0.09044444444444444,
      "grad_norm": 1.8349446058273315,
      "learning_rate": 4.52e-05,
      "loss": 2.1329,
      "step": 2035
    },
    {
      "epoch": 0.09066666666666667,
      "grad_norm": 1.955231785774231,
      "learning_rate": 4.5311111111111116e-05,
      "loss": 2.1009,
      "step": 2040
    },
    {
      "epoch": 0.0908888888888889,
      "grad_norm": 1.328952670097351,
      "learning_rate": 4.5422222222222225e-05,
      "loss": 1.8635,
      "step": 2045
    },
    {
      "epoch": 0.09111111111111111,
      "grad_norm": 2.011204957962036,
      "learning_rate": 4.553333333333333e-05,
      "loss": 1.9779,
      "step": 2050
    },
    {
      "epoch": 0.09133333333333334,
      "grad_norm": 1.5976519584655762,
      "learning_rate": 4.564444444444444e-05,
      "loss": 1.7862,
      "step": 2055
    },
    {
      "epoch": 0.09155555555555556,
      "grad_norm": 2.342573642730713,
      "learning_rate": 4.575555555555556e-05,
      "loss": 2.2831,
      "step": 2060
    },
    {
      "epoch": 0.09177777777777778,
      "grad_norm": 2.437177896499634,
      "learning_rate": 4.5866666666666666e-05,
      "loss": 2.0816,
      "step": 2065
    },
    {
      "epoch": 0.092,
      "grad_norm": 2.091151714324951,
      "learning_rate": 4.597777777777778e-05,
      "loss": 1.3527,
      "step": 2070
    },
    {
      "epoch": 0.09222222222222222,
      "grad_norm": 2.339303970336914,
      "learning_rate": 4.608888888888889e-05,
      "loss": 2.3198,
      "step": 2075
    },
    {
      "epoch": 0.09244444444444444,
      "grad_norm": 1.840614676475525,
      "learning_rate": 4.6200000000000005e-05,
      "loss": 1.4207,
      "step": 2080
    },
    {
      "epoch": 0.09266666666666666,
      "grad_norm": 2.152400016784668,
      "learning_rate": 4.6311111111111113e-05,
      "loss": 2.1484,
      "step": 2085
    },
    {
      "epoch": 0.09288888888888888,
      "grad_norm": 2.2355358600616455,
      "learning_rate": 4.642222222222222e-05,
      "loss": 2.1035,
      "step": 2090
    },
    {
      "epoch": 0.09311111111111112,
      "grad_norm": 1.953253984451294,
      "learning_rate": 4.653333333333334e-05,
      "loss": 1.9384,
      "step": 2095
    },
    {
      "epoch": 0.09333333333333334,
      "grad_norm": 1.703277587890625,
      "learning_rate": 4.6644444444444446e-05,
      "loss": 2.1509,
      "step": 2100
    },
    {
      "epoch": 0.09333333333333334,
      "eval_loss": 2.0069425106048584,
      "eval_runtime": 122.0434,
      "eval_samples_per_second": 16.388,
      "eval_steps_per_second": 4.097,
      "step": 2100
    },
    {
      "epoch": 0.09355555555555556,
      "grad_norm": 1.4576873779296875,
      "learning_rate": 4.675555555555556e-05,
      "loss": 1.6996,
      "step": 2105
    },
    {
      "epoch": 0.09377777777777778,
      "grad_norm": 2.2277281284332275,
      "learning_rate": 4.686666666666667e-05,
      "loss": 1.7787,
      "step": 2110
    },
    {
      "epoch": 0.094,
      "grad_norm": 1.4923386573791504,
      "learning_rate": 4.6977777777777785e-05,
      "loss": 1.6792,
      "step": 2115
    },
    {
      "epoch": 0.09422222222222222,
      "grad_norm": 1.565282940864563,
      "learning_rate": 4.7088888888888894e-05,
      "loss": 1.6847,
      "step": 2120
    },
    {
      "epoch": 0.09444444444444444,
      "grad_norm": 2.332981824874878,
      "learning_rate": 4.72e-05,
      "loss": 2.0314,
      "step": 2125
    },
    {
      "epoch": 0.09466666666666666,
      "grad_norm": 2.558762788772583,
      "learning_rate": 4.731111111111111e-05,
      "loss": 1.456,
      "step": 2130
    },
    {
      "epoch": 0.09488888888888888,
      "grad_norm": 1.884967565536499,
      "learning_rate": 4.7422222222222226e-05,
      "loss": 2.2199,
      "step": 2135
    },
    {
      "epoch": 0.0951111111111111,
      "grad_norm": 2.18645977973938,
      "learning_rate": 4.7533333333333334e-05,
      "loss": 2.0121,
      "step": 2140
    },
    {
      "epoch": 0.09533333333333334,
      "grad_norm": 2.340965747833252,
      "learning_rate": 4.764444444444445e-05,
      "loss": 2.0505,
      "step": 2145
    },
    {
      "epoch": 0.09555555555555556,
      "grad_norm": 1.3585506677627563,
      "learning_rate": 4.775555555555556e-05,
      "loss": 2.2709,
      "step": 2150
    },
    {
      "epoch": 0.09577777777777778,
      "grad_norm": 2.71193790435791,
      "learning_rate": 4.7866666666666674e-05,
      "loss": 1.7381,
      "step": 2155
    },
    {
      "epoch": 0.096,
      "grad_norm": 2.5927162170410156,
      "learning_rate": 4.797777777777778e-05,
      "loss": 1.6814,
      "step": 2160
    },
    {
      "epoch": 0.09622222222222222,
      "grad_norm": 2.164475440979004,
      "learning_rate": 4.808888888888889e-05,
      "loss": 1.6467,
      "step": 2165
    },
    {
      "epoch": 0.09644444444444444,
      "grad_norm": 1.338387370109558,
      "learning_rate": 4.82e-05,
      "loss": 1.8974,
      "step": 2170
    },
    {
      "epoch": 0.09666666666666666,
      "grad_norm": 3.202620267868042,
      "learning_rate": 4.8311111111111115e-05,
      "loss": 2.0718,
      "step": 2175
    },
    {
      "epoch": 0.09688888888888889,
      "grad_norm": 2.6086597442626953,
      "learning_rate": 4.842222222222222e-05,
      "loss": 1.9164,
      "step": 2180
    },
    {
      "epoch": 0.0971111111111111,
      "grad_norm": 2.290248394012451,
      "learning_rate": 4.853333333333334e-05,
      "loss": 1.9631,
      "step": 2185
    },
    {
      "epoch": 0.09733333333333333,
      "grad_norm": 2.4917023181915283,
      "learning_rate": 4.864444444444445e-05,
      "loss": 2.0616,
      "step": 2190
    },
    {
      "epoch": 0.09755555555555556,
      "grad_norm": 3.0981037616729736,
      "learning_rate": 4.875555555555556e-05,
      "loss": 1.7149,
      "step": 2195
    },
    {
      "epoch": 0.09777777777777778,
      "grad_norm": 2.1771883964538574,
      "learning_rate": 4.886666666666667e-05,
      "loss": 1.9235,
      "step": 2200
    },
    {
      "epoch": 0.098,
      "grad_norm": 0.8176302909851074,
      "learning_rate": 4.897777777777778e-05,
      "loss": 1.4513,
      "step": 2205
    },
    {
      "epoch": 0.09822222222222222,
      "grad_norm": 2.454803705215454,
      "learning_rate": 4.908888888888889e-05,
      "loss": 1.8093,
      "step": 2210
    },
    {
      "epoch": 0.09844444444444445,
      "grad_norm": 1.693090558052063,
      "learning_rate": 4.92e-05,
      "loss": 2.3911,
      "step": 2215
    },
    {
      "epoch": 0.09866666666666667,
      "grad_norm": 2.2251288890838623,
      "learning_rate": 4.931111111111111e-05,
      "loss": 1.7586,
      "step": 2220
    },
    {
      "epoch": 0.09888888888888889,
      "grad_norm": 2.066694736480713,
      "learning_rate": 4.942222222222223e-05,
      "loss": 2.0121,
      "step": 2225
    },
    {
      "epoch": 0.09911111111111111,
      "grad_norm": 2.2140603065490723,
      "learning_rate": 4.9533333333333336e-05,
      "loss": 2.1717,
      "step": 2230
    },
    {
      "epoch": 0.09933333333333333,
      "grad_norm": 2.484412431716919,
      "learning_rate": 4.964444444444445e-05,
      "loss": 2.0689,
      "step": 2235
    },
    {
      "epoch": 0.09955555555555555,
      "grad_norm": 2.687941551208496,
      "learning_rate": 4.975555555555555e-05,
      "loss": 1.8229,
      "step": 2240
    },
    {
      "epoch": 0.09977777777777778,
      "grad_norm": 2.409747362136841,
      "learning_rate": 4.986666666666667e-05,
      "loss": 2.1526,
      "step": 2245
    },
    {
      "epoch": 0.1,
      "grad_norm": 1.786603569984436,
      "learning_rate": 4.997777777777778e-05,
      "loss": 1.809,
      "step": 2250
    },
    {
      "epoch": 0.10022222222222223,
      "grad_norm": 2.048715591430664,
      "learning_rate": 4.99953216374269e-05,
      "loss": 1.9548,
      "step": 2255
    },
    {
      "epoch": 0.10044444444444445,
      "grad_norm": 2.092186212539673,
      "learning_rate": 4.9989473684210534e-05,
      "loss": 1.9981,
      "step": 2260
    },
    {
      "epoch": 0.10066666666666667,
      "grad_norm": 1.7455987930297852,
      "learning_rate": 4.998362573099415e-05,
      "loss": 1.756,
      "step": 2265
    },
    {
      "epoch": 0.10088888888888889,
      "grad_norm": 2.372652769088745,
      "learning_rate": 4.997777777777778e-05,
      "loss": 2.138,
      "step": 2270
    },
    {
      "epoch": 0.10111111111111111,
      "grad_norm": 2.2929725646972656,
      "learning_rate": 4.99719298245614e-05,
      "loss": 1.9603,
      "step": 2275
    },
    {
      "epoch": 0.10133333333333333,
      "grad_norm": 2.174755573272705,
      "learning_rate": 4.996608187134503e-05,
      "loss": 1.6997,
      "step": 2280
    },
    {
      "epoch": 0.10155555555555555,
      "grad_norm": 1.698858380317688,
      "learning_rate": 4.996023391812866e-05,
      "loss": 2.3465,
      "step": 2285
    },
    {
      "epoch": 0.10177777777777777,
      "grad_norm": 2.097960948944092,
      "learning_rate": 4.995438596491228e-05,
      "loss": 1.8107,
      "step": 2290
    },
    {
      "epoch": 0.102,
      "grad_norm": 2.7390034198760986,
      "learning_rate": 4.9948538011695914e-05,
      "loss": 1.7947,
      "step": 2295
    },
    {
      "epoch": 0.10222222222222223,
      "grad_norm": 2.550544261932373,
      "learning_rate": 4.994269005847953e-05,
      "loss": 1.722,
      "step": 2300
    },
    {
      "epoch": 0.10244444444444445,
      "grad_norm": 2.4508800506591797,
      "learning_rate": 4.993684210526316e-05,
      "loss": 2.039,
      "step": 2305
    },
    {
      "epoch": 0.10266666666666667,
      "grad_norm": 2.100214719772339,
      "learning_rate": 4.993099415204678e-05,
      "loss": 1.8904,
      "step": 2310
    },
    {
      "epoch": 0.10288888888888889,
      "grad_norm": 2.4983625411987305,
      "learning_rate": 4.992514619883041e-05,
      "loss": 2.1334,
      "step": 2315
    },
    {
      "epoch": 0.10311111111111111,
      "grad_norm": 1.7674057483673096,
      "learning_rate": 4.991929824561404e-05,
      "loss": 1.4844,
      "step": 2320
    },
    {
      "epoch": 0.10333333333333333,
      "grad_norm": 2.6715166568756104,
      "learning_rate": 4.991345029239766e-05,
      "loss": 2.4459,
      "step": 2325
    },
    {
      "epoch": 0.10355555555555555,
      "grad_norm": 1.9001641273498535,
      "learning_rate": 4.990760233918129e-05,
      "loss": 1.4302,
      "step": 2330
    },
    {
      "epoch": 0.10377777777777777,
      "grad_norm": 1.481083631515503,
      "learning_rate": 4.990175438596492e-05,
      "loss": 1.9158,
      "step": 2335
    },
    {
      "epoch": 0.104,
      "grad_norm": 1.6617543697357178,
      "learning_rate": 4.989590643274854e-05,
      "loss": 2.1109,
      "step": 2340
    },
    {
      "epoch": 0.10422222222222222,
      "grad_norm": 2.355802297592163,
      "learning_rate": 4.989005847953216e-05,
      "loss": 2.2529,
      "step": 2345
    },
    {
      "epoch": 0.10444444444444445,
      "grad_norm": 2.070647954940796,
      "learning_rate": 4.9884210526315794e-05,
      "loss": 1.4844,
      "step": 2350
    },
    {
      "epoch": 0.10466666666666667,
      "grad_norm": 2.5087814331054688,
      "learning_rate": 4.987836257309942e-05,
      "loss": 1.9746,
      "step": 2355
    },
    {
      "epoch": 0.10488888888888889,
      "grad_norm": 2.762493133544922,
      "learning_rate": 4.987251461988304e-05,
      "loss": 1.8302,
      "step": 2360
    },
    {
      "epoch": 0.10511111111111111,
      "grad_norm": 2.2589659690856934,
      "learning_rate": 4.986666666666667e-05,
      "loss": 1.8222,
      "step": 2365
    },
    {
      "epoch": 0.10533333333333333,
      "grad_norm": 1.898855447769165,
      "learning_rate": 4.98608187134503e-05,
      "loss": 1.9288,
      "step": 2370
    },
    {
      "epoch": 0.10555555555555556,
      "grad_norm": 2.202141761779785,
      "learning_rate": 4.9854970760233924e-05,
      "loss": 1.8512,
      "step": 2375
    },
    {
      "epoch": 0.10577777777777778,
      "grad_norm": 2.0297691822052,
      "learning_rate": 4.984912280701754e-05,
      "loss": 2.0366,
      "step": 2380
    },
    {
      "epoch": 0.106,
      "grad_norm": 1.8088616132736206,
      "learning_rate": 4.984327485380117e-05,
      "loss": 2.2311,
      "step": 2385
    },
    {
      "epoch": 0.10622222222222222,
      "grad_norm": 2.0344784259796143,
      "learning_rate": 4.98374269005848e-05,
      "loss": 2.1276,
      "step": 2390
    },
    {
      "epoch": 0.10644444444444444,
      "grad_norm": 2.132504940032959,
      "learning_rate": 4.9831578947368424e-05,
      "loss": 2.0014,
      "step": 2395
    },
    {
      "epoch": 0.10666666666666667,
      "grad_norm": 2.0114262104034424,
      "learning_rate": 4.982573099415205e-05,
      "loss": 2.2165,
      "step": 2400
    },
    {
      "epoch": 0.10666666666666667,
      "eval_loss": 1.9822604656219482,
      "eval_runtime": 122.0655,
      "eval_samples_per_second": 16.385,
      "eval_steps_per_second": 4.096,
      "step": 2400
    },
    {
      "epoch": 0.1068888888888889,
      "grad_norm": 1.9237425327301025,
      "learning_rate": 4.981988304093568e-05,
      "loss": 2.1739,
      "step": 2405
    },
    {
      "epoch": 0.10711111111111112,
      "grad_norm": 1.7986558675765991,
      "learning_rate": 4.9814035087719305e-05,
      "loss": 1.4494,
      "step": 2410
    },
    {
      "epoch": 0.10733333333333334,
      "grad_norm": 2.8651211261749268,
      "learning_rate": 4.980818713450292e-05,
      "loss": 1.787,
      "step": 2415
    },
    {
      "epoch": 0.10755555555555556,
      "grad_norm": 2.3686273097991943,
      "learning_rate": 4.980233918128655e-05,
      "loss": 1.9175,
      "step": 2420
    },
    {
      "epoch": 0.10777777777777778,
      "grad_norm": 2.2290539741516113,
      "learning_rate": 4.979649122807018e-05,
      "loss": 1.8171,
      "step": 2425
    },
    {
      "epoch": 0.108,
      "grad_norm": 2.361377477645874,
      "learning_rate": 4.9790643274853804e-05,
      "loss": 2.0946,
      "step": 2430
    },
    {
      "epoch": 0.10822222222222222,
      "grad_norm": 2.0666654109954834,
      "learning_rate": 4.978479532163743e-05,
      "loss": 2.238,
      "step": 2435
    },
    {
      "epoch": 0.10844444444444444,
      "grad_norm": 3.9505748748779297,
      "learning_rate": 4.9778947368421054e-05,
      "loss": 1.5247,
      "step": 2440
    },
    {
      "epoch": 0.10866666666666666,
      "grad_norm": 1.6858570575714111,
      "learning_rate": 4.9773099415204685e-05,
      "loss": 2.3558,
      "step": 2445
    },
    {
      "epoch": 0.10888888888888888,
      "grad_norm": 2.0278148651123047,
      "learning_rate": 4.976725146198831e-05,
      "loss": 2.0657,
      "step": 2450
    },
    {
      "epoch": 0.10911111111111112,
      "grad_norm": 1.773662805557251,
      "learning_rate": 4.976140350877193e-05,
      "loss": 1.9238,
      "step": 2455
    },
    {
      "epoch": 0.10933333333333334,
      "grad_norm": 2.303539514541626,
      "learning_rate": 4.975555555555555e-05,
      "loss": 1.9832,
      "step": 2460
    },
    {
      "epoch": 0.10955555555555556,
      "grad_norm": 2.2359540462493896,
      "learning_rate": 4.9749707602339184e-05,
      "loss": 1.7045,
      "step": 2465
    },
    {
      "epoch": 0.10977777777777778,
      "grad_norm": 2.239574909210205,
      "learning_rate": 4.974385964912281e-05,
      "loss": 1.917,
      "step": 2470
    },
    {
      "epoch": 0.11,
      "grad_norm": 2.4742064476013184,
      "learning_rate": 4.9738011695906434e-05,
      "loss": 1.9169,
      "step": 2475
    },
    {
      "epoch": 0.11022222222222222,
      "grad_norm": 2.423206329345703,
      "learning_rate": 4.9732163742690066e-05,
      "loss": 1.8665,
      "step": 2480
    },
    {
      "epoch": 0.11044444444444444,
      "grad_norm": 2.065600633621216,
      "learning_rate": 4.972631578947369e-05,
      "loss": 1.8003,
      "step": 2485
    },
    {
      "epoch": 0.11066666666666666,
      "grad_norm": 2.0782902240753174,
      "learning_rate": 4.9720467836257315e-05,
      "loss": 1.9588,
      "step": 2490
    },
    {
      "epoch": 0.11088888888888888,
      "grad_norm": 2.004896879196167,
      "learning_rate": 4.971461988304093e-05,
      "loss": 1.4675,
      "step": 2495
    },
    {
      "epoch": 0.1111111111111111,
      "grad_norm": 1.9852852821350098,
      "learning_rate": 4.9708771929824565e-05,
      "loss": 2.1616,
      "step": 2500
    },
    {
      "epoch": 0.11133333333333334,
      "grad_norm": 2.2803125381469727,
      "learning_rate": 4.970292397660819e-05,
      "loss": 2.1328,
      "step": 2505
    },
    {
      "epoch": 0.11155555555555556,
      "grad_norm": 2.332519054412842,
      "learning_rate": 4.9697076023391814e-05,
      "loss": 1.656,
      "step": 2510
    },
    {
      "epoch": 0.11177777777777778,
      "grad_norm": 1.8968918323516846,
      "learning_rate": 4.969122807017544e-05,
      "loss": 1.8903,
      "step": 2515
    },
    {
      "epoch": 0.112,
      "grad_norm": 2.067706346511841,
      "learning_rate": 4.968538011695907e-05,
      "loss": 2.0233,
      "step": 2520
    },
    {
      "epoch": 0.11222222222222222,
      "grad_norm": 2.0660979747772217,
      "learning_rate": 4.9679532163742695e-05,
      "loss": 2.0685,
      "step": 2525
    },
    {
      "epoch": 0.11244444444444444,
      "grad_norm": 2.505568504333496,
      "learning_rate": 4.9673684210526313e-05,
      "loss": 2.0859,
      "step": 2530
    },
    {
      "epoch": 0.11266666666666666,
      "grad_norm": 1.423121452331543,
      "learning_rate": 4.9667836257309945e-05,
      "loss": 2.1427,
      "step": 2535
    },
    {
      "epoch": 0.11288888888888889,
      "grad_norm": 2.1230764389038086,
      "learning_rate": 4.966198830409357e-05,
      "loss": 1.8017,
      "step": 2540
    },
    {
      "epoch": 0.1131111111111111,
      "grad_norm": 1.9975138902664185,
      "learning_rate": 4.9656140350877195e-05,
      "loss": 2.0798,
      "step": 2545
    },
    {
      "epoch": 0.11333333333333333,
      "grad_norm": 2.2881393432617188,
      "learning_rate": 4.965029239766082e-05,
      "loss": 1.6899,
      "step": 2550
    },
    {
      "epoch": 0.11355555555555556,
      "grad_norm": 2.882949113845825,
      "learning_rate": 4.964444444444445e-05,
      "loss": 2.223,
      "step": 2555
    },
    {
      "epoch": 0.11377777777777778,
      "grad_norm": 2.0940089225769043,
      "learning_rate": 4.9638596491228076e-05,
      "loss": 2.0426,
      "step": 2560
    },
    {
      "epoch": 0.114,
      "grad_norm": 2.281691789627075,
      "learning_rate": 4.96327485380117e-05,
      "loss": 1.6338,
      "step": 2565
    },
    {
      "epoch": 0.11422222222222222,
      "grad_norm": 2.728689432144165,
      "learning_rate": 4.962690058479532e-05,
      "loss": 2.0338,
      "step": 2570
    },
    {
      "epoch": 0.11444444444444445,
      "grad_norm": 1.4598325490951538,
      "learning_rate": 4.962105263157895e-05,
      "loss": 1.7122,
      "step": 2575
    },
    {
      "epoch": 0.11466666666666667,
      "grad_norm": 2.853543519973755,
      "learning_rate": 4.9615204678362575e-05,
      "loss": 2.101,
      "step": 2580
    },
    {
      "epoch": 0.11488888888888889,
      "grad_norm": 2.635753631591797,
      "learning_rate": 4.96093567251462e-05,
      "loss": 1.6304,
      "step": 2585
    },
    {
      "epoch": 0.11511111111111111,
      "grad_norm": 2.2189061641693115,
      "learning_rate": 4.960350877192983e-05,
      "loss": 2.1279,
      "step": 2590
    },
    {
      "epoch": 0.11533333333333333,
      "grad_norm": 2.4691619873046875,
      "learning_rate": 4.9597660818713456e-05,
      "loss": 1.7718,
      "step": 2595
    },
    {
      "epoch": 0.11555555555555555,
      "grad_norm": 1.775450348854065,
      "learning_rate": 4.959181286549708e-05,
      "loss": 2.0284,
      "step": 2600
    },
    {
      "epoch": 0.11577777777777777,
      "grad_norm": 2.300396680831909,
      "learning_rate": 4.9585964912280706e-05,
      "loss": 1.7316,
      "step": 2605
    },
    {
      "epoch": 0.116,
      "grad_norm": 1.8519492149353027,
      "learning_rate": 4.958011695906433e-05,
      "loss": 1.7826,
      "step": 2610
    },
    {
      "epoch": 0.11622222222222223,
      "grad_norm": 2.0051887035369873,
      "learning_rate": 4.9574269005847955e-05,
      "loss": 1.9104,
      "step": 2615
    },
    {
      "epoch": 0.11644444444444445,
      "grad_norm": 1.8591209650039673,
      "learning_rate": 4.956842105263158e-05,
      "loss": 1.7701,
      "step": 2620
    },
    {
      "epoch": 0.11666666666666667,
      "grad_norm": 2.1474969387054443,
      "learning_rate": 4.9562573099415205e-05,
      "loss": 2.0844,
      "step": 2625
    },
    {
      "epoch": 0.11688888888888889,
      "grad_norm": 3.1434669494628906,
      "learning_rate": 4.9556725146198836e-05,
      "loss": 2.1923,
      "step": 2630
    },
    {
      "epoch": 0.11711111111111111,
      "grad_norm": 2.2715213298797607,
      "learning_rate": 4.955087719298246e-05,
      "loss": 1.8962,
      "step": 2635
    },
    {
      "epoch": 0.11733333333333333,
      "grad_norm": 2.18001651763916,
      "learning_rate": 4.9545029239766086e-05,
      "loss": 1.8911,
      "step": 2640
    },
    {
      "epoch": 0.11755555555555555,
      "grad_norm": 1.7169166803359985,
      "learning_rate": 4.9539181286549704e-05,
      "loss": 1.9629,
      "step": 2645
    },
    {
      "epoch": 0.11777777777777777,
      "grad_norm": 2.7384655475616455,
      "learning_rate": 4.9533333333333336e-05,
      "loss": 2.0007,
      "step": 2650
    },
    {
      "epoch": 0.118,
      "grad_norm": 1.9887020587921143,
      "learning_rate": 4.952748538011696e-05,
      "loss": 2.1922,
      "step": 2655
    },
    {
      "epoch": 0.11822222222222223,
      "grad_norm": 1.995349645614624,
      "learning_rate": 4.9521637426900585e-05,
      "loss": 1.5778,
      "step": 2660
    },
    {
      "epoch": 0.11844444444444445,
      "grad_norm": 2.577867269515991,
      "learning_rate": 4.951578947368422e-05,
      "loss": 1.9703,
      "step": 2665
    },
    {
      "epoch": 0.11866666666666667,
      "grad_norm": 2.3120009899139404,
      "learning_rate": 4.950994152046784e-05,
      "loss": 1.4415,
      "step": 2670
    },
    {
      "epoch": 0.11888888888888889,
      "grad_norm": 3.16467547416687,
      "learning_rate": 4.9504093567251466e-05,
      "loss": 1.8226,
      "step": 2675
    },
    {
      "epoch": 0.11911111111111111,
      "grad_norm": 2.1009182929992676,
      "learning_rate": 4.949824561403509e-05,
      "loss": 1.9941,
      "step": 2680
    },
    {
      "epoch": 0.11933333333333333,
      "grad_norm": 1.763094186782837,
      "learning_rate": 4.9492397660818716e-05,
      "loss": 1.647,
      "step": 2685
    },
    {
      "epoch": 0.11955555555555555,
      "grad_norm": 2.8556320667266846,
      "learning_rate": 4.948654970760234e-05,
      "loss": 1.8221,
      "step": 2690
    },
    {
      "epoch": 0.11977777777777777,
      "grad_norm": 2.338959217071533,
      "learning_rate": 4.9480701754385966e-05,
      "loss": 1.9982,
      "step": 2695
    },
    {
      "epoch": 0.12,
      "grad_norm": 2.561835527420044,
      "learning_rate": 4.947485380116959e-05,
      "loss": 2.0059,
      "step": 2700
    },
    {
      "epoch": 0.12,
      "eval_loss": 1.9647103548049927,
      "eval_runtime": 121.9817,
      "eval_samples_per_second": 16.396,
      "eval_steps_per_second": 4.099,
      "step": 2700
    },
    {
      "epoch": 0.12022222222222222,
      "grad_norm": 1.6800940036773682,
      "learning_rate": 4.946900584795322e-05,
      "loss": 1.9613,
      "step": 2705
    },
    {
      "epoch": 0.12044444444444445,
      "grad_norm": 1.9977138042449951,
      "learning_rate": 4.946315789473685e-05,
      "loss": 2.1485,
      "step": 2710
    },
    {
      "epoch": 0.12066666666666667,
      "grad_norm": 2.6543304920196533,
      "learning_rate": 4.945730994152047e-05,
      "loss": 2.0637,
      "step": 2715
    },
    {
      "epoch": 0.12088888888888889,
      "grad_norm": 2.1052169799804688,
      "learning_rate": 4.9451461988304096e-05,
      "loss": 1.789,
      "step": 2720
    },
    {
      "epoch": 0.12111111111111111,
      "grad_norm": 2.7101635932922363,
      "learning_rate": 4.944561403508772e-05,
      "loss": 1.7612,
      "step": 2725
    },
    {
      "epoch": 0.12133333333333333,
      "grad_norm": 2.058326244354248,
      "learning_rate": 4.9439766081871346e-05,
      "loss": 2.1062,
      "step": 2730
    },
    {
      "epoch": 0.12155555555555556,
      "grad_norm": 2.0812559127807617,
      "learning_rate": 4.943391812865497e-05,
      "loss": 1.8713,
      "step": 2735
    },
    {
      "epoch": 0.12177777777777778,
      "grad_norm": 2.52408504486084,
      "learning_rate": 4.94280701754386e-05,
      "loss": 1.7906,
      "step": 2740
    },
    {
      "epoch": 0.122,
      "grad_norm": 2.6966099739074707,
      "learning_rate": 4.942222222222223e-05,
      "loss": 1.7661,
      "step": 2745
    },
    {
      "epoch": 0.12222222222222222,
      "grad_norm": 1.9990609884262085,
      "learning_rate": 4.941637426900585e-05,
      "loss": 1.8868,
      "step": 2750
    },
    {
      "epoch": 0.12244444444444444,
      "grad_norm": 2.323963165283203,
      "learning_rate": 4.941052631578948e-05,
      "loss": 1.7853,
      "step": 2755
    },
    {
      "epoch": 0.12266666666666666,
      "grad_norm": 2.3769984245300293,
      "learning_rate": 4.94046783625731e-05,
      "loss": 1.4975,
      "step": 2760
    },
    {
      "epoch": 0.1228888888888889,
      "grad_norm": 2.2443833351135254,
      "learning_rate": 4.9398830409356726e-05,
      "loss": 1.8289,
      "step": 2765
    },
    {
      "epoch": 0.12311111111111112,
      "grad_norm": 2.1698286533355713,
      "learning_rate": 4.939298245614035e-05,
      "loss": 2.0375,
      "step": 2770
    },
    {
      "epoch": 0.12333333333333334,
      "grad_norm": 2.6498312950134277,
      "learning_rate": 4.9387134502923976e-05,
      "loss": 2.0369,
      "step": 2775
    },
    {
      "epoch": 0.12355555555555556,
      "grad_norm": 2.3592827320098877,
      "learning_rate": 4.938128654970761e-05,
      "loss": 2.2429,
      "step": 2780
    },
    {
      "epoch": 0.12377777777777778,
      "grad_norm": 2.328073740005493,
      "learning_rate": 4.937543859649123e-05,
      "loss": 2.0503,
      "step": 2785
    },
    {
      "epoch": 0.124,
      "grad_norm": 1.9861987829208374,
      "learning_rate": 4.936959064327486e-05,
      "loss": 1.7875,
      "step": 2790
    },
    {
      "epoch": 0.12422222222222222,
      "grad_norm": 2.2300264835357666,
      "learning_rate": 4.936374269005848e-05,
      "loss": 1.8225,
      "step": 2795
    },
    {
      "epoch": 0.12444444444444444,
      "grad_norm": 2.7802343368530273,
      "learning_rate": 4.935789473684211e-05,
      "loss": 2.0106,
      "step": 2800
    },
    {
      "epoch": 0.12466666666666666,
      "grad_norm": 1.9866276979446411,
      "learning_rate": 4.935204678362573e-05,
      "loss": 1.864,
      "step": 2805
    },
    {
      "epoch": 0.12488888888888888,
      "grad_norm": 2.884383201599121,
      "learning_rate": 4.9346198830409356e-05,
      "loss": 1.8728,
      "step": 2810
    },
    {
      "epoch": 0.12511111111111112,
      "grad_norm": 2.2486860752105713,
      "learning_rate": 4.934035087719299e-05,
      "loss": 2.2954,
      "step": 2815
    },
    {
      "epoch": 0.12533333333333332,
      "grad_norm": 2.3174936771392822,
      "learning_rate": 4.933450292397661e-05,
      "loss": 2.2293,
      "step": 2820
    },
    {
      "epoch": 0.12555555555555556,
      "grad_norm": 1.7457833290100098,
      "learning_rate": 4.932865497076024e-05,
      "loss": 2.2765,
      "step": 2825
    },
    {
      "epoch": 0.12577777777777777,
      "grad_norm": 2.213994264602661,
      "learning_rate": 4.932280701754386e-05,
      "loss": 2.2527,
      "step": 2830
    },
    {
      "epoch": 0.126,
      "grad_norm": 1.9708592891693115,
      "learning_rate": 4.931695906432749e-05,
      "loss": 1.7204,
      "step": 2835
    },
    {
      "epoch": 0.12622222222222224,
      "grad_norm": 2.278252601623535,
      "learning_rate": 4.931111111111111e-05,
      "loss": 1.7334,
      "step": 2840
    },
    {
      "epoch": 0.12644444444444444,
      "grad_norm": 2.102959394454956,
      "learning_rate": 4.930526315789474e-05,
      "loss": 2.3238,
      "step": 2845
    },
    {
      "epoch": 0.12666666666666668,
      "grad_norm": 1.9131278991699219,
      "learning_rate": 4.929941520467837e-05,
      "loss": 2.1466,
      "step": 2850
    },
    {
      "epoch": 0.12688888888888888,
      "grad_norm": 2.378943920135498,
      "learning_rate": 4.929356725146199e-05,
      "loss": 2.0105,
      "step": 2855
    },
    {
      "epoch": 0.12711111111111112,
      "grad_norm": 1.9793670177459717,
      "learning_rate": 4.928771929824562e-05,
      "loss": 1.5285,
      "step": 2860
    },
    {
      "epoch": 0.12733333333333333,
      "grad_norm": 2.325604200363159,
      "learning_rate": 4.928187134502924e-05,
      "loss": 2.0808,
      "step": 2865
    },
    {
      "epoch": 0.12755555555555556,
      "grad_norm": 2.3272883892059326,
      "learning_rate": 4.927602339181287e-05,
      "loss": 1.9593,
      "step": 2870
    },
    {
      "epoch": 0.12777777777777777,
      "grad_norm": 2.3739850521087646,
      "learning_rate": 4.927017543859649e-05,
      "loss": 2.1553,
      "step": 2875
    },
    {
      "epoch": 0.128,
      "grad_norm": 2.3836441040039062,
      "learning_rate": 4.926432748538012e-05,
      "loss": 1.9083,
      "step": 2880
    },
    {
      "epoch": 0.1282222222222222,
      "grad_norm": 1.5070887804031372,
      "learning_rate": 4.925847953216374e-05,
      "loss": 2.0165,
      "step": 2885
    },
    {
      "epoch": 0.12844444444444444,
      "grad_norm": 1.8158624172210693,
      "learning_rate": 4.925263157894737e-05,
      "loss": 2.1794,
      "step": 2890
    },
    {
      "epoch": 0.12866666666666668,
      "grad_norm": 1.9817185401916504,
      "learning_rate": 4.9246783625731e-05,
      "loss": 1.6008,
      "step": 2895
    },
    {
      "epoch": 0.1288888888888889,
      "grad_norm": 2.9275565147399902,
      "learning_rate": 4.924093567251462e-05,
      "loss": 2.0047,
      "step": 2900
    },
    {
      "epoch": 0.12911111111111112,
      "grad_norm": 2.683485507965088,
      "learning_rate": 4.923508771929825e-05,
      "loss": 1.3228,
      "step": 2905
    },
    {
      "epoch": 0.12933333333333333,
      "grad_norm": 1.776614785194397,
      "learning_rate": 4.922923976608187e-05,
      "loss": 2.156,
      "step": 2910
    },
    {
      "epoch": 0.12955555555555556,
      "grad_norm": 1.8142709732055664,
      "learning_rate": 4.92233918128655e-05,
      "loss": 1.9514,
      "step": 2915
    },
    {
      "epoch": 0.12977777777777777,
      "grad_norm": 2.0592994689941406,
      "learning_rate": 4.921754385964912e-05,
      "loss": 1.8834,
      "step": 2920
    },
    {
      "epoch": 0.13,
      "grad_norm": 3.476067304611206,
      "learning_rate": 4.9211695906432754e-05,
      "loss": 1.9101,
      "step": 2925
    },
    {
      "epoch": 0.1302222222222222,
      "grad_norm": 2.4268007278442383,
      "learning_rate": 4.920584795321638e-05,
      "loss": 2.1882,
      "step": 2930
    },
    {
      "epoch": 0.13044444444444445,
      "grad_norm": 2.767435312271118,
      "learning_rate": 4.92e-05,
      "loss": 1.9945,
      "step": 2935
    },
    {
      "epoch": 0.13066666666666665,
      "grad_norm": 2.355586051940918,
      "learning_rate": 4.919415204678363e-05,
      "loss": 2.1043,
      "step": 2940
    },
    {
      "epoch": 0.1308888888888889,
      "grad_norm": 2.076955795288086,
      "learning_rate": 4.918830409356725e-05,
      "loss": 2.0766,
      "step": 2945
    },
    {
      "epoch": 0.13111111111111112,
      "grad_norm": 2.2447519302368164,
      "learning_rate": 4.918245614035088e-05,
      "loss": 1.791,
      "step": 2950
    },
    {
      "epoch": 0.13133333333333333,
      "grad_norm": 1.8186607360839844,
      "learning_rate": 4.91766081871345e-05,
      "loss": 1.7187,
      "step": 2955
    },
    {
      "epoch": 0.13155555555555556,
      "grad_norm": 2.3654463291168213,
      "learning_rate": 4.917076023391813e-05,
      "loss": 1.6591,
      "step": 2960
    },
    {
      "epoch": 0.13177777777777777,
      "grad_norm": 1.9751031398773193,
      "learning_rate": 4.916491228070176e-05,
      "loss": 2.2454,
      "step": 2965
    },
    {
      "epoch": 0.132,
      "grad_norm": 1.072709321975708,
      "learning_rate": 4.9159064327485384e-05,
      "loss": 1.8372,
      "step": 2970
    },
    {
      "epoch": 0.1322222222222222,
      "grad_norm": 2.556259870529175,
      "learning_rate": 4.915321637426901e-05,
      "loss": 2.0681,
      "step": 2975
    },
    {
      "epoch": 0.13244444444444445,
      "grad_norm": 2.3752036094665527,
      "learning_rate": 4.914736842105263e-05,
      "loss": 1.6247,
      "step": 2980
    },
    {
      "epoch": 0.13266666666666665,
      "grad_norm": 1.9520784616470337,
      "learning_rate": 4.914152046783626e-05,
      "loss": 2.1628,
      "step": 2985
    },
    {
      "epoch": 0.1328888888888889,
      "grad_norm": 1.2728517055511475,
      "learning_rate": 4.913567251461988e-05,
      "loss": 1.7256,
      "step": 2990
    },
    {
      "epoch": 0.13311111111111112,
      "grad_norm": 1.8398324251174927,
      "learning_rate": 4.912982456140351e-05,
      "loss": 1.7908,
      "step": 2995
    },
    {
      "epoch": 0.13333333333333333,
      "grad_norm": 1.7837958335876465,
      "learning_rate": 4.912397660818714e-05,
      "loss": 2.1357,
      "step": 3000
    },
    {
      "epoch": 0.13333333333333333,
      "eval_loss": 1.9436825513839722,
      "eval_runtime": 122.2507,
      "eval_samples_per_second": 16.36,
      "eval_steps_per_second": 4.09,
      "step": 3000
    },
    {
      "epoch": 0.13355555555555557,
      "grad_norm": 2.5820069313049316,
      "learning_rate": 4.9118128654970764e-05,
      "loss": 1.6885,
      "step": 3005
    },
    {
      "epoch": 0.13377777777777777,
      "grad_norm": 2.166898727416992,
      "learning_rate": 4.911228070175439e-05,
      "loss": 1.7573,
      "step": 3010
    },
    {
      "epoch": 0.134,
      "grad_norm": 2.086113691329956,
      "learning_rate": 4.9106432748538014e-05,
      "loss": 2.2875,
      "step": 3015
    },
    {
      "epoch": 0.13422222222222221,
      "grad_norm": 2.1370432376861572,
      "learning_rate": 4.910058479532164e-05,
      "loss": 1.9385,
      "step": 3020
    },
    {
      "epoch": 0.13444444444444445,
      "grad_norm": 1.8790937662124634,
      "learning_rate": 4.909473684210526e-05,
      "loss": 1.8022,
      "step": 3025
    },
    {
      "epoch": 0.13466666666666666,
      "grad_norm": 2.220454454421997,
      "learning_rate": 4.908888888888889e-05,
      "loss": 1.9198,
      "step": 3030
    },
    {
      "epoch": 0.1348888888888889,
      "grad_norm": 2.5450832843780518,
      "learning_rate": 4.908304093567252e-05,
      "loss": 1.8645,
      "step": 3035
    },
    {
      "epoch": 0.1351111111111111,
      "grad_norm": 2.839188575744629,
      "learning_rate": 4.9077192982456144e-05,
      "loss": 1.6543,
      "step": 3040
    },
    {
      "epoch": 0.13533333333333333,
      "grad_norm": 1.5614218711853027,
      "learning_rate": 4.907134502923977e-05,
      "loss": 1.6507,
      "step": 3045
    },
    {
      "epoch": 0.13555555555555557,
      "grad_norm": 2.121469736099243,
      "learning_rate": 4.9065497076023394e-05,
      "loss": 2.193,
      "step": 3050
    },
    {
      "epoch": 0.13577777777777778,
      "grad_norm": 2.2852749824523926,
      "learning_rate": 4.905964912280702e-05,
      "loss": 2.0176,
      "step": 3055
    },
    {
      "epoch": 0.136,
      "grad_norm": 4.166102886199951,
      "learning_rate": 4.9053801169590644e-05,
      "loss": 1.9805,
      "step": 3060
    },
    {
      "epoch": 0.13622222222222222,
      "grad_norm": 1.7738149166107178,
      "learning_rate": 4.904795321637427e-05,
      "loss": 1.9957,
      "step": 3065
    },
    {
      "epoch": 0.13644444444444445,
      "grad_norm": 1.25090491771698,
      "learning_rate": 4.904210526315789e-05,
      "loss": 2.0146,
      "step": 3070
    },
    {
      "epoch": 0.13666666666666666,
      "grad_norm": 2.4362869262695312,
      "learning_rate": 4.9036257309941525e-05,
      "loss": 1.943,
      "step": 3075
    },
    {
      "epoch": 0.1368888888888889,
      "grad_norm": 2.0542092323303223,
      "learning_rate": 4.903040935672515e-05,
      "loss": 2.4287,
      "step": 3080
    },
    {
      "epoch": 0.1371111111111111,
      "grad_norm": 2.148776054382324,
      "learning_rate": 4.9024561403508774e-05,
      "loss": 1.8886,
      "step": 3085
    },
    {
      "epoch": 0.13733333333333334,
      "grad_norm": 1.8544771671295166,
      "learning_rate": 4.90187134502924e-05,
      "loss": 1.7133,
      "step": 3090
    },
    {
      "epoch": 0.13755555555555554,
      "grad_norm": 2.245539903640747,
      "learning_rate": 4.9012865497076024e-05,
      "loss": 1.8518,
      "step": 3095
    },
    {
      "epoch": 0.13777777777777778,
      "grad_norm": 2.2527737617492676,
      "learning_rate": 4.900701754385965e-05,
      "loss": 2.3338,
      "step": 3100
    },
    {
      "epoch": 0.138,
      "grad_norm": 1.8185076713562012,
      "learning_rate": 4.9001169590643273e-05,
      "loss": 1.2606,
      "step": 3105
    },
    {
      "epoch": 0.13822222222222222,
      "grad_norm": 3.2339377403259277,
      "learning_rate": 4.8995321637426905e-05,
      "loss": 1.8234,
      "step": 3110
    },
    {
      "epoch": 0.13844444444444445,
      "grad_norm": 1.6569753885269165,
      "learning_rate": 4.898947368421053e-05,
      "loss": 1.9006,
      "step": 3115
    },
    {
      "epoch": 0.13866666666666666,
      "grad_norm": 1.962910771369934,
      "learning_rate": 4.8983625730994155e-05,
      "loss": 1.9541,
      "step": 3120
    },
    {
      "epoch": 0.1388888888888889,
      "grad_norm": 1.7773019075393677,
      "learning_rate": 4.897777777777778e-05,
      "loss": 1.4457,
      "step": 3125
    },
    {
      "epoch": 0.1391111111111111,
      "grad_norm": 2.0288960933685303,
      "learning_rate": 4.897192982456141e-05,
      "loss": 2.0306,
      "step": 3130
    },
    {
      "epoch": 0.13933333333333334,
      "grad_norm": 1.8932185173034668,
      "learning_rate": 4.896608187134503e-05,
      "loss": 1.9325,
      "step": 3135
    },
    {
      "epoch": 0.13955555555555554,
      "grad_norm": 2.043802261352539,
      "learning_rate": 4.8960233918128654e-05,
      "loss": 1.7772,
      "step": 3140
    },
    {
      "epoch": 0.13977777777777778,
      "grad_norm": 1.8838019371032715,
      "learning_rate": 4.895438596491228e-05,
      "loss": 1.9279,
      "step": 3145
    },
    {
      "epoch": 0.14,
      "grad_norm": 2.037815570831299,
      "learning_rate": 4.894853801169591e-05,
      "loss": 1.9138,
      "step": 3150
    },
    {
      "epoch": 0.14022222222222222,
      "grad_norm": 1.9532570838928223,
      "learning_rate": 4.8942690058479535e-05,
      "loss": 1.9358,
      "step": 3155
    },
    {
      "epoch": 0.14044444444444446,
      "grad_norm": 3.2297561168670654,
      "learning_rate": 4.893684210526316e-05,
      "loss": 1.7108,
      "step": 3160
    },
    {
      "epoch": 0.14066666666666666,
      "grad_norm": 1.7289565801620483,
      "learning_rate": 4.893099415204679e-05,
      "loss": 1.6953,
      "step": 3165
    },
    {
      "epoch": 0.1408888888888889,
      "grad_norm": 3.646796464920044,
      "learning_rate": 4.892514619883041e-05,
      "loss": 1.8711,
      "step": 3170
    },
    {
      "epoch": 0.1411111111111111,
      "grad_norm": 1.426334023475647,
      "learning_rate": 4.8919298245614034e-05,
      "loss": 1.8296,
      "step": 3175
    },
    {
      "epoch": 0.14133333333333334,
      "grad_norm": 1.8420301675796509,
      "learning_rate": 4.891345029239766e-05,
      "loss": 1.9845,
      "step": 3180
    },
    {
      "epoch": 0.14155555555555555,
      "grad_norm": 1.257689356803894,
      "learning_rate": 4.890760233918129e-05,
      "loss": 1.3427,
      "step": 3185
    },
    {
      "epoch": 0.14177777777777778,
      "grad_norm": 2.038538932800293,
      "learning_rate": 4.8901754385964915e-05,
      "loss": 2.3239,
      "step": 3190
    },
    {
      "epoch": 0.142,
      "grad_norm": 1.1881284713745117,
      "learning_rate": 4.889590643274854e-05,
      "loss": 1.7018,
      "step": 3195
    },
    {
      "epoch": 0.14222222222222222,
      "grad_norm": 2.463733434677124,
      "learning_rate": 4.8890058479532165e-05,
      "loss": 1.9991,
      "step": 3200
    },
    {
      "epoch": 0.14244444444444446,
      "grad_norm": 2.484745979309082,
      "learning_rate": 4.8884210526315796e-05,
      "loss": 1.7687,
      "step": 3205
    },
    {
      "epoch": 0.14266666666666666,
      "grad_norm": 3.0304818153381348,
      "learning_rate": 4.8878362573099415e-05,
      "loss": 1.5847,
      "step": 3210
    },
    {
      "epoch": 0.1428888888888889,
      "grad_norm": 2.6370270252227783,
      "learning_rate": 4.887251461988304e-05,
      "loss": 1.952,
      "step": 3215
    },
    {
      "epoch": 0.1431111111111111,
      "grad_norm": 1.7888848781585693,
      "learning_rate": 4.886666666666667e-05,
      "loss": 1.8442,
      "step": 3220
    },
    {
      "epoch": 0.14333333333333334,
      "grad_norm": 3.467491388320923,
      "learning_rate": 4.8860818713450296e-05,
      "loss": 2.0672,
      "step": 3225
    },
    {
      "epoch": 0.14355555555555555,
      "grad_norm": 3.1542105674743652,
      "learning_rate": 4.885497076023392e-05,
      "loss": 1.7496,
      "step": 3230
    },
    {
      "epoch": 0.14377777777777778,
      "grad_norm": 1.9200794696807861,
      "learning_rate": 4.8849122807017545e-05,
      "loss": 2.19,
      "step": 3235
    },
    {
      "epoch": 0.144,
      "grad_norm": 2.1632239818573,
      "learning_rate": 4.884327485380118e-05,
      "loss": 2.0622,
      "step": 3240
    },
    {
      "epoch": 0.14422222222222222,
      "grad_norm": 2.1817636489868164,
      "learning_rate": 4.88374269005848e-05,
      "loss": 1.4263,
      "step": 3245
    },
    {
      "epoch": 0.14444444444444443,
      "grad_norm": 2.3619046211242676,
      "learning_rate": 4.883157894736842e-05,
      "loss": 1.7499,
      "step": 3250
    },
    {
      "epoch": 0.14466666666666667,
      "grad_norm": 2.5226147174835205,
      "learning_rate": 4.8825730994152044e-05,
      "loss": 2.0131,
      "step": 3255
    },
    {
      "epoch": 0.1448888888888889,
      "grad_norm": 2.422565221786499,
      "learning_rate": 4.8819883040935676e-05,
      "loss": 1.7523,
      "step": 3260
    },
    {
      "epoch": 0.1451111111111111,
      "grad_norm": 2.2034881114959717,
      "learning_rate": 4.88140350877193e-05,
      "loss": 1.7024,
      "step": 3265
    },
    {
      "epoch": 0.14533333333333334,
      "grad_norm": 2.101670026779175,
      "learning_rate": 4.8808187134502926e-05,
      "loss": 1.7865,
      "step": 3270
    },
    {
      "epoch": 0.14555555555555555,
      "grad_norm": 0.8383487462997437,
      "learning_rate": 4.880233918128655e-05,
      "loss": 1.3031,
      "step": 3275
    },
    {
      "epoch": 0.14577777777777778,
      "grad_norm": 1.7909284830093384,
      "learning_rate": 4.879649122807018e-05,
      "loss": 2.0796,
      "step": 3280
    },
    {
      "epoch": 0.146,
      "grad_norm": 2.1822619438171387,
      "learning_rate": 4.87906432748538e-05,
      "loss": 1.6266,
      "step": 3285
    },
    {
      "epoch": 0.14622222222222223,
      "grad_norm": 2.70416259765625,
      "learning_rate": 4.8784795321637425e-05,
      "loss": 2.1909,
      "step": 3290
    },
    {
      "epoch": 0.14644444444444443,
      "grad_norm": 2.0844080448150635,
      "learning_rate": 4.8778947368421056e-05,
      "loss": 2.2327,
      "step": 3295
    },
    {
      "epoch": 0.14666666666666667,
      "grad_norm": 2.369058132171631,
      "learning_rate": 4.877309941520468e-05,
      "loss": 1.9925,
      "step": 3300
    },
    {
      "epoch": 0.14666666666666667,
      "eval_loss": 1.9269315004348755,
      "eval_runtime": 122.2535,
      "eval_samples_per_second": 16.359,
      "eval_steps_per_second": 4.09,
      "step": 3300
    },
    {
      "epoch": 0.1468888888888889,
      "grad_norm": 2.2776875495910645,
      "learning_rate": 4.8767251461988306e-05,
      "loss": 1.9842,
      "step": 3305
    },
    {
      "epoch": 0.1471111111111111,
      "grad_norm": 2.0914363861083984,
      "learning_rate": 4.876140350877193e-05,
      "loss": 2.0036,
      "step": 3310
    },
    {
      "epoch": 0.14733333333333334,
      "grad_norm": 2.071371555328369,
      "learning_rate": 4.875555555555556e-05,
      "loss": 2.0711,
      "step": 3315
    },
    {
      "epoch": 0.14755555555555555,
      "grad_norm": 1.9415665864944458,
      "learning_rate": 4.874970760233919e-05,
      "loss": 1.5768,
      "step": 3320
    },
    {
      "epoch": 0.14777777777777779,
      "grad_norm": 2.556162118911743,
      "learning_rate": 4.8743859649122805e-05,
      "loss": 1.829,
      "step": 3325
    },
    {
      "epoch": 0.148,
      "grad_norm": 2.062256097793579,
      "learning_rate": 4.873801169590643e-05,
      "loss": 2.1972,
      "step": 3330
    },
    {
      "epoch": 0.14822222222222223,
      "grad_norm": 2.777946949005127,
      "learning_rate": 4.873216374269006e-05,
      "loss": 2.3749,
      "step": 3335
    },
    {
      "epoch": 0.14844444444444443,
      "grad_norm": 2.5372774600982666,
      "learning_rate": 4.8726315789473686e-05,
      "loss": 1.7812,
      "step": 3340
    },
    {
      "epoch": 0.14866666666666667,
      "grad_norm": 2.6026341915130615,
      "learning_rate": 4.872046783625731e-05,
      "loss": 1.8233,
      "step": 3345
    },
    {
      "epoch": 0.14888888888888888,
      "grad_norm": 1.5361286401748657,
      "learning_rate": 4.871461988304094e-05,
      "loss": 1.6842,
      "step": 3350
    },
    {
      "epoch": 0.1491111111111111,
      "grad_norm": 2.1211318969726562,
      "learning_rate": 4.870877192982457e-05,
      "loss": 1.7242,
      "step": 3355
    },
    {
      "epoch": 0.14933333333333335,
      "grad_norm": 1.463943362236023,
      "learning_rate": 4.870292397660819e-05,
      "loss": 1.7909,
      "step": 3360
    },
    {
      "epoch": 0.14955555555555555,
      "grad_norm": 3.4612514972686768,
      "learning_rate": 4.869707602339181e-05,
      "loss": 1.3199,
      "step": 3365
    },
    {
      "epoch": 0.1497777777777778,
      "grad_norm": 1.1866174936294556,
      "learning_rate": 4.869122807017544e-05,
      "loss": 1.5422,
      "step": 3370
    },
    {
      "epoch": 0.15,
      "grad_norm": 2.412569046020508,
      "learning_rate": 4.868538011695907e-05,
      "loss": 1.9151,
      "step": 3375
    },
    {
      "epoch": 0.15022222222222223,
      "grad_norm": 1.9444811344146729,
      "learning_rate": 4.867953216374269e-05,
      "loss": 2.1627,
      "step": 3380
    },
    {
      "epoch": 0.15044444444444444,
      "grad_norm": 1.8833308219909668,
      "learning_rate": 4.8673684210526316e-05,
      "loss": 1.7147,
      "step": 3385
    },
    {
      "epoch": 0.15066666666666667,
      "grad_norm": 1.0460971593856812,
      "learning_rate": 4.866783625730995e-05,
      "loss": 1.9792,
      "step": 3390
    },
    {
      "epoch": 0.15088888888888888,
      "grad_norm": 2.16560697555542,
      "learning_rate": 4.866198830409357e-05,
      "loss": 1.675,
      "step": 3395
    },
    {
      "epoch": 0.1511111111111111,
      "grad_norm": 1.7205954790115356,
      "learning_rate": 4.865614035087719e-05,
      "loss": 1.9784,
      "step": 3400
    },
    {
      "epoch": 0.15133333333333332,
      "grad_norm": 1.614104151725769,
      "learning_rate": 4.865029239766082e-05,
      "loss": 1.979,
      "step": 3405
    },
    {
      "epoch": 0.15155555555555555,
      "grad_norm": 2.3201417922973633,
      "learning_rate": 4.864444444444445e-05,
      "loss": 2.0336,
      "step": 3410
    },
    {
      "epoch": 0.1517777777777778,
      "grad_norm": 1.6310662031173706,
      "learning_rate": 4.863859649122807e-05,
      "loss": 1.937,
      "step": 3415
    },
    {
      "epoch": 0.152,
      "grad_norm": 1.8071010112762451,
      "learning_rate": 4.86327485380117e-05,
      "loss": 1.4872,
      "step": 3420
    },
    {
      "epoch": 0.15222222222222223,
      "grad_norm": 2.051704168319702,
      "learning_rate": 4.862690058479533e-05,
      "loss": 2.255,
      "step": 3425
    },
    {
      "epoch": 0.15244444444444444,
      "grad_norm": 2.5500729084014893,
      "learning_rate": 4.862105263157895e-05,
      "loss": 2.2431,
      "step": 3430
    },
    {
      "epoch": 0.15266666666666667,
      "grad_norm": 1.977398157119751,
      "learning_rate": 4.861520467836258e-05,
      "loss": 2.0215,
      "step": 3435
    },
    {
      "epoch": 0.15288888888888888,
      "grad_norm": 2.1524910926818848,
      "learning_rate": 4.8609356725146196e-05,
      "loss": 2.1655,
      "step": 3440
    },
    {
      "epoch": 0.15311111111111111,
      "grad_norm": 2.6615240573883057,
      "learning_rate": 4.860350877192983e-05,
      "loss": 2.1047,
      "step": 3445
    },
    {
      "epoch": 0.15333333333333332,
      "grad_norm": 0.6152297258377075,
      "learning_rate": 4.859766081871345e-05,
      "loss": 1.3706,
      "step": 3450
    },
    {
      "epoch": 0.15355555555555556,
      "grad_norm": 1.9753504991531372,
      "learning_rate": 4.859181286549708e-05,
      "loss": 1.9981,
      "step": 3455
    },
    {
      "epoch": 0.1537777777777778,
      "grad_norm": 2.2126636505126953,
      "learning_rate": 4.85859649122807e-05,
      "loss": 2.1874,
      "step": 3460
    },
    {
      "epoch": 0.154,
      "grad_norm": 2.2902002334594727,
      "learning_rate": 4.858011695906433e-05,
      "loss": 2.0746,
      "step": 3465
    },
    {
      "epoch": 0.15422222222222223,
      "grad_norm": 2.764097213745117,
      "learning_rate": 4.857426900584796e-05,
      "loss": 1.8474,
      "step": 3470
    },
    {
      "epoch": 0.15444444444444444,
      "grad_norm": 1.9890178442001343,
      "learning_rate": 4.856842105263158e-05,
      "loss": 1.3646,
      "step": 3475
    },
    {
      "epoch": 0.15466666666666667,
      "grad_norm": 1.6546965837478638,
      "learning_rate": 4.856257309941521e-05,
      "loss": 2.1364,
      "step": 3480
    },
    {
      "epoch": 0.15488888888888888,
      "grad_norm": 1.651530146598816,
      "learning_rate": 4.855672514619883e-05,
      "loss": 1.4282,
      "step": 3485
    },
    {
      "epoch": 0.15511111111111112,
      "grad_norm": 2.1090970039367676,
      "learning_rate": 4.855087719298246e-05,
      "loss": 1.5363,
      "step": 3490
    },
    {
      "epoch": 0.15533333333333332,
      "grad_norm": 2.497037410736084,
      "learning_rate": 4.854502923976608e-05,
      "loss": 1.9936,
      "step": 3495
    },
    {
      "epoch": 0.15555555555555556,
      "grad_norm": 2.2757949829101562,
      "learning_rate": 4.8539181286549714e-05,
      "loss": 2.142,
      "step": 3500
    },
    {
      "epoch": 0.15577777777777777,
      "grad_norm": 2.229189157485962,
      "learning_rate": 4.853333333333334e-05,
      "loss": 1.3007,
      "step": 3505
    },
    {
      "epoch": 0.156,
      "grad_norm": 3.2205216884613037,
      "learning_rate": 4.852748538011696e-05,
      "loss": 1.7986,
      "step": 3510
    },
    {
      "epoch": 0.15622222222222223,
      "grad_norm": 2.5939793586730957,
      "learning_rate": 4.852163742690058e-05,
      "loss": 2.0565,
      "step": 3515
    },
    {
      "epoch": 0.15644444444444444,
      "grad_norm": 1.7875053882598877,
      "learning_rate": 4.851578947368421e-05,
      "loss": 2.1097,
      "step": 3520
    },
    {
      "epoch": 0.15666666666666668,
      "grad_norm": 1.6446095705032349,
      "learning_rate": 4.850994152046784e-05,
      "loss": 2.0131,
      "step": 3525
    },
    {
      "epoch": 0.15688888888888888,
      "grad_norm": 1.879406213760376,
      "learning_rate": 4.850409356725146e-05,
      "loss": 1.8254,
      "step": 3530
    },
    {
      "epoch": 0.15711111111111112,
      "grad_norm": 2.568464517593384,
      "learning_rate": 4.8498245614035094e-05,
      "loss": 1.7501,
      "step": 3535
    },
    {
      "epoch": 0.15733333333333333,
      "grad_norm": 1.33249032497406,
      "learning_rate": 4.849239766081872e-05,
      "loss": 2.1002,
      "step": 3540
    },
    {
      "epoch": 0.15755555555555556,
      "grad_norm": 2.0179600715637207,
      "learning_rate": 4.8486549707602344e-05,
      "loss": 1.9106,
      "step": 3545
    },
    {
      "epoch": 0.15777777777777777,
      "grad_norm": 1.987046480178833,
      "learning_rate": 4.848070175438597e-05,
      "loss": 2.0512,
      "step": 3550
    },
    {
      "epoch": 0.158,
      "grad_norm": 2.0932936668395996,
      "learning_rate": 4.847485380116959e-05,
      "loss": 1.7772,
      "step": 3555
    },
    {
      "epoch": 0.1582222222222222,
      "grad_norm": 1.7802873849868774,
      "learning_rate": 4.846900584795322e-05,
      "loss": 1.9157,
      "step": 3560
    },
    {
      "epoch": 0.15844444444444444,
      "grad_norm": 2.847346544265747,
      "learning_rate": 4.846315789473684e-05,
      "loss": 1.6489,
      "step": 3565
    },
    {
      "epoch": 0.15866666666666668,
      "grad_norm": 2.1703548431396484,
      "learning_rate": 4.845730994152047e-05,
      "loss": 2.1043,
      "step": 3570
    },
    {
      "epoch": 0.15888888888888889,
      "grad_norm": 1.2583402395248413,
      "learning_rate": 4.84514619883041e-05,
      "loss": 1.8745,
      "step": 3575
    },
    {
      "epoch": 0.15911111111111112,
      "grad_norm": 2.030872344970703,
      "learning_rate": 4.8445614035087724e-05,
      "loss": 1.9119,
      "step": 3580
    },
    {
      "epoch": 0.15933333333333333,
      "grad_norm": 2.7080190181732178,
      "learning_rate": 4.843976608187135e-05,
      "loss": 1.8926,
      "step": 3585
    },
    {
      "epoch": 0.15955555555555556,
      "grad_norm": 2.0688443183898926,
      "learning_rate": 4.8433918128654974e-05,
      "loss": 1.3315,
      "step": 3590
    },
    {
      "epoch": 0.15977777777777777,
      "grad_norm": 1.6238782405853271,
      "learning_rate": 4.84280701754386e-05,
      "loss": 1.9423,
      "step": 3595
    },
    {
      "epoch": 0.16,
      "grad_norm": 2.2786145210266113,
      "learning_rate": 4.842222222222222e-05,
      "loss": 2.0515,
      "step": 3600
    },
    {
      "epoch": 0.16,
      "eval_loss": 1.9150807857513428,
      "eval_runtime": 121.8625,
      "eval_samples_per_second": 16.412,
      "eval_steps_per_second": 4.103,
      "step": 3600
    },
    {
      "epoch": 0.1602222222222222,
      "grad_norm": 1.7545979022979736,
      "learning_rate": 4.841637426900585e-05,
      "loss": 1.7215,
      "step": 3605
    },
    {
      "epoch": 0.16044444444444445,
      "grad_norm": 1.407750129699707,
      "learning_rate": 4.841052631578948e-05,
      "loss": 2.0274,
      "step": 3610
    },
    {
      "epoch": 0.16066666666666668,
      "grad_norm": 2.534440755844116,
      "learning_rate": 4.8404678362573104e-05,
      "loss": 1.6136,
      "step": 3615
    },
    {
      "epoch": 0.1608888888888889,
      "grad_norm": 2.2873380184173584,
      "learning_rate": 4.839883040935673e-05,
      "loss": 1.6049,
      "step": 3620
    },
    {
      "epoch": 0.16111111111111112,
      "grad_norm": 2.8533806800842285,
      "learning_rate": 4.8392982456140354e-05,
      "loss": 1.3317,
      "step": 3625
    },
    {
      "epoch": 0.16133333333333333,
      "grad_norm": 1.629095435142517,
      "learning_rate": 4.838713450292398e-05,
      "loss": 1.4364,
      "step": 3630
    },
    {
      "epoch": 0.16155555555555556,
      "grad_norm": 2.163365125656128,
      "learning_rate": 4.8381286549707604e-05,
      "loss": 1.9677,
      "step": 3635
    },
    {
      "epoch": 0.16177777777777777,
      "grad_norm": 2.4757046699523926,
      "learning_rate": 4.837543859649123e-05,
      "loss": 2.4648,
      "step": 3640
    },
    {
      "epoch": 0.162,
      "grad_norm": 2.2674989700317383,
      "learning_rate": 4.836959064327485e-05,
      "loss": 1.606,
      "step": 3645
    },
    {
      "epoch": 0.1622222222222222,
      "grad_norm": 2.6077637672424316,
      "learning_rate": 4.8363742690058485e-05,
      "loss": 1.8863,
      "step": 3650
    },
    {
      "epoch": 0.16244444444444445,
      "grad_norm": 2.0790045261383057,
      "learning_rate": 4.835789473684211e-05,
      "loss": 1.6269,
      "step": 3655
    },
    {
      "epoch": 0.16266666666666665,
      "grad_norm": 2.752084493637085,
      "learning_rate": 4.8352046783625734e-05,
      "loss": 1.8426,
      "step": 3660
    },
    {
      "epoch": 0.1628888888888889,
      "grad_norm": 2.1032800674438477,
      "learning_rate": 4.834619883040936e-05,
      "loss": 2.0684,
      "step": 3665
    },
    {
      "epoch": 0.16311111111111112,
      "grad_norm": 3.00266432762146,
      "learning_rate": 4.8340350877192984e-05,
      "loss": 2.0483,
      "step": 3670
    },
    {
      "epoch": 0.16333333333333333,
      "grad_norm": 2.8663558959960938,
      "learning_rate": 4.833450292397661e-05,
      "loss": 2.1234,
      "step": 3675
    },
    {
      "epoch": 0.16355555555555557,
      "grad_norm": 1.9788552522659302,
      "learning_rate": 4.8328654970760233e-05,
      "loss": 2.0894,
      "step": 3680
    },
    {
      "epoch": 0.16377777777777777,
      "grad_norm": 1.962568759918213,
      "learning_rate": 4.8322807017543865e-05,
      "loss": 1.9009,
      "step": 3685
    },
    {
      "epoch": 0.164,
      "grad_norm": 2.3241918087005615,
      "learning_rate": 4.831695906432749e-05,
      "loss": 2.06,
      "step": 3690
    },
    {
      "epoch": 0.16422222222222221,
      "grad_norm": 1.861914038658142,
      "learning_rate": 4.8311111111111115e-05,
      "loss": 1.9126,
      "step": 3695
    },
    {
      "epoch": 0.16444444444444445,
      "grad_norm": 1.7918920516967773,
      "learning_rate": 4.830526315789474e-05,
      "loss": 1.4989,
      "step": 3700
    },
    {
      "epoch": 0.16466666666666666,
      "grad_norm": 1.5686272382736206,
      "learning_rate": 4.8299415204678364e-05,
      "loss": 1.9153,
      "step": 3705
    },
    {
      "epoch": 0.1648888888888889,
      "grad_norm": 2.292588949203491,
      "learning_rate": 4.829356725146199e-05,
      "loss": 1.3505,
      "step": 3710
    },
    {
      "epoch": 0.1651111111111111,
      "grad_norm": 1.9277147054672241,
      "learning_rate": 4.8287719298245614e-05,
      "loss": 2.1832,
      "step": 3715
    },
    {
      "epoch": 0.16533333333333333,
      "grad_norm": 1.6595557928085327,
      "learning_rate": 4.8281871345029245e-05,
      "loss": 1.6606,
      "step": 3720
    },
    {
      "epoch": 0.16555555555555557,
      "grad_norm": 1.907541036605835,
      "learning_rate": 4.827602339181287e-05,
      "loss": 1.7776,
      "step": 3725
    },
    {
      "epoch": 0.16577777777777777,
      "grad_norm": 1.9195116758346558,
      "learning_rate": 4.8270175438596495e-05,
      "loss": 1.629,
      "step": 3730
    },
    {
      "epoch": 0.166,
      "grad_norm": 2.272771120071411,
      "learning_rate": 4.826432748538012e-05,
      "loss": 1.9697,
      "step": 3735
    },
    {
      "epoch": 0.16622222222222222,
      "grad_norm": 2.0308897495269775,
      "learning_rate": 4.8258479532163745e-05,
      "loss": 1.8397,
      "step": 3740
    },
    {
      "epoch": 0.16644444444444445,
      "grad_norm": 3.368330478668213,
      "learning_rate": 4.825263157894737e-05,
      "loss": 1.6026,
      "step": 3745
    },
    {
      "epoch": 0.16666666666666666,
      "grad_norm": 0.4615320861339569,
      "learning_rate": 4.8246783625730994e-05,
      "loss": 1.5864,
      "step": 3750
    },
    {
      "epoch": 0.1668888888888889,
      "grad_norm": 1.7462363243103027,
      "learning_rate": 4.824093567251462e-05,
      "loss": 1.3411,
      "step": 3755
    },
    {
      "epoch": 0.1671111111111111,
      "grad_norm": 2.6995346546173096,
      "learning_rate": 4.823508771929825e-05,
      "loss": 1.4931,
      "step": 3760
    },
    {
      "epoch": 0.16733333333333333,
      "grad_norm": 3.0092203617095947,
      "learning_rate": 4.8229239766081875e-05,
      "loss": 1.8496,
      "step": 3765
    },
    {
      "epoch": 0.16755555555555557,
      "grad_norm": 2.1499438285827637,
      "learning_rate": 4.82233918128655e-05,
      "loss": 1.7252,
      "step": 3770
    },
    {
      "epoch": 0.16777777777777778,
      "grad_norm": 1.6889841556549072,
      "learning_rate": 4.8217543859649125e-05,
      "loss": 2.1613,
      "step": 3775
    },
    {
      "epoch": 0.168,
      "grad_norm": 2.1885883808135986,
      "learning_rate": 4.821169590643275e-05,
      "loss": 1.2375,
      "step": 3780
    },
    {
      "epoch": 0.16822222222222222,
      "grad_norm": 1.9894405603408813,
      "learning_rate": 4.8205847953216375e-05,
      "loss": 2.0296,
      "step": 3785
    },
    {
      "epoch": 0.16844444444444445,
      "grad_norm": 1.6294633150100708,
      "learning_rate": 4.82e-05,
      "loss": 1.9143,
      "step": 3790
    },
    {
      "epoch": 0.16866666666666666,
      "grad_norm": 1.9028650522232056,
      "learning_rate": 4.819415204678363e-05,
      "loss": 1.8585,
      "step": 3795
    },
    {
      "epoch": 0.1688888888888889,
      "grad_norm": 2.0157673358917236,
      "learning_rate": 4.8188304093567256e-05,
      "loss": 1.8281,
      "step": 3800
    },
    {
      "epoch": 0.1691111111111111,
      "grad_norm": 3.524338722229004,
      "learning_rate": 4.818245614035088e-05,
      "loss": 1.6479,
      "step": 3805
    },
    {
      "epoch": 0.16933333333333334,
      "grad_norm": 1.8746503591537476,
      "learning_rate": 4.8176608187134505e-05,
      "loss": 1.8394,
      "step": 3810
    },
    {
      "epoch": 0.16955555555555554,
      "grad_norm": 1.8073805570602417,
      "learning_rate": 4.817076023391813e-05,
      "loss": 1.9937,
      "step": 3815
    },
    {
      "epoch": 0.16977777777777778,
      "grad_norm": 1.8138929605484009,
      "learning_rate": 4.8164912280701755e-05,
      "loss": 2.1983,
      "step": 3820
    },
    {
      "epoch": 0.17,
      "grad_norm": 1.7739497423171997,
      "learning_rate": 4.815906432748538e-05,
      "loss": 2.0229,
      "step": 3825
    },
    {
      "epoch": 0.17022222222222222,
      "grad_norm": 1.9296345710754395,
      "learning_rate": 4.8153216374269004e-05,
      "loss": 2.1197,
      "step": 3830
    },
    {
      "epoch": 0.17044444444444445,
      "grad_norm": 0.7393800616264343,
      "learning_rate": 4.8147368421052636e-05,
      "loss": 1.6772,
      "step": 3835
    },
    {
      "epoch": 0.17066666666666666,
      "grad_norm": 2.302726984024048,
      "learning_rate": 4.814152046783626e-05,
      "loss": 1.7869,
      "step": 3840
    },
    {
      "epoch": 0.1708888888888889,
      "grad_norm": 1.8702936172485352,
      "learning_rate": 4.8135672514619886e-05,
      "loss": 2.0419,
      "step": 3845
    },
    {
      "epoch": 0.1711111111111111,
      "grad_norm": 2.149519205093384,
      "learning_rate": 4.812982456140351e-05,
      "loss": 2.0447,
      "step": 3850
    },
    {
      "epoch": 0.17133333333333334,
      "grad_norm": 1.9405639171600342,
      "learning_rate": 4.8123976608187135e-05,
      "loss": 1.9811,
      "step": 3855
    },
    {
      "epoch": 0.17155555555555554,
      "grad_norm": 2.528101682662964,
      "learning_rate": 4.811812865497076e-05,
      "loss": 1.8897,
      "step": 3860
    },
    {
      "epoch": 0.17177777777777778,
      "grad_norm": 1.7456897497177124,
      "learning_rate": 4.8112280701754385e-05,
      "loss": 1.7486,
      "step": 3865
    },
    {
      "epoch": 0.172,
      "grad_norm": 1.4897747039794922,
      "learning_rate": 4.8106432748538016e-05,
      "loss": 1.3826,
      "step": 3870
    },
    {
      "epoch": 0.17222222222222222,
      "grad_norm": 1.8522142171859741,
      "learning_rate": 4.810058479532164e-05,
      "loss": 1.9163,
      "step": 3875
    },
    {
      "epoch": 0.17244444444444446,
      "grad_norm": 2.4494709968566895,
      "learning_rate": 4.8094736842105266e-05,
      "loss": 1.6745,
      "step": 3880
    },
    {
      "epoch": 0.17266666666666666,
      "grad_norm": 1.9532318115234375,
      "learning_rate": 4.808888888888889e-05,
      "loss": 1.2751,
      "step": 3885
    },
    {
      "epoch": 0.1728888888888889,
      "grad_norm": 4.801406383514404,
      "learning_rate": 4.8083040935672516e-05,
      "loss": 1.6642,
      "step": 3890
    },
    {
      "epoch": 0.1731111111111111,
      "grad_norm": 2.7075560092926025,
      "learning_rate": 4.807719298245614e-05,
      "loss": 1.4864,
      "step": 3895
    },
    {
      "epoch": 0.17333333333333334,
      "grad_norm": 2.0166947841644287,
      "learning_rate": 4.8071345029239765e-05,
      "loss": 1.7844,
      "step": 3900
    },
    {
      "epoch": 0.17333333333333334,
      "eval_loss": 1.9040392637252808,
      "eval_runtime": 121.8735,
      "eval_samples_per_second": 16.41,
      "eval_steps_per_second": 4.103,
      "step": 3900
    },
    {
      "epoch": 0.17355555555555555,
      "grad_norm": 1.6243023872375488,
      "learning_rate": 4.806549707602339e-05,
      "loss": 1.8642,
      "step": 3905
    },
    {
      "epoch": 0.17377777777777778,
      "grad_norm": 3.4800946712493896,
      "learning_rate": 4.805964912280702e-05,
      "loss": 1.3592,
      "step": 3910
    },
    {
      "epoch": 0.174,
      "grad_norm": 2.048100471496582,
      "learning_rate": 4.8053801169590646e-05,
      "loss": 1.5382,
      "step": 3915
    },
    {
      "epoch": 0.17422222222222222,
      "grad_norm": 2.478759765625,
      "learning_rate": 4.804795321637427e-05,
      "loss": 2.0769,
      "step": 3920
    },
    {
      "epoch": 0.17444444444444446,
      "grad_norm": 2.013201951980591,
      "learning_rate": 4.80421052631579e-05,
      "loss": 1.7852,
      "step": 3925
    },
    {
      "epoch": 0.17466666666666666,
      "grad_norm": 2.0131137371063232,
      "learning_rate": 4.803625730994152e-05,
      "loss": 1.7502,
      "step": 3930
    },
    {
      "epoch": 0.1748888888888889,
      "grad_norm": 2.319096088409424,
      "learning_rate": 4.8030409356725145e-05,
      "loss": 1.532,
      "step": 3935
    },
    {
      "epoch": 0.1751111111111111,
      "grad_norm": 1.7232391834259033,
      "learning_rate": 4.802456140350877e-05,
      "loss": 1.9731,
      "step": 3940
    },
    {
      "epoch": 0.17533333333333334,
      "grad_norm": 1.9714919328689575,
      "learning_rate": 4.80187134502924e-05,
      "loss": 2.0455,
      "step": 3945
    },
    {
      "epoch": 0.17555555555555555,
      "grad_norm": 2.645364284515381,
      "learning_rate": 4.801286549707603e-05,
      "loss": 1.8794,
      "step": 3950
    },
    {
      "epoch": 0.17577777777777778,
      "grad_norm": 1.8389708995819092,
      "learning_rate": 4.800701754385965e-05,
      "loss": 1.7287,
      "step": 3955
    },
    {
      "epoch": 0.176,
      "grad_norm": 3.890226125717163,
      "learning_rate": 4.8001169590643276e-05,
      "loss": 2.2209,
      "step": 3960
    },
    {
      "epoch": 0.17622222222222222,
      "grad_norm": 1.7165385484695435,
      "learning_rate": 4.79953216374269e-05,
      "loss": 1.5548,
      "step": 3965
    },
    {
      "epoch": 0.17644444444444443,
      "grad_norm": 2.2935216426849365,
      "learning_rate": 4.7989473684210526e-05,
      "loss": 1.7399,
      "step": 3970
    },
    {
      "epoch": 0.17666666666666667,
      "grad_norm": 1.827274203300476,
      "learning_rate": 4.798362573099415e-05,
      "loss": 1.6261,
      "step": 3975
    },
    {
      "epoch": 0.1768888888888889,
      "grad_norm": 1.219846487045288,
      "learning_rate": 4.797777777777778e-05,
      "loss": 1.7507,
      "step": 3980
    },
    {
      "epoch": 0.1771111111111111,
      "grad_norm": 2.0433144569396973,
      "learning_rate": 4.797192982456141e-05,
      "loss": 1.9032,
      "step": 3985
    },
    {
      "epoch": 0.17733333333333334,
      "grad_norm": 1.2866789102554321,
      "learning_rate": 4.796608187134503e-05,
      "loss": 1.49,
      "step": 3990
    },
    {
      "epoch": 0.17755555555555555,
      "grad_norm": 1.980868935585022,
      "learning_rate": 4.7960233918128657e-05,
      "loss": 2.0161,
      "step": 3995
    },
    {
      "epoch": 0.17777777777777778,
      "grad_norm": 1.9020617008209229,
      "learning_rate": 4.795438596491229e-05,
      "loss": 1.8729,
      "step": 4000
    },
    {
      "epoch": 0.178,
      "grad_norm": 2.204805612564087,
      "learning_rate": 4.7948538011695906e-05,
      "loss": 1.2426,
      "step": 4005
    },
    {
      "epoch": 0.17822222222222223,
      "grad_norm": 1.964595913887024,
      "learning_rate": 4.794269005847953e-05,
      "loss": 1.4283,
      "step": 4010
    },
    {
      "epoch": 0.17844444444444443,
      "grad_norm": 2.48451566696167,
      "learning_rate": 4.7936842105263156e-05,
      "loss": 1.5012,
      "step": 4015
    },
    {
      "epoch": 0.17866666666666667,
      "grad_norm": 2.851851224899292,
      "learning_rate": 4.793099415204679e-05,
      "loss": 1.9232,
      "step": 4020
    },
    {
      "epoch": 0.17888888888888888,
      "grad_norm": 2.3821911811828613,
      "learning_rate": 4.792514619883041e-05,
      "loss": 2.0681,
      "step": 4025
    },
    {
      "epoch": 0.1791111111111111,
      "grad_norm": 2.006303310394287,
      "learning_rate": 4.791929824561404e-05,
      "loss": 1.8804,
      "step": 4030
    },
    {
      "epoch": 0.17933333333333334,
      "grad_norm": 1.134945034980774,
      "learning_rate": 4.791345029239767e-05,
      "loss": 1.9296,
      "step": 4035
    },
    {
      "epoch": 0.17955555555555555,
      "grad_norm": 2.1502082347869873,
      "learning_rate": 4.790760233918129e-05,
      "loss": 1.9924,
      "step": 4040
    },
    {
      "epoch": 0.1797777777777778,
      "grad_norm": 1.7258104085922241,
      "learning_rate": 4.790175438596491e-05,
      "loss": 1.4687,
      "step": 4045
    },
    {
      "epoch": 0.18,
      "grad_norm": 1.8843508958816528,
      "learning_rate": 4.7895906432748536e-05,
      "loss": 2.2014,
      "step": 4050
    },
    {
      "epoch": 0.18022222222222223,
      "grad_norm": 1.8426812887191772,
      "learning_rate": 4.789005847953217e-05,
      "loss": 1.35,
      "step": 4055
    },
    {
      "epoch": 0.18044444444444444,
      "grad_norm": 1.7842119932174683,
      "learning_rate": 4.788421052631579e-05,
      "loss": 1.7995,
      "step": 4060
    },
    {
      "epoch": 0.18066666666666667,
      "grad_norm": 2.458899974822998,
      "learning_rate": 4.787836257309942e-05,
      "loss": 2.3581,
      "step": 4065
    },
    {
      "epoch": 0.18088888888888888,
      "grad_norm": 2.150153875350952,
      "learning_rate": 4.787251461988304e-05,
      "loss": 2.057,
      "step": 4070
    },
    {
      "epoch": 0.1811111111111111,
      "grad_norm": 2.543891191482544,
      "learning_rate": 4.7866666666666674e-05,
      "loss": 2.0336,
      "step": 4075
    },
    {
      "epoch": 0.18133333333333335,
      "grad_norm": 1.8979601860046387,
      "learning_rate": 4.786081871345029e-05,
      "loss": 1.9388,
      "step": 4080
    },
    {
      "epoch": 0.18155555555555555,
      "grad_norm": 2.2223803997039795,
      "learning_rate": 4.7854970760233916e-05,
      "loss": 2.0946,
      "step": 4085
    },
    {
      "epoch": 0.1817777777777778,
      "grad_norm": 1.635603666305542,
      "learning_rate": 4.784912280701754e-05,
      "loss": 2.3056,
      "step": 4090
    },
    {
      "epoch": 0.182,
      "grad_norm": 2.2361338138580322,
      "learning_rate": 4.784327485380117e-05,
      "loss": 2.094,
      "step": 4095
    },
    {
      "epoch": 0.18222222222222223,
      "grad_norm": 2.3591346740722656,
      "learning_rate": 4.78374269005848e-05,
      "loss": 1.6712,
      "step": 4100
    },
    {
      "epoch": 0.18244444444444444,
      "grad_norm": 2.321645498275757,
      "learning_rate": 4.783157894736842e-05,
      "loss": 2.0407,
      "step": 4105
    },
    {
      "epoch": 0.18266666666666667,
      "grad_norm": 2.247756242752075,
      "learning_rate": 4.7825730994152054e-05,
      "loss": 2.1424,
      "step": 4110
    },
    {
      "epoch": 0.18288888888888888,
      "grad_norm": 2.082338809967041,
      "learning_rate": 4.781988304093568e-05,
      "loss": 1.9415,
      "step": 4115
    },
    {
      "epoch": 0.1831111111111111,
      "grad_norm": 2.400540590286255,
      "learning_rate": 4.78140350877193e-05,
      "loss": 2.0131,
      "step": 4120
    },
    {
      "epoch": 0.18333333333333332,
      "grad_norm": 1.9324305057525635,
      "learning_rate": 4.780818713450292e-05,
      "loss": 1.8614,
      "step": 4125
    },
    {
      "epoch": 0.18355555555555556,
      "grad_norm": 1.9864733219146729,
      "learning_rate": 4.780233918128655e-05,
      "loss": 1.8529,
      "step": 4130
    },
    {
      "epoch": 0.1837777777777778,
      "grad_norm": 1.8833659887313843,
      "learning_rate": 4.779649122807018e-05,
      "loss": 1.5915,
      "step": 4135
    },
    {
      "epoch": 0.184,
      "grad_norm": 1.4711874723434448,
      "learning_rate": 4.77906432748538e-05,
      "loss": 1.999,
      "step": 4140
    },
    {
      "epoch": 0.18422222222222223,
      "grad_norm": 2.8162689208984375,
      "learning_rate": 4.778479532163743e-05,
      "loss": 1.8603,
      "step": 4145
    },
    {
      "epoch": 0.18444444444444444,
      "grad_norm": 2.298912763595581,
      "learning_rate": 4.777894736842106e-05,
      "loss": 1.8164,
      "step": 4150
    },
    {
      "epoch": 0.18466666666666667,
      "grad_norm": 2.4760336875915527,
      "learning_rate": 4.7773099415204684e-05,
      "loss": 1.8239,
      "step": 4155
    },
    {
      "epoch": 0.18488888888888888,
      "grad_norm": 1.980336308479309,
      "learning_rate": 4.77672514619883e-05,
      "loss": 2.1116,
      "step": 4160
    },
    {
      "epoch": 0.18511111111111112,
      "grad_norm": 2.2966654300689697,
      "learning_rate": 4.7761403508771934e-05,
      "loss": 1.9942,
      "step": 4165
    },
    {
      "epoch": 0.18533333333333332,
      "grad_norm": 1.638599157333374,
      "learning_rate": 4.775555555555556e-05,
      "loss": 1.7886,
      "step": 4170
    },
    {
      "epoch": 0.18555555555555556,
      "grad_norm": 1.9527407884597778,
      "learning_rate": 4.774970760233918e-05,
      "loss": 1.9572,
      "step": 4175
    },
    {
      "epoch": 0.18577777777777776,
      "grad_norm": 1.7584229707717896,
      "learning_rate": 4.774385964912281e-05,
      "loss": 1.8813,
      "step": 4180
    },
    {
      "epoch": 0.186,
      "grad_norm": 2.153947114944458,
      "learning_rate": 4.773801169590644e-05,
      "loss": 1.712,
      "step": 4185
    },
    {
      "epoch": 0.18622222222222223,
      "grad_norm": 2.8820371627807617,
      "learning_rate": 4.7732163742690064e-05,
      "loss": 1.6708,
      "step": 4190
    },
    {
      "epoch": 0.18644444444444444,
      "grad_norm": 2.1352779865264893,
      "learning_rate": 4.772631578947368e-05,
      "loss": 1.5548,
      "step": 4195
    },
    {
      "epoch": 0.18666666666666668,
      "grad_norm": 2.1724441051483154,
      "learning_rate": 4.772046783625731e-05,
      "loss": 1.9048,
      "step": 4200
    },
    {
      "epoch": 0.18666666666666668,
      "eval_loss": 1.8912930488586426,
      "eval_runtime": 121.8127,
      "eval_samples_per_second": 16.419,
      "eval_steps_per_second": 4.105,
      "step": 4200
    },
    {
      "epoch": 0.18688888888888888,
      "grad_norm": 0.7692796587944031,
      "learning_rate": 4.771461988304094e-05,
      "loss": 1.2454,
      "step": 4205
    },
    {
      "epoch": 0.18711111111111112,
      "grad_norm": 1.5952420234680176,
      "learning_rate": 4.7708771929824564e-05,
      "loss": 1.7124,
      "step": 4210
    },
    {
      "epoch": 0.18733333333333332,
      "grad_norm": 1.7877901792526245,
      "learning_rate": 4.770292397660819e-05,
      "loss": 1.4527,
      "step": 4215
    },
    {
      "epoch": 0.18755555555555556,
      "grad_norm": 2.2995874881744385,
      "learning_rate": 4.769707602339182e-05,
      "loss": 1.7403,
      "step": 4220
    },
    {
      "epoch": 0.18777777777777777,
      "grad_norm": 2.4709057807922363,
      "learning_rate": 4.7691228070175445e-05,
      "loss": 1.69,
      "step": 4225
    },
    {
      "epoch": 0.188,
      "grad_norm": 2.0714681148529053,
      "learning_rate": 4.768538011695907e-05,
      "loss": 1.7568,
      "step": 4230
    },
    {
      "epoch": 0.18822222222222224,
      "grad_norm": 1.4164402484893799,
      "learning_rate": 4.767953216374269e-05,
      "loss": 1.908,
      "step": 4235
    },
    {
      "epoch": 0.18844444444444444,
      "grad_norm": 0.5600148439407349,
      "learning_rate": 4.767368421052632e-05,
      "loss": 1.6795,
      "step": 4240
    },
    {
      "epoch": 0.18866666666666668,
      "grad_norm": 2.2537729740142822,
      "learning_rate": 4.7667836257309944e-05,
      "loss": 1.7983,
      "step": 4245
    },
    {
      "epoch": 0.18888888888888888,
      "grad_norm": 2.1740641593933105,
      "learning_rate": 4.766198830409357e-05,
      "loss": 2.114,
      "step": 4250
    },
    {
      "epoch": 0.18911111111111112,
      "grad_norm": 1.6415046453475952,
      "learning_rate": 4.7656140350877193e-05,
      "loss": 2.1342,
      "step": 4255
    },
    {
      "epoch": 0.18933333333333333,
      "grad_norm": 1.8821358680725098,
      "learning_rate": 4.7650292397660825e-05,
      "loss": 1.6902,
      "step": 4260
    },
    {
      "epoch": 0.18955555555555556,
      "grad_norm": 2.258948802947998,
      "learning_rate": 4.764444444444445e-05,
      "loss": 1.8296,
      "step": 4265
    },
    {
      "epoch": 0.18977777777777777,
      "grad_norm": 2.200995445251465,
      "learning_rate": 4.7638596491228075e-05,
      "loss": 1.9857,
      "step": 4270
    },
    {
      "epoch": 0.19,
      "grad_norm": 1.6798049211502075,
      "learning_rate": 4.763274853801169e-05,
      "loss": 1.5976,
      "step": 4275
    },
    {
      "epoch": 0.1902222222222222,
      "grad_norm": 1.9782772064208984,
      "learning_rate": 4.7626900584795324e-05,
      "loss": 1.6221,
      "step": 4280
    },
    {
      "epoch": 0.19044444444444444,
      "grad_norm": 2.1806492805480957,
      "learning_rate": 4.762105263157895e-05,
      "loss": 1.9975,
      "step": 4285
    },
    {
      "epoch": 0.19066666666666668,
      "grad_norm": 2.1481332778930664,
      "learning_rate": 4.7615204678362574e-05,
      "loss": 1.5643,
      "step": 4290
    },
    {
      "epoch": 0.19088888888888889,
      "grad_norm": 2.4685826301574707,
      "learning_rate": 4.7609356725146205e-05,
      "loss": 1.8722,
      "step": 4295
    },
    {
      "epoch": 0.19111111111111112,
      "grad_norm": 2.087667942047119,
      "learning_rate": 4.760350877192983e-05,
      "loss": 1.7518,
      "step": 4300
    },
    {
      "epoch": 0.19133333333333333,
      "grad_norm": 1.2924405336380005,
      "learning_rate": 4.7597660818713455e-05,
      "loss": 1.1969,
      "step": 4305
    },
    {
      "epoch": 0.19155555555555556,
      "grad_norm": 1.7710415124893188,
      "learning_rate": 4.759181286549707e-05,
      "loss": 2.0812,
      "step": 4310
    },
    {
      "epoch": 0.19177777777777777,
      "grad_norm": 2.7093799114227295,
      "learning_rate": 4.7585964912280705e-05,
      "loss": 2.235,
      "step": 4315
    },
    {
      "epoch": 0.192,
      "grad_norm": 2.254504680633545,
      "learning_rate": 4.758011695906433e-05,
      "loss": 1.7913,
      "step": 4320
    },
    {
      "epoch": 0.1922222222222222,
      "grad_norm": 1.897384524345398,
      "learning_rate": 4.7574269005847954e-05,
      "loss": 2.0298,
      "step": 4325
    },
    {
      "epoch": 0.19244444444444445,
      "grad_norm": 2.616541624069214,
      "learning_rate": 4.756842105263158e-05,
      "loss": 1.459,
      "step": 4330
    },
    {
      "epoch": 0.19266666666666668,
      "grad_norm": 1.7769417762756348,
      "learning_rate": 4.756257309941521e-05,
      "loss": 1.55,
      "step": 4335
    },
    {
      "epoch": 0.1928888888888889,
      "grad_norm": 2.0775210857391357,
      "learning_rate": 4.7556725146198835e-05,
      "loss": 2.0431,
      "step": 4340
    },
    {
      "epoch": 0.19311111111111112,
      "grad_norm": 1.8134117126464844,
      "learning_rate": 4.755087719298246e-05,
      "loss": 2.0104,
      "step": 4345
    },
    {
      "epoch": 0.19333333333333333,
      "grad_norm": 1.9208413362503052,
      "learning_rate": 4.7545029239766085e-05,
      "loss": 1.786,
      "step": 4350
    },
    {
      "epoch": 0.19355555555555556,
      "grad_norm": 0.8596204519271851,
      "learning_rate": 4.753918128654971e-05,
      "loss": 1.1425,
      "step": 4355
    },
    {
      "epoch": 0.19377777777777777,
      "grad_norm": 1.059206247329712,
      "learning_rate": 4.7533333333333334e-05,
      "loss": 1.6176,
      "step": 4360
    },
    {
      "epoch": 0.194,
      "grad_norm": 1.7616792917251587,
      "learning_rate": 4.752748538011696e-05,
      "loss": 1.9242,
      "step": 4365
    },
    {
      "epoch": 0.1942222222222222,
      "grad_norm": 2.112440824508667,
      "learning_rate": 4.752163742690059e-05,
      "loss": 1.3901,
      "step": 4370
    },
    {
      "epoch": 0.19444444444444445,
      "grad_norm": 1.8572943210601807,
      "learning_rate": 4.7515789473684216e-05,
      "loss": 1.7536,
      "step": 4375
    },
    {
      "epoch": 0.19466666666666665,
      "grad_norm": 1.7594178915023804,
      "learning_rate": 4.750994152046784e-05,
      "loss": 1.5889,
      "step": 4380
    },
    {
      "epoch": 0.1948888888888889,
      "grad_norm": 2.105863332748413,
      "learning_rate": 4.7504093567251465e-05,
      "loss": 2.1178,
      "step": 4385
    },
    {
      "epoch": 0.19511111111111112,
      "grad_norm": 1.5227913856506348,
      "learning_rate": 4.749824561403509e-05,
      "loss": 1.1811,
      "step": 4390
    },
    {
      "epoch": 0.19533333333333333,
      "grad_norm": 1.911576509475708,
      "learning_rate": 4.7492397660818715e-05,
      "loss": 2.3566,
      "step": 4395
    },
    {
      "epoch": 0.19555555555555557,
      "grad_norm": 2.4231388568878174,
      "learning_rate": 4.748654970760234e-05,
      "loss": 1.5976,
      "step": 4400
    },
    {
      "epoch": 0.19577777777777777,
      "grad_norm": 1.1342753171920776,
      "learning_rate": 4.7480701754385964e-05,
      "loss": 2.2489,
      "step": 4405
    },
    {
      "epoch": 0.196,
      "grad_norm": 1.8956575393676758,
      "learning_rate": 4.7474853801169596e-05,
      "loss": 1.6589,
      "step": 4410
    },
    {
      "epoch": 0.19622222222222221,
      "grad_norm": 1.6550706624984741,
      "learning_rate": 4.746900584795322e-05,
      "loss": 2.2235,
      "step": 4415
    },
    {
      "epoch": 0.19644444444444445,
      "grad_norm": 1.9804859161376953,
      "learning_rate": 4.7463157894736846e-05,
      "loss": 1.7166,
      "step": 4420
    },
    {
      "epoch": 0.19666666666666666,
      "grad_norm": 1.9016541242599487,
      "learning_rate": 4.745730994152047e-05,
      "loss": 1.6569,
      "step": 4425
    },
    {
      "epoch": 0.1968888888888889,
      "grad_norm": 2.890669822692871,
      "learning_rate": 4.7451461988304095e-05,
      "loss": 1.6166,
      "step": 4430
    },
    {
      "epoch": 0.1971111111111111,
      "grad_norm": 2.552870750427246,
      "learning_rate": 4.744561403508772e-05,
      "loss": 1.9536,
      "step": 4435
    },
    {
      "epoch": 0.19733333333333333,
      "grad_norm": 1.0904744863510132,
      "learning_rate": 4.7439766081871345e-05,
      "loss": 1.5391,
      "step": 4440
    },
    {
      "epoch": 0.19755555555555557,
      "grad_norm": 2.176269292831421,
      "learning_rate": 4.7433918128654976e-05,
      "loss": 2.0414,
      "step": 4445
    },
    {
      "epoch": 0.19777777777777777,
      "grad_norm": 1.8594011068344116,
      "learning_rate": 4.74280701754386e-05,
      "loss": 1.7957,
      "step": 4450
    },
    {
      "epoch": 0.198,
      "grad_norm": 2.1298301219940186,
      "learning_rate": 4.7422222222222226e-05,
      "loss": 1.9855,
      "step": 4455
    },
    {
      "epoch": 0.19822222222222222,
      "grad_norm": 2.703749895095825,
      "learning_rate": 4.741637426900585e-05,
      "loss": 1.4537,
      "step": 4460
    },
    {
      "epoch": 0.19844444444444445,
      "grad_norm": 1.9094836711883545,
      "learning_rate": 4.7410526315789476e-05,
      "loss": 1.9089,
      "step": 4465
    },
    {
      "epoch": 0.19866666666666666,
      "grad_norm": 1.911548137664795,
      "learning_rate": 4.74046783625731e-05,
      "loss": 1.5571,
      "step": 4470
    },
    {
      "epoch": 0.1988888888888889,
      "grad_norm": 1.9150446653366089,
      "learning_rate": 4.7398830409356725e-05,
      "loss": 1.7089,
      "step": 4475
    },
    {
      "epoch": 0.1991111111111111,
      "grad_norm": 2.111272096633911,
      "learning_rate": 4.739298245614036e-05,
      "loss": 1.8081,
      "step": 4480
    },
    {
      "epoch": 0.19933333333333333,
      "grad_norm": 2.0977284908294678,
      "learning_rate": 4.738713450292398e-05,
      "loss": 1.7642,
      "step": 4485
    },
    {
      "epoch": 0.19955555555555557,
      "grad_norm": 1.9917744398117065,
      "learning_rate": 4.7381286549707606e-05,
      "loss": 1.9048,
      "step": 4490
    },
    {
      "epoch": 0.19977777777777778,
      "grad_norm": 1.6825144290924072,
      "learning_rate": 4.737543859649123e-05,
      "loss": 1.6506,
      "step": 4495
    },
    {
      "epoch": 0.2,
      "grad_norm": 1.9291192293167114,
      "learning_rate": 4.7369590643274856e-05,
      "loss": 2.0295,
      "step": 4500
    },
    {
      "epoch": 0.2,
      "eval_loss": 1.8784793615341187,
      "eval_runtime": 121.5933,
      "eval_samples_per_second": 16.448,
      "eval_steps_per_second": 4.112,
      "step": 4500
    },
    {
      "epoch": 0.20022222222222222,
      "grad_norm": 2.3833253383636475,
      "learning_rate": 4.736374269005848e-05,
      "loss": 1.7542,
      "step": 4505
    },
    {
      "epoch": 0.20044444444444445,
      "grad_norm": 2.240978479385376,
      "learning_rate": 4.7357894736842105e-05,
      "loss": 1.9508,
      "step": 4510
    },
    {
      "epoch": 0.20066666666666666,
      "grad_norm": 2.676683187484741,
      "learning_rate": 4.735204678362573e-05,
      "loss": 2.1085,
      "step": 4515
    },
    {
      "epoch": 0.2008888888888889,
      "grad_norm": 2.497669219970703,
      "learning_rate": 4.734619883040936e-05,
      "loss": 2.0819,
      "step": 4520
    },
    {
      "epoch": 0.2011111111111111,
      "grad_norm": 0.4975522756576538,
      "learning_rate": 4.734035087719299e-05,
      "loss": 1.9368,
      "step": 4525
    },
    {
      "epoch": 0.20133333333333334,
      "grad_norm": 3.8706612586975098,
      "learning_rate": 4.733450292397661e-05,
      "loss": 1.4966,
      "step": 4530
    },
    {
      "epoch": 0.20155555555555554,
      "grad_norm": 2.2902743816375732,
      "learning_rate": 4.7328654970760236e-05,
      "loss": 1.5716,
      "step": 4535
    },
    {
      "epoch": 0.20177777777777778,
      "grad_norm": 1.6756854057312012,
      "learning_rate": 4.732280701754386e-05,
      "loss": 1.5941,
      "step": 4540
    },
    {
      "epoch": 0.202,
      "grad_norm": 2.0485730171203613,
      "learning_rate": 4.7316959064327486e-05,
      "loss": 1.3673,
      "step": 4545
    },
    {
      "epoch": 0.20222222222222222,
      "grad_norm": 1.706648826599121,
      "learning_rate": 4.731111111111111e-05,
      "loss": 1.7896,
      "step": 4550
    },
    {
      "epoch": 0.20244444444444445,
      "grad_norm": 2.0950398445129395,
      "learning_rate": 4.730526315789474e-05,
      "loss": 1.9697,
      "step": 4555
    },
    {
      "epoch": 0.20266666666666666,
      "grad_norm": 2.377206325531006,
      "learning_rate": 4.729941520467837e-05,
      "loss": 1.7106,
      "step": 4560
    },
    {
      "epoch": 0.2028888888888889,
      "grad_norm": 0.9941141605377197,
      "learning_rate": 4.729356725146199e-05,
      "loss": 2.1708,
      "step": 4565
    },
    {
      "epoch": 0.2031111111111111,
      "grad_norm": 2.787342071533203,
      "learning_rate": 4.7287719298245617e-05,
      "loss": 1.903,
      "step": 4570
    },
    {
      "epoch": 0.20333333333333334,
      "grad_norm": 2.0118250846862793,
      "learning_rate": 4.728187134502924e-05,
      "loss": 1.9274,
      "step": 4575
    },
    {
      "epoch": 0.20355555555555555,
      "grad_norm": 1.828819990158081,
      "learning_rate": 4.7276023391812866e-05,
      "loss": 1.7342,
      "step": 4580
    },
    {
      "epoch": 0.20377777777777778,
      "grad_norm": 2.230626344680786,
      "learning_rate": 4.727017543859649e-05,
      "loss": 1.631,
      "step": 4585
    },
    {
      "epoch": 0.204,
      "grad_norm": 2.2386481761932373,
      "learning_rate": 4.7264327485380116e-05,
      "loss": 1.8086,
      "step": 4590
    },
    {
      "epoch": 0.20422222222222222,
      "grad_norm": 4.283462047576904,
      "learning_rate": 4.725847953216375e-05,
      "loss": 1.9653,
      "step": 4595
    },
    {
      "epoch": 0.20444444444444446,
      "grad_norm": 1.9162951707839966,
      "learning_rate": 4.725263157894737e-05,
      "loss": 1.771,
      "step": 4600
    },
    {
      "epoch": 0.20466666666666666,
      "grad_norm": 2.1505348682403564,
      "learning_rate": 4.7246783625731e-05,
      "loss": 2.0197,
      "step": 4605
    },
    {
      "epoch": 0.2048888888888889,
      "grad_norm": 2.293949604034424,
      "learning_rate": 4.724093567251462e-05,
      "loss": 1.6859,
      "step": 4610
    },
    {
      "epoch": 0.2051111111111111,
      "grad_norm": 2.0137939453125,
      "learning_rate": 4.7235087719298247e-05,
      "loss": 2.0664,
      "step": 4615
    },
    {
      "epoch": 0.20533333333333334,
      "grad_norm": 1.8933361768722534,
      "learning_rate": 4.722923976608187e-05,
      "loss": 1.8507,
      "step": 4620
    },
    {
      "epoch": 0.20555555555555555,
      "grad_norm": 2.4270498752593994,
      "learning_rate": 4.7223391812865496e-05,
      "loss": 2.2664,
      "step": 4625
    },
    {
      "epoch": 0.20577777777777778,
      "grad_norm": 1.836225152015686,
      "learning_rate": 4.721754385964913e-05,
      "loss": 1.8435,
      "step": 4630
    },
    {
      "epoch": 0.206,
      "grad_norm": 1.8864729404449463,
      "learning_rate": 4.721169590643275e-05,
      "loss": 1.9232,
      "step": 4635
    },
    {
      "epoch": 0.20622222222222222,
      "grad_norm": 2.3306937217712402,
      "learning_rate": 4.720584795321638e-05,
      "loss": 1.6012,
      "step": 4640
    },
    {
      "epoch": 0.20644444444444446,
      "grad_norm": 1.9764835834503174,
      "learning_rate": 4.72e-05,
      "loss": 1.8681,
      "step": 4645
    },
    {
      "epoch": 0.20666666666666667,
      "grad_norm": 2.4798693656921387,
      "learning_rate": 4.719415204678363e-05,
      "loss": 1.7739,
      "step": 4650
    },
    {
      "epoch": 0.2068888888888889,
      "grad_norm": 1.8836904764175415,
      "learning_rate": 4.718830409356725e-05,
      "loss": 1.9891,
      "step": 4655
    },
    {
      "epoch": 0.2071111111111111,
      "grad_norm": 1.5750051736831665,
      "learning_rate": 4.7182456140350876e-05,
      "loss": 1.9109,
      "step": 4660
    },
    {
      "epoch": 0.20733333333333334,
      "grad_norm": 1.9163786172866821,
      "learning_rate": 4.717660818713451e-05,
      "loss": 1.5268,
      "step": 4665
    },
    {
      "epoch": 0.20755555555555555,
      "grad_norm": 1.616833209991455,
      "learning_rate": 4.717076023391813e-05,
      "loss": 2.0285,
      "step": 4670
    },
    {
      "epoch": 0.20777777777777778,
      "grad_norm": 1.9839555025100708,
      "learning_rate": 4.716491228070176e-05,
      "loss": 1.7974,
      "step": 4675
    },
    {
      "epoch": 0.208,
      "grad_norm": 2.137984275817871,
      "learning_rate": 4.715906432748538e-05,
      "loss": 1.5501,
      "step": 4680
    },
    {
      "epoch": 0.20822222222222223,
      "grad_norm": 2.0276143550872803,
      "learning_rate": 4.715321637426901e-05,
      "loss": 1.9441,
      "step": 4685
    },
    {
      "epoch": 0.20844444444444443,
      "grad_norm": 2.4762799739837646,
      "learning_rate": 4.714736842105263e-05,
      "loss": 1.2932,
      "step": 4690
    },
    {
      "epoch": 0.20866666666666667,
      "grad_norm": 2.3650102615356445,
      "learning_rate": 4.714152046783626e-05,
      "loss": 1.6533,
      "step": 4695
    },
    {
      "epoch": 0.2088888888888889,
      "grad_norm": 1.9531450271606445,
      "learning_rate": 4.713567251461988e-05,
      "loss": 1.6879,
      "step": 4700
    },
    {
      "epoch": 0.2091111111111111,
      "grad_norm": 2.1021788120269775,
      "learning_rate": 4.712982456140351e-05,
      "loss": 1.8739,
      "step": 4705
    },
    {
      "epoch": 0.20933333333333334,
      "grad_norm": 2.3519837856292725,
      "learning_rate": 4.712397660818714e-05,
      "loss": 1.8414,
      "step": 4710
    },
    {
      "epoch": 0.20955555555555555,
      "grad_norm": 2.294057846069336,
      "learning_rate": 4.711812865497076e-05,
      "loss": 1.6444,
      "step": 4715
    },
    {
      "epoch": 0.20977777777777779,
      "grad_norm": 2.2831718921661377,
      "learning_rate": 4.711228070175439e-05,
      "loss": 1.8157,
      "step": 4720
    },
    {
      "epoch": 0.21,
      "grad_norm": 1.8873990774154663,
      "learning_rate": 4.710643274853801e-05,
      "loss": 1.4626,
      "step": 4725
    },
    {
      "epoch": 0.21022222222222223,
      "grad_norm": 0.5436902046203613,
      "learning_rate": 4.710058479532164e-05,
      "loss": 1.7978,
      "step": 4730
    },
    {
      "epoch": 0.21044444444444443,
      "grad_norm": 1.9619849920272827,
      "learning_rate": 4.709473684210526e-05,
      "loss": 1.9547,
      "step": 4735
    },
    {
      "epoch": 0.21066666666666667,
      "grad_norm": 3.0433149337768555,
      "learning_rate": 4.7088888888888894e-05,
      "loss": 1.8336,
      "step": 4740
    },
    {
      "epoch": 0.21088888888888888,
      "grad_norm": 1.9505304098129272,
      "learning_rate": 4.708304093567252e-05,
      "loss": 1.5253,
      "step": 4745
    },
    {
      "epoch": 0.2111111111111111,
      "grad_norm": 1.6073938608169556,
      "learning_rate": 4.707719298245614e-05,
      "loss": 2.1661,
      "step": 4750
    },
    {
      "epoch": 0.21133333333333335,
      "grad_norm": 1.6345945596694946,
      "learning_rate": 4.707134502923977e-05,
      "loss": 1.8091,
      "step": 4755
    },
    {
      "epoch": 0.21155555555555555,
      "grad_norm": 1.9907139539718628,
      "learning_rate": 4.706549707602339e-05,
      "loss": 2.007,
      "step": 4760
    },
    {
      "epoch": 0.2117777777777778,
      "grad_norm": 1.5181714296340942,
      "learning_rate": 4.705964912280702e-05,
      "loss": 2.0706,
      "step": 4765
    },
    {
      "epoch": 0.212,
      "grad_norm": 2.25553297996521,
      "learning_rate": 4.705380116959064e-05,
      "loss": 1.8213,
      "step": 4770
    },
    {
      "epoch": 0.21222222222222223,
      "grad_norm": 2.3499155044555664,
      "learning_rate": 4.704795321637427e-05,
      "loss": 1.9752,
      "step": 4775
    },
    {
      "epoch": 0.21244444444444444,
      "grad_norm": 1.7711323499679565,
      "learning_rate": 4.70421052631579e-05,
      "loss": 1.4008,
      "step": 4780
    },
    {
      "epoch": 0.21266666666666667,
      "grad_norm": 2.2195255756378174,
      "learning_rate": 4.7036257309941524e-05,
      "loss": 1.9481,
      "step": 4785
    },
    {
      "epoch": 0.21288888888888888,
      "grad_norm": 1.6459932327270508,
      "learning_rate": 4.703040935672515e-05,
      "loss": 2.0058,
      "step": 4790
    },
    {
      "epoch": 0.2131111111111111,
      "grad_norm": 2.5594189167022705,
      "learning_rate": 4.702456140350878e-05,
      "loss": 1.4005,
      "step": 4795
    },
    {
      "epoch": 0.21333333333333335,
      "grad_norm": 2.581742286682129,
      "learning_rate": 4.70187134502924e-05,
      "loss": 1.5065,
      "step": 4800
    },
    {
      "epoch": 0.21333333333333335,
      "eval_loss": 1.8684139251708984,
      "eval_runtime": 122.1429,
      "eval_samples_per_second": 16.374,
      "eval_steps_per_second": 4.094,
      "step": 4800
    },
    {
      "epoch": 0.21355555555555555,
      "grad_norm": 2.3942325115203857,
      "learning_rate": 4.701286549707602e-05,
      "loss": 2.0247,
      "step": 4805
    },
    {
      "epoch": 0.2137777777777778,
      "grad_norm": 0.9755787253379822,
      "learning_rate": 4.700701754385965e-05,
      "loss": 1.1615,
      "step": 4810
    },
    {
      "epoch": 0.214,
      "grad_norm": 1.9081557989120483,
      "learning_rate": 4.700116959064328e-05,
      "loss": 1.1297,
      "step": 4815
    },
    {
      "epoch": 0.21422222222222223,
      "grad_norm": 1.947798728942871,
      "learning_rate": 4.6995321637426904e-05,
      "loss": 2.0002,
      "step": 4820
    },
    {
      "epoch": 0.21444444444444444,
      "grad_norm": 2.366420269012451,
      "learning_rate": 4.698947368421053e-05,
      "loss": 1.6718,
      "step": 4825
    },
    {
      "epoch": 0.21466666666666667,
      "grad_norm": 2.5522899627685547,
      "learning_rate": 4.6983625730994153e-05,
      "loss": 2.0515,
      "step": 4830
    },
    {
      "epoch": 0.21488888888888888,
      "grad_norm": 0.5820534825325012,
      "learning_rate": 4.6977777777777785e-05,
      "loss": 1.1992,
      "step": 4835
    },
    {
      "epoch": 0.21511111111111111,
      "grad_norm": 2.218519926071167,
      "learning_rate": 4.69719298245614e-05,
      "loss": 1.7156,
      "step": 4840
    },
    {
      "epoch": 0.21533333333333332,
      "grad_norm": 1.293051838874817,
      "learning_rate": 4.696608187134503e-05,
      "loss": 1.6205,
      "step": 4845
    },
    {
      "epoch": 0.21555555555555556,
      "grad_norm": 2.1851141452789307,
      "learning_rate": 4.696023391812866e-05,
      "loss": 1.6822,
      "step": 4850
    },
    {
      "epoch": 0.2157777777777778,
      "grad_norm": 1.5681095123291016,
      "learning_rate": 4.6954385964912284e-05,
      "loss": 1.7871,
      "step": 4855
    },
    {
      "epoch": 0.216,
      "grad_norm": 2.022749662399292,
      "learning_rate": 4.694853801169591e-05,
      "loss": 2.078,
      "step": 4860
    },
    {
      "epoch": 0.21622222222222223,
      "grad_norm": 1.8981943130493164,
      "learning_rate": 4.6942690058479534e-05,
      "loss": 1.8867,
      "step": 4865
    },
    {
      "epoch": 0.21644444444444444,
      "grad_norm": 1.9819612503051758,
      "learning_rate": 4.6936842105263165e-05,
      "loss": 1.98,
      "step": 4870
    },
    {
      "epoch": 0.21666666666666667,
      "grad_norm": 2.329143524169922,
      "learning_rate": 4.693099415204678e-05,
      "loss": 1.6819,
      "step": 4875
    },
    {
      "epoch": 0.21688888888888888,
      "grad_norm": 2.076174736022949,
      "learning_rate": 4.692514619883041e-05,
      "loss": 1.6053,
      "step": 4880
    },
    {
      "epoch": 0.21711111111111112,
      "grad_norm": 1.8028552532196045,
      "learning_rate": 4.691929824561403e-05,
      "loss": 1.9368,
      "step": 4885
    },
    {
      "epoch": 0.21733333333333332,
      "grad_norm": 2.431335687637329,
      "learning_rate": 4.6913450292397665e-05,
      "loss": 1.6758,
      "step": 4890
    },
    {
      "epoch": 0.21755555555555556,
      "grad_norm": 2.5360236167907715,
      "learning_rate": 4.690760233918129e-05,
      "loss": 2.0783,
      "step": 4895
    },
    {
      "epoch": 0.21777777777777776,
      "grad_norm": 0.8824018239974976,
      "learning_rate": 4.6901754385964914e-05,
      "loss": 1.4013,
      "step": 4900
    },
    {
      "epoch": 0.218,
      "grad_norm": 1.3212203979492188,
      "learning_rate": 4.689590643274854e-05,
      "loss": 1.9225,
      "step": 4905
    },
    {
      "epoch": 0.21822222222222223,
      "grad_norm": 1.9107637405395508,
      "learning_rate": 4.689005847953217e-05,
      "loss": 1.7632,
      "step": 4910
    },
    {
      "epoch": 0.21844444444444444,
      "grad_norm": 2.6961071491241455,
      "learning_rate": 4.688421052631579e-05,
      "loss": 1.2722,
      "step": 4915
    },
    {
      "epoch": 0.21866666666666668,
      "grad_norm": 2.0623202323913574,
      "learning_rate": 4.687836257309941e-05,
      "loss": 1.6564,
      "step": 4920
    },
    {
      "epoch": 0.21888888888888888,
      "grad_norm": 2.5636518001556396,
      "learning_rate": 4.6872514619883045e-05,
      "loss": 1.5182,
      "step": 4925
    },
    {
      "epoch": 0.21911111111111112,
      "grad_norm": 2.335268974304199,
      "learning_rate": 4.686666666666667e-05,
      "loss": 1.6621,
      "step": 4930
    },
    {
      "epoch": 0.21933333333333332,
      "grad_norm": 2.104105234146118,
      "learning_rate": 4.6860818713450294e-05,
      "loss": 1.9493,
      "step": 4935
    },
    {
      "epoch": 0.21955555555555556,
      "grad_norm": 2.096674680709839,
      "learning_rate": 4.685497076023392e-05,
      "loss": 2.0863,
      "step": 4940
    },
    {
      "epoch": 0.21977777777777777,
      "grad_norm": 1.9056233167648315,
      "learning_rate": 4.684912280701755e-05,
      "loss": 2.1336,
      "step": 4945
    },
    {
      "epoch": 0.22,
      "grad_norm": 0.9214895963668823,
      "learning_rate": 4.6843274853801176e-05,
      "loss": 1.4286,
      "step": 4950
    },
    {
      "epoch": 0.22022222222222224,
      "grad_norm": 2.584846258163452,
      "learning_rate": 4.6837426900584794e-05,
      "loss": 2.061,
      "step": 4955
    },
    {
      "epoch": 0.22044444444444444,
      "grad_norm": 2.372953414916992,
      "learning_rate": 4.683157894736842e-05,
      "loss": 1.7681,
      "step": 4960
    },
    {
      "epoch": 0.22066666666666668,
      "grad_norm": 1.7159415483474731,
      "learning_rate": 4.682573099415205e-05,
      "loss": 1.787,
      "step": 4965
    },
    {
      "epoch": 0.22088888888888888,
      "grad_norm": 3.1314804553985596,
      "learning_rate": 4.6819883040935675e-05,
      "loss": 1.6813,
      "step": 4970
    },
    {
      "epoch": 0.22111111111111112,
      "grad_norm": 1.7759222984313965,
      "learning_rate": 4.68140350877193e-05,
      "loss": 1.682,
      "step": 4975
    },
    {
      "epoch": 0.22133333333333333,
      "grad_norm": 2.001814603805542,
      "learning_rate": 4.680818713450293e-05,
      "loss": 2.0286,
      "step": 4980
    },
    {
      "epoch": 0.22155555555555556,
      "grad_norm": 1.5969446897506714,
      "learning_rate": 4.6802339181286556e-05,
      "loss": 1.8449,
      "step": 4985
    },
    {
      "epoch": 0.22177777777777777,
      "grad_norm": 1.6556313037872314,
      "learning_rate": 4.6796491228070174e-05,
      "loss": 1.6934,
      "step": 4990
    },
    {
      "epoch": 0.222,
      "grad_norm": 2.4132158756256104,
      "learning_rate": 4.67906432748538e-05,
      "loss": 1.8902,
      "step": 4995
    },
    {
      "epoch": 0.2222222222222222,
      "grad_norm": 1.7894468307495117,
      "learning_rate": 4.678479532163743e-05,
      "loss": 1.5531,
      "step": 5000
    },
    {
      "epoch": 0.22244444444444444,
      "grad_norm": 2.1307458877563477,
      "learning_rate": 4.6778947368421055e-05,
      "loss": 1.5651,
      "step": 5005
    },
    {
      "epoch": 0.22266666666666668,
      "grad_norm": 2.1917309761047363,
      "learning_rate": 4.677309941520468e-05,
      "loss": 2.5777,
      "step": 5010
    },
    {
      "epoch": 0.2228888888888889,
      "grad_norm": 1.8500783443450928,
      "learning_rate": 4.6767251461988305e-05,
      "loss": 1.8581,
      "step": 5015
    },
    {
      "epoch": 0.22311111111111112,
      "grad_norm": 2.0284876823425293,
      "learning_rate": 4.6761403508771936e-05,
      "loss": 1.7812,
      "step": 5020
    },
    {
      "epoch": 0.22333333333333333,
      "grad_norm": 2.587792158126831,
      "learning_rate": 4.675555555555556e-05,
      "loss": 2.1788,
      "step": 5025
    },
    {
      "epoch": 0.22355555555555556,
      "grad_norm": 1.2393056154251099,
      "learning_rate": 4.674970760233918e-05,
      "loss": 2.1773,
      "step": 5030
    },
    {
      "epoch": 0.22377777777777777,
      "grad_norm": 2.24480938911438,
      "learning_rate": 4.674385964912281e-05,
      "loss": 1.675,
      "step": 5035
    },
    {
      "epoch": 0.224,
      "grad_norm": 2.1045076847076416,
      "learning_rate": 4.6738011695906436e-05,
      "loss": 1.6834,
      "step": 5040
    },
    {
      "epoch": 0.2242222222222222,
      "grad_norm": 1.4370639324188232,
      "learning_rate": 4.673216374269006e-05,
      "loss": 1.9611,
      "step": 5045
    },
    {
      "epoch": 0.22444444444444445,
      "grad_norm": 1.6363203525543213,
      "learning_rate": 4.6726315789473685e-05,
      "loss": 1.7294,
      "step": 5050
    },
    {
      "epoch": 0.22466666666666665,
      "grad_norm": 1.6782768964767456,
      "learning_rate": 4.672046783625732e-05,
      "loss": 1.8305,
      "step": 5055
    },
    {
      "epoch": 0.2248888888888889,
      "grad_norm": 1.877164602279663,
      "learning_rate": 4.671461988304094e-05,
      "loss": 1.9633,
      "step": 5060
    },
    {
      "epoch": 0.22511111111111112,
      "grad_norm": 1.8068684339523315,
      "learning_rate": 4.6708771929824566e-05,
      "loss": 2.0101,
      "step": 5065
    },
    {
      "epoch": 0.22533333333333333,
      "grad_norm": 2.031397581100464,
      "learning_rate": 4.6702923976608184e-05,
      "loss": 2.0219,
      "step": 5070
    },
    {
      "epoch": 0.22555555555555556,
      "grad_norm": 2.2830398082733154,
      "learning_rate": 4.6697076023391816e-05,
      "loss": 1.6206,
      "step": 5075
    },
    {
      "epoch": 0.22577777777777777,
      "grad_norm": 1.3016505241394043,
      "learning_rate": 4.669122807017544e-05,
      "loss": 1.5923,
      "step": 5080
    },
    {
      "epoch": 0.226,
      "grad_norm": 1.6136029958724976,
      "learning_rate": 4.6685380116959065e-05,
      "loss": 1.8399,
      "step": 5085
    },
    {
      "epoch": 0.2262222222222222,
      "grad_norm": 1.7922248840332031,
      "learning_rate": 4.667953216374269e-05,
      "loss": 1.5701,
      "step": 5090
    },
    {
      "epoch": 0.22644444444444445,
      "grad_norm": 1.6910754442214966,
      "learning_rate": 4.667368421052632e-05,
      "loss": 1.9044,
      "step": 5095
    },
    {
      "epoch": 0.22666666666666666,
      "grad_norm": 0.8067750930786133,
      "learning_rate": 4.666783625730995e-05,
      "loss": 1.5287,
      "step": 5100
    },
    {
      "epoch": 0.22666666666666666,
      "eval_loss": 1.8592513799667358,
      "eval_runtime": 121.9842,
      "eval_samples_per_second": 16.396,
      "eval_steps_per_second": 4.099,
      "step": 5100
    },
    {
      "epoch": 0.2268888888888889,
      "grad_norm": 2.155015468597412,
      "learning_rate": 4.6661988304093565e-05,
      "loss": 1.6266,
      "step": 5105
    },
    {
      "epoch": 0.22711111111111112,
      "grad_norm": 2.2004401683807373,
      "learning_rate": 4.6656140350877196e-05,
      "loss": 1.8324,
      "step": 5110
    },
    {
      "epoch": 0.22733333333333333,
      "grad_norm": 1.449517846107483,
      "learning_rate": 4.665029239766082e-05,
      "loss": 1.5785,
      "step": 5115
    },
    {
      "epoch": 0.22755555555555557,
      "grad_norm": 2.1686089038848877,
      "learning_rate": 4.6644444444444446e-05,
      "loss": 1.1274,
      "step": 5120
    },
    {
      "epoch": 0.22777777777777777,
      "grad_norm": 1.464495301246643,
      "learning_rate": 4.663859649122807e-05,
      "loss": 1.9767,
      "step": 5125
    },
    {
      "epoch": 0.228,
      "grad_norm": 1.6862859725952148,
      "learning_rate": 4.66327485380117e-05,
      "loss": 1.4386,
      "step": 5130
    },
    {
      "epoch": 0.22822222222222222,
      "grad_norm": 1.6305489540100098,
      "learning_rate": 4.662690058479533e-05,
      "loss": 1.5071,
      "step": 5135
    },
    {
      "epoch": 0.22844444444444445,
      "grad_norm": 2.3006606101989746,
      "learning_rate": 4.662105263157895e-05,
      "loss": 1.686,
      "step": 5140
    },
    {
      "epoch": 0.22866666666666666,
      "grad_norm": 1.3091648817062378,
      "learning_rate": 4.661520467836257e-05,
      "loss": 2.0313,
      "step": 5145
    },
    {
      "epoch": 0.2288888888888889,
      "grad_norm": 1.3566396236419678,
      "learning_rate": 4.66093567251462e-05,
      "loss": 1.5321,
      "step": 5150
    },
    {
      "epoch": 0.2291111111111111,
      "grad_norm": 5.669273376464844,
      "learning_rate": 4.6603508771929826e-05,
      "loss": 1.632,
      "step": 5155
    },
    {
      "epoch": 0.22933333333333333,
      "grad_norm": 1.6498972177505493,
      "learning_rate": 4.659766081871345e-05,
      "loss": 2.1151,
      "step": 5160
    },
    {
      "epoch": 0.22955555555555557,
      "grad_norm": 2.064626693725586,
      "learning_rate": 4.659181286549708e-05,
      "loss": 1.5504,
      "step": 5165
    },
    {
      "epoch": 0.22977777777777778,
      "grad_norm": 2.7144529819488525,
      "learning_rate": 4.658596491228071e-05,
      "loss": 2.0532,
      "step": 5170
    },
    {
      "epoch": 0.23,
      "grad_norm": 2.5321507453918457,
      "learning_rate": 4.658011695906433e-05,
      "loss": 1.814,
      "step": 5175
    },
    {
      "epoch": 0.23022222222222222,
      "grad_norm": 1.6439094543457031,
      "learning_rate": 4.657426900584796e-05,
      "loss": 1.7684,
      "step": 5180
    },
    {
      "epoch": 0.23044444444444445,
      "grad_norm": 1.0879908800125122,
      "learning_rate": 4.656842105263158e-05,
      "loss": 1.639,
      "step": 5185
    },
    {
      "epoch": 0.23066666666666666,
      "grad_norm": 1.948796033859253,
      "learning_rate": 4.6562573099415207e-05,
      "loss": 1.6725,
      "step": 5190
    },
    {
      "epoch": 0.2308888888888889,
      "grad_norm": 2.0997631549835205,
      "learning_rate": 4.655672514619883e-05,
      "loss": 1.8267,
      "step": 5195
    },
    {
      "epoch": 0.2311111111111111,
      "grad_norm": 1.8432635068893433,
      "learning_rate": 4.6550877192982456e-05,
      "loss": 1.8235,
      "step": 5200
    },
    {
      "epoch": 0.23133333333333334,
      "grad_norm": 1.5542755126953125,
      "learning_rate": 4.654502923976609e-05,
      "loss": 1.3946,
      "step": 5205
    },
    {
      "epoch": 0.23155555555555554,
      "grad_norm": 2.8338613510131836,
      "learning_rate": 4.653918128654971e-05,
      "loss": 1.7911,
      "step": 5210
    },
    {
      "epoch": 0.23177777777777778,
      "grad_norm": 1.500203251838684,
      "learning_rate": 4.653333333333334e-05,
      "loss": 1.642,
      "step": 5215
    },
    {
      "epoch": 0.232,
      "grad_norm": 1.586663842201233,
      "learning_rate": 4.6527485380116955e-05,
      "loss": 1.9294,
      "step": 5220
    },
    {
      "epoch": 0.23222222222222222,
      "grad_norm": 1.7565820217132568,
      "learning_rate": 4.652163742690059e-05,
      "loss": 1.8238,
      "step": 5225
    },
    {
      "epoch": 0.23244444444444445,
      "grad_norm": 2.1172921657562256,
      "learning_rate": 4.651578947368421e-05,
      "loss": 1.452,
      "step": 5230
    },
    {
      "epoch": 0.23266666666666666,
      "grad_norm": 1.070895791053772,
      "learning_rate": 4.6509941520467836e-05,
      "loss": 1.946,
      "step": 5235
    },
    {
      "epoch": 0.2328888888888889,
      "grad_norm": 2.6011569499969482,
      "learning_rate": 4.650409356725147e-05,
      "loss": 1.564,
      "step": 5240
    },
    {
      "epoch": 0.2331111111111111,
      "grad_norm": 2.7118334770202637,
      "learning_rate": 4.649824561403509e-05,
      "loss": 1.7755,
      "step": 5245
    },
    {
      "epoch": 0.23333333333333334,
      "grad_norm": 2.34832501411438,
      "learning_rate": 4.649239766081872e-05,
      "loss": 1.5313,
      "step": 5250
    },
    {
      "epoch": 0.23355555555555554,
      "grad_norm": 1.6374398469924927,
      "learning_rate": 4.648654970760234e-05,
      "loss": 1.6117,
      "step": 5255
    },
    {
      "epoch": 0.23377777777777778,
      "grad_norm": 2.0155022144317627,
      "learning_rate": 4.648070175438597e-05,
      "loss": 1.6824,
      "step": 5260
    },
    {
      "epoch": 0.234,
      "grad_norm": 1.624793529510498,
      "learning_rate": 4.647485380116959e-05,
      "loss": 1.7834,
      "step": 5265
    },
    {
      "epoch": 0.23422222222222222,
      "grad_norm": 2.4127447605133057,
      "learning_rate": 4.646900584795322e-05,
      "loss": 2.178,
      "step": 5270
    },
    {
      "epoch": 0.23444444444444446,
      "grad_norm": 2.0332958698272705,
      "learning_rate": 4.646315789473684e-05,
      "loss": 1.5701,
      "step": 5275
    },
    {
      "epoch": 0.23466666666666666,
      "grad_norm": 1.7740845680236816,
      "learning_rate": 4.645730994152047e-05,
      "loss": 1.609,
      "step": 5280
    },
    {
      "epoch": 0.2348888888888889,
      "grad_norm": 1.959319829940796,
      "learning_rate": 4.64514619883041e-05,
      "loss": 1.6498,
      "step": 5285
    },
    {
      "epoch": 0.2351111111111111,
      "grad_norm": 2.760467290878296,
      "learning_rate": 4.644561403508772e-05,
      "loss": 1.9687,
      "step": 5290
    },
    {
      "epoch": 0.23533333333333334,
      "grad_norm": 2.475168228149414,
      "learning_rate": 4.643976608187135e-05,
      "loss": 1.5471,
      "step": 5295
    },
    {
      "epoch": 0.23555555555555555,
      "grad_norm": 2.311650037765503,
      "learning_rate": 4.643391812865497e-05,
      "loss": 2.0156,
      "step": 5300
    },
    {
      "epoch": 0.23577777777777778,
      "grad_norm": 1.7506139278411865,
      "learning_rate": 4.64280701754386e-05,
      "loss": 1.6358,
      "step": 5305
    },
    {
      "epoch": 0.236,
      "grad_norm": 1.4979619979858398,
      "learning_rate": 4.642222222222222e-05,
      "loss": 2.1659,
      "step": 5310
    },
    {
      "epoch": 0.23622222222222222,
      "grad_norm": 2.206202268600464,
      "learning_rate": 4.6416374269005854e-05,
      "loss": 1.7255,
      "step": 5315
    },
    {
      "epoch": 0.23644444444444446,
      "grad_norm": 2.1669650077819824,
      "learning_rate": 4.641052631578948e-05,
      "loss": 1.9759,
      "step": 5320
    },
    {
      "epoch": 0.23666666666666666,
      "grad_norm": 2.081918478012085,
      "learning_rate": 4.64046783625731e-05,
      "loss": 1.8497,
      "step": 5325
    },
    {
      "epoch": 0.2368888888888889,
      "grad_norm": 1.5384711027145386,
      "learning_rate": 4.639883040935673e-05,
      "loss": 1.7884,
      "step": 5330
    },
    {
      "epoch": 0.2371111111111111,
      "grad_norm": 2.032256841659546,
      "learning_rate": 4.639298245614035e-05,
      "loss": 1.7979,
      "step": 5335
    },
    {
      "epoch": 0.23733333333333334,
      "grad_norm": 2.2801215648651123,
      "learning_rate": 4.638713450292398e-05,
      "loss": 1.7385,
      "step": 5340
    },
    {
      "epoch": 0.23755555555555555,
      "grad_norm": 1.9012550115585327,
      "learning_rate": 4.63812865497076e-05,
      "loss": 1.468,
      "step": 5345
    },
    {
      "epoch": 0.23777777777777778,
      "grad_norm": 2.2814085483551025,
      "learning_rate": 4.6375438596491234e-05,
      "loss": 1.7953,
      "step": 5350
    },
    {
      "epoch": 0.238,
      "grad_norm": 1.8746579885482788,
      "learning_rate": 4.636959064327486e-05,
      "loss": 1.9889,
      "step": 5355
    },
    {
      "epoch": 0.23822222222222222,
      "grad_norm": 1.789276361465454,
      "learning_rate": 4.6363742690058483e-05,
      "loss": 1.5499,
      "step": 5360
    },
    {
      "epoch": 0.23844444444444443,
      "grad_norm": 1.740297555923462,
      "learning_rate": 4.635789473684211e-05,
      "loss": 1.8703,
      "step": 5365
    },
    {
      "epoch": 0.23866666666666667,
      "grad_norm": 2.025632858276367,
      "learning_rate": 4.635204678362573e-05,
      "loss": 1.5045,
      "step": 5370
    },
    {
      "epoch": 0.2388888888888889,
      "grad_norm": 2.1892800331115723,
      "learning_rate": 4.634619883040936e-05,
      "loss": 1.9731,
      "step": 5375
    },
    {
      "epoch": 0.2391111111111111,
      "grad_norm": 2.350633144378662,
      "learning_rate": 4.634035087719298e-05,
      "loss": 1.8786,
      "step": 5380
    },
    {
      "epoch": 0.23933333333333334,
      "grad_norm": 1.6462314128875732,
      "learning_rate": 4.633450292397661e-05,
      "loss": 1.9073,
      "step": 5385
    },
    {
      "epoch": 0.23955555555555555,
      "grad_norm": 2.0655171871185303,
      "learning_rate": 4.632865497076024e-05,
      "loss": 1.8194,
      "step": 5390
    },
    {
      "epoch": 0.23977777777777778,
      "grad_norm": 2.610747814178467,
      "learning_rate": 4.6322807017543864e-05,
      "loss": 2.0828,
      "step": 5395
    },
    {
      "epoch": 0.24,
      "grad_norm": 2.250426769256592,
      "learning_rate": 4.631695906432749e-05,
      "loss": 1.9408,
      "step": 5400
    },
    {
      "epoch": 0.24,
      "eval_loss": 1.8515021800994873,
      "eval_runtime": 122.2157,
      "eval_samples_per_second": 16.365,
      "eval_steps_per_second": 4.091,
      "step": 5400
    },
    {
      "epoch": 0.24022222222222223,
      "grad_norm": 2.179994821548462,
      "learning_rate": 4.6311111111111113e-05,
      "loss": 1.6863,
      "step": 5405
    },
    {
      "epoch": 0.24044444444444443,
      "grad_norm": 1.88584566116333,
      "learning_rate": 4.630526315789474e-05,
      "loss": 1.8792,
      "step": 5410
    },
    {
      "epoch": 0.24066666666666667,
      "grad_norm": 1.9240152835845947,
      "learning_rate": 4.629941520467836e-05,
      "loss": 1.8112,
      "step": 5415
    },
    {
      "epoch": 0.2408888888888889,
      "grad_norm": 2.1617770195007324,
      "learning_rate": 4.629356725146199e-05,
      "loss": 1.814,
      "step": 5420
    },
    {
      "epoch": 0.2411111111111111,
      "grad_norm": 2.181037187576294,
      "learning_rate": 4.628771929824562e-05,
      "loss": 1.8462,
      "step": 5425
    },
    {
      "epoch": 0.24133333333333334,
      "grad_norm": 1.0356175899505615,
      "learning_rate": 4.6281871345029244e-05,
      "loss": 1.9563,
      "step": 5430
    },
    {
      "epoch": 0.24155555555555555,
      "grad_norm": 1.366702914237976,
      "learning_rate": 4.627602339181287e-05,
      "loss": 1.6176,
      "step": 5435
    },
    {
      "epoch": 0.24177777777777779,
      "grad_norm": 2.0723373889923096,
      "learning_rate": 4.6270175438596494e-05,
      "loss": 1.6869,
      "step": 5440
    },
    {
      "epoch": 0.242,
      "grad_norm": 0.8436343669891357,
      "learning_rate": 4.626432748538012e-05,
      "loss": 1.294,
      "step": 5445
    },
    {
      "epoch": 0.24222222222222223,
      "grad_norm": 1.7690180540084839,
      "learning_rate": 4.625847953216374e-05,
      "loss": 1.8728,
      "step": 5450
    },
    {
      "epoch": 0.24244444444444443,
      "grad_norm": 1.9416389465332031,
      "learning_rate": 4.625263157894737e-05,
      "loss": 1.7861,
      "step": 5455
    },
    {
      "epoch": 0.24266666666666667,
      "grad_norm": 1.6369402408599854,
      "learning_rate": 4.624678362573099e-05,
      "loss": 1.8895,
      "step": 5460
    },
    {
      "epoch": 0.24288888888888888,
      "grad_norm": 1.611917495727539,
      "learning_rate": 4.6240935672514625e-05,
      "loss": 1.9802,
      "step": 5465
    },
    {
      "epoch": 0.2431111111111111,
      "grad_norm": 1.2702120542526245,
      "learning_rate": 4.623508771929825e-05,
      "loss": 2.1976,
      "step": 5470
    },
    {
      "epoch": 0.24333333333333335,
      "grad_norm": 3.396468162536621,
      "learning_rate": 4.6229239766081874e-05,
      "loss": 1.6966,
      "step": 5475
    },
    {
      "epoch": 0.24355555555555555,
      "grad_norm": 2.561246156692505,
      "learning_rate": 4.62233918128655e-05,
      "loss": 2.1688,
      "step": 5480
    },
    {
      "epoch": 0.2437777777777778,
      "grad_norm": 1.5780209302902222,
      "learning_rate": 4.6217543859649124e-05,
      "loss": 1.6057,
      "step": 5485
    },
    {
      "epoch": 0.244,
      "grad_norm": 1.8399527072906494,
      "learning_rate": 4.621169590643275e-05,
      "loss": 1.5547,
      "step": 5490
    },
    {
      "epoch": 0.24422222222222223,
      "grad_norm": 2.3258821964263916,
      "learning_rate": 4.620584795321637e-05,
      "loss": 1.811,
      "step": 5495
    },
    {
      "epoch": 0.24444444444444444,
      "grad_norm": 1.927578091621399,
      "learning_rate": 4.6200000000000005e-05,
      "loss": 2.1159,
      "step": 5500
    },
    {
      "epoch": 0.24466666666666667,
      "grad_norm": 1.2178682088851929,
      "learning_rate": 4.619415204678363e-05,
      "loss": 1.4199,
      "step": 5505
    },
    {
      "epoch": 0.24488888888888888,
      "grad_norm": 1.5543491840362549,
      "learning_rate": 4.6188304093567254e-05,
      "loss": 2.0416,
      "step": 5510
    },
    {
      "epoch": 0.2451111111111111,
      "grad_norm": 2.8469858169555664,
      "learning_rate": 4.618245614035088e-05,
      "loss": 2.0162,
      "step": 5515
    },
    {
      "epoch": 0.24533333333333332,
      "grad_norm": 1.5904767513275146,
      "learning_rate": 4.6176608187134504e-05,
      "loss": 1.4464,
      "step": 5520
    },
    {
      "epoch": 0.24555555555555555,
      "grad_norm": 1.9862420558929443,
      "learning_rate": 4.617076023391813e-05,
      "loss": 1.7625,
      "step": 5525
    },
    {
      "epoch": 0.2457777777777778,
      "grad_norm": 1.7469662427902222,
      "learning_rate": 4.6164912280701754e-05,
      "loss": 1.8926,
      "step": 5530
    },
    {
      "epoch": 0.246,
      "grad_norm": 1.8527109622955322,
      "learning_rate": 4.615906432748538e-05,
      "loss": 1.5137,
      "step": 5535
    },
    {
      "epoch": 0.24622222222222223,
      "grad_norm": 1.6631251573562622,
      "learning_rate": 4.615321637426901e-05,
      "loss": 1.9757,
      "step": 5540
    },
    {
      "epoch": 0.24644444444444444,
      "grad_norm": 1.802294135093689,
      "learning_rate": 4.6147368421052635e-05,
      "loss": 1.5638,
      "step": 5545
    },
    {
      "epoch": 0.24666666666666667,
      "grad_norm": 1.7251272201538086,
      "learning_rate": 4.614152046783626e-05,
      "loss": 1.7598,
      "step": 5550
    },
    {
      "epoch": 0.24688888888888888,
      "grad_norm": 2.1413633823394775,
      "learning_rate": 4.6135672514619884e-05,
      "loss": 1.7545,
      "step": 5555
    },
    {
      "epoch": 0.24711111111111111,
      "grad_norm": 1.8517754077911377,
      "learning_rate": 4.612982456140351e-05,
      "loss": 1.8025,
      "step": 5560
    },
    {
      "epoch": 0.24733333333333332,
      "grad_norm": 1.811291217803955,
      "learning_rate": 4.6123976608187134e-05,
      "loss": 1.6903,
      "step": 5565
    },
    {
      "epoch": 0.24755555555555556,
      "grad_norm": 1.5146809816360474,
      "learning_rate": 4.611812865497076e-05,
      "loss": 2.0733,
      "step": 5570
    },
    {
      "epoch": 0.2477777777777778,
      "grad_norm": 1.7645658254623413,
      "learning_rate": 4.611228070175439e-05,
      "loss": 1.972,
      "step": 5575
    },
    {
      "epoch": 0.248,
      "grad_norm": 2.6554081439971924,
      "learning_rate": 4.6106432748538015e-05,
      "loss": 1.4249,
      "step": 5580
    },
    {
      "epoch": 0.24822222222222223,
      "grad_norm": 2.020815372467041,
      "learning_rate": 4.610058479532164e-05,
      "loss": 1.5836,
      "step": 5585
    },
    {
      "epoch": 0.24844444444444444,
      "grad_norm": 1.7448194026947021,
      "learning_rate": 4.6094736842105265e-05,
      "loss": 1.5654,
      "step": 5590
    },
    {
      "epoch": 0.24866666666666667,
      "grad_norm": 2.493623971939087,
      "learning_rate": 4.608888888888889e-05,
      "loss": 1.9978,
      "step": 5595
    },
    {
      "epoch": 0.24888888888888888,
      "grad_norm": 3.6684012413024902,
      "learning_rate": 4.6083040935672514e-05,
      "loss": 2.0249,
      "step": 5600
    },
    {
      "epoch": 0.24911111111111112,
      "grad_norm": 2.2231051921844482,
      "learning_rate": 4.607719298245614e-05,
      "loss": 2.1451,
      "step": 5605
    },
    {
      "epoch": 0.24933333333333332,
      "grad_norm": 1.8813433647155762,
      "learning_rate": 4.607134502923977e-05,
      "loss": 1.7851,
      "step": 5610
    },
    {
      "epoch": 0.24955555555555556,
      "grad_norm": 1.8742523193359375,
      "learning_rate": 4.6065497076023396e-05,
      "loss": 1.9011,
      "step": 5615
    },
    {
      "epoch": 0.24977777777777777,
      "grad_norm": 1.1910359859466553,
      "learning_rate": 4.605964912280702e-05,
      "loss": 1.8584,
      "step": 5620
    },
    {
      "epoch": 0.25,
      "grad_norm": 1.952612280845642,
      "learning_rate": 4.6053801169590645e-05,
      "loss": 1.6683,
      "step": 5625
    },
    {
      "epoch": 0.25022222222222223,
      "grad_norm": 1.899366855621338,
      "learning_rate": 4.604795321637427e-05,
      "loss": 1.6262,
      "step": 5630
    },
    {
      "epoch": 0.25044444444444447,
      "grad_norm": 2.262711763381958,
      "learning_rate": 4.6042105263157895e-05,
      "loss": 1.9505,
      "step": 5635
    },
    {
      "epoch": 0.25066666666666665,
      "grad_norm": 1.7656283378601074,
      "learning_rate": 4.603625730994152e-05,
      "loss": 1.9526,
      "step": 5640
    },
    {
      "epoch": 0.2508888888888889,
      "grad_norm": 1.9677802324295044,
      "learning_rate": 4.6030409356725144e-05,
      "loss": 1.7991,
      "step": 5645
    },
    {
      "epoch": 0.2511111111111111,
      "grad_norm": 2.049431324005127,
      "learning_rate": 4.6024561403508776e-05,
      "loss": 1.8175,
      "step": 5650
    },
    {
      "epoch": 0.25133333333333335,
      "grad_norm": 2.0143826007843018,
      "learning_rate": 4.60187134502924e-05,
      "loss": 1.5271,
      "step": 5655
    },
    {
      "epoch": 0.25155555555555553,
      "grad_norm": 2.296725273132324,
      "learning_rate": 4.6012865497076025e-05,
      "loss": 1.784,
      "step": 5660
    },
    {
      "epoch": 0.25177777777777777,
      "grad_norm": 1.819411039352417,
      "learning_rate": 4.600701754385966e-05,
      "loss": 1.8792,
      "step": 5665
    },
    {
      "epoch": 0.252,
      "grad_norm": 2.431102752685547,
      "learning_rate": 4.6001169590643275e-05,
      "loss": 1.8628,
      "step": 5670
    },
    {
      "epoch": 0.25222222222222224,
      "grad_norm": 1.3907947540283203,
      "learning_rate": 4.59953216374269e-05,
      "loss": 1.8729,
      "step": 5675
    },
    {
      "epoch": 0.25244444444444447,
      "grad_norm": 1.290007472038269,
      "learning_rate": 4.5989473684210525e-05,
      "loss": 1.475,
      "step": 5680
    },
    {
      "epoch": 0.25266666666666665,
      "grad_norm": 1.8560116291046143,
      "learning_rate": 4.5983625730994156e-05,
      "loss": 1.4046,
      "step": 5685
    },
    {
      "epoch": 0.2528888888888889,
      "grad_norm": 1.6637694835662842,
      "learning_rate": 4.597777777777778e-05,
      "loss": 1.7012,
      "step": 5690
    },
    {
      "epoch": 0.2531111111111111,
      "grad_norm": 2.015759229660034,
      "learning_rate": 4.5971929824561406e-05,
      "loss": 1.8306,
      "step": 5695
    },
    {
      "epoch": 0.25333333333333335,
      "grad_norm": 1.9608961343765259,
      "learning_rate": 4.596608187134503e-05,
      "loss": 1.9674,
      "step": 5700
    },
    {
      "epoch": 0.25333333333333335,
      "eval_loss": 1.8420404195785522,
      "eval_runtime": 121.8678,
      "eval_samples_per_second": 16.411,
      "eval_steps_per_second": 4.103,
      "step": 5700
    },
    {
      "epoch": 0.25355555555555553,
      "grad_norm": 2.513718843460083,
      "learning_rate": 4.596023391812866e-05,
      "loss": 1.9614,
      "step": 5705
    },
    {
      "epoch": 0.25377777777777777,
      "grad_norm": 2.623063802719116,
      "learning_rate": 4.595438596491228e-05,
      "loss": 1.852,
      "step": 5710
    },
    {
      "epoch": 0.254,
      "grad_norm": 1.5227664709091187,
      "learning_rate": 4.5948538011695905e-05,
      "loss": 1.2873,
      "step": 5715
    },
    {
      "epoch": 0.25422222222222224,
      "grad_norm": 1.9429205656051636,
      "learning_rate": 4.594269005847953e-05,
      "loss": 1.8011,
      "step": 5720
    },
    {
      "epoch": 0.2544444444444444,
      "grad_norm": 2.0478172302246094,
      "learning_rate": 4.593684210526316e-05,
      "loss": 1.4783,
      "step": 5725
    },
    {
      "epoch": 0.25466666666666665,
      "grad_norm": 1.8689188957214355,
      "learning_rate": 4.5930994152046786e-05,
      "loss": 1.5822,
      "step": 5730
    },
    {
      "epoch": 0.2548888888888889,
      "grad_norm": 1.7542414665222168,
      "learning_rate": 4.592514619883041e-05,
      "loss": 1.944,
      "step": 5735
    },
    {
      "epoch": 0.2551111111111111,
      "grad_norm": 2.143735647201538,
      "learning_rate": 4.591929824561404e-05,
      "loss": 1.4644,
      "step": 5740
    },
    {
      "epoch": 0.25533333333333336,
      "grad_norm": 2.409026622772217,
      "learning_rate": 4.591345029239766e-05,
      "loss": 1.8327,
      "step": 5745
    },
    {
      "epoch": 0.25555555555555554,
      "grad_norm": 1.9615473747253418,
      "learning_rate": 4.5907602339181285e-05,
      "loss": 1.415,
      "step": 5750
    },
    {
      "epoch": 0.25577777777777777,
      "grad_norm": 2.471177577972412,
      "learning_rate": 4.590175438596491e-05,
      "loss": 2.1578,
      "step": 5755
    },
    {
      "epoch": 0.256,
      "grad_norm": 1.8089349269866943,
      "learning_rate": 4.589590643274854e-05,
      "loss": 1.7279,
      "step": 5760
    },
    {
      "epoch": 0.25622222222222224,
      "grad_norm": 1.6860287189483643,
      "learning_rate": 4.5890058479532167e-05,
      "loss": 2.1058,
      "step": 5765
    },
    {
      "epoch": 0.2564444444444444,
      "grad_norm": 1.9835906028747559,
      "learning_rate": 4.588421052631579e-05,
      "loss": 2.0232,
      "step": 5770
    },
    {
      "epoch": 0.25666666666666665,
      "grad_norm": 2.174938678741455,
      "learning_rate": 4.5878362573099416e-05,
      "loss": 1.8536,
      "step": 5775
    },
    {
      "epoch": 0.2568888888888889,
      "grad_norm": 2.1939330101013184,
      "learning_rate": 4.587251461988305e-05,
      "loss": 1.8328,
      "step": 5780
    },
    {
      "epoch": 0.2571111111111111,
      "grad_norm": 1.4257408380508423,
      "learning_rate": 4.5866666666666666e-05,
      "loss": 1.8619,
      "step": 5785
    },
    {
      "epoch": 0.25733333333333336,
      "grad_norm": 1.120554804801941,
      "learning_rate": 4.586081871345029e-05,
      "loss": 1.9313,
      "step": 5790
    },
    {
      "epoch": 0.25755555555555554,
      "grad_norm": 1.8349061012268066,
      "learning_rate": 4.585497076023392e-05,
      "loss": 1.8953,
      "step": 5795
    },
    {
      "epoch": 0.2577777777777778,
      "grad_norm": 2.555694341659546,
      "learning_rate": 4.584912280701755e-05,
      "loss": 1.741,
      "step": 5800
    },
    {
      "epoch": 0.258,
      "grad_norm": 2.215731143951416,
      "learning_rate": 4.584327485380117e-05,
      "loss": 1.9968,
      "step": 5805
    },
    {
      "epoch": 0.25822222222222224,
      "grad_norm": 1.918468713760376,
      "learning_rate": 4.5837426900584796e-05,
      "loss": 2.0929,
      "step": 5810
    },
    {
      "epoch": 0.2584444444444444,
      "grad_norm": 1.5059887170791626,
      "learning_rate": 4.583157894736843e-05,
      "loss": 1.6522,
      "step": 5815
    },
    {
      "epoch": 0.25866666666666666,
      "grad_norm": 1.9483720064163208,
      "learning_rate": 4.582573099415205e-05,
      "loss": 1.997,
      "step": 5820
    },
    {
      "epoch": 0.2588888888888889,
      "grad_norm": 2.36724853515625,
      "learning_rate": 4.581988304093567e-05,
      "loss": 2.1369,
      "step": 5825
    },
    {
      "epoch": 0.2591111111111111,
      "grad_norm": 1.8852696418762207,
      "learning_rate": 4.5814035087719296e-05,
      "loss": 1.8471,
      "step": 5830
    },
    {
      "epoch": 0.25933333333333336,
      "grad_norm": 1.7827341556549072,
      "learning_rate": 4.580818713450293e-05,
      "loss": 1.7348,
      "step": 5835
    },
    {
      "epoch": 0.25955555555555554,
      "grad_norm": 2.329742908477783,
      "learning_rate": 4.580233918128655e-05,
      "loss": 2.0705,
      "step": 5840
    },
    {
      "epoch": 0.2597777777777778,
      "grad_norm": 1.0211944580078125,
      "learning_rate": 4.579649122807018e-05,
      "loss": 1.8307,
      "step": 5845
    },
    {
      "epoch": 0.26,
      "grad_norm": 1.8757153749465942,
      "learning_rate": 4.579064327485381e-05,
      "loss": 1.7911,
      "step": 5850
    },
    {
      "epoch": 0.26022222222222224,
      "grad_norm": 1.8560901880264282,
      "learning_rate": 4.578479532163743e-05,
      "loss": 1.6901,
      "step": 5855
    },
    {
      "epoch": 0.2604444444444444,
      "grad_norm": 2.4187862873077393,
      "learning_rate": 4.577894736842105e-05,
      "loss": 1.8583,
      "step": 5860
    },
    {
      "epoch": 0.26066666666666666,
      "grad_norm": 2.1501266956329346,
      "learning_rate": 4.5773099415204676e-05,
      "loss": 1.6758,
      "step": 5865
    },
    {
      "epoch": 0.2608888888888889,
      "grad_norm": 3.1335690021514893,
      "learning_rate": 4.576725146198831e-05,
      "loss": 1.5838,
      "step": 5870
    },
    {
      "epoch": 0.2611111111111111,
      "grad_norm": 1.9624409675598145,
      "learning_rate": 4.576140350877193e-05,
      "loss": 2.4019,
      "step": 5875
    },
    {
      "epoch": 0.2613333333333333,
      "grad_norm": 2.3495991230010986,
      "learning_rate": 4.575555555555556e-05,
      "loss": 1.924,
      "step": 5880
    },
    {
      "epoch": 0.26155555555555554,
      "grad_norm": 2.056114912033081,
      "learning_rate": 4.574970760233918e-05,
      "loss": 1.573,
      "step": 5885
    },
    {
      "epoch": 0.2617777777777778,
      "grad_norm": 2.7962443828582764,
      "learning_rate": 4.5743859649122814e-05,
      "loss": 1.9754,
      "step": 5890
    },
    {
      "epoch": 0.262,
      "grad_norm": 2.5352225303649902,
      "learning_rate": 4.573801169590644e-05,
      "loss": 1.9626,
      "step": 5895
    },
    {
      "epoch": 0.26222222222222225,
      "grad_norm": 2.1631648540496826,
      "learning_rate": 4.5732163742690056e-05,
      "loss": 2.0383,
      "step": 5900
    },
    {
      "epoch": 0.2624444444444444,
      "grad_norm": 1.547371506690979,
      "learning_rate": 4.572631578947368e-05,
      "loss": 1.9915,
      "step": 5905
    },
    {
      "epoch": 0.26266666666666666,
      "grad_norm": 1.5182358026504517,
      "learning_rate": 4.572046783625731e-05,
      "loss": 1.9919,
      "step": 5910
    },
    {
      "epoch": 0.2628888888888889,
      "grad_norm": 1.912756085395813,
      "learning_rate": 4.571461988304094e-05,
      "loss": 1.7243,
      "step": 5915
    },
    {
      "epoch": 0.26311111111111113,
      "grad_norm": 1.8593347072601318,
      "learning_rate": 4.570877192982456e-05,
      "loss": 2.0859,
      "step": 5920
    },
    {
      "epoch": 0.2633333333333333,
      "grad_norm": 1.9229817390441895,
      "learning_rate": 4.5702923976608194e-05,
      "loss": 1.7462,
      "step": 5925
    },
    {
      "epoch": 0.26355555555555554,
      "grad_norm": 2.1461665630340576,
      "learning_rate": 4.569707602339182e-05,
      "loss": 1.71,
      "step": 5930
    },
    {
      "epoch": 0.2637777777777778,
      "grad_norm": 1.3631662130355835,
      "learning_rate": 4.5691228070175443e-05,
      "loss": 1.6953,
      "step": 5935
    },
    {
      "epoch": 0.264,
      "grad_norm": 1.74403715133667,
      "learning_rate": 4.568538011695906e-05,
      "loss": 1.5853,
      "step": 5940
    },
    {
      "epoch": 0.26422222222222225,
      "grad_norm": 2.0173709392547607,
      "learning_rate": 4.567953216374269e-05,
      "loss": 2.0683,
      "step": 5945
    },
    {
      "epoch": 0.2644444444444444,
      "grad_norm": 2.350615978240967,
      "learning_rate": 4.567368421052632e-05,
      "loss": 1.6586,
      "step": 5950
    },
    {
      "epoch": 0.26466666666666666,
      "grad_norm": 1.3988242149353027,
      "learning_rate": 4.566783625730994e-05,
      "loss": 1.9114,
      "step": 5955
    },
    {
      "epoch": 0.2648888888888889,
      "grad_norm": 1.8213691711425781,
      "learning_rate": 4.566198830409357e-05,
      "loss": 1.7502,
      "step": 5960
    },
    {
      "epoch": 0.26511111111111113,
      "grad_norm": 2.2990119457244873,
      "learning_rate": 4.56561403508772e-05,
      "loss": 1.1103,
      "step": 5965
    },
    {
      "epoch": 0.2653333333333333,
      "grad_norm": 2.4170711040496826,
      "learning_rate": 4.5650292397660824e-05,
      "loss": 1.6635,
      "step": 5970
    },
    {
      "epoch": 0.26555555555555554,
      "grad_norm": 2.064201831817627,
      "learning_rate": 4.564444444444444e-05,
      "loss": 1.8762,
      "step": 5975
    },
    {
      "epoch": 0.2657777777777778,
      "grad_norm": 1.7792284488677979,
      "learning_rate": 4.5638596491228073e-05,
      "loss": 1.8201,
      "step": 5980
    },
    {
      "epoch": 0.266,
      "grad_norm": 1.5395294427871704,
      "learning_rate": 4.56327485380117e-05,
      "loss": 2.3616,
      "step": 5985
    },
    {
      "epoch": 0.26622222222222225,
      "grad_norm": 2.063734531402588,
      "learning_rate": 4.562690058479532e-05,
      "loss": 2.0169,
      "step": 5990
    },
    {
      "epoch": 0.26644444444444443,
      "grad_norm": 1.8983505964279175,
      "learning_rate": 4.562105263157895e-05,
      "loss": 1.5749,
      "step": 5995
    },
    {
      "epoch": 0.26666666666666666,
      "grad_norm": 1.8863385915756226,
      "learning_rate": 4.561520467836258e-05,
      "loss": 1.7727,
      "step": 6000
    },
    {
      "epoch": 0.26666666666666666,
      "eval_loss": 1.8343037366867065,
      "eval_runtime": 121.8812,
      "eval_samples_per_second": 16.409,
      "eval_steps_per_second": 4.102,
      "step": 6000
    }
  ],
  "logging_steps": 5,
  "max_steps": 45000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 2,
  "save_steps": 300,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 2.3929748355181152e+17,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}