diff --git "a/checkpoint-120000/trainer_state.json" "b/checkpoint-120000/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/checkpoint-120000/trainer_state.json"
@@ -0,0 +1,7232 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 4.027733333333333,
+  "global_step": 120000,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.0,
+      "learning_rate": 4.995833333333333e-05,
+      "loss": 1.3001,
+      "step": 100
+    },
+    {
+      "epoch": 0.0,
+      "learning_rate": 4.991666666666667e-05,
+      "loss": 1.2479,
+      "step": 200
+    },
+    {
+      "epoch": 0.0,
+      "learning_rate": 4.9875000000000006e-05,
+      "loss": 1.2428,
+      "step": 300
+    },
+    {
+      "epoch": 0.0,
+      "learning_rate": 4.9833333333333336e-05,
+      "loss": 1.2412,
+      "step": 400
+    },
+    {
+      "epoch": 0.0,
+      "learning_rate": 4.979166666666667e-05,
+      "loss": 1.2395,
+      "step": 500
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.975e-05,
+      "loss": 1.2386,
+      "step": 600
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.970833333333333e-05,
+      "loss": 1.2377,
+      "step": 700
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.966666666666667e-05,
+      "loss": 1.2365,
+      "step": 800
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.962500000000001e-05,
+      "loss": 1.2345,
+      "step": 900
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.958333333333334e-05,
+      "loss": 1.2322,
+      "step": 1000
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.954166666666667e-05,
+      "loss": 1.2306,
+      "step": 1100
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.9500000000000004e-05,
+      "loss": 1.2312,
+      "step": 1200
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.9458333333333334e-05,
+      "loss": 1.2291,
+      "step": 1300
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.9416666666666664e-05,
+      "loss": 1.2279,
+      "step": 1400
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.937500000000001e-05,
+      "loss": 1.226,
+      "step": 1500
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.933333333333334e-05,
+      "loss": 1.2268,
+      "step": 1600
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.929166666666667e-05,
+      "loss": 1.2258,
+      "step": 1700
+    },
+    {
+      "epoch": 0.01,
+      "learning_rate": 4.9250000000000004e-05,
+      "loss": 1.2241,
+      "step": 1800
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.9208333333333335e-05,
+      "loss": 1.2248,
+      "step": 1900
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.9166666666666665e-05,
+      "loss": 1.2242,
+      "step": 2000
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.9125e-05,
+      "loss": 1.2227,
+      "step": 2100
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.908333333333334e-05,
+      "loss": 1.2216,
+      "step": 2200
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.904166666666667e-05,
+      "loss": 1.2217,
+      "step": 2300
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.9e-05,
+      "loss": 1.2208,
+      "step": 2400
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.8958333333333335e-05,
+      "loss": 1.2203,
+      "step": 2500
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.891666666666667e-05,
+      "loss": 1.2192,
+      "step": 2600
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.8875e-05,
+      "loss": 1.2187,
+      "step": 2700
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.883333333333334e-05,
+      "loss": 1.2189,
+      "step": 2800
+    },
+    {
+      "epoch": 0.02,
+      "learning_rate": 4.879166666666667e-05,
+      "loss": 1.2177,
+      "step": 2900
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.875e-05,
+      "loss": 1.2168,
+      "step": 3000
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.8708333333333336e-05,
+      "loss": 1.2163,
+      "step": 3100
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.866666666666667e-05,
+      "loss": 1.2151,
+      "step": 3200
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.8625e-05,
+      "loss": 1.2156,
+      "step": 3300
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.858333333333333e-05,
+      "loss": 1.2146,
+      "step": 3400
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.854166666666667e-05,
+      "loss": 1.2124,
+      "step": 3500
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.85e-05,
+      "loss": 1.2124,
+      "step": 3600
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.845833333333334e-05,
+      "loss": 1.2129,
+      "step": 3700
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.8416666666666673e-05,
+      "loss": 1.2109,
+      "step": 3800
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.8375000000000004e-05,
+      "loss": 1.2104,
+      "step": 3900
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.8333333333333334e-05,
+      "loss": 1.211,
+      "step": 4000
+    },
+    {
+      "epoch": 0.03,
+      "learning_rate": 4.829166666666667e-05,
+      "loss": 1.2081,
+      "step": 4100
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.825e-05,
+      "loss": 1.2089,
+      "step": 4200
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.820833333333333e-05,
+      "loss": 1.2077,
+      "step": 4300
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.8166666666666674e-05,
+      "loss": 1.208,
+      "step": 4400
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.8125000000000004e-05,
+      "loss": 1.2069,
+      "step": 4500
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.8083333333333334e-05,
+      "loss": 1.206,
+      "step": 4600
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.804166666666667e-05,
+      "loss": 1.2058,
+      "step": 4700
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.8e-05,
+      "loss": 1.2038,
+      "step": 4800
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.795833333333333e-05,
+      "loss": 1.2044,
+      "step": 4900
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.791666666666667e-05,
+      "loss": 1.2044,
+      "step": 5000
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.7875000000000005e-05,
+      "loss": 1.2035,
+      "step": 5100
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.7833333333333335e-05,
+      "loss": 1.202,
+      "step": 5200
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.7791666666666665e-05,
+      "loss": 1.2018,
+      "step": 5300
+    },
+    {
+      "epoch": 0.04,
+      "learning_rate": 4.775e-05,
+      "loss": 1.2015,
+      "step": 5400
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.770833333333334e-05,
+      "loss": 1.1997,
+      "step": 5500
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.766666666666667e-05,
+      "loss": 1.2016,
+      "step": 5600
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7625000000000006e-05,
+      "loss": 1.1986,
+      "step": 5700
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7583333333333336e-05,
+      "loss": 1.1994,
+      "step": 5800
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7541666666666666e-05,
+      "loss": 1.1996,
+      "step": 5900
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.75e-05,
+      "loss": 1.198,
+      "step": 6000
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.745833333333334e-05,
+      "loss": 1.1969,
+      "step": 6100
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.741666666666667e-05,
+      "loss": 1.197,
+      "step": 6200
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7375e-05,
+      "loss": 1.1972,
+      "step": 6300
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7333333333333336e-05,
+      "loss": 1.1949,
+      "step": 6400
+    },
+    {
+      "epoch": 0.05,
+      "learning_rate": 4.7291666666666666e-05,
+      "loss": 1.1964,
+      "step": 6500
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.7249999999999997e-05,
+      "loss": 1.1949,
+      "step": 6600
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.720833333333334e-05,
+      "loss": 1.195,
+      "step": 6700
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.716666666666667e-05,
+      "loss": 1.194,
+      "step": 6800
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.7125e-05,
+      "loss": 1.1923,
+      "step": 6900
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.708333333333334e-05,
+      "loss": 1.1943,
+      "step": 7000
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.704166666666667e-05,
+      "loss": 1.1935,
+      "step": 7100
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.7e-05,
+      "loss": 1.1916,
+      "step": 7200
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.695833333333334e-05,
+      "loss": 1.1924,
+      "step": 7300
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.691666666666667e-05,
+      "loss": 1.1912,
+      "step": 7400
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.6875e-05,
+      "loss": 1.1906,
+      "step": 7500
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.683333333333334e-05,
+      "loss": 1.1896,
+      "step": 7600
+    },
+    {
+      "epoch": 0.06,
+      "learning_rate": 4.679166666666667e-05,
+      "loss": 1.1893,
+      "step": 7700
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6750000000000005e-05,
+      "loss": 1.19,
+      "step": 7800
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6708333333333335e-05,
+      "loss": 1.1894,
+      "step": 7900
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 1.188,
+      "step": 8000
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6625e-05,
+      "loss": 1.1865,
+      "step": 8100
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.658333333333333e-05,
+      "loss": 1.1872,
+      "step": 8200
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.654166666666667e-05,
+      "loss": 1.1855,
+      "step": 8300
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6500000000000005e-05,
+      "loss": 1.1848,
+      "step": 8400
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6458333333333335e-05,
+      "loss": 1.1865,
+      "step": 8500
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.641666666666667e-05,
+      "loss": 1.1846,
+      "step": 8600
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6375e-05,
+      "loss": 1.1851,
+      "step": 8700
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.633333333333333e-05,
+      "loss": 1.1848,
+      "step": 8800
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.629166666666667e-05,
+      "loss": 1.185,
+      "step": 8900
+    },
+    {
+      "epoch": 0.07,
+      "learning_rate": 4.6250000000000006e-05,
+      "loss": 1.1829,
+      "step": 9000
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.6208333333333336e-05,
+      "loss": 1.1821,
+      "step": 9100
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.6166666666666666e-05,
+      "loss": 1.1822,
+      "step": 9200
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.6125e-05,
+      "loss": 1.1818,
+      "step": 9300
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.608333333333333e-05,
+      "loss": 1.1812,
+      "step": 9400
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.604166666666666e-05,
+      "loss": 1.1804,
+      "step": 9500
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 1.1795,
+      "step": 9600
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.595833333333334e-05,
+      "loss": 1.1794,
+      "step": 9700
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.591666666666667e-05,
+      "loss": 1.1783,
+      "step": 9800
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.5875000000000004e-05,
+      "loss": 1.1775,
+      "step": 9900
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.5833333333333334e-05,
+      "loss": 1.1781,
+      "step": 10000
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 4.579166666666667e-05,
+      "loss": 1.1771,
+      "step": 10100
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.575e-05,
+      "loss": 1.1777,
+      "step": 10200
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.570833333333334e-05,
+      "loss": 1.1757,
+      "step": 10300
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.566666666666667e-05,
+      "loss": 1.1742,
+      "step": 10400
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.5625e-05,
+      "loss": 1.1764,
+      "step": 10500
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.5583333333333335e-05,
+      "loss": 1.1756,
+      "step": 10600
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.554166666666667e-05,
+      "loss": 1.1733,
+      "step": 10700
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.55e-05,
+      "loss": 1.1735,
+      "step": 10800
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.545833333333334e-05,
+      "loss": 1.1724,
+      "step": 10900
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.541666666666667e-05,
+      "loss": 1.1718,
+      "step": 11000
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.5375e-05,
+      "loss": 1.1711,
+      "step": 11100
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.5333333333333335e-05,
+      "loss": 1.1696,
+      "step": 11200
+    },
+    {
+      "epoch": 0.09,
+      "learning_rate": 4.529166666666667e-05,
+      "loss": 1.1707,
+      "step": 11300
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.525e-05,
+      "loss": 1.1684,
+      "step": 11400
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.520833333333334e-05,
+      "loss": 1.1691,
+      "step": 11500
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.516666666666667e-05,
+      "loss": 1.1666,
+      "step": 11600
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.5125e-05,
+      "loss": 1.1677,
+      "step": 11700
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.5083333333333336e-05,
+      "loss": 1.1673,
+      "step": 11800
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.504166666666667e-05,
+      "loss": 1.168,
+      "step": 11900
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.5e-05,
+      "loss": 1.1661,
+      "step": 12000
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.495833333333333e-05,
+      "loss": 1.1663,
+      "step": 12100
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.491666666666667e-05,
+      "loss": 1.1632,
+      "step": 12200
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.4875e-05,
+      "loss": 1.1663,
+      "step": 12300
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.483333333333333e-05,
+      "loss": 1.1662,
+      "step": 12400
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.4791666666666673e-05,
+      "loss": 1.1637,
+      "step": 12500
+    },
+    {
+      "epoch": 0.1,
+      "learning_rate": 4.4750000000000004e-05,
+      "loss": 1.1633,
+      "step": 12600
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4708333333333334e-05,
+      "loss": 1.1622,
+      "step": 12700
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.466666666666667e-05,
+      "loss": 1.1613,
+      "step": 12800
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4625e-05,
+      "loss": 1.1614,
+      "step": 12900
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.458333333333334e-05,
+      "loss": 1.1616,
+      "step": 13000
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.454166666666667e-05,
+      "loss": 1.1618,
+      "step": 13100
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4500000000000004e-05,
+      "loss": 1.1611,
+      "step": 13200
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4458333333333334e-05,
+      "loss": 1.1622,
+      "step": 13300
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4416666666666664e-05,
+      "loss": 1.1593,
+      "step": 13400
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.4375e-05,
+      "loss": 1.1583,
+      "step": 13500
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.433333333333334e-05,
+      "loss": 1.1591,
+      "step": 13600
+    },
+    {
+      "epoch": 0.11,
+      "learning_rate": 4.429166666666667e-05,
+      "loss": 1.1592,
+      "step": 13700
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.4250000000000005e-05,
+      "loss": 1.1577,
+      "step": 13800
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.4208333333333335e-05,
+      "loss": 1.1576,
+      "step": 13900
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.4166666666666665e-05,
+      "loss": 1.1565,
+      "step": 14000
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.4125e-05,
+      "loss": 1.1565,
+      "step": 14100
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.408333333333334e-05,
+      "loss": 1.1566,
+      "step": 14200
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.404166666666667e-05,
+      "loss": 1.1567,
+      "step": 14300
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 1.1528,
+      "step": 14400
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.3958333333333336e-05,
+      "loss": 1.1561,
+      "step": 14500
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.3916666666666666e-05,
+      "loss": 1.1549,
+      "step": 14600
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.3875e-05,
+      "loss": 1.1514,
+      "step": 14700
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.383333333333334e-05,
+      "loss": 1.1527,
+      "step": 14800
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.379166666666667e-05,
+      "loss": 1.1537,
+      "step": 14900
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 4.375e-05,
+      "loss": 1.1547,
+      "step": 15000
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.3708333333333336e-05,
+      "loss": 1.1523,
+      "step": 15100
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.3666666666666666e-05,
+      "loss": 1.1526,
+      "step": 15200
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.3625e-05,
+      "loss": 1.1507,
+      "step": 15300
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.358333333333334e-05,
+      "loss": 1.15,
+      "step": 15400
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.354166666666667e-05,
+      "loss": 1.1505,
+      "step": 15500
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.35e-05,
+      "loss": 1.1498,
+      "step": 15600
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.345833333333334e-05,
+      "loss": 1.1493,
+      "step": 15700
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.341666666666667e-05,
+      "loss": 1.1501,
+      "step": 15800
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.3375000000000004e-05,
+      "loss": 1.1504,
+      "step": 15900
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.3333333333333334e-05,
+      "loss": 1.1485,
+      "step": 16000
+    },
+    {
+      "epoch": 0.13,
+      "learning_rate": 4.329166666666667e-05,
+      "loss": 1.1478,
+      "step": 16100
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.325e-05,
+      "loss": 1.1462,
+      "step": 16200
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.320833333333333e-05,
+      "loss": 1.1482,
+      "step": 16300
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.316666666666667e-05,
+      "loss": 1.1486,
+      "step": 16400
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.3125000000000005e-05,
+      "loss": 1.1467,
+      "step": 16500
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.3083333333333335e-05,
+      "loss": 1.1469,
+      "step": 16600
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.304166666666667e-05,
+      "loss": 1.1443,
+      "step": 16700
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.3e-05,
+      "loss": 1.1464,
+      "step": 16800
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.295833333333333e-05,
+      "loss": 1.1452,
+      "step": 16900
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.291666666666667e-05,
+      "loss": 1.1474,
+      "step": 17000
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.2875000000000005e-05,
+      "loss": 1.143,
+      "step": 17100
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.2833333333333335e-05,
+      "loss": 1.146,
+      "step": 17200
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.2791666666666666e-05,
+      "loss": 1.1426,
+      "step": 17300
+    },
+    {
+      "epoch": 0.14,
+      "learning_rate": 4.275e-05,
+      "loss": 1.1431,
+      "step": 17400
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.270833333333333e-05,
+      "loss": 1.142,
+      "step": 17500
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.266666666666667e-05,
+      "loss": 1.1426,
+      "step": 17600
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.2625000000000006e-05,
+      "loss": 1.1407,
+      "step": 17700
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.2583333333333336e-05,
+      "loss": 1.1406,
+      "step": 17800
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.2541666666666666e-05,
+      "loss": 1.14,
+      "step": 17900
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.25e-05,
+      "loss": 1.142,
+      "step": 18000
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.245833333333333e-05,
+      "loss": 1.1385,
+      "step": 18100
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.241666666666667e-05,
+      "loss": 1.1403,
+      "step": 18200
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.237500000000001e-05,
+      "loss": 1.141,
+      "step": 18300
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.233333333333334e-05,
+      "loss": 1.1396,
+      "step": 18400
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.229166666666667e-05,
+      "loss": 1.1408,
+      "step": 18500
+    },
+    {
+      "epoch": 0.15,
+      "learning_rate": 4.2250000000000004e-05,
+      "loss": 1.1396,
+      "step": 18600
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.2208333333333334e-05,
+      "loss": 1.1388,
+      "step": 18700
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.216666666666667e-05,
+      "loss": 1.1404,
+      "step": 18800
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.2125e-05,
+      "loss": 1.1388,
+      "step": 18900
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.208333333333334e-05,
+      "loss": 1.1396,
+      "step": 19000
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.204166666666667e-05,
+      "loss": 1.1362,
+      "step": 19100
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.2e-05,
+      "loss": 1.1386,
+      "step": 19200
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.1958333333333335e-05,
+      "loss": 1.137,
+      "step": 19300
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.191666666666667e-05,
+      "loss": 1.1355,
+      "step": 19400
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.1875e-05,
+      "loss": 1.137,
+      "step": 19500
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.183333333333334e-05,
+      "loss": 1.1373,
+      "step": 19600
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.179166666666667e-05,
+      "loss": 1.1344,
+      "step": 19700
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.175e-05,
+      "loss": 1.1375,
+      "step": 19800
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.1708333333333335e-05,
+      "loss": 1.1364,
+      "step": 19900
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.166666666666667e-05,
+      "loss": 1.1369,
+      "step": 20000
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.1625e-05,
+      "loss": 1.1358,
+      "step": 20100
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.158333333333333e-05,
+      "loss": 1.1366,
+      "step": 20200
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.154166666666667e-05,
+      "loss": 1.1369,
+      "step": 20300
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.15e-05,
+      "loss": 1.1355,
+      "step": 20400
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.1458333333333336e-05,
+      "loss": 1.1335,
+      "step": 20500
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.141666666666667e-05,
+      "loss": 1.133,
+      "step": 20600
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.1375e-05,
+      "loss": 1.132,
+      "step": 20700
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.133333333333333e-05,
+      "loss": 1.1324,
+      "step": 20800
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.129166666666667e-05,
+      "loss": 1.1304,
+      "step": 20900
+    },
+    {
+      "epoch": 0.17,
+      "learning_rate": 4.125e-05,
+      "loss": 1.1333,
+      "step": 21000
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.120833333333334e-05,
+      "loss": 1.1325,
+      "step": 21100
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.116666666666667e-05,
+      "loss": 1.1346,
+      "step": 21200
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.1125000000000004e-05,
+      "loss": 1.1318,
+      "step": 21300
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.1083333333333334e-05,
+      "loss": 1.1307,
+      "step": 21400
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.104166666666667e-05,
+      "loss": 1.1338,
+      "step": 21500
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.1e-05,
+      "loss": 1.1292,
+      "step": 21600
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.095833333333334e-05,
+      "loss": 1.1319,
+      "step": 21700
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.091666666666667e-05,
+      "loss": 1.1305,
+      "step": 21800
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.0875000000000004e-05,
+      "loss": 1.1292,
+      "step": 21900
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.0833333333333334e-05,
+      "loss": 1.1315,
+      "step": 22000
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.0791666666666664e-05,
+      "loss": 1.1296,
+      "step": 22100
+    },
+    {
+      "epoch": 0.18,
+      "learning_rate": 4.075e-05,
+      "loss": 1.128,
+      "step": 22200
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.070833333333334e-05,
+      "loss": 1.1284,
+      "step": 22300
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.066666666666667e-05,
+      "loss": 1.1275,
+      "step": 22400
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0625000000000005e-05,
+      "loss": 1.1293,
+      "step": 22500
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0583333333333335e-05,
+      "loss": 1.1298,
+      "step": 22600
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0541666666666665e-05,
+      "loss": 1.1276,
+      "step": 22700
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.05e-05,
+      "loss": 1.1295,
+      "step": 22800
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.045833333333334e-05,
+      "loss": 1.1292,
+      "step": 22900
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.041666666666667e-05,
+      "loss": 1.126,
+      "step": 23000
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0375e-05,
+      "loss": 1.1258,
+      "step": 23100
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0333333333333336e-05,
+      "loss": 1.1277,
+      "step": 23200
+    },
+    {
+      "epoch": 0.19,
+      "learning_rate": 4.0291666666666666e-05,
+      "loss": 1.1239,
+      "step": 23300
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.025e-05,
+      "loss": 1.1258,
+      "step": 23400
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.020833333333334e-05,
+      "loss": 1.1243,
+      "step": 23500
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.016666666666667e-05,
+      "loss": 1.1247,
+      "step": 23600
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.0125e-05,
+      "loss": 1.1263,
+      "step": 23700
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.0083333333333336e-05,
+      "loss": 1.1244,
+      "step": 23800
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4.0041666666666666e-05,
+      "loss": 1.1248,
+      "step": 23900
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 4e-05,
+      "loss": 1.1234,
+      "step": 24000
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.995833333333333e-05,
+      "loss": 1.1242,
+      "step": 24100
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.991666666666667e-05,
+      "loss": 1.1241,
+      "step": 24200
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.9875e-05,
+      "loss": 1.1225,
+      "step": 24300
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.983333333333333e-05,
+      "loss": 1.1241,
+      "step": 24400
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.979166666666667e-05,
+      "loss": 1.1257,
+      "step": 24500
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 3.9750000000000004e-05,
+      "loss": 1.1214,
+      "step": 24600
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9708333333333334e-05,
+      "loss": 1.1231,
+      "step": 24700
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.966666666666667e-05,
+      "loss": 1.1216,
+      "step": 24800
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9625e-05,
+      "loss": 1.1243,
+      "step": 24900
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.958333333333333e-05,
+      "loss": 1.1237,
+      "step": 25000
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9541666666666675e-05,
+      "loss": 1.1231,
+      "step": 25100
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9500000000000005e-05,
+      "loss": 1.1261,
+      "step": 25200
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9458333333333335e-05,
+      "loss": 1.1225,
+      "step": 25300
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.941666666666667e-05,
+      "loss": 1.1193,
+      "step": 25400
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9375e-05,
+      "loss": 1.122,
+      "step": 25500
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 1.1251,
+      "step": 25600
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.929166666666667e-05,
+      "loss": 1.1202,
+      "step": 25700
+    },
+    {
+      "epoch": 0.21,
+      "learning_rate": 3.9250000000000005e-05,
+      "loss": 1.1207,
+      "step": 25800
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.9208333333333335e-05,
+      "loss": 1.1227,
+      "step": 25900
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.9166666666666665e-05,
+      "loss": 1.1203,
+      "step": 26000
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.9125e-05,
+      "loss": 1.1218,
+      "step": 26100
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.908333333333333e-05,
+      "loss": 1.1205,
+      "step": 26200
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.904166666666667e-05,
+      "loss": 1.1187,
+      "step": 26300
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.9000000000000006e-05,
+      "loss": 1.1156,
+      "step": 26400
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.8958333333333336e-05,
+      "loss": 1.1208,
+      "step": 26500
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.8916666666666666e-05,
+      "loss": 1.1197,
+      "step": 26600
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.8875e-05,
+      "loss": 1.1186,
+      "step": 26700
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.883333333333333e-05,
+      "loss": 1.122,
+      "step": 26800
+    },
+    {
+      "epoch": 0.22,
+      "learning_rate": 3.879166666666667e-05,
+      "loss": 1.1206,
+      "step": 26900
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.875e-05,
+      "loss": 1.1176,
+      "step": 27000
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.870833333333334e-05,
+      "loss": 1.1184,
+      "step": 27100
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 1.1194,
+      "step": 27200
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.8625e-05,
+      "loss": 1.1147,
+      "step": 27300
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.8583333333333334e-05,
+      "loss": 1.1167,
+      "step": 27400
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.854166666666667e-05,
+      "loss": 1.1146,
+      "step": 27500
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.85e-05,
+      "loss": 1.1169,
+      "step": 27600
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.845833333333334e-05,
+      "loss": 1.1164,
+      "step": 27700
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.841666666666667e-05,
+      "loss": 1.1165,
+      "step": 27800
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.8375e-05,
+      "loss": 1.1145,
+      "step": 27900
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.8333333333333334e-05,
+      "loss": 1.1164,
+      "step": 28000
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.829166666666667e-05,
+      "loss": 1.116,
+      "step": 28100
+    },
+    {
+      "epoch": 0.23,
+      "learning_rate": 3.825e-05,
+      "loss": 1.1148,
+      "step": 28200
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.820833333333334e-05,
+      "loss": 1.1171,
+      "step": 28300
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.816666666666667e-05,
+      "loss": 1.1151,
+      "step": 28400
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.8125e-05,
+      "loss": 1.1162,
+      "step": 28500
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.8083333333333335e-05,
+      "loss": 1.1145,
+      "step": 28600
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.804166666666667e-05,
+      "loss": 1.1118,
+      "step": 28700
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.8e-05,
+      "loss": 1.1155,
+      "step": 28800
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.795833333333333e-05,
+      "loss": 1.1164,
+      "step": 28900
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.791666666666667e-05,
+      "loss": 1.1125,
+      "step": 29000
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 3.7875e-05,
+      "loss": 1.1156,
+      "step": 29100
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.7833333333333336e-05,
+      "loss": 1.115,
+      "step": 29200
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.779166666666667e-05,
+      "loss": 1.1112,
+      "step": 29300
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.775e-05,
+      "loss": 1.1141,
+      "step": 29400
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.770833333333333e-05,
+      "loss": 1.1126,
+      "step": 29500
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.766666666666667e-05,
+      "loss": 1.1123,
+      "step": 29600
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 3.7625e-05,
+      "loss": 1.1112,
+      "step": 29700
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7583333333333337e-05,
+      "loss": 1.1147,
+      "step": 29800
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.754166666666667e-05,
+      "loss": 1.1138,
+      "step": 29900
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7500000000000003e-05,
+      "loss": 1.1131,
+      "step": 30000
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7458333333333334e-05,
+      "loss": 1.1122,
+      "step": 30100
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7416666666666664e-05,
+      "loss": 1.1106,
+      "step": 30200
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.737500000000001e-05,
+      "loss": 1.1114,
+      "step": 30300
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 1.1115,
+      "step": 30400
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.729166666666667e-05,
+      "loss": 1.1114,
+      "step": 30500
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7250000000000004e-05,
+      "loss": 1.1108,
+      "step": 30600
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7208333333333334e-05,
+      "loss": 1.1107,
+      "step": 30700
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7166666666666664e-05,
+      "loss": 1.1106,
+      "step": 30800
+    },
+    {
+      "epoch": 1.01,
+      "learning_rate": 3.7125e-05,
+      "loss": 1.1097,
+      "step": 30900
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.708333333333334e-05,
+      "loss": 1.111,
+      "step": 31000
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.704166666666667e-05,
+      "loss": 1.1109,
+      "step": 31100
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.7e-05,
+      "loss": 1.1126,
+      "step": 31200
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6958333333333335e-05,
+      "loss": 1.1117,
+      "step": 31300
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6916666666666665e-05,
+      "loss": 1.1095,
+      "step": 31400
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6875e-05,
+      "loss": 1.1089,
+      "step": 31500
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.683333333333334e-05,
+      "loss": 1.1112,
+      "step": 31600
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.679166666666667e-05,
+      "loss": 1.1096,
+      "step": 31700
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.675e-05,
+      "loss": 1.1097,
+      "step": 31800
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6708333333333336e-05,
+      "loss": 1.1118,
+      "step": 31900
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 1.1083,
+      "step": 32000
+    },
+    {
+      "epoch": 1.02,
+      "learning_rate": 3.6625e-05,
+      "loss": 1.109,
+      "step": 32100
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.658333333333334e-05,
+      "loss": 1.1059,
+      "step": 32200
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.654166666666667e-05,
+      "loss": 1.1091,
+      "step": 32300
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.65e-05,
+      "loss": 1.1091,
+      "step": 32400
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.6458333333333336e-05,
+      "loss": 1.1085,
+      "step": 32500
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.641666666666667e-05,
+      "loss": 1.1091,
+      "step": 32600
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.6375e-05,
+      "loss": 1.1085,
+      "step": 32700
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.633333333333333e-05,
+      "loss": 1.1082,
+      "step": 32800
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.629166666666667e-05,
+      "loss": 1.1077,
+      "step": 32900
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.625e-05,
+      "loss": 1.1095,
+      "step": 33000
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.620833333333333e-05,
+      "loss": 1.1075,
+      "step": 33100
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.6166666666666674e-05,
+      "loss": 1.1061,
+      "step": 33200
+    },
+    {
+      "epoch": 1.03,
+      "learning_rate": 3.6125000000000004e-05,
+      "loss": 1.1052,
+      "step": 33300
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.6083333333333334e-05,
+      "loss": 1.1065,
+      "step": 33400
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.604166666666667e-05,
+      "loss": 1.108,
+      "step": 33500
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.6e-05,
+      "loss": 1.1079,
+      "step": 33600
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.595833333333333e-05,
+      "loss": 1.1068,
+      "step": 33700
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.591666666666667e-05,
+      "loss": 1.1054,
+      "step": 33800
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.5875000000000005e-05,
+      "loss": 1.1082,
+      "step": 33900
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.5833333333333335e-05,
+      "loss": 1.1047,
+      "step": 34000
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.5791666666666665e-05,
+      "loss": 1.1049,
+      "step": 34100
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.575e-05,
+      "loss": 1.1073,
+      "step": 34200
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.570833333333333e-05,
+      "loss": 1.1047,
+      "step": 34300
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.566666666666667e-05,
+      "loss": 1.1052,
+      "step": 34400
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 3.5625000000000005e-05,
+      "loss": 1.1065,
+      "step": 34500
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5583333333333335e-05,
+      "loss": 1.1057,
+      "step": 34600
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5541666666666665e-05,
+      "loss": 1.1057,
+      "step": 34700
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.55e-05,
+      "loss": 1.1073,
+      "step": 34800
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.545833333333333e-05,
+      "loss": 1.1047,
+      "step": 34900
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.541666666666667e-05,
+      "loss": 1.1048,
+      "step": 35000
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5375e-05,
+      "loss": 1.1075,
+      "step": 35100
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 1.1048,
+      "step": 35200
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5291666666666666e-05,
+      "loss": 1.1059,
+      "step": 35300
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.525e-05,
+      "loss": 1.1033,
+      "step": 35400
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.520833333333334e-05,
+      "loss": 1.1051,
+      "step": 35500
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.516666666666667e-05,
+      "loss": 1.1045,
+      "step": 35600
+    },
+    {
+      "epoch": 1.05,
+      "learning_rate": 3.5125e-05,
+      "loss": 1.1039,
+      "step": 35700
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.508333333333334e-05,
+      "loss": 1.105,
+      "step": 35800
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.504166666666667e-05,
+      "loss": 1.1047,
+      "step": 35900
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.5e-05,
+      "loss": 1.1033,
+      "step": 36000
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.495833333333334e-05,
+      "loss": 1.1037,
+      "step": 36100
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.491666666666667e-05,
+      "loss": 1.1047,
+      "step": 36200
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.4875e-05,
+      "loss": 1.1015,
+      "step": 36300
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.483333333333334e-05,
+      "loss": 1.1027,
+      "step": 36400
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.479166666666667e-05,
+      "loss": 1.1029,
+      "step": 36500
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.475e-05,
+      "loss": 1.1026,
+      "step": 36600
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.4708333333333334e-05,
+      "loss": 1.1039,
+      "step": 36700
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 1.1033,
+      "step": 36800
+    },
+    {
+      "epoch": 1.06,
+      "learning_rate": 3.4625e-05,
+      "loss": 1.1025,
+      "step": 36900
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.458333333333333e-05,
+      "loss": 1.1011,
+      "step": 37000
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.454166666666667e-05,
+      "loss": 1.1047,
+      "step": 37100
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.45e-05,
+      "loss": 1.101,
+      "step": 37200
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4458333333333335e-05,
+      "loss": 1.0997,
+      "step": 37300
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.441666666666667e-05,
+      "loss": 1.1029,
+      "step": 37400
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4375e-05,
+      "loss": 1.0991,
+      "step": 37500
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.433333333333333e-05,
+      "loss": 1.1007,
+      "step": 37600
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.429166666666667e-05,
+      "loss": 1.0992,
+      "step": 37700
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4250000000000006e-05,
+      "loss": 1.0978,
+      "step": 37800
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4208333333333336e-05,
+      "loss": 1.1007,
+      "step": 37900
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4166666666666666e-05,
+      "loss": 1.101,
+      "step": 38000
+    },
+    {
+      "epoch": 1.07,
+      "learning_rate": 3.4125e-05,
+      "loss": 1.101,
+      "step": 38100
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.408333333333333e-05,
+      "loss": 1.1013,
+      "step": 38200
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.404166666666666e-05,
+      "loss": 1.0982,
+      "step": 38300
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 1.1,
+      "step": 38400
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.3958333333333337e-05,
+      "loss": 1.1014,
+      "step": 38500
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.391666666666667e-05,
+      "loss": 1.1005,
+      "step": 38600
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.3875000000000003e-05,
+      "loss": 1.0995,
+      "step": 38700
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.3833333333333334e-05,
+      "loss": 1.0997,
+      "step": 38800
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.3791666666666664e-05,
+      "loss": 1.0975,
+      "step": 38900
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.375000000000001e-05,
+      "loss": 1.1,
+      "step": 39000
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.370833333333334e-05,
+      "loss": 1.0995,
+      "step": 39100
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.366666666666667e-05,
+      "loss": 1.1004,
+      "step": 39200
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 3.3625000000000004e-05,
+      "loss": 1.0991,
+      "step": 39300
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.3583333333333334e-05,
+      "loss": 1.1016,
+      "step": 39400
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.3541666666666664e-05,
+      "loss": 1.0981,
+      "step": 39500
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.35e-05,
+      "loss": 1.0989,
+      "step": 39600
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.345833333333334e-05,
+      "loss": 1.0989,
+      "step": 39700
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.341666666666667e-05,
+      "loss": 1.0983,
+      "step": 39800
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.3375e-05,
+      "loss": 1.0983,
+      "step": 39900
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 1.0968,
+      "step": 40000
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.329166666666667e-05,
+      "loss": 1.0952,
+      "step": 40100
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.325e-05,
+      "loss": 1.0966,
+      "step": 40200
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.320833333333334e-05,
+      "loss": 1.0959,
+      "step": 40300
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.316666666666667e-05,
+      "loss": 1.0966,
+      "step": 40400
+    },
+    {
+      "epoch": 1.09,
+      "learning_rate": 3.3125e-05,
+      "loss": 1.0962,
+      "step": 40500
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.3083333333333336e-05,
+      "loss": 1.0948,
+      "step": 40600
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.304166666666667e-05,
+      "loss": 1.0982,
+      "step": 40700
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.3e-05,
+      "loss": 1.096,
+      "step": 40800
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.295833333333333e-05,
+      "loss": 1.0966,
+      "step": 40900
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.291666666666667e-05,
+      "loss": 1.0968,
+      "step": 41000
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.2875e-05,
+      "loss": 1.0957,
+      "step": 41100
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.283333333333333e-05,
+      "loss": 1.0982,
+      "step": 41200
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.279166666666667e-05,
+      "loss": 1.0941,
+      "step": 41300
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.275e-05,
+      "loss": 1.0941,
+      "step": 41400
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.270833333333333e-05,
+      "loss": 1.0974,
+      "step": 41500
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 1.0974,
+      "step": 41600
+    },
+    {
+      "epoch": 1.1,
+      "learning_rate": 3.2625e-05,
+      "loss": 1.0957,
+      "step": 41700
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.258333333333333e-05,
+      "loss": 1.0949,
+      "step": 41800
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.254166666666667e-05,
+      "loss": 1.0957,
+      "step": 41900
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2500000000000004e-05,
+      "loss": 1.0933,
+      "step": 42000
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2458333333333334e-05,
+      "loss": 1.0942,
+      "step": 42100
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2416666666666664e-05,
+      "loss": 1.0959,
+      "step": 42200
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2375e-05,
+      "loss": 1.0954,
+      "step": 42300
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.233333333333333e-05,
+      "loss": 1.0961,
+      "step": 42400
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.229166666666667e-05,
+      "loss": 1.0937,
+      "step": 42500
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2250000000000005e-05,
+      "loss": 1.0943,
+      "step": 42600
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2208333333333335e-05,
+      "loss": 1.0962,
+      "step": 42700
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2166666666666665e-05,
+      "loss": 1.0945,
+      "step": 42800
+    },
+    {
+      "epoch": 1.11,
+      "learning_rate": 3.2125e-05,
+      "loss": 1.0962,
+      "step": 42900
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.208333333333334e-05,
+      "loss": 1.0933,
+      "step": 43000
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.204166666666667e-05,
+      "loss": 1.0931,
+      "step": 43100
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 1.0943,
+      "step": 43200
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1958333333333335e-05,
+      "loss": 1.0934,
+      "step": 43300
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1916666666666665e-05,
+      "loss": 1.0925,
+      "step": 43400
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1875e-05,
+      "loss": 1.0942,
+      "step": 43500
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.183333333333334e-05,
+      "loss": 1.0919,
+      "step": 43600
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.179166666666667e-05,
+      "loss": 1.0938,
+      "step": 43700
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.175e-05,
+      "loss": 1.0937,
+      "step": 43800
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1708333333333336e-05,
+      "loss": 1.0897,
+      "step": 43900
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1666666666666666e-05,
+      "loss": 1.0936,
+      "step": 44000
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 3.1624999999999996e-05,
+      "loss": 1.0943,
+      "step": 44100
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.158333333333334e-05,
+      "loss": 1.0957,
+      "step": 44200
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.154166666666667e-05,
+      "loss": 1.0907,
+      "step": 44300
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.15e-05,
+      "loss": 1.092,
+      "step": 44400
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.145833333333334e-05,
+      "loss": 1.0926,
+      "step": 44500
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.141666666666667e-05,
+      "loss": 1.0904,
+      "step": 44600
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.1375e-05,
+      "loss": 1.0923,
+      "step": 44700
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 1.092,
+      "step": 44800
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.129166666666667e-05,
+      "loss": 1.09,
+      "step": 44900
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.125e-05,
+      "loss": 1.0923,
+      "step": 45000
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.120833333333333e-05,
+      "loss": 1.0929,
+      "step": 45100
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.116666666666667e-05,
+      "loss": 1.0928,
+      "step": 45200
+    },
+    {
+      "epoch": 1.13,
+      "learning_rate": 3.1125000000000004e-05,
+      "loss": 1.0913,
+      "step": 45300
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.1083333333333334e-05,
+      "loss": 1.0895,
+      "step": 45400
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.104166666666667e-05,
+      "loss": 1.0928,
+      "step": 45500
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.1e-05,
+      "loss": 1.0909,
+      "step": 45600
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.095833333333333e-05,
+      "loss": 1.0916,
+      "step": 45700
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.091666666666667e-05,
+      "loss": 1.0916,
+      "step": 45800
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.0875000000000005e-05,
+      "loss": 1.0904,
+      "step": 45900
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.0833333333333335e-05,
+      "loss": 1.0913,
+      "step": 46000
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.079166666666667e-05,
+      "loss": 1.0885,
+      "step": 46100
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.075e-05,
+      "loss": 1.0927,
+      "step": 46200
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.070833333333333e-05,
+      "loss": 1.0896,
+      "step": 46300
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 1.0936,
+      "step": 46400
+    },
+    {
+      "epoch": 1.14,
+      "learning_rate": 3.0625000000000006e-05,
+      "loss": 1.0881,
+      "step": 46500
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0583333333333336e-05,
+      "loss": 1.0908,
+      "step": 46600
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0541666666666666e-05,
+      "loss": 1.0881,
+      "step": 46700
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.05e-05,
+      "loss": 1.0878,
+      "step": 46800
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0458333333333333e-05,
+      "loss": 1.0892,
+      "step": 46900
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0416666666666666e-05,
+      "loss": 1.0884,
+      "step": 47000
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0375000000000003e-05,
+      "loss": 1.0898,
+      "step": 47100
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0333333333333337e-05,
+      "loss": 1.088,
+      "step": 47200
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0291666666666667e-05,
+      "loss": 1.088,
+      "step": 47300
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.025e-05,
+      "loss": 1.088,
+      "step": 47400
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0208333333333334e-05,
+      "loss": 1.0901,
+      "step": 47500
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.016666666666667e-05,
+      "loss": 1.0911,
+      "step": 47600
+    },
+    {
+      "epoch": 1.15,
+      "learning_rate": 3.0125000000000004e-05,
+      "loss": 1.0884,
+      "step": 47700
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 3.0083333333333337e-05,
+      "loss": 1.0887,
+      "step": 47800
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 3.0041666666666667e-05,
+      "loss": 1.0903,
+      "step": 47900
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 3e-05,
+      "loss": 1.0878,
+      "step": 48000
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9958333333333334e-05,
+      "loss": 1.0887,
+      "step": 48100
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.991666666666667e-05,
+      "loss": 1.0902,
+      "step": 48200
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9875000000000004e-05,
+      "loss": 1.0875,
+      "step": 48300
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9833333333333335e-05,
+      "loss": 1.0895,
+      "step": 48400
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9791666666666668e-05,
+      "loss": 1.0879,
+      "step": 48500
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.975e-05,
+      "loss": 1.0841,
+      "step": 48600
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.970833333333333e-05,
+      "loss": 1.089,
+      "step": 48700
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9666666666666672e-05,
+      "loss": 1.0883,
+      "step": 48800
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9625000000000002e-05,
+      "loss": 1.0855,
+      "step": 48900
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9583333333333335e-05,
+      "loss": 1.0893,
+      "step": 49000
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.954166666666667e-05,
+      "loss": 1.0891,
+      "step": 49100
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.95e-05,
+      "loss": 1.0891,
+      "step": 49200
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9458333333333332e-05,
+      "loss": 1.0871,
+      "step": 49300
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.941666666666667e-05,
+      "loss": 1.0901,
+      "step": 49400
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9375000000000003e-05,
+      "loss": 1.0884,
+      "step": 49500
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9333333333333336e-05,
+      "loss": 1.0903,
+      "step": 49600
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9291666666666666e-05,
+      "loss": 1.0861,
+      "step": 49700
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.925e-05,
+      "loss": 1.0854,
+      "step": 49800
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9208333333333333e-05,
+      "loss": 1.0851,
+      "step": 49900
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.916666666666667e-05,
+      "loss": 1.0866,
+      "step": 50000
+    },
+    {
+      "epoch": 1.17,
+      "learning_rate": 2.9125000000000003e-05,
+      "loss": 1.0817,
+      "step": 50100
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.9083333333333333e-05,
+      "loss": 1.0864,
+      "step": 50200
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.9041666666666667e-05,
+      "loss": 1.0881,
+      "step": 50300
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.9e-05,
+      "loss": 1.0882,
+      "step": 50400
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8958333333333337e-05,
+      "loss": 1.0855,
+      "step": 50500
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.891666666666667e-05,
+      "loss": 1.0873,
+      "step": 50600
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8875e-05,
+      "loss": 1.0858,
+      "step": 50700
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8833333333333334e-05,
+      "loss": 1.0842,
+      "step": 50800
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8791666666666667e-05,
+      "loss": 1.0883,
+      "step": 50900
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8749999999999997e-05,
+      "loss": 1.0861,
+      "step": 51000
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8708333333333338e-05,
+      "loss": 1.0848,
+      "step": 51100
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 1.0866,
+      "step": 51200
+    },
+    {
+      "epoch": 1.18,
+      "learning_rate": 2.8625e-05,
+      "loss": 1.086,
+      "step": 51300
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8583333333333335e-05,
+      "loss": 1.0852,
+      "step": 51400
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8541666666666668e-05,
+      "loss": 1.0828,
+      "step": 51500
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 1.0854,
+      "step": 51600
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.845833333333334e-05,
+      "loss": 1.0858,
+      "step": 51700
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.841666666666667e-05,
+      "loss": 1.0874,
+      "step": 51800
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8375000000000002e-05,
+      "loss": 1.085,
+      "step": 51900
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8333333333333335e-05,
+      "loss": 1.0867,
+      "step": 52000
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8291666666666665e-05,
+      "loss": 1.0836,
+      "step": 52100
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.825e-05,
+      "loss": 1.0832,
+      "step": 52200
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8208333333333336e-05,
+      "loss": 1.0845,
+      "step": 52300
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.816666666666667e-05,
+      "loss": 1.0834,
+      "step": 52400
+    },
+    {
+      "epoch": 1.19,
+      "learning_rate": 2.8125000000000003e-05,
+      "loss": 1.0828,
+      "step": 52500
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.8083333333333333e-05,
+      "loss": 1.0829,
+      "step": 52600
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.8041666666666666e-05,
+      "loss": 1.0826,
+      "step": 52700
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 1.0839,
+      "step": 52800
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7958333333333336e-05,
+      "loss": 1.0843,
+      "step": 52900
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.791666666666667e-05,
+      "loss": 1.0835,
+      "step": 53000
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7875e-05,
+      "loss": 1.0809,
+      "step": 53100
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7833333333333333e-05,
+      "loss": 1.0846,
+      "step": 53200
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7791666666666667e-05,
+      "loss": 1.0835,
+      "step": 53300
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7750000000000004e-05,
+      "loss": 1.0815,
+      "step": 53400
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7708333333333337e-05,
+      "loss": 1.082,
+      "step": 53500
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7666666666666667e-05,
+      "loss": 1.0831,
+      "step": 53600
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 2.7625e-05,
+      "loss": 1.0847,
+      "step": 53700
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7583333333333334e-05,
+      "loss": 1.0812,
+      "step": 53800
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7541666666666664e-05,
+      "loss": 1.0833,
+      "step": 53900
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7500000000000004e-05,
+      "loss": 1.084,
+      "step": 54000
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7458333333333334e-05,
+      "loss": 1.0846,
+      "step": 54100
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7416666666666668e-05,
+      "loss": 1.084,
+      "step": 54200
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7375e-05,
+      "loss": 1.0849,
+      "step": 54300
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.733333333333333e-05,
+      "loss": 1.0853,
+      "step": 54400
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7291666666666665e-05,
+      "loss": 1.0818,
+      "step": 54500
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.725e-05,
+      "loss": 1.0801,
+      "step": 54600
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7208333333333335e-05,
+      "loss": 1.0836,
+      "step": 54700
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.716666666666667e-05,
+      "loss": 1.0835,
+      "step": 54800
+    },
+    {
+      "epoch": 1.21,
+      "learning_rate": 2.7125000000000002e-05,
+      "loss": 1.0828,
+      "step": 54900
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.7083333333333332e-05,
+      "loss": 1.0844,
+      "step": 55000
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.7041666666666672e-05,
+      "loss": 1.0821,
+      "step": 55100
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 1.0792,
+      "step": 55200
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6958333333333336e-05,
+      "loss": 1.083,
+      "step": 55300
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.691666666666667e-05,
+      "loss": 1.0806,
+      "step": 55400
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6875e-05,
+      "loss": 1.0808,
+      "step": 55500
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6833333333333333e-05,
+      "loss": 1.079,
+      "step": 55600
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.679166666666667e-05,
+      "loss": 1.0845,
+      "step": 55700
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6750000000000003e-05,
+      "loss": 1.0797,
+      "step": 55800
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6708333333333337e-05,
+      "loss": 1.0814,
+      "step": 55900
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 1.0855,
+      "step": 56000
+    },
+    {
+      "epoch": 1.22,
+      "learning_rate": 2.6625e-05,
+      "loss": 1.0822,
+      "step": 56100
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6583333333333333e-05,
+      "loss": 1.0792,
+      "step": 56200
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.654166666666667e-05,
+      "loss": 1.0803,
+      "step": 56300
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6500000000000004e-05,
+      "loss": 1.0822,
+      "step": 56400
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6458333333333334e-05,
+      "loss": 1.079,
+      "step": 56500
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6416666666666667e-05,
+      "loss": 1.0791,
+      "step": 56600
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6375e-05,
+      "loss": 1.0786,
+      "step": 56700
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.633333333333333e-05,
+      "loss": 1.0807,
+      "step": 56800
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.629166666666667e-05,
+      "loss": 1.0807,
+      "step": 56900
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.625e-05,
+      "loss": 1.0804,
+      "step": 57000
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6208333333333335e-05,
+      "loss": 1.08,
+      "step": 57100
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6166666666666668e-05,
+      "loss": 1.0791,
+      "step": 57200
+    },
+    {
+      "epoch": 1.23,
+      "learning_rate": 2.6124999999999998e-05,
+      "loss": 1.0795,
+      "step": 57300
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.608333333333333e-05,
+      "loss": 1.0797,
+      "step": 57400
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.604166666666667e-05,
+      "loss": 1.0818,
+      "step": 57500
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 1.0804,
+      "step": 57600
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5958333333333335e-05,
+      "loss": 1.0808,
+      "step": 57700
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5916666666666665e-05,
+      "loss": 1.0789,
+      "step": 57800
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5875e-05,
+      "loss": 1.0779,
+      "step": 57900
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5833333333333336e-05,
+      "loss": 1.0828,
+      "step": 58000
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.579166666666667e-05,
+      "loss": 1.0802,
+      "step": 58100
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5750000000000002e-05,
+      "loss": 1.0774,
+      "step": 58200
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 2.5708333333333336e-05,
+      "loss": 1.0817,
+      "step": 58300
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.5666666666666666e-05,
+      "loss": 1.0788,
+      "step": 58400
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.5625e-05,
+      "loss": 1.078,
+      "step": 58500
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.5583333333333336e-05,
+      "loss": 1.0789,
+      "step": 58600
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.554166666666667e-05,
+      "loss": 1.0787,
+      "step": 58700
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.5500000000000003e-05,
+      "loss": 1.0746,
+      "step": 58800
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 2.5458333333333333e-05,
+      "loss": 1.0807,
+      "step": 58900
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5416666666666667e-05,
+      "loss": 1.0786,
+      "step": 59000
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5375e-05,
+      "loss": 1.0817,
+      "step": 59100
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5333333333333337e-05,
+      "loss": 1.0783,
+      "step": 59200
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.529166666666667e-05,
+      "loss": 1.0775,
+      "step": 59300
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.525e-05,
+      "loss": 1.0777,
+      "step": 59400
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5208333333333334e-05,
+      "loss": 1.0784,
+      "step": 59500
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5166666666666667e-05,
+      "loss": 1.077,
+      "step": 59600
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5124999999999997e-05,
+      "loss": 1.0767,
+      "step": 59700
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5083333333333338e-05,
+      "loss": 1.0778,
+      "step": 59800
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5041666666666668e-05,
+      "loss": 1.0774,
+      "step": 59900
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.5e-05,
+      "loss": 1.0777,
+      "step": 60000
+    },
+    {
+      "epoch": 2.01,
+      "eval_loss": 1.053463578673961,
+      "eval_runtime": 106.7354,
+      "eval_samples_per_second": 1080.194,
+      "eval_steps_per_second": 2.117,
+      "step": 60000
+    },
+    {
+      "epoch": 2.01,
+      "learning_rate": 2.4958333333333335e-05,
+      "loss": 1.0786,
+      "step": 60100
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4916666666666668e-05,
+      "loss": 1.0783,
+      "step": 60200
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4875e-05,
+      "loss": 1.0792,
+      "step": 60300
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4833333333333335e-05,
+      "loss": 1.0767,
+      "step": 60400
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.479166666666667e-05,
+      "loss": 1.0787,
+      "step": 60500
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4750000000000002e-05,
+      "loss": 1.0768,
+      "step": 60600
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4708333333333332e-05,
+      "loss": 1.0772,
+      "step": 60700
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 1.0745,
+      "step": 60800
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4625000000000002e-05,
+      "loss": 1.0776,
+      "step": 60900
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4583333333333332e-05,
+      "loss": 1.0788,
+      "step": 61000
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.454166666666667e-05,
+      "loss": 1.0794,
+      "step": 61100
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.45e-05,
+      "loss": 1.0754,
+      "step": 61200
+    },
+    {
+      "epoch": 2.02,
+      "learning_rate": 2.4458333333333336e-05,
+      "loss": 1.0766,
+      "step": 61300
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.441666666666667e-05,
+      "loss": 1.0769,
+      "step": 61400
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4375e-05,
+      "loss": 1.0778,
+      "step": 61500
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4333333333333336e-05,
+      "loss": 1.0802,
+      "step": 61600
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4291666666666666e-05,
+      "loss": 1.0756,
+      "step": 61700
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.425e-05,
+      "loss": 1.0767,
+      "step": 61800
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4208333333333337e-05,
+      "loss": 1.077,
+      "step": 61900
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4166666666666667e-05,
+      "loss": 1.0769,
+      "step": 62000
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4125e-05,
+      "loss": 1.0797,
+      "step": 62100
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4083333333333337e-05,
+      "loss": 1.0768,
+      "step": 62200
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4041666666666667e-05,
+      "loss": 1.0745,
+      "step": 62300
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.4e-05,
+      "loss": 1.076,
+      "step": 62400
+    },
+    {
+      "epoch": 2.03,
+      "learning_rate": 2.3958333333333334e-05,
+      "loss": 1.0737,
+      "step": 62500
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3916666666666668e-05,
+      "loss": 1.0765,
+      "step": 62600
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3875e-05,
+      "loss": 1.0775,
+      "step": 62700
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3833333333333334e-05,
+      "loss": 1.0766,
+      "step": 62800
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3791666666666668e-05,
+      "loss": 1.0764,
+      "step": 62900
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.375e-05,
+      "loss": 1.0747,
+      "step": 63000
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3708333333333335e-05,
+      "loss": 1.0776,
+      "step": 63100
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3666666666666668e-05,
+      "loss": 1.0737,
+      "step": 63200
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3624999999999998e-05,
+      "loss": 1.0758,
+      "step": 63300
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3583333333333335e-05,
+      "loss": 1.0762,
+      "step": 63400
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.354166666666667e-05,
+      "loss": 1.0748,
+      "step": 63500
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.35e-05,
+      "loss": 1.0749,
+      "step": 63600
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 2.3458333333333335e-05,
+      "loss": 1.0763,
+      "step": 63700
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.341666666666667e-05,
+      "loss": 1.0757,
+      "step": 63800
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3375000000000002e-05,
+      "loss": 1.0764,
+      "step": 63900
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 1.077,
+      "step": 64000
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3291666666666666e-05,
+      "loss": 1.0743,
+      "step": 64100
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3250000000000003e-05,
+      "loss": 1.0778,
+      "step": 64200
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3208333333333336e-05,
+      "loss": 1.0757,
+      "step": 64300
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3166666666666666e-05,
+      "loss": 1.0764,
+      "step": 64400
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3125000000000003e-05,
+      "loss": 1.0773,
+      "step": 64500
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3083333333333333e-05,
+      "loss": 1.0743,
+      "step": 64600
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3041666666666667e-05,
+      "loss": 1.0754,
+      "step": 64700
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.3000000000000003e-05,
+      "loss": 1.0729,
+      "step": 64800
+    },
+    {
+      "epoch": 2.05,
+      "learning_rate": 2.2958333333333333e-05,
+      "loss": 1.0751,
+      "step": 64900
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2916666666666667e-05,
+      "loss": 1.075,
+      "step": 65000
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2875e-05,
+      "loss": 1.0761,
+      "step": 65100
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2833333333333334e-05,
+      "loss": 1.0745,
+      "step": 65200
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2791666666666667e-05,
+      "loss": 1.0752,
+      "step": 65300
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.275e-05,
+      "loss": 1.0742,
+      "step": 65400
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2708333333333334e-05,
+      "loss": 1.073,
+      "step": 65500
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 1.0743,
+      "step": 65600
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2625e-05,
+      "loss": 1.0742,
+      "step": 65700
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2583333333333335e-05,
+      "loss": 1.0738,
+      "step": 65800
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2541666666666668e-05,
+      "loss": 1.0746,
+      "step": 65900
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.25e-05,
+      "loss": 1.0727,
+      "step": 66000
+    },
+    {
+      "epoch": 2.06,
+      "learning_rate": 2.2458333333333335e-05,
+      "loss": 1.0736,
+      "step": 66100
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2416666666666665e-05,
+      "loss": 1.0767,
+      "step": 66200
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2375000000000002e-05,
+      "loss": 1.0765,
+      "step": 66300
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2333333333333335e-05,
+      "loss": 1.0702,
+      "step": 66400
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.229166666666667e-05,
+      "loss": 1.0731,
+      "step": 66500
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2250000000000002e-05,
+      "loss": 1.0735,
+      "step": 66600
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2208333333333332e-05,
+      "loss": 1.0716,
+      "step": 66700
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.216666666666667e-05,
+      "loss": 1.0729,
+      "step": 66800
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2125000000000002e-05,
+      "loss": 1.0698,
+      "step": 66900
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2083333333333333e-05,
+      "loss": 1.0709,
+      "step": 67000
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.204166666666667e-05,
+      "loss": 1.0734,
+      "step": 67100
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 1.0728,
+      "step": 67200
+    },
+    {
+      "epoch": 2.07,
+      "learning_rate": 2.1958333333333333e-05,
+      "loss": 1.0738,
+      "step": 67300
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.191666666666667e-05,
+      "loss": 1.072,
+      "step": 67400
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1875e-05,
+      "loss": 1.0709,
+      "step": 67500
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1833333333333333e-05,
+      "loss": 1.0746,
+      "step": 67600
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.179166666666667e-05,
+      "loss": 1.0726,
+      "step": 67700
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.175e-05,
+      "loss": 1.0737,
+      "step": 67800
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1708333333333334e-05,
+      "loss": 1.0706,
+      "step": 67900
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1666666666666667e-05,
+      "loss": 1.0739,
+      "step": 68000
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1625e-05,
+      "loss": 1.0693,
+      "step": 68100
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1583333333333334e-05,
+      "loss": 1.0733,
+      "step": 68200
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1541666666666667e-05,
+      "loss": 1.072,
+      "step": 68300
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.15e-05,
+      "loss": 1.0737,
+      "step": 68400
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 2.1458333333333334e-05,
+      "loss": 1.0739,
+      "step": 68500
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1416666666666668e-05,
+      "loss": 1.0723,
+      "step": 68600
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1375e-05,
+      "loss": 1.0705,
+      "step": 68700
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1333333333333335e-05,
+      "loss": 1.0727,
+      "step": 68800
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1291666666666668e-05,
+      "loss": 1.0719,
+      "step": 68900
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.125e-05,
+      "loss": 1.0724,
+      "step": 69000
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1208333333333335e-05,
+      "loss": 1.0714,
+      "step": 69100
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.116666666666667e-05,
+      "loss": 1.0702,
+      "step": 69200
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1125000000000002e-05,
+      "loss": 1.0679,
+      "step": 69300
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1083333333333335e-05,
+      "loss": 1.0688,
+      "step": 69400
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.104166666666667e-05,
+      "loss": 1.0711,
+      "step": 69500
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.1e-05,
+      "loss": 1.0712,
+      "step": 69600
+    },
+    {
+      "epoch": 2.09,
+      "learning_rate": 2.0958333333333336e-05,
+      "loss": 1.0707,
+      "step": 69700
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.091666666666667e-05,
+      "loss": 1.0695,
+      "step": 69800
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0875e-05,
+      "loss": 1.0725,
+      "step": 69900
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0833333333333336e-05,
+      "loss": 1.0698,
+      "step": 70000
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0791666666666666e-05,
+      "loss": 1.0716,
+      "step": 70100
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.075e-05,
+      "loss": 1.071,
+      "step": 70200
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0708333333333336e-05,
+      "loss": 1.0715,
+      "step": 70300
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0666666666666666e-05,
+      "loss": 1.0697,
+      "step": 70400
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0625e-05,
+      "loss": 1.068,
+      "step": 70500
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0583333333333333e-05,
+      "loss": 1.0705,
+      "step": 70600
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0541666666666667e-05,
+      "loss": 1.0711,
+      "step": 70700
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.05e-05,
+      "loss": 1.0714,
+      "step": 70800
+    },
+    {
+      "epoch": 2.1,
+      "learning_rate": 2.0458333333333334e-05,
+      "loss": 1.0672,
+      "step": 70900
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0416666666666667e-05,
+      "loss": 1.0712,
+      "step": 71000
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0375e-05,
+      "loss": 1.0682,
+      "step": 71100
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0333333333333334e-05,
+      "loss": 1.0693,
+      "step": 71200
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0291666666666667e-05,
+      "loss": 1.069,
+      "step": 71300
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.025e-05,
+      "loss": 1.0702,
+      "step": 71400
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0208333333333334e-05,
+      "loss": 1.0725,
+      "step": 71500
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0166666666666668e-05,
+      "loss": 1.07,
+      "step": 71600
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0125e-05,
+      "loss": 1.0679,
+      "step": 71700
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0083333333333335e-05,
+      "loss": 1.0696,
+      "step": 71800
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2.0041666666666668e-05,
+      "loss": 1.0713,
+      "step": 71900
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 2e-05,
+      "loss": 1.0709,
+      "step": 72000
+    },
+    {
+      "epoch": 2.11,
+      "learning_rate": 1.9958333333333335e-05,
+      "loss": 1.0703,
+      "step": 72100
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9916666666666665e-05,
+      "loss": 1.0692,
+      "step": 72200
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9875000000000002e-05,
+      "loss": 1.0681,
+      "step": 72300
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9833333333333335e-05,
+      "loss": 1.0676,
+      "step": 72400
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9791666666666665e-05,
+      "loss": 1.0692,
+      "step": 72500
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9750000000000002e-05,
+      "loss": 1.0697,
+      "step": 72600
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9708333333333336e-05,
+      "loss": 1.0686,
+      "step": 72700
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9666666666666666e-05,
+      "loss": 1.0668,
+      "step": 72800
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9625000000000003e-05,
+      "loss": 1.0718,
+      "step": 72900
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9583333333333333e-05,
+      "loss": 1.0667,
+      "step": 73000
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9541666666666666e-05,
+      "loss": 1.0667,
+      "step": 73100
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9500000000000003e-05,
+      "loss": 1.0709,
+      "step": 73200
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 1.9458333333333333e-05,
+      "loss": 1.0709,
+      "step": 73300
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9416666666666667e-05,
+      "loss": 1.0693,
+      "step": 73400
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9375e-05,
+      "loss": 1.0672,
+      "step": 73500
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9333333333333333e-05,
+      "loss": 1.0674,
+      "step": 73600
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9291666666666667e-05,
+      "loss": 1.0662,
+      "step": 73700
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.925e-05,
+      "loss": 1.0674,
+      "step": 73800
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9208333333333334e-05,
+      "loss": 1.069,
+      "step": 73900
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9166666666666667e-05,
+      "loss": 1.0675,
+      "step": 74000
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9125e-05,
+      "loss": 1.0661,
+      "step": 74100
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9083333333333334e-05,
+      "loss": 1.0687,
+      "step": 74200
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9041666666666668e-05,
+      "loss": 1.0711,
+      "step": 74300
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.9e-05,
+      "loss": 1.0686,
+      "step": 74400
+    },
+    {
+      "epoch": 2.13,
+      "learning_rate": 1.8958333333333334e-05,
+      "loss": 1.0668,
+      "step": 74500
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8916666666666668e-05,
+      "loss": 1.0661,
+      "step": 74600
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8875e-05,
+      "loss": 1.0714,
+      "step": 74700
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8833333333333335e-05,
+      "loss": 1.0666,
+      "step": 74800
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8791666666666668e-05,
+      "loss": 1.0687,
+      "step": 74900
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8750000000000002e-05,
+      "loss": 1.0665,
+      "step": 75000
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8708333333333332e-05,
+      "loss": 1.0692,
+      "step": 75100
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.866666666666667e-05,
+      "loss": 1.0676,
+      "step": 75200
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8625000000000002e-05,
+      "loss": 1.0667,
+      "step": 75300
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8583333333333332e-05,
+      "loss": 1.067,
+      "step": 75400
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.854166666666667e-05,
+      "loss": 1.0679,
+      "step": 75500
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.85e-05,
+      "loss": 1.0667,
+      "step": 75600
+    },
+    {
+      "epoch": 2.14,
+      "learning_rate": 1.8458333333333333e-05,
+      "loss": 1.0677,
+      "step": 75700
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.841666666666667e-05,
+      "loss": 1.0659,
+      "step": 75800
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8375e-05,
+      "loss": 1.0668,
+      "step": 75900
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8333333333333333e-05,
+      "loss": 1.0654,
+      "step": 76000
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.829166666666667e-05,
+      "loss": 1.0646,
+      "step": 76100
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.825e-05,
+      "loss": 1.0643,
+      "step": 76200
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8208333333333337e-05,
+      "loss": 1.0668,
+      "step": 76300
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8166666666666667e-05,
+      "loss": 1.0655,
+      "step": 76400
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8125e-05,
+      "loss": 1.064,
+      "step": 76500
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8083333333333337e-05,
+      "loss": 1.0669,
+      "step": 76600
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8041666666666667e-05,
+      "loss": 1.0672,
+      "step": 76700
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.8e-05,
+      "loss": 1.0682,
+      "step": 76800
+    },
+    {
+      "epoch": 2.15,
+      "learning_rate": 1.7958333333333334e-05,
+      "loss": 1.0668,
+      "step": 76900
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7916666666666667e-05,
+      "loss": 1.0655,
+      "step": 77000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7875e-05,
+      "loss": 1.0683,
+      "step": 77100
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7833333333333334e-05,
+      "loss": 1.0655,
+      "step": 77200
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7791666666666668e-05,
+      "loss": 1.0644,
+      "step": 77300
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.775e-05,
+      "loss": 1.0677,
+      "step": 77400
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7708333333333335e-05,
+      "loss": 1.0642,
+      "step": 77500
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7666666666666668e-05,
+      "loss": 1.069,
+      "step": 77600
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7625e-05,
+      "loss": 1.0635,
+      "step": 77700
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7583333333333335e-05,
+      "loss": 1.0625,
+      "step": 77800
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.754166666666667e-05,
+      "loss": 1.0684,
+      "step": 77900
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.75e-05,
+      "loss": 1.0641,
+      "step": 78000
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 1.7458333333333335e-05,
+      "loss": 1.0668,
+      "step": 78100
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.741666666666667e-05,
+      "loss": 1.0678,
+      "step": 78200
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7375e-05,
+      "loss": 1.0673,
+      "step": 78300
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7333333333333336e-05,
+      "loss": 1.066,
+      "step": 78400
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7291666666666666e-05,
+      "loss": 1.0678,
+      "step": 78500
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.725e-05,
+      "loss": 1.0708,
+      "step": 78600
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7208333333333336e-05,
+      "loss": 1.0668,
+      "step": 78700
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7166666666666666e-05,
+      "loss": 1.0675,
+      "step": 78800
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7125000000000003e-05,
+      "loss": 1.0637,
+      "step": 78900
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7083333333333333e-05,
+      "loss": 1.0628,
+      "step": 79000
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7041666666666666e-05,
+      "loss": 1.0631,
+      "step": 79100
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.7000000000000003e-05,
+      "loss": 1.0635,
+      "step": 79200
+    },
+    {
+      "epoch": 2.17,
+      "learning_rate": 1.6958333333333333e-05,
+      "loss": 1.0626,
+      "step": 79300
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6916666666666667e-05,
+      "loss": 1.0656,
+      "step": 79400
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6875000000000004e-05,
+      "loss": 1.0674,
+      "step": 79500
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6833333333333334e-05,
+      "loss": 1.0655,
+      "step": 79600
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6791666666666667e-05,
+      "loss": 1.0648,
+      "step": 79700
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.675e-05,
+      "loss": 1.0675,
+      "step": 79800
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6708333333333334e-05,
+      "loss": 1.0634,
+      "step": 79900
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 1.0641,
+      "step": 80000
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6625e-05,
+      "loss": 1.0665,
+      "step": 80100
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6583333333333334e-05,
+      "loss": 1.0648,
+      "step": 80200
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6541666666666668e-05,
+      "loss": 1.0654,
+      "step": 80300
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.65e-05,
+      "loss": 1.0644,
+      "step": 80400
+    },
+    {
+      "epoch": 2.18,
+      "learning_rate": 1.6458333333333335e-05,
+      "loss": 1.0639,
+      "step": 80500
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6416666666666665e-05,
+      "loss": 1.063,
+      "step": 80600
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6375e-05,
+      "loss": 1.0617,
+      "step": 80700
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6333333333333335e-05,
+      "loss": 1.0672,
+      "step": 80800
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6291666666666665e-05,
+      "loss": 1.0662,
+      "step": 80900
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6250000000000002e-05,
+      "loss": 1.066,
+      "step": 81000
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6208333333333332e-05,
+      "loss": 1.0638,
+      "step": 81100
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6166666666666665e-05,
+      "loss": 1.064,
+      "step": 81200
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6125000000000002e-05,
+      "loss": 1.0631,
+      "step": 81300
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6083333333333332e-05,
+      "loss": 1.0654,
+      "step": 81400
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.604166666666667e-05,
+      "loss": 1.0654,
+      "step": 81500
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 1.0615,
+      "step": 81600
+    },
+    {
+      "epoch": 2.19,
+      "learning_rate": 1.5958333333333333e-05,
+      "loss": 1.0622,
+      "step": 81700
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.591666666666667e-05,
+      "loss": 1.0616,
+      "step": 81800
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5875e-05,
+      "loss": 1.0634,
+      "step": 81900
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5833333333333333e-05,
+      "loss": 1.0621,
+      "step": 82000
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.579166666666667e-05,
+      "loss": 1.0627,
+      "step": 82100
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.575e-05,
+      "loss": 1.0631,
+      "step": 82200
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5708333333333333e-05,
+      "loss": 1.0609,
+      "step": 82300
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5666666666666667e-05,
+      "loss": 1.0642,
+      "step": 82400
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5625e-05,
+      "loss": 1.0647,
+      "step": 82500
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5583333333333334e-05,
+      "loss": 1.0595,
+      "step": 82600
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5541666666666667e-05,
+      "loss": 1.0619,
+      "step": 82700
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.55e-05,
+      "loss": 1.0651,
+      "step": 82800
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 1.5458333333333334e-05,
+      "loss": 1.0622,
+      "step": 82900
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5416666666666668e-05,
+      "loss": 1.0619,
+      "step": 83000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5375e-05,
+      "loss": 1.0633,
+      "step": 83100
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5333333333333334e-05,
+      "loss": 1.0677,
+      "step": 83200
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5291666666666668e-05,
+      "loss": 1.0636,
+      "step": 83300
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.525e-05,
+      "loss": 1.0644,
+      "step": 83400
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5208333333333333e-05,
+      "loss": 1.0658,
+      "step": 83500
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5166666666666668e-05,
+      "loss": 1.0641,
+      "step": 83600
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5125e-05,
+      "loss": 1.0592,
+      "step": 83700
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5083333333333335e-05,
+      "loss": 1.0617,
+      "step": 83800
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5041666666666669e-05,
+      "loss": 1.0645,
+      "step": 83900
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.5e-05,
+      "loss": 1.0625,
+      "step": 84000
+    },
+    {
+      "epoch": 2.21,
+      "learning_rate": 1.4958333333333336e-05,
+      "loss": 1.0643,
+      "step": 84100
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4916666666666667e-05,
+      "loss": 1.0638,
+      "step": 84200
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4875e-05,
+      "loss": 1.0633,
+      "step": 84300
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4833333333333336e-05,
+      "loss": 1.0612,
+      "step": 84400
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4791666666666668e-05,
+      "loss": 1.064,
+      "step": 84500
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.475e-05,
+      "loss": 1.0612,
+      "step": 84600
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4708333333333335e-05,
+      "loss": 1.0573,
+      "step": 84700
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4666666666666668e-05,
+      "loss": 1.063,
+      "step": 84800
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4625e-05,
+      "loss": 1.0643,
+      "step": 84900
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4583333333333335e-05,
+      "loss": 1.0591,
+      "step": 85000
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4541666666666667e-05,
+      "loss": 1.066,
+      "step": 85100
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.45e-05,
+      "loss": 1.0651,
+      "step": 85200
+    },
+    {
+      "epoch": 2.22,
+      "learning_rate": 1.4458333333333335e-05,
+      "loss": 1.0623,
+      "step": 85300
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4416666666666667e-05,
+      "loss": 1.061,
+      "step": 85400
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4374999999999999e-05,
+      "loss": 1.0625,
+      "step": 85500
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4333333333333334e-05,
+      "loss": 1.0613,
+      "step": 85600
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4291666666666667e-05,
+      "loss": 1.0607,
+      "step": 85700
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4249999999999999e-05,
+      "loss": 1.0602,
+      "step": 85800
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4208333333333334e-05,
+      "loss": 1.0566,
+      "step": 85900
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4166666666666668e-05,
+      "loss": 1.063,
+      "step": 86000
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4125e-05,
+      "loss": 1.0625,
+      "step": 86100
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4083333333333335e-05,
+      "loss": 1.0602,
+      "step": 86200
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4041666666666666e-05,
+      "loss": 1.06,
+      "step": 86300
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.4000000000000001e-05,
+      "loss": 1.0606,
+      "step": 86400
+    },
+    {
+      "epoch": 2.23,
+      "learning_rate": 1.3958333333333335e-05,
+      "loss": 1.0606,
+      "step": 86500
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3916666666666667e-05,
+      "loss": 1.0626,
+      "step": 86600
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3875000000000002e-05,
+      "loss": 1.064,
+      "step": 86700
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3833333333333334e-05,
+      "loss": 1.0633,
+      "step": 86800
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3791666666666667e-05,
+      "loss": 1.0616,
+      "step": 86900
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3750000000000002e-05,
+      "loss": 1.0578,
+      "step": 87000
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3708333333333334e-05,
+      "loss": 1.0615,
+      "step": 87100
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3666666666666666e-05,
+      "loss": 1.065,
+      "step": 87200
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3625e-05,
+      "loss": 1.0599,
+      "step": 87300
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3583333333333334e-05,
+      "loss": 1.0604,
+      "step": 87400
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 1.3541666666666666e-05,
+      "loss": 1.0629,
+      "step": 87500
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 1.0598,
+      "step": 87600
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3458333333333335e-05,
+      "loss": 1.0615,
+      "step": 87700
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3416666666666666e-05,
+      "loss": 1.0606,
+      "step": 87800
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3375000000000002e-05,
+      "loss": 1.0573,
+      "step": 87900
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 1.0561,
+      "step": 88000
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 1.3291666666666667e-05,
+      "loss": 1.064,
+      "step": 88100
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3250000000000002e-05,
+      "loss": 1.0618,
+      "step": 88200
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3208333333333334e-05,
+      "loss": 1.0603,
+      "step": 88300
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3166666666666665e-05,
+      "loss": 1.0616,
+      "step": 88400
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3125e-05,
+      "loss": 1.0606,
+      "step": 88500
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3083333333333334e-05,
+      "loss": 1.0592,
+      "step": 88600
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3041666666666666e-05,
+      "loss": 1.0596,
+      "step": 88700
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.3000000000000001e-05,
+      "loss": 1.0591,
+      "step": 88800
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.2958333333333333e-05,
+      "loss": 1.0592,
+      "step": 88900
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.2916666666666668e-05,
+      "loss": 1.0592,
+      "step": 89000
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.2875000000000001e-05,
+      "loss": 1.0614,
+      "step": 89100
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.2833333333333333e-05,
+      "loss": 1.0598,
+      "step": 89200
+    },
+    {
+      "epoch": 3.01,
+      "learning_rate": 1.2791666666666668e-05,
+      "loss": 1.0604,
+      "step": 89300
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2750000000000002e-05,
+      "loss": 1.0609,
+      "step": 89400
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2708333333333333e-05,
+      "loss": 1.0616,
+      "step": 89500
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2666666666666668e-05,
+      "loss": 1.0591,
+      "step": 89600
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2625e-05,
+      "loss": 1.0616,
+      "step": 89700
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2583333333333334e-05,
+      "loss": 1.0578,
+      "step": 89800
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2541666666666669e-05,
+      "loss": 1.0607,
+      "step": 89900
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.25e-05,
+      "loss": 1.0575,
+      "step": 90000
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2458333333333334e-05,
+      "loss": 1.0612,
+      "step": 90100
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2416666666666667e-05,
+      "loss": 1.0615,
+      "step": 90200
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2375000000000001e-05,
+      "loss": 1.0616,
+      "step": 90300
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2333333333333334e-05,
+      "loss": 1.0596,
+      "step": 90400
+    },
+    {
+      "epoch": 3.02,
+      "learning_rate": 1.2291666666666666e-05,
+      "loss": 1.0568,
+      "step": 90500
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.225e-05,
+      "loss": 1.0597,
+      "step": 90600
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2208333333333335e-05,
+      "loss": 1.061,
+      "step": 90700
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2166666666666668e-05,
+      "loss": 1.0601,
+      "step": 90800
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2125e-05,
+      "loss": 1.0596,
+      "step": 90900
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2083333333333333e-05,
+      "loss": 1.0585,
+      "step": 91000
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2041666666666669e-05,
+      "loss": 1.061,
+      "step": 91100
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.2e-05,
+      "loss": 1.0613,
+      "step": 91200
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.1958333333333334e-05,
+      "loss": 1.0616,
+      "step": 91300
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.1916666666666667e-05,
+      "loss": 1.0612,
+      "step": 91400
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.1875e-05,
+      "loss": 1.0565,
+      "step": 91500
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.1833333333333334e-05,
+      "loss": 1.0564,
+      "step": 91600
+    },
+    {
+      "epoch": 3.03,
+      "learning_rate": 1.1791666666666668e-05,
+      "loss": 1.0579,
+      "step": 91700
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.175e-05,
+      "loss": 1.0591,
+      "step": 91800
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1708333333333334e-05,
+      "loss": 1.0614,
+      "step": 91900
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1666666666666668e-05,
+      "loss": 1.0603,
+      "step": 92000
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1625000000000001e-05,
+      "loss": 1.058,
+      "step": 92100
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1583333333333333e-05,
+      "loss": 1.0587,
+      "step": 92200
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1541666666666667e-05,
+      "loss": 1.0601,
+      "step": 92300
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1500000000000002e-05,
+      "loss": 1.0556,
+      "step": 92400
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1458333333333333e-05,
+      "loss": 1.0608,
+      "step": 92500
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1416666666666667e-05,
+      "loss": 1.0585,
+      "step": 92600
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1375e-05,
+      "loss": 1.0567,
+      "step": 92700
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1333333333333334e-05,
+      "loss": 1.0613,
+      "step": 92800
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.1291666666666667e-05,
+      "loss": 1.0586,
+      "step": 92900
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.125e-05,
+      "loss": 1.058,
+      "step": 93000
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1208333333333332e-05,
+      "loss": 1.0625,
+      "step": 93100
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1166666666666668e-05,
+      "loss": 1.0578,
+      "step": 93200
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1125000000000001e-05,
+      "loss": 1.0594,
+      "step": 93300
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1083333333333335e-05,
+      "loss": 1.0624,
+      "step": 93400
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1041666666666666e-05,
+      "loss": 1.0563,
+      "step": 93500
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.1000000000000001e-05,
+      "loss": 1.0593,
+      "step": 93600
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.0958333333333335e-05,
+      "loss": 1.0612,
+      "step": 93700
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.0916666666666667e-05,
+      "loss": 1.0565,
+      "step": 93800
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.0875e-05,
+      "loss": 1.0586,
+      "step": 93900
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.0833333333333334e-05,
+      "loss": 1.0588,
+      "step": 94000
+    },
+    {
+      "epoch": 3.05,
+      "learning_rate": 1.0791666666666667e-05,
+      "loss": 1.0585,
+      "step": 94100
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.075e-05,
+      "loss": 1.0583,
+      "step": 94200
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0708333333333334e-05,
+      "loss": 1.0602,
+      "step": 94300
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0666666666666667e-05,
+      "loss": 1.0561,
+      "step": 94400
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0625e-05,
+      "loss": 1.0599,
+      "step": 94500
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0583333333333334e-05,
+      "loss": 1.0586,
+      "step": 94600
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0541666666666668e-05,
+      "loss": 1.0561,
+      "step": 94700
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.05e-05,
+      "loss": 1.0586,
+      "step": 94800
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0458333333333335e-05,
+      "loss": 1.0576,
+      "step": 94900
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0416666666666668e-05,
+      "loss": 1.0593,
+      "step": 95000
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0375e-05,
+      "loss": 1.0582,
+      "step": 95100
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0333333333333333e-05,
+      "loss": 1.0579,
+      "step": 95200
+    },
+    {
+      "epoch": 3.06,
+      "learning_rate": 1.0291666666666667e-05,
+      "loss": 1.058,
+      "step": 95300
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.025e-05,
+      "loss": 1.0614,
+      "step": 95400
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.0208333333333334e-05,
+      "loss": 1.0589,
+      "step": 95500
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.0166666666666667e-05,
+      "loss": 1.0553,
+      "step": 95600
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.0125e-05,
+      "loss": 1.0601,
+      "step": 95700
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.0083333333333334e-05,
+      "loss": 1.0567,
+      "step": 95800
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1.0041666666666667e-05,
+      "loss": 1.0545,
+      "step": 95900
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 1e-05,
+      "loss": 1.0578,
+      "step": 96000
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 9.958333333333333e-06,
+      "loss": 1.0527,
+      "step": 96100
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 9.916666666666668e-06,
+      "loss": 1.0554,
+      "step": 96200
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 9.875000000000001e-06,
+      "loss": 1.0567,
+      "step": 96300
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 9.833333333333333e-06,
+      "loss": 1.0572,
+      "step": 96400
+    },
+    {
+      "epoch": 3.07,
+      "learning_rate": 9.791666666666666e-06,
+      "loss": 1.0603,
+      "step": 96500
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.750000000000002e-06,
+      "loss": 1.0545,
+      "step": 96600
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.708333333333333e-06,
+      "loss": 1.0579,
+      "step": 96700
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.666666666666667e-06,
+      "loss": 1.0568,
+      "step": 96800
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.625e-06,
+      "loss": 1.0562,
+      "step": 96900
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.583333333333334e-06,
+      "loss": 1.0576,
+      "step": 97000
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.541666666666667e-06,
+      "loss": 1.0553,
+      "step": 97100
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.5e-06,
+      "loss": 1.0565,
+      "step": 97200
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.458333333333334e-06,
+      "loss": 1.0559,
+      "step": 97300
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.416666666666667e-06,
+      "loss": 1.0572,
+      "step": 97400
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.375000000000001e-06,
+      "loss": 1.0575,
+      "step": 97500
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.333333333333334e-06,
+      "loss": 1.0576,
+      "step": 97600
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 9.291666666666666e-06,
+      "loss": 1.0617,
+      "step": 97700
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.25e-06,
+      "loss": 1.0555,
+      "step": 97800
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.208333333333335e-06,
+      "loss": 1.0553,
+      "step": 97900
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.166666666666666e-06,
+      "loss": 1.056,
+      "step": 98000
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.125e-06,
+      "loss": 1.0585,
+      "step": 98100
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.083333333333333e-06,
+      "loss": 1.0586,
+      "step": 98200
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9.041666666666668e-06,
+      "loss": 1.0554,
+      "step": 98300
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 9e-06,
+      "loss": 1.0544,
+      "step": 98400
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 8.958333333333334e-06,
+      "loss": 1.0533,
+      "step": 98500
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 8.916666666666667e-06,
+      "loss": 1.0552,
+      "step": 98600
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 8.875e-06,
+      "loss": 1.0551,
+      "step": 98700
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 8.833333333333334e-06,
+      "loss": 1.0561,
+      "step": 98800
+    },
+    {
+      "epoch": 3.09,
+      "learning_rate": 8.791666666666667e-06,
+      "loss": 1.054,
+      "step": 98900
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.75e-06,
+      "loss": 1.0579,
+      "step": 99000
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.708333333333334e-06,
+      "loss": 1.057,
+      "step": 99100
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.666666666666668e-06,
+      "loss": 1.0546,
+      "step": 99200
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.625e-06,
+      "loss": 1.0568,
+      "step": 99300
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.583333333333333e-06,
+      "loss": 1.0557,
+      "step": 99400
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.541666666666666e-06,
+      "loss": 1.0552,
+      "step": 99500
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.500000000000002e-06,
+      "loss": 1.0554,
+      "step": 99600
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.458333333333333e-06,
+      "loss": 1.0532,
+      "step": 99700
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.416666666666667e-06,
+      "loss": 1.0567,
+      "step": 99800
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.375e-06,
+      "loss": 1.0557,
+      "step": 99900
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.333333333333334e-06,
+      "loss": 1.0557,
+      "step": 100000
+    },
+    {
+      "epoch": 3.1,
+      "learning_rate": 8.291666666666667e-06,
+      "loss": 1.0532,
+      "step": 100100
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.25e-06,
+      "loss": 1.0555,
+      "step": 100200
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.208333333333332e-06,
+      "loss": 1.0522,
+      "step": 100300
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.166666666666668e-06,
+      "loss": 1.0559,
+      "step": 100400
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.125000000000001e-06,
+      "loss": 1.0546,
+      "step": 100500
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.083333333333333e-06,
+      "loss": 1.0535,
+      "step": 100600
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.041666666666666e-06,
+      "loss": 1.0571,
+      "step": 100700
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 1.0561,
+      "step": 100800
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 7.958333333333335e-06,
+      "loss": 1.0517,
+      "step": 100900
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 7.916666666666667e-06,
+      "loss": 1.0561,
+      "step": 101000
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 7.875e-06,
+      "loss": 1.0554,
+      "step": 101100
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 7.833333333333333e-06,
+      "loss": 1.058,
+      "step": 101200
+    },
+    {
+      "epoch": 3.11,
+      "learning_rate": 7.791666666666667e-06,
+      "loss": 1.0568,
+      "step": 101300
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.75e-06,
+      "loss": 1.0556,
+      "step": 101400
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.708333333333334e-06,
+      "loss": 1.053,
+      "step": 101500
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.666666666666667e-06,
+      "loss": 1.0547,
+      "step": 101600
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.625e-06,
+      "loss": 1.0536,
+      "step": 101700
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.583333333333334e-06,
+      "loss": 1.0589,
+      "step": 101800
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.541666666666668e-06,
+      "loss": 1.0515,
+      "step": 101900
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.5e-06,
+      "loss": 1.0549,
+      "step": 102000
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.458333333333334e-06,
+      "loss": 1.0579,
+      "step": 102100
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.416666666666668e-06,
+      "loss": 1.0506,
+      "step": 102200
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.375e-06,
+      "loss": 1.0545,
+      "step": 102300
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.333333333333334e-06,
+      "loss": 1.0569,
+      "step": 102400
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 7.2916666666666674e-06,
+      "loss": 1.0585,
+      "step": 102500
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.25e-06,
+      "loss": 1.0524,
+      "step": 102600
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.2083333333333335e-06,
+      "loss": 1.0543,
+      "step": 102700
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.166666666666667e-06,
+      "loss": 1.0549,
+      "step": 102800
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.1249999999999995e-06,
+      "loss": 1.0507,
+      "step": 102900
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.083333333333334e-06,
+      "loss": 1.0556,
+      "step": 103000
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.041666666666667e-06,
+      "loss": 1.0533,
+      "step": 103100
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 7.000000000000001e-06,
+      "loss": 1.0531,
+      "step": 103200
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 6.958333333333333e-06,
+      "loss": 1.055,
+      "step": 103300
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 6.916666666666667e-06,
+      "loss": 1.0556,
+      "step": 103400
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 6.875000000000001e-06,
+      "loss": 1.0569,
+      "step": 103500
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 6.833333333333333e-06,
+      "loss": 1.0538,
+      "step": 103600
+    },
+    {
+      "epoch": 3.13,
+      "learning_rate": 6.791666666666667e-06,
+      "loss": 1.0538,
+      "step": 103700
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.750000000000001e-06,
+      "loss": 1.0547,
+      "step": 103800
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.708333333333333e-06,
+      "loss": 1.056,
+      "step": 103900
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 1.0536,
+      "step": 104000
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.625000000000001e-06,
+      "loss": 1.0542,
+      "step": 104100
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.583333333333333e-06,
+      "loss": 1.0517,
+      "step": 104200
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.541666666666667e-06,
+      "loss": 1.0547,
+      "step": 104300
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.5000000000000004e-06,
+      "loss": 1.0535,
+      "step": 104400
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.458333333333334e-06,
+      "loss": 1.0567,
+      "step": 104500
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.4166666666666665e-06,
+      "loss": 1.0522,
+      "step": 104600
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.375000000000001e-06,
+      "loss": 1.0567,
+      "step": 104700
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.333333333333334e-06,
+      "loss": 1.0527,
+      "step": 104800
+    },
+    {
+      "epoch": 3.14,
+      "learning_rate": 6.291666666666667e-06,
+      "loss": 1.0543,
+      "step": 104900
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.25e-06,
+      "loss": 1.0512,
+      "step": 105000
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.208333333333334e-06,
+      "loss": 1.0543,
+      "step": 105100
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.166666666666667e-06,
+      "loss": 1.0532,
+      "step": 105200
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.125e-06,
+      "loss": 1.0524,
+      "step": 105300
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.083333333333334e-06,
+      "loss": 1.0513,
+      "step": 105400
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6.041666666666667e-06,
+      "loss": 1.055,
+      "step": 105500
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 6e-06,
+      "loss": 1.0518,
+      "step": 105600
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 5.958333333333334e-06,
+      "loss": 1.053,
+      "step": 105700
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 5.916666666666667e-06,
+      "loss": 1.0535,
+      "step": 105800
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 5.875e-06,
+      "loss": 1.0548,
+      "step": 105900
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 5.833333333333334e-06,
+      "loss": 1.0534,
+      "step": 106000
+    },
+    {
+      "epoch": 3.15,
+      "learning_rate": 5.7916666666666666e-06,
+      "loss": 1.0535,
+      "step": 106100
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.750000000000001e-06,
+      "loss": 1.0546,
+      "step": 106200
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.7083333333333335e-06,
+      "loss": 1.054,
+      "step": 106300
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.666666666666667e-06,
+      "loss": 1.0528,
+      "step": 106400
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.625e-06,
+      "loss": 1.0527,
+      "step": 106500
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.583333333333334e-06,
+      "loss": 1.0521,
+      "step": 106600
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.541666666666667e-06,
+      "loss": 1.0548,
+      "step": 106700
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.500000000000001e-06,
+      "loss": 1.0529,
+      "step": 106800
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.458333333333333e-06,
+      "loss": 1.0503,
+      "step": 106900
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.416666666666667e-06,
+      "loss": 1.0529,
+      "step": 107000
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.375e-06,
+      "loss": 1.055,
+      "step": 107100
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 1.0518,
+      "step": 107200
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 5.291666666666667e-06,
+      "loss": 1.0573,
+      "step": 107300
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.25e-06,
+      "loss": 1.0545,
+      "step": 107400
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.208333333333334e-06,
+      "loss": 1.0556,
+      "step": 107500
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.166666666666667e-06,
+      "loss": 1.052,
+      "step": 107600
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.125e-06,
+      "loss": 1.0561,
+      "step": 107700
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.0833333333333335e-06,
+      "loss": 1.0558,
+      "step": 107800
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5.041666666666667e-06,
+      "loss": 1.0557,
+      "step": 107900
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 5e-06,
+      "loss": 1.0528,
+      "step": 108000
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 4.958333333333334e-06,
+      "loss": 1.0543,
+      "step": 108100
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 4.9166666666666665e-06,
+      "loss": 1.049,
+      "step": 108200
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 4.875000000000001e-06,
+      "loss": 1.0516,
+      "step": 108300
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 4.833333333333333e-06,
+      "loss": 1.0483,
+      "step": 108400
+    },
+    {
+      "epoch": 3.17,
+      "learning_rate": 4.791666666666667e-06,
+      "loss": 1.0529,
+      "step": 108500
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.75e-06,
+      "loss": 1.0525,
+      "step": 108600
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.708333333333334e-06,
+      "loss": 1.0556,
+      "step": 108700
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.666666666666667e-06,
+      "loss": 1.0515,
+      "step": 108800
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.625e-06,
+      "loss": 1.0524,
+      "step": 108900
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.583333333333333e-06,
+      "loss": 1.0557,
+      "step": 109000
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.541666666666667e-06,
+      "loss": 1.0513,
+      "step": 109100
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.5e-06,
+      "loss": 1.0534,
+      "step": 109200
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.4583333333333336e-06,
+      "loss": 1.0545,
+      "step": 109300
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.416666666666667e-06,
+      "loss": 1.0518,
+      "step": 109400
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.375e-06,
+      "loss": 1.0529,
+      "step": 109500
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.333333333333334e-06,
+      "loss": 1.0537,
+      "step": 109600
+    },
+    {
+      "epoch": 3.18,
+      "learning_rate": 4.2916666666666665e-06,
+      "loss": 1.0515,
+      "step": 109700
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.250000000000001e-06,
+      "loss": 1.0517,
+      "step": 109800
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.208333333333333e-06,
+      "loss": 1.0524,
+      "step": 109900
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.166666666666667e-06,
+      "loss": 1.0523,
+      "step": 110000
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.125e-06,
+      "loss": 1.0557,
+      "step": 110100
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.083333333333334e-06,
+      "loss": 1.0526,
+      "step": 110200
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.041666666666666e-06,
+      "loss": 1.0536,
+      "step": 110300
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 1.0519,
+      "step": 110400
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 3.958333333333333e-06,
+      "loss": 1.0508,
+      "step": 110500
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 3.916666666666667e-06,
+      "loss": 1.0521,
+      "step": 110600
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 3.875e-06,
+      "loss": 1.0531,
+      "step": 110700
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 3.833333333333334e-06,
+      "loss": 1.0488,
+      "step": 110800
+    },
+    {
+      "epoch": 3.19,
+      "learning_rate": 3.791666666666667e-06,
+      "loss": 1.0519,
+      "step": 110900
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.75e-06,
+      "loss": 1.05,
+      "step": 111000
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.708333333333334e-06,
+      "loss": 1.0505,
+      "step": 111100
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.666666666666667e-06,
+      "loss": 1.0523,
+      "step": 111200
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.625e-06,
+      "loss": 1.051,
+      "step": 111300
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.5833333333333335e-06,
+      "loss": 1.0506,
+      "step": 111400
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.541666666666667e-06,
+      "loss": 1.051,
+      "step": 111500
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.5000000000000004e-06,
+      "loss": 1.0526,
+      "step": 111600
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.4583333333333334e-06,
+      "loss": 1.0514,
+      "step": 111700
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.4166666666666664e-06,
+      "loss": 1.0504,
+      "step": 111800
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.3750000000000003e-06,
+      "loss": 1.052,
+      "step": 111900
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.3333333333333333e-06,
+      "loss": 1.0538,
+      "step": 112000
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 3.2916666666666664e-06,
+      "loss": 1.0485,
+      "step": 112100
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.2500000000000002e-06,
+      "loss": 1.0517,
+      "step": 112200
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.2083333333333332e-06,
+      "loss": 1.0516,
+      "step": 112300
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.166666666666667e-06,
+      "loss": 1.0536,
+      "step": 112400
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.125e-06,
+      "loss": 1.0538,
+      "step": 112500
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.0833333333333336e-06,
+      "loss": 1.0523,
+      "step": 112600
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3.041666666666667e-06,
+      "loss": 1.0551,
+      "step": 112700
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 3e-06,
+      "loss": 1.0525,
+      "step": 112800
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 2.9583333333333335e-06,
+      "loss": 1.0471,
+      "step": 112900
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 2.916666666666667e-06,
+      "loss": 1.0518,
+      "step": 113000
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 2.8750000000000004e-06,
+      "loss": 1.0543,
+      "step": 113100
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 2.8333333333333335e-06,
+      "loss": 1.0498,
+      "step": 113200
+    },
+    {
+      "epoch": 3.21,
+      "learning_rate": 2.791666666666667e-06,
+      "loss": 1.0522,
+      "step": 113300
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.7500000000000004e-06,
+      "loss": 1.0519,
+      "step": 113400
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.7083333333333334e-06,
+      "loss": 1.0518,
+      "step": 113500
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 1.053,
+      "step": 113600
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.625e-06,
+      "loss": 1.0511,
+      "step": 113700
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.5833333333333333e-06,
+      "loss": 1.0501,
+      "step": 113800
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.5416666666666668e-06,
+      "loss": 1.047,
+      "step": 113900
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.5e-06,
+      "loss": 1.0537,
+      "step": 114000
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.4583333333333332e-06,
+      "loss": 1.0522,
+      "step": 114100
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.4166666666666667e-06,
+      "loss": 1.0509,
+      "step": 114200
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.375e-06,
+      "loss": 1.0559,
+      "step": 114300
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.3333333333333336e-06,
+      "loss": 1.0548,
+      "step": 114400
+    },
+    {
+      "epoch": 3.22,
+      "learning_rate": 2.2916666666666666e-06,
+      "loss": 1.0479,
+      "step": 114500
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.25e-06,
+      "loss": 1.051,
+      "step": 114600
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.2083333333333335e-06,
+      "loss": 1.0517,
+      "step": 114700
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.166666666666667e-06,
+      "loss": 1.049,
+      "step": 114800
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.1250000000000004e-06,
+      "loss": 1.0517,
+      "step": 114900
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.0833333333333334e-06,
+      "loss": 1.0481,
+      "step": 115000
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.041666666666667e-06,
+      "loss": 1.05,
+      "step": 115100
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 1.0526,
+      "step": 115200
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 1.9583333333333334e-06,
+      "loss": 1.0511,
+      "step": 115300
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 1.916666666666667e-06,
+      "loss": 1.0485,
+      "step": 115400
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 1.875e-06,
+      "loss": 1.0514,
+      "step": 115500
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 1.8333333333333335e-06,
+      "loss": 1.051,
+      "step": 115600
+    },
+    {
+      "epoch": 3.23,
+      "learning_rate": 1.7916666666666667e-06,
+      "loss": 1.0492,
+      "step": 115700
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.7500000000000002e-06,
+      "loss": 1.0526,
+      "step": 115800
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.7083333333333332e-06,
+      "loss": 1.0537,
+      "step": 115900
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 1.0528,
+      "step": 116000
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.6250000000000001e-06,
+      "loss": 1.05,
+      "step": 116100
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.5833333333333336e-06,
+      "loss": 1.0489,
+      "step": 116200
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.5416666666666668e-06,
+      "loss": 1.0523,
+      "step": 116300
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.5e-06,
+      "loss": 1.0549,
+      "step": 116400
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.4583333333333335e-06,
+      "loss": 1.0475,
+      "step": 116500
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 1.4166666666666667e-06,
+      "loss": 1.0517,
+      "step": 116600
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.3750000000000002e-06,
+      "loss": 1.0501,
+      "step": 116700
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.3333333333333334e-06,
+      "loss": 1.0509,
+      "step": 116800
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.2916666666666667e-06,
+      "loss": 1.0516,
+      "step": 116900
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.25e-06,
+      "loss": 1.0499,
+      "step": 117000
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.2083333333333333e-06,
+      "loss": 1.0484,
+      "step": 117100
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 1.1666666666666668e-06,
+      "loss": 1.0496,
+      "step": 117200
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 1.125e-06,
+      "loss": 1.054,
+      "step": 117300
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 1.0833333333333335e-06,
+      "loss": 1.0508,
+      "step": 117400
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 1.0416666666666667e-06,
+      "loss": 1.0505,
+      "step": 117500
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 1.0519,
+      "step": 117600
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 9.583333333333334e-07,
+      "loss": 1.0502,
+      "step": 117700
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 9.166666666666667e-07,
+      "loss": 1.0528,
+      "step": 117800
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 8.750000000000001e-07,
+      "loss": 1.0507,
+      "step": 117900
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 8.333333333333333e-07,
+      "loss": 1.0518,
+      "step": 118000
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 7.916666666666668e-07,
+      "loss": 1.0486,
+      "step": 118100
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 7.5e-07,
+      "loss": 1.0509,
+      "step": 118200
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 7.083333333333334e-07,
+      "loss": 1.0511,
+      "step": 118300
+    },
+    {
+      "epoch": 4.01,
+      "learning_rate": 6.666666666666667e-07,
+      "loss": 1.0493,
+      "step": 118400
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 6.25e-07,
+      "loss": 1.051,
+      "step": 118500
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 5.833333333333334e-07,
+      "loss": 1.0507,
+      "step": 118600
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 5.416666666666667e-07,
+      "loss": 1.0529,
+      "step": 118700
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 5.000000000000001e-07,
+      "loss": 1.0488,
+      "step": 118800
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 4.583333333333334e-07,
+      "loss": 1.0512,
+      "step": 118900
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 4.1666666666666667e-07,
+      "loss": 1.048,
+      "step": 119000
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 3.75e-07,
+      "loss": 1.0518,
+      "step": 119100
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 3.3333333333333335e-07,
+      "loss": 1.0509,
+      "step": 119200
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 2.916666666666667e-07,
+      "loss": 1.0522,
+      "step": 119300
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 2.5000000000000004e-07,
+      "loss": 1.0538,
+      "step": 119400
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 2.0833333333333333e-07,
+      "loss": 1.0497,
+      "step": 119500
+    },
+    {
+      "epoch": 4.02,
+      "learning_rate": 1.6666666666666668e-07,
+      "loss": 1.0525,
+      "step": 119600
+    },
+    {
+      "epoch": 4.03,
+      "learning_rate": 1.2500000000000002e-07,
+      "loss": 1.0478,
+      "step": 119700
+    },
+    {
+      "epoch": 4.03,
+      "learning_rate": 8.333333333333334e-08,
+      "loss": 1.0529,
+      "step": 119800
+    },
+    {
+      "epoch": 4.03,
+      "learning_rate": 4.166666666666667e-08,
+      "loss": 1.0515,
+      "step": 119900
+    },
+    {
+      "epoch": 4.03,
+      "learning_rate": 0.0,
+      "loss": 1.0495,
+      "step": 120000
+    },
+    {
+      "epoch": 4.03,
+      "eval_loss": 1.0252892017911877,
+      "eval_runtime": 105.9317,
+      "eval_samples_per_second": 1088.39,
+      "eval_steps_per_second": 2.133,
+      "step": 120000
+    }
+  ],
+  "max_steps": 120000,
+  "num_train_epochs": 9223372036854775807,
+  "total_flos": 8.78519991140352e+18,
+  "trial_name": null,
+  "trial_params": null
+}