| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 2.8, |
| "eval_steps": 500, |
| "global_step": 350, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.08, |
| "grad_norm": 2.0762882232666016, |
| "learning_rate": 0.0001952, |
| "loss": 2.921174430847168, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 1.494314432144165, |
| "learning_rate": 0.00018986666666666668, |
| "loss": 0.8493177413940429, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 0.8940829634666443, |
| "learning_rate": 0.00018453333333333334, |
| "loss": 0.29891698360443114, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 0.6761481761932373, |
| "learning_rate": 0.00017920000000000002, |
| "loss": 0.24503071308135987, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 0.8483666181564331, |
| "learning_rate": 0.00017386666666666667, |
| "loss": 0.23532724380493164, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 0.5320708751678467, |
| "learning_rate": 0.00016853333333333336, |
| "loss": 0.2238381624221802, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 0.544127345085144, |
| "learning_rate": 0.0001632, |
| "loss": 0.1873299241065979, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 0.3120693266391754, |
| "learning_rate": 0.00015786666666666666, |
| "loss": 0.1958820104598999, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 0.4256227910518646, |
| "learning_rate": 0.00015253333333333335, |
| "loss": 0.17537823915481568, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 0.49074727296829224, |
| "learning_rate": 0.0001472, |
| "loss": 0.16229361295700073, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 0.3502003252506256, |
| "learning_rate": 0.00014186666666666668, |
| "loss": 0.17495042085647583, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 0.4211275279521942, |
| "learning_rate": 0.00013653333333333334, |
| "loss": 0.15660312175750732, |
| "step": 120 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 0.9018304944038391, |
| "learning_rate": 0.00013120000000000002, |
| "loss": 0.16269407272338868, |
| "step": 130 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 0.3671622574329376, |
| "learning_rate": 0.00012586666666666667, |
| "loss": 0.14469131231307983, |
| "step": 140 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 0.3512709438800812, |
| "learning_rate": 0.00012053333333333334, |
| "loss": 0.15323718786239623, |
| "step": 150 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 0.2616237699985504, |
| "learning_rate": 0.0001152, |
| "loss": 0.14424238204956055, |
| "step": 160 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 0.2642329931259155, |
| "learning_rate": 0.00010986666666666668, |
| "loss": 0.14813388586044313, |
| "step": 170 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 0.4799720346927643, |
| "learning_rate": 0.00010453333333333333, |
| "loss": 0.1565908670425415, |
| "step": 180 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 0.341293066740036, |
| "learning_rate": 9.92e-05, |
| "loss": 0.14870073795318603, |
| "step": 190 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.44224610924720764, |
| "learning_rate": 9.386666666666667e-05, |
| "loss": 0.14998830556869508, |
| "step": 200 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 0.24533942341804504, |
| "learning_rate": 8.853333333333333e-05, |
| "loss": 0.14851131439208984, |
| "step": 210 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 0.24691356718540192, |
| "learning_rate": 8.32e-05, |
| "loss": 0.1555757999420166, |
| "step": 220 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 0.27265557646751404, |
| "learning_rate": 7.786666666666667e-05, |
| "loss": 0.14096293449401856, |
| "step": 230 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 0.33905982971191406, |
| "learning_rate": 7.253333333333334e-05, |
| "loss": 0.15663959980010986, |
| "step": 240 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.32767701148986816, |
| "learning_rate": 6.720000000000001e-05, |
| "loss": 0.15287188291549683, |
| "step": 250 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 0.23346593976020813, |
| "learning_rate": 6.186666666666668e-05, |
| "loss": 0.13346259593963622, |
| "step": 260 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 0.28349313139915466, |
| "learning_rate": 5.6533333333333336e-05, |
| "loss": 0.12947686910629272, |
| "step": 270 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 0.3056514263153076, |
| "learning_rate": 5.1200000000000004e-05, |
| "loss": 0.12914828062057496, |
| "step": 280 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 0.2412889003753662, |
| "learning_rate": 4.5866666666666666e-05, |
| "loss": 0.12993311882019043, |
| "step": 290 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.3278365731239319, |
| "learning_rate": 4.0533333333333334e-05, |
| "loss": 0.1282377600669861, |
| "step": 300 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 0.28250133991241455, |
| "learning_rate": 3.52e-05, |
| "loss": 0.13170660734176637, |
| "step": 310 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 0.2550033926963806, |
| "learning_rate": 2.986666666666667e-05, |
| "loss": 0.1282130241394043, |
| "step": 320 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 0.24795718491077423, |
| "learning_rate": 2.4533333333333334e-05, |
| "loss": 0.12652667760848998, |
| "step": 330 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 0.3495613932609558, |
| "learning_rate": 1.9200000000000003e-05, |
| "loss": 0.12632591724395753, |
| "step": 340 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.3582761287689209, |
| "learning_rate": 1.3866666666666667e-05, |
| "loss": 0.12919447422027588, |
| "step": 350 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 375, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 50, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.609865474171136e+16, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
