[2026-03-23 11:12:13,566] [DEBUG] [axolotl.utils.config.log_gpu_memory_usage:127] [PID:14407] baseline 0.000GB ()
[2026-03-23 11:12:13,568] [INFO] [axolotl.cli.config.load_cfg:341] [PID:14407] config:
{
  "activation_offloading": false,
  "adapter": "lora",
  "auto_resume_from_checkpoints": true,
  "axolotl_config_path": "llama_train.yml",
  "base_model": "meta-llama/Llama-3.2-3B-Instruct",
  "base_model_config": "meta-llama/Llama-3.2-3B-Instruct",
  "batch_size": 4,
  "bf16": true,
  "capabilities": {
    "bf16": true,
    "compute_capability": "sm_89",
    "fp8": false,
    "n_gpu": 1,
    "n_node": 1,
    "tf32": true
  },
  "chat_template": "tokenizer_default",
  "context_parallel_size": 1,
  "dataloader_num_workers": 1,
  "dataloader_pin_memory": true,
  "dataloader_prefetch_factor": 256,
  "dataset_num_proc": 120,
  "datasets": [
    {
      "message_property_mappings": {
        "content": "content",
        "role": "role"
      },
      "path": "psychopenguin/indian_legal_dataset_qna",
      "split": "train",
      "trust_remote_code": false,
      "type": "alpaca"
    }
  ],
  "ddp": false,
  "device": "cuda:0",
  "dion_rank_fraction": 1.0,
  "dion_rank_multiple_of": 1,
  "eaft_alpha": 1.0,
  "eaft_k": 20,
  "early_stopping_patience": 6,
  "env_capabilities": {
    "torch_version": "2.9.1"
  },
  "eval_batch_size": 4,
  "eval_causal_lm_metrics": [
    "sacrebleu",
    "comet",
    "ter",
    "chrf"
  ],
  "eval_max_new_tokens": 128,
  "eval_sample_packing": true,
  "eval_steps": 100,
  "eval_strategy": "steps",
  "eval_table_size": 0,
  "experimental_skip_move_to_device": true,
  "flash_attention": true,
  "flash_attn_cross_entropy": true,
  "fp16": false,
  "generate_samples": false,
  "generation_do_sample": true,
  "generation_max_new_tokens": 50,
  "generation_prompt_ratio": 0.5,
  "generation_temperature": 0.7,
  "gradient_accumulation_steps": 1,
  "gradient_checkpointing": true,
  "gradient_checkpointing_kwargs": {
    "use_reentrant": true
  },
  "hf_use_auth_token": true,
  "hub_model_id": "psychopenguin/legal_llama3.2-3b-instruct",
  "include_tkps": true,
  "is_falcon_derived_model": false,
  "is_llama_derived_model": true,
  "is_mistral_derived_model": false,
  "layer_offloading": false,
  "learning_rate": 0.0002,
  "lisa_layers_attribute": "model.layers",
  "load_best_model_at_end": true,
  "load_in_4bit": false,
  "load_in_8bit": false,
  "local_rank": 0,
  "lora_alpha": 32,
  "lora_dropout": 0.05,
  "lora_r": 16,
  "lora_target_linear": true,
  "loraplus_lr_embedding": 1e-06,
  "lr_scheduler": "cosine",
  "mean_resizing_embeddings": false,
  "merge_lora": true,
  "micro_batch_size": 4,
  "model_config_type": "llama",
  "neftune_noise_alpha": 5.0,
  "num_epochs": 5.0,
  "num_generation_samples": 3,
  "optimizer": "paged_adamw_8bit",
  "otel_metrics_host": "localhost",
  "otel_metrics_port": 8000,
  "output_dir": "./final_model",
  "pad_to_sequence_len": true,
  "pretrain_multipack_attn": true,
  "profiler_steps_start": 0,
  "qlora_sharded_model_loading": false,
  "quantize_moe_experts": false,
  "ray_num_workers": 1,
  "resources_per_worker": {
    "GPU": 1
  },
  "sample_packing": true,
  "sample_packing_bin_size": 200,
  "sample_packing_group_size": 100000,
  "save_only_model": false,
  "save_safetensors": true,
  "save_steps": 100,
  "save_total_limit": 3,
  "seed": 9,
  "sequence_len": 2048,
  "shuffle_before_merging_datasets": false,
  "shuffle_merged_datasets": true,
  "skip_prepare_dataset": false,
  "streaming_multipack_buffer_size": 10000,
  "strict": false,
  "tensor_parallel_size": 1,
  "tf32": true,
  "tiled_mlp_use_original_mlp": true,
  "tokenizer_config": "meta-llama/Llama-3.2-3B-Instruct",
  "tokenizer_save_jinja_files": true,
  "tokenizer_type": "AutoTokenizer",
  "tokenizer_use_fast": true,
  "torch_dtype": "torch.bfloat16",
  "train_on_inputs": false,
  "trl": {
    "async_prefetch": false,
    "log_completions": false,
    "mask_truncated_completions": false,
    "ref_model_mixup_alpha": 0.9,
    "ref_model_sync_steps": 64,
    "replay_buffer_size": 0,
    "replay_recompute_logps": true,
    "reroll_max_groups": 1,
    "reroll_start_fraction": 1.0,
    "reward_num_workers": 1,
    "scale_rewards": true,
    "skip_zero_advantage_batches": true,
    "sync_ref_model": false,
    "use_data_producer": false,
    "use_vllm": false,
    "vllm_lora_sync": false,
    "vllm_server_host": "0.0.0.0",
    "vllm_server_port": 8000
  },
  "trust_remote_code": true,
  "type_of_model": "AutoModelForCausalLM",
  "use_otel_metrics": false,
  "use_ray": false,
  "use_wandb": true,
  "val_set_size": 0.05,
  "vllm": {
    "device": "auto",
    "dtype": "auto",
    "gpu_memory_utilization": 0.9,
    "host": "0.0.0.0",
    "port": 8000
  },
  "wandb_name": "legal-lm",
  "wandb_project": "major_project",
  "weight_decay": 0.0,
  "world_size": 1
}
[2026-03-23 11:12:17,084] [WARNING] [axolotl.loaders.tokenizer.load_tokenizer:227] [PID:14407] Tokenizer does not have a pad_token, falling back to eos_token: <|eot_id|>
[2026-03-23 11:12:17,085] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:307] [PID:14407] EOS: 128009 / <|eot_id|>
[2026-03-23 11:12:17,086] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:308] [PID:14407] BOS: 128000 / <|begin_of_text|>
[2026-03-23 11:12:17,086] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:309] [PID:14407] PAD: 128009 / <|eot_id|>
[2026-03-23 11:12:17,086] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:310] [PID:14407] UNK: None / None
[2026-03-23 11:12:17,087] [INFO] [axolotl.utils.data.shared.load_preprocessed_dataset:480] [PID:14407] Unable to find prepared dataset in last_run_prepared/bbd35feda38ef811b8a988570a6ea262
[2026-03-23 11:12:17,087] [INFO] [axolotl.utils.data.sft._load_raw_datasets:320] [PID:14407] Loading raw datasets...
[2026-03-23 11:12:17,088] [WARNING] [axolotl.utils.data.sft._load_raw_datasets:322] [PID:14407] Processing datasets during training can lead to VRAM instability. Please pre-process your dataset using `axolotl preprocess path/to/config.yml`.

Downloading (incomplete total...): 0.00B [00:00, ?B/s]

Fetching 0 files: 0it [00:00, ?it/s]
Fetching 0 files: 0it [00:00, ?it/s]

Download complete: : 0.00B [00:00, ?B/s]              
Download complete: : 0.00B [00:02, ?B/s]
[2026-03-23 11:12:21,343] [INFO] [axolotl.utils.data.wrappers.get_dataset_wrapper:87] [PID:14407] Loading dataset: psychopenguin/indian_legal_dataset_qna with base_type: alpaca and prompt_style: None
[2026-03-23 11:12:21,962] [INFO] [axolotl.utils.data.utils._log_dataset_stats:212] [PID:14407] min_input_len: 25
[2026-03-23 11:12:21,963] [INFO] [axolotl.utils.data.utils._log_dataset_stats:213] [PID:14407] max_input_len: 2092
[2026-03-23 11:12:23,140] [INFO] [axolotl.utils.data.utils._drop_outside_range:306] [PID:14407] Dropped 3 sequences outside valid range ([None, 2048])

Saving the dataset (0/120 shards):   0%|                                                                                  | 0/37045 [00:00<?, ? examples/s]
Saving the dataset (0/120 shards):   1%|▌                                                                       | 309/37045 [00:03<06:15, 97.72 examples/s]
Saving the dataset (1/120 shards):   1%|▌                                                                       | 309/37045 [00:03<06:15, 97.72 examples/s]
Saving the dataset (2/120 shards):   3%|█▊                                                                      | 927/37045 [00:03<06:09, 97.72 examples/s]
Saving the dataset (3/120 shards):   3%|█▊                                                                      | 927/37045 [00:03<06:09, 97.72 examples/s]
Saving the dataset (4/120 shards):   4%|██▉                                                                    | 1545/37045 [00:03<06:03, 97.72 examples/s]
Saving the dataset (5/120 shards):   4%|██▉                                                                    | 1545/37045 [00:03<06:03, 97.72 examples/s]
Saving the dataset (6/120 shards):   5%|███▌                                                                   | 1854/37045 [00:03<06:00, 97.72 examples/s]
Saving the dataset (7/120 shards):   7%|████▋                                                                  | 2472/37045 [00:03<05:53, 97.72 examples/s]
Saving the dataset (8/120 shards):   7%|████▋                                                                  | 2472/37045 [00:03<05:53, 97.72 examples/s]
Saving the dataset (9/120 shards):   8%|█████▎                                                                 | 2781/37045 [00:03<05:50, 97.72 examples/s]
Saving the dataset (10/120 shards):   8%|█████▊                                                                | 3090/37045 [00:03<05:47, 97.72 examples/s]
Saving the dataset (11/120 shards):   9%|██████▍                                                               | 3399/37045 [00:03<05:44, 97.72 examples/s]
Saving the dataset (12/120 shards):  10%|███████                                                               | 3708/37045 [00:03<05:41, 97.72 examples/s]
Saving the dataset (13/120 shards):  11%|███████▌                                                              | 4017/37045 [00:03<05:37, 97.72 examples/s]
Saving the dataset (14/120 shards):  12%|████████▏                                                             | 4326/37045 [00:03<05:34, 97.72 examples/s]
Saving the dataset (15/120 shards):  13%|████████▊                                                             | 4635/37045 [00:03<05:31, 97.72 examples/s]
Saving the dataset (16/120 shards):  13%|█████████▎                                                            | 4944/37045 [00:03<05:28, 97.72 examples/s]
Saving the dataset (17/120 shards):  14%|█████████▉                                                            | 5253/37045 [00:03<05:25, 97.72 examples/s]
Saving the dataset (18/120 shards):  15%|██████████▌                                                           | 5562/37045 [00:03<05:22, 97.72 examples/s]
Saving the dataset (19/120 shards):  16%|███████████                                                           | 5871/37045 [00:03<05:19, 97.72 examples/s]
Saving the dataset (20/120 shards):  17%|███████████▋                                                          | 6180/37045 [00:03<05:15, 97.72 examples/s]
Saving the dataset (21/120 shards):  18%|████████████▎                                                         | 6489/37045 [00:03<05:12, 97.72 examples/s]
Saving the dataset (22/120 shards):  18%|████████████▊                                                         | 6798/37045 [00:03<05:09, 97.72 examples/s]
Saving the dataset (23/120 shards):  19%|█████████████▍                                                        | 7107/37045 [00:03<05:06, 97.72 examples/s]
Saving the dataset (24/120 shards):  20%|██████████████                                                        | 7416/37045 [00:03<05:03, 97.72 examples/s]
Saving the dataset (25/120 shards):  21%|██████████████▌                                                       | 7725/37045 [00:03<05:00, 97.72 examples/s]
Saving the dataset (26/120 shards):  22%|███████████████▏                                                      | 8034/37045 [00:03<04:56, 97.72 examples/s]
Saving the dataset (27/120 shards):  23%|███████████████▊                                                      | 8343/37045 [00:03<04:53, 97.72 examples/s]
Saving the dataset (28/120 shards):  23%|████████████████▎                                                     | 8652/37045 [00:03<04:50, 97.72 examples/s]
Saving the dataset (29/120 shards):  24%|████████████████▉                                                     | 8961/37045 [00:03<04:47, 97.72 examples/s]
Saving the dataset (30/120 shards):  25%|█████████████████▌                                                    | 9270/37045 [00:03<04:44, 97.72 examples/s]
Saving the dataset (31/120 shards):  26%|██████████████████                                                    | 9579/37045 [00:03<04:41, 97.72 examples/s]
Saving the dataset (32/120 shards):  27%|██████████████████▋                                                   | 9888/37045 [00:03<04:37, 97.72 examples/s]
Saving the dataset (33/120 shards):  28%|██████████████████▉                                                  | 10197/37045 [00:03<04:34, 97.72 examples/s]
Saving the dataset (34/120 shards):  28%|███████████████████▌                                                 | 10506/37045 [00:03<04:31, 97.72 examples/s]
Saving the dataset (35/120 shards):  29%|████████████████████▏                                                | 10815/37045 [00:03<04:28, 97.72 examples/s]
Saving the dataset (36/120 shards):  30%|████████████████████▋                                                | 11124/37045 [00:03<04:25, 97.72 examples/s]
Saving the dataset (37/120 shards):  31%|█████████████████████▎                                               | 11433/37045 [00:03<04:22, 97.72 examples/s]
Saving the dataset (38/120 shards):  32%|█████████████████████▊                                               | 11742/37045 [00:03<04:18, 97.72 examples/s]
Saving the dataset (39/120 shards):  33%|███████████████████████                                              | 12360/37045 [00:03<04:12, 97.72 examples/s]
Saving the dataset (40/120 shards):  33%|███████████████████████                                              | 12360/37045 [00:03<04:12, 97.72 examples/s]
Saving the dataset (41/120 shards):  34%|███████████████████████▌                                             | 12669/37045 [00:03<04:09, 97.72 examples/s]
Saving the dataset (42/120 shards):  35%|████████████████████████▏                                            | 12978/37045 [00:03<04:06, 97.72 examples/s]
Saving the dataset (43/120 shards):  36%|████████████████████████▋                                            | 13287/37045 [00:03<04:03, 97.72 examples/s]
Saving the dataset (44/120 shards):  37%|█████████████████████████▎                                           | 13596/37045 [00:03<03:59, 97.72 examples/s]
Saving the dataset (45/120 shards):  38%|█████████████████████████▉                                           | 13905/37045 [00:03<03:56, 97.72 examples/s]
Saving the dataset (46/120 shards):  38%|██████████████████████████▍                                          | 14214/37045 [00:03<03:53, 97.72 examples/s]
Saving the dataset (47/120 shards):  39%|███████████████████████████                                          | 14523/37045 [00:03<03:50, 97.72 examples/s]
Saving the dataset (48/120 shards):  40%|███████████████████████████▋                                         | 14832/37045 [00:03<03:47, 97.72 examples/s]
Saving the dataset (49/120 shards):  41%|████████████████████████████▏                                        | 15141/37045 [00:03<03:44, 97.72 examples/s]
Saving the dataset (50/120 shards):  42%|████████████████████████████▊                                        | 15450/37045 [00:03<03:40, 97.72 examples/s]
Saving the dataset (51/120 shards):  43%|█████████████████████████████▎                                       | 15759/37045 [00:03<03:37, 97.72 examples/s]
Saving the dataset (52/120 shards):  43%|█████████████████████████████▉                                       | 16068/37045 [00:03<03:34, 97.72 examples/s]
Saving the dataset (53/120 shards):  44%|██████████████████████████████▌                                      | 16377/37045 [00:03<03:31, 97.72 examples/s]
Saving the dataset (54/120 shards):  45%|███████████████████████████████                                      | 16686/37045 [00:03<03:28, 97.72 examples/s]
Saving the dataset (55/120 shards):  47%|████████████████████████████████▏                                    | 17304/37045 [00:03<03:22, 97.72 examples/s]
Saving the dataset (56/120 shards):  47%|████████████████████████████████▏                                    | 17304/37045 [00:03<03:22, 97.72 examples/s]
Saving the dataset (57/120 shards):  48%|████████████████████████████████▊                                    | 17613/37045 [00:03<03:18, 97.72 examples/s]
Saving the dataset (58/120 shards):  48%|█████████████████████████████████▍                                   | 17922/37045 [00:03<03:15, 97.72 examples/s]
Saving the dataset (59/120 shards):  49%|█████████████████████████████████▉                                   | 18231/37045 [00:03<03:12, 97.72 examples/s]
Saving the dataset (60/120 shards):  50%|██████████████████████████████████▌                                  | 18540/37045 [00:03<03:09, 97.72 examples/s]
Saving the dataset (61/120 shards):  51%|███████████████████████████████████                                  | 18849/37045 [00:03<03:06, 97.72 examples/s]
Saving the dataset (62/120 shards):  52%|███████████████████████████████████▋                                 | 19158/37045 [00:03<03:03, 97.72 examples/s]
Saving the dataset (63/120 shards):  53%|████████████████████████████████████▎                                | 19467/37045 [00:03<02:59, 97.72 examples/s]
Saving the dataset (64/120 shards):  53%|████████████████████████████████████▊                                | 19776/37045 [00:03<02:56, 97.72 examples/s]
Saving the dataset (65/120 shards):  54%|█████████████████████████████████████▍                               | 20085/37045 [00:03<02:53, 97.72 examples/s]
Saving the dataset (66/120 shards):  55%|█████████████████████████████████████▉                               | 20394/37045 [00:03<02:50, 97.72 examples/s]
Saving the dataset (67/120 shards):  56%|██████████████████████████████████████▌                              | 20703/37045 [00:03<02:47, 97.72 examples/s]
Saving the dataset (68/120 shards):  57%|███████████████████████████████████████▏                             | 21012/37045 [00:03<02:44, 97.72 examples/s]
Saving the dataset (69/120 shards):  58%|███████████████████████████████████████▋                             | 21321/37045 [00:03<02:40, 97.72 examples/s]
Saving the dataset (70/120 shards):  58%|████████████████████████████████████████▎                            | 21630/37045 [00:03<02:37, 97.72 examples/s]
Saving the dataset (71/120 shards):  59%|████████████████████████████████████████▊                            | 21939/37045 [00:03<02:34, 97.72 examples/s]
Saving the dataset (72/120 shards):  60%|█████████████████████████████████████████▍                           | 22248/37045 [00:03<02:31, 97.72 examples/s]
Saving the dataset (73/120 shards):  61%|██████████████████████████████████████████                           | 22557/37045 [00:03<02:28, 97.72 examples/s]
Saving the dataset (74/120 shards):  62%|██████████████████████████████████████████▌                          | 22866/37045 [00:03<02:25, 97.72 examples/s]
Saving the dataset (75/120 shards):  63%|███████████████████████████████████████████▏                         | 23175/37045 [00:03<02:21, 97.72 examples/s]
Saving the dataset (76/120 shards):  63%|███████████████████████████████████████████▋                         | 23484/37045 [00:03<02:18, 97.72 examples/s]
Saving the dataset (77/120 shards):  64%|████████████████████████████████████████████▎                        | 23793/37045 [00:03<02:15, 97.72 examples/s]
Saving the dataset (78/120 shards):  65%|████████████████████████████████████████████▉                        | 24102/37045 [00:03<02:12, 97.72 examples/s]
Saving the dataset (79/120 shards):  66%|█████████████████████████████████████████████▍                       | 24411/37045 [00:03<02:09, 97.72 examples/s]
Saving the dataset (80/120 shards):  67%|██████████████████████████████████████████████                       | 24720/37045 [00:03<02:06, 97.72 examples/s]
Saving the dataset (81/120 shards):  68%|██████████████████████████████████████████████▌                      | 25029/37045 [00:03<02:02, 97.72 examples/s]
Saving the dataset (82/120 shards):  68%|███████████████████████████████████████████████▏                     | 25338/37045 [00:03<01:59, 97.72 examples/s]
Saving the dataset (83/120 shards):  69%|███████████████████████████████████████████████▊                     | 25647/37045 [00:03<01:56, 97.72 examples/s]
Saving the dataset (84/120 shards):  70%|████████████████████████████████████████████████▎                    | 25956/37045 [00:03<01:53, 97.72 examples/s]
Saving the dataset (85/120 shards):  71%|████████████████████████████████████████████████▉                    | 26265/37045 [00:03<01:50, 97.72 examples/s]
Saving the dataset (86/120 shards):  72%|█████████████████████████████████████████████████▍                   | 26573/37045 [00:03<01:47, 97.72 examples/s]
Saving the dataset (87/120 shards):  73%|██████████████████████████████████████████████████                   | 26881/37045 [00:03<01:44, 97.72 examples/s]
Saving the dataset (88/120 shards):  73%|██████████████████████████████████████████████████▋                  | 27189/37045 [00:03<01:40, 97.72 examples/s]
Saving the dataset (89/120 shards):  74%|███████████████████████████████████████████████████▏                 | 27497/37045 [00:03<01:37, 97.72 examples/s]
Saving the dataset (90/120 shards):  75%|███████████████████████████████████████████████████▊                 | 27805/37045 [00:03<01:34, 97.72 examples/s]
Saving the dataset (91/120 shards):  76%|████████████████████████████████████████████████████▎                | 28113/37045 [00:03<01:31, 97.72 examples/s]
Saving the dataset (92/120 shards):  77%|████████████████████████████████████████████████████▉                | 28421/37045 [00:03<01:28, 97.72 examples/s]
Saving the dataset (93/120 shards):  78%|█████████████████████████████████████████████████████▌               | 28729/37045 [00:03<01:25, 97.72 examples/s]
Saving the dataset (94/120 shards):  78%|██████████████████████████████████████████████████████               | 29037/37045 [00:03<01:21, 97.72 examples/s]
Saving the dataset (95/120 shards):  79%|██████████████████████████████████████████████████████▋              | 29345/37045 [00:03<01:18, 97.72 examples/s]
Saving the dataset (96/120 shards):  80%|███████████████████████████████████████████████████████▏             | 29653/37045 [00:03<01:15, 97.72 examples/s]
Saving the dataset (97/120 shards):  81%|███████████████████████████████████████████████████████▊             | 29961/37045 [00:03<01:12, 97.72 examples/s]
Saving the dataset (98/120 shards):  82%|████████████████████████████████████████████████████████▍            | 30269/37045 [00:03<01:09, 97.72 examples/s]
Saving the dataset (99/120 shards):  83%|████████████████████████████████████████████████████████▉            | 30577/37045 [00:03<01:06, 97.72 examples/s]
Saving the dataset (100/120 shards):  83%|████████████████████████████████████████████████████████▋           | 30885/37045 [00:03<01:03, 97.72 examples/s]
Saving the dataset (100/120 shards):  84%|██████████████████████████████████████████████████████▋          | 31193/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (101/120 shards):  85%|███████████████████████████████████████████████████████▎         | 31501/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (102/120 shards):  85%|███████████████████████████████████████████████████████▎         | 31501/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (103/120 shards):  86%|███████████████████████████████████████████████████████▊         | 31809/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (104/120 shards):  87%|████████████████████████████████████████████████████████▎        | 32117/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (105/120 shards):  88%|████████████████████████████████████████████████████████▉        | 32425/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (106/120 shards):  88%|█████████████████████████████████████████████████████████▍       | 32733/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (107/120 shards):  89%|█████████████████████████████████████████████████████████▉       | 33041/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (108/120 shards):  90%|██████████████████████████████████████████████████████████▌      | 33349/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (109/120 shards):  91%|███████████████████████████████████████████████████████████      | 33657/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (110/120 shards):  92%|███████████████████████████████████████████████████████████▌     | 33965/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (111/120 shards):  93%|████████████████████████████████████████████████████████████▋    | 34581/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (112/120 shards):  93%|████████████████████████████████████████████████████████████▋    | 34581/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (113/120 shards):  94%|█████████████████████████████████████████████████████████████▏   | 34889/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (114/120 shards):  95%|█████████████████████████████████████████████████████████████▊   | 35197/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (115/120 shards):  96%|██████████████████████████████████████████████████████████████▎  | 35505/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (116/120 shards):  97%|██████████████████████████████████████████████████████████████▊  | 35813/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (117/120 shards):  98%|███████████████████████████████████████████████████████████████▍ | 36121/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (118/120 shards):  98%|███████████████████████████████████████████████████████████████▉ | 36429/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (119/120 shards): 100%|█████████████████████████████████████████████████████████████████| 37045/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (120/120 shards): 100%|█████████████████████████████████████████████████████████████████| 37045/37045 [00:03<00:00, 13440.47 examples/s]
Saving the dataset (120/120 shards): 100%|█████████████████████████████████████████████████████████████████| 37045/37045 [00:03<00:00, 10947.38 examples/s]
[2026-03-23 11:12:30,125] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:14407] total_num_tokens: 192_020
[2026-03-23 11:12:30,167] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:14407] `total_supervised_tokens: 99_050`
[2026-03-23 11:12:33,261] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.1099295616149902
[2026-03-23 11:12:34,468] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2062711715698242
[2026-03-23 11:12:35,975] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.5068182945251465
[2026-03-23 11:12:37,195] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2192935943603516
[2026-03-23 11:12:37,260] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]
[2026-03-23 11:12:37,260] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:14407] data_loader_len: 24
[2026-03-23 11:12:37,261] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:14407] sample_packing_eff_est across ranks: [0.9766642252604166]
[2026-03-23 11:12:37,261] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:14407] sample_packing_eff_est: None
[2026-03-23 11:12:37,261] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:14407] total_num_steps: 120
[2026-03-23 11:12:37,454] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:420] [PID:14407] total_num_tokens: 3_622_948
[2026-03-23 11:12:38,277] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:438] [PID:14407] `total_supervised_tokens: 1_849_159`
[2026-03-23 11:12:42,220] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2442567348480225
[2026-03-23 11:12:43,434] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2132644653320312
[2026-03-23 11:12:44,967] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.5310237407684326
[2026-03-23 11:12:46,534] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.565962791442871
[2026-03-23 11:12:46,534] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [443]
[2026-03-23 11:12:46,535] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:495] [PID:14407] data_loader_len: 443
[2026-03-23 11:12:46,535] [INFO] [axolotl.utils.trainer.calc_sample_packing_eff_est:504] [PID:14407] sample_packing_eff_est across ranks: [0.9983169176777652]
[2026-03-23 11:12:46,536] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:516] [PID:14407] sample_packing_eff_est: 1.0
[2026-03-23 11:12:46,536] [DEBUG] [axolotl.utils.trainer.calculate_total_num_steps:521] [PID:14407] total_num_steps: 2215
[2026-03-23 11:12:46,542] [INFO] [axolotl.utils.data.sft._prepare_standard_dataset:121] [PID:14407] Maximum number of steps set at 2215
[2026-03-23 11:12:46,648] [DEBUG] [axolotl.train.setup_model_and_tokenizer:70] [PID:14407] loading tokenizer... meta-llama/Llama-3.2-3B-Instruct
[2026-03-23 11:12:49,877] [WARNING] [axolotl.loaders.tokenizer.load_tokenizer:227] [PID:14407] Tokenizer does not have a pad_token, falling back to eos_token: <|eot_id|>
[2026-03-23 11:12:49,878] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:307] [PID:14407] EOS: 128009 / <|eot_id|>
[2026-03-23 11:12:49,878] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:308] [PID:14407] BOS: 128000 / <|begin_of_text|>
[2026-03-23 11:12:49,878] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:309] [PID:14407] PAD: 128009 / <|eot_id|>
[2026-03-23 11:12:49,879] [DEBUG] [axolotl.loaders.tokenizer.load_tokenizer:310] [PID:14407] UNK: None / None
[2026-03-23 11:12:49,879] [DEBUG] [axolotl.train.setup_model_and_tokenizer:81] [PID:14407] Loading model
[2026-03-23 11:12:50,154] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_evaluation_loop:91] [PID:14407] Patched Trainer.evaluation_loop with nanmean loss calculation
[2026-03-23 11:12:50,157] [DEBUG] [axolotl.monkeypatch.transformers.trainer_loss_calc.patch_maybe_log_save_evaluate:142] [PID:14407] Patched Trainer._maybe_log_save_evaluate with nanmean loss calculation
[2026-03-23 11:12:50,159] [INFO] [axolotl.loaders.patch_manager._apply_multipack_patches:402] [PID:14407] Applying multipack dataloader patch for sample packing...
[2026-03-23 11:12:50,293] [INFO] [axolotl.monkeypatch.llama_attn_hijack_flash.patch_fa_llama_cross_entropy:69] [PID:14407] patching transformers.loss.loss_utils.fixed_cross_entropy with flash_attn.ops.triton.cross_entropy

Loading weights:   0%|                                                                                                             | 0/254 [00:00<?, ?it/s]
Loading weights: 100%|█████████████████████████████████████████████████████████████████████████████████████████████████| 254/254 [00:00<00:00, 3931.93it/s]
[2026-03-23 11:12:52,543] [INFO] [axolotl.loaders.model._configure_embedding_dtypes:361] [PID:14407] Converting modules to torch.bfloat16
[2026-03-23 11:12:53,646] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:14407] Memory usage after model load 0.000GB ()
[2026-03-23 11:12:53,647] [INFO] [axolotl.loaders.adapter.load_lora:81] [PID:14407] found linear modules: ['down_proj', 'gate_proj', 'k_proj', 'o_proj', 'q_proj', 'up_proj', 'v_proj']
trainable params: 24,313,856 || all params: 3,237,063,680 || trainable%: 0.7511
[2026-03-23 11:12:54,213] [DEBUG] [axolotl.loaders.model.log_gpu_memory_usage:127] [PID:14407] after adapters 0.000GB ()
[2026-03-23 11:13:02,300] [INFO] [axolotl.train.save_initial_configs:413] [PID:14407] Pre-saving adapter config to ./final_model...
[2026-03-23 11:13:02,301] [INFO] [axolotl.train.save_initial_configs:417] [PID:14407] Pre-saving tokenizer to ./final_model...
[2026-03-23 11:13:02,552] [INFO] [axolotl.train.save_initial_configs:422] [PID:14407] Pre-saving model config to ./final_model...
[2026-03-23 11:13:02,557] [INFO] [axolotl.train.execute_training:218] [PID:14407] Starting trainer...
[2026-03-23 11:13:06,825] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3507282733917236
[2026-03-23 11:13:08,457] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6307873725891113
[2026-03-23 11:13:09,836] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3770909309387207
[2026-03-23 11:13:11,528] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6911890506744385
[2026-03-23 11:13:11,529] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [443]
wandb: [wandb.login()] Loaded credentials for https://api.wandb.ai from /root/.netrc.
wandb: Currently logged in as: psychopenguin0001 (psychopenguin0001-none) to https://api.wandb.ai. Use `wandb login --relogin` to force relogin
wandb: ⢿ setting up run fuk08iyi (0.0s)

m
wandb: ⣻ setting up run fuk08iyi (0.0s)

m
wandb: ⣽ setting up run fuk08iyi (0.0s)

m
wandb: ⣾ setting up run fuk08iyi (0.0s)

m
wandb: ⣷ setting up run fuk08iyi (0.0s)

m
wandb: Tracking run with wandb version 0.25.1
wandb: Run data is saved locally in /workspace/axolotl/sssssssssssssssssssssssssss/llama/wandb/run-20260323_111312-fuk08iyi
wandb: Run `wandb offline` to turn off syncing.
wandb: Syncing run legal-lm
wandb: ⭐️ View project at https://wandb.ai/psychopenguin0001-none/major_project
wandb: 🚀 View run at https://wandb.ai/psychopenguin0001-none/major_project/runs/fuk08iyi
wandb: WARNING Saving files without folders. If you want to preserve subdirectories pass base_path to wandb.save, i.e. wandb.save("/mnt/folder/file.h5", base_path="/mnt")
wandb: WARNING Symlinked 1 file into the W&B run directory; call wandb.save again to sync new files.
[2026-03-23 11:13:17,350] [INFO] [axolotl.utils.callbacks.on_train_begin:757] [PID:14407] The Axolotl config has been saved to the WandB run under files.

  0%|                                                                                                                             | 0/2215 [00:00<?, ?it/s][2026-03-23 11:13:17,359] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:13:20,950] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.611499309539795
[2026-03-23 11:13:22,569] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.618166446685791
[2026-03-23 11:13:23,925] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3555819988250732
[2026-03-23 11:13:25,734] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.808323621749878
[2026-03-23 11:13:25,735] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:06,  3.28it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.18it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.86it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:11,  1.72it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:11,  1.64it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.59it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:10,  1.56it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.54it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:09,  1.52it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.51it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:08,  1.50it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.49it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.48it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:06,  1.47it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:10<00:05,  1.47it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.48it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:04,  1.48it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:12<00:03,  1.49it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.49it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:13<00:02,  1.49it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:14<00:01,  1.49it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.49it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:15<00:00,  1.66it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.841', 'eval_runtime': '19.78', 'eval_samples_per_second': '93.68', 'eval_steps_per_second': '23.46', 'eval_ppl': '6.3', 'memory/max_active (GiB)': '12.05', 'memory/max_allocated (GiB)': '12.05', 'memory/device_reserved (GiB)': '13.32', 'epoch': 0}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:15<00:00,  1.66it/s]
  0%|                                                                                                                             | 0/2215 [00:28<?, ?it/s]

                                                                                                                                                           
  0%|                                                                                                                  | 1/2215 [00:32<19:53:03, 32.33s/it]
  0%|                                                                                                                   | 2/2215 [00:34<8:59:55, 14.64s/it]
  0%|▏                                                                                                                  | 3/2215 [00:36<5:31:03,  8.98s/it]
  0%|▏                                                                                                                  | 4/2215 [00:39<3:53:15,  6.33s/it]
  0%|▎                                                                                                                  | 5/2215 [00:41<2:58:46,  4.85s/it]
  0%|▎                                                                                                                  | 6/2215 [00:43<2:25:56,  3.96s/it]
  0%|▎                                                                                                                  | 7/2215 [00:45<2:05:13,  3.40s/it]
  0%|▍                                                                                                                  | 8/2215 [00:48<1:51:50,  3.04s/it]
  0%|▍                                                                                                                  | 9/2215 [00:50<1:42:40,  2.79s/it]
  0%|▌                                                                                                                 | 10/2215 [00:52<1:37:01,  2.64s/it]
                                                                                                                                                           
{'loss': '1.848', 'grad_norm': '1.241', 'learning_rate': '2.727e-05', 'ppl': '6.347', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1719', 'tokens/total': 81920, 'tokens/trainable': 39722, 'epoch': '0.02257'}

  0%|▌                                                                                                                 | 10/2215 [00:52<1:37:01,  2.64s/it]
  0%|▌                                                                                                                 | 11/2215 [00:54<1:32:30,  2.52s/it]
  1%|▌                                                                                                                 | 12/2215 [00:57<1:29:18,  2.43s/it]
  1%|▋                                                                                                                 | 13/2215 [00:59<1:27:07,  2.37s/it]
  1%|▋                                                                                                                 | 14/2215 [01:01<1:25:33,  2.33s/it]
  1%|▊                                                                                                                 | 15/2215 [01:03<1:24:34,  2.31s/it]
  1%|▊                                                                                                                 | 16/2215 [01:06<1:23:47,  2.29s/it]
  1%|▊                                                                                                                 | 17/2215 [01:08<1:23:23,  2.28s/it]
  1%|▉                                                                                                                 | 18/2215 [01:10<1:23:11,  2.27s/it]
  1%|▉                                                                                                                 | 19/2215 [01:12<1:22:54,  2.27s/it]
  1%|█                                                                                                                 | 20/2215 [01:15<1:22:34,  2.26s/it]
                                                                                                                                                           
{'loss': '1.693', 'grad_norm': '0.6843', 'learning_rate': '5.758e-05', 'ppl': '5.435', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1804', 'tokens/total': 163840, 'tokens/trainable': 80676, 'epoch': '0.04515'}

  1%|█                                                                                                                 | 20/2215 [01:15<1:22:34,  2.26s/it]
  1%|█                                                                                                                 | 21/2215 [01:17<1:22:30,  2.26s/it]
  1%|█▏                                                                                                                | 22/2215 [01:19<1:22:31,  2.26s/it]
  1%|█▏                                                                                                                | 23/2215 [01:21<1:22:21,  2.25s/it]
  1%|█▏                                                                                                                | 24/2215 [01:24<1:22:06,  2.25s/it]
  1%|█▎                                                                                                                | 25/2215 [01:26<1:22:08,  2.25s/it]
  1%|█▎                                                                                                                | 26/2215 [01:28<1:22:20,  2.26s/it]
  1%|█▍                                                                                                                | 27/2215 [01:30<1:22:08,  2.25s/it]
  1%|█▍                                                                                                                | 28/2215 [01:33<1:21:57,  2.25s/it]
  1%|█▍                                                                                                                | 29/2215 [01:35<1:21:54,  2.25s/it]
  1%|█▌                                                                                                                | 30/2215 [01:37<1:22:03,  2.25s/it]
                                                                                                                                                           
{'loss': '1.559', 'grad_norm': '0.4824', 'learning_rate': '8.788e-05', 'ppl': '4.752', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1674', 'tokens/total': 245760, 'tokens/trainable': 120090, 'epoch': '0.06772'}

  1%|█▌                                                                                                                | 30/2215 [01:37<1:22:03,  2.25s/it]
  1%|█▌                                                                                                                | 31/2215 [01:39<1:22:05,  2.26s/it]
  1%|█▋                                                                                                                | 32/2215 [01:42<1:21:52,  2.25s/it]
  1%|█▋                                                                                                                | 33/2215 [01:44<1:21:56,  2.25s/it]
  2%|█▋                                                                                                                | 34/2215 [01:46<1:21:45,  2.25s/it]
  2%|█▊                                                                                                                | 35/2215 [01:48<1:21:43,  2.25s/it]
  2%|█▊                                                                                                                | 36/2215 [01:51<1:21:49,  2.25s/it]
  2%|█▉                                                                                                                | 37/2215 [01:53<1:21:43,  2.25s/it]
  2%|█▉                                                                                                                | 38/2215 [01:55<1:21:37,  2.25s/it]
  2%|██                                                                                                                | 39/2215 [01:57<1:22:51,  2.28s/it]
  2%|██                                                                                                                | 40/2215 [02:00<1:23:06,  2.29s/it]
                                                                                                                                                           
{'loss': '1.554', 'grad_norm': '0.4934', 'learning_rate': '0.0001182', 'ppl': '4.731', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1696', 'tokens/total': 327680, 'tokens/trainable': 161855, 'epoch': '0.09029'}

  2%|██                                                                                                                | 40/2215 [02:00<1:23:06,  2.29s/it]
  2%|██                                                                                                                | 41/2215 [02:02<1:22:45,  2.28s/it]
  2%|██▏                                                                                                               | 42/2215 [02:04<1:22:20,  2.27s/it]
  2%|██▏                                                                                                               | 43/2215 [02:07<1:22:11,  2.27s/it]
  2%|██▎                                                                                                               | 44/2215 [02:09<1:21:52,  2.26s/it]
  2%|██▎                                                                                                               | 45/2215 [02:11<1:21:54,  2.26s/it]
  2%|██▎                                                                                                               | 46/2215 [02:13<1:21:43,  2.26s/it]
  2%|██▍                                                                                                               | 47/2215 [02:16<1:21:46,  2.26s/it]
  2%|██▍                                                                                                               | 48/2215 [02:18<1:21:35,  2.26s/it]
  2%|██▌                                                                                                               | 49/2215 [02:20<1:21:17,  2.25s/it]
  2%|██▌                                                                                                               | 50/2215 [02:22<1:21:11,  2.25s/it]
                                                                                                                                                           
{'loss': '1.5', 'grad_norm': '0.5788', 'learning_rate': '0.0001485', 'ppl': '4.484', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1708', 'tokens/total': 409600, 'tokens/trainable': 202282, 'epoch': '0.1129'}

  2%|██▌                                                                                                               | 50/2215 [02:22<1:21:11,  2.25s/it]
  2%|██▌                                                                                                               | 51/2215 [02:25<1:21:20,  2.26s/it]
  2%|██▋                                                                                                               | 52/2215 [02:27<1:21:15,  2.25s/it]
  2%|██▋                                                                                                               | 53/2215 [02:29<1:21:01,  2.25s/it]
  2%|██▊                                                                                                               | 54/2215 [02:31<1:21:06,  2.25s/it]
  2%|██▊                                                                                                               | 55/2215 [02:34<1:21:11,  2.26s/it]
  3%|██▉                                                                                                               | 56/2215 [02:36<1:21:05,  2.25s/it]
  3%|██▉                                                                                                               | 57/2215 [02:38<1:20:52,  2.25s/it]
  3%|██▉                                                                                                               | 58/2215 [02:40<1:20:53,  2.25s/it]
  3%|███                                                                                                               | 59/2215 [02:43<1:21:02,  2.26s/it]
  3%|███                                                                                                               | 60/2215 [02:45<1:20:51,  2.25s/it]
                                                                                                                                                           
{'loss': '1.468', 'grad_norm': '0.5358', 'learning_rate': '0.0001788', 'ppl': '4.341', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1903', 'tokens/total': 491520, 'tokens/trainable': 244160, 'epoch': '0.1354'}

  3%|███                                                                                                               | 60/2215 [02:45<1:20:51,  2.25s/it]
  3%|███▏                                                                                                              | 61/2215 [02:47<1:20:42,  2.25s/it]
  3%|███▏                                                                                                              | 62/2215 [02:49<1:20:40,  2.25s/it]
  3%|███▏                                                                                                              | 63/2215 [02:52<1:20:32,  2.25s/it]
  3%|███▎                                                                                                              | 64/2215 [02:54<1:20:46,  2.25s/it]
  3%|███▎                                                                                                              | 65/2215 [02:56<1:20:34,  2.25s/it]
  3%|███▍                                                                                                              | 66/2215 [02:58<1:20:33,  2.25s/it]
  3%|███▍                                                                                                              | 67/2215 [03:01<1:20:40,  2.25s/it]
  3%|███▍                                                                                                              | 68/2215 [03:03<1:20:35,  2.25s/it]
  3%|███▌                                                                                                              | 69/2215 [03:05<1:20:50,  2.26s/it]
  3%|███▌                                                                                                              | 70/2215 [03:07<1:20:33,  2.25s/it]
                                                                                                                                                           
{'loss': '1.445', 'grad_norm': '0.6087', 'learning_rate': '0.0002', 'ppl': '4.243', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1781', 'tokens/total': 573440, 'tokens/trainable': 286226, 'epoch': '0.158'}

  3%|███▌                                                                                                              | 70/2215 [03:07<1:20:33,  2.25s/it]
  3%|███▋                                                                                                              | 71/2215 [03:10<1:20:22,  2.25s/it]
  3%|███▋                                                                                                              | 72/2215 [03:12<1:20:13,  2.25s/it]
  3%|███▊                                                                                                              | 73/2215 [03:14<1:20:05,  2.24s/it]
  3%|███▊                                                                                                              | 74/2215 [03:16<1:20:06,  2.25s/it]
  3%|███▊                                                                                                              | 75/2215 [03:19<1:20:17,  2.25s/it]
  3%|███▉                                                                                                              | 76/2215 [03:21<1:20:13,  2.25s/it]
  3%|███▉                                                                                                              | 77/2215 [03:23<1:20:03,  2.25s/it]
  4%|████                                                                                                              | 78/2215 [03:25<1:20:03,  2.25s/it]
  4%|████                                                                                                              | 79/2215 [03:28<1:20:11,  2.25s/it]
  4%|████                                                                                                              | 80/2215 [03:30<1:20:07,  2.25s/it]
                                                                                                                                                           
{'loss': '1.376', 'grad_norm': '0.5068', 'learning_rate': '0.0002', 'ppl': '3.96', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1921', 'tokens/total': 655360, 'tokens/trainable': 329752, 'epoch': '0.1806'}

  4%|████                                                                                                              | 80/2215 [03:30<1:20:07,  2.25s/it]
  4%|████▏                                                                                                             | 81/2215 [03:32<1:19:59,  2.25s/it]
  4%|████▏                                                                                                             | 82/2215 [03:34<1:19:56,  2.25s/it]
  4%|████▎                                                                                                             | 83/2215 [03:37<1:19:54,  2.25s/it]
  4%|████▎                                                                                                             | 84/2215 [03:39<1:19:52,  2.25s/it]
  4%|████▎                                                                                                             | 85/2215 [03:41<1:19:43,  2.25s/it]
  4%|████▍                                                                                                             | 86/2215 [03:43<1:19:43,  2.25s/it]
  4%|████▍                                                                                                             | 87/2215 [03:46<1:19:51,  2.25s/it]
  4%|████▌                                                                                                             | 88/2215 [03:48<1:19:48,  2.25s/it]
  4%|████▌                                                                                                             | 89/2215 [03:50<1:19:55,  2.26s/it]
  4%|████▋                                                                                                             | 90/2215 [03:52<1:19:49,  2.25s/it]
                                                                                                                                                           
{'loss': '1.391', 'grad_norm': '0.5479', 'learning_rate': '0.0001999', 'ppl': '4.021', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1818', 'tokens/total': 737280, 'tokens/trainable': 371370, 'epoch': '0.2032'}

  4%|████▋                                                                                                             | 90/2215 [03:52<1:19:49,  2.25s/it]
  4%|████▋                                                                                                             | 91/2215 [03:55<1:19:37,  2.25s/it]
  4%|████▋                                                                                                             | 92/2215 [03:57<1:19:37,  2.25s/it]
  4%|████▊                                                                                                             | 93/2215 [03:59<1:19:27,  2.25s/it]
  4%|████▊                                                                                                             | 94/2215 [04:01<1:19:27,  2.25s/it]
  4%|████▉                                                                                                             | 95/2215 [04:04<1:19:36,  2.25s/it]
  4%|████▉                                                                                                             | 96/2215 [04:06<1:19:31,  2.25s/it]
  4%|████▉                                                                                                             | 97/2215 [04:08<1:19:26,  2.25s/it]
  4%|█████                                                                                                             | 98/2215 [04:10<1:19:26,  2.25s/it]
  4%|█████                                                                                                             | 99/2215 [04:13<1:19:16,  2.25s/it]
  5%|█████                                                                                                            | 100/2215 [04:15<1:19:16,  2.25s/it]
                                                                                                                                                           
{'loss': '1.36', 'grad_norm': '0.5444', 'learning_rate': '0.0001999', 'ppl': '3.895', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.16', 'tokens/train_per_sec_per_gpu': '1966', 'tokens/total': 819200, 'tokens/trainable': 413131, 'epoch': '0.2257'}

  5%|█████                                                                                                            | 100/2215 [04:15<1:19:16,  2.25s/it][2026-03-23 11:17:32,694] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:17:35,930] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3862929344177246
[2026-03-23 11:17:37,267] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3361964225769043
[2026-03-23 11:17:38,873] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6055877208709717
[2026-03-23 11:17:40,259] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3852617740631104
[2026-03-23 11:17:40,260] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.15it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.358', 'eval_runtime': '17.46', 'eval_samples_per_second': '106.1', 'eval_steps_per_second': '26.58', 'eval_ppl': '3.887', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.16', 'epoch': '0.2257', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]
  5%|█████                                                                                                            | 100/2215 [04:40<1:19:16,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:17:57,735] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-100

  5%|█████▏                                                                                                           | 101/2215 [04:44<6:04:03, 10.33s/it]
  5%|█████▏                                                                                                           | 102/2215 [04:46<4:38:39,  7.91s/it]
  5%|█████▎                                                                                                           | 103/2215 [04:49<3:38:51,  6.22s/it]
  5%|█████▎                                                                                                           | 104/2215 [04:51<2:56:59,  5.03s/it]
  5%|█████▎                                                                                                           | 105/2215 [04:53<2:27:43,  4.20s/it]
  5%|█████▍                                                                                                           | 106/2215 [04:55<2:07:05,  3.62s/it]
  5%|█████▍                                                                                                           | 107/2215 [04:58<1:52:33,  3.20s/it]
  5%|█████▌                                                                                                           | 108/2215 [05:00<1:42:25,  2.92s/it]
  5%|█████▌                                                                                                           | 109/2215 [05:02<1:35:28,  2.72s/it]
  5%|█████▌                                                                                                           | 110/2215 [05:04<1:30:31,  2.58s/it]
                                                                                                                                                           
{'loss': '1.345', 'grad_norm': '0.5373', 'learning_rate': '0.0001998', 'ppl': '3.837', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2011', 'tokens/total': 901120, 'tokens/trainable': 454749, 'epoch': '0.2483'}

  5%|█████▌                                                                                                           | 110/2215 [05:04<1:30:31,  2.58s/it]
  5%|█████▋                                                                                                           | 111/2215 [05:07<1:26:57,  2.48s/it]
  5%|█████▋                                                                                                           | 112/2215 [05:09<1:24:28,  2.41s/it]
  5%|█████▊                                                                                                           | 113/2215 [05:11<1:22:35,  2.36s/it]
  5%|█████▊                                                                                                           | 114/2215 [05:13<1:21:23,  2.32s/it]
  5%|█████▊                                                                                                           | 115/2215 [05:16<1:20:42,  2.31s/it]
  5%|█████▉                                                                                                           | 116/2215 [05:18<1:20:08,  2.29s/it]
  5%|█████▉                                                                                                           | 117/2215 [05:20<1:19:34,  2.28s/it]
  5%|██████                                                                                                           | 118/2215 [05:22<1:19:14,  2.27s/it]
  5%|██████                                                                                                           | 119/2215 [05:25<1:19:08,  2.27s/it]
  5%|██████                                                                                                           | 120/2215 [05:27<1:18:57,  2.26s/it]
                                                                                                                                                           
{'loss': '1.366', 'grad_norm': '0.5419', 'learning_rate': '0.0001997', 'ppl': '3.921', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2254', 'tokens/total': 983040, 'tokens/trainable': 498030, 'epoch': '0.2709'}

  5%|██████                                                                                                           | 120/2215 [05:27<1:18:57,  2.26s/it]
  5%|██████▏                                                                                                          | 121/2215 [05:29<1:18:42,  2.26s/it]
  6%|██████▏                                                                                                          | 122/2215 [05:31<1:18:36,  2.25s/it]
  6%|██████▎                                                                                                          | 123/2215 [05:34<1:18:39,  2.26s/it]
  6%|██████▎                                                                                                          | 124/2215 [05:36<1:18:33,  2.25s/it]
  6%|██████▍                                                                                                          | 125/2215 [05:38<1:18:23,  2.25s/it]
  6%|██████▍                                                                                                          | 126/2215 [05:40<1:18:21,  2.25s/it]
  6%|██████▍                                                                                                          | 127/2215 [05:43<1:18:28,  2.25s/it]
  6%|██████▌                                                                                                          | 128/2215 [05:45<1:18:21,  2.25s/it]
  6%|██████▌                                                                                                          | 129/2215 [05:47<1:18:12,  2.25s/it]
  6%|██████▋                                                                                                          | 130/2215 [05:49<1:18:23,  2.26s/it]
                                                                                                                                                           
{'loss': '1.317', 'grad_norm': '0.5199', 'learning_rate': '0.0001996', 'ppl': '3.732', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2077', 'tokens/total': 1064960, 'tokens/trainable': 540314, 'epoch': '0.2935'}

  6%|██████▋                                                                                                          | 130/2215 [05:49<1:18:23,  2.26s/it]
  6%|██████▋                                                                                                          | 131/2215 [05:52<1:18:11,  2.25s/it]
  6%|██████▋                                                                                                          | 132/2215 [05:54<1:18:06,  2.25s/it]
  6%|██████▊                                                                                                          | 133/2215 [05:56<1:17:58,  2.25s/it]
  6%|██████▊                                                                                                          | 134/2215 [05:58<1:17:57,  2.25s/it]
  6%|██████▉                                                                                                          | 135/2215 [06:01<1:17:51,  2.25s/it]
  6%|██████▉                                                                                                          | 136/2215 [06:03<1:17:56,  2.25s/it]
  6%|██████▉                                                                                                          | 137/2215 [06:05<1:18:04,  2.25s/it]
  6%|███████                                                                                                          | 138/2215 [06:07<1:17:58,  2.25s/it]
  6%|███████                                                                                                          | 139/2215 [06:10<1:17:47,  2.25s/it]
  6%|███████▏                                                                                                         | 140/2215 [06:12<1:17:47,  2.25s/it]
                                                                                                                                                           
{'loss': '1.316', 'grad_norm': '0.519', 'learning_rate': '0.0001994', 'ppl': '3.729', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1895', 'tokens/total': 1146880, 'tokens/trainable': 580488, 'epoch': '0.316'}

  6%|███████▏                                                                                                         | 140/2215 [06:12<1:17:47,  2.25s/it]
  6%|███████▏                                                                                                         | 141/2215 [06:14<1:17:42,  2.25s/it]
  6%|███████▏                                                                                                         | 142/2215 [06:16<1:17:45,  2.25s/it]
  6%|███████▎                                                                                                         | 143/2215 [06:19<1:17:58,  2.26s/it]
  7%|███████▎                                                                                                         | 144/2215 [06:21<1:17:44,  2.25s/it]
  7%|███████▍                                                                                                         | 145/2215 [06:23<1:17:53,  2.26s/it]
  7%|███████▍                                                                                                         | 146/2215 [06:25<1:17:40,  2.25s/it]
  7%|███████▍                                                                                                         | 147/2215 [06:28<1:17:39,  2.25s/it]
  7%|███████▌                                                                                                         | 148/2215 [06:30<1:17:30,  2.25s/it]
  7%|███████▌                                                                                                         | 149/2215 [06:32<1:17:19,  2.25s/it]
  7%|███████▋                                                                                                         | 150/2215 [06:34<1:17:20,  2.25s/it]
                                                                                                                                                           
{'loss': '1.314', 'grad_norm': '0.5859', 'learning_rate': '0.0001993', 'ppl': '3.72', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1922', 'tokens/total': 1228800, 'tokens/trainable': 622023, 'epoch': '0.3386'}

  7%|███████▋                                                                                                         | 150/2215 [06:34<1:17:20,  2.25s/it]
  7%|███████▋                                                                                                         | 151/2215 [06:37<1:17:15,  2.25s/it]
  7%|███████▊                                                                                                         | 152/2215 [06:39<1:17:15,  2.25s/it]
  7%|███████▊                                                                                                         | 153/2215 [06:41<1:17:07,  2.24s/it]
  7%|███████▊                                                                                                         | 154/2215 [06:43<1:17:09,  2.25s/it]
  7%|███████▉                                                                                                         | 155/2215 [06:46<1:17:21,  2.25s/it]
  7%|███████▉                                                                                                         | 156/2215 [06:48<1:17:12,  2.25s/it]
  7%|████████                                                                                                         | 157/2215 [06:50<1:17:02,  2.25s/it]
  7%|████████                                                                                                         | 158/2215 [06:52<1:17:03,  2.25s/it]
  7%|████████                                                                                                         | 159/2215 [06:55<1:17:21,  2.26s/it]
  7%|████████▏                                                                                                        | 160/2215 [06:57<1:17:09,  2.25s/it]
                                                                                                                                                           
{'loss': '1.273', 'grad_norm': '0.5431', 'learning_rate': '0.0001991', 'ppl': '3.57', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1740', 'tokens/total': 1310720, 'tokens/trainable': 664311, 'epoch': '0.3612'}

  7%|████████▏                                                                                                        | 160/2215 [06:57<1:17:09,  2.25s/it]
  7%|████████▏                                                                                                        | 161/2215 [06:59<1:17:00,  2.25s/it]
  7%|████████▎                                                                                                        | 162/2215 [07:01<1:16:57,  2.25s/it]
  7%|████████▎                                                                                                        | 163/2215 [07:04<1:16:53,  2.25s/it]
  7%|████████▎                                                                                                        | 164/2215 [07:06<1:16:51,  2.25s/it]
  7%|████████▍                                                                                                        | 165/2215 [07:08<1:16:43,  2.25s/it]
  7%|████████▍                                                                                                        | 166/2215 [07:10<1:16:45,  2.25s/it]
  8%|████████▌                                                                                                        | 167/2215 [07:13<1:16:40,  2.25s/it]
  8%|████████▌                                                                                                        | 168/2215 [07:15<1:16:59,  2.26s/it]
  8%|████████▌                                                                                                        | 169/2215 [07:17<1:16:49,  2.25s/it]
  8%|████████▋                                                                                                        | 170/2215 [07:19<1:16:47,  2.25s/it]
                                                                                                                                                           
{'loss': '1.302', 'grad_norm': '0.5196', 'learning_rate': '0.0001989', 'ppl': '3.678', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2100', 'tokens/total': 1392640, 'tokens/trainable': 707851, 'epoch': '0.3837'}

  8%|████████▋                                                                                                        | 170/2215 [07:19<1:16:47,  2.25s/it]
  8%|████████▋                                                                                                        | 171/2215 [07:22<1:16:36,  2.25s/it]
  8%|████████▊                                                                                                        | 172/2215 [07:24<1:16:34,  2.25s/it]
  8%|████████▊                                                                                                        | 173/2215 [07:26<1:16:25,  2.25s/it]
  8%|████████▉                                                                                                        | 174/2215 [07:28<1:16:31,  2.25s/it]
  8%|████████▉                                                                                                        | 175/2215 [07:31<1:16:38,  2.25s/it]
  8%|████████▉                                                                                                        | 176/2215 [07:33<1:16:32,  2.25s/it]
  8%|█████████                                                                                                        | 177/2215 [07:35<1:16:22,  2.25s/it]
  8%|█████████                                                                                                        | 178/2215 [07:37<1:16:20,  2.25s/it]
  8%|█████████▏                                                                                                       | 179/2215 [07:40<1:16:11,  2.25s/it]
  8%|█████████▏                                                                                                       | 180/2215 [07:42<1:16:11,  2.25s/it]
                                                                                                                                                           
{'loss': '1.293', 'grad_norm': '0.5744', 'learning_rate': '0.0001986', 'ppl': '3.643', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1759', 'tokens/total': 1474560, 'tokens/trainable': 748646, 'epoch': '0.4063'}

  8%|█████████▏                                                                                                       | 180/2215 [07:42<1:16:11,  2.25s/it]
  8%|█████████▏                                                                                                       | 181/2215 [07:44<1:16:22,  2.25s/it]
  8%|█████████▎                                                                                                       | 182/2215 [07:46<1:16:18,  2.25s/it]
  8%|█████████▎                                                                                                       | 183/2215 [07:49<1:16:07,  2.25s/it]
  8%|█████████▍                                                                                                       | 184/2215 [07:51<1:16:05,  2.25s/it]
  8%|█████████▍                                                                                                       | 185/2215 [07:53<1:16:12,  2.25s/it]
  8%|█████████▍                                                                                                       | 186/2215 [07:55<1:16:11,  2.25s/it]
  8%|█████████▌                                                                                                       | 187/2215 [07:58<1:16:00,  2.25s/it]
  8%|█████████▌                                                                                                       | 188/2215 [08:00<1:16:32,  2.27s/it]
  9%|█████████▋                                                                                                       | 189/2215 [08:02<1:17:10,  2.29s/it]
  9%|█████████▋                                                                                                       | 190/2215 [08:04<1:16:56,  2.28s/it]
                                                                                                                                                           
{'loss': '1.263', 'grad_norm': '0.5836', 'learning_rate': '0.0001984', 'ppl': '3.535', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1658', 'tokens/total': 1556480, 'tokens/trainable': 788615, 'epoch': '0.4289'}

  9%|█████████▋                                                                                                       | 190/2215 [08:04<1:16:56,  2.28s/it]
  9%|█████████▋                                                                                                       | 191/2215 [08:07<1:16:35,  2.27s/it]
  9%|█████████▊                                                                                                       | 192/2215 [08:09<1:16:30,  2.27s/it]
  9%|█████████▊                                                                                                       | 193/2215 [08:11<1:16:13,  2.26s/it]
  9%|█████████▉                                                                                                       | 194/2215 [08:13<1:16:11,  2.26s/it]
  9%|█████████▉                                                                                                       | 195/2215 [08:16<1:15:59,  2.26s/it]
  9%|█████████▉                                                                                                       | 196/2215 [08:18<1:15:59,  2.26s/it]
  9%|██████████                                                                                                       | 197/2215 [08:20<1:15:50,  2.25s/it]
  9%|██████████                                                                                                       | 198/2215 [08:23<1:15:52,  2.26s/it]
  9%|██████████▏                                                                                                      | 199/2215 [08:25<1:15:43,  2.25s/it]
  9%|██████████▏                                                                                                      | 200/2215 [08:27<1:15:47,  2.26s/it]
                                                                                                                                                           
{'loss': '1.294', 'grad_norm': '0.5413', 'learning_rate': '0.0001981', 'ppl': '3.648', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1837', 'tokens/total': 1638400, 'tokens/trainable': 829840, 'epoch': '0.4515'}

  9%|██████████▏                                                                                                      | 200/2215 [08:27<1:15:47,  2.26s/it][2026-03-23 11:21:44,889] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:21:48,317] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.57328462600708
[2026-03-23 11:21:49,984] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.666269302368164
[2026-03-23 11:21:51,451] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4659950733184814
[2026-03-23 11:21:52,820] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.368844985961914
[2026-03-23 11:21:52,821] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.259', 'eval_runtime': '17.55', 'eval_samples_per_second': '105.6', 'eval_steps_per_second': '26.44', 'eval_ppl': '3.523', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '0.4515', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]
  9%|██████████▏                                                                                                      | 200/2215 [08:53<1:15:47,  2.26s/it]

                                                                                                                                                           [2026-03-23 11:22:10,389] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-200

  9%|██████████▎                                                                                                      | 201/2215 [08:57<5:54:34, 10.56s/it]
  9%|██████████▎                                                                                                      | 202/2215 [08:59<4:30:49,  8.07s/it]
  9%|██████████▎                                                                                                      | 203/2215 [09:02<3:32:28,  6.34s/it]
  9%|██████████▍                                                                                                      | 204/2215 [09:04<2:51:15,  5.11s/it]
  9%|██████████▍                                                                                                      | 205/2215 [09:06<2:22:35,  4.26s/it]
  9%|██████████▌                                                                                                      | 206/2215 [09:08<2:02:21,  3.65s/it]
  9%|██████████▌                                                                                                      | 207/2215 [09:11<1:48:21,  3.24s/it]
  9%|██████████▌                                                                                                      | 208/2215 [09:13<1:38:22,  2.94s/it]
  9%|██████████▋                                                                                                      | 209/2215 [09:15<1:31:30,  2.74s/it]
  9%|██████████▋                                                                                                      | 210/2215 [09:17<1:26:32,  2.59s/it]
                                                                                                                                                           
{'loss': '1.271', 'grad_norm': '0.6009', 'learning_rate': '0.0001978', 'ppl': '3.566', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1741', 'tokens/total': 1720320, 'tokens/trainable': 872080, 'epoch': '0.474'}

  9%|██████████▋                                                                                                      | 210/2215 [09:17<1:26:32,  2.59s/it]
 10%|██████████▊                                                                                                      | 211/2215 [09:20<1:23:15,  2.49s/it]
 10%|██████████▊                                                                                                      | 212/2215 [09:22<1:20:45,  2.42s/it]
 10%|██████████▊                                                                                                      | 213/2215 [09:24<1:19:12,  2.37s/it]
 10%|██████████▉                                                                                                      | 214/2215 [09:26<1:17:54,  2.34s/it]
 10%|██████████▉                                                                                                      | 215/2215 [09:29<1:17:02,  2.31s/it]
 10%|███████████                                                                                                      | 216/2215 [09:31<1:16:25,  2.29s/it]
 10%|███████████                                                                                                      | 217/2215 [09:33<1:15:49,  2.28s/it]
 10%|███████████                                                                                                      | 218/2215 [09:35<1:15:30,  2.27s/it]
 10%|███████████▏                                                                                                     | 219/2215 [09:38<1:15:09,  2.26s/it]
 10%|███████████▏                                                                                                     | 220/2215 [09:40<1:15:00,  2.26s/it]
                                                                                                                                                           
{'loss': '1.24', 'grad_norm': '0.5216', 'learning_rate': '0.0001975', 'ppl': '3.456', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1847', 'tokens/total': 1802240, 'tokens/trainable': 914128, 'epoch': '0.4966'}

 10%|███████████▏                                                                                                     | 220/2215 [09:40<1:15:00,  2.26s/it]
 10%|███████████▎                                                                                                     | 221/2215 [09:42<1:15:04,  2.26s/it]
 10%|███████████▎                                                                                                     | 222/2215 [09:44<1:14:56,  2.26s/it]
 10%|███████████▍                                                                                                     | 223/2215 [09:47<1:14:43,  2.25s/it]
 10%|███████████▍                                                                                                     | 224/2215 [09:49<1:14:39,  2.25s/it]
 10%|███████████▍                                                                                                     | 225/2215 [09:51<1:14:47,  2.26s/it]
 10%|███████████▌                                                                                                     | 226/2215 [09:53<1:14:42,  2.25s/it]
 10%|███████████▌                                                                                                     | 227/2215 [09:56<1:14:29,  2.25s/it]
 10%|███████████▋                                                                                                     | 228/2215 [09:58<1:14:27,  2.25s/it]
 10%|███████████▋                                                                                                     | 229/2215 [10:00<1:14:34,  2.25s/it]
 10%|███████████▋                                                                                                     | 230/2215 [10:02<1:14:28,  2.25s/it]
                                                                                                                                                           
{'loss': '1.251', 'grad_norm': '0.5425', 'learning_rate': '0.0001972', 'ppl': '3.496', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1791', 'tokens/total': 1884160, 'tokens/trainable': 955258, 'epoch': '0.5192'}

 10%|███████████▋                                                                                                     | 230/2215 [10:02<1:14:28,  2.25s/it]
 10%|███████████▊                                                                                                     | 231/2215 [10:05<1:14:23,  2.25s/it]
 10%|███████████▊                                                                                                     | 232/2215 [10:07<1:14:22,  2.25s/it]
 11%|███████████▉                                                                                                     | 233/2215 [10:09<1:14:31,  2.26s/it]
 11%|███████████▉                                                                                                     | 234/2215 [10:11<1:14:19,  2.25s/it]
 11%|███████████▉                                                                                                     | 235/2215 [10:14<1:14:10,  2.25s/it]
 11%|████████████                                                                                                     | 236/2215 [10:16<1:14:09,  2.25s/it]
 11%|████████████                                                                                                     | 237/2215 [10:18<1:14:03,  2.25s/it]
 11%|████████████▏                                                                                                    | 238/2215 [10:20<1:14:02,  2.25s/it]
 11%|████████████▏                                                                                                    | 239/2215 [10:23<1:14:15,  2.25s/it]
 11%|████████████▏                                                                                                    | 240/2215 [10:25<1:14:10,  2.25s/it]
                                                                                                                                                           
{'loss': '1.266', 'grad_norm': '0.5743', 'learning_rate': '0.0001968', 'ppl': '3.545', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1641', 'tokens/total': 1966080, 'tokens/trainable': 996665, 'epoch': '0.5418'}

 11%|████████████▏                                                                                                    | 240/2215 [10:25<1:14:10,  2.25s/it]
 11%|████████████▎                                                                                                    | 241/2215 [10:27<1:14:05,  2.25s/it]
 11%|████████████▎                                                                                                    | 242/2215 [10:29<1:14:03,  2.25s/it]
 11%|████████████▍                                                                                                    | 243/2215 [10:32<1:13:51,  2.25s/it]
 11%|████████████▍                                                                                                    | 244/2215 [10:34<1:14:02,  2.25s/it]
 11%|████████████▍                                                                                                    | 245/2215 [10:36<1:13:50,  2.25s/it]
 11%|████████████▌                                                                                                    | 246/2215 [10:38<1:13:49,  2.25s/it]
 11%|████████████▌                                                                                                    | 247/2215 [10:41<1:13:40,  2.25s/it]
 11%|████████████▋                                                                                                    | 248/2215 [10:43<1:13:41,  2.25s/it]
 11%|████████████▋                                                                                                    | 249/2215 [10:45<1:13:49,  2.25s/it]
 11%|████████████▊                                                                                                    | 250/2215 [10:47<1:13:46,  2.25s/it]
                                                                                                                                                           
{'loss': '1.218', 'grad_norm': '0.527', 'learning_rate': '0.0001964', 'ppl': '3.381', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1974', 'tokens/total': 2048000, 'tokens/trainable': 1040223, 'epoch': '0.5643'}

 11%|████████████▊                                                                                                    | 250/2215 [10:47<1:13:46,  2.25s/it]
 11%|████████████▊                                                                                                    | 251/2215 [10:50<1:13:38,  2.25s/it]
 11%|████████████▊                                                                                                    | 252/2215 [10:52<1:13:35,  2.25s/it]
 11%|████████████▉                                                                                                    | 253/2215 [10:54<1:13:26,  2.25s/it]
 11%|████████████▉                                                                                                    | 254/2215 [10:56<1:13:26,  2.25s/it]
 12%|█████████████                                                                                                    | 255/2215 [10:59<1:13:33,  2.25s/it]
 12%|█████████████                                                                                                    | 256/2215 [11:01<1:13:32,  2.25s/it]
 12%|█████████████                                                                                                    | 257/2215 [11:03<1:13:24,  2.25s/it]
 12%|█████████████▏                                                                                                   | 258/2215 [11:05<1:13:22,  2.25s/it]
 12%|█████████████▏                                                                                                   | 259/2215 [11:08<1:13:22,  2.25s/it]
 12%|█████████████▎                                                                                                   | 260/2215 [11:10<1:13:22,  2.25s/it]
                                                                                                                                                           
{'loss': '1.206', 'grad_norm': '0.6172', 'learning_rate': '0.000196', 'ppl': '3.341', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1833', 'tokens/total': 2129920, 'tokens/trainable': 1081467, 'epoch': '0.5869'}

 12%|█████████████▎                                                                                                   | 260/2215 [11:10<1:13:22,  2.25s/it]
 12%|█████████████▎                                                                                                   | 261/2215 [11:12<1:13:15,  2.25s/it]
 12%|█████████████▎                                                                                                   | 262/2215 [11:14<1:13:12,  2.25s/it]
 12%|█████████████▍                                                                                                   | 263/2215 [11:17<1:13:05,  2.25s/it]
 12%|█████████████▍                                                                                                   | 264/2215 [11:19<1:13:04,  2.25s/it]
 12%|█████████████▌                                                                                                   | 265/2215 [11:21<1:13:12,  2.25s/it]
 12%|█████████████▌                                                                                                   | 266/2215 [11:23<1:13:08,  2.25s/it]
 12%|█████████████▌                                                                                                   | 267/2215 [11:26<1:13:00,  2.25s/it]
 12%|█████████████▋                                                                                                   | 268/2215 [11:28<1:12:59,  2.25s/it]
 12%|█████████████▋                                                                                                   | 269/2215 [11:30<1:12:50,  2.25s/it]
 12%|█████████████▊                                                                                                   | 270/2215 [11:32<1:12:49,  2.25s/it]
                                                                                                                                                           
{'loss': '1.238', 'grad_norm': '0.5545', 'learning_rate': '0.0001956', 'ppl': '3.45', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1660', 'tokens/total': 2211840, 'tokens/trainable': 1123853, 'epoch': '0.6095'}

 12%|█████████████▊                                                                                                   | 270/2215 [11:32<1:12:49,  2.25s/it]
 12%|█████████████▊                                                                                                   | 271/2215 [11:35<1:13:00,  2.25s/it]
 12%|█████████████▉                                                                                                   | 272/2215 [11:37<1:12:57,  2.25s/it]
 12%|█████████████▉                                                                                                   | 273/2215 [11:39<1:14:06,  2.29s/it]
 12%|█████████████▉                                                                                                   | 274/2215 [11:41<1:13:35,  2.27s/it]
 12%|██████████████                                                                                                   | 275/2215 [11:44<1:13:20,  2.27s/it]
 12%|██████████████                                                                                                   | 276/2215 [11:46<1:13:17,  2.27s/it]
 13%|██████████████▏                                                                                                  | 277/2215 [11:48<1:13:05,  2.26s/it]
 13%|██████████████▏                                                                                                  | 278/2215 [11:50<1:13:03,  2.26s/it]
 13%|██████████████▏                                                                                                  | 279/2215 [11:53<1:12:52,  2.26s/it]
 13%|██████████████▎                                                                                                  | 280/2215 [11:55<1:12:52,  2.26s/it]
                                                                                                                                                           
{'loss': '1.24', 'grad_norm': '0.5434', 'learning_rate': '0.0001952', 'ppl': '3.456', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1858', 'tokens/total': 2293760, 'tokens/trainable': 1165047, 'epoch': '0.6321'}

 13%|██████████████▎                                                                                                  | 280/2215 [11:55<1:12:52,  2.26s/it]
 13%|██████████████▎                                                                                                  | 281/2215 [11:57<1:12:44,  2.26s/it]
 13%|██████████████▍                                                                                                  | 282/2215 [12:00<1:12:48,  2.26s/it]
 13%|██████████████▍                                                                                                  | 283/2215 [12:02<1:12:40,  2.26s/it]
 13%|██████████████▍                                                                                                  | 284/2215 [12:04<1:12:41,  2.26s/it]
 13%|██████████████▌                                                                                                  | 285/2215 [12:06<1:12:33,  2.26s/it]
 13%|██████████████▌                                                                                                  | 286/2215 [12:09<1:12:34,  2.26s/it]
 13%|██████████████▋                                                                                                  | 287/2215 [12:11<1:12:27,  2.25s/it]
 13%|██████████████▋                                                                                                  | 288/2215 [12:13<1:12:40,  2.26s/it]
 13%|██████████████▋                                                                                                  | 289/2215 [12:15<1:12:31,  2.26s/it]
 13%|██████████████▊                                                                                                  | 290/2215 [12:18<1:12:31,  2.26s/it]
                                                                                                                                                           
{'loss': '1.179', 'grad_norm': '0.5934', 'learning_rate': '0.0001947', 'ppl': '3.252', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1776', 'tokens/total': 2375680, 'tokens/trainable': 1206864, 'epoch': '0.6546'}

 13%|██████████████▊                                                                                                  | 290/2215 [12:18<1:12:31,  2.26s/it]
 13%|██████████████▊                                                                                                  | 291/2215 [12:20<1:12:30,  2.26s/it]
 13%|██████████████▉                                                                                                  | 292/2215 [12:22<1:12:14,  2.25s/it]
 13%|██████████████▉                                                                                                  | 293/2215 [12:24<1:12:10,  2.25s/it]
 13%|██████████████▉                                                                                                  | 294/2215 [12:27<1:12:01,  2.25s/it]
 13%|███████████████                                                                                                  | 295/2215 [12:29<1:12:04,  2.25s/it]
 13%|███████████████                                                                                                  | 296/2215 [12:31<1:11:54,  2.25s/it]
 13%|███████████████▏                                                                                                 | 297/2215 [12:33<1:11:52,  2.25s/it]
 13%|███████████████▏                                                                                                 | 298/2215 [12:36<1:11:57,  2.25s/it]
 13%|███████████████▎                                                                                                 | 299/2215 [12:38<1:11:53,  2.25s/it]
 14%|███████████████▎                                                                                                 | 300/2215 [12:40<1:11:44,  2.25s/it]
                                                                                                                                                           
{'loss': '1.192', 'grad_norm': '0.5871', 'learning_rate': '0.0001943', 'ppl': '3.293', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1835', 'tokens/total': 2457600, 'tokens/trainable': 1248913, 'epoch': '0.6772'}

 14%|███████████████▎                                                                                                 | 300/2215 [12:40<1:11:44,  2.25s/it][2026-03-23 11:25:57,925] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:26:00,878] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4208083152770996
[2026-03-23 11:26:02,271] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.392514705657959
[2026-03-23 11:26:04,004] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7326736450195312
[2026-03-23 11:26:05,442] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.436945915222168
[2026-03-23 11:26:05,443] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.54it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.54it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.54it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.192', 'eval_runtime': '17.27', 'eval_samples_per_second': '107.3', 'eval_steps_per_second': '26.87', 'eval_ppl': '3.293', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '0.6772', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 14%|███████████████▎                                                                                                 | 300/2215 [13:05<1:11:44,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:26:22,753] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-300

 14%|███████████████▎                                                                                                 | 301/2215 [13:10<5:32:24, 10.42s/it]
 14%|███████████████▍                                                                                                 | 302/2215 [13:12<4:14:11,  7.97s/it]
 14%|███████████████▍                                                                                                 | 303/2215 [13:14<3:19:27,  6.26s/it]
 14%|███████████████▌                                                                                                 | 304/2215 [13:16<2:41:02,  5.06s/it]
 14%|███████████████▌                                                                                                 | 305/2215 [13:19<2:14:04,  4.21s/it]
 14%|███████████████▌                                                                                                 | 306/2215 [13:21<1:55:21,  3.63s/it]
 14%|███████████████▋                                                                                                 | 307/2215 [13:23<1:42:07,  3.21s/it]
 14%|███████████████▋                                                                                                 | 308/2215 [13:25<1:32:54,  2.92s/it]
 14%|███████████████▊                                                                                                 | 309/2215 [13:28<1:26:38,  2.73s/it]
 14%|███████████████▊                                                                                                 | 310/2215 [13:30<1:21:58,  2.58s/it]
                                                                                                                                                           
{'loss': '1.21', 'grad_norm': '0.5736', 'learning_rate': '0.0001938', 'ppl': '3.355', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1733', 'tokens/total': 2539520, 'tokens/trainable': 1291567, 'epoch': '0.6998'}

 14%|███████████████▊                                                                                                 | 310/2215 [13:30<1:21:58,  2.58s/it]
 14%|███████████████▊                                                                                                 | 311/2215 [13:32<1:18:42,  2.48s/it]
 14%|███████████████▉                                                                                                 | 312/2215 [13:34<1:16:28,  2.41s/it]
 14%|███████████████▉                                                                                                 | 313/2215 [13:37<1:14:49,  2.36s/it]
 14%|████████████████                                                                                                 | 314/2215 [13:39<1:13:43,  2.33s/it]
 14%|████████████████                                                                                                 | 315/2215 [13:41<1:13:05,  2.31s/it]
 14%|████████████████                                                                                                 | 316/2215 [13:44<1:14:53,  2.37s/it]
 14%|████████████████▏                                                                                                | 317/2215 [13:46<1:13:45,  2.33s/it]
 14%|████████████████▏                                                                                                | 318/2215 [13:48<1:12:47,  2.30s/it]
 14%|████████████████▎                                                                                                | 319/2215 [13:50<1:12:13,  2.29s/it]
 14%|████████████████▎                                                                                                | 320/2215 [13:53<1:11:58,  2.28s/it]
                                                                                                                                                           
{'loss': '1.166', 'grad_norm': '0.6437', 'learning_rate': '0.0001932', 'ppl': '3.21', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1913', 'tokens/total': 2621440, 'tokens/trainable': 1333073, 'epoch': '0.7223'}

 14%|████████████████▎                                                                                                | 320/2215 [13:53<1:11:58,  2.28s/it]
 14%|████████████████▍                                                                                                | 321/2215 [13:55<1:11:41,  2.27s/it]
 15%|████████████████▍                                                                                                | 322/2215 [13:57<1:11:23,  2.26s/it]
 15%|████████████████▍                                                                                                | 323/2215 [13:59<1:11:15,  2.26s/it]
 15%|████████████████▌                                                                                                | 324/2215 [14:02<1:11:00,  2.25s/it]
 15%|████████████████▌                                                                                                | 325/2215 [14:04<1:10:55,  2.25s/it]
 15%|████████████████▋                                                                                                | 326/2215 [14:06<1:10:59,  2.25s/it]
 15%|████████████████▋                                                                                                | 327/2215 [14:08<1:10:55,  2.25s/it]
 15%|████████████████▋                                                                                                | 328/2215 [14:11<1:10:43,  2.25s/it]
 15%|████████████████▊                                                                                                | 329/2215 [14:13<1:10:41,  2.25s/it]
 15%|████████████████▊                                                                                                | 330/2215 [14:15<1:10:56,  2.26s/it]
                                                                                                                                                           
{'loss': '1.223', 'grad_norm': '0.5475', 'learning_rate': '0.0001927', 'ppl': '3.399', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1634', 'tokens/total': 2703360, 'tokens/trainable': 1374592, 'epoch': '0.7449'}

 15%|████████████████▊                                                                                                | 330/2215 [14:15<1:10:56,  2.26s/it]
 15%|████████████████▉                                                                                                | 331/2215 [14:17<1:10:46,  2.25s/it]
 15%|████████████████▉                                                                                                | 332/2215 [14:20<1:10:35,  2.25s/it]
 15%|████████████████▉                                                                                                | 333/2215 [14:22<1:10:37,  2.25s/it]
 15%|█████████████████                                                                                                | 334/2215 [14:24<1:10:28,  2.25s/it]
 15%|█████████████████                                                                                                | 335/2215 [14:26<1:10:27,  2.25s/it]
 15%|█████████████████▏                                                                                               | 336/2215 [14:29<1:10:20,  2.25s/it]
 15%|█████████████████▏                                                                                               | 337/2215 [14:31<1:10:19,  2.25s/it]
 15%|█████████████████▏                                                                                               | 338/2215 [14:33<1:10:28,  2.25s/it]
 15%|█████████████████▎                                                                                               | 339/2215 [14:35<1:10:25,  2.25s/it]
 15%|█████████████████▎                                                                                               | 340/2215 [14:38<1:10:15,  2.25s/it]
                                                                                                                                                           
{'loss': '1.214', 'grad_norm': '0.5675', 'learning_rate': '0.0001921', 'ppl': '3.366', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1704', 'tokens/total': 2785280, 'tokens/trainable': 1416544, 'epoch': '0.7675'}

 15%|█████████████████▎                                                                                               | 340/2215 [14:38<1:10:15,  2.25s/it]
 15%|█████████████████▍                                                                                               | 341/2215 [14:40<1:10:15,  2.25s/it]
 15%|█████████████████▍                                                                                               | 342/2215 [14:42<1:10:07,  2.25s/it]
 15%|█████████████████▍                                                                                               | 343/2215 [14:44<1:10:07,  2.25s/it]
 16%|█████████████████▌                                                                                               | 344/2215 [14:47<1:10:12,  2.25s/it]
 16%|█████████████████▌                                                                                               | 345/2215 [14:49<1:10:14,  2.25s/it]
 16%|█████████████████▋                                                                                               | 346/2215 [14:51<1:10:02,  2.25s/it]
 16%|█████████████████▋                                                                                               | 347/2215 [14:53<1:10:02,  2.25s/it]
 16%|█████████████████▊                                                                                               | 348/2215 [14:56<1:10:08,  2.25s/it]
 16%|█████████████████▊                                                                                               | 349/2215 [14:58<1:10:06,  2.25s/it]
 16%|█████████████████▊                                                                                               | 350/2215 [15:00<1:09:54,  2.25s/it]
                                                                                                                                                           
{'loss': '1.204', 'grad_norm': '0.5699', 'learning_rate': '0.0001916', 'ppl': '3.333', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1988', 'tokens/total': 2867200, 'tokens/trainable': 1457995, 'epoch': '0.7901'}

 16%|█████████████████▊                                                                                               | 350/2215 [15:00<1:09:54,  2.25s/it]
 16%|█████████████████▉                                                                                               | 351/2215 [15:02<1:09:53,  2.25s/it]
 16%|█████████████████▉                                                                                               | 352/2215 [15:05<1:09:43,  2.25s/it]
 16%|██████████████████                                                                                               | 353/2215 [15:07<1:09:43,  2.25s/it]
 16%|██████████████████                                                                                               | 354/2215 [15:09<1:09:50,  2.25s/it]
 16%|██████████████████                                                                                               | 355/2215 [15:11<1:09:47,  2.25s/it]
 16%|██████████████████▏                                                                                              | 356/2215 [15:14<1:09:44,  2.25s/it]
 16%|██████████████████▏                                                                                              | 357/2215 [15:16<1:09:40,  2.25s/it]
 16%|██████████████████▎                                                                                              | 358/2215 [15:18<1:09:30,  2.25s/it]
 16%|██████████████████▎                                                                                              | 359/2215 [15:20<1:10:29,  2.28s/it]
 16%|██████████████████▎                                                                                              | 360/2215 [15:23<1:10:16,  2.27s/it]
                                                                                                                                                           
{'loss': '1.186', 'grad_norm': '0.6212', 'learning_rate': '0.000191', 'ppl': '3.273', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2083', 'tokens/total': 2949120, 'tokens/trainable': 1502512, 'epoch': '0.8126'}

 16%|██████████████████▎                                                                                              | 360/2215 [15:23<1:10:16,  2.27s/it]
 16%|██████████████████▍                                                                                              | 361/2215 [15:25<1:10:10,  2.27s/it]
 16%|██████████████████▍                                                                                              | 362/2215 [15:27<1:09:54,  2.26s/it]
 16%|██████████████████▌                                                                                              | 363/2215 [15:29<1:09:53,  2.26s/it]
 16%|██████████████████▌                                                                                              | 364/2215 [15:32<1:09:41,  2.26s/it]
 16%|██████████████████▌                                                                                              | 365/2215 [15:34<1:09:41,  2.26s/it]
 17%|██████████████████▋                                                                                              | 366/2215 [15:36<1:09:32,  2.26s/it]
 17%|██████████████████▋                                                                                              | 367/2215 [15:38<1:09:34,  2.26s/it]
 17%|██████████████████▊                                                                                              | 368/2215 [15:41<1:09:27,  2.26s/it]
 17%|██████████████████▊                                                                                              | 369/2215 [15:43<1:09:28,  2.26s/it]
 17%|██████████████████▉                                                                                              | 370/2215 [15:45<1:09:20,  2.26s/it]
                                                                                                                                                           
{'loss': '1.164', 'grad_norm': '0.5812', 'learning_rate': '0.0001903', 'ppl': '3.202', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1886', 'tokens/total': 3031040, 'tokens/trainable': 1543437, 'epoch': '0.8352'}

 17%|██████████████████▉                                                                                              | 370/2215 [15:45<1:09:20,  2.26s/it]
 17%|██████████████████▉                                                                                              | 371/2215 [15:47<1:09:24,  2.26s/it]
 17%|██████████████████▉                                                                                              | 372/2215 [15:50<1:09:18,  2.26s/it]
 17%|███████████████████                                                                                              | 373/2215 [15:52<1:09:20,  2.26s/it]
 17%|███████████████████                                                                                              | 374/2215 [15:54<1:09:21,  2.26s/it]
 17%|███████████████████▏                                                                                             | 375/2215 [15:57<1:09:31,  2.27s/it]
 17%|███████████████████▏                                                                                             | 376/2215 [15:59<1:09:23,  2.26s/it]
 17%|███████████████████▏                                                                                             | 377/2215 [16:01<1:09:06,  2.26s/it]
 17%|███████████████████▎                                                                                             | 378/2215 [16:03<1:08:59,  2.25s/it]
 17%|███████████████████▎                                                                                             | 379/2215 [16:06<1:09:03,  2.26s/it]
 17%|███████████████████▍                                                                                             | 380/2215 [16:08<1:08:56,  2.25s/it]
                                                                                                                                                           
{'loss': '1.166', 'grad_norm': '0.5625', 'learning_rate': '0.0001897', 'ppl': '3.208', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1665', 'tokens/total': 3112960, 'tokens/trainable': 1584395, 'epoch': '0.8578'}

 17%|███████████████████▍                                                                                             | 380/2215 [16:08<1:08:56,  2.25s/it]
 17%|███████████████████▍                                                                                             | 381/2215 [16:10<1:08:47,  2.25s/it]
 17%|███████████████████▍                                                                                             | 382/2215 [16:12<1:08:44,  2.25s/it]
 17%|███████████████████▌                                                                                             | 383/2215 [16:15<1:08:48,  2.25s/it]
 17%|███████████████████▌                                                                                             | 384/2215 [16:17<1:08:44,  2.25s/it]
 17%|███████████████████▋                                                                                             | 385/2215 [16:19<1:08:33,  2.25s/it]
 17%|███████████████████▋                                                                                             | 386/2215 [16:21<1:08:32,  2.25s/it]
 17%|███████████████████▋                                                                                             | 387/2215 [16:24<1:08:38,  2.25s/it]
 18%|███████████████████▊                                                                                             | 388/2215 [16:26<1:09:50,  2.29s/it]
 18%|███████████████████▊                                                                                             | 389/2215 [16:28<1:09:29,  2.28s/it]
 18%|███████████████████▉                                                                                             | 390/2215 [16:30<1:09:15,  2.28s/it]
                                                                                                                                                           
{'loss': '1.15', 'grad_norm': '0.586', 'learning_rate': '0.0001891', 'ppl': '3.16', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1824', 'tokens/total': 3194880, 'tokens/trainable': 1626257, 'epoch': '0.8804'}

 18%|███████████████████▉                                                                                             | 390/2215 [16:30<1:09:15,  2.28s/it]
 18%|███████████████████▉                                                                                             | 391/2215 [16:33<1:08:59,  2.27s/it]
 18%|███████████████████▉                                                                                             | 392/2215 [16:35<1:08:54,  2.27s/it]
 18%|████████████████████                                                                                             | 393/2215 [16:37<1:08:41,  2.26s/it]
 18%|████████████████████                                                                                             | 394/2215 [16:40<1:08:43,  2.26s/it]
 18%|████████████████████▏                                                                                            | 395/2215 [16:42<1:08:32,  2.26s/it]
 18%|████████████████████▏                                                                                            | 396/2215 [16:44<1:08:33,  2.26s/it]
 18%|████████████████████▎                                                                                            | 397/2215 [16:46<1:08:26,  2.26s/it]
 18%|████████████████████▎                                                                                            | 398/2215 [16:49<1:08:30,  2.26s/it]
 18%|████████████████████▎                                                                                            | 399/2215 [16:51<1:08:20,  2.26s/it]
 18%|████████████████████▍                                                                                            | 400/2215 [16:53<1:08:16,  2.26s/it]
                                                                                                                                                           
{'loss': '1.138', 'grad_norm': '0.5972', 'learning_rate': '0.0001884', 'ppl': '3.121', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1677', 'tokens/total': 3276800, 'tokens/trainable': 1667994, 'epoch': '0.9029'}

 18%|████████████████████▍                                                                                            | 400/2215 [16:53<1:08:16,  2.26s/it][2026-03-23 11:30:10,915] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:30:13,930] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3255293369293213
[2026-03-23 11:30:15,298] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3665187358856201
[2026-03-23 11:30:17,033] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.734893560409546
[2026-03-23 11:30:18,402] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.367997407913208
[2026-03-23 11:30:18,402] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.53it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.53it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.53it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.54it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.54it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.54it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.54it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:13<00:01,  1.54it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.54it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.54it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.141', 'eval_runtime': '17.38', 'eval_samples_per_second': '106.6', 'eval_steps_per_second': '26.7', 'eval_ppl': '3.129', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '0.9029', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]
 18%|████████████████████▍                                                                                            | 400/2215 [17:18<1:08:16,  2.26s/it]

                                                                                                                                                           [2026-03-23 11:30:35,814] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-400

 18%|████████████████████▍                                                                                            | 401/2215 [17:22<5:12:38, 10.34s/it]
 18%|████████████████████▌                                                                                            | 402/2215 [17:25<3:59:13,  7.92s/it]
 18%|████████████████████▌                                                                                            | 403/2215 [17:27<3:07:45,  6.22s/it]
 18%|████████████████████▌                                                                                            | 404/2215 [17:29<2:31:51,  5.03s/it]
 18%|████████████████████▋                                                                                            | 405/2215 [17:31<2:06:35,  4.20s/it]
 18%|████████████████████▋                                                                                            | 406/2215 [17:34<1:49:01,  3.62s/it]
 18%|████████████████████▊                                                                                            | 407/2215 [17:36<1:36:33,  3.20s/it]
 18%|████████████████████▊                                                                                            | 408/2215 [17:38<1:27:57,  2.92s/it]
 18%|████████████████████▊                                                                                            | 409/2215 [17:40<1:21:48,  2.72s/it]
 19%|████████████████████▉                                                                                            | 410/2215 [17:43<1:17:43,  2.58s/it]
                                                                                                                                                           
{'loss': '1.16', 'grad_norm': '0.5878', 'learning_rate': '0.0001877', 'ppl': '3.191', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1835', 'tokens/total': 3358720, 'tokens/trainable': 1710209, 'epoch': '0.9255'}

 19%|████████████████████▉                                                                                            | 410/2215 [17:43<1:17:43,  2.58s/it]
 19%|████████████████████▉                                                                                            | 411/2215 [17:45<1:14:39,  2.48s/it]
 19%|█████████████████████                                                                                            | 412/2215 [17:47<1:12:37,  2.42s/it]
 19%|█████████████████████                                                                                            | 413/2215 [17:49<1:11:04,  2.37s/it]
 19%|█████████████████████                                                                                            | 414/2215 [17:52<1:09:52,  2.33s/it]
 19%|█████████████████████▏                                                                                           | 415/2215 [17:54<1:10:20,  2.34s/it]
 19%|█████████████████████▏                                                                                           | 416/2215 [17:56<1:10:08,  2.34s/it]
 19%|█████████████████████▎                                                                                           | 417/2215 [17:59<1:09:26,  2.32s/it]
 19%|█████████████████████▎                                                                                           | 418/2215 [18:01<1:08:44,  2.30s/it]
 19%|█████████████████████▍                                                                                           | 419/2215 [18:03<1:08:24,  2.29s/it]
 19%|█████████████████████▍                                                                                           | 420/2215 [18:05<1:08:00,  2.27s/it]
                                                                                                                                                           
{'loss': '1.135', 'grad_norm': '0.5865', 'learning_rate': '0.000187', 'ppl': '3.111', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1754', 'tokens/total': 3440640, 'tokens/trainable': 1752729, 'epoch': '0.9481'}

 19%|█████████████████████▍                                                                                           | 420/2215 [18:05<1:08:00,  2.27s/it]
 19%|█████████████████████▍                                                                                           | 421/2215 [18:08<1:07:55,  2.27s/it]
 19%|█████████████████████▌                                                                                           | 422/2215 [18:10<1:07:39,  2.26s/it]
 19%|█████████████████████▌                                                                                           | 423/2215 [18:12<1:07:36,  2.26s/it]
 19%|█████████████████████▋                                                                                           | 424/2215 [18:14<1:07:27,  2.26s/it]
 19%|█████████████████████▋                                                                                           | 425/2215 [18:17<1:07:25,  2.26s/it]
 19%|█████████████████████▋                                                                                           | 426/2215 [18:19<1:07:18,  2.26s/it]
 19%|█████████████████████▊                                                                                           | 427/2215 [18:21<1:07:03,  2.25s/it]
 19%|█████████████████████▊                                                                                           | 428/2215 [18:23<1:07:02,  2.25s/it]
 19%|█████████████████████▉                                                                                           | 429/2215 [18:26<1:07:07,  2.25s/it]
 19%|█████████████████████▉                                                                                           | 430/2215 [18:28<1:07:06,  2.26s/it]
                                                                                                                                                           
{'loss': '1.191', 'grad_norm': '0.6181', 'learning_rate': '0.0001862', 'ppl': '3.289', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1798', 'tokens/total': 3522560, 'tokens/trainable': 1793818, 'epoch': '0.9707'}

 19%|█████████████████████▉                                                                                           | 430/2215 [18:28<1:07:06,  2.26s/it]
 19%|█████████████████████▉                                                                                           | 431/2215 [18:30<1:06:56,  2.25s/it]
 20%|██████████████████████                                                                                           | 432/2215 [18:32<1:06:52,  2.25s/it]
 20%|██████████████████████                                                                                           | 433/2215 [18:35<1:06:42,  2.25s/it]
 20%|██████████████████████▏                                                                                          | 434/2215 [18:37<1:06:40,  2.25s/it]
 20%|██████████████████████▏                                                                                          | 435/2215 [18:39<1:06:45,  2.25s/it]
 20%|██████████████████████▏                                                                                          | 436/2215 [18:41<1:06:42,  2.25s/it]
 20%|██████████████████████▎                                                                                          | 437/2215 [18:44<1:06:33,  2.25s/it]
 20%|██████████████████████▎                                                                                          | 438/2215 [18:46<1:06:31,  2.25s/it]
 20%|██████████████████████▍                                                                                          | 439/2215 [18:48<1:06:37,  2.25s/it]
 20%|██████████████████████▍                                                                                          | 440/2215 [18:50<1:06:35,  2.25s/it]
                                                                                                                                                           
{'loss': '1.093', 'grad_norm': '0.6034', 'learning_rate': '0.0001855', 'ppl': '2.982', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1927', 'tokens/total': 3604480, 'tokens/trainable': 1836216, 'epoch': '0.9932'}

 20%|██████████████████████▍                                                                                          | 440/2215 [18:50<1:06:35,  2.25s/it]
 20%|██████████████████████▍                                                                                          | 441/2215 [18:53<1:06:40,  2.26s/it]
 20%|██████████████████████▌                                                                                          | 442/2215 [18:55<1:06:35,  2.25s/it]
 20%|██████████████████████▌                                                                                          | 443/2215 [18:57<1:07:04,  2.27s/it]
 20%|██████████████████████▋                                                                                          | 444/2215 [19:01<1:22:48,  2.81s/it]
 20%|██████████████████████▋                                                                                          | 445/2215 [19:03<1:17:51,  2.64s/it]
 20%|██████████████████████▊                                                                                          | 446/2215 [19:06<1:14:38,  2.53s/it]
 20%|██████████████████████▊                                                                                          | 447/2215 [19:08<1:12:20,  2.46s/it]
 20%|██████████████████████▊                                                                                          | 448/2215 [19:10<1:10:31,  2.39s/it]
 20%|██████████████████████▉                                                                                          | 449/2215 [19:13<1:09:21,  2.36s/it]
 20%|██████████████████████▉                                                                                          | 450/2215 [19:15<1:08:25,  2.33s/it]
                                                                                                                                                           
{'loss': '1.035', 'grad_norm': '0.614', 'learning_rate': '0.0001847', 'ppl': '2.814', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1779', 'tokens/total': 3686400, 'tokens/trainable': 1877160, 'epoch': '1.016'}

 20%|██████████████████████▉                                                                                          | 450/2215 [19:15<1:08:25,  2.33s/it]
 20%|███████████████████████                                                                                          | 451/2215 [19:17<1:07:54,  2.31s/it]
 20%|███████████████████████                                                                                          | 452/2215 [19:19<1:07:20,  2.29s/it]
 20%|███████████████████████                                                                                          | 453/2215 [19:22<1:07:04,  2.28s/it]
 20%|███████████████████████▏                                                                                         | 454/2215 [19:24<1:06:44,  2.27s/it]
 21%|███████████████████████▏                                                                                         | 455/2215 [19:26<1:06:38,  2.27s/it]
 21%|███████████████████████▎                                                                                         | 456/2215 [19:28<1:06:26,  2.27s/it]
 21%|███████████████████████▎                                                                                         | 457/2215 [19:31<1:06:11,  2.26s/it]
 21%|███████████████████████▎                                                                                         | 458/2215 [19:33<1:06:12,  2.26s/it]
 21%|███████████████████████▍                                                                                         | 459/2215 [19:35<1:06:05,  2.26s/it]
 21%|███████████████████████▍                                                                                         | 460/2215 [19:37<1:05:54,  2.25s/it]
                                                                                                                                                           
{'loss': '1.004', 'grad_norm': '0.593', 'learning_rate': '0.0001839', 'ppl': '2.73', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1882', 'tokens/total': 3768320, 'tokens/trainable': 1919931, 'epoch': '1.038'}

 21%|███████████████████████▍                                                                                         | 460/2215 [19:37<1:05:54,  2.25s/it]
 21%|███████████████████████▌                                                                                         | 461/2215 [19:40<1:05:46,  2.25s/it]
 21%|███████████████████████▌                                                                                         | 462/2215 [19:42<1:05:47,  2.25s/it]
 21%|███████████████████████▌                                                                                         | 463/2215 [19:44<1:05:40,  2.25s/it]
 21%|███████████████████████▋                                                                                         | 464/2215 [19:46<1:05:40,  2.25s/it]
 21%|███████████████████████▋                                                                                         | 465/2215 [19:49<1:05:34,  2.25s/it]
 21%|███████████████████████▊                                                                                         | 466/2215 [19:51<1:05:34,  2.25s/it]
 21%|███████████████████████▊                                                                                         | 467/2215 [19:53<1:05:26,  2.25s/it]
 21%|███████████████████████▉                                                                                         | 468/2215 [19:55<1:05:27,  2.25s/it]
 21%|███████████████████████▉                                                                                         | 469/2215 [19:58<1:05:23,  2.25s/it]
 21%|███████████████████████▉                                                                                         | 470/2215 [20:00<1:05:22,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9631', 'grad_norm': '0.6176', 'learning_rate': '0.0001831', 'ppl': '2.62', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1718', 'tokens/total': 3850240, 'tokens/trainable': 1962630, 'epoch': '1.061'}

 21%|███████████████████████▉                                                                                         | 470/2215 [20:00<1:05:22,  2.25s/it]
 21%|████████████████████████                                                                                         | 471/2215 [20:02<1:05:31,  2.25s/it]
 21%|████████████████████████                                                                                         | 472/2215 [20:04<1:05:28,  2.25s/it]
 21%|████████████████████████▏                                                                                        | 473/2215 [20:07<1:05:27,  2.25s/it]
 21%|████████████████████████▏                                                                                        | 474/2215 [20:09<1:05:19,  2.25s/it]
 21%|████████████████████████▏                                                                                        | 475/2215 [20:11<1:05:13,  2.25s/it]
 21%|████████████████████████▎                                                                                        | 476/2215 [20:13<1:05:12,  2.25s/it]
 22%|████████████████████████▎                                                                                        | 477/2215 [20:16<1:05:06,  2.25s/it]
 22%|████████████████████████▍                                                                                        | 478/2215 [20:18<1:05:06,  2.25s/it]
 22%|████████████████████████▍                                                                                        | 479/2215 [20:20<1:04:59,  2.25s/it]
 22%|████████████████████████▍                                                                                        | 480/2215 [20:22<1:05:01,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9777', 'grad_norm': '0.6387', 'learning_rate': '0.0001823', 'ppl': '2.658', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1894', 'tokens/total': 3932160, 'tokens/trainable': 2004533, 'epoch': '1.084'}

 22%|████████████████████████▍                                                                                        | 480/2215 [20:22<1:05:01,  2.25s/it]
 22%|████████████████████████▌                                                                                        | 481/2215 [20:25<1:04:57,  2.25s/it]
 22%|████████████████████████▌                                                                                        | 482/2215 [20:27<1:04:58,  2.25s/it]
 22%|████████████████████████▋                                                                                        | 483/2215 [20:29<1:05:06,  2.26s/it]
 22%|████████████████████████▋                                                                                        | 484/2215 [20:31<1:05:00,  2.25s/it]
 22%|████████████████████████▋                                                                                        | 485/2215 [20:34<1:04:51,  2.25s/it]
 22%|████████████████████████▊                                                                                        | 486/2215 [20:36<1:04:50,  2.25s/it]
 22%|████████████████████████▊                                                                                        | 487/2215 [20:38<1:04:51,  2.25s/it]
 22%|████████████████████████▉                                                                                        | 488/2215 [20:40<1:04:42,  2.25s/it]
 22%|████████████████████████▉                                                                                        | 489/2215 [20:43<1:04:36,  2.25s/it]
 22%|████████████████████████▉                                                                                        | 490/2215 [20:45<1:04:36,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9932', 'grad_norm': '0.6206', 'learning_rate': '0.0001815', 'ppl': '2.7', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1698', 'tokens/total': 4014080, 'tokens/trainable': 2046998, 'epoch': '1.106'}

 22%|████████████████████████▉                                                                                        | 490/2215 [20:45<1:04:36,  2.25s/it]
 22%|█████████████████████████                                                                                        | 491/2215 [20:47<1:04:46,  2.25s/it]
 22%|█████████████████████████                                                                                        | 492/2215 [20:49<1:04:36,  2.25s/it]
 22%|█████████████████████████▏                                                                                       | 493/2215 [20:52<1:04:29,  2.25s/it]
 22%|█████████████████████████▏                                                                                       | 494/2215 [20:54<1:04:29,  2.25s/it]
 22%|█████████████████████████▎                                                                                       | 495/2215 [20:56<1:04:36,  2.25s/it]
 22%|█████████████████████████▎                                                                                       | 496/2215 [20:58<1:04:28,  2.25s/it]
 22%|█████████████████████████▎                                                                                       | 497/2215 [21:01<1:04:21,  2.25s/it]
 22%|█████████████████████████▍                                                                                       | 498/2215 [21:03<1:04:20,  2.25s/it]
 23%|█████████████████████████▍                                                                                       | 499/2215 [21:05<1:04:14,  2.25s/it]
 23%|█████████████████████████▌                                                                                       | 500/2215 [21:07<1:04:18,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9999', 'grad_norm': '0.6635', 'learning_rate': '0.0001806', 'ppl': '2.718', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1897', 'tokens/total': 4096000, 'tokens/trainable': 2089027, 'epoch': '1.129'}

 23%|█████████████████████████▌                                                                                       | 500/2215 [21:07<1:04:18,  2.25s/it][2026-03-23 11:34:25,174] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:34:29,023] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.748422622680664
[2026-03-23 11:34:30,314] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2907085418701172
[2026-03-23 11:34:32,034] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7187869548797607
[2026-03-23 11:34:33,503] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4684410095214844
[2026-03-23 11:34:33,504] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.58it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.112', 'eval_runtime': '17.31', 'eval_samples_per_second': '107.1', 'eval_steps_per_second': '26.81', 'eval_ppl': '3.039', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '1.129', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 23%|█████████████████████████▌                                                                                       | 500/2215 [21:33<1:04:18,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:34:50,844] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-500

 23%|█████████████████████████▌                                                                                       | 501/2215 [21:38<5:08:18, 10.79s/it]
 23%|█████████████████████████▌                                                                                       | 502/2215 [21:40<3:55:02,  8.23s/it]
 23%|█████████████████████████▋                                                                                       | 503/2215 [21:43<3:03:48,  6.44s/it]
 23%|█████████████████████████▋                                                                                       | 504/2215 [21:45<2:27:51,  5.19s/it]
 23%|█████████████████████████▊                                                                                       | 505/2215 [21:47<2:02:37,  4.30s/it]
 23%|█████████████████████████▊                                                                                       | 506/2215 [21:49<1:45:04,  3.69s/it]
 23%|█████████████████████████▊                                                                                       | 507/2215 [21:52<1:32:50,  3.26s/it]
 23%|█████████████████████████▉                                                                                       | 508/2215 [21:54<1:24:12,  2.96s/it]
 23%|█████████████████████████▉                                                                                       | 509/2215 [21:56<1:17:58,  2.74s/it]
 23%|██████████████████████████                                                                                       | 510/2215 [21:58<1:13:42,  2.59s/it]
                                                                                                                                                           
{'loss': '0.9334', 'grad_norm': '0.6615', 'learning_rate': '0.0001798', 'ppl': '2.543', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1816', 'tokens/total': 4177920, 'tokens/trainable': 2131938, 'epoch': '1.151'}

 23%|██████████████████████████                                                                                       | 510/2215 [21:58<1:13:42,  2.59s/it]
 23%|██████████████████████████                                                                                       | 511/2215 [22:01<1:10:38,  2.49s/it]
 23%|██████████████████████████                                                                                       | 512/2215 [22:03<1:08:37,  2.42s/it]
 23%|██████████████████████████▏                                                                                      | 513/2215 [22:05<1:07:02,  2.36s/it]
 23%|██████████████████████████▏                                                                                      | 514/2215 [22:07<1:05:59,  2.33s/it]
 23%|██████████████████████████▎                                                                                      | 515/2215 [22:10<1:05:22,  2.31s/it]
 23%|██████████████████████████▎                                                                                      | 516/2215 [22:12<1:04:58,  2.29s/it]
 23%|██████████████████████████▍                                                                                      | 517/2215 [22:14<1:04:27,  2.28s/it]
 23%|██████████████████████████▍                                                                                      | 518/2215 [22:16<1:04:09,  2.27s/it]
 23%|██████████████████████████▍                                                                                      | 519/2215 [22:19<1:04:01,  2.27s/it]
 23%|██████████████████████████▌                                                                                      | 520/2215 [22:21<1:03:51,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9896', 'grad_norm': '0.7445', 'learning_rate': '0.0001789', 'ppl': '2.69', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2070', 'tokens/total': 4259840, 'tokens/trainable': 2174813, 'epoch': '1.174'}

 23%|██████████████████████████▌                                                                                      | 520/2215 [22:21<1:03:51,  2.26s/it]
 24%|██████████████████████████▌                                                                                      | 521/2215 [22:23<1:03:51,  2.26s/it]
 24%|██████████████████████████▋                                                                                      | 522/2215 [22:25<1:03:42,  2.26s/it]
 24%|██████████████████████████▋                                                                                      | 523/2215 [22:28<1:03:29,  2.25s/it]
 24%|██████████████████████████▋                                                                                      | 524/2215 [22:30<1:03:26,  2.25s/it]
 24%|██████████████████████████▊                                                                                      | 525/2215 [22:32<1:03:30,  2.25s/it]
 24%|██████████████████████████▊                                                                                      | 526/2215 [22:34<1:03:25,  2.25s/it]
 24%|██████████████████████████▉                                                                                      | 527/2215 [22:37<1:03:15,  2.25s/it]
 24%|██████████████████████████▉                                                                                      | 528/2215 [22:39<1:03:12,  2.25s/it]
 24%|██████████████████████████▉                                                                                      | 529/2215 [22:41<1:03:16,  2.25s/it]
 24%|███████████████████████████                                                                                      | 530/2215 [22:43<1:03:18,  2.25s/it]
                                                                                                                                                           
{'loss': '1.015', 'grad_norm': '0.6743', 'learning_rate': '0.000178', 'ppl': '2.759', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1800', 'tokens/total': 4341760, 'tokens/trainable': 2215423, 'epoch': '1.196'}

 24%|███████████████████████████                                                                                      | 530/2215 [22:43<1:03:18,  2.25s/it]
 24%|███████████████████████████                                                                                      | 531/2215 [22:46<1:03:09,  2.25s/it]
 24%|███████████████████████████▏                                                                                     | 532/2215 [22:48<1:03:05,  2.25s/it]
 24%|███████████████████████████▏                                                                                     | 533/2215 [22:50<1:02:57,  2.25s/it]
 24%|███████████████████████████▏                                                                                     | 534/2215 [22:52<1:02:54,  2.25s/it]
 24%|███████████████████████████▎                                                                                     | 535/2215 [22:55<1:03:00,  2.25s/it]
 24%|███████████████████████████▎                                                                                     | 536/2215 [22:57<1:02:57,  2.25s/it]
 24%|███████████████████████████▍                                                                                     | 537/2215 [22:59<1:03:01,  2.25s/it]
 24%|███████████████████████████▍                                                                                     | 538/2215 [23:01<1:02:57,  2.25s/it]
 24%|███████████████████████████▍                                                                                     | 539/2215 [23:04<1:02:46,  2.25s/it]
 24%|███████████████████████████▌                                                                                     | 540/2215 [23:06<1:02:44,  2.25s/it]
                                                                                                                                                           
{'loss': '1.05', 'grad_norm': '0.6558', 'learning_rate': '0.000177', 'ppl': '2.857', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1844', 'tokens/total': 4423680, 'tokens/trainable': 2257798, 'epoch': '1.219'}

 24%|███████████████████████████▌                                                                                     | 540/2215 [23:06<1:02:44,  2.25s/it]
 24%|███████████████████████████▌                                                                                     | 541/2215 [23:08<1:02:51,  2.25s/it]
 24%|███████████████████████████▋                                                                                     | 542/2215 [23:10<1:02:46,  2.25s/it]
 25%|███████████████████████████▋                                                                                     | 543/2215 [23:13<1:02:37,  2.25s/it]
 25%|███████████████████████████▊                                                                                     | 544/2215 [23:15<1:02:35,  2.25s/it]
 25%|███████████████████████████▊                                                                                     | 545/2215 [23:17<1:02:46,  2.26s/it]
 25%|███████████████████████████▊                                                                                     | 546/2215 [23:19<1:02:40,  2.25s/it]
 25%|███████████████████████████▉                                                                                     | 547/2215 [23:22<1:02:31,  2.25s/it]
 25%|███████████████████████████▉                                                                                     | 548/2215 [23:24<1:02:29,  2.25s/it]
 25%|████████████████████████████                                                                                     | 549/2215 [23:26<1:02:21,  2.25s/it]
 25%|████████████████████████████                                                                                     | 550/2215 [23:28<1:02:20,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9729', 'grad_norm': '0.7107', 'learning_rate': '0.0001761', 'ppl': '2.646', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1630', 'tokens/total': 4505600, 'tokens/trainable': 2299729, 'epoch': '1.242'}

 25%|████████████████████████████                                                                                     | 550/2215 [23:28<1:02:20,  2.25s/it]
 25%|████████████████████████████                                                                                     | 551/2215 [23:31<1:02:28,  2.25s/it]
 25%|████████████████████████████▏                                                                                    | 552/2215 [23:33<1:02:23,  2.25s/it]
 25%|████████████████████████████▏                                                                                    | 553/2215 [23:35<1:02:14,  2.25s/it]
 25%|████████████████████████████▎                                                                                    | 554/2215 [23:37<1:02:12,  2.25s/it]
 25%|████████████████████████████▎                                                                                    | 555/2215 [23:40<1:02:17,  2.25s/it]
 25%|████████████████████████████▎                                                                                    | 556/2215 [23:42<1:02:14,  2.25s/it]
 25%|████████████████████████████▍                                                                                    | 557/2215 [23:44<1:02:05,  2.25s/it]
 25%|████████████████████████████▍                                                                                    | 558/2215 [23:46<1:02:05,  2.25s/it]
 25%|████████████████████████████▌                                                                                    | 559/2215 [23:49<1:02:16,  2.26s/it]
 25%|████████████████████████████▌                                                                                    | 560/2215 [23:51<1:02:10,  2.25s/it]
                                                                                                                                                           
{'loss': '1.001', 'grad_norm': '0.6972', 'learning_rate': '0.0001751', 'ppl': '2.721', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1741', 'tokens/total': 4587520, 'tokens/trainable': 2341700, 'epoch': '1.264'}

 25%|████████████████████████████▌                                                                                    | 560/2215 [23:51<1:02:10,  2.25s/it]
 25%|████████████████████████████▌                                                                                    | 561/2215 [23:53<1:02:01,  2.25s/it]
 25%|████████████████████████████▋                                                                                    | 562/2215 [23:55<1:01:59,  2.25s/it]
 25%|████████████████████████████▋                                                                                    | 563/2215 [23:58<1:01:51,  2.25s/it]
 25%|████████████████████████████▊                                                                                    | 564/2215 [24:00<1:01:49,  2.25s/it]
 26%|████████████████████████████▊                                                                                    | 565/2215 [24:02<1:01:55,  2.25s/it]
 26%|████████████████████████████▊                                                                                    | 566/2215 [24:04<1:01:51,  2.25s/it]
 26%|████████████████████████████▉                                                                                    | 567/2215 [24:07<1:01:43,  2.25s/it]
 26%|████████████████████████████▉                                                                                    | 568/2215 [24:09<1:01:42,  2.25s/it]
 26%|█████████████████████████████                                                                                    | 569/2215 [24:11<1:01:47,  2.25s/it]
 26%|█████████████████████████████                                                                                    | 570/2215 [24:13<1:01:43,  2.25s/it]
                                                                                                                                                           
{'loss': '1.009', 'grad_norm': '0.6621', 'learning_rate': '0.0001742', 'ppl': '2.743', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1879', 'tokens/total': 4669440, 'tokens/trainable': 2383108, 'epoch': '1.287'}

 26%|█████████████████████████████                                                                                    | 570/2215 [24:13<1:01:43,  2.25s/it]
 26%|█████████████████████████████▏                                                                                   | 571/2215 [24:16<1:01:39,  2.25s/it]
 26%|█████████████████████████████▏                                                                                   | 572/2215 [24:18<1:01:36,  2.25s/it]
 26%|█████████████████████████████▏                                                                                   | 573/2215 [24:20<1:01:29,  2.25s/it]
 26%|█████████████████████████████▎                                                                                   | 574/2215 [24:23<1:03:45,  2.33s/it]
 26%|█████████████████████████████▎                                                                                   | 575/2215 [24:25<1:02:57,  2.30s/it]
 26%|█████████████████████████████▍                                                                                   | 576/2215 [24:27<1:02:23,  2.28s/it]
 26%|█████████████████████████████▍                                                                                   | 577/2215 [24:29<1:02:03,  2.27s/it]
 26%|█████████████████████████████▍                                                                                   | 578/2215 [24:32<1:01:55,  2.27s/it]
 26%|█████████████████████████████▌                                                                                   | 579/2215 [24:34<1:01:43,  2.26s/it]
 26%|█████████████████████████████▌                                                                                   | 580/2215 [24:36<1:01:29,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9909', 'grad_norm': '0.7374', 'learning_rate': '0.0001732', 'ppl': '2.694', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1895', 'tokens/total': 4751360, 'tokens/trainable': 2425137, 'epoch': '1.309'}

 26%|█████████████████████████████▌                                                                                   | 580/2215 [24:36<1:01:29,  2.26s/it]
 26%|█████████████████████████████▋                                                                                   | 581/2215 [24:38<1:01:25,  2.26s/it]
 26%|█████████████████████████████▋                                                                                   | 582/2215 [24:41<1:01:14,  2.25s/it]
 26%|█████████████████████████████▋                                                                                   | 583/2215 [24:43<1:01:12,  2.25s/it]
 26%|█████████████████████████████▊                                                                                   | 584/2215 [24:45<1:01:15,  2.25s/it]
 26%|█████████████████████████████▊                                                                                   | 585/2215 [24:47<1:01:11,  2.25s/it]
 26%|█████████████████████████████▉                                                                                   | 586/2215 [24:50<1:01:14,  2.26s/it]
 27%|█████████████████████████████▉                                                                                   | 587/2215 [24:52<1:01:08,  2.25s/it]
 27%|█████████████████████████████▉                                                                                   | 588/2215 [24:54<1:01:05,  2.25s/it]
 27%|██████████████████████████████                                                                                   | 589/2215 [24:56<1:01:01,  2.25s/it]
 27%|██████████████████████████████                                                                                   | 590/2215 [24:59<1:00:51,  2.25s/it]
                                                                                                                                                           
{'loss': '1.002', 'grad_norm': '0.6544', 'learning_rate': '0.0001722', 'ppl': '2.725', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1849', 'tokens/total': 4833280, 'tokens/trainable': 2466286, 'epoch': '1.332'}

 27%|██████████████████████████████                                                                                   | 590/2215 [24:59<1:00:51,  2.25s/it]
 27%|██████████████████████████████▏                                                                                  | 591/2215 [25:01<1:00:52,  2.25s/it]
 27%|██████████████████████████████▏                                                                                  | 592/2215 [25:03<1:00:44,  2.25s/it]
 27%|██████████████████████████████▎                                                                                  | 593/2215 [25:05<1:00:43,  2.25s/it]
 27%|██████████████████████████████▎                                                                                  | 594/2215 [25:08<1:00:48,  2.25s/it]
 27%|██████████████████████████████▎                                                                                  | 595/2215 [25:10<1:00:48,  2.25s/it]
 27%|██████████████████████████████▍                                                                                  | 596/2215 [25:12<1:00:51,  2.26s/it]
 27%|██████████████████████████████▍                                                                                  | 597/2215 [25:14<1:00:46,  2.25s/it]
 27%|██████████████████████████████▌                                                                                  | 598/2215 [25:17<1:00:36,  2.25s/it]
 27%|██████████████████████████████▌                                                                                  | 599/2215 [25:19<1:00:33,  2.25s/it]
 27%|██████████████████████████████▌                                                                                  | 600/2215 [25:21<1:00:26,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9648', 'grad_norm': '0.6963', 'learning_rate': '0.0001711', 'ppl': '2.624', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1850', 'tokens/total': 4915200, 'tokens/trainable': 2507537, 'epoch': '1.354'}

 27%|██████████████████████████████▌                                                                                  | 600/2215 [25:21<1:00:26,  2.25s/it][2026-03-23 11:38:38,909] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:38:41,976] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6738674640655518
[2026-03-23 11:38:43,407] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.430410623550415
[2026-03-23 11:38:44,886] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.477602481842041
[2026-03-23 11:38:46,269] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3824169635772705
[2026-03-23 11:38:46,269] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.67it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.58it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.54it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.54it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.54it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.079', 'eval_runtime': '17.54', 'eval_samples_per_second': '105.6', 'eval_steps_per_second': '26.45', 'eval_ppl': '2.941', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '1.354', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 27%|██████████████████████████████▌                                                                                  | 600/2215 [25:46<1:00:26,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:39:03,826] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-600

 27%|██████████████████████████████▋                                                                                  | 601/2215 [25:50<4:37:50, 10.33s/it]
 27%|██████████████████████████████▋                                                                                  | 602/2215 [25:52<3:32:36,  7.91s/it]
 27%|██████████████████████████████▊                                                                                  | 603/2215 [25:55<2:46:53,  6.21s/it]
 27%|██████████████████████████████▊                                                                                  | 604/2215 [25:57<2:15:01,  5.03s/it]
 27%|██████████████████████████████▊                                                                                  | 605/2215 [25:59<1:52:37,  4.20s/it]
 27%|██████████████████████████████▉                                                                                  | 606/2215 [26:02<1:37:01,  3.62s/it]
 27%|██████████████████████████████▉                                                                                  | 607/2215 [26:04<1:25:59,  3.21s/it]
 27%|███████████████████████████████                                                                                  | 608/2215 [26:06<1:18:21,  2.93s/it]
 27%|███████████████████████████████                                                                                  | 609/2215 [26:08<1:12:54,  2.72s/it]
 28%|███████████████████████████████                                                                                  | 610/2215 [26:11<1:09:00,  2.58s/it]
                                                                                                                                                           
{'loss': '0.9813', 'grad_norm': '0.6858', 'learning_rate': '0.0001701', 'ppl': '2.668', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1914', 'tokens/total': 4997120, 'tokens/trainable': 2550544, 'epoch': '1.377'}

 28%|███████████████████████████████                                                                                  | 610/2215 [26:11<1:09:00,  2.58s/it]
 28%|███████████████████████████████▏                                                                                 | 611/2215 [26:13<1:06:24,  2.48s/it]
 28%|███████████████████████████████▏                                                                                 | 612/2215 [26:15<1:04:27,  2.41s/it]
 28%|███████████████████████████████▎                                                                                 | 613/2215 [26:17<1:03:08,  2.37s/it]
 28%|███████████████████████████████▎                                                                                 | 614/2215 [26:20<1:02:08,  2.33s/it]
 28%|███████████████████████████████▎                                                                                 | 615/2215 [26:22<1:02:47,  2.35s/it]
 28%|███████████████████████████████▍                                                                                 | 616/2215 [26:24<1:01:58,  2.33s/it]
 28%|███████████████████████████████▍                                                                                 | 617/2215 [26:26<1:01:27,  2.31s/it]
 28%|███████████████████████████████▌                                                                                 | 618/2215 [26:29<1:00:57,  2.29s/it]
 28%|███████████████████████████████▌                                                                                 | 619/2215 [26:31<1:00:42,  2.28s/it]
 28%|███████████████████████████████▋                                                                                 | 620/2215 [26:33<1:00:25,  2.27s/it]
                                                                                                                                                           
{'loss': '0.9585', 'grad_norm': '0.6308', 'learning_rate': '0.0001691', 'ppl': '2.608', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1839', 'tokens/total': 5079040, 'tokens/trainable': 2593996, 'epoch': '1.4'}

 28%|███████████████████████████████▋                                                                                 | 620/2215 [26:33<1:00:25,  2.27s/it]
 28%|███████████████████████████████▋                                                                                 | 621/2215 [26:36<1:00:21,  2.27s/it]
 28%|███████████████████████████████▋                                                                                 | 622/2215 [26:38<1:00:08,  2.27s/it]
 28%|███████████████████████████████▊                                                                                 | 623/2215 [26:40<1:00:09,  2.27s/it]
 28%|███████████████████████████████▊                                                                                 | 624/2215 [26:42<1:00:00,  2.26s/it]
 28%|████████████████████████████████▍                                                                                  | 625/2215 [26:45<59:47,  2.26s/it]
 28%|████████████████████████████████▌                                                                                  | 626/2215 [26:47<59:43,  2.26s/it]
 28%|████████████████████████████████▌                                                                                  | 627/2215 [26:49<59:49,  2.26s/it]
 28%|████████████████████████████████▌                                                                                  | 628/2215 [26:51<59:37,  2.25s/it]
 28%|████████████████████████████████▋                                                                                  | 629/2215 [26:54<59:27,  2.25s/it]
 28%|████████████████████████████████▋                                                                                  | 630/2215 [26:56<59:30,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9752', 'grad_norm': '0.6496', 'learning_rate': '0.000168', 'ppl': '2.652', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1670', 'tokens/total': 5160960, 'tokens/trainable': 2635659, 'epoch': '1.422'}

 28%|████████████████████████████████▋                                                                                  | 630/2215 [26:56<59:30,  2.25s/it]
 28%|████████████████████████████████▊                                                                                  | 631/2215 [26:58<59:23,  2.25s/it]
 29%|████████████████████████████████▊                                                                                  | 632/2215 [27:00<59:23,  2.25s/it]
 29%|████████████████████████████████▊                                                                                  | 633/2215 [27:03<59:27,  2.26s/it]
 29%|████████████████████████████████▉                                                                                  | 634/2215 [27:05<59:18,  2.25s/it]
 29%|████████████████████████████████▉                                                                                  | 635/2215 [27:07<59:10,  2.25s/it]
 29%|█████████████████████████████████                                                                                  | 636/2215 [27:09<59:12,  2.25s/it]
 29%|█████████████████████████████████                                                                                  | 637/2215 [27:12<59:19,  2.26s/it]
 29%|█████████████████████████████████                                                                                  | 638/2215 [27:14<59:09,  2.25s/it]
 29%|█████████████████████████████████▏                                                                                 | 639/2215 [27:16<59:03,  2.25s/it]
 29%|█████████████████████████████████▏                                                                                 | 640/2215 [27:18<59:04,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9573', 'grad_norm': '0.6988', 'learning_rate': '0.0001669', 'ppl': '2.605', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1992', 'tokens/total': 5242880, 'tokens/trainable': 2676394, 'epoch': '1.445'}

 29%|█████████████████████████████████▏                                                                                 | 640/2215 [27:18<59:04,  2.25s/it]
 29%|█████████████████████████████████▎                                                                                 | 641/2215 [27:21<59:00,  2.25s/it]
 29%|█████████████████████████████████▎                                                                                 | 642/2215 [27:23<58:59,  2.25s/it]
 29%|█████████████████████████████████▍                                                                                 | 643/2215 [27:25<58:52,  2.25s/it]
 29%|████████████████████████████████▊                                                                                | 644/2215 [27:27<1:00:00,  2.29s/it]
 29%|█████████████████████████████████▍                                                                                 | 645/2215 [27:30<59:41,  2.28s/it]
 29%|█████████████████████████████████▌                                                                                 | 646/2215 [27:32<59:32,  2.28s/it]
 29%|█████████████████████████████████▌                                                                                 | 647/2215 [27:34<59:17,  2.27s/it]
 29%|█████████████████████████████████▋                                                                                 | 648/2215 [27:36<59:14,  2.27s/it]
 29%|█████████████████████████████████▋                                                                                 | 649/2215 [27:39<59:04,  2.26s/it]
 29%|█████████████████████████████████▋                                                                                 | 650/2215 [27:41<59:03,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9445', 'grad_norm': '0.6752', 'learning_rate': '0.0001658', 'ppl': '2.572', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1890', 'tokens/total': 5324800, 'tokens/trainable': 2717706, 'epoch': '1.467'}

 29%|█████████████████████████████████▋                                                                                 | 650/2215 [27:41<59:03,  2.26s/it]
 29%|█████████████████████████████████▊                                                                                 | 651/2215 [27:43<58:57,  2.26s/it]
 29%|█████████████████████████████████▊                                                                                 | 652/2215 [27:46<58:56,  2.26s/it]
 29%|█████████████████████████████████▉                                                                                 | 653/2215 [27:48<58:48,  2.26s/it]
 30%|█████████████████████████████████▉                                                                                 | 654/2215 [27:50<58:49,  2.26s/it]
 30%|██████████████████████████████████                                                                                 | 655/2215 [27:52<58:41,  2.26s/it]
 30%|██████████████████████████████████                                                                                 | 656/2215 [27:55<58:42,  2.26s/it]
 30%|██████████████████████████████████                                                                                 | 657/2215 [27:57<58:38,  2.26s/it]
 30%|██████████████████████████████████▏                                                                                | 658/2215 [27:59<58:28,  2.25s/it]
 30%|██████████████████████████████████▏                                                                                | 659/2215 [28:01<58:29,  2.26s/it]
 30%|██████████████████████████████████▎                                                                                | 660/2215 [28:04<58:19,  2.25s/it]
                                                                                                                                                           
{'loss': '0.989', 'grad_norm': '0.681', 'learning_rate': '0.0001647', 'ppl': '2.689', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1775', 'tokens/total': 5406720, 'tokens/trainable': 2758205, 'epoch': '1.49'}

 30%|██████████████████████████████████▎                                                                                | 660/2215 [28:04<58:19,  2.25s/it]
 30%|██████████████████████████████████▎                                                                                | 661/2215 [28:06<58:19,  2.25s/it]
 30%|██████████████████████████████████▎                                                                                | 662/2215 [28:08<58:11,  2.25s/it]
 30%|██████████████████████████████████▍                                                                                | 663/2215 [28:10<58:13,  2.25s/it]
 30%|██████████████████████████████████▍                                                                                | 664/2215 [28:13<58:06,  2.25s/it]
 30%|██████████████████████████████████▌                                                                                | 665/2215 [28:15<58:05,  2.25s/it]
 30%|██████████████████████████████████▌                                                                                | 666/2215 [28:17<58:12,  2.25s/it]
 30%|██████████████████████████████████▋                                                                                | 667/2215 [28:19<58:08,  2.25s/it]
 30%|██████████████████████████████████▋                                                                                | 668/2215 [28:22<58:00,  2.25s/it]
 30%|██████████████████████████████████▋                                                                                | 669/2215 [28:24<57:58,  2.25s/it]
 30%|██████████████████████████████████▊                                                                                | 670/2215 [28:26<57:52,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9336', 'grad_norm': '0.6406', 'learning_rate': '0.0001636', 'ppl': '2.544', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1900', 'tokens/total': 5488640, 'tokens/trainable': 2799820, 'epoch': '1.512'}

 30%|██████████████████████████████████▊                                                                                | 670/2215 [28:26<57:52,  2.25s/it]
 30%|██████████████████████████████████▊                                                                                | 671/2215 [28:28<57:55,  2.25s/it]
 30%|██████████████████████████████████▉                                                                                | 672/2215 [28:31<57:48,  2.25s/it]
 30%|██████████████████████████████████▎                                                                              | 673/2215 [28:33<1:00:21,  2.35s/it]
 30%|██████████████████████████████████▉                                                                                | 674/2215 [28:35<59:31,  2.32s/it]
 30%|███████████████████████████████████                                                                                | 675/2215 [28:38<58:59,  2.30s/it]
 31%|███████████████████████████████████                                                                                | 676/2215 [28:40<58:44,  2.29s/it]
 31%|███████████████████████████████████▏                                                                               | 677/2215 [28:42<58:23,  2.28s/it]
 31%|███████████████████████████████████▏                                                                               | 678/2215 [28:44<58:14,  2.27s/it]
 31%|███████████████████████████████████▎                                                                               | 679/2215 [28:47<58:00,  2.27s/it]
 31%|███████████████████████████████████▎                                                                               | 680/2215 [28:49<57:57,  2.27s/it]
                                                                                                                                                           
{'loss': '0.9311', 'grad_norm': '0.7036', 'learning_rate': '0.0001625', 'ppl': '2.537', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1877', 'tokens/total': 5570560, 'tokens/trainable': 2842348, 'epoch': '1.535'}

 31%|███████████████████████████████████▎                                                                               | 680/2215 [28:49<57:57,  2.27s/it]
 31%|███████████████████████████████████▎                                                                               | 681/2215 [28:51<57:52,  2.26s/it]
 31%|███████████████████████████████████▍                                                                               | 682/2215 [28:53<57:52,  2.26s/it]
 31%|███████████████████████████████████▍                                                                               | 683/2215 [28:56<57:43,  2.26s/it]
 31%|███████████████████████████████████▌                                                                               | 684/2215 [28:58<57:42,  2.26s/it]
 31%|███████████████████████████████████▌                                                                               | 685/2215 [29:00<57:36,  2.26s/it]
 31%|███████████████████████████████████▌                                                                               | 686/2215 [29:02<57:35,  2.26s/it]
 31%|███████████████████████████████████▋                                                                               | 687/2215 [29:05<57:28,  2.26s/it]
 31%|███████████████████████████████████▋                                                                               | 688/2215 [29:07<57:38,  2.26s/it]
 31%|███████████████████████████████████▊                                                                               | 689/2215 [29:09<57:28,  2.26s/it]
 31%|███████████████████████████████████▊                                                                               | 690/2215 [29:12<57:28,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9848', 'grad_norm': '0.6536', 'learning_rate': '0.0001613', 'ppl': '2.677', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1703', 'tokens/total': 5652480, 'tokens/trainable': 2884728, 'epoch': '1.558'}

 31%|███████████████████████████████████▊                                                                               | 690/2215 [29:12<57:28,  2.26s/it]
 31%|███████████████████████████████████▉                                                                               | 691/2215 [29:14<57:24,  2.26s/it]
 31%|███████████████████████████████████▉                                                                               | 692/2215 [29:16<57:23,  2.26s/it]
 31%|███████████████████████████████████▉                                                                               | 693/2215 [29:18<57:16,  2.26s/it]
 31%|████████████████████████████████████                                                                               | 694/2215 [29:21<57:07,  2.25s/it]
 31%|████████████████████████████████████                                                                               | 695/2215 [29:23<57:04,  2.25s/it]
 31%|████████████████████████████████████▏                                                                              | 696/2215 [29:25<57:07,  2.26s/it]
 31%|████████████████████████████████████▏                                                                              | 697/2215 [29:27<57:03,  2.25s/it]
 32%|████████████████████████████████████▏                                                                              | 698/2215 [29:30<56:57,  2.25s/it]
 32%|████████████████████████████████████▎                                                                              | 699/2215 [29:32<56:53,  2.25s/it]
 32%|████████████████████████████████████▎                                                                              | 700/2215 [29:34<56:49,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9499', 'grad_norm': '0.7253', 'learning_rate': '0.0001602', 'ppl': '2.585', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1819', 'tokens/total': 5734400, 'tokens/trainable': 2926959, 'epoch': '1.58'}

 32%|████████████████████████████████████▎                                                                              | 700/2215 [29:34<56:49,  2.25s/it][2026-03-23 11:42:51,922] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:42:55,055] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7138514518737793
[2026-03-23 11:42:56,775] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7188549041748047
[2026-03-23 11:42:58,446] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6708498001098633
[2026-03-23 11:42:59,922] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.475358247756958
[2026-03-23 11:42:59,924] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.15it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.61it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.58it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.052', 'eval_runtime': '17.43', 'eval_samples_per_second': '106.3', 'eval_steps_per_second': '26.62', 'eval_ppl': '2.864', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '1.58', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 32%|████████████████████████████████████▎                                                                              | 700/2215 [30:00<56:49,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:43:17,393] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-700

 32%|███████████████████████████████████▊                                                                             | 701/2215 [30:04<4:23:45, 10.45s/it]
 32%|███████████████████████████████████▊                                                                             | 702/2215 [30:06<3:21:33,  7.99s/it]
 32%|███████████████████████████████████▊                                                                             | 703/2215 [30:08<2:38:01,  6.27s/it]
 32%|███████████████████████████████████▉                                                                             | 704/2215 [30:10<2:07:39,  5.07s/it]
 32%|███████████████████████████████████▉                                                                             | 705/2215 [30:13<1:46:15,  4.22s/it]
 32%|████████████████████████████████████                                                                             | 706/2215 [30:15<1:31:25,  3.64s/it]
 32%|████████████████████████████████████                                                                             | 707/2215 [30:17<1:20:53,  3.22s/it]
 32%|████████████████████████████████████                                                                             | 708/2215 [30:19<1:13:38,  2.93s/it]
 32%|████████████████████████████████████▏                                                                            | 709/2215 [30:22<1:08:27,  2.73s/it]
 32%|████████████████████████████████████▏                                                                            | 710/2215 [30:24<1:04:57,  2.59s/it]
                                                                                                                                                           
{'loss': '0.9327', 'grad_norm': '0.6259', 'learning_rate': '0.000159', 'ppl': '2.541', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2083', 'tokens/total': 5816320, 'tokens/trainable': 2968958, 'epoch': '1.603'}

 32%|████████████████████████████████████▏                                                                            | 710/2215 [30:24<1:04:57,  2.59s/it]
 32%|████████████████████████████████████▎                                                                            | 711/2215 [30:26<1:02:22,  2.49s/it]
 32%|████████████████████████████████████▎                                                                            | 712/2215 [30:28<1:00:38,  2.42s/it]
 32%|█████████████████████████████████████                                                                              | 713/2215 [30:31<59:19,  2.37s/it]
 32%|█████████████████████████████████████                                                                              | 714/2215 [30:33<58:28,  2.34s/it]
 32%|█████████████████████████████████████                                                                              | 715/2215 [30:35<57:46,  2.31s/it]
 32%|█████████████████████████████████████▏                                                                             | 716/2215 [30:38<57:23,  2.30s/it]
 32%|█████████████████████████████████████▏                                                                             | 717/2215 [30:40<56:58,  2.28s/it]
 32%|█████████████████████████████████████▎                                                                             | 718/2215 [30:42<56:47,  2.28s/it]
 32%|█████████████████████████████████████▎                                                                             | 719/2215 [30:44<56:32,  2.27s/it]
 33%|█████████████████████████████████████▍                                                                             | 720/2215 [30:47<56:29,  2.27s/it]
                                                                                                                                                           
{'loss': '0.923', 'grad_norm': '0.6686', 'learning_rate': '0.0001578', 'ppl': '2.517', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2126', 'tokens/total': 5898240, 'tokens/trainable': 3010603, 'epoch': '1.625'}

 33%|█████████████████████████████████████▍                                                                             | 720/2215 [30:47<56:29,  2.27s/it]
 33%|█████████████████████████████████████▍                                                                             | 721/2215 [30:49<56:19,  2.26s/it]
 33%|█████████████████████████████████████▍                                                                             | 722/2215 [30:51<56:18,  2.26s/it]
 33%|█████████████████████████████████████▌                                                                             | 723/2215 [30:53<56:09,  2.26s/it]
 33%|█████████████████████████████████████▌                                                                             | 724/2215 [30:56<56:09,  2.26s/it]
 33%|█████████████████████████████████████▋                                                                             | 725/2215 [30:58<56:02,  2.26s/it]
 33%|█████████████████████████████████████▋                                                                             | 726/2215 [31:00<56:03,  2.26s/it]
 33%|█████████████████████████████████████▋                                                                             | 727/2215 [31:02<55:57,  2.26s/it]
 33%|█████████████████████████████████████▊                                                                             | 728/2215 [31:05<55:46,  2.25s/it]
 33%|█████████████████████████████████████▊                                                                             | 729/2215 [31:07<55:43,  2.25s/it]
 33%|█████████████████████████████████████▉                                                                             | 730/2215 [31:09<55:53,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9621', 'grad_norm': '0.7229', 'learning_rate': '0.0001566', 'ppl': '2.617', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1707', 'tokens/total': 5980160, 'tokens/trainable': 3050531, 'epoch': '1.648'}

 33%|█████████████████████████████████████▉                                                                             | 730/2215 [31:09<55:53,  2.26s/it]
 33%|█████████████████████████████████████▉                                                                             | 731/2215 [31:11<55:45,  2.25s/it]
 33%|██████████████████████████████████████                                                                             | 732/2215 [31:14<55:36,  2.25s/it]
 33%|██████████████████████████████████████                                                                             | 733/2215 [31:16<55:35,  2.25s/it]
 33%|██████████████████████████████████████                                                                             | 734/2215 [31:18<55:27,  2.25s/it]
 33%|██████████████████████████████████████▏                                                                            | 735/2215 [31:20<55:26,  2.25s/it]
 33%|██████████████████████████████████████▏                                                                            | 736/2215 [31:23<55:20,  2.25s/it]
 33%|██████████████████████████████████████▎                                                                            | 737/2215 [31:25<55:20,  2.25s/it]
 33%|██████████████████████████████████████▎                                                                            | 738/2215 [31:27<55:25,  2.25s/it]
 33%|██████████████████████████████████████▎                                                                            | 739/2215 [31:29<55:21,  2.25s/it]
 33%|██████████████████████████████████████▍                                                                            | 740/2215 [31:32<55:14,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9673', 'grad_norm': '0.6479', 'learning_rate': '0.0001554', 'ppl': '2.631', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1884', 'tokens/total': 6062080, 'tokens/trainable': 3091722, 'epoch': '1.67'}

 33%|██████████████████████████████████████▍                                                                            | 740/2215 [31:32<55:14,  2.25s/it]
 33%|██████████████████████████████████████▍                                                                            | 741/2215 [31:34<55:14,  2.25s/it]
 33%|██████████████████████████████████████▌                                                                            | 742/2215 [31:36<55:18,  2.25s/it]
 34%|██████████████████████████████████████▌                                                                            | 743/2215 [31:38<55:16,  2.25s/it]
 34%|██████████████████████████████████████▋                                                                            | 744/2215 [31:41<55:07,  2.25s/it]
 34%|██████████████████████████████████████▋                                                                            | 745/2215 [31:43<55:09,  2.25s/it]
 34%|██████████████████████████████████████▋                                                                            | 746/2215 [31:45<55:02,  2.25s/it]
 34%|██████████████████████████████████████▊                                                                            | 747/2215 [31:47<55:02,  2.25s/it]
 34%|██████████████████████████████████████▊                                                                            | 748/2215 [31:50<55:06,  2.25s/it]
 34%|██████████████████████████████████████▉                                                                            | 749/2215 [31:52<55:02,  2.25s/it]
 34%|██████████████████████████████████████▉                                                                            | 750/2215 [31:54<54:53,  2.25s/it]
                                                                                                                                                           
{'loss': '0.979', 'grad_norm': '0.6669', 'learning_rate': '0.0001542', 'ppl': '2.662', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1729', 'tokens/total': 6144000, 'tokens/trainable': 3133561, 'epoch': '1.693'}

 34%|██████████████████████████████████████▉                                                                            | 750/2215 [31:54<54:53,  2.25s/it]
 34%|██████████████████████████████████████▉                                                                            | 751/2215 [31:56<54:53,  2.25s/it]
 34%|███████████████████████████████████████                                                                            | 752/2215 [31:59<54:45,  2.25s/it]
 34%|███████████████████████████████████████                                                                            | 753/2215 [32:01<54:45,  2.25s/it]
 34%|███████████████████████████████████████▏                                                                           | 754/2215 [32:03<54:51,  2.25s/it]
 34%|███████████████████████████████████████▏                                                                           | 755/2215 [32:05<54:49,  2.25s/it]
 34%|███████████████████████████████████████▎                                                                           | 756/2215 [32:08<54:41,  2.25s/it]
 34%|███████████████████████████████████████▎                                                                           | 757/2215 [32:10<54:39,  2.25s/it]
 34%|███████████████████████████████████████▎                                                                           | 758/2215 [32:12<54:32,  2.25s/it]
 34%|███████████████████████████████████████▍                                                                           | 759/2215 [32:14<54:39,  2.25s/it]
 34%|███████████████████████████████████████▍                                                                           | 760/2215 [32:17<54:31,  2.25s/it]
                                                                                                                                                           
{'loss': '0.8856', 'grad_norm': '0.6978', 'learning_rate': '0.0001529', 'ppl': '2.424', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1812', 'tokens/total': 6225920, 'tokens/trainable': 3176732, 'epoch': '1.716'}

 34%|███████████████████████████████████████▍                                                                           | 760/2215 [32:17<54:31,  2.25s/it]
 34%|███████████████████████████████████████▌                                                                           | 761/2215 [32:19<54:31,  2.25s/it]
 34%|███████████████████████████████████████▌                                                                           | 762/2215 [32:21<54:25,  2.25s/it]
 34%|███████████████████████████████████████▌                                                                           | 763/2215 [32:23<54:25,  2.25s/it]
 34%|███████████████████████████████████████▋                                                                           | 764/2215 [32:26<54:29,  2.25s/it]
 35%|███████████████████████████████████████▋                                                                           | 765/2215 [32:28<54:25,  2.25s/it]
 35%|███████████████████████████████████████▊                                                                           | 766/2215 [32:30<54:17,  2.25s/it]
 35%|███████████████████████████████████████▊                                                                           | 767/2215 [32:32<54:16,  2.25s/it]
 35%|███████████████████████████████████████▊                                                                           | 768/2215 [32:35<54:21,  2.25s/it]
 35%|███████████████████████████████████████▉                                                                           | 769/2215 [32:37<54:17,  2.25s/it]
 35%|███████████████████████████████████████▉                                                                           | 770/2215 [32:39<54:08,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9168', 'grad_norm': '0.6628', 'learning_rate': '0.0001517', 'ppl': '2.501', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1855', 'tokens/total': 6307840, 'tokens/trainable': 3218247, 'epoch': '1.738'}

 35%|███████████████████████████████████████▉                                                                           | 770/2215 [32:39<54:08,  2.25s/it]
 35%|████████████████████████████████████████                                                                           | 771/2215 [32:41<54:10,  2.25s/it]
 35%|████████████████████████████████████████                                                                           | 772/2215 [32:44<54:03,  2.25s/it]
 35%|████████████████████████████████████████▏                                                                          | 773/2215 [32:46<54:02,  2.25s/it]
 35%|████████████████████████████████████████▏                                                                          | 774/2215 [32:48<54:02,  2.25s/it]
 35%|████████████████████████████████████████▏                                                                          | 775/2215 [32:50<54:00,  2.25s/it]
 35%|████████████████████████████████████████▎                                                                          | 776/2215 [32:53<53:53,  2.25s/it]
 35%|████████████████████████████████████████▎                                                                          | 777/2215 [32:55<53:56,  2.25s/it]
 35%|████████████████████████████████████████▍                                                                          | 778/2215 [32:57<53:48,  2.25s/it]
 35%|████████████████████████████████████████▍                                                                          | 779/2215 [32:59<53:48,  2.25s/it]
 35%|████████████████████████████████████████▍                                                                          | 780/2215 [33:02<53:52,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9013', 'grad_norm': '0.6859', 'learning_rate': '0.0001504', 'ppl': '2.463', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1929', 'tokens/total': 6389760, 'tokens/trainable': 3260617, 'epoch': '1.761'}

 35%|████████████████████████████████████████▍                                                                          | 780/2215 [33:02<53:52,  2.25s/it]
 35%|████████████████████████████████████████▌                                                                          | 781/2215 [33:04<53:50,  2.25s/it]
 35%|████████████████████████████████████████▌                                                                          | 782/2215 [33:06<53:41,  2.25s/it]
 35%|████████████████████████████████████████▋                                                                          | 783/2215 [33:08<53:40,  2.25s/it]
 35%|████████████████████████████████████████▋                                                                          | 784/2215 [33:11<53:45,  2.25s/it]
 35%|████████████████████████████████████████▊                                                                          | 785/2215 [33:13<53:41,  2.25s/it]
 35%|████████████████████████████████████████▊                                                                          | 786/2215 [33:15<53:34,  2.25s/it]
 36%|████████████████████████████████████████▊                                                                          | 787/2215 [33:17<53:35,  2.25s/it]
 36%|████████████████████████████████████████▉                                                                          | 788/2215 [33:20<54:25,  2.29s/it]
 36%|████████████████████████████████████████▉                                                                          | 789/2215 [33:22<54:02,  2.27s/it]
 36%|█████████████████████████████████████████                                                                          | 790/2215 [33:24<53:48,  2.27s/it]
                                                                                                                                                           
{'loss': '0.9428', 'grad_norm': '0.6936', 'learning_rate': '0.0001492', 'ppl': '2.567', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1824', 'tokens/total': 6471680, 'tokens/trainable': 3301315, 'epoch': '1.783'}

 36%|█████████████████████████████████████████                                                                          | 790/2215 [33:24<53:48,  2.27s/it]
 36%|█████████████████████████████████████████                                                                          | 791/2215 [33:26<53:49,  2.27s/it]
 36%|█████████████████████████████████████████                                                                          | 792/2215 [33:29<53:38,  2.26s/it]
 36%|█████████████████████████████████████████▏                                                                         | 793/2215 [33:31<53:37,  2.26s/it]
 36%|█████████████████████████████████████████▏                                                                         | 794/2215 [33:33<53:29,  2.26s/it]
 36%|█████████████████████████████████████████▎                                                                         | 795/2215 [33:35<53:30,  2.26s/it]
 36%|█████████████████████████████████████████▎                                                                         | 796/2215 [33:38<53:22,  2.26s/it]
 36%|█████████████████████████████████████████▍                                                                         | 797/2215 [33:40<53:22,  2.26s/it]
 36%|█████████████████████████████████████████▍                                                                         | 798/2215 [33:42<53:16,  2.26s/it]
 36%|█████████████████████████████████████████▍                                                                         | 799/2215 [33:44<53:17,  2.26s/it]
 36%|█████████████████████████████████████████▌                                                                         | 800/2215 [33:47<53:11,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9443', 'grad_norm': '0.6971', 'learning_rate': '0.0001479', 'ppl': '2.571', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1622', 'tokens/total': 6553600, 'tokens/trainable': 3341541, 'epoch': '1.806'}

 36%|█████████████████████████████████████████▌                                                                         | 800/2215 [33:47<53:11,  2.26s/it][2026-03-23 11:47:04,609] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:47:07,959] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4303255081176758
[2026-03-23 11:47:09,364] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.404005765914917
[2026-03-23 11:47:11,063] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6983106136322021
[2026-03-23 11:47:12,497] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4330470561981201
[2026-03-23 11:47:12,498] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.53it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.53it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.54it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.54it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.54it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.54it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.025', 'eval_runtime': '17.43', 'eval_samples_per_second': '106.3', 'eval_steps_per_second': '26.63', 'eval_ppl': '2.788', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '1.806', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 36%|█████████████████████████████████████████▌                                                                         | 800/2215 [34:12<53:11,  2.26s/it]

                                                                                                                                                           [2026-03-23 11:47:29,956] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-800

 36%|████████████████████████████████████████▊                                                                        | 801/2215 [34:17<4:07:46, 10.51s/it]
 36%|████████████████████████████████████████▉                                                                        | 802/2215 [34:19<3:09:15,  8.04s/it]
 36%|████████████████████████████████████████▉                                                                        | 803/2215 [34:21<2:28:22,  6.31s/it]
 36%|█████████████████████████████████████████                                                                        | 804/2215 [34:23<1:59:41,  5.09s/it]
 36%|█████████████████████████████████████████                                                                        | 805/2215 [34:26<1:39:30,  4.23s/it]
 36%|█████████████████████████████████████████                                                                        | 806/2215 [34:28<1:25:26,  3.64s/it]
 36%|█████████████████████████████████████████▏                                                                       | 807/2215 [34:30<1:15:40,  3.23s/it]
 36%|█████████████████████████████████████████▏                                                                       | 808/2215 [34:32<1:08:45,  2.93s/it]
 37%|█████████████████████████████████████████▎                                                                       | 809/2215 [34:35<1:03:49,  2.72s/it]
 37%|█████████████████████████████████████████▎                                                                       | 810/2215 [34:37<1:00:27,  2.58s/it]
                                                                                                                                                           
{'loss': '0.9257', 'grad_norm': '0.6748', 'learning_rate': '0.0001466', 'ppl': '2.524', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1919', 'tokens/total': 6635520, 'tokens/trainable': 3384403, 'epoch': '1.828'}

 37%|█████████████████████████████████████████▎                                                                       | 810/2215 [34:37<1:00:27,  2.58s/it]
 37%|██████████████████████████████████████████                                                                         | 811/2215 [34:39<58:14,  2.49s/it]
 37%|██████████████████████████████████████████▏                                                                        | 812/2215 [34:41<56:42,  2.43s/it]
 37%|██████████████████████████████████████████▏                                                                        | 813/2215 [34:44<55:23,  2.37s/it]
 37%|██████████████████████████████████████████▎                                                                        | 814/2215 [34:46<54:26,  2.33s/it]
 37%|██████████████████████████████████████████▎                                                                        | 815/2215 [34:48<53:51,  2.31s/it]
 37%|██████████████████████████████████████████▎                                                                        | 816/2215 [34:50<53:20,  2.29s/it]
 37%|██████████████████████████████████████████▍                                                                        | 817/2215 [34:53<52:57,  2.27s/it]
 37%|██████████████████████████████████████████▍                                                                        | 818/2215 [34:55<52:47,  2.27s/it]
 37%|██████████████████████████████████████████▌                                                                        | 819/2215 [34:57<52:32,  2.26s/it]
 37%|██████████████████████████████████████████▌                                                                        | 820/2215 [34:59<52:26,  2.26s/it]
                                                                                                                                                           
{'loss': '0.9546', 'grad_norm': '0.7293', 'learning_rate': '0.0001453', 'ppl': '2.598', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1733', 'tokens/total': 6717440, 'tokens/trainable': 3425136, 'epoch': '1.851'}

 37%|██████████████████████████████████████████▌                                                                        | 820/2215 [34:59<52:26,  2.26s/it]
 37%|██████████████████████████████████████████▋                                                                        | 821/2215 [35:02<52:31,  2.26s/it]
 37%|██████████████████████████████████████████▋                                                                        | 822/2215 [35:04<52:20,  2.25s/it]
 37%|██████████████████████████████████████████▋                                                                        | 823/2215 [35:06<52:11,  2.25s/it]
 37%|██████████████████████████████████████████▊                                                                        | 824/2215 [35:08<52:08,  2.25s/it]
 37%|██████████████████████████████████████████▊                                                                        | 825/2215 [35:11<52:17,  2.26s/it]
 37%|██████████████████████████████████████████▉                                                                        | 826/2215 [35:13<52:07,  2.25s/it]
 37%|██████████████████████████████████████████▉                                                                        | 827/2215 [35:15<51:59,  2.25s/it]
 37%|██████████████████████████████████████████▉                                                                        | 828/2215 [35:17<51:58,  2.25s/it]
 37%|███████████████████████████████████████████                                                                        | 829/2215 [35:20<52:03,  2.25s/it]
 37%|███████████████████████████████████████████                                                                        | 830/2215 [35:22<53:22,  2.31s/it]
                                                                                                                                                           
{'loss': '0.8644', 'grad_norm': '0.6446', 'learning_rate': '0.000144', 'ppl': '2.374', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1813', 'tokens/total': 6799360, 'tokens/trainable': 3468183, 'epoch': '1.874'}

 37%|███████████████████████████████████████████                                                                        | 830/2215 [35:22<53:22,  2.31s/it]
 38%|███████████████████████████████████████████▏                                                                       | 831/2215 [35:24<52:57,  2.30s/it]
 38%|███████████████████████████████████████████▏                                                                       | 832/2215 [35:27<52:41,  2.29s/it]
 38%|███████████████████████████████████████████▏                                                                       | 833/2215 [35:29<52:24,  2.28s/it]
 38%|███████████████████████████████████████████▎                                                                       | 834/2215 [35:31<52:17,  2.27s/it]
 38%|███████████████████████████████████████████▎                                                                       | 835/2215 [35:33<52:06,  2.27s/it]
 38%|███████████████████████████████████████████▍                                                                       | 836/2215 [35:36<52:03,  2.26s/it]
 38%|███████████████████████████████████████████▍                                                                       | 837/2215 [35:38<51:55,  2.26s/it]
 38%|███████████████████████████████████████████▌                                                                       | 838/2215 [35:40<51:44,  2.25s/it]
 38%|███████████████████████████████████████████▌                                                                       | 839/2215 [35:42<51:39,  2.25s/it]
 38%|███████████████████████████████████████████▌                                                                       | 840/2215 [35:45<51:31,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9275', 'grad_norm': '0.7177', 'learning_rate': '0.0001427', 'ppl': '2.528', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1764', 'tokens/total': 6881280, 'tokens/trainable': 3509749, 'epoch': '1.896'}

 38%|███████████████████████████████████████████▌                                                                       | 840/2215 [35:45<51:31,  2.25s/it]
 38%|███████████████████████████████████████████▋                                                                       | 841/2215 [35:47<51:31,  2.25s/it]
 38%|███████████████████████████████████████████▋                                                                       | 842/2215 [35:49<51:35,  2.25s/it]
 38%|███████████████████████████████████████████▊                                                                       | 843/2215 [35:51<51:30,  2.25s/it]
 38%|███████████████████████████████████████████▊                                                                       | 844/2215 [35:54<51:28,  2.25s/it]
 38%|███████████████████████████████████████████▊                                                                       | 845/2215 [35:56<51:25,  2.25s/it]
 38%|███████████████████████████████████████████▉                                                                       | 846/2215 [35:58<51:18,  2.25s/it]
 38%|███████████████████████████████████████████▉                                                                       | 847/2215 [36:00<51:16,  2.25s/it]
 38%|████████████████████████████████████████████                                                                       | 848/2215 [36:03<51:09,  2.25s/it]
 38%|████████████████████████████████████████████                                                                       | 849/2215 [36:05<51:08,  2.25s/it]
 38%|████████████████████████████████████████████▏                                                                      | 850/2215 [36:07<51:13,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9343', 'grad_norm': '0.7548', 'learning_rate': '0.0001413', 'ppl': '2.545', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1818', 'tokens/total': 6963200, 'tokens/trainable': 3550108, 'epoch': '1.919'}

 38%|████████████████████████████████████████████▏                                                                      | 850/2215 [36:07<51:13,  2.25s/it]
 38%|████████████████████████████████████████████▏                                                                      | 851/2215 [36:09<51:16,  2.26s/it]
 38%|████████████████████████████████████████████▏                                                                      | 852/2215 [36:12<51:08,  2.25s/it]
 39%|████████████████████████████████████████████▎                                                                      | 853/2215 [36:14<51:05,  2.25s/it]
 39%|████████████████████████████████████████████▎                                                                      | 854/2215 [36:16<50:59,  2.25s/it]
 39%|████████████████████████████████████████████▍                                                                      | 855/2215 [36:18<50:57,  2.25s/it]
 39%|████████████████████████████████████████████▍                                                                      | 856/2215 [36:21<51:01,  2.25s/it]
 39%|████████████████████████████████████████████▍                                                                      | 857/2215 [36:23<50:58,  2.25s/it]
 39%|████████████████████████████████████████████▌                                                                      | 858/2215 [36:25<50:51,  2.25s/it]
 39%|████████████████████████████████████████████▌                                                                      | 859/2215 [36:28<52:45,  2.33s/it]
 39%|████████████████████████████████████████████▋                                                                      | 860/2215 [36:30<52:04,  2.31s/it]
                                                                                                                                                           
{'loss': '0.9115', 'grad_norm': '0.6384', 'learning_rate': '0.00014', 'ppl': '2.488', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1916', 'tokens/total': 7045120, 'tokens/trainable': 3592375, 'epoch': '1.941'}

 39%|████████████████████████████████████████████▋                                                                      | 860/2215 [36:30<52:04,  2.31s/it]
 39%|████████████████████████████████████████████▋                                                                      | 861/2215 [36:32<51:37,  2.29s/it]
 39%|████████████████████████████████████████████▊                                                                      | 862/2215 [36:34<51:17,  2.27s/it]
 39%|████████████████████████████████████████████▊                                                                      | 863/2215 [36:37<51:00,  2.26s/it]
 39%|████████████████████████████████████████████▊                                                                      | 864/2215 [36:39<50:52,  2.26s/it]
 39%|████████████████████████████████████████████▉                                                                      | 865/2215 [36:41<50:43,  2.25s/it]
 39%|████████████████████████████████████████████▉                                                                      | 866/2215 [36:43<50:39,  2.25s/it]
 39%|█████████████████████████████████████████████                                                                      | 867/2215 [36:46<50:42,  2.26s/it]
 39%|█████████████████████████████████████████████                                                                      | 868/2215 [36:48<50:37,  2.25s/it]
 39%|█████████████████████████████████████████████                                                                      | 869/2215 [36:50<50:28,  2.25s/it]
 39%|█████████████████████████████████████████████▏                                                                     | 870/2215 [36:52<50:25,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9442', 'grad_norm': '0.7083', 'learning_rate': '0.0001387', 'ppl': '2.571', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1728', 'tokens/total': 7127040, 'tokens/trainable': 3633632, 'epoch': '1.964'}

 39%|█████████████████████████████████████████████▏                                                                     | 870/2215 [36:52<50:25,  2.25s/it]
 39%|█████████████████████████████████████████████▏                                                                     | 871/2215 [36:55<50:31,  2.26s/it]
 39%|█████████████████████████████████████████████▎                                                                     | 872/2215 [36:57<50:26,  2.25s/it]
 39%|█████████████████████████████████████████████▎                                                                     | 873/2215 [36:59<50:23,  2.25s/it]
 39%|█████████████████████████████████████████████▍                                                                     | 874/2215 [37:01<50:18,  2.25s/it]
 40%|█████████████████████████████████████████████▍                                                                     | 875/2215 [37:04<50:10,  2.25s/it]
 40%|█████████████████████████████████████████████▍                                                                     | 876/2215 [37:06<50:09,  2.25s/it]
 40%|█████████████████████████████████████████████▌                                                                     | 877/2215 [37:08<50:03,  2.24s/it]
 40%|█████████████████████████████████████████████▌                                                                     | 878/2215 [37:10<50:02,  2.25s/it]
 40%|█████████████████████████████████████████████▋                                                                     | 879/2215 [37:13<50:07,  2.25s/it]
 40%|█████████████████████████████████████████████▋                                                                     | 880/2215 [37:15<50:05,  2.25s/it]
                                                                                                                                                           
{'loss': '0.9615', 'grad_norm': '0.7055', 'learning_rate': '0.0001373', 'ppl': '2.616', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1735', 'tokens/total': 7208960, 'tokens/trainable': 3674053, 'epoch': '1.986'}

 40%|█████████████████████████████████████████████▋                                                                     | 880/2215 [37:15<50:05,  2.25s/it]
 40%|█████████████████████████████████████████████▋                                                                     | 881/2215 [37:17<50:00,  2.25s/it]
 40%|█████████████████████████████████████████████▊                                                                     | 882/2215 [37:19<50:00,  2.25s/it]
 40%|█████████████████████████████████████████████▊                                                                     | 883/2215 [37:22<50:04,  2.26s/it]
 40%|█████████████████████████████████████████████▉                                                                     | 884/2215 [37:24<50:03,  2.26s/it]
 40%|█████████████████████████████████████████████▉                                                                     | 885/2215 [37:26<49:54,  2.25s/it]
 40%|██████████████████████████████████████████████                                                                     | 886/2215 [37:28<50:35,  2.28s/it]
 40%|█████████████████████████████████████████████▎                                                                   | 887/2215 [37:33<1:05:48,  2.97s/it]
 40%|█████████████████████████████████████████████▎                                                                   | 888/2215 [37:35<1:00:58,  2.76s/it]
 40%|██████████████████████████████████████████████▏                                                                    | 889/2215 [37:38<57:45,  2.61s/it]
 40%|██████████████████████████████████████████████▏                                                                    | 890/2215 [37:40<55:20,  2.51s/it]
                                                                                                                                                           
{'loss': '0.8796', 'grad_norm': '0.6361', 'learning_rate': '0.0001359', 'ppl': '2.41', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1773', 'tokens/total': 7290880, 'tokens/trainable': 3714418, 'epoch': '2.009'}

 40%|██████████████████████████████████████████████▏                                                                    | 890/2215 [37:40<55:20,  2.51s/it]
 40%|██████████████████████████████████████████████▎                                                                    | 891/2215 [37:42<53:44,  2.44s/it]
 40%|██████████████████████████████████████████████▎                                                                    | 892/2215 [37:44<52:24,  2.38s/it]
 40%|██████████████████████████████████████████████▎                                                                    | 893/2215 [37:47<51:26,  2.33s/it]
 40%|██████████████████████████████████████████████▍                                                                    | 894/2215 [37:49<50:50,  2.31s/it]
 40%|██████████████████████████████████████████████▍                                                                    | 895/2215 [37:51<50:30,  2.30s/it]
 40%|██████████████████████████████████████████████▌                                                                    | 896/2215 [37:53<50:11,  2.28s/it]
 40%|██████████████████████████████████████████████▌                                                                    | 897/2215 [37:56<49:52,  2.27s/it]
 41%|██████████████████████████████████████████████▌                                                                    | 898/2215 [37:58<49:43,  2.27s/it]
 41%|██████████████████████████████████████████████▋                                                                    | 899/2215 [38:00<49:30,  2.26s/it]
 41%|██████████████████████████████████████████████▋                                                                    | 900/2215 [38:02<49:26,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7065', 'grad_norm': '0.7728', 'learning_rate': '0.0001346', 'ppl': '2.027', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1868', 'tokens/total': 7372800, 'tokens/trainable': 3756968, 'epoch': '2.032'}

 41%|██████████████████████████████████████████████▋                                                                    | 900/2215 [38:02<49:26,  2.26s/it][2026-03-23 11:51:20,155] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:51:23,733] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.2809431552886963
[2026-03-23 11:51:25,427] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6930623054504395
[2026-03-23 11:51:26,783] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.354907751083374
[2026-03-23 11:51:28,508] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7244408130645752
[2026-03-23 11:51:28,508] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.67it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.05', 'eval_runtime': '17.44', 'eval_samples_per_second': '106.3', 'eval_steps_per_second': '26.61', 'eval_ppl': '2.856', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '2.032', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]
 41%|██████████████████████████████████████████████▋                                                                    | 900/2215 [38:28<49:26,  2.26s/it]

                                                                                                                                                           [2026-03-23 11:51:45,979] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-900

 41%|█████████████████████████████████████████████▉                                                                   | 901/2215 [38:32<3:50:54, 10.54s/it]
 41%|██████████████████████████████████████████████                                                                   | 902/2215 [38:34<2:56:23,  8.06s/it]
 41%|██████████████████████████████████████████████                                                                   | 903/2215 [38:37<2:18:15,  6.32s/it]
 41%|██████████████████████████████████████████████                                                                   | 904/2215 [38:39<1:51:35,  5.11s/it]
 41%|██████████████████████████████████████████████▏                                                                  | 905/2215 [38:41<1:32:48,  4.25s/it]
 41%|██████████████████████████████████████████████▏                                                                  | 906/2215 [38:44<1:19:49,  3.66s/it]
 41%|██████████████████████████████████████████████▎                                                                  | 907/2215 [38:46<1:10:34,  3.24s/it]
 41%|██████████████████████████████████████████████▎                                                                  | 908/2215 [38:48<1:04:09,  2.95s/it]
 41%|███████████████████████████████████████████████▏                                                                   | 909/2215 [38:50<59:34,  2.74s/it]
 41%|███████████████████████████████████████████████▏                                                                   | 910/2215 [38:53<56:28,  2.60s/it]
                                                                                                                                                           
{'loss': '0.7098', 'grad_norm': '0.6714', 'learning_rate': '0.0001332', 'ppl': '2.034', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1967', 'tokens/total': 7454720, 'tokens/trainable': 3798423, 'epoch': '2.054'}

 41%|███████████████████████████████████████████████▏                                                                   | 910/2215 [38:53<56:28,  2.60s/it]
 41%|███████████████████████████████████████████████▎                                                                   | 911/2215 [38:55<54:12,  2.49s/it]
 41%|███████████████████████████████████████████████▎                                                                   | 912/2215 [38:57<52:32,  2.42s/it]
 41%|███████████████████████████████████████████████▍                                                                   | 913/2215 [38:59<51:28,  2.37s/it]
 41%|███████████████████████████████████████████████▍                                                                   | 914/2215 [39:02<50:35,  2.33s/it]
 41%|███████████████████████████████████████████████▌                                                                   | 915/2215 [39:04<50:34,  2.33s/it]
 41%|███████████████████████████████████████████████▌                                                                   | 916/2215 [39:06<49:59,  2.31s/it]
 41%|███████████████████████████████████████████████▌                                                                   | 917/2215 [39:08<49:41,  2.30s/it]
 41%|███████████████████████████████████████████████▋                                                                   | 918/2215 [39:11<49:21,  2.28s/it]
 41%|███████████████████████████████████████████████▋                                                                   | 919/2215 [39:13<49:11,  2.28s/it]
 42%|███████████████████████████████████████████████▊                                                                   | 920/2215 [39:15<48:58,  2.27s/it]
                                                                                                                                                           
{'loss': '0.7128', 'grad_norm': '0.7616', 'learning_rate': '0.0001318', 'ppl': '2.04', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1895', 'tokens/total': 7536640, 'tokens/trainable': 3841507, 'epoch': '2.077'}

 42%|███████████████████████████████████████████████▊                                                                   | 920/2215 [39:15<48:58,  2.27s/it]
 42%|███████████████████████████████████████████████▊                                                                   | 921/2215 [39:17<48:56,  2.27s/it]
 42%|███████████████████████████████████████████████▊                                                                   | 922/2215 [39:20<48:47,  2.26s/it]
 42%|███████████████████████████████████████████████▉                                                                   | 923/2215 [39:22<48:45,  2.26s/it]
 42%|███████████████████████████████████████████████▉                                                                   | 924/2215 [39:24<48:37,  2.26s/it]
 42%|████████████████████████████████████████████████                                                                   | 925/2215 [39:26<48:38,  2.26s/it]
 42%|████████████████████████████████████████████████                                                                   | 926/2215 [39:29<48:32,  2.26s/it]
 42%|████████████████████████████████████████████████▏                                                                  | 927/2215 [39:31<48:32,  2.26s/it]
 42%|████████████████████████████████████████████████▏                                                                  | 928/2215 [39:33<48:28,  2.26s/it]
 42%|████████████████████████████████████████████████▏                                                                  | 929/2215 [39:36<48:28,  2.26s/it]
 42%|████████████████████████████████████████████████▎                                                                  | 930/2215 [39:38<49:56,  2.33s/it]
                                                                                                                                                           
{'loss': '0.6731', 'grad_norm': '0.7195', 'learning_rate': '0.0001304', 'ppl': '1.96', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1804', 'tokens/total': 7618560, 'tokens/trainable': 3884619, 'epoch': '2.099'}

 42%|████████████████████████████████████████████████▎                                                                  | 930/2215 [39:38<49:56,  2.33s/it]
 42%|████████████████████████████████████████████████▎                                                                  | 931/2215 [39:40<49:23,  2.31s/it]
 42%|████████████████████████████████████████████████▍                                                                  | 932/2215 [39:43<49:06,  2.30s/it]
 42%|████████████████████████████████████████████████▍                                                                  | 933/2215 [39:45<48:47,  2.28s/it]
 42%|████████████████████████████████████████████████▍                                                                  | 934/2215 [39:47<48:40,  2.28s/it]
 42%|████████████████████████████████████████████████▌                                                                  | 935/2215 [39:49<48:23,  2.27s/it]
 42%|████████████████████████████████████████████████▌                                                                  | 936/2215 [39:52<48:10,  2.26s/it]
 42%|████████████████████████████████████████████████▋                                                                  | 937/2215 [39:54<48:06,  2.26s/it]
 42%|████████████████████████████████████████████████▋                                                                  | 938/2215 [39:56<48:07,  2.26s/it]
 42%|████████████████████████████████████████████████▊                                                                  | 939/2215 [39:58<47:57,  2.25s/it]
 42%|████████████████████████████████████████████████▊                                                                  | 940/2215 [40:01<47:49,  2.25s/it]
                                                                                                                                                           
{'loss': '0.73', 'grad_norm': '0.7548', 'learning_rate': '0.000129', 'ppl': '2.075', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1944', 'tokens/total': 7700480, 'tokens/trainable': 3927608, 'epoch': '2.122'}

 42%|████████████████████████████████████████████████▊                                                                  | 940/2215 [40:01<47:49,  2.25s/it]
 42%|████████████████████████████████████████████████▊                                                                  | 941/2215 [40:03<47:49,  2.25s/it]
 43%|████████████████████████████████████████████████▉                                                                  | 942/2215 [40:05<47:42,  2.25s/it]
 43%|████████████████████████████████████████████████▉                                                                  | 943/2215 [40:07<47:41,  2.25s/it]
 43%|█████████████████████████████████████████████████                                                                  | 944/2215 [40:10<47:41,  2.25s/it]
 43%|█████████████████████████████████████████████████                                                                  | 945/2215 [40:12<47:40,  2.25s/it]
 43%|█████████████████████████████████████████████████                                                                  | 946/2215 [40:14<47:35,  2.25s/it]
 43%|█████████████████████████████████████████████████▏                                                                 | 947/2215 [40:16<47:33,  2.25s/it]
 43%|█████████████████████████████████████████████████▏                                                                 | 948/2215 [40:19<47:27,  2.25s/it]
 43%|█████████████████████████████████████████████████▎                                                                 | 949/2215 [40:21<47:27,  2.25s/it]
 43%|█████████████████████████████████████████████████▎                                                                 | 950/2215 [40:23<47:22,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6764', 'grad_norm': '0.7847', 'learning_rate': '0.0001276', 'ppl': '1.967', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1752', 'tokens/total': 7782400, 'tokens/trainable': 3968389, 'epoch': '2.144'}

 43%|█████████████████████████████████████████████████▎                                                                 | 950/2215 [40:23<47:22,  2.25s/it]
 43%|█████████████████████████████████████████████████▎                                                                 | 951/2215 [40:25<47:23,  2.25s/it]
 43%|█████████████████████████████████████████████████▍                                                                 | 952/2215 [40:28<47:28,  2.26s/it]
 43%|█████████████████████████████████████████████████▍                                                                 | 953/2215 [40:30<47:21,  2.25s/it]
 43%|█████████████████████████████████████████████████▌                                                                 | 954/2215 [40:32<47:16,  2.25s/it]
 43%|█████████████████████████████████████████████████▌                                                                 | 955/2215 [40:34<47:17,  2.25s/it]
 43%|█████████████████████████████████████████████████▋                                                                 | 956/2215 [40:37<47:11,  2.25s/it]
 43%|█████████████████████████████████████████████████▋                                                                 | 957/2215 [40:39<47:11,  2.25s/it]
 43%|█████████████████████████████████████████████████▋                                                                 | 958/2215 [40:41<47:06,  2.25s/it]
 43%|█████████████████████████████████████████████████▊                                                                 | 959/2215 [40:44<48:54,  2.34s/it]
 43%|█████████████████████████████████████████████████▊                                                                 | 960/2215 [40:46<48:28,  2.32s/it]
                                                                                                                                                           
{'loss': '0.6936', 'grad_norm': '0.6967', 'learning_rate': '0.0001262', 'ppl': '2.001', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1920', 'tokens/total': 7864320, 'tokens/trainable': 4011163, 'epoch': '2.167'}

 43%|█████████████████████████████████████████████████▊                                                                 | 960/2215 [40:46<48:28,  2.32s/it]
 43%|█████████████████████████████████████████████████▉                                                                 | 961/2215 [40:48<48:02,  2.30s/it]
 43%|█████████████████████████████████████████████████▉                                                                 | 962/2215 [40:50<47:46,  2.29s/it]
 43%|█████████████████████████████████████████████████▉                                                                 | 963/2215 [40:53<47:31,  2.28s/it]
 44%|██████████████████████████████████████████████████                                                                 | 964/2215 [40:55<47:25,  2.27s/it]
 44%|██████████████████████████████████████████████████                                                                 | 965/2215 [40:57<47:15,  2.27s/it]
 44%|██████████████████████████████████████████████████▏                                                                | 966/2215 [40:59<47:11,  2.27s/it]
 44%|██████████████████████████████████████████████████▏                                                                | 967/2215 [41:02<47:04,  2.26s/it]
 44%|██████████████████████████████████████████████████▎                                                                | 968/2215 [41:04<47:03,  2.26s/it]
 44%|██████████████████████████████████████████████████▎                                                                | 969/2215 [41:06<46:55,  2.26s/it]
 44%|██████████████████████████████████████████████████▎                                                                | 970/2215 [41:08<46:55,  2.26s/it]
                                                                                                                                                           
{'loss': '0.711', 'grad_norm': '0.8789', 'learning_rate': '0.0001248', 'ppl': '2.036', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1718', 'tokens/total': 7946240, 'tokens/trainable': 4052908, 'epoch': '2.19'}

 44%|██████████████████████████████████████████████████▎                                                                | 970/2215 [41:08<46:55,  2.26s/it]
 44%|██████████████████████████████████████████████████▍                                                                | 971/2215 [41:11<46:51,  2.26s/it]
 44%|██████████████████████████████████████████████████▍                                                                | 972/2215 [41:13<46:51,  2.26s/it]
 44%|██████████████████████████████████████████████████▌                                                                | 973/2215 [41:15<46:50,  2.26s/it]
 44%|██████████████████████████████████████████████████▌                                                                | 974/2215 [41:18<46:48,  2.26s/it]
 44%|██████████████████████████████████████████████████▌                                                                | 975/2215 [41:20<46:41,  2.26s/it]
 44%|██████████████████████████████████████████████████▋                                                                | 976/2215 [41:22<46:42,  2.26s/it]
 44%|██████████████████████████████████████████████████▋                                                                | 977/2215 [41:24<46:37,  2.26s/it]
 44%|██████████████████████████████████████████████████▊                                                                | 978/2215 [41:27<46:29,  2.25s/it]
 44%|██████████████████████████████████████████████████▊                                                                | 979/2215 [41:29<46:25,  2.25s/it]
 44%|██████████████████████████████████████████████████▉                                                                | 980/2215 [41:31<46:29,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7357', 'grad_norm': '0.7501', 'learning_rate': '0.0001234', 'ppl': '2.087', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1926', 'tokens/total': 8028160, 'tokens/trainable': 4093824, 'epoch': '2.212'}

 44%|██████████████████████████████████████████████████▉                                                                | 980/2215 [41:31<46:29,  2.26s/it]
 44%|██████████████████████████████████████████████████▉                                                                | 981/2215 [41:33<46:26,  2.26s/it]
 44%|██████████████████████████████████████████████████▉                                                                | 982/2215 [41:36<46:17,  2.25s/it]
 44%|███████████████████████████████████████████████████                                                                | 983/2215 [41:38<46:15,  2.25s/it]
 44%|███████████████████████████████████████████████████                                                                | 984/2215 [41:40<46:18,  2.26s/it]
 44%|███████████████████████████████████████████████████▏                                                               | 985/2215 [41:42<46:10,  2.25s/it]
 45%|███████████████████████████████████████████████████▏                                                               | 986/2215 [41:45<46:04,  2.25s/it]
 45%|███████████████████████████████████████████████████▏                                                               | 987/2215 [41:47<46:06,  2.25s/it]
 45%|███████████████████████████████████████████████████▎                                                               | 988/2215 [41:49<46:04,  2.25s/it]
 45%|███████████████████████████████████████████████████▎                                                               | 989/2215 [41:51<46:03,  2.25s/it]
 45%|███████████████████████████████████████████████████▍                                                               | 990/2215 [41:54<45:55,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6657', 'grad_norm': '0.7933', 'learning_rate': '0.000122', 'ppl': '1.946', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1876', 'tokens/total': 8110080, 'tokens/trainable': 4136872, 'epoch': '2.235'}

 45%|███████████████████████████████████████████████████▍                                                               | 990/2215 [41:54<45:55,  2.25s/it]
 45%|███████████████████████████████████████████████████▍                                                               | 991/2215 [41:56<45:55,  2.25s/it]
 45%|███████████████████████████████████████████████████▌                                                               | 992/2215 [41:58<45:51,  2.25s/it]
 45%|███████████████████████████████████████████████████▌                                                               | 993/2215 [42:00<45:49,  2.25s/it]
 45%|███████████████████████████████████████████████████▌                                                               | 994/2215 [42:03<45:43,  2.25s/it]
 45%|███████████████████████████████████████████████████▋                                                               | 995/2215 [42:05<45:43,  2.25s/it]
 45%|███████████████████████████████████████████████████▋                                                               | 996/2215 [42:07<45:38,  2.25s/it]
 45%|███████████████████████████████████████████████████▊                                                               | 997/2215 [42:09<45:38,  2.25s/it]
 45%|███████████████████████████████████████████████████▊                                                               | 998/2215 [42:12<45:43,  2.25s/it]
 45%|███████████████████████████████████████████████████▊                                                               | 999/2215 [42:14<45:35,  2.25s/it]
 45%|███████████████████████████████████████████████████▍                                                              | 1000/2215 [42:16<45:30,  2.25s/it]
                                                                                                                                                           
{'loss': '0.721', 'grad_norm': '0.7553', 'learning_rate': '0.0001205', 'ppl': '2.056', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1889', 'tokens/total': 8192000, 'tokens/trainable': 4178907, 'epoch': '2.257'}

 45%|███████████████████████████████████████████████████▍                                                              | 1000/2215 [42:16<45:30,  2.25s/it][2026-03-23 11:55:33,902] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:55:37,018] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7157249450683594
[2026-03-23 11:55:38,685] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6660213470458984
[2026-03-23 11:55:40,328] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.642103672027588
[2026-03-23 11:55:41,733] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4039971828460693
[2026-03-23 11:55:41,733] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.67it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.031', 'eval_runtime': '17.56', 'eval_samples_per_second': '105.5', 'eval_steps_per_second': '26.43', 'eval_ppl': '2.803', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '2.257', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 45%|███████████████████████████████████████████████████▍                                                              | 1000/2215 [42:41<45:30,  2.25s/it]

                                                                                                                                                           [2026-03-23 11:55:59,305] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1000

 45%|██████████████████████████████████████████████████▌                                                             | 1001/2215 [42:46<3:30:57, 10.43s/it]
 45%|██████████████████████████████████████████████████▋                                                             | 1002/2215 [42:48<2:41:19,  7.98s/it]
 45%|██████████████████████████████████████████████████▋                                                             | 1003/2215 [42:50<2:06:26,  6.26s/it]
 45%|██████████████████████████████████████████████████▊                                                             | 1004/2215 [42:52<1:42:00,  5.05s/it]
 45%|██████████████████████████████████████████████████▊                                                             | 1005/2215 [42:55<1:24:54,  4.21s/it]
 45%|██████████████████████████████████████████████████▊                                                             | 1006/2215 [42:57<1:13:01,  3.62s/it]
 45%|██████████████████████████████████████████████████▉                                                             | 1007/2215 [42:59<1:04:38,  3.21s/it]
 46%|███████████████████████████████████████████████████▉                                                              | 1008/2215 [43:01<58:47,  2.92s/it]
 46%|███████████████████████████████████████████████████▉                                                              | 1009/2215 [43:04<54:38,  2.72s/it]
 46%|███████████████████████████████████████████████████▉                                                              | 1010/2215 [43:06<51:45,  2.58s/it]
                                                                                                                                                           
{'loss': '0.6848', 'grad_norm': '0.7954', 'learning_rate': '0.0001191', 'ppl': '1.983', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1883', 'tokens/total': 8273920, 'tokens/trainable': 4221254, 'epoch': '2.28'}

 46%|███████████████████████████████████████████████████▉                                                              | 1010/2215 [43:06<51:45,  2.58s/it]
 46%|████████████████████████████████████████████████████                                                              | 1011/2215 [43:08<49:59,  2.49s/it]
 46%|████████████████████████████████████████████████████                                                              | 1012/2215 [43:10<48:26,  2.42s/it]
 46%|████████████████████████████████████████████████████▏                                                             | 1013/2215 [43:13<47:19,  2.36s/it]
 46%|████████████████████████████████████████████████████▏                                                             | 1014/2215 [43:15<46:34,  2.33s/it]
 46%|████████████████████████████████████████████████████▏                                                             | 1015/2215 [43:17<45:59,  2.30s/it]
 46%|████████████████████████████████████████████████████▎                                                             | 1016/2215 [43:19<45:40,  2.29s/it]
 46%|████████████████████████████████████████████████████▎                                                             | 1017/2215 [43:22<45:20,  2.27s/it]
 46%|████████████████████████████████████████████████████▍                                                             | 1018/2215 [43:24<45:10,  2.26s/it]
 46%|████████████████████████████████████████████████████▍                                                             | 1019/2215 [43:26<45:08,  2.26s/it]
 46%|████████████████████████████████████████████████████▍                                                             | 1020/2215 [43:28<45:00,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7389', 'grad_norm': '0.7661', 'learning_rate': '0.0001177', 'ppl': '2.094', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1894', 'tokens/total': 8355840, 'tokens/trainable': 4262418, 'epoch': '2.302'}

 46%|████████████████████████████████████████████████████▍                                                             | 1020/2215 [43:28<45:00,  2.26s/it]
 46%|████████████████████████████████████████████████████▌                                                             | 1021/2215 [43:31<44:52,  2.26s/it]
 46%|████████████████████████████████████████████████████▌                                                             | 1022/2215 [43:33<44:49,  2.25s/it]
 46%|████████████████████████████████████████████████████▋                                                             | 1023/2215 [43:35<44:41,  2.25s/it]
 46%|████████████████████████████████████████████████████▋                                                             | 1024/2215 [43:37<44:38,  2.25s/it]
 46%|████████████████████████████████████████████████████▊                                                             | 1025/2215 [43:40<44:42,  2.25s/it]
 46%|████████████████████████████████████████████████████▊                                                             | 1026/2215 [43:42<44:39,  2.25s/it]
 46%|████████████████████████████████████████████████████▊                                                             | 1027/2215 [43:44<44:32,  2.25s/it]
 46%|████████████████████████████████████████████████████▉                                                             | 1028/2215 [43:46<44:30,  2.25s/it]
 46%|████████████████████████████████████████████████████▉                                                             | 1029/2215 [43:49<44:34,  2.26s/it]
 47%|█████████████████████████████████████████████████████                                                             | 1030/2215 [43:51<44:37,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7322', 'grad_norm': '0.7948', 'learning_rate': '0.0001162', 'ppl': '2.08', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1962', 'tokens/total': 8437760, 'tokens/trainable': 4304266, 'epoch': '2.325'}

 47%|█████████████████████████████████████████████████████                                                             | 1030/2215 [43:51<44:37,  2.26s/it]
 47%|█████████████████████████████████████████████████████                                                             | 1031/2215 [43:53<44:29,  2.25s/it]
 47%|█████████████████████████████████████████████████████                                                             | 1032/2215 [43:55<44:21,  2.25s/it]
 47%|█████████████████████████████████████████████████████▏                                                            | 1033/2215 [43:58<44:20,  2.25s/it]
 47%|█████████████████████████████████████████████████████▏                                                            | 1034/2215 [44:00<44:14,  2.25s/it]
 47%|█████████████████████████████████████████████████████▎                                                            | 1035/2215 [44:02<44:08,  2.24s/it]
 47%|█████████████████████████████████████████████████████▎                                                            | 1036/2215 [44:04<44:09,  2.25s/it]
 47%|█████████████████████████████████████████████████████▎                                                            | 1037/2215 [44:07<44:05,  2.25s/it]
 47%|█████████████████████████████████████████████████████▍                                                            | 1038/2215 [44:09<44:04,  2.25s/it]
 47%|█████████████████████████████████████████████████████▍                                                            | 1039/2215 [44:11<44:07,  2.25s/it]
 47%|█████████████████████████████████████████████████████▌                                                            | 1040/2215 [44:13<44:05,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7405', 'grad_norm': '0.7991', 'learning_rate': '0.0001148', 'ppl': '2.097', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1833', 'tokens/total': 8519680, 'tokens/trainable': 4345873, 'epoch': '2.348'}

 47%|█████████████████████████████████████████████████████▌                                                            | 1040/2215 [44:13<44:05,  2.25s/it]
 47%|█████████████████████████████████████████████████████▌                                                            | 1041/2215 [44:16<44:01,  2.25s/it]
 47%|█████████████████████████████████████████████████████▋                                                            | 1042/2215 [44:18<44:03,  2.25s/it]
 47%|█████████████████████████████████████████████████████▋                                                            | 1043/2215 [44:20<43:56,  2.25s/it]
 47%|█████████████████████████████████████████████████████▋                                                            | 1044/2215 [44:22<43:56,  2.25s/it]
 47%|█████████████████████████████████████████████████████▊                                                            | 1045/2215 [44:25<43:56,  2.25s/it]
 47%|█████████████████████████████████████████████████████▊                                                            | 1046/2215 [44:27<43:49,  2.25s/it]
 47%|█████████████████████████████████████████████████████▉                                                            | 1047/2215 [44:29<43:44,  2.25s/it]
 47%|█████████████████████████████████████████████████████▉                                                            | 1048/2215 [44:31<43:44,  2.25s/it]
 47%|█████████████████████████████████████████████████████▉                                                            | 1049/2215 [44:34<43:37,  2.25s/it]
 47%|██████████████████████████████████████████████████████                                                            | 1050/2215 [44:36<43:37,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6951', 'grad_norm': '0.7613', 'learning_rate': '0.0001133', 'ppl': '2.004', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2004', 'tokens/total': 8601600, 'tokens/trainable': 4387435, 'epoch': '2.37'}

 47%|██████████████████████████████████████████████████████                                                            | 1050/2215 [44:36<43:37,  2.25s/it]
 47%|██████████████████████████████████████████████████████                                                            | 1051/2215 [44:38<43:42,  2.25s/it]
 47%|██████████████████████████████████████████████████████▏                                                           | 1052/2215 [44:40<43:40,  2.25s/it]
 48%|██████████████████████████████████████████████████████▏                                                           | 1053/2215 [44:43<43:33,  2.25s/it]
 48%|██████████████████████████████████████████████████████▏                                                           | 1054/2215 [44:45<43:32,  2.25s/it]
 48%|██████████████████████████████████████████████████████▎                                                           | 1055/2215 [44:47<43:26,  2.25s/it]
 48%|██████████████████████████████████████████████████████▎                                                           | 1056/2215 [44:49<43:25,  2.25s/it]
 48%|██████████████████████████████████████████████████████▍                                                           | 1057/2215 [44:52<43:29,  2.25s/it]
 48%|██████████████████████████████████████████████████████▍                                                           | 1058/2215 [44:54<43:27,  2.25s/it]
 48%|██████████████████████████████████████████████████████▌                                                           | 1059/2215 [44:56<43:26,  2.25s/it]
 48%|██████████████████████████████████████████████████████▌                                                           | 1060/2215 [44:58<43:19,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7455', 'grad_norm': '0.8204', 'learning_rate': '0.0001119', 'ppl': '2.107', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1749', 'tokens/total': 8683520, 'tokens/trainable': 4428460, 'epoch': '2.393'}

 48%|██████████████████████████████████████████████████████▌                                                           | 1060/2215 [44:58<43:19,  2.25s/it]
 48%|██████████████████████████████████████████████████████▌                                                           | 1061/2215 [45:01<43:14,  2.25s/it]
 48%|██████████████████████████████████████████████████████▋                                                           | 1062/2215 [45:03<43:13,  2.25s/it]
 48%|██████████████████████████████████████████████████████▋                                                           | 1063/2215 [45:05<43:08,  2.25s/it]
 48%|██████████████████████████████████████████████████████▊                                                           | 1064/2215 [45:07<43:09,  2.25s/it]
 48%|██████████████████████████████████████████████████████▊                                                           | 1065/2215 [45:10<43:04,  2.25s/it]
 48%|██████████████████████████████████████████████████████▊                                                           | 1066/2215 [45:12<43:03,  2.25s/it]
 48%|██████████████████████████████████████████████████████▉                                                           | 1067/2215 [45:14<43:08,  2.25s/it]
 48%|██████████████████████████████████████████████████████▉                                                           | 1068/2215 [45:16<43:01,  2.25s/it]
 48%|███████████████████████████████████████████████████████                                                           | 1069/2215 [45:19<42:56,  2.25s/it]
 48%|███████████████████████████████████████████████████████                                                           | 1070/2215 [45:21<42:55,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6842', 'grad_norm': '0.8039', 'learning_rate': '0.0001104', 'ppl': '1.982', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1821', 'tokens/total': 8765440, 'tokens/trainable': 4469784, 'epoch': '2.415'}

 48%|███████████████████████████████████████████████████████                                                           | 1070/2215 [45:21<42:55,  2.25s/it]
 48%|███████████████████████████████████████████████████████                                                           | 1071/2215 [45:23<42:51,  2.25s/it]
 48%|███████████████████████████████████████████████████████▏                                                          | 1072/2215 [45:25<42:51,  2.25s/it]
 48%|███████████████████████████████████████████████████████▏                                                          | 1073/2215 [45:28<42:54,  2.25s/it]
 48%|███████████████████████████████████████████████████████▎                                                          | 1074/2215 [45:30<42:51,  2.25s/it]
 49%|███████████████████████████████████████████████████████▎                                                          | 1075/2215 [45:32<42:45,  2.25s/it]
 49%|███████████████████████████████████████████████████████▍                                                          | 1076/2215 [45:34<42:44,  2.25s/it]
 49%|███████████████████████████████████████████████████████▍                                                          | 1077/2215 [45:37<42:40,  2.25s/it]
 49%|███████████████████████████████████████████████████████▍                                                          | 1078/2215 [45:39<42:39,  2.25s/it]
 49%|███████████████████████████████████████████████████████▌                                                          | 1079/2215 [45:41<42:32,  2.25s/it]
 49%|███████████████████████████████████████████████████████▌                                                          | 1080/2215 [45:43<42:33,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7427', 'grad_norm': '0.794', 'learning_rate': '0.000109', 'ppl': '2.102', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1733', 'tokens/total': 8847360, 'tokens/trainable': 4509241, 'epoch': '2.438'}

 49%|███████████████████████████████████████████████████████▌                                                          | 1080/2215 [45:43<42:33,  2.25s/it]
 49%|███████████████████████████████████████████████████████▋                                                          | 1081/2215 [45:46<42:29,  2.25s/it]
 49%|███████████████████████████████████████████████████████▋                                                          | 1082/2215 [45:48<42:28,  2.25s/it]
 49%|███████████████████████████████████████████████████████▋                                                          | 1083/2215 [45:50<42:23,  2.25s/it]
 49%|███████████████████████████████████████████████████████▊                                                          | 1084/2215 [45:52<42:23,  2.25s/it]
 49%|███████████████████████████████████████████████████████▊                                                          | 1085/2215 [45:55<42:27,  2.25s/it]
 49%|███████████████████████████████████████████████████████▉                                                          | 1086/2215 [45:57<42:20,  2.25s/it]
 49%|███████████████████████████████████████████████████████▉                                                          | 1087/2215 [45:59<42:15,  2.25s/it]
 49%|███████████████████████████████████████████████████████▉                                                          | 1088/2215 [46:01<42:23,  2.26s/it]
 49%|████████████████████████████████████████████████████████                                                          | 1089/2215 [46:04<42:39,  2.27s/it]
 49%|████████████████████████████████████████████████████████                                                          | 1090/2215 [46:06<42:34,  2.27s/it]
                                                                                                                                                           
{'loss': '0.6711', 'grad_norm': '0.8014', 'learning_rate': '0.0001075', 'ppl': '1.956', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1848', 'tokens/total': 8929280, 'tokens/trainable': 4551754, 'epoch': '2.46'}

 49%|████████████████████████████████████████████████████████                                                          | 1090/2215 [46:06<42:34,  2.27s/it]
 49%|████████████████████████████████████████████████████████▏                                                         | 1091/2215 [46:08<42:27,  2.27s/it]
 49%|████████████████████████████████████████████████████████▏                                                         | 1092/2215 [46:10<42:25,  2.27s/it]
 49%|████████████████████████████████████████████████████████▎                                                         | 1093/2215 [46:13<42:19,  2.26s/it]
 49%|████████████████████████████████████████████████████████▎                                                         | 1094/2215 [46:15<42:18,  2.26s/it]
 49%|████████████████████████████████████████████████████████▎                                                         | 1095/2215 [46:17<42:11,  2.26s/it]
 49%|████████████████████████████████████████████████████████▍                                                         | 1096/2215 [46:19<42:10,  2.26s/it]
 50%|████████████████████████████████████████████████████████▍                                                         | 1097/2215 [46:22<42:03,  2.26s/it]
 50%|████████████████████████████████████████████████████████▌                                                         | 1098/2215 [46:24<42:04,  2.26s/it]
 50%|████████████████████████████████████████████████████████▌                                                         | 1099/2215 [46:26<41:58,  2.26s/it]
 50%|████████████████████████████████████████████████████████▌                                                         | 1100/2215 [46:28<41:59,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7406', 'grad_norm': '0.7567', 'learning_rate': '0.0001061', 'ppl': '2.097', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1925', 'tokens/total': 9011200, 'tokens/trainable': 4593984, 'epoch': '2.483'}

 50%|████████████████████████████████████████████████████████▌                                                         | 1100/2215 [46:28<41:59,  2.26s/it][2026-03-23 11:59:46,348] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 11:59:49,439] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3687665462493896
[2026-03-23 11:59:50,913] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4730377197265625
[2026-03-23 11:59:52,596] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.682819128036499
[2026-03-23 11:59:54,124] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.5267469882965088
[2026-03-23 11:59:54,125] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.58it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.54it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.021', 'eval_runtime': '17.59', 'eval_samples_per_second': '105.4', 'eval_steps_per_second': '26.39', 'eval_ppl': '2.775', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '2.483', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 50%|████████████████████████████████████████████████████████▌                                                         | 1100/2215 [46:54<41:59,  2.26s/it]

                                                                                                                                                           [2026-03-23 12:00:11,742] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1100

 50%|███████████████████████████████████████████████████████▋                                                        | 1101/2215 [46:58<3:15:04, 10.51s/it]
 50%|███████████████████████████████████████████████████████▋                                                        | 1102/2215 [47:01<2:29:03,  8.04s/it]
 50%|███████████████████████████████████████████████████████▊                                                        | 1103/2215 [47:03<1:56:46,  6.30s/it]
 50%|███████████████████████████████████████████████████████▊                                                        | 1104/2215 [47:05<1:34:15,  5.09s/it]
 50%|███████████████████████████████████████████████████████▊                                                        | 1105/2215 [47:07<1:18:31,  4.24s/it]
 50%|███████████████████████████████████████████████████████▉                                                        | 1106/2215 [47:10<1:07:20,  3.64s/it]
 50%|████████████████████████████████████████████████████████▉                                                         | 1107/2215 [47:12<59:34,  3.23s/it]
 50%|█████████████████████████████████████████████████████████                                                         | 1108/2215 [47:14<54:12,  2.94s/it]
 50%|█████████████████████████████████████████████████████████                                                         | 1109/2215 [47:16<50:17,  2.73s/it]
 50%|█████████████████████████████████████████████████████████▏                                                        | 1110/2215 [47:19<47:33,  2.58s/it]
                                                                                                                                                           
{'loss': '0.7241', 'grad_norm': '0.8028', 'learning_rate': '0.0001046', 'ppl': '2.063', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1914', 'tokens/total': 9093120, 'tokens/trainable': 4635295, 'epoch': '2.506'}

 50%|█████████████████████████████████████████████████████████▏                                                        | 1110/2215 [47:19<47:33,  2.58s/it]
 50%|█████████████████████████████████████████████████████████▏                                                        | 1111/2215 [47:21<45:41,  2.48s/it]
 50%|█████████████████████████████████████████████████████████▏                                                        | 1112/2215 [47:23<44:26,  2.42s/it]
 50%|█████████████████████████████████████████████████████████▎                                                        | 1113/2215 [47:25<43:29,  2.37s/it]
 50%|█████████████████████████████████████████████████████████▎                                                        | 1114/2215 [47:28<42:44,  2.33s/it]
 50%|█████████████████████████████████████████████████████████▍                                                        | 1115/2215 [47:30<42:21,  2.31s/it]
 50%|█████████████████████████████████████████████████████████▍                                                        | 1116/2215 [47:32<41:55,  2.29s/it]
 50%|█████████████████████████████████████████████████████████▍                                                        | 1117/2215 [47:34<41:40,  2.28s/it]
 50%|█████████████████████████████████████████████████████████▌                                                        | 1118/2215 [47:37<41:26,  2.27s/it]
 51%|█████████████████████████████████████████████████████████▌                                                        | 1119/2215 [47:39<41:19,  2.26s/it]
 51%|█████████████████████████████████████████████████████████▋                                                        | 1120/2215 [47:41<41:10,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7156', 'grad_norm': '0.7849', 'learning_rate': '0.0001031', 'ppl': '2.045', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1840', 'tokens/total': 9175040, 'tokens/trainable': 4677025, 'epoch': '2.528'}

 51%|█████████████████████████████████████████████████████████▋                                                        | 1120/2215 [47:41<41:10,  2.26s/it]
 51%|█████████████████████████████████████████████████████████▋                                                        | 1121/2215 [47:43<41:12,  2.26s/it]
 51%|█████████████████████████████████████████████████████████▋                                                        | 1122/2215 [47:46<41:05,  2.26s/it]
 51%|█████████████████████████████████████████████████████████▊                                                        | 1123/2215 [47:48<41:01,  2.25s/it]
 51%|█████████████████████████████████████████████████████████▊                                                        | 1124/2215 [47:50<40:54,  2.25s/it]
 51%|█████████████████████████████████████████████████████████▉                                                        | 1125/2215 [47:52<40:53,  2.25s/it]
 51%|█████████████████████████████████████████████████████████▉                                                        | 1126/2215 [47:55<40:48,  2.25s/it]
 51%|██████████████████████████████████████████████████████████                                                        | 1127/2215 [47:57<40:47,  2.25s/it]
 51%|██████████████████████████████████████████████████████████                                                        | 1128/2215 [47:59<40:42,  2.25s/it]
 51%|██████████████████████████████████████████████████████████                                                        | 1129/2215 [48:01<40:41,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▏                                                       | 1130/2215 [48:04<40:49,  2.26s/it]
                                                                                                                                                           
{'loss': '0.6777', 'grad_norm': '0.78', 'learning_rate': '0.0001017', 'ppl': '1.969', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1935', 'tokens/total': 9256960, 'tokens/trainable': 4720553, 'epoch': '2.551'}

 51%|██████████████████████████████████████████████████████████▏                                                       | 1130/2215 [48:04<40:49,  2.26s/it]
 51%|██████████████████████████████████████████████████████████▏                                                       | 1131/2215 [48:06<40:43,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▎                                                       | 1132/2215 [48:08<40:36,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▎                                                       | 1133/2215 [48:10<40:36,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▎                                                       | 1134/2215 [48:13<40:30,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▍                                                       | 1135/2215 [48:15<40:29,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▍                                                       | 1136/2215 [48:17<40:23,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▌                                                       | 1137/2215 [48:19<40:23,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▌                                                       | 1138/2215 [48:22<40:26,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▌                                                       | 1139/2215 [48:24<40:20,  2.25s/it]
 51%|██████████████████████████████████████████████████████████▋                                                       | 1140/2215 [48:26<40:17,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7509', 'grad_norm': '0.8002', 'learning_rate': '0.0001002', 'ppl': '2.119', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1881', 'tokens/total': 9338880, 'tokens/trainable': 4761723, 'epoch': '2.573'}

 51%|██████████████████████████████████████████████████████████▋                                                       | 1140/2215 [48:26<40:17,  2.25s/it]
 52%|██████████████████████████████████████████████████████████▋                                                       | 1141/2215 [48:28<40:18,  2.25s/it]
 52%|██████████████████████████████████████████████████████████▊                                                       | 1142/2215 [48:31<40:12,  2.25s/it]
 52%|██████████████████████████████████████████████████████████▊                                                       | 1143/2215 [48:33<40:11,  2.25s/it]
 52%|██████████████████████████████████████████████████████████▉                                                       | 1144/2215 [48:35<40:44,  2.28s/it]
 52%|██████████████████████████████████████████████████████████▉                                                       | 1145/2215 [48:37<40:31,  2.27s/it]
 52%|██████████████████████████████████████████████████████████▉                                                       | 1146/2215 [48:40<40:22,  2.27s/it]
 52%|███████████████████████████████████████████████████████████                                                       | 1147/2215 [48:42<40:20,  2.27s/it]
 52%|███████████████████████████████████████████████████████████                                                       | 1148/2215 [48:44<40:13,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▏                                                      | 1149/2215 [48:46<40:12,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▏                                                      | 1150/2215 [48:49<40:07,  2.26s/it]
                                                                                                                                                           
{'loss': '0.774', 'grad_norm': '0.8008', 'learning_rate': '9.876e-05', 'ppl': '2.169', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1918', 'tokens/total': 9420800, 'tokens/trainable': 4803145, 'epoch': '2.596'}

 52%|███████████████████████████████████████████████████████████▏                                                      | 1150/2215 [48:49<40:07,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▏                                                      | 1151/2215 [48:51<40:08,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▎                                                      | 1152/2215 [48:53<40:02,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▎                                                      | 1153/2215 [48:55<40:01,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▍                                                      | 1154/2215 [48:58<39:56,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▍                                                      | 1155/2215 [49:00<39:56,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▍                                                      | 1156/2215 [49:02<39:49,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▌                                                      | 1157/2215 [49:05<39:50,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▌                                                      | 1158/2215 [49:07<39:44,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▋                                                      | 1159/2215 [49:09<39:50,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▋                                                      | 1160/2215 [49:11<39:43,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7334', 'grad_norm': '0.8758', 'learning_rate': '9.73e-05', 'ppl': '2.082', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1742', 'tokens/total': 9502720, 'tokens/trainable': 4843695, 'epoch': '2.619'}

 52%|███████████████████████████████████████████████████████████▋                                                      | 1160/2215 [49:11<39:43,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▊                                                      | 1161/2215 [49:14<39:37,  2.26s/it]
 52%|███████████████████████████████████████████████████████████▊                                                      | 1162/2215 [49:16<39:33,  2.25s/it]
 53%|███████████████████████████████████████████████████████████▊                                                      | 1163/2215 [49:18<39:26,  2.25s/it]
 53%|███████████████████████████████████████████████████████████▉                                                      | 1164/2215 [49:20<39:24,  2.25s/it]
 53%|███████████████████████████████████████████████████████████▉                                                      | 1165/2215 [49:23<39:27,  2.25s/it]
 53%|████████████████████████████████████████████████████████████                                                      | 1166/2215 [49:25<39:23,  2.25s/it]
 53%|████████████████████████████████████████████████████████████                                                      | 1167/2215 [49:27<39:17,  2.25s/it]
 53%|████████████████████████████████████████████████████████████                                                      | 1168/2215 [49:29<39:13,  2.25s/it]
 53%|████████████████████████████████████████████████████████████▏                                                     | 1169/2215 [49:32<39:16,  2.25s/it]
 53%|████████████████████████████████████████████████████████████▏                                                     | 1170/2215 [49:34<39:13,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7407', 'grad_norm': '0.7701', 'learning_rate': '9.583e-05', 'ppl': '2.097', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1877', 'tokens/total': 9584640, 'tokens/trainable': 4884948, 'epoch': '2.641'}

 53%|████████████████████████████████████████████████████████████▏                                                     | 1170/2215 [49:34<39:13,  2.25s/it]
 53%|████████████████████████████████████████████████████████████▎                                                     | 1171/2215 [49:36<39:08,  2.25s/it]
 53%|████████████████████████████████████████████████████████████▎                                                     | 1172/2215 [49:38<39:06,  2.25s/it]
 53%|████████████████████████████████████████████████████████████▎                                                     | 1173/2215 [49:41<39:44,  2.29s/it]
 53%|████████████████████████████████████████████████████████████▍                                                     | 1174/2215 [49:43<39:28,  2.27s/it]
 53%|████████████████████████████████████████████████████████████▍                                                     | 1175/2215 [49:45<39:17,  2.27s/it]
 53%|████████████████████████████████████████████████████████████▌                                                     | 1176/2215 [49:47<39:14,  2.27s/it]
 53%|████████████████████████████████████████████████████████████▌                                                     | 1177/2215 [49:50<39:07,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▋                                                     | 1178/2215 [49:52<39:07,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▋                                                     | 1179/2215 [49:54<39:00,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▋                                                     | 1180/2215 [49:56<38:59,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7229', 'grad_norm': '0.8697', 'learning_rate': '9.437e-05', 'ppl': '2.06', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1696', 'tokens/total': 9666560, 'tokens/trainable': 4926681, 'epoch': '2.664'}

 53%|████████████████████████████████████████████████████████████▋                                                     | 1180/2215 [49:56<38:59,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▊                                                     | 1181/2215 [49:59<38:55,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▊                                                     | 1182/2215 [50:01<38:54,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▉                                                     | 1183/2215 [50:03<38:48,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▉                                                     | 1184/2215 [50:05<38:49,  2.26s/it]
 53%|████████████████████████████████████████████████████████████▉                                                     | 1185/2215 [50:08<38:45,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████                                                     | 1186/2215 [50:10<38:46,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████                                                     | 1187/2215 [50:12<38:40,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▏                                                    | 1188/2215 [50:15<38:45,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▏                                                    | 1189/2215 [50:17<38:39,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▏                                                    | 1190/2215 [50:19<38:39,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7153', 'grad_norm': '0.8903', 'learning_rate': '9.292e-05', 'ppl': '2.045', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1751', 'tokens/total': 9748480, 'tokens/trainable': 4967751, 'epoch': '2.686'}

 54%|█████████████████████████████████████████████████████████████▏                                                    | 1190/2215 [50:19<38:39,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▎                                                    | 1191/2215 [50:21<38:30,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▎                                                    | 1192/2215 [50:24<38:23,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▍                                                    | 1193/2215 [50:26<38:21,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▍                                                    | 1194/2215 [50:28<38:15,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▌                                                    | 1195/2215 [50:30<38:15,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▌                                                    | 1196/2215 [50:33<38:18,  2.26s/it]
 54%|█████████████████████████████████████████████████████████████▌                                                    | 1197/2215 [50:35<38:11,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▋                                                    | 1198/2215 [50:37<38:06,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▋                                                    | 1199/2215 [50:39<38:05,  2.25s/it]
 54%|█████████████████████████████████████████████████████████████▊                                                    | 1200/2215 [50:42<38:00,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6923', 'grad_norm': '0.8711', 'learning_rate': '9.146e-05', 'ppl': '1.998', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1697', 'tokens/total': 9830400, 'tokens/trainable': 5009480, 'epoch': '2.709'}

 54%|█████████████████████████████████████████████████████████████▊                                                    | 1200/2215 [50:42<38:00,  2.25s/it][2026-03-23 12:03:59,388] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:04:02,468] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6835224628448486
[2026-03-23 12:04:03,875] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.406618595123291
[2026-03-23 12:04:05,229] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3528563976287842
[2026-03-23 12:04:06,860] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6305153369903564
[2026-03-23 12:04:06,860] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.67it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.61it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.007', 'eval_runtime': '17.37', 'eval_samples_per_second': '106.7', 'eval_steps_per_second': '26.71', 'eval_ppl': '2.739', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '2.709', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 54%|█████████████████████████████████████████████████████████████▊                                                    | 1200/2215 [51:06<38:00,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:04:24,265] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1200

 54%|████████████████████████████████████████████████████████████▋                                                   | 1201/2215 [51:11<2:57:40, 10.51s/it]
 54%|████████████████████████████████████████████████████████████▊                                                   | 1202/2215 [51:14<2:15:37,  8.03s/it]
 54%|████████████████████████████████████████████████████████████▊                                                   | 1203/2215 [51:16<1:46:11,  6.30s/it]
 54%|████████████████████████████████████████████████████████████▉                                                   | 1204/2215 [51:18<1:25:35,  5.08s/it]
 54%|████████████████████████████████████████████████████████████▉                                                   | 1205/2215 [51:20<1:11:10,  4.23s/it]
 54%|████████████████████████████████████████████████████████████▉                                                   | 1206/2215 [51:23<1:01:04,  3.63s/it]
 54%|██████████████████████████████████████████████████████████████                                                    | 1207/2215 [51:25<54:02,  3.22s/it]
 55%|██████████████████████████████████████████████████████████████▏                                                   | 1208/2215 [51:27<49:03,  2.92s/it]
 55%|██████████████████████████████████████████████████████████████▏                                                   | 1209/2215 [51:29<45:39,  2.72s/it]
 55%|██████████████████████████████████████████████████████████████▎                                                   | 1210/2215 [51:32<43:18,  2.59s/it]
                                                                                                                                                           
{'loss': '0.7269', 'grad_norm': '0.8189', 'learning_rate': '9e-05', 'ppl': '2.069', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1712', 'tokens/total': 9912320, 'tokens/trainable': 5051254, 'epoch': '2.731'}

 55%|██████████████████████████████████████████████████████████████▎                                                   | 1210/2215 [51:32<43:18,  2.59s/it]
 55%|██████████████████████████████████████████████████████████████▎                                                   | 1211/2215 [51:34<41:33,  2.48s/it]
 55%|██████████████████████████████████████████████████████████████▍                                                   | 1212/2215 [51:36<40:21,  2.41s/it]
 55%|██████████████████████████████████████████████████████████████▍                                                   | 1213/2215 [51:38<39:30,  2.37s/it]
 55%|██████████████████████████████████████████████████████████████▍                                                   | 1214/2215 [51:41<38:49,  2.33s/it]
 55%|██████████████████████████████████████████████████████████████▌                                                   | 1215/2215 [51:43<38:24,  2.30s/it]
 55%|██████████████████████████████████████████████████████████████▌                                                   | 1216/2215 [51:45<38:05,  2.29s/it]
 55%|██████████████████████████████████████████████████████████████▋                                                   | 1217/2215 [51:47<37:55,  2.28s/it]
 55%|██████████████████████████████████████████████████████████████▋                                                   | 1218/2215 [51:50<37:41,  2.27s/it]
 55%|██████████████████████████████████████████████████████████████▋                                                   | 1219/2215 [51:52<37:34,  2.26s/it]
 55%|██████████████████████████████████████████████████████████████▊                                                   | 1220/2215 [51:54<37:24,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7526', 'grad_norm': '0.8068', 'learning_rate': '8.855e-05', 'ppl': '2.122', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1831', 'tokens/total': 9994240, 'tokens/trainable': 5092550, 'epoch': '2.754'}

 55%|██████████████████████████████████████████████████████████████▊                                                   | 1220/2215 [51:54<37:24,  2.26s/it]
 55%|██████████████████████████████████████████████████████████████▊                                                   | 1221/2215 [51:56<37:22,  2.26s/it]
 55%|██████████████████████████████████████████████████████████████▉                                                   | 1222/2215 [51:59<37:14,  2.25s/it]
 55%|██████████████████████████████████████████████████████████████▉                                                   | 1223/2215 [52:01<37:11,  2.25s/it]
 55%|██████████████████████████████████████████████████████████████▉                                                   | 1224/2215 [52:03<37:14,  2.25s/it]
 55%|███████████████████████████████████████████████████████████████                                                   | 1225/2215 [52:05<37:11,  2.25s/it]
 55%|███████████████████████████████████████████████████████████████                                                   | 1226/2215 [52:08<37:04,  2.25s/it]
 55%|███████████████████████████████████████████████████████████████▏                                                  | 1227/2215 [52:10<37:04,  2.25s/it]
 55%|███████████████████████████████████████████████████████████████▏                                                  | 1228/2215 [52:12<37:06,  2.26s/it]
 55%|███████████████████████████████████████████████████████████████▎                                                  | 1229/2215 [52:14<37:04,  2.26s/it]
 56%|███████████████████████████████████████████████████████████████▎                                                  | 1230/2215 [52:17<37:02,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7174', 'grad_norm': '0.8119', 'learning_rate': '8.71e-05', 'ppl': '2.049', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1874', 'tokens/total': 10076160, 'tokens/trainable': 5134001, 'epoch': '2.777'}

 56%|███████████████████████████████████████████████████████████████▎                                                  | 1230/2215 [52:17<37:02,  2.26s/it]
 56%|███████████████████████████████████████████████████████████████▎                                                  | 1231/2215 [52:19<36:56,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▍                                                  | 1232/2215 [52:21<36:51,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▍                                                  | 1233/2215 [52:23<36:50,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▌                                                  | 1234/2215 [52:26<36:44,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▌                                                  | 1235/2215 [52:28<36:43,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▌                                                  | 1236/2215 [52:30<36:39,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▋                                                  | 1237/2215 [52:32<36:39,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▋                                                  | 1238/2215 [52:35<36:37,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▊                                                  | 1239/2215 [52:37<36:35,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▊                                                  | 1240/2215 [52:39<36:30,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7059', 'grad_norm': '0.9025', 'learning_rate': '8.565e-05', 'ppl': '2.026', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1788', 'tokens/total': 10158080, 'tokens/trainable': 5175958, 'epoch': '2.799'}

 56%|███████████████████████████████████████████████████████████████▊                                                  | 1240/2215 [52:39<36:30,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▊                                                  | 1241/2215 [52:41<36:30,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▉                                                  | 1242/2215 [52:44<36:25,  2.25s/it]
 56%|███████████████████████████████████████████████████████████████▉                                                  | 1243/2215 [52:46<36:24,  2.25s/it]
 56%|████████████████████████████████████████████████████████████████                                                  | 1244/2215 [52:48<37:16,  2.30s/it]
 56%|████████████████████████████████████████████████████████████████                                                  | 1245/2215 [52:51<38:07,  2.36s/it]
 56%|████████████████████████████████████████████████████████████████▏                                                 | 1246/2215 [52:53<38:05,  2.36s/it]
 56%|████████████████████████████████████████████████████████████████▏                                                 | 1247/2215 [52:55<37:33,  2.33s/it]
 56%|████████████████████████████████████████████████████████████████▏                                                 | 1248/2215 [52:58<37:05,  2.30s/it]
 56%|████████████████████████████████████████████████████████████████▎                                                 | 1249/2215 [53:00<36:45,  2.28s/it]
 56%|████████████████████████████████████████████████████████████████▎                                                 | 1250/2215 [53:02<36:30,  2.27s/it]
                                                                                                                                                           
{'loss': '0.735', 'grad_norm': '0.9179', 'learning_rate': '8.42e-05', 'ppl': '2.085', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1650', 'tokens/total': 10240000, 'tokens/trainable': 5215447, 'epoch': '2.822'}

 56%|████████████████████████████████████████████████████████████████▎                                                 | 1250/2215 [53:02<36:30,  2.27s/it]
 56%|████████████████████████████████████████████████████████████████▍                                                 | 1251/2215 [53:04<36:24,  2.27s/it]
 57%|████████████████████████████████████████████████████████████████▍                                                 | 1252/2215 [53:07<36:14,  2.26s/it]
 57%|████████████████████████████████████████████████████████████████▍                                                 | 1253/2215 [53:09<36:10,  2.26s/it]
 57%|████████████████████████████████████████████████████████████████▌                                                 | 1254/2215 [53:11<36:12,  2.26s/it]
 57%|████████████████████████████████████████████████████████████████▌                                                 | 1255/2215 [53:13<36:07,  2.26s/it]
 57%|████████████████████████████████████████████████████████████████▋                                                 | 1256/2215 [53:16<35:59,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▋                                                 | 1257/2215 [53:18<35:57,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▋                                                 | 1258/2215 [53:20<35:51,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▊                                                 | 1259/2215 [53:22<35:55,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▊                                                 | 1260/2215 [53:25<35:48,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7511', 'grad_norm': '0.8728', 'learning_rate': '8.276e-05', 'ppl': '2.119', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1879', 'tokens/total': 10321920, 'tokens/trainable': 5257491, 'epoch': '2.844'}

 57%|████████████████████████████████████████████████████████████████▊                                                 | 1260/2215 [53:25<35:48,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▉                                                 | 1261/2215 [53:27<35:50,  2.25s/it]
 57%|████████████████████████████████████████████████████████████████▉                                                 | 1262/2215 [53:29<35:43,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████                                                 | 1263/2215 [53:31<35:42,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████                                                 | 1264/2215 [53:34<35:37,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████                                                 | 1265/2215 [53:36<35:37,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▏                                                | 1266/2215 [53:38<35:32,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▏                                                | 1267/2215 [53:40<35:31,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▎                                                | 1268/2215 [53:43<35:26,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▎                                                | 1269/2215 [53:45<35:26,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▎                                                | 1270/2215 [53:47<35:28,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7196', 'grad_norm': '0.8592', 'learning_rate': '8.133e-05', 'ppl': '2.054', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1792', 'tokens/total': 10403840, 'tokens/trainable': 5299707, 'epoch': '2.867'}

 57%|█████████████████████████████████████████████████████████████████▎                                                | 1270/2215 [53:47<35:28,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▍                                                | 1271/2215 [53:49<35:29,  2.26s/it]
 57%|█████████████████████████████████████████████████████████████████▍                                                | 1272/2215 [53:52<35:21,  2.25s/it]
 57%|█████████████████████████████████████████████████████████████████▌                                                | 1273/2215 [53:54<35:19,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▌                                                | 1274/2215 [53:56<35:16,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▌                                                | 1275/2215 [53:58<35:15,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▋                                                | 1276/2215 [54:01<35:11,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▋                                                | 1277/2215 [54:03<35:09,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▊                                                | 1278/2215 [54:05<35:04,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▊                                                | 1279/2215 [54:07<35:04,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▉                                                | 1280/2215 [54:10<35:07,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7321', 'grad_norm': '0.7767', 'learning_rate': '7.989e-05', 'ppl': '2.079', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1847', 'tokens/total': 10485760, 'tokens/trainable': 5341384, 'epoch': '2.889'}

 58%|█████████████████████████████████████████████████████████████████▉                                                | 1280/2215 [54:10<35:07,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▉                                                | 1281/2215 [54:12<35:06,  2.25s/it]
 58%|█████████████████████████████████████████████████████████████████▉                                                | 1282/2215 [54:14<34:59,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████                                                | 1283/2215 [54:16<34:56,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████                                                | 1284/2215 [54:19<34:51,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▏                                               | 1285/2215 [54:21<34:50,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▏                                               | 1286/2215 [54:23<34:51,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▏                                               | 1287/2215 [54:25<34:48,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▎                                               | 1288/2215 [54:28<34:49,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▎                                               | 1289/2215 [54:30<34:45,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▍                                               | 1290/2215 [54:32<34:38,  2.25s/it]
                                                                                                                                                           
{'loss': '0.7398', 'grad_norm': '0.8635', 'learning_rate': '7.846e-05', 'ppl': '2.096', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1826', 'tokens/total': 10567680, 'tokens/trainable': 5383023, 'epoch': '2.912'}

 58%|██████████████████████████████████████████████████████████████████▍                                               | 1290/2215 [54:32<34:38,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▍                                               | 1291/2215 [54:34<34:39,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▍                                               | 1292/2215 [54:37<34:33,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▌                                               | 1293/2215 [54:39<34:32,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▌                                               | 1294/2215 [54:41<34:33,  2.25s/it]
 58%|██████████████████████████████████████████████████████████████████▋                                               | 1295/2215 [54:43<34:30,  2.25s/it]
 59%|██████████████████████████████████████████████████████████████████▋                                               | 1296/2215 [54:46<34:24,  2.25s/it]
 59%|██████████████████████████████████████████████████████████████████▊                                               | 1297/2215 [54:48<34:23,  2.25s/it]
 59%|██████████████████████████████████████████████████████████████████▊                                               | 1298/2215 [54:50<34:24,  2.25s/it]
 59%|██████████████████████████████████████████████████████████████████▊                                               | 1299/2215 [54:52<34:22,  2.25s/it]
 59%|██████████████████████████████████████████████████████████████████▉                                               | 1300/2215 [54:55<34:18,  2.25s/it]
                                                                                                                                                           
{'loss': '0.6635', 'grad_norm': '0.6745', 'learning_rate': '7.704e-05', 'ppl': '1.942', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2299', 'tokens/total': 10649600, 'tokens/trainable': 5427825, 'epoch': '2.935'}

 59%|██████████████████████████████████████████████████████████████████▉                                               | 1300/2215 [54:55<34:18,  2.25s/it][2026-03-23 12:08:12,390] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:08:15,532] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7238354682922363
[2026-03-23 12:08:16,967] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.434840440750122
[2026-03-23 12:08:18,497] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.528515338897705
[2026-03-23 12:08:19,902] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.404717206954956
[2026-03-23 12:08:19,903] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '0.9931', 'eval_runtime': '17.32', 'eval_samples_per_second': '107', 'eval_steps_per_second': '26.8', 'eval_ppl': '2.7', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '2.935', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 59%|██████████████████████████████████████████████████████████████████▉                                               | 1300/2215 [55:19<34:18,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:08:37,250] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1300

 59%|█████████████████████████████████████████████████████████████████▊                                              | 1301/2215 [55:24<2:38:38, 10.41s/it]
 59%|█████████████████████████████████████████████████████████████████▊                                              | 1302/2215 [55:26<2:01:18,  7.97s/it]
 59%|█████████████████████████████████████████████████████████████████▉                                              | 1303/2215 [55:29<1:35:09,  6.26s/it]
 59%|█████████████████████████████████████████████████████████████████▉                                              | 1304/2215 [55:31<1:16:49,  5.06s/it]
 59%|█████████████████████████████████████████████████████████████████▉                                              | 1305/2215 [55:33<1:03:55,  4.22s/it]
 59%|███████████████████████████████████████████████████████████████████▏                                              | 1306/2215 [55:35<54:56,  3.63s/it]
 59%|███████████████████████████████████████████████████████████████████▎                                              | 1307/2215 [55:38<48:34,  3.21s/it]
 59%|███████████████████████████████████████████████████████████████████▎                                              | 1308/2215 [55:40<44:10,  2.92s/it]
 59%|███████████████████████████████████████████████████████████████████▎                                              | 1309/2215 [55:42<41:12,  2.73s/it]
 59%|███████████████████████████████████████████████████████████████████▍                                              | 1310/2215 [55:44<38:56,  2.58s/it]
                                                                                                                                                           
{'loss': '0.7221', 'grad_norm': '0.8816', 'learning_rate': '7.562e-05', 'ppl': '2.059', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1682', 'tokens/total': 10731520, 'tokens/trainable': 5468897, 'epoch': '2.957'}

 59%|███████████████████████████████████████████████████████████████████▍                                              | 1310/2215 [55:44<38:56,  2.58s/it]
 59%|███████████████████████████████████████████████████████████████████▍                                              | 1311/2215 [55:47<37:23,  2.48s/it]
 59%|███████████████████████████████████████████████████████████████████▌                                              | 1312/2215 [55:49<36:19,  2.41s/it]
 59%|███████████████████████████████████████████████████████████████████▌                                              | 1313/2215 [55:51<35:32,  2.36s/it]
 59%|███████████████████████████████████████████████████████████████████▋                                              | 1314/2215 [55:53<34:56,  2.33s/it]
 59%|███████████████████████████████████████████████████████████████████▋                                              | 1315/2215 [55:56<34:40,  2.31s/it]
 59%|███████████████████████████████████████████████████████████████████▋                                              | 1316/2215 [55:58<34:20,  2.29s/it]
 59%|███████████████████████████████████████████████████████████████████▊                                              | 1317/2215 [56:00<34:03,  2.28s/it]
 60%|███████████████████████████████████████████████████████████████████▊                                              | 1318/2215 [56:02<33:51,  2.26s/it]
 60%|███████████████████████████████████████████████████████████████████▉                                              | 1319/2215 [56:05<33:42,  2.26s/it]
 60%|███████████████████████████████████████████████████████████████████▉                                              | 1320/2215 [56:07<33:41,  2.26s/it]
                                                                                                                                                           
{'loss': '0.7016', 'grad_norm': '0.8954', 'learning_rate': '7.42e-05', 'ppl': '2.017', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1731', 'tokens/total': 10813440, 'tokens/trainable': 5510832, 'epoch': '2.98'}

 60%|███████████████████████████████████████████████████████████████████▉                                              | 1320/2215 [56:07<33:41,  2.26s/it]
 60%|███████████████████████████████████████████████████████████████████▉                                              | 1321/2215 [56:09<33:42,  2.26s/it]
 60%|████████████████████████████████████████████████████████████████████                                              | 1322/2215 [56:11<33:35,  2.26s/it]
 60%|████████████████████████████████████████████████████████████████████                                              | 1323/2215 [56:14<33:29,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▏                                             | 1324/2215 [56:16<33:23,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▏                                             | 1325/2215 [56:18<33:19,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▏                                             | 1326/2215 [56:20<33:18,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▎                                             | 1327/2215 [56:23<33:14,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▎                                             | 1328/2215 [56:25<33:15,  2.25s/it]
 60%|████████████████████████████████████████████████████████████████████▍                                             | 1329/2215 [56:27<33:40,  2.28s/it]
 60%|████████████████████████████████████████████████████████████████████▍                                             | 1330/2215 [56:32<43:38,  2.96s/it]
                                                                                                                                                           
{'loss': '0.692', 'grad_norm': '0.7304', 'learning_rate': '7.279e-05', 'ppl': '1.998', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1840', 'tokens/total': 10895360, 'tokens/trainable': 5551666, 'epoch': '3.002'}

 60%|████████████████████████████████████████████████████████████████████▍                                             | 1330/2215 [56:32<43:38,  2.96s/it]
 60%|████████████████████████████████████████████████████████████████████▌                                             | 1331/2215 [56:34<40:29,  2.75s/it]
 60%|████████████████████████████████████████████████████████████████████▌                                             | 1332/2215 [56:36<38:25,  2.61s/it]
 60%|████████████████████████████████████████████████████████████████████▌                                             | 1333/2215 [56:38<36:49,  2.51s/it]
 60%|████████████████████████████████████████████████████████████████████▋                                             | 1334/2215 [56:41<35:39,  2.43s/it]
 60%|████████████████████████████████████████████████████████████████████▋                                             | 1335/2215 [56:43<34:54,  2.38s/it]
 60%|████████████████████████████████████████████████████████████████████▊                                             | 1336/2215 [56:45<34:17,  2.34s/it]
 60%|████████████████████████████████████████████████████████████████████▊                                             | 1337/2215 [56:48<33:54,  2.32s/it]
 60%|████████████████████████████████████████████████████████████████████▊                                             | 1338/2215 [56:50<33:34,  2.30s/it]
 60%|████████████████████████████████████████████████████████████████████▉                                             | 1339/2215 [56:52<33:23,  2.29s/it]
 60%|████████████████████████████████████████████████████████████████████▉                                             | 1340/2215 [56:54<33:11,  2.28s/it]
                                                                                                                                                           
{'loss': '0.5034', 'grad_norm': '0.9067', 'learning_rate': '7.139e-05', 'ppl': '1.654', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1818', 'tokens/total': 10977280, 'tokens/trainable': 5594643, 'epoch': '3.025'}

 60%|████████████████████████████████████████████████████████████████████▉                                             | 1340/2215 [56:54<33:11,  2.28s/it]
 61%|█████████████████████████████████████████████████████████████████████                                             | 1341/2215 [56:57<33:08,  2.27s/it]
 61%|█████████████████████████████████████████████████████████████████████                                             | 1342/2215 [56:59<32:59,  2.27s/it]
 61%|█████████████████████████████████████████████████████████████████████                                             | 1343/2215 [57:01<32:49,  2.26s/it]
 61%|█████████████████████████████████████████████████████████████████████▏                                            | 1344/2215 [57:03<32:48,  2.26s/it]
 61%|█████████████████████████████████████████████████████████████████████▏                                            | 1345/2215 [57:06<32:41,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▎                                            | 1346/2215 [57:08<32:39,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▎                                            | 1347/2215 [57:10<32:34,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▍                                            | 1348/2215 [57:12<32:33,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▍                                            | 1349/2215 [57:15<32:27,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▍                                            | 1350/2215 [57:17<32:26,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5265', 'grad_norm': '0.8821', 'learning_rate': '6.999e-05', 'ppl': '1.693', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1754', 'tokens/total': 11059200, 'tokens/trainable': 5635931, 'epoch': '3.047'}

 61%|█████████████████████████████████████████████████████████████████████▍                                            | 1350/2215 [57:17<32:26,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▌                                            | 1351/2215 [57:19<32:25,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▌                                            | 1352/2215 [57:21<32:25,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▋                                            | 1353/2215 [57:24<32:23,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▋                                            | 1354/2215 [57:26<32:19,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▋                                            | 1355/2215 [57:28<32:16,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▊                                            | 1356/2215 [57:30<32:14,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▊                                            | 1357/2215 [57:33<32:11,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▉                                            | 1358/2215 [57:35<32:09,  2.25s/it]
 61%|█████████████████████████████████████████████████████████████████████▉                                            | 1359/2215 [57:37<32:10,  2.26s/it]
 61%|█████████████████████████████████████████████████████████████████████▉                                            | 1360/2215 [57:39<32:13,  2.26s/it]
                                                                                                                                                           
{'loss': '0.517', 'grad_norm': '0.8096', 'learning_rate': '6.86e-05', 'ppl': '1.677', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1953', 'tokens/total': 11141120, 'tokens/trainable': 5678566, 'epoch': '3.07'}

 61%|█████████████████████████████████████████████████████████████████████▉                                            | 1360/2215 [57:39<32:13,  2.26s/it]
 61%|██████████████████████████████████████████████████████████████████████                                            | 1361/2215 [57:42<32:13,  2.26s/it]
 61%|██████████████████████████████████████████████████████████████████████                                            | 1362/2215 [57:44<32:13,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▏                                           | 1363/2215 [57:46<32:09,  2.26s/it]
 62%|██████████████████████████████████████████████████████████████████████▏                                           | 1364/2215 [57:48<32:08,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▎                                           | 1365/2215 [57:51<32:05,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▎                                           | 1366/2215 [57:53<32:05,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▎                                           | 1367/2215 [57:55<32:00,  2.26s/it]
 62%|██████████████████████████████████████████████████████████████████████▍                                           | 1368/2215 [57:57<32:01,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▍                                           | 1369/2215 [58:00<31:57,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▌                                           | 1370/2215 [58:02<31:57,  2.27s/it]
                                                                                                                                                           
{'loss': '0.5358', 'grad_norm': '0.8764', 'learning_rate': '6.721e-05', 'ppl': '1.709', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1905', 'tokens/total': 11223040, 'tokens/trainable': 5722383, 'epoch': '3.093'}

 62%|██████████████████████████████████████████████████████████████████████▌                                           | 1370/2215 [58:02<31:57,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▌                                           | 1371/2215 [58:04<31:54,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▌                                           | 1372/2215 [58:07<31:47,  2.26s/it]
 62%|██████████████████████████████████████████████████████████████████████▋                                           | 1373/2215 [58:09<31:47,  2.27s/it]
 62%|██████████████████████████████████████████████████████████████████████▋                                           | 1374/2215 [58:11<31:41,  2.26s/it]
 62%|██████████████████████████████████████████████████████████████████████▊                                           | 1375/2215 [58:13<31:39,  2.26s/it]
 62%|██████████████████████████████████████████████████████████████████████▊                                           | 1376/2215 [58:16<31:31,  2.25s/it]
 62%|██████████████████████████████████████████████████████████████████████▊                                           | 1377/2215 [58:18<31:25,  2.25s/it]
 62%|██████████████████████████████████████████████████████████████████████▉                                           | 1378/2215 [58:20<31:20,  2.25s/it]
 62%|██████████████████████████████████████████████████████████████████████▉                                           | 1379/2215 [58:22<31:15,  2.24s/it]
 62%|███████████████████████████████████████████████████████████████████████                                           | 1380/2215 [58:25<31:14,  2.24s/it]
                                                                                                                                                           
{'loss': '0.5006', 'grad_norm': '0.8516', 'learning_rate': '6.584e-05', 'ppl': '1.65', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1883', 'tokens/total': 11304960, 'tokens/trainable': 5764362, 'epoch': '3.115'}

 62%|███████████████████████████████████████████████████████████████████████                                           | 1380/2215 [58:25<31:14,  2.24s/it]
 62%|███████████████████████████████████████████████████████████████████████                                           | 1381/2215 [58:27<31:15,  2.25s/it]
 62%|███████████████████████████████████████████████████████████████████████▏                                          | 1382/2215 [58:29<31:10,  2.25s/it]
 62%|███████████████████████████████████████████████████████████████████████▏                                          | 1383/2215 [58:31<31:09,  2.25s/it]
 62%|███████████████████████████████████████████████████████████████████████▏                                          | 1384/2215 [58:34<31:06,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▎                                          | 1385/2215 [58:36<31:06,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▎                                          | 1386/2215 [58:38<31:01,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▍                                          | 1387/2215 [58:40<31:00,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▍                                          | 1388/2215 [58:43<31:05,  2.26s/it]
 63%|███████████████████████████████████████████████████████████████████████▍                                          | 1389/2215 [58:45<31:00,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▌                                          | 1390/2215 [58:47<30:54,  2.25s/it]
                                                                                                                                                           
{'loss': '0.523', 'grad_norm': '0.9278', 'learning_rate': '6.447e-05', 'ppl': '1.687', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1783', 'tokens/total': 11386880, 'tokens/trainable': 5805462, 'epoch': '3.138'}

 63%|███████████████████████████████████████████████████████████████████████▌                                          | 1390/2215 [58:47<30:54,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▌                                          | 1391/2215 [58:49<30:53,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▋                                          | 1392/2215 [58:52<30:48,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▋                                          | 1393/2215 [58:54<30:46,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▋                                          | 1394/2215 [58:56<30:48,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▊                                          | 1395/2215 [58:58<30:46,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▊                                          | 1396/2215 [59:01<30:42,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▉                                          | 1397/2215 [59:03<30:40,  2.25s/it]
 63%|███████████████████████████████████████████████████████████████████████▉                                          | 1398/2215 [59:05<30:36,  2.25s/it]
 63%|████████████████████████████████████████████████████████████████████████                                          | 1399/2215 [59:07<30:35,  2.25s/it]
 63%|████████████████████████████████████████████████████████████████████████                                          | 1400/2215 [59:10<30:37,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5177', 'grad_norm': '0.8518', 'learning_rate': '6.31e-05', 'ppl': '1.678', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1946', 'tokens/total': 11468800, 'tokens/trainable': 5845361, 'epoch': '3.16'}

 63%|████████████████████████████████████████████████████████████████████████                                          | 1400/2215 [59:10<30:37,  2.25s/it][2026-03-23 12:12:27,399] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:12:30,202] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.3263912200927734
[2026-03-23 12:12:31,859] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6559948921203613
[2026-03-23 12:12:33,215] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.355384349822998
[2026-03-23 12:12:34,893] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6776371002197266
[2026-03-23 12:12:34,894] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.054', 'eval_runtime': '17.36', 'eval_samples_per_second': '106.7', 'eval_steps_per_second': '26.73', 'eval_ppl': '2.868', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '3.16', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 63%|████████████████████████████████████████████████████████████████████████                                          | 1400/2215 [59:34<30:37,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:12:52,285] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1400

 63%|██████████████████████████████████████████████████████████████████████▊                                         | 1401/2215 [59:39<2:20:53, 10.39s/it]
 63%|██████████████████████████████████████████████████████████████████████▉                                         | 1402/2215 [59:41<1:47:40,  7.95s/it]
 63%|██████████████████████████████████████████████████████████████████████▉                                         | 1403/2215 [59:43<1:24:25,  6.24s/it]
 63%|██████████████████████████████████████████████████████████████████████▉                                         | 1404/2215 [59:46<1:08:07,  5.04s/it]
 63%|████████████████████████████████████████████████████████████████████████▎                                         | 1405/2215 [59:48<56:47,  4.21s/it]
 63%|████████████████████████████████████████████████████████████████████████▎                                         | 1406/2215 [59:50<48:46,  3.62s/it]
 64%|████████████████████████████████████████████████████████████████████████▍                                         | 1407/2215 [59:52<43:13,  3.21s/it]
 64%|████████████████████████████████████████████████████████████████████████▍                                         | 1408/2215 [59:55<39:16,  2.92s/it]
 64%|████████████████████████████████████████████████████████████████████████▌                                         | 1409/2215 [59:57<36:35,  2.72s/it]
 64%|████████████████████████████████████████████████████████████████████████▌                                         | 1410/2215 [59:59<34:38,  2.58s/it]
                                                                                                                                                           
{'loss': '0.5196', 'grad_norm': '0.8376', 'learning_rate': '6.175e-05', 'ppl': '1.681', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1881', 'tokens/total': 11550720, 'tokens/trainable': 5886661, 'epoch': '3.183'}

 64%|████████████████████████████████████████████████████████████████████████▌                                         | 1410/2215 [59:59<34:38,  2.58s/it]
 64%|███████████████████████████████████████████████████████████████████████▎                                        | 1411/2215 [1:00:01<33:19,  2.49s/it]
 64%|███████████████████████████████████████████████████████████████████████▍                                        | 1412/2215 [1:00:04<32:20,  2.42s/it]
 64%|███████████████████████████████████████████████████████████████████████▍                                        | 1413/2215 [1:00:06<31:40,  2.37s/it]
 64%|███████████████████████████████████████████████████████████████████████▍                                        | 1414/2215 [1:00:08<31:09,  2.33s/it]
 64%|███████████████████████████████████████████████████████████████████████▌                                        | 1415/2215 [1:00:10<30:56,  2.32s/it]
 64%|███████████████████████████████████████████████████████████████████████▌                                        | 1416/2215 [1:00:13<30:38,  2.30s/it]
 64%|███████████████████████████████████████████████████████████████████████▋                                        | 1417/2215 [1:00:15<30:27,  2.29s/it]
 64%|███████████████████████████████████████████████████████████████████████▋                                        | 1418/2215 [1:00:17<30:16,  2.28s/it]
 64%|███████████████████████████████████████████████████████████████████████▊                                        | 1419/2215 [1:00:20<30:10,  2.27s/it]
 64%|███████████████████████████████████████████████████████████████████████▊                                        | 1420/2215 [1:00:22<30:01,  2.27s/it]
                                                                                                                                                           
{'loss': '0.549', 'grad_norm': '0.9778', 'learning_rate': '6.04e-05', 'ppl': '1.731', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1681', 'tokens/total': 11632640, 'tokens/trainable': 5927204, 'epoch': '3.205'}

 64%|███████████████████████████████████████████████████████████████████████▊                                        | 1420/2215 [1:00:22<30:01,  2.27s/it]
 64%|███████████████████████████████████████████████████████████████████████▊                                        | 1421/2215 [1:00:24<29:59,  2.27s/it]
 64%|███████████████████████████████████████████████████████████████████████▉                                        | 1422/2215 [1:00:26<29:53,  2.26s/it]
 64%|███████████████████████████████████████████████████████████████████████▉                                        | 1423/2215 [1:00:29<29:45,  2.25s/it]
 64%|████████████████████████████████████████████████████████████████████████                                        | 1424/2215 [1:00:31<29:41,  2.25s/it]
 64%|████████████████████████████████████████████████████████████████████████                                        | 1425/2215 [1:00:33<29:35,  2.25s/it]
 64%|████████████████████████████████████████████████████████████████████████                                        | 1426/2215 [1:00:35<29:33,  2.25s/it]
 64%|████████████████████████████████████████████████████████████████████████▏                                       | 1427/2215 [1:00:38<29:35,  2.25s/it]
 64%|████████████████████████████████████████████████████████████████████████▏                                       | 1428/2215 [1:00:40<29:32,  2.25s/it]
 65%|████████████████████████████████████████████████████████████████████████▎                                       | 1429/2215 [1:00:42<30:04,  2.30s/it]
 65%|████████████████████████████████████████████████████████████████████████▎                                       | 1430/2215 [1:00:44<29:52,  2.28s/it]
                                                                                                                                                           
{'loss': '0.5739', 'grad_norm': '0.9993', 'learning_rate': '5.906e-05', 'ppl': '1.775', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1572', 'tokens/total': 11714560, 'tokens/trainable': 5968185, 'epoch': '3.228'}

 65%|████████████████████████████████████████████████████████████████████████▎                                       | 1430/2215 [1:00:44<29:52,  2.28s/it]
 65%|████████████████████████████████████████████████████████████████████████▎                                       | 1431/2215 [1:00:47<29:42,  2.27s/it]
 65%|████████████████████████████████████████████████████████████████████████▍                                       | 1432/2215 [1:00:49<29:37,  2.27s/it]
 65%|████████████████████████████████████████████████████████████████████████▍                                       | 1433/2215 [1:00:51<29:30,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▌                                       | 1434/2215 [1:00:53<29:28,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▌                                       | 1435/2215 [1:00:56<29:21,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▌                                       | 1436/2215 [1:00:58<29:21,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▋                                       | 1437/2215 [1:01:00<29:16,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▋                                       | 1438/2215 [1:01:02<29:16,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▊                                       | 1439/2215 [1:01:05<29:11,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▊                                       | 1440/2215 [1:01:07<29:10,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4988', 'grad_norm': '0.855', 'learning_rate': '5.773e-05', 'ppl': '1.647', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1856', 'tokens/total': 11796480, 'tokens/trainable': 6011351, 'epoch': '3.251'}

 65%|████████████████████████████████████████████████████████████████████████▊                                       | 1440/2215 [1:01:07<29:10,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▊                                       | 1441/2215 [1:01:09<29:06,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▉                                       | 1442/2215 [1:01:12<29:05,  2.26s/it]
 65%|████████████████████████████████████████████████████████████████████████▉                                       | 1443/2215 [1:01:14<29:01,  2.26s/it]
 65%|█████████████████████████████████████████████████████████████████████████                                       | 1444/2215 [1:01:16<29:04,  2.26s/it]
 65%|█████████████████████████████████████████████████████████████████████████                                       | 1445/2215 [1:01:18<28:59,  2.26s/it]
 65%|█████████████████████████████████████████████████████████████████████████                                       | 1446/2215 [1:01:21<28:52,  2.25s/it]
 65%|█████████████████████████████████████████████████████████████████████████▏                                      | 1447/2215 [1:01:23<28:49,  2.25s/it]
 65%|█████████████████████████████████████████████████████████████████████████▏                                      | 1448/2215 [1:01:25<28:43,  2.25s/it]
 65%|█████████████████████████████████████████████████████████████████████████▎                                      | 1449/2215 [1:01:27<28:41,  2.25s/it]
 65%|█████████████████████████████████████████████████████████████████████████▎                                      | 1450/2215 [1:01:30<28:44,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5048', 'grad_norm': '0.7625', 'learning_rate': '5.641e-05', 'ppl': '1.657', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2039', 'tokens/total': 11878400, 'tokens/trainable': 6052820, 'epoch': '3.273'}

 65%|█████████████████████████████████████████████████████████████████████████▎                                      | 1450/2215 [1:01:30<28:44,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▎                                      | 1451/2215 [1:01:32<28:41,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▍                                      | 1452/2215 [1:01:34<28:36,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▍                                      | 1453/2215 [1:01:36<28:34,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▌                                      | 1454/2215 [1:01:39<28:34,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▌                                      | 1455/2215 [1:01:41<28:31,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▌                                      | 1456/2215 [1:01:43<28:26,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▋                                      | 1457/2215 [1:01:45<28:24,  2.25s/it]
 66%|█████████████████████████████████████████████████████████████████████████▋                                      | 1458/2215 [1:01:48<29:00,  2.30s/it]
 66%|█████████████████████████████████████████████████████████████████████████▊                                      | 1459/2215 [1:01:50<28:44,  2.28s/it]
 66%|█████████████████████████████████████████████████████████████████████████▊                                      | 1460/2215 [1:01:52<28:34,  2.27s/it]
                                                                                                                                                           
{'loss': '0.5044', 'grad_norm': '0.8996', 'learning_rate': '5.51e-05', 'ppl': '1.656', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1789', 'tokens/total': 11960320, 'tokens/trainable': 6095256, 'epoch': '3.296'}

 66%|█████████████████████████████████████████████████████████████████████████▊                                      | 1460/2215 [1:01:52<28:34,  2.27s/it]
 66%|█████████████████████████████████████████████████████████████████████████▊                                      | 1461/2215 [1:01:54<28:31,  2.27s/it]
 66%|█████████████████████████████████████████████████████████████████████████▉                                      | 1462/2215 [1:01:57<28:25,  2.27s/it]
 66%|█████████████████████████████████████████████████████████████████████████▉                                      | 1463/2215 [1:01:59<28:22,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████                                      | 1464/2215 [1:02:01<28:16,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████                                      | 1465/2215 [1:02:03<28:15,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▏                                     | 1466/2215 [1:02:06<28:09,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▏                                     | 1467/2215 [1:02:08<28:08,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▏                                     | 1468/2215 [1:02:10<28:05,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▎                                     | 1469/2215 [1:02:12<28:04,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▎                                     | 1470/2215 [1:02:15<27:59,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5049', 'grad_norm': '0.9282', 'learning_rate': '5.38e-05', 'ppl': '1.657', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1659', 'tokens/total': 12042240, 'tokens/trainable': 6136627, 'epoch': '3.318'}

 66%|██████████████████████████████████████████████████████████████████████████▎                                     | 1470/2215 [1:02:15<27:59,  2.25s/it]
 66%|██████████████████████████████████████████████████████████████████████████▍                                     | 1471/2215 [1:02:17<27:58,  2.26s/it]
 66%|██████████████████████████████████████████████████████████████████████████▍                                     | 1472/2215 [1:02:19<27:54,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▍                                     | 1473/2215 [1:02:22<27:57,  2.26s/it]
 67%|██████████████████████████████████████████████████████████████████████████▌                                     | 1474/2215 [1:02:24<27:51,  2.26s/it]
 67%|██████████████████████████████████████████████████████████████████████████▌                                     | 1475/2215 [1:02:26<27:50,  2.26s/it]
 67%|██████████████████████████████████████████████████████████████████████████▋                                     | 1476/2215 [1:02:28<27:46,  2.26s/it]
 67%|██████████████████████████████████████████████████████████████████████████▋                                     | 1477/2215 [1:02:31<27:41,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▋                                     | 1478/2215 [1:02:33<27:38,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▊                                     | 1479/2215 [1:02:35<27:39,  2.26s/it]
 67%|██████████████████████████████████████████████████████████████████████████▊                                     | 1480/2215 [1:02:37<27:36,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5527', 'grad_norm': '0.8576', 'learning_rate': '5.251e-05', 'ppl': '1.738', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1752', 'tokens/total': 12124160, 'tokens/trainable': 6178175, 'epoch': '3.341'}

 67%|██████████████████████████████████████████████████████████████████████████▊                                     | 1480/2215 [1:02:37<27:36,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▉                                     | 1481/2215 [1:02:40<27:30,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▉                                     | 1482/2215 [1:02:42<27:28,  2.25s/it]
 67%|██████████████████████████████████████████████████████████████████████████▉                                     | 1483/2215 [1:02:44<27:28,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████                                     | 1484/2215 [1:02:46<27:26,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████                                     | 1485/2215 [1:02:49<27:21,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████▏                                    | 1486/2215 [1:02:51<27:19,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████▏                                    | 1487/2215 [1:02:53<27:20,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████▏                                    | 1488/2215 [1:02:55<27:26,  2.26s/it]
 67%|███████████████████████████████████████████████████████████████████████████▎                                    | 1489/2215 [1:02:58<27:17,  2.26s/it]
 67%|███████████████████████████████████████████████████████████████████████████▎                                    | 1490/2215 [1:03:00<27:15,  2.26s/it]
                                                                                                                                                           
{'loss': '0.522', 'grad_norm': '0.7334', 'learning_rate': '5.123e-05', 'ppl': '1.685', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2108', 'tokens/total': 12206080, 'tokens/trainable': 6220120, 'epoch': '3.363'}

 67%|███████████████████████████████████████████████████████████████████████████▎                                    | 1490/2215 [1:03:00<27:15,  2.26s/it]
 67%|███████████████████████████████████████████████████████████████████████████▍                                    | 1491/2215 [1:03:02<27:09,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████▍                                    | 1492/2215 [1:03:04<27:04,  2.25s/it]
 67%|███████████████████████████████████████████████████████████████████████████▍                                    | 1493/2215 [1:03:07<26:59,  2.24s/it]
 67%|███████████████████████████████████████████████████████████████████████████▌                                    | 1494/2215 [1:03:09<26:58,  2.24s/it]
 67%|███████████████████████████████████████████████████████████████████████████▌                                    | 1495/2215 [1:03:11<26:54,  2.24s/it]
 68%|███████████████████████████████████████████████████████████████████████████▋                                    | 1496/2215 [1:03:13<26:52,  2.24s/it]
 68%|███████████████████████████████████████████████████████████████████████████▋                                    | 1497/2215 [1:03:16<26:54,  2.25s/it]
 68%|███████████████████████████████████████████████████████████████████████████▋                                    | 1498/2215 [1:03:18<26:51,  2.25s/it]
 68%|███████████████████████████████████████████████████████████████████████████▊                                    | 1499/2215 [1:03:20<26:52,  2.25s/it]
 68%|███████████████████████████████████████████████████████████████████████████▊                                    | 1500/2215 [1:03:22<26:49,  2.25s/it]
                                                                                                                                                           
{'loss': '0.529', 'grad_norm': '0.9128', 'learning_rate': '4.996e-05', 'ppl': '1.697', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1700', 'tokens/total': 12288000, 'tokens/trainable': 6263081, 'epoch': '3.386'}

 68%|███████████████████████████████████████████████████████████████████████████▊                                    | 1500/2215 [1:03:22<26:49,  2.25s/it][2026-03-23 12:16:40,139] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:16:43,380] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4149508476257324
[2026-03-23 12:16:44,822] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4404420852661133
[2026-03-23 12:16:46,239] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4166693687438965
[2026-03-23 12:16:47,924] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6841373443603516
[2026-03-23 12:16:47,924] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.98it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.15it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.61it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.048', 'eval_runtime': '17.45', 'eval_samples_per_second': '106.2', 'eval_steps_per_second': '26.59', 'eval_ppl': '2.852', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '3.386', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 68%|███████████████████████████████████████████████████████████████████████████▊                                    | 1500/2215 [1:03:48<26:49,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:17:05,402] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1500

 68%|██████████████████████████████████████████████████████████████████████████▌                                   | 1501/2215 [1:03:52<2:05:35, 10.55s/it]
 68%|██████████████████████████████████████████████████████████████████████████▌                                   | 1502/2215 [1:03:54<1:35:52,  8.07s/it]
 68%|██████████████████████████████████████████████████████████████████████████▋                                   | 1503/2215 [1:03:57<1:15:01,  6.32s/it]
 68%|██████████████████████████████████████████████████████████████████████████▋                                   | 1504/2215 [1:03:59<1:00:29,  5.10s/it]
 68%|████████████████████████████████████████████████████████████████████████████                                    | 1505/2215 [1:04:01<50:16,  4.25s/it]
 68%|████████████████████████████████████████████████████████████████████████████▏                                   | 1506/2215 [1:04:03<43:09,  3.65s/it]
 68%|████████████████████████████████████████████████████████████████████████████▏                                   | 1507/2215 [1:04:06<38:07,  3.23s/it]
 68%|████████████████████████████████████████████████████████████████████████████▎                                   | 1508/2215 [1:04:08<34:39,  2.94s/it]
 68%|████████████████████████████████████████████████████████████████████████████▎                                   | 1509/2215 [1:04:10<32:10,  2.73s/it]
 68%|████████████████████████████████████████████████████████████████████████████▎                                   | 1510/2215 [1:04:13<30:28,  2.59s/it]
                                                                                                                                                           
{'loss': '0.5189', 'grad_norm': '0.8832', 'learning_rate': '4.87e-05', 'ppl': '1.68', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1959', 'tokens/total': 12369920, 'tokens/trainable': 6305428, 'epoch': '3.409'}

 68%|████████████████████████████████████████████████████████████████████████████▎                                   | 1510/2215 [1:04:13<30:28,  2.59s/it]
 68%|████████████████████████████████████████████████████████████████████████████▍                                   | 1511/2215 [1:04:15<29:15,  2.49s/it]
 68%|████████████████████████████████████████████████████████████████████████████▍                                   | 1512/2215 [1:04:17<28:19,  2.42s/it]
 68%|████████████████████████████████████████████████████████████████████████████▌                                   | 1513/2215 [1:04:19<27:42,  2.37s/it]
 68%|████████████████████████████████████████████████████████████████████████████▌                                   | 1514/2215 [1:04:22<27:13,  2.33s/it]
 68%|████████████████████████████████████████████████████████████████████████████▌                                   | 1515/2215 [1:04:24<27:01,  2.32s/it]
 68%|████████████████████████████████████████████████████████████████████████████▋                                   | 1516/2215 [1:04:26<26:43,  2.29s/it]
 68%|████████████████████████████████████████████████████████████████████████████▋                                   | 1517/2215 [1:04:28<26:29,  2.28s/it]
 69%|████████████████████████████████████████████████████████████████████████████▊                                   | 1518/2215 [1:04:31<26:19,  2.27s/it]
 69%|████████████████████████████████████████████████████████████████████████████▊                                   | 1519/2215 [1:04:33<26:15,  2.26s/it]
 69%|████████████████████████████████████████████████████████████████████████████▊                                   | 1520/2215 [1:04:35<26:08,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4986', 'grad_norm': '0.8278', 'learning_rate': '4.745e-05', 'ppl': '1.646', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1861', 'tokens/total': 12451840, 'tokens/trainable': 6347866, 'epoch': '3.431'}

 69%|████████████████████████████████████████████████████████████████████████████▊                                   | 1520/2215 [1:04:35<26:08,  2.26s/it]
 69%|████████████████████████████████████████████████████████████████████████████▉                                   | 1521/2215 [1:04:37<26:06,  2.26s/it]
 69%|████████████████████████████████████████████████████████████████████████████▉                                   | 1522/2215 [1:04:40<26:00,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████                                   | 1523/2215 [1:04:42<25:57,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████                                   | 1524/2215 [1:04:44<25:58,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████                                   | 1525/2215 [1:04:46<25:55,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 1526/2215 [1:04:49<25:49,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▏                                  | 1527/2215 [1:04:51<25:47,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 1528/2215 [1:04:53<25:43,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 1529/2215 [1:04:55<25:41,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 1530/2215 [1:04:58<25:44,  2.26s/it]
                                                                                                                                                           
{'loss': '0.5512', 'grad_norm': '0.979', 'learning_rate': '4.621e-05', 'ppl': '1.735', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1700', 'tokens/total': 12533760, 'tokens/trainable': 6388169, 'epoch': '3.454'}

 69%|█████████████████████████████████████████████████████████████████████████████▎                                  | 1530/2215 [1:04:58<25:44,  2.26s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 1531/2215 [1:05:00<25:40,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▍                                  | 1532/2215 [1:05:02<25:35,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 1533/2215 [1:05:04<25:34,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 1534/2215 [1:05:07<25:30,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▌                                  | 1535/2215 [1:05:09<25:28,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 1536/2215 [1:05:11<25:29,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▋                                  | 1537/2215 [1:05:13<25:27,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 1538/2215 [1:05:16<25:22,  2.25s/it]
 69%|█████████████████████████████████████████████████████████████████████████████▊                                  | 1539/2215 [1:05:18<25:20,  2.25s/it]
 70%|█████████████████████████████████████████████████████████████████████████████▊                                  | 1540/2215 [1:05:20<25:16,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5588', 'grad_norm': '0.8956', 'learning_rate': '4.498e-05', 'ppl': '1.749', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1951', 'tokens/total': 12615680, 'tokens/trainable': 6431456, 'epoch': '3.476'}

 70%|█████████████████████████████████████████████████████████████████████████████▊                                  | 1540/2215 [1:05:20<25:16,  2.25s/it]
 70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 1541/2215 [1:05:22<25:15,  2.25s/it]
 70%|█████████████████████████████████████████████████████████████████████████████▉                                  | 1542/2215 [1:05:25<25:16,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████                                  | 1543/2215 [1:05:27<25:13,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████                                  | 1544/2215 [1:05:29<25:12,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████                                  | 1545/2215 [1:05:31<25:07,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 1546/2215 [1:05:34<25:03,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▏                                 | 1547/2215 [1:05:36<25:01,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 1548/2215 [1:05:38<25:02,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 1549/2215 [1:05:40<25:00,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 1550/2215 [1:05:43<24:55,  2.25s/it]
                                                                                                                                                           
{'loss': '0.526', 'grad_norm': '0.9545', 'learning_rate': '4.377e-05', 'ppl': '1.692', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1769', 'tokens/total': 12697600, 'tokens/trainable': 6473901, 'epoch': '3.499'}

 70%|██████████████████████████████████████████████████████████████████████████████▎                                 | 1550/2215 [1:05:43<24:55,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 1551/2215 [1:05:45<24:54,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▍                                 | 1552/2215 [1:05:47<24:50,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 1553/2215 [1:05:49<24:48,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▌                                 | 1554/2215 [1:05:52<24:44,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 1555/2215 [1:05:54<24:42,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 1556/2215 [1:05:56<24:43,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▋                                 | 1557/2215 [1:05:58<24:40,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 1558/2215 [1:06:01<24:36,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▊                                 | 1559/2215 [1:06:03<24:36,  2.25s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 1560/2215 [1:06:05<24:37,  2.26s/it]
                                                                                                                                                           
{'loss': '0.5501', 'grad_norm': '0.8828', 'learning_rate': '4.257e-05', 'ppl': '1.733', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1854', 'tokens/total': 12779520, 'tokens/trainable': 6513973, 'epoch': '3.521'}

 70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 1560/2215 [1:06:05<24:37,  2.26s/it]
 70%|██████████████████████████████████████████████████████████████████████████████▉                                 | 1561/2215 [1:06:07<24:32,  2.25s/it]
 71%|██████████████████████████████████████████████████████████████████████████████▉                                 | 1562/2215 [1:06:10<24:27,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████                                 | 1563/2215 [1:06:12<24:26,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████                                 | 1564/2215 [1:06:14<24:28,  2.26s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▏                                | 1565/2215 [1:06:16<24:23,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▏                                | 1566/2215 [1:06:19<24:18,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▏                                | 1567/2215 [1:06:21<24:17,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▎                                | 1568/2215 [1:06:23<24:13,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▎                                | 1569/2215 [1:06:25<24:12,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▍                                | 1570/2215 [1:06:28<24:13,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5074', 'grad_norm': '0.9057', 'learning_rate': '4.138e-05', 'ppl': '1.661', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1834', 'tokens/total': 12861440, 'tokens/trainable': 6554500, 'epoch': '3.544'}

 71%|███████████████████████████████████████████████████████████████████████████████▍                                | 1570/2215 [1:06:28<24:13,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▍                                | 1571/2215 [1:06:30<24:08,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▍                                | 1572/2215 [1:06:32<24:05,  2.25s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▌                                | 1573/2215 [1:06:35<25:09,  2.35s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▌                                | 1574/2215 [1:06:37<24:51,  2.33s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▋                                | 1575/2215 [1:06:39<24:34,  2.30s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▋                                | 1576/2215 [1:06:41<24:25,  2.29s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▋                                | 1577/2215 [1:06:44<24:15,  2.28s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▊                                | 1578/2215 [1:06:46<24:09,  2.28s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▊                                | 1579/2215 [1:06:48<24:02,  2.27s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▉                                | 1580/2215 [1:06:50<23:59,  2.27s/it]
                                                                                                                                                           
{'loss': '0.5376', 'grad_norm': '0.967', 'learning_rate': '4.02e-05', 'ppl': '1.712', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1688', 'tokens/total': 12943360, 'tokens/trainable': 6595482, 'epoch': '3.567'}

 71%|███████████████████████████████████████████████████████████████████████████████▉                                | 1580/2215 [1:06:50<23:59,  2.27s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▉                                | 1581/2215 [1:06:53<23:54,  2.26s/it]
 71%|███████████████████████████████████████████████████████████████████████████████▉                                | 1582/2215 [1:06:55<23:52,  2.26s/it]
 71%|████████████████████████████████████████████████████████████████████████████████                                | 1583/2215 [1:06:57<23:47,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████                                | 1584/2215 [1:06:59<23:47,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▏                               | 1585/2215 [1:07:02<23:43,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▏                               | 1586/2215 [1:07:04<23:42,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▏                               | 1587/2215 [1:07:06<23:37,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▎                               | 1588/2215 [1:07:09<23:40,  2.27s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▎                               | 1589/2215 [1:07:11<23:35,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▍                               | 1590/2215 [1:07:13<23:29,  2.26s/it]
                                                                                                                                                           
{'loss': '0.5251', 'grad_norm': '0.8', 'learning_rate': '3.903e-05', 'ppl': '1.691', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2040', 'tokens/total': 13025280, 'tokens/trainable': 6637800, 'epoch': '3.589'}

 72%|████████████████████████████████████████████████████████████████████████████████▍                               | 1590/2215 [1:07:13<23:29,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▍                               | 1591/2215 [1:07:15<23:27,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▍                               | 1592/2215 [1:07:18<23:27,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▌                               | 1593/2215 [1:07:20<23:23,  2.26s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▌                               | 1594/2215 [1:07:22<23:17,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▋                               | 1595/2215 [1:07:24<23:15,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▋                               | 1596/2215 [1:07:27<23:11,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▊                               | 1597/2215 [1:07:29<23:09,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▊                               | 1598/2215 [1:07:31<23:10,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▊                               | 1599/2215 [1:07:33<23:07,  2.25s/it]
 72%|████████████████████████████████████████████████████████████████████████████████▉                               | 1600/2215 [1:07:36<23:03,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5298', 'grad_norm': '0.9439', 'learning_rate': '3.788e-05', 'ppl': '1.699', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1759', 'tokens/total': 13107200, 'tokens/trainable': 6678281, 'epoch': '3.612'}

 72%|████████████████████████████████████████████████████████████████████████████████▉                               | 1600/2215 [1:07:36<23:03,  2.25s/it][2026-03-23 12:20:53,382] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:20:56,477] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.694084882736206
[2026-03-23 12:20:58,255] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.7764146327972412
[2026-03-23 12:20:59,979] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.723520040512085
[2026-03-23 12:21:01,444] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4647340774536133
[2026-03-23 12:21:01,445] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.73it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.64it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.61it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:10,  1.59it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.58it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.55it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.54it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.54it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.54it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.54it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:13<00:01,  1.54it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.54it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.54it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.045', 'eval_runtime': '17.38', 'eval_samples_per_second': '106.6', 'eval_steps_per_second': '26.7', 'eval_ppl': '2.842', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '3.612', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.72it/s]
 72%|████████████████████████████████████████████████████████████████████████████████▉                               | 1600/2215 [1:08:01<23:03,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:21:18,854] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1600

 72%|███████████████████████████████████████████████████████████████████████████████▌                              | 1601/2215 [1:08:06<1:50:00, 10.75s/it]
 72%|███████████████████████████████████████████████████████████████████████████████▌                              | 1602/2215 [1:08:08<1:23:50,  8.21s/it]
 72%|███████████████████████████████████████████████████████████████████████████████▌                              | 1603/2215 [1:08:11<1:05:27,  6.42s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████                               | 1604/2215 [1:08:13<52:39,  5.17s/it]
 72%|█████████████████████████████████████████████████████████████████████████████████▏                              | 1605/2215 [1:08:15<43:38,  4.29s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▏                              | 1606/2215 [1:08:17<37:23,  3.68s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 1607/2215 [1:08:20<32:57,  3.25s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 1608/2215 [1:08:22<29:54,  2.96s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▎                              | 1609/2215 [1:08:24<27:44,  2.75s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 1610/2215 [1:08:26<26:13,  2.60s/it]
                                                                                                                                                           
{'loss': '0.5132', 'grad_norm': '0.8348', 'learning_rate': '3.674e-05', 'ppl': '1.671', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1976', 'tokens/total': 13189120, 'tokens/trainable': 6720422, 'epoch': '3.634'}

 73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 1610/2215 [1:08:26<26:13,  2.60s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▍                              | 1611/2215 [1:08:29<25:08,  2.50s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 1612/2215 [1:08:31<24:24,  2.43s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 1613/2215 [1:08:33<23:48,  2.37s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▌                              | 1614/2215 [1:08:35<23:26,  2.34s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 1615/2215 [1:08:38<23:09,  2.32s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▋                              | 1616/2215 [1:08:40<22:57,  2.30s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 1617/2215 [1:08:42<22:45,  2.28s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 1618/2215 [1:08:44<22:39,  2.28s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▊                              | 1619/2215 [1:08:47<22:31,  2.27s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 1620/2215 [1:08:49<22:28,  2.27s/it]
                                                                                                                                                           
{'loss': '0.5128', 'grad_norm': '0.8698', 'learning_rate': '3.562e-05', 'ppl': '1.67', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1745', 'tokens/total': 13271040, 'tokens/trainable': 6761619, 'epoch': '3.657'}

 73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 1620/2215 [1:08:49<22:28,  2.27s/it]
 73%|█████████████████████████████████████████████████████████████████████████████████▉                              | 1621/2215 [1:08:51<22:23,  2.26s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████                              | 1622/2215 [1:08:53<22:20,  2.26s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████                              | 1623/2215 [1:08:56<22:15,  2.26s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████                              | 1624/2215 [1:08:58<22:14,  2.26s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 1625/2215 [1:09:00<22:10,  2.25s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████▏                             | 1626/2215 [1:09:03<22:09,  2.26s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 1627/2215 [1:09:05<22:05,  2.25s/it]
 73%|██████████████████████████████████████████████████████████████████████████████████▎                             | 1628/2215 [1:09:07<22:04,  2.26s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▎                             | 1629/2215 [1:09:09<22:00,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 1630/2215 [1:09:12<21:56,  2.25s/it]
                                                                                                                                                           
{'loss': '0.4892', 'grad_norm': '0.8896', 'learning_rate': '3.45e-05', 'ppl': '1.631', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1862', 'tokens/total': 13352960, 'tokens/trainable': 6803935, 'epoch': '3.679'}

 74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 1630/2215 [1:09:12<21:56,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▍                             | 1631/2215 [1:09:14<21:54,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 1632/2215 [1:09:16<21:50,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 1633/2215 [1:09:18<21:48,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▌                             | 1634/2215 [1:09:21<21:48,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 1635/2215 [1:09:23<21:45,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▋                             | 1636/2215 [1:09:25<21:45,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 1637/2215 [1:09:27<21:41,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 1638/2215 [1:09:30<21:36,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▊                             | 1639/2215 [1:09:32<21:34,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 1640/2215 [1:09:34<21:34,  2.25s/it]
                                                                                                                                                           
{'loss': '0.501', 'grad_norm': '0.8859', 'learning_rate': '3.341e-05', 'ppl': '1.65', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1924', 'tokens/total': 13434880, 'tokens/trainable': 6846143, 'epoch': '3.702'}

 74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 1640/2215 [1:09:34<21:34,  2.25s/it]
 74%|██████████████████████████████████████████████████████████████████████████████████▉                             | 1641/2215 [1:09:36<21:32,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████                             | 1642/2215 [1:09:39<21:31,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████                             | 1643/2215 [1:09:41<21:28,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 1644/2215 [1:09:43<21:26,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 1645/2215 [1:09:45<21:23,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▏                            | 1646/2215 [1:09:48<21:18,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 1647/2215 [1:09:50<21:16,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▎                            | 1648/2215 [1:09:52<21:16,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 1649/2215 [1:09:54<21:13,  2.25s/it]
 74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 1650/2215 [1:09:57<21:09,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5109', 'grad_norm': '0.9281', 'learning_rate': '3.232e-05', 'ppl': '1.667', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1803', 'tokens/total': 13516800, 'tokens/trainable': 6887423, 'epoch': '3.725'}

 74%|███████████████████████████████████████████████████████████████████████████████████▍                            | 1650/2215 [1:09:57<21:09,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▍                            | 1651/2215 [1:09:59<21:08,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 1652/2215 [1:10:01<21:09,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▌                            | 1653/2215 [1:10:03<21:05,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 1654/2215 [1:10:06<21:01,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 1655/2215 [1:10:08<20:59,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▋                            | 1656/2215 [1:10:10<20:55,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 1657/2215 [1:10:12<20:53,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▊                            | 1658/2215 [1:10:15<20:53,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 1659/2215 [1:10:17<20:52,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 1660/2215 [1:10:19<20:48,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5311', 'grad_norm': '0.8805', 'learning_rate': '3.125e-05', 'ppl': '1.701', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2002', 'tokens/total': 13598720, 'tokens/trainable': 6929996, 'epoch': '3.747'}

 75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 1660/2215 [1:10:19<20:48,  2.25s/it]
 75%|███████████████████████████████████████████████████████████████████████████████████▉                            | 1661/2215 [1:10:21<20:46,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████                            | 1662/2215 [1:10:23<20:42,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████                            | 1663/2215 [1:10:26<20:39,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 1664/2215 [1:10:28<20:40,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 1665/2215 [1:10:30<20:37,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▏                           | 1666/2215 [1:10:33<20:36,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 1667/2215 [1:10:35<20:33,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▎                           | 1668/2215 [1:10:37<20:28,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 1669/2215 [1:10:39<20:27,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 1670/2215 [1:10:42<20:27,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5398', 'grad_norm': '0.9142', 'learning_rate': '3.02e-05', 'ppl': '1.716', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1806', 'tokens/total': 13680640, 'tokens/trainable': 6969809, 'epoch': '3.77'}

 75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 1670/2215 [1:10:42<20:27,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▍                           | 1671/2215 [1:10:44<20:25,  2.25s/it]
 75%|████████████████████████████████████████████████████████████████████████████████████▌                           | 1672/2215 [1:10:46<20:20,  2.25s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▌                           | 1673/2215 [1:10:48<20:42,  2.29s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 1674/2215 [1:10:51<20:34,  2.28s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 1675/2215 [1:10:53<20:29,  2.28s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▋                           | 1676/2215 [1:10:55<20:22,  2.27s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 1677/2215 [1:10:57<20:19,  2.27s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▊                           | 1678/2215 [1:11:00<20:13,  2.26s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 1679/2215 [1:11:02<20:08,  2.26s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 1680/2215 [1:11:04<20:05,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5164', 'grad_norm': '0.8976', 'learning_rate': '2.916e-05', 'ppl': '1.676', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1841', 'tokens/total': 13762560, 'tokens/trainable': 7011480, 'epoch': '3.792'}

 76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 1680/2215 [1:11:04<20:05,  2.25s/it]
 76%|████████████████████████████████████████████████████████████████████████████████████▉                           | 1681/2215 [1:11:06<20:04,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████                           | 1682/2215 [1:11:09<20:01,  2.25s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████                           | 1683/2215 [1:11:11<20:00,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 1684/2215 [1:11:13<19:56,  2.25s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▏                          | 1685/2215 [1:11:15<19:55,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 1686/2215 [1:11:18<19:52,  2.25s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 1687/2215 [1:11:20<19:51,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▎                          | 1688/2215 [1:11:22<19:49,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 1689/2215 [1:11:24<19:47,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 1690/2215 [1:11:27<19:43,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5241', 'grad_norm': '0.8736', 'learning_rate': '2.814e-05', 'ppl': '1.689', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1876', 'tokens/total': 13844480, 'tokens/trainable': 7054063, 'epoch': '3.815'}

 76%|█████████████████████████████████████████████████████████████████████████████████████▍                          | 1690/2215 [1:11:27<19:43,  2.25s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 1691/2215 [1:11:29<19:43,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 1692/2215 [1:11:31<19:38,  2.25s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▌                          | 1693/2215 [1:11:33<19:37,  2.26s/it]
 76%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 1694/2215 [1:11:36<19:33,  2.25s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▋                          | 1695/2215 [1:11:38<19:32,  2.26s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 1696/2215 [1:11:40<19:29,  2.25s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 1697/2215 [1:11:43<19:28,  2.26s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▊                          | 1698/2215 [1:11:45<19:24,  2.25s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 1699/2215 [1:11:47<19:23,  2.26s/it]
 77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 1700/2215 [1:11:49<19:20,  2.25s/it]
                                                                                                                                                           
{'loss': '0.4862', 'grad_norm': '0.9092', 'learning_rate': '2.713e-05', 'ppl': '1.626', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1778', 'tokens/total': 13926400, 'tokens/trainable': 7095747, 'epoch': '3.837'}

 77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 1700/2215 [1:11:49<19:20,  2.25s/it][2026-03-23 12:25:07,129] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:25:10,464] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4573545455932617
[2026-03-23 12:25:12,208] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.742936611175537
[2026-03-23 12:25:13,897] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.6887671947479248
[2026-03-23 12:25:15,384] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4860522747039795
[2026-03-23 12:25:15,385] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.15it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.045', 'eval_runtime': '17.31', 'eval_samples_per_second': '107', 'eval_steps_per_second': '26.8', 'eval_ppl': '2.844', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '3.837', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]
 77%|█████████████████████████████████████████████████████████████████████████████████████▉                          | 1700/2215 [1:12:15<19:20,  2.25s/it]

                                                                                                                                                           [2026-03-23 12:25:32,730] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1700

 77%|████████████████████████████████████████████████████████████████████████████████████▍                         | 1701/2215 [1:12:19<1:30:25, 10.56s/it]
 77%|████████████████████████████████████████████████████████████████████████████████████▌                         | 1702/2215 [1:12:21<1:08:59,  8.07s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████                          | 1703/2215 [1:12:24<53:57,  6.32s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 1704/2215 [1:12:26<43:28,  5.10s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▏                         | 1705/2215 [1:12:28<36:06,  4.25s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 1706/2215 [1:12:30<30:58,  3.65s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 1707/2215 [1:12:33<27:20,  3.23s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▎                         | 1708/2215 [1:12:35<24:50,  2.94s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 1709/2215 [1:12:37<23:01,  2.73s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 1710/2215 [1:12:40<21:49,  2.59s/it]
                                                                                                                                                           
{'loss': '0.5433', 'grad_norm': '0.7725', 'learning_rate': '2.613e-05', 'ppl': '1.722', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1913', 'tokens/total': 14008320, 'tokens/trainable': 7137092, 'epoch': '3.86'}

 77%|██████████████████████████████████████████████████████████████████████████████████████▍                         | 1710/2215 [1:12:40<21:49,  2.59s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 1711/2215 [1:12:42<20:56,  2.49s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 1712/2215 [1:12:44<20:15,  2.42s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▌                         | 1713/2215 [1:12:46<19:47,  2.37s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 1714/2215 [1:12:49<19:29,  2.33s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▋                         | 1715/2215 [1:12:51<19:14,  2.31s/it]
 77%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 1716/2215 [1:12:53<19:06,  2.30s/it]
 78%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 1717/2215 [1:12:55<18:55,  2.28s/it]
 78%|██████████████████████████████████████████████████████████████████████████████████████▊                         | 1718/2215 [1:12:58<18:46,  2.27s/it]
 78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 1719/2215 [1:13:00<18:41,  2.26s/it]
 78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 1720/2215 [1:13:02<18:39,  2.26s/it]
                                                                                                                                                           
{'loss': '0.5165', 'grad_norm': '0.9166', 'learning_rate': '2.516e-05', 'ppl': '1.676', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1861', 'tokens/total': 14090240, 'tokens/trainable': 7178701, 'epoch': '3.883'}

 78%|██████████████████████████████████████████████████████████████████████████████████████▉                         | 1720/2215 [1:13:02<18:39,  2.26s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████                         | 1721/2215 [1:13:04<18:35,  2.26s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████                         | 1722/2215 [1:13:07<18:31,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████                         | 1723/2215 [1:13:09<18:28,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 1724/2215 [1:13:11<18:27,  2.26s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▏                        | 1725/2215 [1:13:13<18:24,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 1726/2215 [1:13:16<18:20,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▎                        | 1727/2215 [1:13:18<18:18,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 1728/2215 [1:13:20<18:14,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 1729/2215 [1:13:22<18:12,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 1730/2215 [1:13:25<18:14,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4739', 'grad_norm': '0.8031', 'learning_rate': '2.419e-05', 'ppl': '1.606', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1991', 'tokens/total': 14172160, 'tokens/trainable': 7222092, 'epoch': '3.905'}

 78%|███████████████████████████████████████████████████████████████████████████████████████▍                        | 1730/2215 [1:13:25<18:14,  2.26s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 1731/2215 [1:13:27<18:10,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▌                        | 1732/2215 [1:13:29<18:06,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 1733/2215 [1:13:31<18:04,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 1734/2215 [1:13:33<18:00,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▋                        | 1735/2215 [1:13:36<17:57,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 1736/2215 [1:13:38<17:58,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▊                        | 1737/2215 [1:13:40<17:55,  2.25s/it]
 78%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 1738/2215 [1:13:43<17:54,  2.25s/it]
 79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 1739/2215 [1:13:45<17:52,  2.25s/it]
 79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 1740/2215 [1:13:47<17:48,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5397', 'grad_norm': '0.9301', 'learning_rate': '2.325e-05', 'ppl': '1.716', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1832', 'tokens/total': 14254080, 'tokens/trainable': 7263843, 'epoch': '3.928'}

 79%|███████████████████████████████████████████████████████████████████████████████████████▉                        | 1740/2215 [1:13:47<17:48,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████                        | 1741/2215 [1:13:49<17:46,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████                        | 1742/2215 [1:13:52<17:43,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 1743/2215 [1:13:54<17:41,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 1744/2215 [1:13:56<17:37,  2.24s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▏                       | 1745/2215 [1:13:58<17:36,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 1746/2215 [1:14:01<17:36,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▎                       | 1747/2215 [1:14:03<17:33,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 1748/2215 [1:14:05<17:29,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 1749/2215 [1:14:07<17:27,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 1750/2215 [1:14:10<17:26,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5284', 'grad_norm': '0.8288', 'learning_rate': '2.232e-05', 'ppl': '1.696', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1850', 'tokens/total': 14336000, 'tokens/trainable': 7306339, 'epoch': '3.95'}

 79%|████████████████████████████████████████████████████████████████████████████████████████▍                       | 1750/2215 [1:14:10<17:26,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 1751/2215 [1:14:12<17:25,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▌                       | 1752/2215 [1:14:14<17:24,  2.26s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 1753/2215 [1:14:16<17:21,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 1754/2215 [1:14:19<17:16,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▋                       | 1755/2215 [1:14:21<17:14,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 1756/2215 [1:14:23<17:10,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▊                       | 1757/2215 [1:14:25<17:08,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 1758/2215 [1:14:28<17:08,  2.25s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 1759/2215 [1:14:30<17:08,  2.26s/it]
 79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 1760/2215 [1:14:32<17:03,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5442', 'grad_norm': '0.9884', 'learning_rate': '2.141e-05', 'ppl': '1.723', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1780', 'tokens/total': 14417920, 'tokens/trainable': 7346813, 'epoch': '3.973'}

 79%|████████████████████████████████████████████████████████████████████████████████████████▉                       | 1760/2215 [1:14:32<17:03,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 1761/2215 [1:14:34<17:01,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████                       | 1762/2215 [1:14:36<16:57,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 1763/2215 [1:14:39<16:55,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 1764/2215 [1:14:41<16:54,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▏                      | 1765/2215 [1:14:43<16:52,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 1766/2215 [1:14:46<16:51,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▎                      | 1767/2215 [1:14:48<16:49,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 1768/2215 [1:14:50<16:46,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 1769/2215 [1:14:52<16:43,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 1770/2215 [1:14:54<16:39,  2.25s/it]
                                                                                                                                                           
{'loss': '0.5145', 'grad_norm': '0.9681', 'learning_rate': '2.051e-05', 'ppl': '1.673', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1807', 'tokens/total': 14499840, 'tokens/trainable': 7388304, 'epoch': '3.995'}

 80%|█████████████████████████████████████████████████████████████████████████████████████████▍                      | 1770/2215 [1:14:55<16:39,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 1771/2215 [1:14:57<16:37,  2.25s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▌                      | 1772/2215 [1:14:59<16:48,  2.28s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 1773/2215 [1:15:03<21:10,  2.87s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▋                      | 1774/2215 [1:15:06<19:44,  2.69s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 1775/2215 [1:15:08<18:48,  2.56s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 1776/2215 [1:15:10<18:05,  2.47s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▊                      | 1777/2215 [1:15:12<17:35,  2.41s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 1778/2215 [1:15:15<17:11,  2.36s/it]
 80%|█████████████████████████████████████████████████████████████████████████████████████████▉                      | 1779/2215 [1:15:17<16:56,  2.33s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 1780/2215 [1:15:19<16:43,  2.31s/it]
                                                                                                                                                           
{'loss': '0.438', 'grad_norm': '0.6606', 'learning_rate': '1.963e-05', 'ppl': '1.55', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '2016', 'tokens/total': 14581760, 'tokens/trainable': 7428859, 'epoch': '4.018'}

 80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 1780/2215 [1:15:19<16:43,  2.31s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 1781/2215 [1:15:21<16:35,  2.29s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████                      | 1782/2215 [1:15:24<16:27,  2.28s/it]
 80%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 1783/2215 [1:15:26<16:23,  2.28s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▏                     | 1784/2215 [1:15:28<16:17,  2.27s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 1785/2215 [1:15:30<16:14,  2.27s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 1786/2215 [1:15:33<16:09,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▎                     | 1787/2215 [1:15:35<16:26,  2.31s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 1788/2215 [1:15:37<16:15,  2.29s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▍                     | 1789/2215 [1:15:40<16:08,  2.27s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 1790/2215 [1:15:42<16:04,  2.27s/it]
                                                                                                                                                           
{'loss': '0.4199', 'grad_norm': '0.853', 'learning_rate': '1.877e-05', 'ppl': '1.522', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1920', 'tokens/total': 14663680, 'tokens/trainable': 7471042, 'epoch': '4.041'}

 81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 1790/2215 [1:15:42<16:04,  2.27s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 1791/2215 [1:15:44<16:00,  2.27s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▌                     | 1792/2215 [1:15:46<15:57,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 1793/2215 [1:15:49<15:53,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▋                     | 1794/2215 [1:15:51<15:51,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 1795/2215 [1:15:53<15:47,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 1796/2215 [1:15:55<15:46,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▊                     | 1797/2215 [1:15:58<15:42,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 1798/2215 [1:16:00<15:41,  2.26s/it]
 81%|██████████████████████████████████████████████████████████████████████████████████████████▉                     | 1799/2215 [1:16:02<15:37,  2.25s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 1800/2215 [1:16:04<15:37,  2.26s/it]
                                                                                                                                                           
{'loss': '0.3959', 'grad_norm': '0.9477', 'learning_rate': '1.793e-05', 'ppl': '1.486', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1836', 'tokens/total': 14745600, 'tokens/trainable': 7512138, 'epoch': '4.063'}

 81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 1800/2215 [1:16:04<15:37,  2.26s/it][2026-03-23 12:29:22,288] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:29:25,466] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.716526746749878
[2026-03-23 12:29:26,920] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4531514644622803
[2026-03-23 12:29:28,414] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.492434024810791
[2026-03-23 12:29:29,870] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.4558799266815186
[2026-03-23 12:29:29,871] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.95it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.15it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.88it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.75it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.68it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.61it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.58it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.57it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.56it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.55it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.116', 'eval_runtime': '17.5', 'eval_samples_per_second': '105.9', 'eval_steps_per_second': '26.52', 'eval_ppl': '3.052', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '4.063', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.73it/s]
 81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 1800/2215 [1:16:30<15:37,  2.26s/it]

                                                                                                                                                           [2026-03-23 12:29:47,400] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1800

 81%|█████████████████████████████████████████████████████████████████████████████████████████▍                    | 1801/2215 [1:16:34<1:12:03, 10.44s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████                     | 1802/2215 [1:16:36<55:00,  7.99s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 1803/2215 [1:16:39<43:05,  6.28s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████▏                    | 1804/2215 [1:16:41<34:44,  5.07s/it]
 81%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 1805/2215 [1:16:43<28:51,  4.22s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 1806/2215 [1:16:45<24:46,  3.63s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▎                    | 1807/2215 [1:16:48<21:53,  3.22s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 1808/2215 [1:16:50<19:51,  2.93s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▍                    | 1809/2215 [1:16:52<18:25,  2.72s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 1810/2215 [1:16:54<17:25,  2.58s/it]
                                                                                                                                                           
{'loss': '0.4126', 'grad_norm': '0.963', 'learning_rate': '1.71e-05', 'ppl': '1.511', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1834', 'tokens/total': 14827520, 'tokens/trainable': 7554656, 'epoch': '4.086'}

 82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 1810/2215 [1:16:54<17:25,  2.58s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 1811/2215 [1:16:57<16:43,  2.48s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▌                    | 1812/2215 [1:16:59<16:11,  2.41s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 1813/2215 [1:17:01<15:49,  2.36s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▋                    | 1814/2215 [1:17:03<15:33,  2.33s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 1815/2215 [1:17:06<15:22,  2.31s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▊                    | 1816/2215 [1:17:08<15:13,  2.29s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 1817/2215 [1:17:10<15:05,  2.27s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 1818/2215 [1:17:12<15:00,  2.27s/it]
 82%|███████████████████████████████████████████████████████████████████████████████████████████▉                    | 1819/2215 [1:17:15<14:54,  2.26s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 1820/2215 [1:17:17<14:51,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4286', 'grad_norm': '0.7823', 'learning_rate': '1.629e-05', 'ppl': '1.535', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1875', 'tokens/total': 14909440, 'tokens/trainable': 7594780, 'epoch': '4.108'}

 82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 1820/2215 [1:17:17<14:51,  2.26s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████                    | 1821/2215 [1:17:19<14:50,  2.26s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 1822/2215 [1:17:21<14:48,  2.26s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 1823/2215 [1:17:24<14:44,  2.26s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▏                   | 1824/2215 [1:17:26<14:39,  2.25s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 1825/2215 [1:17:28<14:36,  2.25s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▎                   | 1826/2215 [1:17:30<14:34,  2.25s/it]
 82%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 1827/2215 [1:17:32<14:31,  2.25s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 1828/2215 [1:17:35<14:29,  2.25s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▍                   | 1829/2215 [1:17:37<14:30,  2.25s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 1830/2215 [1:17:40<14:56,  2.33s/it]
                                                                                                                                                           
{'loss': '0.4056', 'grad_norm': '0.8501', 'learning_rate': '1.55e-05', 'ppl': '1.5', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1635', 'tokens/total': 14991360, 'tokens/trainable': 7635269, 'epoch': '4.131'}

 83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 1830/2215 [1:17:40<14:56,  2.33s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▌                   | 1831/2215 [1:17:42<14:45,  2.31s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 1832/2215 [1:17:44<14:35,  2.29s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 1833/2215 [1:17:46<14:29,  2.28s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▋                   | 1834/2215 [1:17:49<14:23,  2.27s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 1835/2215 [1:17:51<14:19,  2.26s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▊                   | 1836/2215 [1:17:53<14:14,  2.26s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 1837/2215 [1:17:55<14:11,  2.25s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 1838/2215 [1:17:58<14:11,  2.26s/it]
 83%|████████████████████████████████████████████████████████████████████████████████████████████▉                   | 1839/2215 [1:18:00<14:08,  2.26s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 1840/2215 [1:18:02<14:04,  2.25s/it]
                                                                                                                                                           
{'loss': '0.3969', 'grad_norm': '0.9537', 'learning_rate': '1.473e-05', 'ppl': '1.487', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1799', 'tokens/total': 15073280, 'tokens/trainable': 7677180, 'epoch': '4.153'}

 83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 1840/2215 [1:18:02<14:04,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████                   | 1841/2215 [1:18:04<14:02,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 1842/2215 [1:18:07<13:58,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 1843/2215 [1:18:09<13:56,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▏                  | 1844/2215 [1:18:11<13:56,  2.26s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 1845/2215 [1:18:13<13:53,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▎                  | 1846/2215 [1:18:16<13:49,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 1847/2215 [1:18:18<13:48,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 1848/2215 [1:18:20<13:45,  2.25s/it]
 83%|█████████████████████████████████████████████████████████████████████████████████████████████▍                  | 1849/2215 [1:18:22<13:42,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 1850/2215 [1:18:25<13:42,  2.25s/it]
                                                                                                                                                           
{'loss': '0.398', 'grad_norm': '1.01', 'learning_rate': '1.398e-05', 'ppl': '1.489', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1555', 'tokens/total': 15155200, 'tokens/trainable': 7719795, 'epoch': '4.176'}

 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 1850/2215 [1:18:25<13:42,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▌                  | 1851/2215 [1:18:27<13:42,  2.26s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 1852/2215 [1:18:29<13:37,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 1853/2215 [1:18:31<13:34,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▋                  | 1854/2215 [1:18:34<13:31,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 1855/2215 [1:18:36<13:28,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▊                  | 1856/2215 [1:18:38<13:26,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 1857/2215 [1:18:40<13:24,  2.25s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 1858/2215 [1:18:42<13:21,  2.24s/it]
 84%|█████████████████████████████████████████████████████████████████████████████████████████████▉                  | 1859/2215 [1:18:45<13:51,  2.34s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 1860/2215 [1:18:47<13:42,  2.32s/it]
                                                                                                                                                           
{'loss': '0.4202', 'grad_norm': '0.944', 'learning_rate': '1.324e-05', 'ppl': '1.522', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1758', 'tokens/total': 15237120, 'tokens/trainable': 7760473, 'epoch': '4.199'}

 84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 1860/2215 [1:18:47<13:42,  2.32s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████                  | 1861/2215 [1:18:50<13:34,  2.30s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 1862/2215 [1:18:52<13:27,  2.29s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▏                 | 1863/2215 [1:18:54<13:21,  2.28s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 1864/2215 [1:18:56<13:17,  2.27s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 1865/2215 [1:18:59<13:13,  2.27s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▎                 | 1866/2215 [1:19:01<13:10,  2.27s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 1867/2215 [1:19:03<13:06,  2.26s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▍                 | 1868/2215 [1:19:05<13:04,  2.26s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 1869/2215 [1:19:08<13:01,  2.26s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 1870/2215 [1:19:10<12:59,  2.26s/it]
                                                                                                                                                           
{'loss': '0.415', 'grad_norm': '0.8628', 'learning_rate': '1.252e-05', 'ppl': '1.514', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1911', 'tokens/total': 15319040, 'tokens/trainable': 7801979, 'epoch': '4.221'}

 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 1870/2215 [1:19:10<12:59,  2.26s/it]
 84%|██████████████████████████████████████████████████████████████████████████████████████████████▌                 | 1871/2215 [1:19:12<12:56,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 1872/2215 [1:19:14<12:55,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▋                 | 1873/2215 [1:19:17<12:54,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 1874/2215 [1:19:19<12:52,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 1875/2215 [1:19:21<12:48,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▊                 | 1876/2215 [1:19:23<12:47,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 1877/2215 [1:19:26<12:43,  2.26s/it]
 85%|██████████████████████████████████████████████████████████████████████████████████████████████▉                 | 1878/2215 [1:19:28<12:41,  2.26s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 1879/2215 [1:19:30<12:39,  2.26s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 1880/2215 [1:19:33<12:37,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4202', 'grad_norm': '0.7761', 'learning_rate': '1.182e-05', 'ppl': '1.522', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1951', 'tokens/total': 15400960, 'tokens/trainable': 7842214, 'epoch': '4.244'}

 85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 1880/2215 [1:19:33<12:37,  2.26s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████                 | 1881/2215 [1:19:35<12:34,  2.26s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 1882/2215 [1:19:37<12:30,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▏                | 1883/2215 [1:19:39<12:28,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 1884/2215 [1:19:42<12:24,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 1885/2215 [1:19:44<12:22,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▎                | 1886/2215 [1:19:46<12:19,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 1887/2215 [1:19:48<12:17,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▍                | 1888/2215 [1:19:51<12:18,  2.26s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 1889/2215 [1:19:53<12:14,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 1890/2215 [1:19:55<12:11,  2.25s/it]
                                                                                                                                                           
{'loss': '0.386', 'grad_norm': '0.8412', 'learning_rate': '1.114e-05', 'ppl': '1.471', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1843', 'tokens/total': 15482880, 'tokens/trainable': 7883533, 'epoch': '4.266'}

 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 1890/2215 [1:19:55<12:11,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▌                | 1891/2215 [1:19:57<12:08,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 1892/2215 [1:20:00<12:05,  2.25s/it]
 85%|███████████████████████████████████████████████████████████████████████████████████████████████▋                | 1893/2215 [1:20:02<12:03,  2.25s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 1894/2215 [1:20:04<12:03,  2.25s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 1895/2215 [1:20:06<12:00,  2.25s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████▊                | 1896/2215 [1:20:09<11:56,  2.25s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 1897/2215 [1:20:11<11:55,  2.25s/it]
 86%|███████████████████████████████████████████████████████████████████████████████████████████████▉                | 1898/2215 [1:20:13<11:52,  2.25s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1899/2215 [1:20:15<11:51,  2.25s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1900/2215 [1:20:18<11:50,  2.26s/it]
                                                                                                                                                           
{'loss': '0.4204', 'grad_norm': '0.9812', 'learning_rate': '1.048e-05', 'ppl': '1.523', 'memory/max_active (GiB)': '17.36', 'memory/max_allocated (GiB)': '17.36', 'memory/device_reserved (GiB)': '19.03', 'tokens/train_per_sec_per_gpu': '1719', 'tokens/total': 15564800, 'tokens/trainable': 7924120, 'epoch': '4.289'}

 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1900/2215 [1:20:18<11:50,  2.26s/it][2026-03-23 12:33:35,389] [INFO] [axolotl.core.trainers.base.evaluate:401] [PID:14407] Running evaluation step...
[2026-03-23 12:33:38,640] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.635854721069336
[2026-03-23 12:33:40,218] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.5772554874420166
[2026-03-23 12:33:41,959] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.739691972732544
[2026-03-23 12:33:43,484] [DEBUG] [axolotl.utils.samplers.multipack.__len__:462] [PID:14407] generate_batches time: 1.5239002704620361
[2026-03-23 12:33:43,484] [INFO] [axolotl.utils.samplers.multipack.calc_min_len:438] [PID:14407] gather_len_batches: [24]


  0%|                                                                                                                               | 0/24 [00:00<?, ?it/s]

  8%|█████████▉                                                                                                             | 2/24 [00:00<00:07,  2.94it/s]

 12%|██████████████▉                                                                                                        | 3/24 [00:01<00:09,  2.14it/s]

 17%|███████████████████▊                                                                                                   | 4/24 [00:01<00:10,  1.87it/s]

 21%|████████████████████████▊                                                                                              | 5/24 [00:02<00:10,  1.74it/s]

 25%|█████████████████████████████▊                                                                                         | 6/24 [00:03<00:10,  1.67it/s]

 29%|██████████████████████████████████▋                                                                                    | 7/24 [00:03<00:10,  1.63it/s]

 33%|███████████████████████████████████████▋                                                                               | 8/24 [00:04<00:09,  1.60it/s]

 38%|████████████████████████████████████████████▋                                                                          | 9/24 [00:05<00:09,  1.59it/s]

 42%|█████████████████████████████████████████████████▏                                                                    | 10/24 [00:05<00:08,  1.57it/s]

 46%|██████████████████████████████████████████████████████                                                                | 11/24 [00:06<00:08,  1.56it/s]

 50%|███████████████████████████████████████████████████████████                                                           | 12/24 [00:07<00:07,  1.56it/s]

 54%|███████████████████████████████████████████████████████████████▉                                                      | 13/24 [00:07<00:07,  1.55it/s]

 58%|████████████████████████████████████████████████████████████████████▊                                                 | 14/24 [00:08<00:06,  1.55it/s]

 62%|█████████████████████████████████████████████████████████████████████████▊                                            | 15/24 [00:09<00:05,  1.55it/s]

 67%|██████████████████████████████████████████████████████████████████████████████▋                                       | 16/24 [00:09<00:05,  1.55it/s]

 71%|███████████████████████████████████████████████████████████████████████████████████▌                                  | 17/24 [00:10<00:04,  1.55it/s]

 75%|████████████████████████████████████████████████████████████████████████████████████████▌                             | 18/24 [00:11<00:03,  1.55it/s]

 79%|█████████████████████████████████████████████████████████████████████████████████████████████▍                        | 19/24 [00:11<00:03,  1.55it/s]

 83%|██████████████████████████████████████████████████████████████████████████████████████████████████▎                   | 20/24 [00:12<00:02,  1.55it/s]

 88%|███████████████████████████████████████████████████████████████████████████████████████████████████████▎              | 21/24 [00:12<00:01,  1.54it/s]

 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▏         | 22/24 [00:13<00:01,  1.55it/s]

 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████     | 23/24 [00:14<00:00,  1.55it/s]

100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]

                                                                                                                                                           

                                                                                                                                                           
{'eval_loss': '1.11', 'eval_runtime': '17.41', 'eval_samples_per_second': '106.5', 'eval_steps_per_second': '26.66', 'eval_ppl': '3.035', 'memory/max_active (GiB)': '12.08', 'memory/max_allocated (GiB)': '12.08', 'memory/device_reserved (GiB)': '19.03', 'epoch': '4.289', 'tokens/train_per_sec_per_gpu': '0'}


100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 24/24 [00:14<00:00,  1.71it/s]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1900/2215 [1:20:43<11:50,  2.26s/it]

                                                                                                                                                           [2026-03-23 12:34:00,922] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model/checkpoint-1900

                                                                                                                                                           
{'train_runtime': '4852', 'train_samples_per_second': '1.826', 'train_steps_per_second': '0.456', 'train_loss': '0.8421', 'memory/max_active (GiB)': '6.12', 'memory/max_allocated (GiB)': '6.12', 'memory/device_reserved (GiB)': '6.24', 'epoch': '4.289', 'tokens/train_per_sec_per_gpu': '0'}

 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1900/2215 [1:20:46<11:50,  2.26s/it]
 86%|████████████████████████████████████████████████████████████████████████████████████████████████                | 1900/2215 [1:20:48<13:23,  2.55s/it]
[2026-03-23 12:34:59,326] [INFO] [axolotl.train.save_trained_model:237] [PID:14407] Training completed! Saving trained model to ./final_model.
[2026-03-23 12:35:00,443] [INFO] [axolotl.train.save_trained_model:351] [PID:14407] Model successfully saved to ./final_model
[2026-03-23 12:35:00,631] [INFO] [axolotl.core.trainers.base._save:722] [PID:14407] Saving model checkpoint to ./final_model

Processing Files (0 / 0)      : |                                                                                             |  0.00B /  0.00B            

New Data Upload               : |                                                                                             |  0.00B /  0.00B            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors:  41%|████████████████████████████████████▌                                                    | 39.9MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors:  41%|████████████████████████████████████▌                                                    | 39.9MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            
Processing Files (2 / 3)      :  50%|████████████████████████████████████████████▍                                            | 57.1MB /  115MB,   ???B/s  


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors:  66%|██████████████████████████████████████████████████████████▌                              | 64.0MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            
Processing Files (2 / 3)      :  71%|███████████████████████████████████████████████████████████████                          | 81.2MB /  115MB,  120MB/s  


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors:  90%|████████████████████████████████████████████████████████████████████████████████▍        | 87.9MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            
Processing Files (2 / 3)      :  92%|█████████████████████████████████████████████████████████████████████████████████▋       |  105MB /  115MB,  120MB/s  


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            
Processing Files (3 / 3)      : 100%|█████████████████████████████████████████████████████████████████████████████████████████|  115MB /  115MB, 95.6MB/s  


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            


  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            



  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            




  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB            
Processing Files (3 / 3)      : 100%|█████████████████████████████████████████████████████████████████████████████████████████|  115MB /  115MB, 41.0MB/s  

New Data Upload               : |                                                                                             |  0.00B /  0.00B,  0.00B/s  

  ...l_model/training_args.bin: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 10.6kB / 10.6kB            

  ...adapter_model.safetensors: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 97.3MB / 97.3MB            

  ...inal_model/tokenizer.json: 100%|█████████████████████████████████████████████████████████████████████████████████████████| 17.2MB / 17.2MB