Upload checkpoints epoch_0001_step_00012000

Automatic checkpoint upload from train.py.

Report stem: epoch_0001_step_00012000
Epoch: 1
Global step: 12000

.hf_upload_sync/validation_epoch_0001_step_00011500.done

@@ -0,0 +1 @@
+1776168990.19987

.hf_upload_sync/validation_epoch_0001_step_00012000.started

@@ -0,0 +1 @@
+1776183856.2949002

checkpoint_best.json

@@ -117,46 +117,46 @@
     "padding_value": 1.0
   },
   "epoch": 1,
-  "global_step": 11500,
-  "best_val_wer": 0.43169350945714663,
+  "global_step": 12000,
+  "best_val_wer": 0.40444112871374027,
   "metrics": {
     "epoch": 1,
-    "global_step": 11500,
-    "train_loss": 5.121109128592455,
-    "train_main_ctc_loss": 5.121109128592455,
+    "global_step": 12000,
+    "train_loss": 4.941656106719204,
+    "train_main_ctc_loss": 4.941656106719204,
     "train_aed_loss": 0.0,
     "train_liberta_distill_loss": 0.0,
     "train_audio_teacher_loss": 0.0,
-    "val_loss": 2.3399425721779634,
-    "val_cer": 0.10540245676418296,
-    "val_wer": 0.43169350945714663,
-    "val_forward_seconds": 333.4236780288629,
+    "val_loss": 2.1857717894296744,
+    "val_cer": 0.09718630461720812,
+    "val_wer": 0.40444112871374027,
+    "val_forward_seconds": 319.4103196649812,
     "val_teacher_seconds": 0.0,
-    "val_decode_seconds": 1.0667903767316602,
-    "val_gather_seconds": 0.02218547504162416,
+    "val_decode_seconds": 1.0230408838251606,
+    "val_gather_seconds": 0.026045365957543254,
     "val_model_source": "raw",
-    "val_main_ctc_loss": 2.3399425721779634,
+    "val_main_ctc_loss": 2.1857717894296744,
     "val_aed_loss": 0.0,
     "val_liberta_distill_loss": 0.0,
     "val_audio_teacher_loss": 0.0,
-    "val_avg_blank_probability": 0.7420647131714876,
-    "val_argmax_blank_fraction": 0.7614934508743395,
-    "val_avg_top_nonblank_probability": 0.2148585287323804,
+    "val_avg_blank_probability": 0.7491059752413728,
+    "val_argmax_blank_fraction": 0.7661514623653845,
+    "val_avg_top_nonblank_probability": 0.2140337173356191,
     "val_avg_output_frames": 129.72159800249688,
     "val_avg_target_tokens": 24.885455680399502,
     "val_target_tokens_per_frame": 0.1918374123013849,
     "val_impossible_sample_fraction": 0.0,
     "val_tight_sample_fraction": 0.0,
     "val_samples_short": 1183.0,
-    "val_wer_short": 0.7259076647243389,
-    "val_cer_short": 0.20922035809953476,
+    "val_wer_short": 0.6797400268937696,
+    "val_cer_short": 0.19061046101790496,
     "val_samples_medium": 2021.0,
-    "val_wer_medium": 0.36005457025920873,
-    "val_cer_medium": 0.08088014918911719,
+    "val_wer_medium": 0.33740791268758524,
+    "val_cer_medium": 0.0751190515834693,
     "val_samples_long": 0.0,
-    "val_decoded_empty_fraction": 0.0012484394506866417,
-    "val_decoded_avg_char_length": 46.822409488139826,
-    "val_decoded_avg_word_length": 7.324282147315855,
+    "val_decoded_empty_fraction": 0.0006242197253433209,
+    "val_decoded_avg_char_length": 46.43008739076155,
+    "val_decoded_avg_word_length": 7.271223470661673,
     "val_speaker_count": 0.0,
     "val_speaker_macro_wer": 0.0,
     "val_speaker_id_available": 0.0,
@@ -164,78 +164,78 @@
     "val_hardest_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2993.wav",
     "val_hardest_example_0_speaker": "",
     "val_hardest_example_0_ref": "Який є сенс поспішати?",
-    "val_hardest_example_0_hyp": "Який є сеенс поспішати",
+    "val_hardest_example_0_hyp": "Який є  сенс поспішати",
     "val_hardest_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3301.wav",
     "val_hardest_example_1_speaker": "",
     "val_hardest_example_1_ref": "Антивандальний.",
-    "val_hardest_example_1_hyp": "Антивандальнийй",
-    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1689.wav",
+    "val_hardest_example_1_hyp": "антивандальній.",
+    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3308.wav",
     "val_hardest_example_2_speaker": "",
-    "val_hardest_example_2_ref": "Ще раз хочу сказати.",
-    "val_hardest_example_2_hyp": "ще раз  хочу сказати",
-    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2597.wav",
+    "val_hardest_example_2_ref": "Антивакцинальний?",
+    "val_hardest_example_2_hyp": "антивакцинальнийй",
+    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2314.wav",
     "val_hardest_example_3_speaker": "",
-    "val_hardest_example_3_ref": "Краще із усіх?",
-    "val_hardest_example_3_hyp": "Кращий із усіх",
-    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1358.wav",
+    "val_hardest_example_3_ref": "Не хотілося нічого.",
+    "val_hardest_example_3_hyp": "не  хотілося нічого",
+    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/219.wav",
     "val_hardest_example_4_speaker": "",
-    "val_hardest_example_4_ref": "Поставила тарілку з хлібом.",
-    "val_hardest_example_4_hyp": "поставила  довілку з Хлібом",
+    "val_hardest_example_4_ref": "Я пожду.",
+    "val_hardest_example_4_hyp": "Я пождду",
     "val_random_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/375.wav",
     "val_random_example_0_speaker": "",
     "val_random_example_0_ref": "Читачі, гадаю, не забули про Сарайську єпархію, підлеглу митрополитові.",
-    "val_random_example_0_hyp": "Читачі, гадаю не забули про сарайську єпархію підлеглу митрополитові.",
+    "val_random_example_0_hyp": "Читачі гадаю не забули про Сарайську єпархію підлеглу митрополитові.",
     "val_random_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1367.wav",
     "val_random_example_1_speaker": "",
     "val_random_example_1_ref": "Стьогнув ще турна через лоб.",
-    "val_random_example_1_hyp": "Сгнув що турна черезз лоб",
+    "val_random_example_1_hyp": "Сстнувще турно черезз лоб",
     "val_random_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/849.wav",
     "val_random_example_2_speaker": "",
     "val_random_example_2_ref": "Князь у всьому був залежний від хана.",
-    "val_random_example_2_hyp": "Ккнязь усьому був залежний від хану",
+    "val_random_example_2_hyp": "Ккнязь усьому був залежний від Ххана",
     "val_random_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1003.wav",
     "val_random_example_3_speaker": "",
     "val_random_example_3_ref": "Дивуватися не варто бували вигадки і гидотніші, і брехливіші.",
-    "val_random_example_3_hyp": "Дивтися не варто, Буваували випадки ідотніші, і брехливіщі.",
+    "val_random_example_3_hyp": "Дивуватися не варто, Буували випадкидо дотніші і брехливіщі.",
     "val_random_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3232.wav",
     "val_random_example_4_speaker": "",
     "val_random_example_4_ref": "На редактора це вам буде дорого коштувати, коли я буду у вас редактором.",
-    "val_random_example_4_hyp": "На редактора це вам буде дороого коштювати, колили я буду у вас з редактором.",
-    "val/loss": 2.3399425721779634,
-    "val/cer": 0.10540245676418296,
-    "val/wer": 0.43169350945714663,
-    "val/main_ctc_loss": 2.3399425721779634,
+    "val_random_example_4_hyp": "На редактора це вам буде дороого коштувати, коли я буду у вас редактором.",
+    "val/loss": 2.1857717894296744,
+    "val/cer": 0.09718630461720812,
+    "val/wer": 0.40444112871374027,
+    "val/main_ctc_loss": 2.1857717894296744,
     "val/aed_loss": 0.0,
     "val/liberta_distill_loss": 0.0,
     "val/audio_teacher_loss": 0.0,
-    "val/avg_blank_probability": 0.7420647131714876,
-    "val/argmax_blank_fraction": 0.7614934508743395,
-    "val/avg_top_nonblank_probability": 0.2148585287323804,
+    "val/avg_blank_probability": 0.7491059752413728,
+    "val/argmax_blank_fraction": 0.7661514623653845,
+    "val/avg_top_nonblank_probability": 0.2140337173356191,
     "val/avg_output_frames": 129.72159800249688,
     "val/avg_target_tokens": 24.885455680399502,
     "val/target_tokens_per_frame": 0.1918374123013849,
     "val/impossible_sample_fraction": 0.0,
     "val/tight_sample_fraction": 0.0,
     "val/samples_short": 1183.0,
-    "val/wer_short": 0.7259076647243389,
-    "val/cer_short": 0.20922035809953476,
+    "val/wer_short": 0.6797400268937696,
+    "val/cer_short": 0.19061046101790496,
     "val/samples_medium": 2021.0,
-    "val/wer_medium": 0.36005457025920873,
-    "val/cer_medium": 0.08088014918911719,
+    "val/wer_medium": 0.33740791268758524,
+    "val/cer_medium": 0.0751190515834693,
     "val/samples_long": 0.0,
-    "val/decoded_empty_fraction": 0.0012484394506866417,
-    "val/decoded_avg_char_length": 46.822409488139826,
-    "val/decoded_avg_word_length": 7.324282147315855,
+    "val/decoded_empty_fraction": 0.0006242197253433209,
+    "val/decoded_avg_char_length": 46.43008739076155,
+    "val/decoded_avg_word_length": 7.271223470661673,
     "val/speaker_count": 0.0,
     "val/speaker_macro_wer": 0.0,
     "val/speaker_id_available": 0.0,
     "val/missing_speaker_id_samples": 3204.0,
-    "val/forward_seconds": 333.4236780288629,
+    "val/forward_seconds": 319.4103196649812,
     "val/teacher_seconds": 0.0,
-    "val/decode_seconds": 1.0667903767316602,
-    "val/gather_seconds": 0.02218547504162416,
-    "train/loss": 5.121109128592455,
-    "train/main_ctc_loss": 5.121109128592455,
+    "val/decode_seconds": 1.0230408838251606,
+    "val/gather_seconds": 0.026045365957543254,
+    "train/loss": 4.941656106719204,
+    "train/main_ctc_loss": 4.941656106719204,
     "train/aed_loss": 0.0,
     "train/liberta_distill_loss": 0.0,
     "train/audio_teacher_loss": 0.0

checkpoint_step_last.json

@@ -117,46 +117,46 @@
     "padding_value": 1.0
   },
   "epoch": 1,
-  "global_step": 11500,
-  "best_val_wer": 0.43169350945714663,
+  "global_step": 12000,
+  "best_val_wer": 0.40444112871374027,
   "metrics": {
     "epoch": 1,
-    "global_step": 11500,
-    "train_loss": 5.121109128592455,
-    "train_main_ctc_loss": 5.121109128592455,
+    "global_step": 12000,
+    "train_loss": 4.941656106719204,
+    "train_main_ctc_loss": 4.941656106719204,
     "train_aed_loss": 0.0,
     "train_liberta_distill_loss": 0.0,
     "train_audio_teacher_loss": 0.0,
-    "val_loss": 2.3399425721779634,
-    "val_cer": 0.10540245676418296,
-    "val_wer": 0.43169350945714663,
-    "val_forward_seconds": 333.4236780288629,
+    "val_loss": 2.1857717894296744,
+    "val_cer": 0.09718630461720812,
+    "val_wer": 0.40444112871374027,
+    "val_forward_seconds": 319.4103196649812,
     "val_teacher_seconds": 0.0,
-    "val_decode_seconds": 1.0667903767316602,
-    "val_gather_seconds": 0.02218547504162416,
+    "val_decode_seconds": 1.0230408838251606,
+    "val_gather_seconds": 0.026045365957543254,
     "val_model_source": "raw",
-    "val_main_ctc_loss": 2.3399425721779634,
+    "val_main_ctc_loss": 2.1857717894296744,
     "val_aed_loss": 0.0,
     "val_liberta_distill_loss": 0.0,
     "val_audio_teacher_loss": 0.0,
-    "val_avg_blank_probability": 0.7420647131714876,
-    "val_argmax_blank_fraction": 0.7614934508743395,
-    "val_avg_top_nonblank_probability": 0.2148585287323804,
+    "val_avg_blank_probability": 0.7491059752413728,
+    "val_argmax_blank_fraction": 0.7661514623653845,
+    "val_avg_top_nonblank_probability": 0.2140337173356191,
     "val_avg_output_frames": 129.72159800249688,
     "val_avg_target_tokens": 24.885455680399502,
     "val_target_tokens_per_frame": 0.1918374123013849,
     "val_impossible_sample_fraction": 0.0,
     "val_tight_sample_fraction": 0.0,
     "val_samples_short": 1183.0,
-    "val_wer_short": 0.7259076647243389,
-    "val_cer_short": 0.20922035809953476,
+    "val_wer_short": 0.6797400268937696,
+    "val_cer_short": 0.19061046101790496,
     "val_samples_medium": 2021.0,
-    "val_wer_medium": 0.36005457025920873,
-    "val_cer_medium": 0.08088014918911719,
+    "val_wer_medium": 0.33740791268758524,
+    "val_cer_medium": 0.0751190515834693,
     "val_samples_long": 0.0,
-    "val_decoded_empty_fraction": 0.0012484394506866417,
-    "val_decoded_avg_char_length": 46.822409488139826,
-    "val_decoded_avg_word_length": 7.324282147315855,
+    "val_decoded_empty_fraction": 0.0006242197253433209,
+    "val_decoded_avg_char_length": 46.43008739076155,
+    "val_decoded_avg_word_length": 7.271223470661673,
     "val_speaker_count": 0.0,
     "val_speaker_macro_wer": 0.0,
     "val_speaker_id_available": 0.0,
@@ -164,78 +164,78 @@
     "val_hardest_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2993.wav",
     "val_hardest_example_0_speaker": "",
     "val_hardest_example_0_ref": "Який є сенс поспішати?",
-    "val_hardest_example_0_hyp": "Який є сеенс поспішати",
+    "val_hardest_example_0_hyp": "Який є  сенс поспішати",
     "val_hardest_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3301.wav",
     "val_hardest_example_1_speaker": "",
     "val_hardest_example_1_ref": "Антивандальний.",
-    "val_hardest_example_1_hyp": "Антивандальнийй",
-    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1689.wav",
+    "val_hardest_example_1_hyp": "антивандальній.",
+    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3308.wav",
     "val_hardest_example_2_speaker": "",
-    "val_hardest_example_2_ref": "Ще раз хочу сказати.",
-    "val_hardest_example_2_hyp": "ще раз  хочу сказати",
-    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2597.wav",
+    "val_hardest_example_2_ref": "Антивакцинальний?",
+    "val_hardest_example_2_hyp": "антивакцинальнийй",
+    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2314.wav",
     "val_hardest_example_3_speaker": "",
-    "val_hardest_example_3_ref": "Краще із усіх?",
-    "val_hardest_example_3_hyp": "Кращий із усіх",
-    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1358.wav",
+    "val_hardest_example_3_ref": "Не хотілося нічого.",
+    "val_hardest_example_3_hyp": "не  хотілося нічого",
+    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/219.wav",
     "val_hardest_example_4_speaker": "",
-    "val_hardest_example_4_ref": "Поставила тарілку з хлібом.",
-    "val_hardest_example_4_hyp": "поставила  довілку з Хлібом",
+    "val_hardest_example_4_ref": "Я пожду.",
+    "val_hardest_example_4_hyp": "Я пождду",
     "val_random_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/375.wav",
     "val_random_example_0_speaker": "",
     "val_random_example_0_ref": "Читачі, гадаю, не забули про Сарайську єпархію, підлеглу митрополитові.",
-    "val_random_example_0_hyp": "Читачі, гадаю не забули про сарайську єпархію підлеглу митрополитові.",
+    "val_random_example_0_hyp": "Читачі гадаю не забули про Сарайську єпархію підлеглу митрополитові.",
     "val_random_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1367.wav",
     "val_random_example_1_speaker": "",
     "val_random_example_1_ref": "Стьогнув ще турна через лоб.",
-    "val_random_example_1_hyp": "Сгнув що турна черезз лоб",
+    "val_random_example_1_hyp": "Сстнувще турно черезз лоб",
     "val_random_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/849.wav",
     "val_random_example_2_speaker": "",
     "val_random_example_2_ref": "Князь у всьому був залежний від хана.",
-    "val_random_example_2_hyp": "Ккнязь усьому був залежний від хану",
+    "val_random_example_2_hyp": "Ккнязь усьому був залежний від Ххана",
     "val_random_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1003.wav",
     "val_random_example_3_speaker": "",
     "val_random_example_3_ref": "Дивуватися не варто бували вигадки і гидотніші, і брехливіші.",
-    "val_random_example_3_hyp": "Дивтися не варто, Буваували випадки ідотніші, і брехливіщі.",
+    "val_random_example_3_hyp": "Дивуватися не варто, Буували випадкидо дотніші і брехливіщі.",
     "val_random_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3232.wav",
     "val_random_example_4_speaker": "",
     "val_random_example_4_ref": "На редактора це вам буде дорого коштувати, коли я буду у вас редактором.",
-    "val_random_example_4_hyp": "На редактора це вам буде дороого коштювати, колили я буду у вас з редактором.",
-    "val/loss": 2.3399425721779634,
-    "val/cer": 0.10540245676418296,
-    "val/wer": 0.43169350945714663,
-    "val/main_ctc_loss": 2.3399425721779634,
+    "val_random_example_4_hyp": "На редактора це вам буде дороого коштувати, коли я буду у вас редактором.",
+    "val/loss": 2.1857717894296744,
+    "val/cer": 0.09718630461720812,
+    "val/wer": 0.40444112871374027,
+    "val/main_ctc_loss": 2.1857717894296744,
     "val/aed_loss": 0.0,
     "val/liberta_distill_loss": 0.0,
     "val/audio_teacher_loss": 0.0,
-    "val/avg_blank_probability": 0.7420647131714876,
-    "val/argmax_blank_fraction": 0.7614934508743395,
-    "val/avg_top_nonblank_probability": 0.2148585287323804,
+    "val/avg_blank_probability": 0.7491059752413728,
+    "val/argmax_blank_fraction": 0.7661514623653845,
+    "val/avg_top_nonblank_probability": 0.2140337173356191,
     "val/avg_output_frames": 129.72159800249688,
     "val/avg_target_tokens": 24.885455680399502,
     "val/target_tokens_per_frame": 0.1918374123013849,
     "val/impossible_sample_fraction": 0.0,
     "val/tight_sample_fraction": 0.0,
     "val/samples_short": 1183.0,
-    "val/wer_short": 0.7259076647243389,
-    "val/cer_short": 0.20922035809953476,
+    "val/wer_short": 0.6797400268937696,
+    "val/cer_short": 0.19061046101790496,
     "val/samples_medium": 2021.0,
-    "val/wer_medium": 0.36005457025920873,
-    "val/cer_medium": 0.08088014918911719,
+    "val/wer_medium": 0.33740791268758524,
+    "val/cer_medium": 0.0751190515834693,
     "val/samples_long": 0.0,
-    "val/decoded_empty_fraction": 0.0012484394506866417,
-    "val/decoded_avg_char_length": 46.822409488139826,
-    "val/decoded_avg_word_length": 7.324282147315855,
+    "val/decoded_empty_fraction": 0.0006242197253433209,
+    "val/decoded_avg_char_length": 46.43008739076155,
+    "val/decoded_avg_word_length": 7.271223470661673,
     "val/speaker_count": 0.0,
     "val/speaker_macro_wer": 0.0,
     "val/speaker_id_available": 0.0,
     "val/missing_speaker_id_samples": 3204.0,
-    "val/forward_seconds": 333.4236780288629,
+    "val/forward_seconds": 319.4103196649812,
     "val/teacher_seconds": 0.0,
-    "val/decode_seconds": 1.0667903767316602,
-    "val/gather_seconds": 0.02218547504162416,
-    "train/loss": 5.121109128592455,
-    "train/main_ctc_loss": 5.121109128592455,
+    "val/decode_seconds": 1.0230408838251606,
+    "val/gather_seconds": 0.026045365957543254,
+    "train/loss": 4.941656106719204,
+    "train/main_ctc_loss": 4.941656106719204,
     "train/aed_loss": 0.0,
     "train/liberta_distill_loss": 0.0,
     "train/audio_teacher_loss": 0.0

checkpoint_topk_avg.json

@@ -117,46 +117,46 @@
     "padding_value": 1.0
   },
   "epoch": 1,
-  "global_step": 11500,
-  "best_val_wer": 0.43169350945714663,
+  "global_step": 12000,
+  "best_val_wer": 0.40444112871374027,
   "metrics": {
     "epoch": 1,
-    "global_step": 11500,
-    "train_loss": 5.121109128592455,
-    "train_main_ctc_loss": 5.121109128592455,
+    "global_step": 12000,
+    "train_loss": 4.941656106719204,
+    "train_main_ctc_loss": 4.941656106719204,
     "train_aed_loss": 0.0,
     "train_liberta_distill_loss": 0.0,
     "train_audio_teacher_loss": 0.0,
-    "val_loss": 2.3399425721779634,
-    "val_cer": 0.10540245676418296,
-    "val_wer": 0.43169350945714663,
-    "val_forward_seconds": 333.4236780288629,
+    "val_loss": 2.1857717894296744,
+    "val_cer": 0.09718630461720812,
+    "val_wer": 0.40444112871374027,
+    "val_forward_seconds": 319.4103196649812,
     "val_teacher_seconds": 0.0,
-    "val_decode_seconds": 1.0667903767316602,
-    "val_gather_seconds": 0.02218547504162416,
+    "val_decode_seconds": 1.0230408838251606,
+    "val_gather_seconds": 0.026045365957543254,
     "val_model_source": "raw",
-    "val_main_ctc_loss": 2.3399425721779634,
+    "val_main_ctc_loss": 2.1857717894296744,
     "val_aed_loss": 0.0,
     "val_liberta_distill_loss": 0.0,
     "val_audio_teacher_loss": 0.0,
-    "val_avg_blank_probability": 0.7420647131714876,
-    "val_argmax_blank_fraction": 0.7614934508743395,
-    "val_avg_top_nonblank_probability": 0.2148585287323804,
+    "val_avg_blank_probability": 0.7491059752413728,
+    "val_argmax_blank_fraction": 0.7661514623653845,
+    "val_avg_top_nonblank_probability": 0.2140337173356191,
     "val_avg_output_frames": 129.72159800249688,
     "val_avg_target_tokens": 24.885455680399502,
     "val_target_tokens_per_frame": 0.1918374123013849,
     "val_impossible_sample_fraction": 0.0,
     "val_tight_sample_fraction": 0.0,
     "val_samples_short": 1183.0,
-    "val_wer_short": 0.7259076647243389,
-    "val_cer_short": 0.20922035809953476,
+    "val_wer_short": 0.6797400268937696,
+    "val_cer_short": 0.19061046101790496,
     "val_samples_medium": 2021.0,
-    "val_wer_medium": 0.36005457025920873,
-    "val_cer_medium": 0.08088014918911719,
+    "val_wer_medium": 0.33740791268758524,
+    "val_cer_medium": 0.0751190515834693,
     "val_samples_long": 0.0,
-    "val_decoded_empty_fraction": 0.0012484394506866417,
-    "val_decoded_avg_char_length": 46.822409488139826,
-    "val_decoded_avg_word_length": 7.324282147315855,
+    "val_decoded_empty_fraction": 0.0006242197253433209,
+    "val_decoded_avg_char_length": 46.43008739076155,
+    "val_decoded_avg_word_length": 7.271223470661673,
     "val_speaker_count": 0.0,
     "val_speaker_macro_wer": 0.0,
     "val_speaker_id_available": 0.0,
@@ -164,78 +164,78 @@
     "val_hardest_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2993.wav",
     "val_hardest_example_0_speaker": "",
     "val_hardest_example_0_ref": "Який є сенс поспішати?",
-    "val_hardest_example_0_hyp": "Який є сеенс поспішати",
+    "val_hardest_example_0_hyp": "Який є  сенс поспішати",
     "val_hardest_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3301.wav",
     "val_hardest_example_1_speaker": "",
     "val_hardest_example_1_ref": "Антивандальний.",
-    "val_hardest_example_1_hyp": "Антивандальнийй",
-    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1689.wav",
+    "val_hardest_example_1_hyp": "антивандальній.",
+    "val_hardest_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3308.wav",
     "val_hardest_example_2_speaker": "",
-    "val_hardest_example_2_ref": "Ще раз хочу сказати.",
-    "val_hardest_example_2_hyp": "ще раз  хочу сказати",
-    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2597.wav",
+    "val_hardest_example_2_ref": "Антивакцинальний?",
+    "val_hardest_example_2_hyp": "антивакцинальнийй",
+    "val_hardest_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2314.wav",
     "val_hardest_example_3_speaker": "",
-    "val_hardest_example_3_ref": "Краще із усіх?",
-    "val_hardest_example_3_hyp": "Кращий із усіх",
-    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1358.wav",
+    "val_hardest_example_3_ref": "Не хотілося нічого.",
+    "val_hardest_example_3_hyp": "не  хотілося нічого",
+    "val_hardest_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/219.wav",
     "val_hardest_example_4_speaker": "",
-    "val_hardest_example_4_ref": "Поставила тарілку з хлібом.",
-    "val_hardest_example_4_hyp": "поставила  довілку з Хлібом",
+    "val_hardest_example_4_ref": "Я пожду.",
+    "val_hardest_example_4_hyp": "Я пождду",
     "val_random_example_0_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/375.wav",
     "val_random_example_0_speaker": "",
     "val_random_example_0_ref": "Читачі, гадаю, не забули про Сарайську єпархію, підлеглу митрополитові.",
-    "val_random_example_0_hyp": "Читачі, гадаю не забули про сарайську єпархію підлеглу митрополитові.",
+    "val_random_example_0_hyp": "Читачі гадаю не забули про Сарайську єпархію підлеглу митрополитові.",
     "val_random_example_1_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1367.wav",
     "val_random_example_1_speaker": "",
     "val_random_example_1_ref": "Стьогнув ще турна через лоб.",
-    "val_random_example_1_hyp": "Сгнув що турна черезз лоб",
+    "val_random_example_1_hyp": "Сстнувще турно черезз лоб",
     "val_random_example_2_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/849.wav",
     "val_random_example_2_speaker": "",
     "val_random_example_2_ref": "Князь у всьому був залежний від хана.",
-    "val_random_example_2_hyp": "Ккнязь усьому був залежний від хану",
+    "val_random_example_2_hyp": "Ккнязь усьому був залежний від Ххана",
     "val_random_example_3_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1003.wav",
     "val_random_example_3_speaker": "",
     "val_random_example_3_ref": "Дивуватися не варто бували вигадки і гидотніші, і брехливіші.",
-    "val_random_example_3_hyp": "Дивтися не варто, Буваували випадки ідотніші, і брехливіщі.",
+    "val_random_example_3_hyp": "Дивуватися не варто, Буували випадкидо дотніші і брехливіщі.",
     "val_random_example_4_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3232.wav",
     "val_random_example_4_speaker": "",
     "val_random_example_4_ref": "На редактора це вам буде дорого коштувати, коли я буду у вас редактором.",
-    "val_random_example_4_hyp": "На редактора це вам буде дороого коштювати, колили я буду у вас з редактором.",
-    "val/loss": 2.3399425721779634,
-    "val/cer": 0.10540245676418296,
-    "val/wer": 0.43169350945714663,
-    "val/main_ctc_loss": 2.3399425721779634,
+    "val_random_example_4_hyp": "На редактора це вам буде дороого коштувати, коли я буду у вас редактором.",
+    "val/loss": 2.1857717894296744,
+    "val/cer": 0.09718630461720812,
+    "val/wer": 0.40444112871374027,
+    "val/main_ctc_loss": 2.1857717894296744,
     "val/aed_loss": 0.0,
     "val/liberta_distill_loss": 0.0,
     "val/audio_teacher_loss": 0.0,
-    "val/avg_blank_probability": 0.7420647131714876,
-    "val/argmax_blank_fraction": 0.7614934508743395,
-    "val/avg_top_nonblank_probability": 0.2148585287323804,
+    "val/avg_blank_probability": 0.7491059752413728,
+    "val/argmax_blank_fraction": 0.7661514623653845,
+    "val/avg_top_nonblank_probability": 0.2140337173356191,
     "val/avg_output_frames": 129.72159800249688,
     "val/avg_target_tokens": 24.885455680399502,
     "val/target_tokens_per_frame": 0.1918374123013849,
     "val/impossible_sample_fraction": 0.0,
     "val/tight_sample_fraction": 0.0,
     "val/samples_short": 1183.0,
-    "val/wer_short": 0.7259076647243389,
-    "val/cer_short": 0.20922035809953476,
+    "val/wer_short": 0.6797400268937696,
+    "val/cer_short": 0.19061046101790496,
     "val/samples_medium": 2021.0,
-    "val/wer_medium": 0.36005457025920873,
-    "val/cer_medium": 0.08088014918911719,
+    "val/wer_medium": 0.33740791268758524,
+    "val/cer_medium": 0.0751190515834693,
     "val/samples_long": 0.0,
-    "val/decoded_empty_fraction": 0.0012484394506866417,
-    "val/decoded_avg_char_length": 46.822409488139826,
-    "val/decoded_avg_word_length": 7.324282147315855,
+    "val/decoded_empty_fraction": 0.0006242197253433209,
+    "val/decoded_avg_char_length": 46.43008739076155,
+    "val/decoded_avg_word_length": 7.271223470661673,
     "val/speaker_count": 0.0,
     "val/speaker_macro_wer": 0.0,
     "val/speaker_id_available": 0.0,
     "val/missing_speaker_id_samples": 3204.0,
-    "val/forward_seconds": 333.4236780288629,
+    "val/forward_seconds": 319.4103196649812,
     "val/teacher_seconds": 0.0,
-    "val/decode_seconds": 1.0667903767316602,
-    "val/gather_seconds": 0.02218547504162416,
-    "train/loss": 5.121109128592455,
-    "train/main_ctc_loss": 5.121109128592455,
+    "val/decode_seconds": 1.0230408838251606,
+    "val/gather_seconds": 0.026045365957543254,
+    "train/loss": 4.941656106719204,
+    "train/main_ctc_loss": 4.941656106719204,
     "train/aed_loss": 0.0,
     "train/liberta_distill_loss": 0.0,
     "train/audio_teacher_loss": 0.0
@@ -416,6 +416,12 @@
     "w2v_bert_model_source": "/home/yehor/squeezeformer/w2v-bert-uk-v2.1"
   },
   "averaged_from": [
+    {
+      "epoch": 1,
+      "global_step": 12000,
+      "val_wer": 0.40444112871374027,
+      "path": "checkpoint_epoch=0001_step=00012000_valwer=0.404441.pt"
+    },
     {
       "epoch": 1,
       "global_step": 11500,
@@ -439,12 +445,6 @@
       "global_step": 10000,
       "val_wer": 0.5629525606705578,
       "path": "checkpoint_epoch=0001_step=00010000_valwer=0.562953.pt"
-    },
-    {
-      "epoch": 1,
-      "global_step": 9500,
-      "val_wer": 0.6165796287356826,
-      "path": "checkpoint_epoch=0001_step=00009500_valwer=0.616580.pt"
     }
   ]
 }

checkpoints_topk/metadata.json

@@ -1,6 +1,12 @@
 {
   "compatibility_signature": "ecb1c79a9364dfe2fac014f491da9e093b8dc939f19e5994004884370168b512",
   "items": [
+    {
+      "epoch": 1,
+      "global_step": 12000,
+      "val_wer": 0.40444112871374027,
+      "path": "checkpoint_epoch=0001_step=00012000_valwer=0.404441.pt"
+    },
     {
       "epoch": 1,
       "global_step": 11500,
@@ -24,12 +30,6 @@
       "global_step": 10000,
       "val_wer": 0.5629525606705578,
       "path": "checkpoint_epoch=0001_step=00010000_valwer=0.562953.pt"
-    },
-    {
-      "epoch": 1,
-      "global_step": 9500,
-      "val_wer": 0.6165796287356826,
-      "path": "checkpoint_epoch=0001_step=00009500_valwer=0.616580.pt"
     }
   ]
 }

eval_reports/epoch_0001_step_00012000.json

@@ -0,0 +1,133 @@
+{
+  "epoch": 1,
+  "global_step": 12000,
+  "model_source": "raw",
+  "metrics": {
+    "loss": 2.1857717894296744,
+    "main_ctc_loss": 2.1857717894296744,
+    "aed_loss": 0.0,
+    "liberta_distill_loss": 0.0,
+    "audio_teacher_loss": 0.0,
+    "cer": 0.09718630461720812,
+    "wer": 0.40444112871374027,
+    "avg_blank_probability": 0.7491059752413728,
+    "argmax_blank_fraction": 0.7661514623653845,
+    "avg_top_nonblank_probability": 0.2140337173356191,
+    "avg_output_frames": 129.72159800249688,
+    "avg_target_tokens": 24.885455680399502,
+    "target_tokens_per_frame": 0.1918374123013849,
+    "impossible_sample_fraction": 0.0,
+    "tight_sample_fraction": 0.0,
+    "samples_short": 1183.0,
+    "wer_short": 0.6797400268937696,
+    "cer_short": 0.19061046101790496,
+    "samples_medium": 2021.0,
+    "wer_medium": 0.33740791268758524,
+    "cer_medium": 0.0751190515834693,
+    "samples_long": 0.0,
+    "decoded_empty_fraction": 0.0006242197253433209,
+    "decoded_avg_char_length": 46.43008739076155,
+    "decoded_avg_word_length": 7.271223470661673,
+    "speaker_count": 0.0,
+    "speaker_macro_wer": 0.0,
+    "speaker_id_available": 0.0,
+    "missing_speaker_id_samples": 3204.0
+  },
+  "hardest_examples": [
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2993.wav",
+      "speaker_id": "",
+      "reference": "Який є сенс поспішати?",
+      "hypothesis": "Який є  сенс поспішати"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3301.wav",
+      "speaker_id": "",
+      "reference": "Антивандальний.",
+      "hypothesis": "антивандальній."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3308.wav",
+      "speaker_id": "",
+      "reference": "Антивакцинальний?",
+      "hypothesis": "антивакцинальнийй"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2314.wav",
+      "speaker_id": "",
+      "reference": "Не хотілося нічого.",
+      "hypothesis": "не  хотілося нічого"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/219.wav",
+      "speaker_id": "",
+      "reference": "Я пожду.",
+      "hypothesis": "Я пождду"
+    }
+  ],
+  "random_examples": [
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/375.wav",
+      "speaker_id": "",
+      "reference": "Читачі, гадаю, не забули про Сарайську єпархію, підлеглу митрополитові.",
+      "hypothesis": "Читачі гадаю не забули про Сарайську єпархію підлеглу митрополитові."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1367.wav",
+      "speaker_id": "",
+      "reference": "Стьогнув ще турна через лоб.",
+      "hypothesis": "Сстнувще турно черезз лоб"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/849.wav",
+      "speaker_id": "",
+      "reference": "Князь у всьому був залежний від хана.",
+      "hypothesis": "Ккнязь усьому був залежний від Ххана"
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1003.wav",
+      "speaker_id": "",
+      "reference": "Дивуватися не варто бували вигадки і гидотніші, і брехливіші.",
+      "hypothesis": "Дивуватися не варто, Буували випадкидо дотніші і брехливіщі."
+    },
+    {
+      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3232.wav",
+      "speaker_id": "",
+      "reference": "На редактора це вам буде дорого коштувати, коли я буду у вас редактором.",
+      "hypothesis": "На редактора це вам буде дороого коштувати, коли я буду у вас редактором."
+    }
+  ],
+  "speaker_metrics": {
+    "speaker_count": 0,
+    "speaker_macro_wer": 0.0,
+    "speaker_id_available": false,
+    "missing_speaker_id_samples": 3204,
+    "per_speaker": {}
+  },
+  "split_audit": {
+    "counts": {
+      "train": {
+        "samples": 648240,
+        "speakers": 0,
+        "records_with_speaker_id": 0,
+        "hours": 1264.353836267957
+      },
+      "validation": {
+        "samples": 3204,
+        "speakers": 0,
+        "records_with_speaker_id": 0,
+        "hours": 4.629311440972232
+      }
+    },
+    "hours": {
+      "train": 1264.353836267957,
+      "validation": 4.629311440972232
+    },
+    "total_hours": 1268.9831477089292,
+    "speaker_overlaps": {
+      "train_vs_validation": 0
+    },
+    "speaker_balance_ratio": 1.0,
+    "speaker_id_available": false
+  }
+}