w2v-bert-test2-full / eval_reports /epoch_0003_step_00050000.json
Yehor's picture
Upload checkpoints epoch_0003_step_00050000
2d521d8 verified
Raw
History Blame Contribute Delete
4.95 kB
{
"epoch": 3,
"global_step": 50000,
"model_source": "raw",
"metrics": {
"loss": 0.33544471835922196,
"main_ctc_loss": 0.33544471835922196,
"aed_loss": 0.0,
"liberta_distill_loss": 0.0,
"audio_teacher_loss": 0.0,
"cer": 0.040319756478638,
"wer": 0.20322991179181113,
"avg_blank_probability": 0.7951695728016561,
"argmax_blank_fraction": 0.8015845900661168,
"avg_top_nonblank_probability": 0.19574899347442457,
"avg_output_frames": 129.72159800249688,
"avg_target_tokens": 24.885455680399502,
"target_tokens_per_frame": 0.1918374123013849,
"impossible_sample_fraction": 0.0,
"tight_sample_fraction": 0.0,
"samples_short": 1183.0,
"wer_short": 0.25123263110712685,
"cer_short": 0.04994360637247991,
"samples_medium": 2021.0,
"wer_medium": 0.19154160982264665,
"cer_medium": 0.038046554996836394,
"samples_long": 0.0,
"decoded_empty_fraction": 0.0,
"decoded_avg_char_length": 46.21129837702871,
"decoded_avg_word_length": 7.056179775280899,
"speaker_count": 0.0,
"speaker_macro_wer": 0.0,
"speaker_id_available": 0.0,
"missing_speaker_id_samples": 3204.0
},
"hardest_examples": [
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3180.wav",
"speaker_id": "",
"reference": "Яка?",
"hypothesis": "Яке?"
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3561.wav",
"speaker_id": "",
"reference": "Двадцять три?",
"hypothesis": "Двадцять три."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/814.wav",
"speaker_id": "",
"reference": "Піди до Ждана.",
"hypothesis": "Піде до ждана."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2958.wav",
"speaker_id": "",
"reference": "Ходімо?",
"hypothesis": "Ходімо."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3273.wav",
"speaker_id": "",
"reference": "І за мене часто б'ються.",
"hypothesis": "Й за мене часто б'ються."
}
],
"random_examples": [
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3097.wav",
"speaker_id": "",
"reference": "Ніхто про це нині не хоче думати.",
"hypothesis": "Ніхто про це нині не хоче думати."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2797.wav",
"speaker_id": "",
"reference": "Старий почав крутити головою.",
"hypothesis": "Старий почав крутити головою."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/953.wav",
"speaker_id": "",
"reference": "А що сталося, Андрію?",
"hypothesis": "А що сталося, Андрію?"
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3112.wav",
"speaker_id": "",
"reference": "Застосування мов в Україні гарантується Конституцією України та визначається законом.",
"hypothesis": "Застосування мов в Україні гарантується конституцію України та визначається законом."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2548.wav",
"speaker_id": "",
"reference": "Едгар Дега всесвітньо відомий художник, який зображав на полотнах українок.",
"hypothesis": "Едгардега всесвітньо відомий художник, який зображав на полотнах українок."
}
],
"speaker_metrics": {
"speaker_count": 0,
"speaker_macro_wer": 0.0,
"speaker_id_available": false,
"missing_speaker_id_samples": 3204,
"per_speaker": {}
},
"split_audit": {
"counts": {
"train": {
"samples": 648240,
"speakers": 0,
"records_with_speaker_id": 0,
"hours": 1264.353836267957
},
"validation": {
"samples": 3204,
"speakers": 0,
"records_with_speaker_id": 0,
"hours": 4.629311440972232
}
},
"hours": {
"train": 1264.353836267957,
"validation": 4.629311440972232
},
"total_hours": 1268.9831477089292,
"speaker_overlaps": {
"train_vs_validation": 0
},
"speaker_balance_ratio": 1.0,
"speaker_id_available": false
}
}