w2v-bert-test2-full / eval_reports /epoch_0002_step_00014000.json
Yehor's picture
Upload checkpoints epoch_0002_step_00014000
036afd4
Raw
History Blame Contribute Delete
5.01 kB
{
"epoch": 2,
"global_step": 14000,
"model_source": "raw",
"metrics": {
"loss": 0.4707702577059458,
"main_ctc_loss": 0.4707702577059458,
"aed_loss": 0.0,
"liberta_distill_loss": 0.0,
"audio_teacher_loss": 0.0,
"cer": 0.0598028123484726,
"wer": 0.28555755474612715,
"avg_blank_probability": 0.777821382096368,
"argmax_blank_fraction": 0.7844274206742567,
"avg_top_nonblank_probability": 0.20818818121339977,
"avg_output_frames": 129.72159800249688,
"avg_target_tokens": 24.885455680399502,
"target_tokens_per_frame": 0.1918374123013849,
"impossible_sample_fraction": 0.0,
"tight_sample_fraction": 0.0,
"samples_short": 1183.0,
"wer_short": 0.3449125952487674,
"cer_short": 0.07422811222331877,
"samples_medium": 2021.0,
"wer_medium": 0.2711050477489768,
"cer_medium": 0.05639548436511373,
"samples_long": 0.0,
"decoded_empty_fraction": 0.00031210986267166043,
"decoded_avg_char_length": 45.52559300873908,
"decoded_avg_word_length": 6.930087390761548,
"speaker_count": 0.0,
"speaker_macro_wer": 0.0,
"speaker_id_available": 0.0,
"missing_speaker_id_samples": 3204.0
},
"hardest_examples": [
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1853.wav",
"speaker_id": "",
"reference": "Ти хто єси може?",
"hypothesis": "Ти хто іси може."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2597.wav",
"speaker_id": "",
"reference": "Краще із усіх?",
"hypothesis": "Краще із усіх."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3233.wav",
"speaker_id": "",
"reference": "Що саме?",
"hypothesis": "Що саме."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2591.wav",
"speaker_id": "",
"reference": "Прирівняв?",
"hypothesis": "Прирівняв."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2307.wav",
"speaker_id": "",
"reference": "Партизани?",
"hypothesis": "Партизани."
}
],
"random_examples": [
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1981.wav",
"speaker_id": "",
"reference": "Звичайно ж, вистачить і вишата, лише всміхнувся на знак згоди.",
"hypothesis": "Звичайно ж вистачить і вишата лише всміхнувся на знак зголоди."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/741.wav",
"speaker_id": "",
"reference": "Це рішення було повністю виконано.",
"hypothesis": "Це рішення було повністю виконано."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3229.wav",
"speaker_id": "",
"reference": "Нероби другому, що тобі немиле.",
"hypothesis": "Не роби другому, що тобі не мили."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1894.wav",
"speaker_id": "",
"reference": "Тому у випадках сумніву щодо наголосу слід звертатися до словників.",
"hypothesis": "Тому у випадках сумніву щодо наголосу слід звертатися до словників."
},
{
"utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2422.wav",
"speaker_id": "",
"reference": "Уявіть собі, що там діялось, бо я не в силі вам цього розповісти.",
"hypothesis": "Уявіть собі, що там діялось, Б бо я не в силі вам цього розповісти."
}
],
"speaker_metrics": {
"speaker_count": 0,
"speaker_macro_wer": 0.0,
"speaker_id_available": false,
"missing_speaker_id_samples": 3204,
"per_speaker": {}
},
"split_audit": {
"counts": {
"train": {
"samples": 648240,
"speakers": 0,
"records_with_speaker_id": 0,
"hours": 1264.353836267957
},
"validation": {
"samples": 3204,
"speakers": 0,
"records_with_speaker_id": 0,
"hours": 4.629311440972232
}
},
"hours": {
"train": 1264.353836267957,
"validation": 4.629311440972232
},
"total_hours": 1268.9831477089292,
"speaker_overlaps": {
"train_vs_validation": 0
},
"speaker_balance_ratio": 1.0,
"speaker_id_available": false
}
}