eval_reports/epoch_0001_step_00004000.json

{
  "epoch": 1,
  "global_step": 4000,
  "model_source": "raw",
  "metrics": {
    "loss": 18.52963353453504,
    "main_ctc_loss": 18.52963353453504,
    "aed_loss": 0.0,
    "liberta_distill_loss": 0.0,
    "audio_teacher_loss": 0.0,
    "cer": 1.0035895156510963,
    "wer": 1.39114407337517,
    "avg_blank_probability": 0.428101185764056,
    "argmax_blank_fraction": 0.62854523756821,
    "avg_top_nonblank_probability": 0.1060388846632854,
    "avg_output_frames": 129.72159800249688,
    "avg_target_tokens": 24.885455680399502,
    "target_tokens_per_frame": 0.1918374123013849,
    "impossible_sample_fraction": 0.0,
    "tight_sample_fraction": 0.0,
    "samples_short": 1183.0,
    "wer_short": 2.2837292693859257,
    "cer_short": 1.1907161990695052,
    "samples_medium": 2021.0,
    "wer_medium": 1.173806275579809,
    "cer_medium": 0.9593892570515169,
    "samples_long": 0.0,
    "decoded_empty_fraction": 0.2531210986267166,
    "decoded_avg_char_length": 17.56554307116105,
    "decoded_avg_word_length": 5.789013732833958,
    "speaker_count": 0.0,
    "speaker_macro_wer": 0.0,
    "speaker_id_available": 0.0,
    "missing_speaker_id_samples": 3204.0
  },
  "hardest_examples": [
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3423.wav",
      "speaker_id": "",
      "reference": "Я пила би це життя.",
      "hypothesis": "іс ічагу іс іс іс і"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/702.wav",
      "speaker_id": "",
      "reference": "Що там греки й латинці?",
      "hypothesis": "іс іс ісгус ікм іс іс і"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2601.wav",
      "speaker_id": "",
      "reference": "Мене неначе струмом вдарило.",
      "hypothesis": "ісгусгу ісм іс іw іс імимс і"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2834.wav",
      "speaker_id": "",
      "reference": "Перехідні і неперехідні дієслова.",
      "hypothesis": "с іс і і і   і і с і с і  іс іс і"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/2062.wav",
      "speaker_id": "",
      "reference": "Шановні колеги, прошу уваги.",
      "hypothesis": "іг ісцімс іс іс іс іс ісмс і"
    }
  ],
  "random_examples": [
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/375.wav",
      "speaker_id": "",
      "reference": "Читачі, гадаю, не забули про Сарайську єпархію, підлеглу митрополитові.",
      "hypothesis": "с"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1367.wav",
      "speaker_id": "",
      "reference": "Стьогнув ще турна через лоб.",
      "hypothesis": "і   с"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/849.wav",
      "speaker_id": "",
      "reference": "Князь у всьому був залежний від хана.",
      "hypothesis": "ісс імс і іс  імс іс і"
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/1003.wav",
      "speaker_id": "",
      "reference": "Дивуватися не варто бували вигадки і гидотніші, і брехливіші.",
      "hypothesis": ""
    },
    {
      "utterance_id": "/home/yehor/squeezeformer/data/cv10-uk-testset-clean-punctuated/3232.wav",
      "speaker_id": "",
      "reference": "На редактора це вам буде дорого коштувати, коли я буду у вас редактором.",
      "hypothesis": ""
    }
  ],
  "speaker_metrics": {
    "speaker_count": 0,
    "speaker_macro_wer": 0.0,
    "speaker_id_available": false,
    "missing_speaker_id_samples": 3204,
    "per_speaker": {}
  },
  "split_audit": {
    "counts": {
      "train": {
        "samples": 648240,
        "speakers": 0,
        "records_with_speaker_id": 0,
        "hours": 1264.353836267957
      },
      "validation": {
        "samples": 3204,
        "speakers": 0,
        "records_with_speaker_id": 0,
        "hours": 4.629311440972232
      }
    },
    "hours": {
      "train": 1264.353836267957,
      "validation": 4.629311440972232
    },
    "total_hours": 1268.9831477089292,
    "speaker_overlaps": {
      "train_vs_validation": 0
    },
    "speaker_balance_ratio": 1.0,
    "speaker_id_available": false
  }
}