{
  "KazBERT": {
    "model_id": "Eraly-ml/KazBERT",
    "fertility": 1.6361,
    "vocab_size": 32000,
    "mc_acc_pll": 0.424,
    "fill_mask": {
      "Астана — Қазақстанның [MASK] қаласы.": [
        "астана",
        "ірі",
        "алматы"
      ],
      "Мен қазақ [MASK] сөйлеймін.": [
        "тілінде",
        "тіліне",
        "тілі"
      ],
      "Абай Құнанбаев — ұлы қазақ [MASK].": [
        "ақыны",
        "энциклопедиясы",
        "сср"
      ]
    },
    "mc_acc_embed": 0.368,
    "embed_separation": 0.0151,
    "seconds": 80.5
  },
  "mBERT": {
    "model_id": "google-bert/bert-base-multilingual-cased",
    "fertility": 2.7586,
    "vocab_size": 119547,
    "mc_acc_pll": 0.275,
    "fill_mask": {
      "Астана — Қазақстанның [MASK] қаласы.": [
        "Астана",
        "бар",
        "1"
      ],
      "Мен қазақ [MASK] сөйлеймін.": [
        "##қа",
        "##стан",
        "##та"
      ],
      "Абай Құнанбаев — ұлы қазақ [MASK].": [
        "[UNK]",
        "##ты",
        "##тар"
      ]
    },
    "mc_acc_embed": 0.458,
    "embed_separation": 0.0271,
    "seconds": 271.6
  },
  "XLM-R base": {
    "model_id": "FacebookAI/xlm-roberta-base",
    "fertility": 2.15,
    "vocab_size": 250002,
    "mc_acc_pll": 0.348,
    "fill_mask": {
      "Астана — Қазақстанның [MASK] қаласы.": [
        "бас",
        "1",
        "19"
      ],
      "Мен қазақ [MASK] сөйлеймін.": [
        "тілінде",
        "ша",
        "тілін"
      ],
      "Абай Құнанбаев — ұлы қазақ [MASK].": [
        "ақын",
        "жазушы",
        "ғалым"
      ]
    },
    "mc_acc_embed": 0.338,
    "embed_separation": 0.0006,
    "seconds": 262.8
  },
  "kaz-roberta": {
    "model_id": "kz-transformers/kaz-roberta-conversational",
    "fertility": 1.5983,
    "vocab_size": 52000,
    "mc_acc_pll": 0.445,
    "fill_mask": {
      "Астана — Қазақстанның [MASK] қаласы.": [
        "ықты",
        "адыр",
        "ілетін"
      ],
      "Мен қазақ [MASK] сөйлеймін.": [
        "қазақша",
        "тілінде",
        "ыммен"
      ],
      "Абай Құнанбаев — ұлы қазақ [MASK].": [
        "ыстығы",
        "ілікті",
        "iлiм"
      ]
    },
    "mc_acc_embed": 0.388,
    "embed_separation": 0.0177,
    "seconds": 60.4
  },
  "KazakhBERTmulti": {
    "model_id": "amandyk/KazakhBERTmulti",
    "fertility": 1.457,
    "vocab_size": 100000,
    "mc_acc_pll": 0.366,
    "fill_mask": {
      "Астана — Қазақстанның [MASK] қаласы.": [
        "бас",
        "басты",
        "ірі"
      ],
      "Мен қазақ [MASK] сөйлеймін.": [
        "тілінде",
        "тілдерінде",
        "тілін"
      ],
      "Абай Құнанбаев — ұлы қазақ [MASK].": [
        "ақыны",
        "елі",
        "ханы"
      ]
    },
    "mc_acc_embed": 0.405,
    "embed_separation": 0.0194,
    "seconds": 95.6
  }
}