{ "add_prefix_space": false, "auto_map": { "AutoTokenizer": [ "tokenization_cohere_asr.CohereAsrTokenizer", null ] }, "backend": "tokenizers", "bos_token": "<|startoftranscript|>", "clean_up_tokenization_spaces": false, "eos_token": "<|endoftext|>", "extra_special_tokens": [ "<|t:0.0|>", "<|t:0.1|>", "<|t:0.2|>", "<|t:0.3|>", "<|t:0.4|>", "<|t:0.5|>", "<|t:0.6|>", "<|t:0.7|>", "<|t:0.8|>", "<|t:0.9|>", "<|t:1.0|>", "<|t:1.1|>", "<|t:1.2|>", "<|t:1.3|>", "<|t:1.4|>", "<|t:1.5|>", "<|t:1.6|>", "<|t:1.7|>", "<|t:1.8|>", "<|t:1.9|>", "<|t:2.0|>", "<|t:2.1|>", "<|t:2.2|>", "<|t:2.3|>", "<|t:2.4|>", "<|t:2.5|>", "<|t:2.6|>", "<|t:2.7|>", "<|t:2.8|>", "<|t:2.9|>", "<|t:3.0|>", "<|t:3.1|>", "<|t:3.2|>", "<|t:3.3|>", "<|t:3.4|>", "<|t:3.5|>", "<|t:3.6|>", "<|t:3.7|>", "<|t:3.8|>", "<|t:3.9|>", "<|t:4.0|>", "<|t:4.1|>", "<|t:4.2|>", "<|t:4.3|>", "<|t:4.4|>", "<|t:4.5|>", "<|t:4.6|>", "<|t:4.7|>", "<|t:4.8|>", "<|t:4.9|>", "<|t:5.0|>", "<|t:5.1|>", "<|t:5.2|>", "<|t:5.3|>", "<|t:5.4|>", "<|t:5.5|>", "<|t:5.6|>", "<|t:5.7|>", "<|t:5.8|>", "<|t:5.9|>", "<|t:6.0|>", "<|t:6.1|>", "<|t:6.2|>", "<|t:6.3|>", "<|t:6.4|>", "<|t:6.5|>", "<|t:6.6|>", "<|t:6.7|>", "<|t:6.8|>", "<|t:6.9|>", "<|t:7.0|>", "<|t:7.1|>", "<|t:7.2|>", "<|t:7.3|>", "<|t:7.4|>", "<|t:7.5|>", "<|t:7.6|>", "<|t:7.7|>", "<|t:7.8|>", "<|t:7.9|>", "<|t:8.0|>", "<|t:8.1|>", "<|t:8.2|>", "<|t:8.3|>", "<|t:8.4|>", "<|t:8.5|>", "<|t:8.6|>", "<|t:8.7|>", "<|t:8.8|>", "<|t:8.9|>", "<|t:9.0|>", "<|t:9.1|>", "<|t:9.2|>", "<|t:9.3|>", "<|t:9.4|>", "<|t:9.5|>", "<|t:9.6|>", "<|t:9.7|>", "<|t:9.8|>", "<|t:9.9|>", "<|t:10.0|>", "<|t:10.1|>", "<|t:10.2|>", "<|t:10.3|>", "<|t:10.4|>", "<|t:10.5|>", "<|t:10.6|>", "<|t:10.7|>", "<|t:10.8|>", "<|t:10.9|>", "<|t:11.0|>", "<|t:11.1|>", "<|t:11.2|>", "<|t:11.3|>", "<|t:11.4|>", "<|t:11.5|>", "<|t:11.6|>", "<|t:11.7|>", "<|t:11.8|>", "<|t:11.9|>", "<|t:12.0|>", "<|t:12.1|>", "<|t:12.2|>", "<|t:12.3|>", "<|t:12.4|>", "<|t:12.5|>", "<|t:12.6|>", "<|t:12.7|>", "<|t:12.8|>", "<|t:12.9|>", "<|t:13.0|>", "<|t:13.1|>", "<|t:13.2|>", "<|t:13.3|>", "<|t:13.4|>", "<|t:13.5|>", "<|t:13.6|>", "<|t:13.7|>", "<|t:13.8|>", "<|t:13.9|>", "<|t:14.0|>", "<|t:14.1|>", "<|t:14.2|>", "<|t:14.3|>", "<|t:14.4|>", "<|t:14.5|>", "<|t:14.6|>", "<|t:14.7|>", "<|t:14.8|>", "<|t:14.9|>", "<|t:15.0|>", "<|t:15.1|>", "<|t:15.2|>", "<|t:15.3|>", "<|t:15.4|>", "<|t:15.5|>", "<|t:15.6|>", "<|t:15.7|>", "<|t:15.8|>", "<|t:15.9|>", "<|t:16.0|>", "<|t:16.1|>", "<|t:16.2|>", "<|t:16.3|>", "<|t:16.4|>", "<|t:16.5|>", "<|t:16.6|>", "<|t:16.7|>", "<|t:16.8|>", "<|t:16.9|>", "<|t:17.0|>", "<|t:17.1|>", "<|t:17.2|>", "<|t:17.3|>", "<|t:17.4|>", "<|t:17.5|>", "<|t:17.6|>", "<|t:17.7|>", "<|t:17.8|>", "<|t:17.9|>", "<|t:18.0|>", "<|t:18.1|>", "<|t:18.2|>", "<|t:18.3|>", "<|t:18.4|>", "<|t:18.5|>", "<|t:18.6|>", "<|t:18.7|>", "<|t:18.8|>", "<|t:18.9|>", "<|t:19.0|>", "<|t:19.1|>", "<|t:19.2|>", "<|t:19.3|>", "<|t:19.4|>", "<|t:19.5|>", "<|t:19.6|>", "<|t:19.7|>", "<|t:19.8|>", "<|t:19.9|>", "<|t:20.0|>", "<|t:20.1|>", "<|t:20.2|>", "<|t:20.3|>", "<|t:20.4|>", "<|t:20.5|>", "<|t:20.6|>", "<|t:20.7|>", "<|t:20.8|>", "<|t:20.9|>", "<|t:21.0|>", "<|t:21.1|>", "<|t:21.2|>", "<|t:21.3|>", "<|t:21.4|>", "<|t:21.5|>", "<|t:21.6|>", "<|t:21.7|>", "<|t:21.8|>", "<|t:21.9|>", "<|t:22.0|>", "<|t:22.1|>", "<|t:22.2|>", "<|t:22.3|>", "<|t:22.4|>", "<|t:22.5|>", "<|t:22.6|>", "<|t:22.7|>", "<|t:22.8|>", "<|t:22.9|>", "<|t:23.0|>", "<|t:23.1|>", "<|t:23.2|>", "<|t:23.3|>", "<|t:23.4|>", "<|t:23.5|>", "<|t:23.6|>", "<|t:23.7|>", "<|t:23.8|>", "<|t:23.9|>", "<|t:24.0|>", "<|t:24.1|>", "<|t:24.2|>", "<|t:24.3|>", "<|t:24.4|>", "<|t:24.5|>", "<|t:24.6|>", "<|t:24.7|>", "<|t:24.8|>", "<|t:24.9|>", "<|t:25.0|>", "<|t:25.1|>", "<|t:25.2|>", "<|t:25.3|>", "<|t:25.4|>", "<|t:25.5|>", "<|t:25.6|>", "<|t:25.7|>", "<|t:25.8|>", "<|t:25.9|>", "<|t:26.0|>", "<|t:26.1|>", "<|t:26.2|>", "<|t:26.3|>", "<|t:26.4|>", "<|t:26.5|>", "<|t:26.6|>", "<|t:26.7|>", "<|t:26.8|>", "<|t:26.9|>", "<|t:27.0|>", "<|t:27.1|>", "<|t:27.2|>", "<|t:27.3|>", "<|t:27.4|>", "<|t:27.5|>", "<|t:27.6|>", "<|t:27.7|>", "<|t:27.8|>", "<|t:27.9|>", "<|t:28.0|>", "<|t:28.1|>", "<|t:28.2|>", "<|t:28.3|>", "<|t:28.4|>", "<|t:28.5|>", "<|t:28.6|>", "<|t:28.7|>", "<|t:28.8|>", "<|t:28.9|>", "<|t:29.0|>", "<|t:29.1|>", "<|t:29.2|>", "<|t:29.3|>", "<|t:29.4|>", "<|t:29.5|>", "<|t:29.6|>", "<|t:29.7|>", "<|t:29.8|>", "<|t:29.9|>" ], "is_local": false, "local_files_only": true, "model_max_length": 2048, "pad_token": "", "sp_model_kwargs": {}, "split_special_tokens": true, "tokenizer_class": "TokenizersBackend", "unk_token": "" }