gigaam-v3-mlx / tokenizer_vocab.json
kruatech's picture
Upload folder using huggingface_hub
a7d5557 verified
Raw
History Blame
16.7 kB
{
"source": "Models/GigaAMKitPro/tokenizer.model",
"type": "sentencepiece_id_to_piece",
"size": 1024,
"unk_id": 0,
"bos_id": -1,
"eos_id": -1,
"pad_id": -1,
"pieces": [
"<unk>",
".",
",",
"▁",
"е",
"а",
"с",
"▁с",
"и",
"▁в",
"н",
"у",
"т",
"м",
"▁на",
"?",
"▁по",
"й",
"к",
"д",
"ли",
"л",
"р",
"я",
"▁и",
"-",
"в",
"▁не",
"ка",
"▁у",
"ла",
"ра",
"на",
"ль",
"з",
"ю",
"х",
"то",
"но",
"о",
"ж",
"ни",
"ш",
"ть",
"▁за",
"п",
"ри",
"▁«",
"ро",
"ва",
"ло",
"ле",
"ч",
"▁А",
"го",
"та",
"▁С",
"ре",
"г",
"▁что",
"да",
"те",
"ко",
"▁И",
"ки",
"▁о",
"ы",
"ти",
"▁я",
"б",
"▁к",
"ст",
"не",
"во",
"▁это",
"▁В",
"▁Включи",
"▁от",
"▁про",
"e",
"▁вы",
"ку",
"ма",
"ру",
"ми",
"a",
"▁По",
"▁—",
"че",
"▁при",
"▁как",
"ем",
"ь",
"ом",
"ов",
"ет",
"ди",
"▁О",
"».",
"o",
"▁мне",
"▁У",
"▁со",
"сь",
"▁Я",
"ё",
"э",
"▁а",
"ви",
"ля",
"чи",
"▁до",
"га",
"по",
"ме",
"му",
"i",
"ся",
"▁К",
"жи",
"ста",
"▁есть",
"▁так",
"ить",
"ой",
"▁да",
"до",
"▁Ну",
"ту",
"▁об",
"▁мо",
"ше",
"s",
"ча",
"t",
"ер",
"мо",
"▁ко",
"ей",
"▁вот",
"▁то",
"де",
"па",
"ан",
"▁б",
"ну",
"бо",
"▁На",
"же",
"ты",
"сти",
"ве",
"▁П",
"▁Да",
"▁Б",
"▁Т",
"вер",
"ны",
"ный",
"тор",
"сто",
"▁раз",
"▁э",
"ной",
"▁из",
"▁Сбер",
"▁под",
"0",
"ные",
"ши",
"▁ка",
"▁Д",
"ца",
"▁тебя",
"▁п",
"ги",
"ения",
"ба",
"ф",
"▁бы",
"▁меня",
"ня",
"ду",
"за",
"▁ли",
"▁он",
"▁ты",
"ке",
"▁всё",
"▁во",
"r",
"▁но",
"ник",
"им",
"об",
"би",
"ци",
"▁т",
"мен",
"вет",
"▁фильм",
"ую",
"▁пере",
"си",
"жа",
"u",
"ц",
"▁Салют",
"щи",
"▁Как",
"▁же",
"▁ре",
"ар",
"ев",
"▁мы",
"ная",
"▁там",
"ры",
"ать",
"▁М",
"ил",
"ние",
"▁Афина",
"▁его",
"▁д",
"d",
"ите",
"ал",
"ого",
"ят",
"▁будет",
"▁За",
"▁1",
"▁все",
"▁сезон",
"ин",
"▁Г",
"дел",
"▁ме",
"l",
"он",
"▁Джой",
"ск",
"y",
"сть",
"5",
"»",
"ор",
"прав",
"▁Не",
"ров",
"вы",
"m",
"▁де",
"9",
"▁Ко",
"▁те",
"ря",
"це",
"ёт",
"▁г",
"ая",
"▁То",
"▁Это",
"▁Но",
"лу",
"гра",
"▁Э",
"С",
"ый",
"8",
"из",
"рт",
"са",
"▁ТВ",
"со",
"лю",
"▁Вот",
"ков",
"6",
"▁ну",
"7",
"нов",
"пи",
"ще",
"▁Ма",
"▁Ф",
"▁для",
"ия",
"их",
"h",
"ных",
"▁ф",
"каз",
"▁Он",
"смотр",
"лы",
"▁Что",
":",
"1",
"пу",
"лов",
"фи",
"тер",
"ок",
"ём",
"зи",
"▁2",
"▁S",
"▁ещё",
"ного",
"!",
"ное",
"хо",
"▁з",
"▁сейчас",
"ова",
"ит",
"ход",
"▁Л",
"пол",
"вать",
"Н",
"бе",
"▁До",
"▁вас",
"▁уже",
"ение",
"ется",
"луч",
"ство",
"▁ш",
"гу",
"зна",
"▁Поставь",
"ха",
"n",
"лен",
"щ",
"▁Ка",
"▁пред",
"ком",
"▁M",
"пис",
"чно",
"ами",
"чу",
"про",
"▁Е",
"c",
"g",
"2",
"ды",
"ович",
"▁вам",
"след",
"ним",
"дь",
"▁если",
"зы",
"ша",
"ным",
"ский",
"▁был",
"▁Угу",
"ешь",
"▁Так",
"ально",
"▁сериал",
"вой",
"нь",
"▁Покажи",
"k",
"p",
"▁нас",
"▁друг",
"▁Ты",
"▁кон",
"▁она",
"▁па",
"ции",
"▁Про",
"П",
"от",
"тра",
"»,",
"▁было",
"▁Ш",
"▁Во",
"О",
"род",
"▁ком",
"▁включи",
"▁канал",
"су",
"▁просто",
"▁З",
"▁Вы",
"ания",
"сы",
"▁Ро",
"▁Со",
"бы",
"▁Ра",
"▁хо",
"an",
"▁B",
"мер",
"4",
"В",
"Т",
"К",
"ень",
"▁C",
"аться",
"▁бо",
"in",
"▁когда",
"▁Бо",
"▁рас",
"▁они",
"er",
"мы",
"М",
"3",
"вод",
"▁...",
"▁пожалуйста",
"пер",
"ран",
"▁чтобы",
"b",
"▁эти",
"▁3",
"▁Мо",
"бу",
"▁Ку",
"▁может",
"плат",
"▁где",
"ную",
"▁очень",
"▁люб",
"кой",
"▁Мы",
"ская",
"дер",
"ключ",
"олог",
"рь",
"▁вид",
"тов",
"▁Та",
"ний",
"▁кино",
"▁Ев",
"▁ис",
"▁или",
"звон",
"▁ро",
"сси",
"ам",
"▁пре",
"▁ж",
"стро",
"▁дела",
"▁A",
"▁Ле",
"▁только",
"ён",
"▁можно",
"Д",
"▁Хочу",
"%",
"ном",
"▁её",
"v",
"▁Го",
"▁смотрешке",
"▁Ни",
"жу",
"▁нет",
"форм",
"лось",
"▁телефон",
"ое",
"▁сам",
"»?",
"▁могу",
"ают",
"зов",
"ar",
"▁P",
"▁Открой",
"ически",
"▁кран",
"овой",
"ах",
"▁При",
"R",
"▁Ю",
"нул",
"▁человек",
"on",
"▁ос",
"▁серия",
"▁бу",
"▁Найди",
"Б",
"стра",
"спе",
"дин",
"▁тре",
"▁пер",
"▁быть",
"гру",
"▁воз",
"Ч",
"▁Па",
"▁4",
"фе",
"▁D",
"▁Р",
"лё",
"дума",
"▁один",
"▁сказал",
"▁Медси",
"▁без",
"\"",
"▁чё",
"И",
"▁нужно",
"ление",
"ых",
"K",
"▁надо",
"▁Александр",
"ец",
"▁часть",
"ща",
"▁номер",
"▁Че",
"ского",
"▁F",
"ность",
"тив",
"ступ",
"вед",
"▁какие",
"ъ",
"енно",
"▁Ми",
"ской",
"вая",
"▁Сколько",
"▁10",
"▁пе",
"▁кто",
"▁Мне",
"▁год",
"ёр",
"▁такое",
"▁N",
"▁какой",
"▁ваш",
"ью",
"итель",
"▁банк",
"▁пу",
"I",
"▁вопрос",
"▁день",
"кры",
"ственно",
"ился",
"▁пят",
"йте",
"пре",
"f",
"ался",
"▁Де",
"▁три",
"▁этот",
"▁Нет",
"▁пи",
"▁два",
"▁этого",
"▁здесь",
"▁Ба",
"▁Фильм",
"ент",
"цен",
"▁тоже",
"▁20",
"▁дом",
"ман",
"нный",
"▁расс",
"▁Х",
"▁посмотреть",
"▁буду",
"ишь",
"инг",
"▁само",
"ности",
"▁тебе",
"▁Всё",
"▁сегодня",
"▁Ж",
"▁вообще",
"▁дев",
"▁Подключи",
"▁G",
"▁От",
"А",
"стве",
"иться",
"w",
"чь",
"▁Мар",
"▁T",
"ится",
"▁Ли",
"вяз",
"▁Сер",
"ских",
"ства",
"цио",
"▁Ре",
"▁Если",
"ское",
"▁оста",
"O",
"▁против",
"▁время",
"ются",
"бер",
"▁Можешь",
"E",
"Р",
"▁такой",
"▁сколько",
"▁Пере",
"нова",
"▁хочу",
"▁Давай",
"▁себя",
"цы",
"L",
"▁между",
"▁говорит",
"en",
"ген",
"le",
"▁Га",
"▁знаю",
"▁Владимир",
"st",
"чита",
"ация",
"▁которые",
"▁работа",
"нять",
"тельно",
"работ",
"▁час",
"▁Манчестер",
"▁боль",
"евич",
"▁даже",
"▁Хо",
"▁потому",
"вид",
"▁телеканал",
"▁эпизод",
"▁Отключи",
"▁мир",
"50",
"▁авто",
"▁Найти",
"шёл",
"▁Сбербанк",
"▁задачу",
"ic",
"▁свои",
"▁₽",
"▁счёт",
"▁рук",
"З",
"▁через",
"▁Открыть",
"▁одно",
"станов",
"▁деньги",
"▁Есть",
"▁отеле",
"альный",
"▁Андр",
"▁включить",
"▁тогда",
"▁ему",
"or",
"▁ничего",
"▁больше",
"▁Закажи",
"▁чем",
"▁Ла",
"ывает",
"▁который",
"H",
"▁передачу",
"▁хотел",
"▁жив",
"▁того",
"W",
"al",
"▁стран",
"жение",
"▁тут",
"луша",
"▁телевизор",
"▁HD",
"Л",
"пуск",
"▁Ха",
"V",
"▁Ру",
"▁YouTube",
"▁хорошо",
"ству",
"▁поставь",
"атель",
"il",
"▁какая",
"▁Кино",
"▁знаешь",
"ается",
"ll",
"ские",
"▁реш",
"ирован",
"▁потом",
"ению",
"ении",
"▁Все",
"образ",
"вести",
"▁матч",
"▁мал",
"▁стоит",
"▁гор",
"ходит",
"x",
"▁город",
"▁минут",
"▁много",
"ительно",
"▁конечно",
"▁можешь",
"▁интерес",
"▁Где",
"фон",
"▁пар",
"алась",
"Ц",
"▁две",
"▁себе",
"▁Включай",
"▁блядь",
"▁TV",
"▁Запусти",
"▁Алиса",
"▁ссылке",
"▁услуг",
"▁шторы",
"очка",
"30",
"▁Запись",
"▁Бел",
"▁кредит",
"▁общ",
"нибудь",
"▁почему",
"▁стар",
"▁Николаев",
"щение",
"z",
"▁действ",
"▁показать",
"У",
"▁добр",
"▁давай",
"▁Сейчас",
"▁понял",
"▁Когда",
"▁после",
"▁гол",
"брать",
"▁Виктор",
"езд",
"▁документ",
"▁Сити",
"▁экран",
"▁крас",
"▁подготовить",
"▁Закрыть",
"▁сделать",
"овым",
"▁сказать",
"▁валют",
"▁руб",
"▁Какие",
"▁стал",
"▁жизни",
"▁бес",
"▁смотрёшках",
"▁сторон",
"▁оператор",
"▁Ча",
"ировать",
"▁цел",
"▁штору",
"▁Сезон",
"▁начал",
"▁хорош",
"▁Сергее",
"▁прямо",
"говори",
"▁заяв",
"▁000",
"▁жанре",
"Г",
"40",
"▁Спасибо",
"▁чего",
"▁значит",
"десят",
"▁теперь",
"очки",
"сервис",
"▁проблем",
"▁знает",
"▁первый",
"олод",
"▁подключи",
"▁онлайн",
"▁люди",
"▁Выключи",
"▁отключи",
"▁готов",
"▁голос",
"▁найдётся",
"▁доллар",
"S",
"▁Хорошо",
"▁видео",
"▁статус",
"помощник",
"▁всегда",
"'",
"▁работы",
"▁баланс",
"▁более",
"ивает",
"▁семь",
"▁спасибо",
"очку",
"▁душ",
"▁Гарри",
"▁смотреть",
"▁Почему",
"ставить",
"нимает",
"▁стол",
"J",
"▁Юнайтед",
"▁Первый",
"U",
"▁футбол",
"▁купить",
"▁возможно",
"▁находится",
"▁машин",
"▁Поэтому",
"▁момент",
"▁жизнь",
"▁должны",
"▁лучше",
"▁узнать",
"▁людей",
"A",
"▁Алло",
"▁Здравствуйте",
"M",
"Э",
"гром",
"▁Алекс",
"▁новый",
"▁никак",
"▁страхование",
"▁посылку",
"▁именно",
"▁говорил",
"▁Валер",
"▁говорю",
"▁получается",
"▁Петр",
"Ф",
"▁Сериал",
"▁говоря",
"▁встреч",
"▁запись",
"▁которая",
"▁Диагноз",
"▁орган",
"▁АПЛ",
"▁глаза",
"▁команд",
"друг",
"C",
"▁идёт",
"▁необходим",
"▁Поищи",
"▁Закрой",
"▁понимаю",
"▁завтра",
"▁договор",
"▁Отзыв",
"▁вечер",
"▁программ",
"▁Может",
"надцать",
"▁женщин",
"T",
"Арсенал",
"▁наверное",
"▁Li",
"▁сразу",
"▁несколько",
"▁каталоге",
"▁свидания",
"▁глав",
"▁Васильев",
"▁Михайлов",
"▁четыре",
"▁Можно",
"▁четвёр",
"▁опять",
"▁открыт",
"▁Джо",
"▁должен",
"▁Сергей",
"Х",
"ложен",
"здоров",
"▁страхов",
"▁музыку",
"▁поэтому",
"▁новых",
"▁Челси",
"▁денег",
"▁добавить",
"▁заказать",
"▁сделал",
"▁будем",
"▁месяц",
"▁La",
"▁эфир",
"мобиль",
"▁случае",
"▁Beauty",
"▁государств",
"▁правильно",
"▁принцип",
"▁является",
"▁Смотреть",
"опыт",
"▁последний",
"▁соглас",
"▁Премьер",
"▁кабинет",
"D",
"▁стоимость",
"▁существ",
"▁Лайкни",
"▁никогда",
"▁торгов",
"▁Услугу",
"▁объект",
"▁Значит",
"▁Joy",
"слышал",
"▁опцию",
"Я",
"B",
"P",
"Ж",
"Е",
"&",
"Y",
"Z",
"X",
"+",
"Ш",
"/",
"Щ",
"F",
"N",
";",
"G",
"—",
"j",
"Й",
"q",
"Q",
"°",
"Ё",
"Ю",
"Ы",
"₽",
"€",
"$",
"«"
]
}