ivere27's picture
Initial release
ac68cef
Raw
History Blame Contribute Delete
42.6 kB
{
"type": "byte_fallback_bpe",
"version": 1,
"vocab_size": 1536,
"itos": [
"<pad>",
"<bos>",
"<eos>",
"<unk>",
"<field>",
"</field>",
"<value>",
"</value>",
"<op>",
"</op>",
"<answer>",
"</answer>",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9",
"<0x00>",
"<0x01>",
"<0x02>",
"<0x03>",
"<0x04>",
"<0x05>",
"<0x06>",
"<0x07>",
"<0x08>",
"<0x09>",
"<0x0A>",
"<0x0B>",
"<0x0C>",
"<0x0D>",
"<0x0E>",
"<0x0F>",
"<0x10>",
"<0x11>",
"<0x12>",
"<0x13>",
"<0x14>",
"<0x15>",
"<0x16>",
"<0x17>",
"<0x18>",
"<0x19>",
"<0x1A>",
"<0x1B>",
"<0x1C>",
"<0x1D>",
"<0x1E>",
"<0x1F>",
"<0x20>",
"<0x21>",
"<0x22>",
"<0x23>",
"<0x24>",
"<0x25>",
"<0x26>",
"<0x27>",
"<0x28>",
"<0x29>",
"<0x2A>",
"<0x2B>",
"<0x2C>",
"<0x2D>",
"<0x2E>",
"<0x2F>",
"<0x30>",
"<0x31>",
"<0x32>",
"<0x33>",
"<0x34>",
"<0x35>",
"<0x36>",
"<0x37>",
"<0x38>",
"<0x39>",
"<0x3A>",
"<0x3B>",
"<0x3C>",
"<0x3D>",
"<0x3E>",
"<0x3F>",
"<0x40>",
"<0x41>",
"<0x42>",
"<0x43>",
"<0x44>",
"<0x45>",
"<0x46>",
"<0x47>",
"<0x48>",
"<0x49>",
"<0x4A>",
"<0x4B>",
"<0x4C>",
"<0x4D>",
"<0x4E>",
"<0x4F>",
"<0x50>",
"<0x51>",
"<0x52>",
"<0x53>",
"<0x54>",
"<0x55>",
"<0x56>",
"<0x57>",
"<0x58>",
"<0x59>",
"<0x5A>",
"<0x5B>",
"<0x5C>",
"<0x5D>",
"<0x5E>",
"<0x5F>",
"<0x60>",
"<0x61>",
"<0x62>",
"<0x63>",
"<0x64>",
"<0x65>",
"<0x66>",
"<0x67>",
"<0x68>",
"<0x69>",
"<0x6A>",
"<0x6B>",
"<0x6C>",
"<0x6D>",
"<0x6E>",
"<0x6F>",
"<0x70>",
"<0x71>",
"<0x72>",
"<0x73>",
"<0x74>",
"<0x75>",
"<0x76>",
"<0x77>",
"<0x78>",
"<0x79>",
"<0x7A>",
"<0x7B>",
"<0x7C>",
"<0x7D>",
"<0x7E>",
"<0x7F>",
"<0x80>",
"<0x81>",
"<0x82>",
"<0x83>",
"<0x84>",
"<0x85>",
"<0x86>",
"<0x87>",
"<0x88>",
"<0x89>",
"<0x8A>",
"<0x8B>",
"<0x8C>",
"<0x8D>",
"<0x8E>",
"<0x8F>",
"<0x90>",
"<0x91>",
"<0x92>",
"<0x93>",
"<0x94>",
"<0x95>",
"<0x96>",
"<0x97>",
"<0x98>",
"<0x99>",
"<0x9A>",
"<0x9B>",
"<0x9C>",
"<0x9D>",
"<0x9E>",
"<0x9F>",
"<0xA0>",
"<0xA1>",
"<0xA2>",
"<0xA3>",
"<0xA4>",
"<0xA5>",
"<0xA6>",
"<0xA7>",
"<0xA8>",
"<0xA9>",
"<0xAA>",
"<0xAB>",
"<0xAC>",
"<0xAD>",
"<0xAE>",
"<0xAF>",
"<0xB0>",
"<0xB1>",
"<0xB2>",
"<0xB3>",
"<0xB4>",
"<0xB5>",
"<0xB6>",
"<0xB7>",
"<0xB8>",
"<0xB9>",
"<0xBA>",
"<0xBB>",
"<0xBC>",
"<0xBD>",
"<0xBE>",
"<0xBF>",
"<0xC0>",
"<0xC1>",
"<0xC2>",
"<0xC3>",
"<0xC4>",
"<0xC5>",
"<0xC6>",
"<0xC7>",
"<0xC8>",
"<0xC9>",
"<0xCA>",
"<0xCB>",
"<0xCC>",
"<0xCD>",
"<0xCE>",
"<0xCF>",
"<0xD0>",
"<0xD1>",
"<0xD2>",
"<0xD3>",
"<0xD4>",
"<0xD5>",
"<0xD6>",
"<0xD7>",
"<0xD8>",
"<0xD9>",
"<0xDA>",
"<0xDB>",
"<0xDC>",
"<0xDD>",
"<0xDE>",
"<0xDF>",
"<0xE0>",
"<0xE1>",
"<0xE2>",
"<0xE3>",
"<0xE4>",
"<0xE5>",
"<0xE6>",
"<0xE7>",
"<0xE8>",
"<0xE9>",
"<0xEA>",
"<0xEB>",
"<0xEC>",
"<0xED>",
"<0xEE>",
"<0xEF>",
"<0xF0>",
"<0xF1>",
"<0xF2>",
"<0xF3>",
"<0xF4>",
"<0xF5>",
"<0xF6>",
"<0xF7>",
"<0xF8>",
"<0xF9>",
"<0xFA>",
"<0xFB>",
"<0xFC>",
"<0xFD>",
"<0xFE>",
"<0xFF>",
"!",
"%",
"&",
"'",
"(",
")",
"*",
"+",
",",
"-",
".",
"/",
":",
";",
"?",
"A",
"B",
"C",
"D",
"E",
"F",
"G",
"H",
"I",
"J",
"K",
"L",
"M",
"N",
"O",
"P",
"Q",
"R",
"S",
"T",
"U",
"V",
"W",
"X",
"Y",
"Z",
"[",
"]",
"_",
"a",
"b",
"c",
"d",
"e",
"f",
"g",
"h",
"i",
"j",
"k",
"l",
"m",
"n",
"o",
"p",
"q",
"r",
"s",
"t",
"u",
"v",
"w",
"x",
"y",
"z",
"·",
"ℓ",
"□",
"●",
"ㄱ",
"ㄴ",
"ㄹ",
"ㅁ",
"ㅂ",
"ㅅ",
"ㅇ",
"ㅊ",
"ㅎ",
"ㅕ",
"ㅜ",
"ㅠ",
"가",
"각",
"간",
"갈",
"감",
"갑",
"값",
"갓",
"강",
"개",
"갠",
"걀",
"거",
"건",
"검",
"겉",
"게",
"겐",
"겨",
"격",
"견",
"결",
"경",
"계",
"고",
"곡",
"곤",
"골",
"곰",
"곱",
"곳",
"공",
"과",
"관",
"광",
"괘",
"괴",
"교",
"구",
"국",
"군",
"굴",
"궁",
"권",
"귀",
"균",
"귤",
"그",
"근",
"글",
"금",
"급",
"기",
"길",
"김",
"깃",
"까",
"깍",
"깔",
"깨",
"껌",
"꼬",
"꽃",
"꾸",
"꿀",
"꿈",
"끝",
"끼",
"나",
"낙",
"난",
"날",
"남",
"낭",
"낮",
"낱",
"내",
"낵",
"냉",
"냐",
"냠",
"너",
"넌",
"넓",
"넘",
"넙",
"넛",
"네",
"녀",
"년",
"념",
"녕",
"노",
"녹",
"논",
"놀",
"놋",
"농",
"높",
"누",
"늄",
"느",
"는",
"늘",
"능",
"니",
"닉",
"님",
"다",
"단",
"달",
"닭",
"담",
"닷",
"당",
"대",
"더",
"덕",
"덮",
"도",
"독",
"돈",
"돋",
"돌",
"돔",
"동",
"돼",
"된",
"두",
"둔",
"둘",
"둥",
"뒤",
"뒷",
"드",
"득",
"든",
"들",
"듬",
"등",
"디",
"딤",
"따",
"딸",
"땀",
"땅",
"때",
"떡",
"뚜",
"뚝",
"뛰",
"뜨",
"뜰",
"띠",
"라",
"락",
"란",
"랄",
"랑",
"래",
"랜",
"랩",
"랫",
"랭",
"랴",
"량",
"러",
"럭",
"런",
"럴",
"럼",
"럽",
"레",
"렌",
"렐",
"렛",
"려",
"력",
"련",
"렴",
"령",
"례",
"로",
"록",
"론",
"롬",
"롯",
"료",
"룡",
"루",
"룽",
"류",
"륨",
"르",
"륵",
"른",
"를",
"름",
"릉",
"리",
"린",
"릴",
"림",
"립",
"릿",
"마",
"막",
"만",
"많",
"말",
"맛",
"망",
"매",
"맨",
"머",
"먹",
"멀",
"메",
"멜",
"멤",
"며",
"면",
"멸",
"명",
"몇",
"모",
"목",
"몬",
"몰",
"몸",
"몽",
"뫼",
"무",
"묵",
"문",
"물",
"뭐",
"므",
"미",
"믹",
"민",
"밀",
"및",
"바",
"박",
"밖",
"반",
"발",
"밤",
"밥",
"밧",
"방",
"밭",
"배",
"백",
"뱅",
"버",
"번",
"벌",
"범",
"법",
"벗",
"베",
"벽",
"변",
"별",
"병",
"보",
"복",
"볶",
"본",
"봄",
"봉",
"부",
"북",
"분",
"불",
"붓",
"붙",
"브",
"블",
"비",
"빈",
"빙",
"빛",
"빠",
"빨",
"빵",
"뼈",
"뽕",
"뿍",
"사",
"삭",
"산",
"살",
"삶",
"삼",
"샀",
"상",
"샅",
"새",
"색",
"샐",
"샘",
"생",
"샵",
"샷",
"서",
"석",
"선",
"설",
"섬",
"섭",
"섯",
"성",
"섶",
"세",
"셀",
"션",
"소",
"속",
"손",
"솔",
"솝",
"송",
"쇠",
"숍",
"수",
"숙",
"순",
"술",
"숫",
"숭",
"쉐",
"쉼",
"슈",
"슐",
"슘",
"스",
"슬",
"슴",
"습",
"시",
"식",
"신",
"실",
"심",
"십",
"싱",
"싸",
"싹",
"싼",
"쌀",
"쌈",
"쌍",
"써",
"썹",
"쏘",
"쏩",
"쓰",
"씨",
"아",
"악",
"안",
"않",
"알",
"암",
"앙",
"앞",
"애",
"액",
"야",
"약",
"얏",
"양",
"어",
"억",
"얼",
"엄",
"업",
"없",
"엇",
"엉",
"에",
"엑",
"엘",
"여",
"역",
"연",
"열",
"염",
"엽",
"엿",
"영",
"옆",
"예",
"옛",
"오",
"옥",
"온",
"올",
"옴",
"옷",
"옹",
"와",
"완",
"왕",
"왜",
"외",
"왼",
"요",
"욕",
"용",
"우",
"운",
"울",
"웃",
"웅",
"원",
"월",
"웰",
"위",
"윗",
"유",
"육",
"율",
"으",
"은",
"을",
"음",
"읍",
"응",
"의",
"이",
"익",
"인",
"일",
"읽",
"임",
"입",
"있",
"자",
"작",
"잔",
"잠",
"잡",
"잣",
"장",
"재",
"잼",
"쟁",
"저",
"적",
"전",
"절",
"점",
"접",
"젓",
"정",
"제",
"젠",
"젤",
"져",
"조",
"족",
"존",
"종",
"좋",
"주",
"죽",
"준",
"줄",
"중",
"줘",
"쥐",
"즈",
"즉",
"즐",
"즘",
"즙",
"증",
"지",
"직",
"진",
"질",
"짐",
"집",
"징",
"짜",
"짬",
"짱",
"째",
"쪼",
"쪽",
"쫀",
"쫄",
"찌",
"찜",
"차",
"착",
"찬",
"참",
"찹",
"창",
"채",
"챗",
"처",
"척",
"천",
"철",
"첨",
"첩",
"첫",
"청",
"체",
"첼",
"초",
"촉",
"촌",
"총",
"최",
"추",
"축",
"춘",
"출",
"춧",
"충",
"취",
"츄",
"츠",
"치",
"친",
"칠",
"칡",
"침",
"칩",
"카",
"칸",
"칼",
"캐",
"캔",
"캠",
"캡",
"커",
"컨",
"컬",
"컵",
"컷",
"케",
"켓",
"코",
"콜",
"콤",
"콩",
"쿠",
"퀵",
"큐",
"크",
"큰",
"클",
"큼",
"키",
"킨",
"킹",
"타",
"탄",
"탐",
"탑",
"탕",
"태",
"택",
"터",
"텃",
"테",
"텐",
"토",
"통",
"퇴",
"투",
"튀",
"트",
"특",
"튼",
"틀",
"틈",
"티",
"틱",
"틴",
"팅",
"파",
"판",
"팔",
"팥",
"팩",
"퍼",
"페",
"펴",
"편",
"평",
"포",
"폰",
"폴",
"푸",
"푼",
"풀",
"품",
"풍",
"프",
"플",
"피",
"픽",
"핑",
"하",
"학",
"한",
"할",
"함",
"합",
"항",
"해",
"햄",
"햇",
"행",
"향",
"허",
"헛",
"헤",
"헬",
"혀",
"현",
"혈",
"협",
"형",
"혜",
"호",
"혼",
"홀",
"홈",
"홍",
"화",
"환",
"활",
"황",
"회",
"횡",
"효",
"후",
"훈",
"휴",
"흑",
"흘",
"흥",
"흰",
"히",
"힌",
"it",
"on",
"em",
"item",
"ha",
"st",
"re",
"he",
"the",
"cha",
"char",
"ore",
"one",
"store",
"hone",
"am",
"ac",
"ad",
"nt",
"phone",
"ame",
"name",
"fr",
"char_",
"pr",
"add",
"is",
"hat",
"er",
"ic",
"번째",
"al",
"to",
"ice",
"What",
"ont",
"front",
"items",
"ntit",
"price",
"ntity",
"fi",
"ack",
"back",
"front_",
"addr",
"in",
"tal",
"total",
"back_",
"um",
"qu",
"of",
"un",
"antity",
"ig",
"_name",
"quantity",
"item_",
"char_front_",
"x_",
"unit",
"ter",
"까?",
"니까?",
"입니까?",
"charac",
"character",
"글자",
"에서",
"om",
"char_back_",
"dig",
"digit",
"rst",
"_price",
"an",
"oo",
"en",
"first",
"up",
"ou",
"St",
"번호",
"무엇",
"se",
"_quantity",
"res",
"unit_price",
"ook",
"look",
"lookup",
"ma",
"ress",
"or",
"무엇입니까?",
"name?",
"address",
"_total",
"fix_",
"상호",
"ber",
"전화",
"umber",
"주소",
"number",
"ong",
"ount",
"품목",
"St.",
"_unit_price",
"전화번호",
"et",
"min",
"sum",
"from",
"uc",
"숫자",
"max_",
"ow",
"od",
"address?",
"상품",
"prod",
"uct",
"product",
"id",
"su",
"가격",
"ond",
"pre",
"suf",
"count",
"first_",
"Fr",
"ar",
"cond",
"ide",
"identity",
"ab",
"th",
"wor",
"word",
"second",
"글자?",
"ken",
"token",
"la",
"number?",
"ang",
"what",
"From",
"prefix_",
"suffix_",
"자리",
"ine",
"는?",
"글자는",
"digits",
"기준",
"price?",
"ro",
"last",
"없음",
"글자.",
"얼마",
"est",
"none",
"sent",
"absent",
"end",
"ed",
"line",
"가장",
"ht",
"가게",
"요.",
"세요.",
"ead",
"Read",
"'s",
"쓰세요.",
"lookup_total",
"얼마입니까?",
"주시",
"lookup_quantity",
"총합",
"kg",
"_char_front_",
"_name_char_front_",
"전화번호의",
"es",
"본점",
"품목명",
"It",
"매장",
"Item",
"eong",
"은?",
"reet",
"직영",
"이름",
"마지",
"마지막",
"Phone",
"뒤에서",
"직영점",
"ight",
"개수",
"road",
"digit_",
"for",
"탐라",
"앞에서",
"체인",
"ty",
"탐라점",
"HA",
"street",
"HAC",
"HACC",
"qty",
"HACCP",
"본부",
"im",
"숫자?",
"Store",
"ket",
"total?",
"끝에서",
"ich",
"Wh",
"ir",
"체인본부",
"right",
"amount",
"How",
"상호의",
"are",
"quantity?",
"Which",
"천시",
"ve",
"주소의",
"max_quantity",
"max_total",
"min_quantity",
"금액",
"min_unit_price",
"lookup_price",
"max_unit_price",
"min_total",
"수량",
"art",
"ive",
"단어",
"식품",
"폰번호",
"item?",
"right,",
"no",
"all",
"ol",
"front,",
"san",
"품목의",
"our",
"thir",
"third",
"숫자는",
"mar",
"digits.",
"ju",
"_token",
"second_token",
"_no",
"street_no",
"che",
"first_token",
"road_name",
"유기",
"qty?",
"산시",
"상호에서",
"Se",
"ermar",
"first_word",
"주소에서",
"_word",
"last_word",
"char_count",
"fix",
"화점",
"wit",
"ap",
"제품",
"il",
"단가",
"ung",
"with",
"Give",
"성군",
"제일",
"row",
"_first_",
"문자",
"문자는?",
"ood",
"ermarket",
"kg)",
"마켓",
"클럽",
"hest",
"g)",
"회원",
"회원제",
"슈퍼",
"ighest",
"owest",
"digit_sum",
"종합",
"tim",
"digit_count",
"times",
"me",
"상설",
"eng",
"개입니까?",
"has",
"ae",
"ul",
"any",
"ho",
"판매",
"four",
"fourth",
"cheon",
"품목명은",
"소매",
"many",
"할인",
"요?",
"가요?",
"인가요?",
"합계",
"목록",
"Hy",
"sum_unit_price",
"Ad",
"li",
"ok",
"sum_quantity",
"Add",
"무엇인가요?",
"도매",
"ut",
"as",
"상호.",
"amount?",
"leng",
"length",
"yeong",
"이름은?",
"ing",
"유기농",
"ff",
"do",
"비싼",
"IP",
"VIP",
"도로",
"le",
"도로명",
"Hyp",
"야?",
"광역",
"광역시",
"나는",
"단어?",
"iff",
"Fi",
"유통",
"멤버",
"멤버십",
"숫자를",
"세트",
"min_quantity_name",
"max_total_name",
"자리?",
"ost",
"max_quantity_name",
"max_unit_price_name",
"lookup_total_name",
"숫자는?",
"min_unit_price_name",
"산물",
"nted",
"min_total_name",
"digits?",
"수량?",
"무농",
"품목?",
"Sup",
"개?",
"양군",
"lookup_quantity_name",
"lookup_unit_price",
"First",
"lookup_unit_price_name",
"무농약",
"백화점",
"diff",
"천군",
"착한",
"at",
":HACCP",
"휴게",
"주소.",
"we",
"휴게소",
"줄의",
"협동",
"ly",
"가격은",
"token?",
"자리는",
"가격?",
"상호에서.",
"씨네",
"inted",
"printed",
"협동조",
"ip",
"dong",
"개수는",
"개를",
"suffix",
"art?",
"앞자리",
"동길",
"건강",
"prefix",
"umn",
"ce",
"seong",
"쪽에서",
"금액은",
"협동조합",
"상회",
"번째?",
"뒷자리",
"Hypermarket",
"Yeong",
"sted",
"listed",
"리테",
"Mar",
"(중",
"us",
"있는",
"모난",
"리테일",
"oc",
"col",
"column",
"yang",
"(중량",
"아울",
"abs",
"ery",
"값?",
"sum_first_",
"sum?",
"count?",
"골길",
"_diff",
"abs_diff",
"abs_diff_first_",
"app",
"아울렛",
"store's",
"s?",
"ge",
"hop",
"phone,",
"Market",
"더하",
"더하면",
"잡화점",
"안군",
"quantity.",
"ch",
"스토",
"양시",
"Mart",
"개월",
"줘.",
"커머",
"하루",
"단어는",
"highest",
"수증",
"영수증",
"lowest",
"주스",
"el",
"Ma",
"편의",
"커머스",
"Supermarket",
"let",
"편의점",
"슈퍼마켓",
"잡화",
"주소에서.",
"Lowest",
"GA"
],
"merges": [
[
"i",
"t"
],
[
"o",
"n"
],
[
"e",
"m"
],
[
"it",
"em"
],
[
"h",
"a"
],
[
"s",
"t"
],
[
"r",
"e"
],
[
"h",
"e"
],
[
"t",
"he"
],
[
"c",
"ha"
],
[
"cha",
"r"
],
[
"o",
"re"
],
[
"on",
"e"
],
[
"st",
"ore"
],
[
"h",
"one"
],
[
"a",
"m"
],
[
"a",
"c"
],
[
"a",
"d"
],
[
"n",
"t"
],
[
"p",
"hone"
],
[
"am",
"e"
],
[
"n",
"ame"
],
[
"f",
"r"
],
[
"char",
"_"
],
[
"p",
"r"
],
[
"ad",
"d"
],
[
"i",
"s"
],
[
"ha",
"t"
],
[
"e",
"r"
],
[
"i",
"c"
],
[
"번",
"째"
],
[
"a",
"l"
],
[
"t",
"o"
],
[
"ic",
"e"
],
[
"W",
"hat"
],
[
"on",
"t"
],
[
"fr",
"ont"
],
[
"item",
"s"
],
[
"nt",
"it"
],
[
"pr",
"ice"
],
[
"ntit",
"y"
],
[
"f",
"i"
],
[
"ac",
"k"
],
[
"b",
"ack"
],
[
"front",
"_"
],
[
"add",
"r"
],
[
"i",
"n"
],
[
"t",
"al"
],
[
"to",
"tal"
],
[
"back",
"_"
],
[
"u",
"m"
],
[
"q",
"u"
],
[
"o",
"f"
],
[
"u",
"n"
],
[
"a",
"ntity"
],
[
"i",
"g"
],
[
"_",
"name"
],
[
"qu",
"antity"
],
[
"item",
"_"
],
[
"char_",
"front_"
],
[
"x",
"_"
],
[
"un",
"it"
],
[
"t",
"er"
],
[
"까",
"?"
],
[
"니",
"까?"
],
[
"입",
"니까?"
],
[
"char",
"ac"
],
[
"charac",
"ter"
],
[
"글",
"자"
],
[
"에",
"서"
],
[
"o",
"m"
],
[
"char_",
"back_"
],
[
"d",
"ig"
],
[
"dig",
"it"
],
[
"r",
"st"
],
[
"_",
"price"
],
[
"a",
"n"
],
[
"o",
"o"
],
[
"e",
"n"
],
[
"fi",
"rst"
],
[
"u",
"p"
],
[
"o",
"u"
],
[
"S",
"t"
],
[
"번",
"호"
],
[
"무",
"엇"
],
[
"s",
"e"
],
[
"_",
"quantity"
],
[
"re",
"s"
],
[
"unit",
"_price"
],
[
"oo",
"k"
],
[
"l",
"ook"
],
[
"look",
"up"
],
[
"m",
"a"
],
[
"res",
"s"
],
[
"o",
"r"
],
[
"무엇",
"입니까?"
],
[
"name",
"?"
],
[
"add",
"ress"
],
[
"_",
"total"
],
[
"fi",
"x_"
],
[
"상",
"호"
],
[
"b",
"er"
],
[
"전",
"화"
],
[
"um",
"ber"
],
[
"주",
"소"
],
[
"n",
"umber"
],
[
"on",
"g"
],
[
"ou",
"nt"
],
[
"품",
"목"
],
[
"St",
"."
],
[
"_",
"unit_price"
],
[
"전화",
"번호"
],
[
"e",
"t"
],
[
"m",
"in"
],
[
"s",
"um"
],
[
"fr",
"om"
],
[
"u",
"c"
],
[
"숫",
"자"
],
[
"ma",
"x_"
],
[
"o",
"w"
],
[
"o",
"d"
],
[
"address",
"?"
],
[
"상",
"품"
],
[
"pr",
"od"
],
[
"uc",
"t"
],
[
"prod",
"uct"
],
[
"i",
"d"
],
[
"s",
"u"
],
[
"가",
"격"
],
[
"on",
"d"
],
[
"p",
"re"
],
[
"su",
"f"
],
[
"c",
"ount"
],
[
"first",
"_"
],
[
"F",
"r"
],
[
"a",
"r"
],
[
"c",
"ond"
],
[
"id",
"e"
],
[
"ide",
"ntity"
],
[
"a",
"b"
],
[
"t",
"h"
],
[
"w",
"or"
],
[
"wor",
"d"
],
[
"se",
"cond"
],
[
"글자",
"?"
],
[
"k",
"en"
],
[
"to",
"ken"
],
[
"l",
"a"
],
[
"number",
"?"
],
[
"an",
"g"
],
[
"w",
"hat"
],
[
"Fr",
"om"
],
[
"pre",
"fix_"
],
[
"suf",
"fix_"
],
[
"자",
"리"
],
[
"in",
"e"
],
[
"는",
"?"
],
[
"글자",
"는"
],
[
"digit",
"s"
],
[
"기",
"준"
],
[
"price",
"?"
],
[
"r",
"o"
],
[
"la",
"st"
],
[
"없",
"음"
],
[
"글자",
"."
],
[
"얼",
"마"
],
[
"e",
"st"
],
[
"n",
"one"
],
[
"se",
"nt"
],
[
"ab",
"sent"
],
[
"en",
"d"
],
[
"e",
"d"
],
[
"l",
"ine"
],
[
"가",
"장"
],
[
"h",
"t"
],
[
"가",
"게"
],
[
"요",
"."
],
[
"세",
"요."
],
[
"e",
"ad"
],
[
"R",
"ead"
],
[
"'",
"s"
],
[
"쓰",
"세요."
],
[
"lookup",
"_total"
],
[
"얼마",
"입니까?"
],
[
"주",
"시"
],
[
"lookup",
"_quantity"
],
[
"총",
"합"
],
[
"k",
"g"
],
[
"_",
"char_front_"
],
[
"_name",
"_char_front_"
],
[
"전화번호",
"의"
],
[
"e",
"s"
],
[
"본",
"점"
],
[
"품목",
"명"
],
[
"I",
"t"
],
[
"매",
"장"
],
[
"It",
"em"
],
[
"e",
"ong"
],
[
"은",
"?"
],
[
"re",
"et"
],
[
"직",
"영"
],
[
"이",
"름"
],
[
"마",
"지"
],
[
"마지",
"막"
],
[
"P",
"hone"
],
[
"뒤",
"에서"
],
[
"직영",
"점"
],
[
"ig",
"ht"
],
[
"개",
"수"
],
[
"ro",
"ad"
],
[
"digit",
"_"
],
[
"f",
"or"
],
[
"탐",
"라"
],
[
"앞",
"에서"
],
[
"체",
"인"
],
[
"t",
"y"
],
[
"탐라",
"점"
],
[
"H",
"A"
],
[
"st",
"reet"
],
[
"HA",
"C"
],
[
"HAC",
"C"
],
[
"q",
"ty"
],
[
"HACC",
"P"
],
[
"본",
"부"
],
[
"i",
"m"
],
[
"숫자",
"?"
],
[
"St",
"ore"
],
[
"k",
"et"
],
[
"total",
"?"
],
[
"끝",
"에서"
],
[
"ic",
"h"
],
[
"W",
"h"
],
[
"i",
"r"
],
[
"체인",
"본부"
],
[
"r",
"ight"
],
[
"am",
"ount"
],
[
"H",
"ow"
],
[
"상호",
"의"
],
[
"a",
"re"
],
[
"quantity",
"?"
],
[
"Wh",
"ich"
],
[
"천",
"시"
],
[
"v",
"e"
],
[
"주소",
"의"
],
[
"max_",
"quantity"
],
[
"max_",
"total"
],
[
"min",
"_quantity"
],
[
"금",
"액"
],
[
"min",
"_unit_price"
],
[
"lookup",
"_price"
],
[
"max_",
"unit_price"
],
[
"min",
"_total"
],
[
"수",
"량"
],
[
"ar",
"t"
],
[
"i",
"ve"
],
[
"단",
"어"
],
[
"식",
"품"
],
[
"폰",
"번호"
],
[
"item",
"?"
],
[
"right",
","
],
[
"n",
"o"
],
[
"al",
"l"
],
[
"o",
"l"
],
[
"front",
","
],
[
"s",
"an"
],
[
"품목",
"의"
],
[
"ou",
"r"
],
[
"th",
"ir"
],
[
"thir",
"d"
],
[
"숫자",
"는"
],
[
"ma",
"r"
],
[
"digits",
"."
],
[
"j",
"u"
],
[
"_",
"token"
],
[
"second",
"_token"
],
[
"_",
"no"
],
[
"street",
"_no"
],
[
"c",
"he"
],
[
"first_",
"token"
],
[
"road",
"_name"
],
[
"유",
"기"
],
[
"qty",
"?"
],
[
"산",
"시"
],
[
"상호",
"에서"
],
[
"S",
"e"
],
[
"er",
"mar"
],
[
"first_",
"word"
],
[
"주소",
"에서"
],
[
"_",
"word"
],
[
"last",
"_word"
],
[
"char_",
"count"
],
[
"fi",
"x"
],
[
"화",
"점"
],
[
"w",
"it"
],
[
"a",
"p"
],
[
"제",
"품"
],
[
"i",
"l"
],
[
"단",
"가"
],
[
"un",
"g"
],
[
"wit",
"h"
],
[
"G",
"ive"
],
[
"성",
"군"
],
[
"제",
"일"
],
[
"r",
"ow"
],
[
"_",
"first_"
],
[
"문",
"자"
],
[
"문자",
"는?"
],
[
"oo",
"d"
],
[
"ermar",
"ket"
],
[
"kg",
")"
],
[
"마",
"켓"
],
[
"클",
"럽"
],
[
"he",
"st"
],
[
"g",
")"
],
[
"회",
"원"
],
[
"회원",
"제"
],
[
"슈",
"퍼"
],
[
"ig",
"hest"
],
[
"ow",
"est"
],
[
"digit_",
"sum"
],
[
"종",
"합"
],
[
"t",
"im"
],
[
"digit_",
"count"
],
[
"tim",
"es"
],
[
"m",
"e"
],
[
"상",
"설"
],
[
"en",
"g"
],
[
"개",
"입니까?"
],
[
"ha",
"s"
],
[
"a",
"e"
],
[
"u",
"l"
],
[
"an",
"y"
],
[
"h",
"o"
],
[
"판",
"매"
],
[
"f",
"our"
],
[
"four",
"th"
],
[
"che",
"on"
],
[
"품목명",
"은"
],
[
"소",
"매"
],
[
"m",
"any"
],
[
"할",
"인"
],
[
"요",
"?"
],
[
"가",
"요?"
],
[
"인",
"가요?"
],
[
"합",
"계"
],
[
"목",
"록"
],
[
"H",
"y"
],
[
"sum",
"_unit_price"
],
[
"A",
"d"
],
[
"l",
"i"
],
[
"o",
"k"
],
[
"sum",
"_quantity"
],
[
"Ad",
"d"
],
[
"무엇",
"인가요?"
],
[
"도",
"매"
],
[
"u",
"t"
],
[
"a",
"s"
],
[
"상호",
"."
],
[
"amount",
"?"
],
[
"l",
"eng"
],
[
"leng",
"th"
],
[
"y",
"eong"
],
[
"이름",
"은?"
],
[
"in",
"g"
],
[
"유기",
"농"
],
[
"f",
"f"
],
[
"d",
"o"
],
[
"비",
"싼"
],
[
"I",
"P"
],
[
"V",
"IP"
],
[
"도",
"로"
],
[
"l",
"e"
],
[
"도로",
"명"
],
[
"Hy",
"p"
],
[
"야",
"?"
],
[
"광",
"역"
],
[
"광역",
"시"
],
[
"나",
"는"
],
[
"단어",
"?"
],
[
"i",
"ff"
],
[
"F",
"i"
],
[
"유",
"통"
],
[
"멤",
"버"
],
[
"멤버",
"십"
],
[
"숫자",
"를"
],
[
"세",
"트"
],
[
"min_quantity",
"_name"
],
[
"max_total",
"_name"
],
[
"자리",
"?"
],
[
"o",
"st"
],
[
"max_quantity",
"_name"
],
[
"max_unit_price",
"_name"
],
[
"lookup_total",
"_name"
],
[
"숫자",
"는?"
],
[
"min_unit_price",
"_name"
],
[
"산",
"물"
],
[
"nt",
"ed"
],
[
"min_total",
"_name"
],
[
"digits",
"?"
],
[
"수량",
"?"
],
[
"무",
"농"
],
[
"품목",
"?"
],
[
"S",
"up"
],
[
"개",
"?"
],
[
"양",
"군"
],
[
"lookup_quantity",
"_name"
],
[
"lookup",
"_unit_price"
],
[
"Fi",
"rst"
],
[
"lookup_unit_price",
"_name"
],
[
"무농",
"약"
],
[
"백",
"화점"
],
[
"d",
"iff"
],
[
"천",
"군"
],
[
"착",
"한"
],
[
"a",
"t"
],
[
":",
"HACCP"
],
[
"휴",
"게"
],
[
"주소",
"."
],
[
"w",
"e"
],
[
"휴게",
"소"
],
[
"줄",
"의"
],
[
"협",
"동"
],
[
"l",
"y"
],
[
"가격",
"은"
],
[
"token",
"?"
],
[
"자리",
"는"
],
[
"가격",
"?"
],
[
"상호에서",
"."
],
[
"씨",
"네"
],
[
"i",
"nted"
],
[
"pr",
"inted"
],
[
"협동",
"조"
],
[
"i",
"p"
],
[
"d",
"ong"
],
[
"개수",
"는"
],
[
"개",
"를"
],
[
"suf",
"fix"
],
[
"art",
"?"
],
[
"앞",
"자리"
],
[
"동",
"길"
],
[
"건",
"강"
],
[
"pre",
"fix"
],
[
"um",
"n"
],
[
"c",
"e"
],
[
"se",
"ong"
],
[
"쪽",
"에서"
],
[
"금액",
"은"
],
[
"협동조",
"합"
],
[
"상",
"회"
],
[
"번째",
"?"
],
[
"뒷",
"자리"
],
[
"Hyp",
"ermarket"
],
[
"Y",
"eong"
],
[
"st",
"ed"
],
[
"li",
"sted"
],
[
"리",
"테"
],
[
"M",
"ar"
],
[
"(",
"중"
],
[
"u",
"s"
],
[
"있",
"는"
],
[
"모",
"난"
],
[
"리테",
"일"
],
[
"o",
"c"
],
[
"c",
"ol"
],
[
"col",
"umn"
],
[
"y",
"ang"
],
[
"(중",
"량"
],
[
"아",
"울"
],
[
"ab",
"s"
],
[
"er",
"y"
],
[
"값",
"?"
],
[
"sum",
"_first_"
],
[
"sum",
"?"
],
[
"count",
"?"
],
[
"골",
"길"
],
[
"_",
"diff"
],
[
"abs",
"_diff"
],
[
"abs_diff",
"_first_"
],
[
"ap",
"p"
],
[
"아울",
"렛"
],
[
"store",
"'s"
],
[
"s",
"?"
],
[
"g",
"e"
],
[
"ho",
"p"
],
[
"phone",
","
],
[
"Mar",
"ket"
],
[
"더",
"하"
],
[
"더하",
"면"
],
[
"잡",
"화점"
],
[
"안",
"군"
],
[
"quantity",
"."
],
[
"c",
"h"
],
[
"스",
"토"
],
[
"양",
"시"
],
[
"M",
"art"
],
[
"개",
"월"
],
[
"줘",
"."
],
[
"커",
"머"
],
[
"하",
"루"
],
[
"단어",
"는"
],
[
"h",
"ighest"
],
[
"수",
"증"
],
[
"영",
"수증"
],
[
"l",
"owest"
],
[
"주",
"스"
],
[
"e",
"l"
],
[
"M",
"a"
],
[
"편",
"의"
],
[
"커머",
"스"
],
[
"Sup",
"ermarket"
],
[
"l",
"et"
],
[
"편의",
"점"
],
[
"슈퍼",
"마켓"
],
[
"잡",
"화"
],
[
"주소에서",
"."
],
[
"L",
"owest"
],
[
"G",
"A"
]
],
"normalization": "NFC",
"atomic_tokens": [
"<field>",
"</field>",
"<value>",
"</value>",
"<op>",
"</op>",
"<answer>",
"</answer>",
"0",
"1",
"2",
"3",
"4",
"5",
"6",
"7",
"8",
"9"
],
"byte_tokens": [
"<0x00>",
"<0x01>",
"<0x02>",
"<0x03>",
"<0x04>",
"<0x05>",
"<0x06>",
"<0x07>",
"<0x08>",
"<0x09>",
"<0x0A>",
"<0x0B>",
"<0x0C>",
"<0x0D>",
"<0x0E>",
"<0x0F>",
"<0x10>",
"<0x11>",
"<0x12>",
"<0x13>",
"<0x14>",
"<0x15>",
"<0x16>",
"<0x17>",
"<0x18>",
"<0x19>",
"<0x1A>",
"<0x1B>",
"<0x1C>",
"<0x1D>",
"<0x1E>",
"<0x1F>",
"<0x20>",
"<0x21>",
"<0x22>",
"<0x23>",
"<0x24>",
"<0x25>",
"<0x26>",
"<0x27>",
"<0x28>",
"<0x29>",
"<0x2A>",
"<0x2B>",
"<0x2C>",
"<0x2D>",
"<0x2E>",
"<0x2F>",
"<0x30>",
"<0x31>",
"<0x32>",
"<0x33>",
"<0x34>",
"<0x35>",
"<0x36>",
"<0x37>",
"<0x38>",
"<0x39>",
"<0x3A>",
"<0x3B>",
"<0x3C>",
"<0x3D>",
"<0x3E>",
"<0x3F>",
"<0x40>",
"<0x41>",
"<0x42>",
"<0x43>",
"<0x44>",
"<0x45>",
"<0x46>",
"<0x47>",
"<0x48>",
"<0x49>",
"<0x4A>",
"<0x4B>",
"<0x4C>",
"<0x4D>",
"<0x4E>",
"<0x4F>",
"<0x50>",
"<0x51>",
"<0x52>",
"<0x53>",
"<0x54>",
"<0x55>",
"<0x56>",
"<0x57>",
"<0x58>",
"<0x59>",
"<0x5A>",
"<0x5B>",
"<0x5C>",
"<0x5D>",
"<0x5E>",
"<0x5F>",
"<0x60>",
"<0x61>",
"<0x62>",
"<0x63>",
"<0x64>",
"<0x65>",
"<0x66>",
"<0x67>",
"<0x68>",
"<0x69>",
"<0x6A>",
"<0x6B>",
"<0x6C>",
"<0x6D>",
"<0x6E>",
"<0x6F>",
"<0x70>",
"<0x71>",
"<0x72>",
"<0x73>",
"<0x74>",
"<0x75>",
"<0x76>",
"<0x77>",
"<0x78>",
"<0x79>",
"<0x7A>",
"<0x7B>",
"<0x7C>",
"<0x7D>",
"<0x7E>",
"<0x7F>",
"<0x80>",
"<0x81>",
"<0x82>",
"<0x83>",
"<0x84>",
"<0x85>",
"<0x86>",
"<0x87>",
"<0x88>",
"<0x89>",
"<0x8A>",
"<0x8B>",
"<0x8C>",
"<0x8D>",
"<0x8E>",
"<0x8F>",
"<0x90>",
"<0x91>",
"<0x92>",
"<0x93>",
"<0x94>",
"<0x95>",
"<0x96>",
"<0x97>",
"<0x98>",
"<0x99>",
"<0x9A>",
"<0x9B>",
"<0x9C>",
"<0x9D>",
"<0x9E>",
"<0x9F>",
"<0xA0>",
"<0xA1>",
"<0xA2>",
"<0xA3>",
"<0xA4>",
"<0xA5>",
"<0xA6>",
"<0xA7>",
"<0xA8>",
"<0xA9>",
"<0xAA>",
"<0xAB>",
"<0xAC>",
"<0xAD>",
"<0xAE>",
"<0xAF>",
"<0xB0>",
"<0xB1>",
"<0xB2>",
"<0xB3>",
"<0xB4>",
"<0xB5>",
"<0xB6>",
"<0xB7>",
"<0xB8>",
"<0xB9>",
"<0xBA>",
"<0xBB>",
"<0xBC>",
"<0xBD>",
"<0xBE>",
"<0xBF>",
"<0xC0>",
"<0xC1>",
"<0xC2>",
"<0xC3>",
"<0xC4>",
"<0xC5>",
"<0xC6>",
"<0xC7>",
"<0xC8>",
"<0xC9>",
"<0xCA>",
"<0xCB>",
"<0xCC>",
"<0xCD>",
"<0xCE>",
"<0xCF>",
"<0xD0>",
"<0xD1>",
"<0xD2>",
"<0xD3>",
"<0xD4>",
"<0xD5>",
"<0xD6>",
"<0xD7>",
"<0xD8>",
"<0xD9>",
"<0xDA>",
"<0xDB>",
"<0xDC>",
"<0xDD>",
"<0xDE>",
"<0xDF>",
"<0xE0>",
"<0xE1>",
"<0xE2>",
"<0xE3>",
"<0xE4>",
"<0xE5>",
"<0xE6>",
"<0xE7>",
"<0xE8>",
"<0xE9>",
"<0xEA>",
"<0xEB>",
"<0xEC>",
"<0xED>",
"<0xEE>",
"<0xEF>",
"<0xF0>",
"<0xF1>",
"<0xF2>",
"<0xF3>",
"<0xF4>",
"<0xF5>",
"<0xF6>",
"<0xF7>",
"<0xF8>",
"<0xF9>",
"<0xFA>",
"<0xFB>",
"<0xFC>",
"<0xFD>",
"<0xFE>",
"<0xFF>"
],
"unused_tokens": [],
"special_tokens": {
"pad": "<pad>",
"bos": "<bos>",
"eos": "<eos>",
"unk": "<unk>"
},
"tokenizer_hash": "5801826ac9092bdc984210af805d2ff20f0398b80adaf5963ef13b04771a8584"
}