{ "type": "byte_fallback_bpe", "version": 1, "vocab_size": 1536, "itos": [ "", "", "", "", "", "", "", "", "", "", "", "", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "<0x00>", "<0x01>", "<0x02>", "<0x03>", "<0x04>", "<0x05>", "<0x06>", "<0x07>", "<0x08>", "<0x09>", "<0x0A>", "<0x0B>", "<0x0C>", "<0x0D>", "<0x0E>", "<0x0F>", "<0x10>", "<0x11>", "<0x12>", "<0x13>", "<0x14>", "<0x15>", "<0x16>", "<0x17>", "<0x18>", "<0x19>", "<0x1A>", "<0x1B>", "<0x1C>", "<0x1D>", "<0x1E>", "<0x1F>", "<0x20>", "<0x21>", "<0x22>", "<0x23>", "<0x24>", "<0x25>", "<0x26>", "<0x27>", "<0x28>", "<0x29>", "<0x2A>", "<0x2B>", "<0x2C>", "<0x2D>", "<0x2E>", "<0x2F>", "<0x30>", "<0x31>", "<0x32>", "<0x33>", "<0x34>", "<0x35>", "<0x36>", "<0x37>", "<0x38>", "<0x39>", "<0x3A>", "<0x3B>", "<0x3C>", "<0x3D>", "<0x3E>", "<0x3F>", "<0x40>", "<0x41>", "<0x42>", "<0x43>", "<0x44>", "<0x45>", "<0x46>", "<0x47>", "<0x48>", "<0x49>", "<0x4A>", "<0x4B>", "<0x4C>", "<0x4D>", "<0x4E>", "<0x4F>", "<0x50>", "<0x51>", "<0x52>", "<0x53>", "<0x54>", "<0x55>", "<0x56>", "<0x57>", "<0x58>", "<0x59>", "<0x5A>", "<0x5B>", "<0x5C>", "<0x5D>", "<0x5E>", "<0x5F>", "<0x60>", "<0x61>", "<0x62>", "<0x63>", "<0x64>", "<0x65>", "<0x66>", "<0x67>", "<0x68>", "<0x69>", "<0x6A>", "<0x6B>", "<0x6C>", "<0x6D>", "<0x6E>", "<0x6F>", "<0x70>", "<0x71>", "<0x72>", "<0x73>", "<0x74>", "<0x75>", "<0x76>", "<0x77>", "<0x78>", "<0x79>", "<0x7A>", "<0x7B>", "<0x7C>", "<0x7D>", "<0x7E>", "<0x7F>", "<0x80>", "<0x81>", "<0x82>", "<0x83>", "<0x84>", "<0x85>", "<0x86>", "<0x87>", "<0x88>", "<0x89>", "<0x8A>", "<0x8B>", "<0x8C>", "<0x8D>", "<0x8E>", "<0x8F>", "<0x90>", "<0x91>", "<0x92>", "<0x93>", "<0x94>", "<0x95>", "<0x96>", "<0x97>", "<0x98>", "<0x99>", "<0x9A>", "<0x9B>", "<0x9C>", "<0x9D>", "<0x9E>", "<0x9F>", "<0xA0>", "<0xA1>", "<0xA2>", "<0xA3>", "<0xA4>", "<0xA5>", "<0xA6>", "<0xA7>", "<0xA8>", "<0xA9>", "<0xAA>", "<0xAB>", "<0xAC>", "<0xAD>", "<0xAE>", "<0xAF>", "<0xB0>", "<0xB1>", "<0xB2>", "<0xB3>", "<0xB4>", "<0xB5>", "<0xB6>", "<0xB7>", "<0xB8>", "<0xB9>", "<0xBA>", "<0xBB>", "<0xBC>", "<0xBD>", "<0xBE>", "<0xBF>", "<0xC0>", "<0xC1>", "<0xC2>", "<0xC3>", "<0xC4>", "<0xC5>", "<0xC6>", "<0xC7>", "<0xC8>", "<0xC9>", "<0xCA>", "<0xCB>", "<0xCC>", "<0xCD>", "<0xCE>", "<0xCF>", "<0xD0>", "<0xD1>", "<0xD2>", "<0xD3>", "<0xD4>", "<0xD5>", "<0xD6>", "<0xD7>", "<0xD8>", "<0xD9>", "<0xDA>", "<0xDB>", "<0xDC>", "<0xDD>", "<0xDE>", "<0xDF>", "<0xE0>", "<0xE1>", "<0xE2>", "<0xE3>", "<0xE4>", "<0xE5>", "<0xE6>", "<0xE7>", "<0xE8>", "<0xE9>", "<0xEA>", "<0xEB>", "<0xEC>", "<0xED>", "<0xEE>", "<0xEF>", "<0xF0>", "<0xF1>", "<0xF2>", "<0xF3>", "<0xF4>", "<0xF5>", "<0xF6>", "<0xF7>", "<0xF8>", "<0xF9>", "<0xFA>", "<0xFB>", "<0xFC>", "<0xFD>", "<0xFE>", "<0xFF>", "!", "%", "&", "'", "(", ")", "*", "+", ",", "-", ".", "/", ":", ";", "?", "A", "B", "C", "D", "E", "F", "G", "H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R", "S", "T", "U", "V", "W", "X", "Y", "Z", "[", "]", "_", "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z", "·", "ℓ", "□", "●", "ㄱ", "ㄴ", "ㄹ", "ㅁ", "ㅂ", "ㅅ", "ㅇ", "ㅊ", "ㅎ", "ㅕ", "ㅜ", "ㅠ", "가", "각", "간", "갈", "감", "갑", "값", "갓", "강", "개", "갠", "걀", "거", "건", "검", "겉", "게", "겐", "겨", "격", "견", "결", "경", "계", "고", "곡", "곤", "골", "곰", "곱", "곳", "공", "과", "관", "광", "괘", "괴", "교", "구", "국", "군", "굴", "궁", "권", "귀", "균", "귤", "그", "근", "글", "금", "급", "기", "길", "김", "깃", "까", "깍", "깔", "깨", "껌", "꼬", "꽃", "꾸", "꿀", "꿈", "끝", "끼", "나", "낙", "난", "날", "남", "낭", "낮", "낱", "내", "낵", "냉", "냐", "냠", "너", "넌", "넓", "넘", "넙", "넛", "네", "녀", "년", "념", "녕", "노", "녹", "논", "놀", "놋", "농", "높", "누", "늄", "느", "는", "늘", "능", "니", "닉", "님", "다", "단", "달", "닭", "담", "닷", "당", "대", "더", "덕", "덮", "도", "독", "돈", "돋", "돌", "돔", "동", "돼", "된", "두", "둔", "둘", "둥", "뒤", "뒷", "드", "득", "든", "들", "듬", "등", "디", "딤", "따", "딸", "땀", "땅", "때", "떡", "뚜", "뚝", "뛰", "뜨", "뜰", "띠", "라", "락", "란", "랄", "랑", "래", "랜", "랩", "랫", "랭", "랴", "량", "러", "럭", "런", "럴", "럼", "럽", "레", "렌", "렐", "렛", "려", "력", "련", "렴", "령", "례", "로", "록", "론", "롬", "롯", "료", "룡", "루", "룽", "류", "륨", "르", "륵", "른", "를", "름", "릉", "리", "린", "릴", "림", "립", "릿", "마", "막", "만", "많", "말", "맛", "망", "매", "맨", "머", "먹", "멀", "메", "멜", "멤", "며", "면", "멸", "명", "몇", "모", "목", "몬", "몰", "몸", "몽", "뫼", "무", "묵", "문", "물", "뭐", "므", "미", "믹", "민", "밀", "및", "바", "박", "밖", "반", "발", "밤", "밥", "밧", "방", "밭", "배", "백", "뱅", "버", "번", "벌", "범", "법", "벗", "베", "벽", "변", "별", "병", "보", "복", "볶", "본", "봄", "봉", "부", "북", "분", "불", "붓", "붙", "브", "블", "비", "빈", "빙", "빛", "빠", "빨", "빵", "뼈", "뽕", "뿍", "사", "삭", "산", "살", "삶", "삼", "샀", "상", "샅", "새", "색", "샐", "샘", "생", "샵", "샷", "서", "석", "선", "설", "섬", "섭", "섯", "성", "섶", "세", "셀", "션", "소", "속", "손", "솔", "솝", "송", "쇠", "숍", "수", "숙", "순", "술", "숫", "숭", "쉐", "쉼", "슈", "슐", "슘", "스", "슬", "슴", "습", "시", "식", "신", "실", "심", "십", "싱", "싸", "싹", "싼", "쌀", "쌈", "쌍", "써", "썹", "쏘", "쏩", "쓰", "씨", "아", "악", "안", "않", "알", "암", "앙", "앞", "애", "액", "야", "약", "얏", "양", "어", "억", "얼", "엄", "업", "없", "엇", "엉", "에", "엑", "엘", "여", "역", "연", "열", "염", "엽", "엿", "영", "옆", "예", "옛", "오", "옥", "온", "올", "옴", "옷", "옹", "와", "완", "왕", "왜", "외", "왼", "요", "욕", "용", "우", "운", "울", "웃", "웅", "원", "월", "웰", "위", "윗", "유", "육", "율", "으", "은", "을", "음", "읍", "응", "의", "이", "익", "인", "일", "읽", "임", "입", "있", "자", "작", "잔", "잠", "잡", "잣", "장", "재", "잼", "쟁", "저", "적", "전", "절", "점", "접", "젓", "정", "제", "젠", "젤", "져", "조", "족", "존", "종", "좋", "주", "죽", "준", "줄", "중", "줘", "쥐", "즈", "즉", "즐", "즘", "즙", "증", "지", "직", "진", "질", "짐", "집", "징", "짜", "짬", "짱", "째", "쪼", "쪽", "쫀", "쫄", "찌", "찜", "차", "착", "찬", "참", "찹", "창", "채", "챗", "처", "척", "천", "철", "첨", "첩", "첫", "청", "체", "첼", "초", "촉", "촌", "총", "최", "추", "축", "춘", "출", "춧", "충", "취", "츄", "츠", "치", "친", "칠", "칡", "침", "칩", "카", "칸", "칼", "캐", "캔", "캠", "캡", "커", "컨", "컬", "컵", "컷", "케", "켓", "코", "콜", "콤", "콩", "쿠", "퀵", "큐", "크", "큰", "클", "큼", "키", "킨", "킹", "타", "탄", "탐", "탑", "탕", "태", "택", "터", "텃", "테", "텐", "토", "통", "퇴", "투", "튀", "트", "특", "튼", "틀", "틈", "티", "틱", "틴", "팅", "파", "판", "팔", "팥", "팩", "퍼", "페", "펴", "편", "평", "포", "폰", "폴", "푸", "푼", "풀", "품", "풍", "프", "플", "피", "픽", "핑", "하", "학", "한", "할", "함", "합", "항", "해", "햄", "햇", "행", "향", "허", "헛", "헤", "헬", "혀", "현", "혈", "협", "형", "혜", "호", "혼", "홀", "홈", "홍", "화", "환", "활", "황", "회", "횡", "효", "후", "훈", "휴", "흑", "흘", "흥", "흰", "히", "힌", "it", "on", "em", "item", "ha", "st", "re", "he", "the", "cha", "char", "ore", "one", "store", "hone", "am", "ac", "ad", "nt", "phone", "ame", "name", "fr", "char_", "pr", "add", "is", "hat", "er", "ic", "번째", "al", "to", "ice", "What", "ont", "front", "items", "ntit", "price", "ntity", "fi", "ack", "back", "front_", "addr", "in", "tal", "total", "back_", "um", "qu", "of", "un", "antity", "ig", "_name", "quantity", "item_", "char_front_", "x_", "unit", "ter", "까?", "니까?", "입니까?", "charac", "character", "글자", "에서", "om", "char_back_", "dig", "digit", "rst", "_price", "an", "oo", "en", "first", "up", "ou", "St", "번호", "무엇", "se", "_quantity", "res", "unit_price", "ook", "look", "lookup", "ma", "ress", "or", "무엇입니까?", "name?", "address", "_total", "fix_", "상호", "ber", "전화", "umber", "주소", "number", "ong", "ount", "품목", "St.", "_unit_price", "전화번호", "et", "min", "sum", "from", "uc", "숫자", "max_", "ow", "od", "address?", "상품", "prod", "uct", "product", "id", "su", "가격", "ond", "pre", "suf", "count", "first_", "Fr", "ar", "cond", "ide", "identity", "ab", "th", "wor", "word", "second", "글자?", "ken", "token", "la", "number?", "ang", "what", "From", "prefix_", "suffix_", "자리", "ine", "는?", "글자는", "digits", "기준", "price?", "ro", "last", "없음", "글자.", "얼마", "est", "none", "sent", "absent", "end", "ed", "line", "가장", "ht", "가게", "요.", "세요.", "ead", "Read", "'s", "쓰세요.", "lookup_total", "얼마입니까?", "주시", "lookup_quantity", "총합", "kg", "_char_front_", "_name_char_front_", "전화번호의", "es", "본점", "품목명", "It", "매장", "Item", "eong", "은?", "reet", "직영", "이름", "마지", "마지막", "Phone", "뒤에서", "직영점", "ight", "개수", "road", "digit_", "for", "탐라", "앞에서", "체인", "ty", "탐라점", "HA", "street", "HAC", "HACC", "qty", "HACCP", "본부", "im", "숫자?", "Store", "ket", "total?", "끝에서", "ich", "Wh", "ir", "체인본부", "right", "amount", "How", "상호의", "are", "quantity?", "Which", "천시", "ve", "주소의", "max_quantity", "max_total", "min_quantity", "금액", "min_unit_price", "lookup_price", "max_unit_price", "min_total", "수량", "art", "ive", "단어", "식품", "폰번호", "item?", "right,", "no", "all", "ol", "front,", "san", "품목의", "our", "thir", "third", "숫자는", "mar", "digits.", "ju", "_token", "second_token", "_no", "street_no", "che", "first_token", "road_name", "유기", "qty?", "산시", "상호에서", "Se", "ermar", "first_word", "주소에서", "_word", "last_word", "char_count", "fix", "화점", "wit", "ap", "제품", "il", "단가", "ung", "with", "Give", "성군", "제일", "row", "_first_", "문자", "문자는?", "ood", "ermarket", "kg)", "마켓", "클럽", "hest", "g)", "회원", "회원제", "슈퍼", "ighest", "owest", "digit_sum", "종합", "tim", "digit_count", "times", "me", "상설", "eng", "개입니까?", "has", "ae", "ul", "any", "ho", "판매", "four", "fourth", "cheon", "품목명은", "소매", "many", "할인", "요?", "가요?", "인가요?", "합계", "목록", "Hy", "sum_unit_price", "Ad", "li", "ok", "sum_quantity", "Add", "무엇인가요?", "도매", "ut", "as", "상호.", "amount?", "leng", "length", "yeong", "이름은?", "ing", "유기농", "ff", "do", "비싼", "IP", "VIP", "도로", "le", "도로명", "Hyp", "야?", "광역", "광역시", "나는", "단어?", "iff", "Fi", "유통", "멤버", "멤버십", "숫자를", "세트", "min_quantity_name", "max_total_name", "자리?", "ost", "max_quantity_name", "max_unit_price_name", "lookup_total_name", "숫자는?", "min_unit_price_name", "산물", "nted", "min_total_name", "digits?", "수량?", "무농", "품목?", "Sup", "개?", "양군", "lookup_quantity_name", "lookup_unit_price", "First", "lookup_unit_price_name", "무농약", "백화점", "diff", "천군", "착한", "at", ":HACCP", "휴게", "주소.", "we", "휴게소", "줄의", "협동", "ly", "가격은", "token?", "자리는", "가격?", "상호에서.", "씨네", "inted", "printed", "협동조", "ip", "dong", "개수는", "개를", "suffix", "art?", "앞자리", "동길", "건강", "prefix", "umn", "ce", "seong", "쪽에서", "금액은", "협동조합", "상회", "번째?", "뒷자리", "Hypermarket", "Yeong", "sted", "listed", "리테", "Mar", "(중", "us", "있는", "모난", "리테일", "oc", "col", "column", "yang", "(중량", "아울", "abs", "ery", "값?", "sum_first_", "sum?", "count?", "골길", "_diff", "abs_diff", "abs_diff_first_", "app", "아울렛", "store's", "s?", "ge", "hop", "phone,", "Market", "더하", "더하면", "잡화점", "안군", "quantity.", "ch", "스토", "양시", "Mart", "개월", "줘.", "커머", "하루", "단어는", "highest", "수증", "영수증", "lowest", "주스", "el", "Ma", "편의", "커머스", "Supermarket", "let", "편의점", "슈퍼마켓", "잡화", "주소에서.", "Lowest", "GA" ], "merges": [ [ "i", "t" ], [ "o", "n" ], [ "e", "m" ], [ "it", "em" ], [ "h", "a" ], [ "s", "t" ], [ "r", "e" ], [ "h", "e" ], [ "t", "he" ], [ "c", "ha" ], [ "cha", "r" ], [ "o", "re" ], [ "on", "e" ], [ "st", "ore" ], [ "h", "one" ], [ "a", "m" ], [ "a", "c" ], [ "a", "d" ], [ "n", "t" ], [ "p", "hone" ], [ "am", "e" ], [ "n", "ame" ], [ "f", "r" ], [ "char", "_" ], [ "p", "r" ], [ "ad", "d" ], [ "i", "s" ], [ "ha", "t" ], [ "e", "r" ], [ "i", "c" ], [ "번", "째" ], [ "a", "l" ], [ "t", "o" ], [ "ic", "e" ], [ "W", "hat" ], [ "on", "t" ], [ "fr", "ont" ], [ "item", "s" ], [ "nt", "it" ], [ "pr", "ice" ], [ "ntit", "y" ], [ "f", "i" ], [ "ac", "k" ], [ "b", "ack" ], [ "front", "_" ], [ "add", "r" ], [ "i", "n" ], [ "t", "al" ], [ "to", "tal" ], [ "back", "_" ], [ "u", "m" ], [ "q", "u" ], [ "o", "f" ], [ "u", "n" ], [ "a", "ntity" ], [ "i", "g" ], [ "_", "name" ], [ "qu", "antity" ], [ "item", "_" ], [ "char_", "front_" ], [ "x", "_" ], [ "un", "it" ], [ "t", "er" ], [ "까", "?" ], [ "니", "까?" ], [ "입", "니까?" ], [ "char", "ac" ], [ "charac", "ter" ], [ "글", "자" ], [ "에", "서" ], [ "o", "m" ], [ "char_", "back_" ], [ "d", "ig" ], [ "dig", "it" ], [ "r", "st" ], [ "_", "price" ], [ "a", "n" ], [ "o", "o" ], [ "e", "n" ], [ "fi", "rst" ], [ "u", "p" ], [ "o", "u" ], [ "S", "t" ], [ "번", "호" ], [ "무", "엇" ], [ "s", "e" ], [ "_", "quantity" ], [ "re", "s" ], [ "unit", "_price" ], [ "oo", "k" ], [ "l", "ook" ], [ "look", "up" ], [ "m", "a" ], [ "res", "s" ], [ "o", "r" ], [ "무엇", "입니까?" ], [ "name", "?" ], [ "add", "ress" ], [ "_", "total" ], [ "fi", "x_" ], [ "상", "호" ], [ "b", "er" ], [ "전", "화" ], [ "um", "ber" ], [ "주", "소" ], [ "n", "umber" ], [ "on", "g" ], [ "ou", "nt" ], [ "품", "목" ], [ "St", "." ], [ "_", "unit_price" ], [ "전화", "번호" ], [ "e", "t" ], [ "m", "in" ], [ "s", "um" ], [ "fr", "om" ], [ "u", "c" ], [ "숫", "자" ], [ "ma", "x_" ], [ "o", "w" ], [ "o", "d" ], [ "address", "?" ], [ "상", "품" ], [ "pr", "od" ], [ "uc", "t" ], [ "prod", "uct" ], [ "i", "d" ], [ "s", "u" ], [ "가", "격" ], [ "on", "d" ], [ "p", "re" ], [ "su", "f" ], [ "c", "ount" ], [ "first", "_" ], [ "F", "r" ], [ "a", "r" ], [ "c", "ond" ], [ "id", "e" ], [ "ide", "ntity" ], [ "a", "b" ], [ "t", "h" ], [ "w", "or" ], [ "wor", "d" ], [ "se", "cond" ], [ "글자", "?" ], [ "k", "en" ], [ "to", "ken" ], [ "l", "a" ], [ "number", "?" ], [ "an", "g" ], [ "w", "hat" ], [ "Fr", "om" ], [ "pre", "fix_" ], [ "suf", "fix_" ], [ "자", "리" ], [ "in", "e" ], [ "는", "?" ], [ "글자", "는" ], [ "digit", "s" ], [ "기", "준" ], [ "price", "?" ], [ "r", "o" ], [ "la", "st" ], [ "없", "음" ], [ "글자", "." ], [ "얼", "마" ], [ "e", "st" ], [ "n", "one" ], [ "se", "nt" ], [ "ab", "sent" ], [ "en", "d" ], [ "e", "d" ], [ "l", "ine" ], [ "가", "장" ], [ "h", "t" ], [ "가", "게" ], [ "요", "." ], [ "세", "요." ], [ "e", "ad" ], [ "R", "ead" ], [ "'", "s" ], [ "쓰", "세요." ], [ "lookup", "_total" ], [ "얼마", "입니까?" ], [ "주", "시" ], [ "lookup", "_quantity" ], [ "총", "합" ], [ "k", "g" ], [ "_", "char_front_" ], [ "_name", "_char_front_" ], [ "전화번호", "의" ], [ "e", "s" ], [ "본", "점" ], [ "품목", "명" ], [ "I", "t" ], [ "매", "장" ], [ "It", "em" ], [ "e", "ong" ], [ "은", "?" ], [ "re", "et" ], [ "직", "영" ], [ "이", "름" ], [ "마", "지" ], [ "마지", "막" ], [ "P", "hone" ], [ "뒤", "에서" ], [ "직영", "점" ], [ "ig", "ht" ], [ "개", "수" ], [ "ro", "ad" ], [ "digit", "_" ], [ "f", "or" ], [ "탐", "라" ], [ "앞", "에서" ], [ "체", "인" ], [ "t", "y" ], [ "탐라", "점" ], [ "H", "A" ], [ "st", "reet" ], [ "HA", "C" ], [ "HAC", "C" ], [ "q", "ty" ], [ "HACC", "P" ], [ "본", "부" ], [ "i", "m" ], [ "숫자", "?" ], [ "St", "ore" ], [ "k", "et" ], [ "total", "?" ], [ "끝", "에서" ], [ "ic", "h" ], [ "W", "h" ], [ "i", "r" ], [ "체인", "본부" ], [ "r", "ight" ], [ "am", "ount" ], [ "H", "ow" ], [ "상호", "의" ], [ "a", "re" ], [ "quantity", "?" ], [ "Wh", "ich" ], [ "천", "시" ], [ "v", "e" ], [ "주소", "의" ], [ "max_", "quantity" ], [ "max_", "total" ], [ "min", "_quantity" ], [ "금", "액" ], [ "min", "_unit_price" ], [ "lookup", "_price" ], [ "max_", "unit_price" ], [ "min", "_total" ], [ "수", "량" ], [ "ar", "t" ], [ "i", "ve" ], [ "단", "어" ], [ "식", "품" ], [ "폰", "번호" ], [ "item", "?" ], [ "right", "," ], [ "n", "o" ], [ "al", "l" ], [ "o", "l" ], [ "front", "," ], [ "s", "an" ], [ "품목", "의" ], [ "ou", "r" ], [ "th", "ir" ], [ "thir", "d" ], [ "숫자", "는" ], [ "ma", "r" ], [ "digits", "." ], [ "j", "u" ], [ "_", "token" ], [ "second", "_token" ], [ "_", "no" ], [ "street", "_no" ], [ "c", "he" ], [ "first_", "token" ], [ "road", "_name" ], [ "유", "기" ], [ "qty", "?" ], [ "산", "시" ], [ "상호", "에서" ], [ "S", "e" ], [ "er", "mar" ], [ "first_", "word" ], [ "주소", "에서" ], [ "_", "word" ], [ "last", "_word" ], [ "char_", "count" ], [ "fi", "x" ], [ "화", "점" ], [ "w", "it" ], [ "a", "p" ], [ "제", "품" ], [ "i", "l" ], [ "단", "가" ], [ "un", "g" ], [ "wit", "h" ], [ "G", "ive" ], [ "성", "군" ], [ "제", "일" ], [ "r", "ow" ], [ "_", "first_" ], [ "문", "자" ], [ "문자", "는?" ], [ "oo", "d" ], [ "ermar", "ket" ], [ "kg", ")" ], [ "마", "켓" ], [ "클", "럽" ], [ "he", "st" ], [ "g", ")" ], [ "회", "원" ], [ "회원", "제" ], [ "슈", "퍼" ], [ "ig", "hest" ], [ "ow", "est" ], [ "digit_", "sum" ], [ "종", "합" ], [ "t", "im" ], [ "digit_", "count" ], [ "tim", "es" ], [ "m", "e" ], [ "상", "설" ], [ "en", "g" ], [ "개", "입니까?" ], [ "ha", "s" ], [ "a", "e" ], [ "u", "l" ], [ "an", "y" ], [ "h", "o" ], [ "판", "매" ], [ "f", "our" ], [ "four", "th" ], [ "che", "on" ], [ "품목명", "은" ], [ "소", "매" ], [ "m", "any" ], [ "할", "인" ], [ "요", "?" ], [ "가", "요?" ], [ "인", "가요?" ], [ "합", "계" ], [ "목", "록" ], [ "H", "y" ], [ "sum", "_unit_price" ], [ "A", "d" ], [ "l", "i" ], [ "o", "k" ], [ "sum", "_quantity" ], [ "Ad", "d" ], [ "무엇", "인가요?" ], [ "도", "매" ], [ "u", "t" ], [ "a", "s" ], [ "상호", "." ], [ "amount", "?" ], [ "l", "eng" ], [ "leng", "th" ], [ "y", "eong" ], [ "이름", "은?" ], [ "in", "g" ], [ "유기", "농" ], [ "f", "f" ], [ "d", "o" ], [ "비", "싼" ], [ "I", "P" ], [ "V", "IP" ], [ "도", "로" ], [ "l", "e" ], [ "도로", "명" ], [ "Hy", "p" ], [ "야", "?" ], [ "광", "역" ], [ "광역", "시" ], [ "나", "는" ], [ "단어", "?" ], [ "i", "ff" ], [ "F", "i" ], [ "유", "통" ], [ "멤", "버" ], [ "멤버", "십" ], [ "숫자", "를" ], [ "세", "트" ], [ "min_quantity", "_name" ], [ "max_total", "_name" ], [ "자리", "?" ], [ "o", "st" ], [ "max_quantity", "_name" ], [ "max_unit_price", "_name" ], [ "lookup_total", "_name" ], [ "숫자", "는?" ], [ "min_unit_price", "_name" ], [ "산", "물" ], [ "nt", "ed" ], [ "min_total", "_name" ], [ "digits", "?" ], [ "수량", "?" ], [ "무", "농" ], [ "품목", "?" ], [ "S", "up" ], [ "개", "?" ], [ "양", "군" ], [ "lookup_quantity", "_name" ], [ "lookup", "_unit_price" ], [ "Fi", "rst" ], [ "lookup_unit_price", "_name" ], [ "무농", "약" ], [ "백", "화점" ], [ "d", "iff" ], [ "천", "군" ], [ "착", "한" ], [ "a", "t" ], [ ":", "HACCP" ], [ "휴", "게" ], [ "주소", "." ], [ "w", "e" ], [ "휴게", "소" ], [ "줄", "의" ], [ "협", "동" ], [ "l", "y" ], [ "가격", "은" ], [ "token", "?" ], [ "자리", "는" ], [ "가격", "?" ], [ "상호에서", "." ], [ "씨", "네" ], [ "i", "nted" ], [ "pr", "inted" ], [ "협동", "조" ], [ "i", "p" ], [ "d", "ong" ], [ "개수", "는" ], [ "개", "를" ], [ "suf", "fix" ], [ "art", "?" ], [ "앞", "자리" ], [ "동", "길" ], [ "건", "강" ], [ "pre", "fix" ], [ "um", "n" ], [ "c", "e" ], [ "se", "ong" ], [ "쪽", "에서" ], [ "금액", "은" ], [ "협동조", "합" ], [ "상", "회" ], [ "번째", "?" ], [ "뒷", "자리" ], [ "Hyp", "ermarket" ], [ "Y", "eong" ], [ "st", "ed" ], [ "li", "sted" ], [ "리", "테" ], [ "M", "ar" ], [ "(", "중" ], [ "u", "s" ], [ "있", "는" ], [ "모", "난" ], [ "리테", "일" ], [ "o", "c" ], [ "c", "ol" ], [ "col", "umn" ], [ "y", "ang" ], [ "(중", "량" ], [ "아", "울" ], [ "ab", "s" ], [ "er", "y" ], [ "값", "?" ], [ "sum", "_first_" ], [ "sum", "?" ], [ "count", "?" ], [ "골", "길" ], [ "_", "diff" ], [ "abs", "_diff" ], [ "abs_diff", "_first_" ], [ "ap", "p" ], [ "아울", "렛" ], [ "store", "'s" ], [ "s", "?" ], [ "g", "e" ], [ "ho", "p" ], [ "phone", "," ], [ "Mar", "ket" ], [ "더", "하" ], [ "더하", "면" ], [ "잡", "화점" ], [ "안", "군" ], [ "quantity", "." ], [ "c", "h" ], [ "스", "토" ], [ "양", "시" ], [ "M", "art" ], [ "개", "월" ], [ "줘", "." ], [ "커", "머" ], [ "하", "루" ], [ "단어", "는" ], [ "h", "ighest" ], [ "수", "증" ], [ "영", "수증" ], [ "l", "owest" ], [ "주", "스" ], [ "e", "l" ], [ "M", "a" ], [ "편", "의" ], [ "커머", "스" ], [ "Sup", "ermarket" ], [ "l", "et" ], [ "편의", "점" ], [ "슈퍼", "마켓" ], [ "잡", "화" ], [ "주소에서", "." ], [ "L", "owest" ], [ "G", "A" ] ], "normalization": "NFC", "atomic_tokens": [ "", "", "", "", "", "", "", "", "0", "1", "2", "3", "4", "5", "6", "7", "8", "9" ], "byte_tokens": [ "<0x00>", "<0x01>", "<0x02>", "<0x03>", "<0x04>", "<0x05>", "<0x06>", "<0x07>", "<0x08>", "<0x09>", "<0x0A>", "<0x0B>", "<0x0C>", "<0x0D>", "<0x0E>", "<0x0F>", "<0x10>", "<0x11>", "<0x12>", "<0x13>", "<0x14>", "<0x15>", "<0x16>", "<0x17>", "<0x18>", "<0x19>", "<0x1A>", "<0x1B>", "<0x1C>", "<0x1D>", "<0x1E>", "<0x1F>", "<0x20>", "<0x21>", "<0x22>", "<0x23>", "<0x24>", "<0x25>", "<0x26>", "<0x27>", "<0x28>", "<0x29>", "<0x2A>", "<0x2B>", "<0x2C>", "<0x2D>", "<0x2E>", "<0x2F>", "<0x30>", "<0x31>", "<0x32>", "<0x33>", "<0x34>", "<0x35>", "<0x36>", "<0x37>", "<0x38>", "<0x39>", "<0x3A>", "<0x3B>", "<0x3C>", "<0x3D>", "<0x3E>", "<0x3F>", "<0x40>", "<0x41>", "<0x42>", "<0x43>", "<0x44>", "<0x45>", "<0x46>", "<0x47>", "<0x48>", "<0x49>", "<0x4A>", "<0x4B>", "<0x4C>", "<0x4D>", "<0x4E>", "<0x4F>", "<0x50>", "<0x51>", "<0x52>", "<0x53>", "<0x54>", "<0x55>", "<0x56>", "<0x57>", "<0x58>", "<0x59>", "<0x5A>", "<0x5B>", "<0x5C>", "<0x5D>", "<0x5E>", "<0x5F>", "<0x60>", "<0x61>", "<0x62>", "<0x63>", "<0x64>", "<0x65>", "<0x66>", "<0x67>", "<0x68>", "<0x69>", "<0x6A>", "<0x6B>", "<0x6C>", "<0x6D>", "<0x6E>", "<0x6F>", "<0x70>", "<0x71>", "<0x72>", "<0x73>", "<0x74>", "<0x75>", "<0x76>", "<0x77>", "<0x78>", "<0x79>", "<0x7A>", "<0x7B>", "<0x7C>", "<0x7D>", "<0x7E>", "<0x7F>", "<0x80>", "<0x81>", "<0x82>", "<0x83>", "<0x84>", "<0x85>", "<0x86>", "<0x87>", "<0x88>", "<0x89>", "<0x8A>", "<0x8B>", "<0x8C>", "<0x8D>", "<0x8E>", "<0x8F>", "<0x90>", "<0x91>", "<0x92>", "<0x93>", "<0x94>", "<0x95>", "<0x96>", "<0x97>", "<0x98>", "<0x99>", "<0x9A>", "<0x9B>", "<0x9C>", "<0x9D>", "<0x9E>", "<0x9F>", "<0xA0>", "<0xA1>", "<0xA2>", "<0xA3>", "<0xA4>", "<0xA5>", "<0xA6>", "<0xA7>", "<0xA8>", "<0xA9>", "<0xAA>", "<0xAB>", "<0xAC>", "<0xAD>", "<0xAE>", "<0xAF>", "<0xB0>", "<0xB1>", "<0xB2>", "<0xB3>", "<0xB4>", "<0xB5>", "<0xB6>", "<0xB7>", "<0xB8>", "<0xB9>", "<0xBA>", "<0xBB>", "<0xBC>", "<0xBD>", "<0xBE>", "<0xBF>", "<0xC0>", "<0xC1>", "<0xC2>", "<0xC3>", "<0xC4>", "<0xC5>", "<0xC6>", "<0xC7>", "<0xC8>", "<0xC9>", "<0xCA>", "<0xCB>", "<0xCC>", "<0xCD>", "<0xCE>", "<0xCF>", "<0xD0>", "<0xD1>", "<0xD2>", "<0xD3>", "<0xD4>", "<0xD5>", "<0xD6>", "<0xD7>", "<0xD8>", "<0xD9>", "<0xDA>", "<0xDB>", "<0xDC>", "<0xDD>", "<0xDE>", "<0xDF>", "<0xE0>", "<0xE1>", "<0xE2>", "<0xE3>", "<0xE4>", "<0xE5>", "<0xE6>", "<0xE7>", "<0xE8>", "<0xE9>", "<0xEA>", "<0xEB>", "<0xEC>", "<0xED>", "<0xEE>", "<0xEF>", "<0xF0>", "<0xF1>", "<0xF2>", "<0xF3>", "<0xF4>", "<0xF5>", "<0xF6>", "<0xF7>", "<0xF8>", "<0xF9>", "<0xFA>", "<0xFB>", "<0xFC>", "<0xFD>", "<0xFE>", "<0xFF>" ], "unused_tokens": [], "special_tokens": { "pad": "", "bos": "", "eos": "", "unk": "" }, "tokenizer_hash": "5801826ac9092bdc984210af805d2ff20f0398b80adaf5963ef13b04771a8584" }