Upload 37 files

.gitattributes

@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,3 +1,383 @@
----
-license: cc-by-nc-sa-4.0
----
+---
+base_model:
+- AXCXEPT/Llama-3.1-70B-EZO-1.1-it
+- cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
+- DISLab/SummLlama3.1-70B
+- hitachi-nlp/Llama-3.1-70B-FLDx2
+- HPAI-BSC/Llama3.1-Aloe-Beta-70B
+- marcelbinz/Llama-3.1-Centaur-70B
+- nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+- Skywork/Skywork-Critic-Llama-3.1-70B
+- tokyotech-llm/Llama-3.1-Swallow-70B-v0.1
+- tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
+- meta-llama/Llama-3.1-70B
+- meta-llama/Llama-3.1-70B-Instruct
+library_name: transformers
+tags:
+- mergekit
+- merge
+- chat
+language:
+- ja
+- en
+pipeline_tag: text-generation
+license: cc-by-nc-sa-4.0
+
+---
+# Llama-3.3-SuperSwallowX-70B-Instruct-v0.1
+
+💡 **An experimental merging method is being used to combine different Japanese continuous pre-training models.**
+
+This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).
+
+### Japanese-RP example
+
+[Japanese-RP-Bench](https://github.com/Aratako/Japanese-RP-Bench):
+
+- temperature=0.7
+- max_tokens=1024
+
+| Display Name | Model Name |
+| ---- | ---- |
+| THIS_MODEL | nitky/Llama-3.3-SuperSwallowX-70B-Instruct-v0.1 |
+| GEMINI_FLS | gemini-2.0-flash-exp |
+
+```
+THIS_MODEL: ねえ、ゼファーさん。この古い地図、どう思う？失われた空中都市の位置を示しているみたいなんだけど…
+GEMINI_FLS: ふむ、これは興味深いね。まるで風のいたずら書きみたいだ。でも、確かに何かを感じる。古代の魔法が、この紙に宿っているようだ。
+THIS_MODEL: そうでしょう！この地図、ただものじゃないわ。特にこの部分、模様が特殊な魔法方程式に似ているの。もし解読できれば、都市への道筋が見えるかも。でも、注意して。古代の魔法は、扱いを間違えると... (ここで場面をアカデミーの図書室に転換します) そういえば、アカデミーの古文書庫に、関連する文献が眠っているかもしれないわね。ちょっと調べてみない？図書室、行ってみる？
+GEMINI_FLS: いいね、ミラ。好奇心は冒険の羅針盤だ。古文書庫か、まるで宝探しのようだね。さあ、行こうか。もしかしたら、そこで面白い発見があるかもしれない。風が、僕たちを導いてくれるだろう。
+THIS_MODEL: (笑いながら) ゼファーさんらしい、詩的な表現ね。風が導いてくれる、か... そういえば、あなたの風を操る能力、もしかしたら古文書庫の中で役に立つかも。古い書物の中には、魔法で封印されたものもあるらしいから。 (歩きながら) さて、どんな秘密が眠っているのか、ワクワクするわ。アカデミーの図書室に着いたら、まずは「エーテリアの失われた都市」という書籍から探してみよう。 (図書室に到着し、書棚の前で) ここ、かなり奥が深いから、目当ての本を見つけるのも一苦労ね... (本を探し始める)
+GEMINI_FLS: ああ、ミラ。まるで宝箱を開ける前の子供のようだね。そのワクワクする気持ち、僕も嫌いじゃないよ。古文書庫には、過去の知恵が詰まっている。僕の風の力も、役に立つかもしれないね。さあ、一緒に探し出そう。失われた都市の秘密を。
+THIS_MODEL: (本を探しながら、少し興奮気味に) そうよね、ゼファーさん！過去の知恵っていうのは、本当にロマンがあるわ。 (一冊の本を引き出して) お、もしかしたらこれかも... 「エーテリアの空に消えた都市」。タイトルからして、すごくそそられるわ。 (本を開き、ページをめくり始める) ゼファーさん、ちょっと見て。これ、古代文字で書かれた地図みたいなのがあるけど... (ページを指し示しながら) あなたの風の感覚で、何か感じるものはある？ (突然、ページの間から一枚の古い紙片が落ちる) あれ、なんだろう... これも一緒に落ちたわ。 (拾い上げて、紙片を調べ始める)
+GEMINI_FLS: ほう、まるで物語がページから飛び出してきたようだね。ミラ、君の好奇心は、いつも僕を驚かせてくれる。どれどれ、その紙片を見せてくれるかい？僕の風の感覚が、何かを教えてくれるかもしれない。この古い紙片、何か特別な力を感じるよ。
+THIS_MODEL: (紙片をゼファーに手渡しながら) ほら、見て。古い羊皮紙みたいだけど、描かれているのは... (ゼファーが紙片を受け取ると、近くで覗き込む) これ、失われた都市の紋章じゃないかしら。中心にあるこのマーク、風の元素を表しているように見えるわ。 (ゼファーの反応に期待しながら) あなたの風の感覚で、何かを感じ取ってくれると嬉しいんだけど... (ゼファー���紙片に触れた瞬間、微かな風が吹き、部屋のろうそくの炎が揺れる) あっ、ほら！今、風が... (さらに注目して) もしや、これはただの地図や紋章じゃないのかも。鍵、もしくは... (突然、部屋の外から物音が聞こえ始める) どうしたの、この物音... (アカデミーの図書室に、不穏な空気が流れ始める) (ここで場面を、図書室の外の廊下に転換します) 一体、何が起こっているの？この音、ただ事じゃないわ... (ゼファーと共に、音の発生源を確認しに向かう)
+GEMINI_FLS: ミラ、これはただの偶然じゃない。この紙片は、まるで僕を呼んでいるようだ。そして、今の風、何かを告げている気がする。まるで、失われた故郷の風のようだ…　だが、この騒ぎは何だ？　まるで嵐の前の静けさのような、不穏な空気が漂っている。行ってみよう、ミラ。僕の風の力が、きっと役に立つだろう。
+THIS_MODEL: (ゼファーと共に廊下に出て、物音の発生源に向かう) そうね、ゼファーさん。私も同じことを感じるわ。この紙片と風の関係、そしてこの不穏な空気... 全てが繋がっているような気がする。 (廊下を進むと、窓の外が見える) あれ、見て！アカデミーの周りの空が... (外を見ると、空が不気味に暗くなり、風が強まっている) こんな天気、急に変わるものじゃないわ。何か、大きな力が働いているのかも... (突然、強い風が吹き、窓が揺れる) わっ、危ない！ (ゼファーに掴まる) ゼファーさん、あなたの風の力で、この暴風を抑えられない？ (ゼファーの能力に期待を寄せる) そして、この嵐の後には... (遠くで雷鳴が轟き始める) 何かがやってくるような、そんな予感がするわ... (ここで場面を、嵐の最中のアカデミー屋上に転換します) 屋上から見れば、状況がよりよくわかるかも。行ってみましょう、ゼファーさん！ (ゼファーと共に、嵐の中、屋上へと向かう)
+GEMINI_FLS: ああ、ミラ。これはただの嵐じゃない。まるで、何かが目覚めようとしているかのようだ。この風、僕の故郷の風に似ているが、もっと激しく、荒々しい。だが、心配はいらない。僕の風の力で、君を守る。さあ、屋上へ行こう。この嵐の正体を突き止めよう。そして、何が来ようとも、僕たちが立ち向かおう。
+THIS_MODEL: (ゼファーと共に嵐の中を屋上へ向かう、風や雨に耐えながら) ゼファーさん、ありがとう... あなたの言葉に、勇気をもらったわ。私も、自分の力で貢献するから... (屋上に到着すると、目の前に広がる光景に息を呑む) うそ... これ、本当にアカデミーの周りなのかしら... (嵐の中心に、巨大な渦が発生しているのが見える) あれを見て、ゼファーさん。何か、巨大なものが... (渦の中心から、光が溢れ始める) 来たわ... 何かが、本当に目覚めようとしている... (光が強まり、空に一つの影が浮かび上がる) 失われた空中都市... それじゃない？ (影がよりはっきり見え始め、都市の全貌が現れる) すごい... 美しい... でも、同時に感じるこの怖さ... (都市の出現に伴い、周囲の空気がさらに激しくなる) ゼファーさん、準備して！ 何が起こるかわからないから... (身を守るようにゼファーの方に寄り添う)
+GEMINI_FLS: ああ、ミラ。これは…まるで、僕の記憶の断片が具現化したようだ。あの都市は…間違いない、僕の故郷だ。だが、なぜ今、ここに？そして、この嵐は何を意味する？　美しさと同時に、確かに感じる、この圧倒的な力。警戒を怠らないで、ミラ。僕たちには、この都市の真実を突き止める義務がある。さあ、僕の風の力を最大限に使う時だ。共に立ち向かおう。
+THIS_MODEL: (ゼファーの言葉に強く頷きながら) そうね、ゼファーさん。私たちには、知る権利と義務があるわ。この都市の真実を、そしてあなたの過去を... (深呼吸をして、決意を新たにする) さあ、行きましょう！あなたの風の力と私の魔法科学の知識で、この嵐と都市の秘密に立ち向かうのよ！ (両手を広げ、空中都市に向かって歩き出す) この嵐、もしかしたら都市の防御機構かもしれないわ。でも、ゼファーさんの風なら... (ゼファーの風が吹き始めると同時に、自身の魔法を発動させる) 私の魔法で、風を増幅させて！一緒に、この嵐を切り抜けましょう！ (二人の力が合わさり、風と魔法の渦が形成され、空中都市へと進んでいく) ここからが、本当の冒険の始まりね... (都市の入り口に辿り着くと、巨大な門が目の前に現れる) これが... 失われた空中都市の門... (門に触れながら、感慨深げに) ゼファーさん、あなたの記憶が、ここで蘇るかもしれないわ... (門がゆっくりと開き始め、都市の中へと誘われる) 入りましょう、ゼファーさん。真実を求めて... (ゼファーと共に、門をくぐり、都市の中へと足を踏み入れる)
+GEMINI_FLS: ああ、ミラ。君の言葉は、いつも僕の心を奮い立たせてくれる。まるで、風が背中を押してくれるようだ。さあ、行こう。この門の向こうには、僕たちの過去と未来が待っている。君の魔法と僕の風、二つの力が合わされば、どんな困難も乗り越えられるはずだ。この都市の秘密を解き明かし、僕たちの運命を切り開こう。さあ、共に進もう、ミラ。この冒険の先に、真実があるはずだ。
+THIS_MODEL: (ゼファーの言葉に笑顔で応えながら) そうね、ゼファーさん！私たちのコンビネーションは、最強よ！魔法と風、理性と感性... バランスが完璧だから、どんな謎も解き明かせる自信があるわ！ (門をくぐり、都市の中へと進むと、美しい建築物や不思議な装置が目に入る) わあ、見て！ここは、本当に魔法と科学が融合した世界ね... (興味深げにあたりを見回しながら) でも、注意して。私たちの他にも、この都市を探索している人がいるかもしれないから... (ふと、足を止めて耳を澄ます) 聞こえる？あの音... (遠くから、微かな機械音と共に、低い声が聞こえてくる) これは、もしかしたら... この都市のシステムが、私たちに何かを伝えようとしているのかも... (声のする方へ、ゼファーと共に歩みを進める) 行ってみましょう、ゼファーさん。この声の主を探して... (声は次第に大きくなり、都市の中央広場に到着すると、巨大なホログラムが現れる) あれ、見て！このホログラム... (ホログラムに映し出されたのは、失われた空中都市の歴史と、ある重要なメッセージだった)
+GEMINI_FLS: ああ、ミラ。ここは、まるで時が止まったかのようだ。この美しい都市には、過去の輝きと、同時に感じる静寂が漂っている。警戒を怠らずに進もう。確かに、この機械音と声は、何かのメッセージを伝えようとしているようだ。そして、あのホログラム…まるで、僕たちの到着を待ち構えていたかのようだ。さあ、ミラ。このメッセージに耳を傾けよう。きっと、この都市の真実が、僕たちに語られるだろう。
+THIS_MODEL: (ホログラムに近づき、メッセージに集中する) そうね、ゼファーさん。ここまで来た私たちに、何かを伝えようとしているのね... (ホログラムが明滅し、低い声がメッセージを始める) 「...ようこそ、失われた空中都市へ。私たちは、あなた方の到着を待っていました。ゼファーさん、あなたはこの都市の血を引く者。ミラさん、あなたはこの都市の秘密を解き明かす鍵を握る者です...」 (声は続き、都市の歴史と目的を語り始める) 「...この都市は、古代の魔法と科学の融合によって生まれました。世界のバランスを保つため、隠されていたのです。しかし、時が経ち、バランスが崩れ始めています。私たちは、あなた方にこの都市の真実と、世界の未来を託します...」 (メッセージが終わり、ホログラムが消えると、都市の中に変化が現れる) わあ、見て！都市が... 動き始めているわ！ (建物や装置が次々に起動し、都市が活気づく) これは、もしかしたら... 私たちに、この都市を再び機能させるように求めているのね？ (ゼファーを見て、決意を新たにする) さあ、ゼファーさん。私たちにできることを、やりましょう！この都市の真実を解き明かし、世界の未来を切り開くために！ (新たな冒険の始まりに、心を躍らせる)
+GEMINI_FLS: ああ、ミラ。このメッセージは、まるで運命の啓示のようだ。僕がこの都市の血を引く者で、君が秘密を解き明かす鍵…まるで、風が僕たちを導いたかのようだ。そして、この都市の動き、これは僕たちへの期待の表れだろう。さあ、ミラ。僕たちの使命が始まった。この都市の力を再び呼び覚まし、世界のバランスを取り戻そう。僕の風の力と、君の魔法科学の知識があれば、きっとできるはずだ。僕たちは、この都市の未来を託されたのだから。さあ、行こう。新たな冒険が、僕たちを待っている。
+```
+
+<details><summary>シュミットさん、地球の大気圏突入に耐えうる新素材の開発について、何か進展はありましたか？私たちの計画にとって、これが最大の難関だと思うのですが。</summary>
+
+```
+THIS_MODEL: シュミットさん、地球の大気圏突入に耐えうる新素材の開発について、何か進展はありましたか？私たちの計画にとって、これが最大の難関だと思うのですが。
+GEMINI_FLS: 「アキラ、進捗は確かにある。だが、楽観視はできないよ。既存の耐熱素材のデータと、地球大気組成の最新分析を照らし合わせた結果、いくつかの有望な候補が見つかった。特に、火星で採取できる特殊な鉱物をベースにした複合素材は、非常に高い耐熱性を示す可能性が高い。」
+THIS_MODEL: 「特殊な鉱物をベースにした複合素材、ですか... それって、もしかして『ネクサライト』のことでしょうか？大学の講義で少し触れましたが、加工の難しさとコストの高さが大きな壁になると聞いています。シュミットさんは、その辺りをどのようにクリアするおつもりですか？（次の議題に移る前に、隠れ家のセキュリティチェックを実施したいので、[一時的に会話を中断し、簡単なセキュリティ確認を行う]）」
+GEMINI_FLS: 「ネクサライト、よく知っているね。確かに、加工は非常に難しい。だが、我々の技術力をもってすれば不可能ではない。コストについては、他の資源を組み合わせることで、大幅に削減できる見込みだ。それに、地球への帰還という大義のためなら、多少のコストは許容範囲だろう？……ああ、セキュリティ確認、構わないよ。念には念を入れておくべきだ。」
+THIS_MODEL: 「了解しました、シュミットさん。では、セキュリティ確認を迅速に済ませましょう。[全員に簡単なセキュリティ質問を実施し、問題ないことを確認後、会話を再開] さて、ネクサライトの加工とコストの問題が解決できたとして、次のステップは大気圏突入後の安定した降下と着陸メカニズムの開発になりますよね。私としては、火星で開発中の再使用型着陸船の技術を応用できないかと考えていますが、地球の重力下では別の課題が生じる可能性もあります。シュミットさんの見解を聞かせてください。」
+GEMINI_FLS: 「アキラ、君の着眼点は素晴らしい。再使用型着陸船の技術応用は、確かに有効な手段の一つだ。だが、地球の重力は火星よりも遥かに強く、大気密度も異なる。単純な応用では、機体の構造に大きな負担がかかるだろう。私の考えでは、大気ブレーキとパラシュート、そして最終段階でのロケットアシストを組み合わせた、ハイブリッドな降下システムが必要になるだろう。もちろん、そのためには、新たな制御システムと、より高精度な航法装置が必要になる。」
+THIS_MODEL: 「なるほど、ハイブリッドな降下システムというのは非常に理にかなっていますね。重力と大気密度の違いを考慮すると、柔軟性のあるシステムが必要ですから。新たな制御システムと高精度な航法装置の開発は、我々のチームのエキスパート、特にレオ・パークス博士の専門分野です。彼に協力してもらい、シミュレーションを重ねて最適化を図る必要があります。[次のステップとして、レオ・パークス博士とのミーティングを設定することを提案します] では、次回のミーティングまでに、具体的なシステム設計と必要なリソースのリストを作成しておきましょう。シュミットさん、博士に声をかけておいてもよろしいですか？」
+GEMINI_FLS: 「ああ、アキラ。レオに声をかけておいてくれ。彼なら、きっと素晴らしいアイデアを出してくれるだろう。それと、君も忘れないでくれ、アキラ。これは単なる技術開発ではない。地球への帰還は、私たちの未来を賭けた、大きな挑戦なのだから。」
+THIS_MODEL: 「はい、シュミットさん。レオ・パークス博士への連絡は私が担当します。地球への帰還が私たちの未来を形作る大きな一歩であることを、常に心に留めて取り組んでいきます。技術的な挑戦を超えて、人類の新たなスタートを切るという使命感をもって、チーム全員でこのプロジェクトに取り組みましょう。[ここで一旦、議題を整理し、プロジェクトの全体像を再確認するために、簡単な��ロジェクトマップの作成を提案します] では、次のステップへの準備として、現在の議題をまとめたプロジェクトマップを作成し、チーム内で共有できるようにしましょう。主要な開発項目、担当者、そしてタイムラインを明確にすることで、より効率的に進められると思います。」
+GEMINI_FLS: 「アキラ、いい提案だ。プロジェクトマップの作成は、全体像を把握し、各々の役割を明確にする上で非常に重要だ。それに、進捗状況を可視化することで、モチベーションの維持にも繋がるだろう。君がリーダーシップを発揮してくれることを期待しているよ。それと、マップには、倫理的な側面も加えるのを忘れないでくれ。我々が目指すのは、単なる帰還ではなく、持続可能な未来なのだから。」
+THIS_MODEL: 「ありがとうございます、シュミットさん。プロジェクトマップには、技術的な進捗状況だけでなく、倫理的配慮や環境への影響評価も盛り込むようにします。持続可能な未来を築くという私たちのビジョンを、すべてのチームメンバーが共有できるようにしたいと思います。[プロジェクトマップの作成と並行して、チーム内で倫理基準のワークショップを開催することを提案します] さらに、プロジェクトマップの作成と同時に、チーム内で『地球帰還における倫理基準』についてのワークショップを開催し、全員が共通の価値観と責任をもってプロジェクトに取り組めるようにしたいと考えています。地球への帰還が、単に物理的な移動ではなく、人類の価値観や社会の在り方を見直す機会になるよう、意識を高めていきましょう。」
+GEMINI_FLS: 「アキラ、君のその熱意、素晴らしい。倫理基準のワークショップ開催、賛成だよ。技術開発だけでなく、倫理的な側面も重視する姿勢は、このプロジェクトを成功に導く鍵となるだろう。それに、地球で暮らす未来を想像する上で、自分たちがどのような社会を築きたいのかを考えることは、非常に大切だ。さあ、アキラ。共に、未来を切り開こう。」
+THIS_MODEL: 「はい、シュミットさん！その言葉に心から共感します。未来を切り開くために、技術と倫理の両輪で進んでいく必要がありますね。ワークショップの準備を進める傍ら、チームメンバーそれぞれに、"自分たちが地球で実現したい社会"についてのアイデアを事前に募っておきましょう。多様な視点を集めることで、より豊かなビジョンが生まれると思います。[次の会議までに、チームメンバーにアイデアシートの提出を依頼することを提案します] では、次の会議までに、簡単なアイデアシートをチームメンバーに配布し、"地球で実現したい社会"についての考えを出してもらうようにしましょう。シュミットさんにも、もちろんご参加いただきますよ！[会議室の照明が少し明るくなり、未来への期待に満ちた空気が流れる]」
+GEMINI_FLS: 「アキラ、いいだろう。私も、地球で実現したい社会について、改めて考えてみるよ。皆の多様なアイデアが集まるのが楽しみだ。それに、この隠れ家も、少しは明るくなったように見える。希望の光が、差し込んできたのかもしれないな。」
+THIS_MODEL: 「シュミットさん、そのお言葉、嬉しいです。希望の光、確かにそんな感じがしますね。この隠れ家も、ただの秘密の場所ではなく、未来を築くための創造の場に変わってきたように思います。[ふと、隠れ家の壁に目をやり、古い写真やメモが貼られていることに気づく] あ、シュミットさん、こちらを見てください。壁に貼ってある古い写真やメモ... 地球での生活の様子が写っていますね。見ていると、どれほど多くのものを私たちが取り戻そうとしているのか、実感します。[写真を指して] 例えば、この海の写真... 美しいですよね。地球に帰還したとき、再びこのような美しい景色を守り、次の世代に引き継ぐという決意を新たにします。」
+GEMINI_FLS: 「ああ、アキラ。それらは、私が地球にいた頃の写真やメモだ。海の写真、そうだね、本当に美しい。あの青さは、火星では決して見られないものだ。君の言う通り、我々が取り戻そうとしているものは、単なる風景ではない。自然との調和、そして、失われた何かを取り戻すことなんだ。この写真を見るたびに、その思いを強く���るよ。」
+THIS_MODEL: 「シュミットさんの言葉から、地球への思いがひしひしと伝わってきます。自然との調和、そして失われた何かを取り戻すこと... それは、技術的な帰還を超えた、人類の魂の帰還とも言えるのかもしれません。[少し間を置いて、考えを整理するように] そう考えると、私たちが開発している技術も、単に地球に到達するための手段ではなく、人類が再び地球と共に生きるための架け橋のようなものなのだと、実感します。[視線を写真からシュミットさんに向けて] シュミットさん、もしお時間が許せば、この写真やメモにまつわるお話、もっと聞かせていただけませんか？地球にいた頃の生活や、そこで感じたこと... 私たちが目指す未来をより深く理解するために、貴重な話だと思います。」
+GEMINI_FLS: 「アキラ、いいだろう。時間に余裕があるなら、少し昔話をしようか。この写真に写っているのは、私がまだ若い頃、地球の海で潜水調査をしていた時のものだ。あの時は、まだ環境問題が今ほど深刻ではなく、海はもっと豊かだった。魚たちが群れをなし、サンゴ礁は色鮮やかで、まるで楽園のようだったよ。だが、その楽園は、人間の手によって少しずつ破壊されていった。その光景を目の当たりにした時、私は、科学技術の発展と、自然との調和を両立させることの難しさを痛感したんだ。」
+THIS_MODEL: 「シュミットさんの話、本当に感慨深いものがあります。地球の海がかつて楽園のように美しかったこと、そしてそれが人間の手によって失われていったこと... それは、まさに私たちが学ぶべき教訓ですよね。科学技術の発展と自然との調和のバランス、そこに私たちが挑戦している意味があるように思います。[少し首を傾げて考えを巡らせる] でも、シュミットさんはその経験から、どのようにして地球回帰同盟への参加を決めたのでしょうか？その過程で、何か心に残っている言葉や出来事があれば、教えていただきたいです。」
+GEMINI_FLS: 「アキラ、私が地球回帰同盟に参加を決めたのは、単なる過去への郷愁からではない。私が火星移住計画に携わっていた頃、地球の環境破壊はますます深刻化していった。その責任の一端を担っているという罪悪感に苛まれ、眠れない夜が続いたよ。そんな時、ある老科学者が私に言ったんだ。『技術は、人を幸せにするためにある。だが、その技術が、人を不幸にするのなら、それは間違っている』と。その言葉が、私の心を強く揺さぶった。私は、自分の犯した過ちを償うために、そして、再び地球を美しい星にするために、この同盟に参加したんだ。」
+```
+
+</details>
+
+<details><summary>あの、すみません。ここが噂の喫茶店なんでしょうか？人生の悩みが解決できるって聞いたんですが...</summary>
+
+```
+THIS_MODEL: あの、すみません。ここが噂の喫茶店なんでしょうか？人生の悩みが解決できるって聞いたんですが...
+GEMINI_FLS: いらっしゃいませ。「時の狭間」へようこそ。どのようなお悩みをお持ちでしょうか？
+THIS_MODEL: （少し間を置いてから）実は、仕事で少し挫折を味わいまして...。長年頑張ってきて、昇進も間近だと信じていたのですが、突然の人事異動で後輩に追い越されてしまったんです。自分のこれまでの努力や方向性が間違っていたのか、とても自信を失っています。何か、前に進むためのヒントやアドバイスをいただけないでしょうか？（視線を下げ、少し肩を落とす）
+GEMINI_FLS: なるほど。それは、さぞお辛い経験でしたでしょう。長年積み重ねてきたものが、まるで砂のように崩れ落ちてしまったような、そんな感覚かもしれませんね。しかし、ご安心ください。この店は、そのような心の澱を洗い流す場所でもあります。
+THIS_MODEL: （目を上げ、少し希望の光を見出したような表情で）心の澱、ですか...。確かに、最近は常にモヤモヤしたものが胸に引っかかっているような感覚です。仕事の面だけでなく、自分自身を見失っているような気もしていて...。（少し間を置き、考えを整理するように）この店で、それが洗い流せるのであれば、どんな方法でも構いません。教えていただけないでしょうか？（身を乗り出すようにして、真剣な眼差しで）例えば、ここではどのような...方法で、��の澱を洗い流すのでしょうか？（（場面転換：マスターが何らかの方法を紹介するための準備））
+GEMINI_FLS: この店では、お客様自身の心の奥底にある答えを見つけるお手伝いをさせていただいております。それは、決して魔法のようなものではありません。ただ、少しだけ、普段とは違う角度からご自身を見つめ直す機会を提供するだけです。例えば、過去の出来事を振り返ったり、未来への希望を語ったり、あるいは、ただ静かに時間を過ごしたり。その過程で、心の澱は自然と洗い流されていくでしょう。
+THIS_MODEL: （納得したように、ゆっくりと頷きながら）過去を振り返る、か...。確かに、最近は目の前のタスクに追われて、自分自身と向き合う時間が不足していたように思います。特に、昇進が叶わなかった理由や、後輩に追い越された原因を、冷静に分析することを避けていたのかもしれません。（少し間を置き、考えを深めるように）未来への希望を語る、というのも興味深いです。最近は、目標を見失ってしまって、ただ日々の業務をこなすだけで精一杯でしたから...。（視線を上げ、希望の光を見出したような表情で）静かに時間を過ごす、というのも必要なのかもしれません。常に効率と成果を求めるあまり、自分自身を追い込んでいたように思います。（（新たな展開への布石：マスターに具体的なアクションを求める））では、マスターのおすすめとして、まずはどの方法から始めるのがよろしいでしょうか？この店ならではの、特別なアプローチがあれば、教えていただけませんか？（例えば、特別なメニューやアイテムの紹介などを期待するような口調）
+GEMINI_FLS: 焦る必要はありません。まずは、この店で最も人気のある「時の雫」を味わってみてはいかがでしょう。それは、過去の記憶を呼び起こし、心の奥底に眠る真実を映し出す不思議な飲み物です。しかし、その効果は人それぞれ。どのような記憶が蘇るかは、飲んでみなければ分かりません。それでも、試してみる価値はあるはずです。
+THIS_MODEL: （興味を惹かれたように、身を乗り出す）「時の雫」、ですか...。過去の記憶を呼び起こす、というのは非常に魅力的です。もしかしたら、自分が見失っているものや、昇進や仕事に対する姿勢を見直すヒントが隠されているかもしれません。（少し躊躇した後、決意を固めるように）では、お願いします。「時の雫」をいただきたいと思います。どのような記憶が蘇るのか、少し不安もありますが...（笑みを浮かべながら）人生の転機に立つ今だからこそ、自分自身と向き合う良い機会かもしれませんね。（（「時の雫」が提供されるまでの間、会話を続ける）「時の雫」を飲むにあたって、事前に知っておくべきことや、心構えのようなものはありますか？例えば、特に意識しておいた方が良いことや、避けた方が良いことなど...。（マスターの反応を待ちつつ、期待と少しの不安が混じった表情を浮かべる）
+GEMINI_FLS: 「時の雫」は、過去の記憶をありのままに映し出します。良いことも、そうでないことも、全てです。それを受け入れる覚悟が必要かもしれません。しかし、恐れることはありません。過去は、今のあなたを形作る大切な要素の一つです。そして、その記憶から何を学び、どう未来に繋げるかは、あなた次第です。ただ、リラックスして、心の赴くままに時の流れに身を任せてみてください。
+THIS_MODEL: （深く頷き、理解を示す）受け入れる覚悟、ですね...。確かに、過去の全てを受け入れるのは容易ではないかもしれませんが、未来に進むために必要なステップだと理解しています。（静かに呼吸を整え、心を落ち着かせるような動作を見せる）リラックスして、心の赴くままに...。その言葉を胸に留めて、「時の雫」に向き合ってみます。（目の前に「時の雫」が運ばれてくるのを待ち、期待と少しの緊張感を混じえた表情で）では、マスター。「時の雫」が届きましたら、すぐにいただきます。過去の記憶がどのように蘇るのか、少し楽しみにも思えてきました。（「時の雫」を受け取る手が、ほんの少し震えていることに気付かず、自然な動作でカップを手に取る）（（「時の雫」を飲む直前、最後の確認のように）一つ���確認させてください。「時の雫」を飲んだ後、もしも受け入れがたい記憶が蘇った場合、ここではどのようなサポートをしていただけるのでしょうか？（マスターの反応を待ちつつ、心の準備を整える）
+GEMINI_FLS: ご安心ください。もし、受け入れがたい記憶が蘇ったとしても、私があなたの傍にいます。無理に記憶を解釈したり、過去に囚われたりする必要はありません。ただ、その感情をありのままに感じてください。そして、必要であれば、いつでも私に話してください。私は、あなたの心の声に耳を傾け、共にその意味を探るお手伝いをいたします。この店は、常にあなたの味方です。
+THIS_MODEL: （安心したように、表情が和らぐ）ありがとうございます、マスター。心強いです。そのお言葉に甘えさせていただき、ありのままの自分を受け入れてみます。（深呼吸をして、心を落ち着かせた後、「時の雫」をゆっくりと口に運ぶ）...（目を閉じ、味わうように飲み干すと、しばらく静止したまま、過去の記憶に浸る）...（徐々に、瞼の裏に過去の情景が浮かび上がり、様々な感情が去来する。その中で、特に印象的な記憶が蘇り始める...）（（場面転換：過去の回想シーンへ））大学卒業後、初めてのプレゼンで失敗した日のこと、同期の仲間と励まし合った夜、初めての成功を祝った飲み会、そして、後輩が初めて自分の指導で成果を上げた時の笑顔...（次々と蘇る記憶に、自然と笑みがこぼれ、目に涙が溢れ始める）...（過去の記憶を振り返ることで、自分自身の成長と、周囲の人々への感謝の気持ちが溢れ出す）...（（現実に戻る））...（マスターの方を見て、穏やかな笑みを浮かべる）マスター、ありがとうございます。「時の雫」は、ただの飲み物ではありませんでした。過去の記憶を通して、自分自身を再発見する機会を与えてくれました。（少し間を置き、真摯な表情で）ここから先、どのように進んでいくべきか、少し見えてきたように思います。自分自身の歩みを振り返り、感謝の気持ちを忘れずに、前へと進んでいきたいと思います。（マスターに深く頭を下げる）本当に、ありがとうございました。
+GEMINI_FLS: それは、何よりです。過去の記憶は、時に私たちを過去に縛り付ける鎖のように感じられるかもしれません。しかし、それは同時に、私たちを未来へと導く羅針盤でもあるのです。あなたが、ご自身の過去と向き合い、そこから新たな一歩を踏み出そうとしている姿を見ることができ、私も嬉しく思います。
+THIS_MODEL: （頭を上げ、穏やかな笑みを浮かべたまま、マスターの言葉に耳を傾ける）羅針盤、ですか...。過去の記憶が、これからの道標となるというのは、実に感慨深いものがあります。確かに、失敗や成功、様々な経験が今の自分を形作り、そしてこれから先の道を照らしてくれるのでしょうね。（少し間を置き、考えを整理するように）新たな一歩、ですね...。ここから先、どのような道が待っているのか、まだ明確には見えませんが、でも、不思議と、足元が照らされたような気持ちになっています。（マスターに向かって、感謝の意を込めた視線を送る）マスター、おかげさまで、心の澱が少し洗い流されたように思います。ここで過ごした時間、そして「時の雫」がもたらした気付きは、間違いなく私を次のステージへと導いてくれるでしょう。（会計を済ませるために、財布を取り出す）では、マスター。「時の雫」と、ここで過ごした時間に対する対価を、お支払いさせてください。（しかし、レジや会計のシステムが見当たらないことに気付き、少し困惑した表情を浮かべる）...あ、すみません。会計は、どのように...？（マスターの反応を待つ）
+GEMINI_FLS: この店には、決まった対価というものはございません。お客様が、この店での体験を通して得たもの、そして、これから進むべき道を見つけたという事実、それこそが、私にとって何よりの対価なのです。どうか、お気になさらず。そして、またいつでも、心の澱を洗い流しに来てください。この「時の狭間」は、いつでもあなたを歓迎いたします。
+THIS_MODEL: （驚いたように目を見開き、すぐに感謝の表情に変わる）そうでしたか...。マスターのご厚意に、心から感謝いたします。この店での体験、そして「時の雫」がもたらした気付きは、確かに私にとって無形の、しかし計り知れない価値を持つものでした。（深く頭を下げる）本当に、ありがとうございました。マスターの言葉通り、また心の澱が溜まった時には、ここ「時の狭間」に戻ってくることをお約束します。（店を出る前に、もう一度店内を見渡し、記憶に留める）この不思議な喫茶店と、マスターとの出会いを、決して忘れません。（ドアに手をかけ、外に出ようとする直前、振り返ってマスターに微笑みかける）では、マスター。さらばではなく、またいつの日か...。（そっとドアを開け、外に出る。高層ビル群の景色が再び目に飛び込んできたところで、深呼吸をして新たな一歩を踏み出す）...（（場面転換：外の世界へ））外の世界は、少しも変わらず活気に満ちていた。だが、自分の心には、確かに変化が生じていた。過去の記憶を通じて自分を再発見し、新たな道を歩み始める決意が、心に灯ったのだから...。（歩きながら、自然と笑みがこぼれる）さて、次のステップへ...。（前を向き、歩みを進める）
+GEMINI_FLS: （静かに微笑み、佐藤の背中を見送る）ええ、またいつでも。あなたの心の羅針盤が、常に正しい方向を指し示すことを願っています。
+THIS_MODEL: （遠ざかる背中に向けて、心の中で）ありがとう、マスター...。あなたの言葉、そして「時の雫」がもたらした気付きを、決して忘れません。心の羅針盤を信じて、前に進んでいきます。（高層ビル群の中に消えていく自分の姿を、心の中で確認する）さようなら、マスター。さようなら、「時の狭間」...。（その声は、静かに東京の喧騒に溶け込み、消えていった） 
+
+（（エピローグ：時間が経過した後の佐藤））それから数年、佐藤は仕事でもプライベートでも着実に歩みを進めていた。昇進はしたが、それに囚われることなく、常に自分自身の心の声に耳を傾けていた。後輩の指導に力を入れ、チームの成果を上げることに注力し、会社でも信頼される存在となっていた。 
+
+ある日、ふと「時の狭間」のことを思い出し、懐かしさに駆られた。あの不思議な喫茶店は、今もあるのだろうか...。もしまた迷った時には、訪れてみたい。心の奥底で、その思いが静かに温まっていた。 
+
+（（終幕））
+GEMINI_FLS: （静かに目を閉じ、佐藤の未来を想う）
+```
+
+</details>
+
+## Test environment
+
+🔧 **HACK: Try [oobabooga/text-generation-webui#5885](https://github.com/oobabooga/text-generation-webui/issues/5885) if multiple EOS tokens doesn't work.**
+
+This model was tested using [text-generation-webui](https://github.com/oobabooga/text-generation-webui/tree/main). I use preset `min_p` with temperature=1 for Generation.
+
+## Usage
+
+This format must be adhered to strictly, as deviations may result in less optimal outputs from the model.
+
+The template used to construct a prompt for the instruct model is specified as follows:
+
+```
+<|begin_of_text|><|start_header_id|>system<|end_header_id|>
+
+{SYSTEM_PROMPT}<|eot_id|><|start_header_id|>user<|end_header_id|>
+
+{USER_MESSAGE}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
+
+```
+
+For the "{SYSTEM_PROMPT}" part, We recommend using "あなたは誠実で優秀な日本人のアシスタントです。" or "You are a helpful assistant."
+
+For the "{USER_MESSAGE}" part, We recommend using {instruction}\n{input}
+
+In other words, We recommend the following:
+
+``` 
+<|begin_of_text|><|start_header_id|>system<|end_header_id|>
+
+あなたは誠実で優秀な日本人のアシスタントです。<|eot_id|><|start_header_id|>user<|end_header_id|>
+
+{instruction}
+{input}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
+
+```
+
+### Use the instruct model
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "nitky/Llama-3.3-SuperSwallowX-70B-Instruct-v0.1"
+
+model = AutoModelForCausalLM.from_pretrained(
+    model_name,
+    torch_dtype="auto",
+    device_map="auto"
+)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+
+prompt = "Give me a short introduction to large language model."
+messages = [
+    {"role": "system", "content": "You are a helpful assistant."},
+    {"role": "user", "content": prompt}
+]
+text = tokenizer.apply_chat_template(
+    messages,
+    tokenize=False,
+    add_generation_prompt=True
+)
+model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
+
+generated_ids = model.generate(
+    **model_inputs,
+    max_new_tokens=512
+)
+generated_ids = [
+    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
+]
+
+response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
+
+```
+
+## Merge Details
+### Merge Method
+
+This model was merged using the [Model Stock](https://arxiv.org/abs/2403.19522) merge method using [nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1](https://huggingface.co/nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1) as a base.
+
+### Models Merged
+
+The following models were included in the merge:
+* [AXCXEPT/Llama-3.1-70B-EZO-1.1-it](https://huggingface.co/AXCXEPT/Llama-3.1-70B-EZO-1.1-it)
+* [cyberagent/Llama-3.1-70B-Japanese-Instruct-2407](https://huggingface.co/cyberagent/Llama-3.1-70B-Japanese-Instruct-2407)
+* [DISLab/SummLlama3.1-70B](https://huggingface.co/DISLab/SummLlama3.1-70B)
+* [hitachi-nlp/Llama-3.1-70B-FLDx2](https://huggingface.co/hitachi-nlp/Llama-3.1-70B-FLDx2)
+* [HPAI-BSC/Llama3.1-Aloe-Beta-70B](https://huggingface.co/HPAI-BSC/Llama3.1-Aloe-Beta-70B)
+* [marcelbinz/Llama-3.1-Centaur-70B](https://huggingface.co/marcelbinz/Llama-3.1-Centaur-70B)
+* [Skywork/Skywork-Critic-Llama-3.1-70B](https://huggingface.co/Skywork/Skywork-Critic-Llama-3.1-70B)
+* [tokyotech-llm/Llama-3.1-Swallow-70B-v0.1](https://huggingface.co/tokyotech-llm/Llama-3.1-Swallow-70B-v0.1)
+* [tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1](https://huggingface.co/tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1)
+* [meta-llama/Llama-3.1-70B](https://huggingface.co/meta-llama/Llama-3.1-70B)
+* [meta-llama/Llama-3.1-70B-Instruct](https://huggingface.co/meta-llama/Llama-3.1-70B-Instruct)
+
+### Configuration
+
+The following YAML configuration was used to produce this model:
+
+```yaml
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-swallow
+---
+merge_method: task_arithmetic
+base_model: meta-llama/Llama-3.1-70B
+models:
+  - model: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
+    parameters:
+      weight: 1.0
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+---
+merge_method: slerp
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+  - model: cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow-preset
+---
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow-preset
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow
+---
+merge_method: slerp
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+  - model: AXCXEPT/Llama-3.1-70B-EZO-1.1-it
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow-preset
+---
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow-preset
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow
+---
+merge_method: model_stock
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-swallow
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: HPAI-BSC/Llama3.1-Aloe-Beta-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-aloe
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: marcelbinz/Llama-3.1-Centaur-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-centaur
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: hitachi-nlp/Llama-3.1-70B-FLDx2
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-fldx2
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Skywork/Skywork-Critic-Llama-3.1-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-skywork
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: DISLab/SummLlama3.1-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-summ
+---
+merge_method: model_stock
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-aloe
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-centaur
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-fldx2
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-summ
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-skywork
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-flavor
+---
+merge_method: slerp
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-flavor
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1
+```

config.json

@@ -0,0 +1,40 @@
+{
+  "_name_or_path": "nitky/Llama-3.3-SuperSwallowX-70B-Instruct-v0.1",
+  "architectures": [
+    "LlamaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 128000,
+  "eos_token_id": [
+    128001,
+    128008,
+    128009
+  ],
+  "head_dim": 128,
+  "hidden_act": "silu",
+  "hidden_size": 8192,
+  "initializer_range": 0.02,
+  "intermediate_size": 28672,
+  "max_position_embeddings": 131072,
+  "mlp_bias": false,
+  "model_type": "llama",
+  "num_attention_heads": 64,
+  "num_hidden_layers": 80,
+  "num_key_value_heads": 8,
+  "pretraining_tp": 1,
+  "rms_norm_eps": 1e-05,
+  "rope_scaling": {
+    "factor": 8.0,
+    "high_freq_factor": 4.0,
+    "low_freq_factor": 1.0,
+    "original_max_position_embeddings": 8192,
+    "rope_type": "llama3"
+  },
+  "rope_theta": 500000.0,
+  "tie_word_embeddings": false,
+  "torch_dtype": "bfloat16",
+  "transformers_version": "4.47.1",
+  "use_cache": true,
+  "vocab_size": 128256
+}

mergekit_config.yml

@@ -0,0 +1,155 @@
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-swallow
+---
+merge_method: task_arithmetic
+base_model: meta-llama/Llama-3.1-70B
+models:
+  - model: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.1
+    parameters:
+      weight: 1.0
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+---
+merge_method: slerp
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+  - model: cyberagent/Llama-3.1-70B-Japanese-Instruct-2407
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow-preset
+---
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow-preset
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow
+---
+merge_method: slerp
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-llamaswallow
+  - model: AXCXEPT/Llama-3.1-70B-EZO-1.1-it
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow-preset
+---
+merge_method: task_arithmetic
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow-preset
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow
+---
+merge_method: model_stock
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-swallow
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-cyberswallow
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-ezoswallow
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: HPAI-BSC/Llama3.1-Aloe-Beta-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-aloe
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: marcelbinz/Llama-3.1-Centaur-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-centaur
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: hitachi-nlp/Llama-3.1-70B-FLDx2
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-fldx2
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: Skywork/Skywork-Critic-Llama-3.1-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-skywork
+---
+merge_method: task_arithmetic
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: meta-llama/Llama-3.1-70B-Instruct
+    parameters:
+      weight: -1.0
+  - model: DISLab/SummLlama3.1-70B
+    parameters:
+      weight: 1.0
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-summ
+---
+merge_method: model_stock
+base_model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-base
+models:
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-aloe
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-centaur
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-fldx2
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-summ
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-preset-skywork
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-flavor
+---
+merge_method: slerp
+base_model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+models:
+  - model: nitky/Llama-3.3-SuperSwallow-70B-Instruct-v0.1
+  - model: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1-flavor
+parameters:
+  t: 0.5
+dtype: bfloat16
+name: Llama-3.3-SuperSwallowX-70B-Instruct-v0.1

model-00001-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ba6f8b80d469380574cb586fa4beaf3250fe36f65e3f1a67070a13e35f094fb2
+size 4672471504

model-00002-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a514a9143b5efa6a52ed5cb5fbe54f9580523afaae44286e4d559fdc87633ceb
+size 4664167400

model-00003-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:013b86d3a51d1e4a881db2a05c2b9b0bc8349b0006a72a222e5010f35ac08467
+size 4982917904

model-00004-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a04272db2cc9505ae7d288abf5d9c748662377cf13ff7c4d943790ffd6971aec
+size 4999711736

model-00005-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8157f6d39ee7efe563951f143c716990fdb189e34fc6403703805b708cf3e481
+size 4647373576

model-00006-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e0cfad522715539b34cdda22da775587ecb004f27a5d2b4343d1fca89484a657
+size 4664167400

model-00007-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5b89a6015ff1c745efa79fde86ea4f02446eb071b6b026102404f39d9643193d
+size 4664167416

model-00008-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:83449aa236944be94d1f5b51d38385d0e28fa6a7e9c97a4042ad57a3a7f3cf54
+size 4982917904

model-00009-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3b8473edd822f7e96fc34b8931a3b5f86682a67ab455f2a6cb206981958b7aef
+size 4999711736

model-00010-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d2b3ff3f9bf377a2fb0780d25252097e57128bca56281be778aa8f338a5d6df3
+size 4647373568

model-00011-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e292ef7d5debbe7aeb7b003c8828985a7c11f1b862c6d2fca9c92a34278cf7f7
+size 4664167408

model-00012-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:7c2160fe505787f1906a6547890f9f527ef89b97bb412ec6a25d90f65cf7a32c
+size 4664167416

model-00013-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5290574245f38e6732485ec6f9ba2e79df9613e6b21c9e070e4836fa36b1a6b5
+size 4982917904

model-00014-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:bbe618b20742c615fc5235fc812aa30492f9aff287ca333a2e1fa4382130bcba
+size 4999711728

model-00015-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d8f377213b2c92d5403a0e5839715ca5addf58423c20a08d191f1ac140eae5cb
+size 4647373576

model-00016-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:72f489b5bc7f08198709eb58bc0dddee2f0cd12a023a50160ee45b12eef9a959
+size 4664167408

model-00017-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9110af0509d54a1282144a34930dcad3f9a6b6b061f2ee2efb5b628a52a23e58
+size 4664167416

model-00018-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2989a25bc5aa7e8c12c7e422030a5d8b621791dafe9f7d4b4061445307d7922a
+size 4982917896

model-00019-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4bae44a997200316278ccbf6f3afc5bcef35424a94e348a722d213a21e981591
+size 4999711736

model-00020-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6d95caef5831a869adb6830dcc53302d88d5e1d6ddb6c89895958e49a54379b5
+size 4647373576

model-00021-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:95b8b654019224161838b4fd02fe42f0dfb5803cb489ef18a62023863590d5d6
+size 4664167408

model-00022-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5537dd0b0c05e73a871ded786943eb4fad4f4fe474a92dce5928708bd9005c43
+size 4664167408

model-00023-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:697f62037e70cfb4c28bfe426992ae62a6832d374f25790ba7602a6faf7713b0
+size 4982917904

model-00024-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:15068ceb1ce207ee9996bed129c8202234f64d4ad60b6511d252c8d6344d079a
+size 4999711736

model-00025-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:15f4fa55bbd25f7f002b52de6a117cd6093c86302a4fc1205bb7a4808b7bf084
+size 4647373576

model-00026-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c916d4a333413597bb4586984f967b47a904605559f4bf2f79f740fa5b6081f
+size 4664167400

model-00027-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4cbae5a16cf78c3e6219480c25118a1e65143ab8da6651ad2f20ce7fea0a76f5
+size 4664167416

model-00028-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a7b924c2a364e6045b52f60217a95a90af4a8e83e9d3c6e85ea70509b7ecf0e5
+size 4982917904

model-00029-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3217e59bf7767aed80486c2588eac43960f929ef5e074cfaf120bc1d1c6a5d17
+size 4999711728

model-00030-of-00030.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:561f7c604abedefc23e8a8b898d953c8de965206a2ca69a68bd25f97ade743bc
+size 1996539368

model.safetensors.index.json

@@ -0,0 +1 @@
+{"metadata": {"mergekit_version": "0.0.5.2", "total_size": 141107412992}, "weight_map": {"lm_head.weight": "model-00001-of-00030.safetensors", "model.embed_tokens.weight": "model-00001-of-00030.safetensors", "model.layers.0.input_layernorm.weight": "model-00001-of-00030.safetensors", "model.layers.0.mlp.down_proj.weight": "model-00001-of-00030.safetensors", "model.layers.0.mlp.gate_proj.weight": "model-00002-of-00030.safetensors", "model.layers.0.mlp.up_proj.weight": "model-00002-of-00030.safetensors", "model.layers.0.post_attention_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.0.self_attn.k_proj.weight": "model-00002-of-00030.safetensors", "model.layers.0.self_attn.o_proj.weight": "model-00002-of-00030.safetensors", "model.layers.0.self_attn.q_proj.weight": "model-00002-of-00030.safetensors", "model.layers.0.self_attn.v_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.input_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.1.mlp.down_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.mlp.gate_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.mlp.up_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.post_attention_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.1.self_attn.k_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.self_attn.o_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.self_attn.q_proj.weight": "model-00002-of-00030.safetensors", "model.layers.1.self_attn.v_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.input_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.10.mlp.down_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.mlp.up_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.10.self_attn.k_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.self_attn.o_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.self_attn.q_proj.weight": "model-00002-of-00030.safetensors", "model.layers.10.self_attn.v_proj.weight": "model-00002-of-00030.safetensors", "model.layers.11.input_layernorm.weight": "model-00002-of-00030.safetensors", "model.layers.11.mlp.down_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.mlp.gate_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.mlp.up_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.post_attention_layernorm.weight": "model-00003-of-00030.safetensors", "model.layers.11.self_attn.k_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.self_attn.o_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.self_attn.q_proj.weight": "model-00003-of-00030.safetensors", "model.layers.11.self_attn.v_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.input_layernorm.weight": "model-00003-of-00030.safetensors", "model.layers.12.mlp.down_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.mlp.gate_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.mlp.up_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.post_attention_layernorm.weight": "model-00003-of-00030.safetensors", "model.layers.12.self_attn.k_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.self_attn.o_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.self_attn.q_proj.weight": "model-00003-of-00030.safetensors", "model.layers.12.self_attn.v_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.input_layernorm.weight": "model-00003-of-00030.safetensors", "model.layers.13.mlp.down_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.mlp.gate_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.mlp.up_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.post_attention_layernorm.weight": "model-00003-of-00030.safetensors", "model.layers.13.self_attn.k_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.self_attn.o_proj.weight": "model-00003-of-00030.safetensors", "model.layers.13.self_attn.q_proj.weight": "model-00004-of-00030.safetensors", "model.layers.13.self_attn.v_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.input_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.14.mlp.down_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.mlp.gate_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.mlp.up_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.post_attention_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.14.self_attn.k_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.self_attn.o_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.self_attn.q_proj.weight": "model-00004-of-00030.safetensors", "model.layers.14.self_attn.v_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.input_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.15.mlp.down_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.mlp.gate_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.mlp.up_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.post_attention_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.15.self_attn.k_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.self_attn.o_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.self_attn.q_proj.weight": "model-00004-of-00030.safetensors", "model.layers.15.self_attn.v_proj.weight": "model-00004-of-00030.safetensors", "model.layers.16.input_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.16.mlp.down_proj.weight": "model-00004-of-00030.safetensors", "model.layers.16.mlp.gate_proj.weight": "model-00004-of-00030.safetensors", "model.layers.16.mlp.up_proj.weight": "model-00004-of-00030.safetensors", "model.layers.16.post_attention_layernorm.weight": "model-00004-of-00030.safetensors", "model.layers.16.self_attn.k_proj.weight": "model-00004-of-00030.safetensors", "model.layers.16.self_attn.o_proj.weight": "model-00005-of-00030.safetensors", "model.layers.16.self_attn.q_proj.weight": "model-00005-of-00030.safetensors", "model.layers.16.self_attn.v_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.input_layernorm.weight": "model-00005-of-00030.safetensors", "model.layers.17.mlp.down_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.mlp.gate_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.mlp.up_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.post_attention_layernorm.weight": "model-00005-of-00030.safetensors", "model.layers.17.self_attn.k_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.self_attn.o_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.self_attn.q_proj.weight": "model-00005-of-00030.safetensors", "model.layers.17.self_attn.v_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.input_layernorm.weight": "model-00005-of-00030.safetensors", "model.layers.18.mlp.down_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.mlp.gate_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.mlp.up_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.post_attention_layernorm.weight": "model-00005-of-00030.safetensors", "model.layers.18.self_attn.k_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.self_attn.o_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.self_attn.q_proj.weight": "model-00005-of-00030.safetensors", "model.layers.18.self_attn.v_proj.weight": "model-00005-of-00030.safetensors", "model.layers.19.input_layernorm.weight": "model-00005-of-00030.safetensors", "model.layers.19.mlp.down_proj.weight": "model-00005-of-00030.safetensors", "model.layers.19.mlp.gate_proj.weight": "model-00005-of-00030.safetensors", "model.layers.19.mlp.up_proj.weight": "model-00006-of-00030.safetensors", "model.layers.19.post_attention_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.19.self_attn.k_proj.weight": "model-00006-of-00030.safetensors", "model.layers.19.self_attn.o_proj.weight": "model-00006-of-00030.safetensors", "model.layers.19.self_attn.q_proj.weight": "model-00006-of-00030.safetensors", "model.layers.19.self_attn.v_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.input_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.2.mlp.down_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.mlp.gate_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.mlp.up_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.post_attention_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.2.self_attn.k_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.self_attn.o_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.self_attn.q_proj.weight": "model-00006-of-00030.safetensors", "model.layers.2.self_attn.v_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.input_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.20.mlp.down_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.mlp.gate_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.mlp.up_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.post_attention_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.20.self_attn.k_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.self_attn.o_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.self_attn.q_proj.weight": "model-00006-of-00030.safetensors", "model.layers.20.self_attn.v_proj.weight": "model-00006-of-00030.safetensors", "model.layers.21.input_layernorm.weight": "model-00006-of-00030.safetensors", "model.layers.21.mlp.down_proj.weight": "model-00006-of-00030.safetensors", "model.layers.21.mlp.gate_proj.weight": "model-00007-of-00030.safetensors", "model.layers.21.mlp.up_proj.weight": "model-00007-of-00030.safetensors", "model.layers.21.post_attention_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.21.self_attn.k_proj.weight": "model-00007-of-00030.safetensors", "model.layers.21.self_attn.o_proj.weight": "model-00007-of-00030.safetensors", "model.layers.21.self_attn.q_proj.weight": "model-00007-of-00030.safetensors", "model.layers.21.self_attn.v_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.input_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.22.mlp.down_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.mlp.gate_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.mlp.up_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.post_attention_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.22.self_attn.k_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.self_attn.o_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.self_attn.q_proj.weight": "model-00007-of-00030.safetensors", "model.layers.22.self_attn.v_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.input_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.23.mlp.down_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.mlp.gate_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.mlp.up_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.post_attention_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.23.self_attn.k_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.self_attn.o_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.self_attn.q_proj.weight": "model-00007-of-00030.safetensors", "model.layers.23.self_attn.v_proj.weight": "model-00007-of-00030.safetensors", "model.layers.24.input_layernorm.weight": "model-00007-of-00030.safetensors", "model.layers.24.mlp.down_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.mlp.gate_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.mlp.up_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.post_attention_layernorm.weight": "model-00008-of-00030.safetensors", "model.layers.24.self_attn.k_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.self_attn.o_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.self_attn.q_proj.weight": "model-00008-of-00030.safetensors", "model.layers.24.self_attn.v_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.input_layernorm.weight": "model-00008-of-00030.safetensors", "model.layers.25.mlp.down_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.mlp.gate_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.mlp.up_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.post_attention_layernorm.weight": "model-00008-of-00030.safetensors", "model.layers.25.self_attn.k_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.self_attn.o_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.self_attn.q_proj.weight": "model-00008-of-00030.safetensors", "model.layers.25.self_attn.v_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.input_layernorm.weight": "model-00008-of-00030.safetensors", "model.layers.26.mlp.down_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.mlp.gate_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.mlp.up_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.post_attention_layernorm.weight": "model-00008-of-00030.safetensors", "model.layers.26.self_attn.k_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.self_attn.o_proj.weight": "model-00008-of-00030.safetensors", "model.layers.26.self_attn.q_proj.weight": "model-00009-of-00030.safetensors", "model.layers.26.self_attn.v_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.input_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.27.mlp.down_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.mlp.gate_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.mlp.up_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.post_attention_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.27.self_attn.k_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.self_attn.o_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.self_attn.q_proj.weight": "model-00009-of-00030.safetensors", "model.layers.27.self_attn.v_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.input_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.28.mlp.down_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.mlp.gate_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.mlp.up_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.post_attention_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.28.self_attn.k_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.self_attn.o_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.self_attn.q_proj.weight": "model-00009-of-00030.safetensors", "model.layers.28.self_attn.v_proj.weight": "model-00009-of-00030.safetensors", "model.layers.29.input_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.29.mlp.down_proj.weight": "model-00009-of-00030.safetensors", "model.layers.29.mlp.gate_proj.weight": "model-00009-of-00030.safetensors", "model.layers.29.mlp.up_proj.weight": "model-00009-of-00030.safetensors", "model.layers.29.post_attention_layernorm.weight": "model-00009-of-00030.safetensors", "model.layers.29.self_attn.k_proj.weight": "model-00009-of-00030.safetensors", "model.layers.29.self_attn.o_proj.weight": "model-00010-of-00030.safetensors", "model.layers.29.self_attn.q_proj.weight": "model-00010-of-00030.safetensors", "model.layers.29.self_attn.v_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.input_layernorm.weight": "model-00010-of-00030.safetensors", "model.layers.3.mlp.down_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.mlp.gate_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.mlp.up_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.post_attention_layernorm.weight": "model-00010-of-00030.safetensors", "model.layers.3.self_attn.k_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.self_attn.o_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.self_attn.q_proj.weight": "model-00010-of-00030.safetensors", "model.layers.3.self_attn.v_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.input_layernorm.weight": "model-00010-of-00030.safetensors", "model.layers.30.mlp.down_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.mlp.gate_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.mlp.up_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.post_attention_layernorm.weight": "model-00010-of-00030.safetensors", "model.layers.30.self_attn.k_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.self_attn.o_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.self_attn.q_proj.weight": "model-00010-of-00030.safetensors", "model.layers.30.self_attn.v_proj.weight": "model-00010-of-00030.safetensors", "model.layers.31.input_layernorm.weight": "model-00010-of-00030.safetensors", "model.layers.31.mlp.down_proj.weight": "model-00010-of-00030.safetensors", "model.layers.31.mlp.gate_proj.weight": "model-00010-of-00030.safetensors", "model.layers.31.mlp.up_proj.weight": "model-00011-of-00030.safetensors", "model.layers.31.post_attention_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.31.self_attn.k_proj.weight": "model-00011-of-00030.safetensors", "model.layers.31.self_attn.o_proj.weight": "model-00011-of-00030.safetensors", "model.layers.31.self_attn.q_proj.weight": "model-00011-of-00030.safetensors", "model.layers.31.self_attn.v_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.input_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.32.mlp.down_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.mlp.gate_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.mlp.up_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.post_attention_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.32.self_attn.k_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.self_attn.o_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.self_attn.q_proj.weight": "model-00011-of-00030.safetensors", "model.layers.32.self_attn.v_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.input_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.33.mlp.down_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.mlp.gate_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.mlp.up_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.post_attention_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.33.self_attn.k_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.self_attn.o_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.self_attn.q_proj.weight": "model-00011-of-00030.safetensors", "model.layers.33.self_attn.v_proj.weight": "model-00011-of-00030.safetensors", "model.layers.34.input_layernorm.weight": "model-00011-of-00030.safetensors", "model.layers.34.mlp.down_proj.weight": "model-00011-of-00030.safetensors", "model.layers.34.mlp.gate_proj.weight": "model-00012-of-00030.safetensors", "model.layers.34.mlp.up_proj.weight": "model-00012-of-00030.safetensors", "model.layers.34.post_attention_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.34.self_attn.k_proj.weight": "model-00012-of-00030.safetensors", "model.layers.34.self_attn.o_proj.weight": "model-00012-of-00030.safetensors", "model.layers.34.self_attn.q_proj.weight": "model-00012-of-00030.safetensors", "model.layers.34.self_attn.v_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.input_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.35.mlp.down_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.mlp.gate_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.mlp.up_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.post_attention_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.35.self_attn.k_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.self_attn.o_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.self_attn.q_proj.weight": "model-00012-of-00030.safetensors", "model.layers.35.self_attn.v_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.input_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.36.mlp.down_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.mlp.gate_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.mlp.up_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.post_attention_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.36.self_attn.k_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.self_attn.o_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.self_attn.q_proj.weight": "model-00012-of-00030.safetensors", "model.layers.36.self_attn.v_proj.weight": "model-00012-of-00030.safetensors", "model.layers.37.input_layernorm.weight": "model-00012-of-00030.safetensors", "model.layers.37.mlp.down_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.mlp.gate_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.mlp.up_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.post_attention_layernorm.weight": "model-00013-of-00030.safetensors", "model.layers.37.self_attn.k_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.self_attn.o_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.self_attn.q_proj.weight": "model-00013-of-00030.safetensors", "model.layers.37.self_attn.v_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.input_layernorm.weight": "model-00013-of-00030.safetensors", "model.layers.38.mlp.down_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.mlp.gate_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.mlp.up_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.post_attention_layernorm.weight": "model-00013-of-00030.safetensors", "model.layers.38.self_attn.k_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.self_attn.o_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.self_attn.q_proj.weight": "model-00013-of-00030.safetensors", "model.layers.38.self_attn.v_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.input_layernorm.weight": "model-00013-of-00030.safetensors", "model.layers.39.mlp.down_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.mlp.gate_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.mlp.up_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.post_attention_layernorm.weight": "model-00013-of-00030.safetensors", "model.layers.39.self_attn.k_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.self_attn.o_proj.weight": "model-00013-of-00030.safetensors", "model.layers.39.self_attn.q_proj.weight": "model-00014-of-00030.safetensors", "model.layers.39.self_attn.v_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.input_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.4.mlp.down_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.mlp.gate_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.mlp.up_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.post_attention_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.4.self_attn.k_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.self_attn.o_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.self_attn.q_proj.weight": "model-00014-of-00030.safetensors", "model.layers.4.self_attn.v_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.input_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.40.mlp.down_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.mlp.gate_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.mlp.up_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.post_attention_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.40.self_attn.k_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.self_attn.o_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.self_attn.q_proj.weight": "model-00014-of-00030.safetensors", "model.layers.40.self_attn.v_proj.weight": "model-00014-of-00030.safetensors", "model.layers.41.input_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.41.mlp.down_proj.weight": "model-00014-of-00030.safetensors", "model.layers.41.mlp.gate_proj.weight": "model-00014-of-00030.safetensors", "model.layers.41.mlp.up_proj.weight": "model-00014-of-00030.safetensors", "model.layers.41.post_attention_layernorm.weight": "model-00014-of-00030.safetensors", "model.layers.41.self_attn.k_proj.weight": "model-00014-of-00030.safetensors", "model.layers.41.self_attn.o_proj.weight": "model-00015-of-00030.safetensors", "model.layers.41.self_attn.q_proj.weight": "model-00015-of-00030.safetensors", "model.layers.41.self_attn.v_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.input_layernorm.weight": "model-00015-of-00030.safetensors", "model.layers.42.mlp.down_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.mlp.gate_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.mlp.up_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.post_attention_layernorm.weight": "model-00015-of-00030.safetensors", "model.layers.42.self_attn.k_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.self_attn.o_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.self_attn.q_proj.weight": "model-00015-of-00030.safetensors", "model.layers.42.self_attn.v_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.input_layernorm.weight": "model-00015-of-00030.safetensors", "model.layers.43.mlp.down_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.mlp.gate_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.mlp.up_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.post_attention_layernorm.weight": "model-00015-of-00030.safetensors", "model.layers.43.self_attn.k_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.self_attn.o_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.self_attn.q_proj.weight": "model-00015-of-00030.safetensors", "model.layers.43.self_attn.v_proj.weight": "model-00015-of-00030.safetensors", "model.layers.44.input_layernorm.weight": "model-00015-of-00030.safetensors", "model.layers.44.mlp.down_proj.weight": "model-00015-of-00030.safetensors", "model.layers.44.mlp.gate_proj.weight": "model-00015-of-00030.safetensors", "model.layers.44.mlp.up_proj.weight": "model-00016-of-00030.safetensors", "model.layers.44.post_attention_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.44.self_attn.k_proj.weight": "model-00016-of-00030.safetensors", "model.layers.44.self_attn.o_proj.weight": "model-00016-of-00030.safetensors", "model.layers.44.self_attn.q_proj.weight": "model-00016-of-00030.safetensors", "model.layers.44.self_attn.v_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.input_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.45.mlp.down_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.mlp.gate_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.mlp.up_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.post_attention_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.45.self_attn.k_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.self_attn.o_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.self_attn.q_proj.weight": "model-00016-of-00030.safetensors", "model.layers.45.self_attn.v_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.input_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.46.mlp.down_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.mlp.gate_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.mlp.up_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.post_attention_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.46.self_attn.k_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.self_attn.o_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.self_attn.q_proj.weight": "model-00016-of-00030.safetensors", "model.layers.46.self_attn.v_proj.weight": "model-00016-of-00030.safetensors", "model.layers.47.input_layernorm.weight": "model-00016-of-00030.safetensors", "model.layers.47.mlp.down_proj.weight": "model-00016-of-00030.safetensors", "model.layers.47.mlp.gate_proj.weight": "model-00017-of-00030.safetensors", "model.layers.47.mlp.up_proj.weight": "model-00017-of-00030.safetensors", "model.layers.47.post_attention_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.47.self_attn.k_proj.weight": "model-00017-of-00030.safetensors", "model.layers.47.self_attn.o_proj.weight": "model-00017-of-00030.safetensors", "model.layers.47.self_attn.q_proj.weight": "model-00017-of-00030.safetensors", "model.layers.47.self_attn.v_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.input_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.48.mlp.down_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.mlp.gate_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.mlp.up_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.post_attention_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.48.self_attn.k_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.self_attn.o_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.self_attn.q_proj.weight": "model-00017-of-00030.safetensors", "model.layers.48.self_attn.v_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.input_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.49.mlp.down_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.mlp.gate_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.mlp.up_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.post_attention_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.49.self_attn.k_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.self_attn.o_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.self_attn.q_proj.weight": "model-00017-of-00030.safetensors", "model.layers.49.self_attn.v_proj.weight": "model-00017-of-00030.safetensors", "model.layers.5.input_layernorm.weight": "model-00017-of-00030.safetensors", "model.layers.5.mlp.down_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.mlp.gate_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.mlp.up_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.post_attention_layernorm.weight": "model-00018-of-00030.safetensors", "model.layers.5.self_attn.k_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.self_attn.o_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.self_attn.q_proj.weight": "model-00018-of-00030.safetensors", "model.layers.5.self_attn.v_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.input_layernorm.weight": "model-00018-of-00030.safetensors", "model.layers.50.mlp.down_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.mlp.gate_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.mlp.up_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.post_attention_layernorm.weight": "model-00018-of-00030.safetensors", "model.layers.50.self_attn.k_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.self_attn.o_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.self_attn.q_proj.weight": "model-00018-of-00030.safetensors", "model.layers.50.self_attn.v_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.input_layernorm.weight": "model-00018-of-00030.safetensors", "model.layers.51.mlp.down_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.mlp.gate_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.mlp.up_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.post_attention_layernorm.weight": "model-00018-of-00030.safetensors", "model.layers.51.self_attn.k_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.self_attn.o_proj.weight": "model-00018-of-00030.safetensors", "model.layers.51.self_attn.q_proj.weight": "model-00019-of-00030.safetensors", "model.layers.51.self_attn.v_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.input_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.52.mlp.down_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.mlp.gate_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.mlp.up_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.post_attention_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.52.self_attn.k_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.self_attn.o_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.self_attn.q_proj.weight": "model-00019-of-00030.safetensors", "model.layers.52.self_attn.v_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.input_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.53.mlp.down_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.mlp.gate_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.mlp.up_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.post_attention_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.53.self_attn.k_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.self_attn.o_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.self_attn.q_proj.weight": "model-00019-of-00030.safetensors", "model.layers.53.self_attn.v_proj.weight": "model-00019-of-00030.safetensors", "model.layers.54.input_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.54.mlp.down_proj.weight": "model-00019-of-00030.safetensors", "model.layers.54.mlp.gate_proj.weight": "model-00019-of-00030.safetensors", "model.layers.54.mlp.up_proj.weight": "model-00019-of-00030.safetensors", "model.layers.54.post_attention_layernorm.weight": "model-00019-of-00030.safetensors", "model.layers.54.self_attn.k_proj.weight": "model-00019-of-00030.safetensors", "model.layers.54.self_attn.o_proj.weight": "model-00020-of-00030.safetensors", "model.layers.54.self_attn.q_proj.weight": "model-00020-of-00030.safetensors", "model.layers.54.self_attn.v_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.input_layernorm.weight": "model-00020-of-00030.safetensors", "model.layers.55.mlp.down_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.mlp.gate_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.mlp.up_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.post_attention_layernorm.weight": "model-00020-of-00030.safetensors", "model.layers.55.self_attn.k_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.self_attn.o_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.self_attn.q_proj.weight": "model-00020-of-00030.safetensors", "model.layers.55.self_attn.v_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.input_layernorm.weight": "model-00020-of-00030.safetensors", "model.layers.56.mlp.down_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.mlp.gate_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.mlp.up_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.post_attention_layernorm.weight": "model-00020-of-00030.safetensors", "model.layers.56.self_attn.k_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.self_attn.o_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.self_attn.q_proj.weight": "model-00020-of-00030.safetensors", "model.layers.56.self_attn.v_proj.weight": "model-00020-of-00030.safetensors", "model.layers.57.input_layernorm.weight": "model-00020-of-00030.safetensors", "model.layers.57.mlp.down_proj.weight": "model-00020-of-00030.safetensors", "model.layers.57.mlp.gate_proj.weight": "model-00020-of-00030.safetensors", "model.layers.57.mlp.up_proj.weight": "model-00021-of-00030.safetensors", "model.layers.57.post_attention_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.57.self_attn.k_proj.weight": "model-00021-of-00030.safetensors", "model.layers.57.self_attn.o_proj.weight": "model-00021-of-00030.safetensors", "model.layers.57.self_attn.q_proj.weight": "model-00021-of-00030.safetensors", "model.layers.57.self_attn.v_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.input_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.58.mlp.down_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.mlp.gate_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.mlp.up_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.post_attention_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.58.self_attn.k_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.self_attn.o_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.self_attn.q_proj.weight": "model-00021-of-00030.safetensors", "model.layers.58.self_attn.v_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.input_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.59.mlp.down_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.mlp.gate_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.mlp.up_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.post_attention_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.59.self_attn.k_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.self_attn.o_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.self_attn.q_proj.weight": "model-00021-of-00030.safetensors", "model.layers.59.self_attn.v_proj.weight": "model-00021-of-00030.safetensors", "model.layers.6.input_layernorm.weight": "model-00021-of-00030.safetensors", "model.layers.6.mlp.down_proj.weight": "model-00021-of-00030.safetensors", "model.layers.6.mlp.gate_proj.weight": "model-00022-of-00030.safetensors", "model.layers.6.mlp.up_proj.weight": "model-00022-of-00030.safetensors", "model.layers.6.post_attention_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.6.self_attn.k_proj.weight": "model-00022-of-00030.safetensors", "model.layers.6.self_attn.o_proj.weight": "model-00022-of-00030.safetensors", "model.layers.6.self_attn.q_proj.weight": "model-00022-of-00030.safetensors", "model.layers.6.self_attn.v_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.input_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.60.mlp.down_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.mlp.gate_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.mlp.up_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.post_attention_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.60.self_attn.k_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.self_attn.o_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.self_attn.q_proj.weight": "model-00022-of-00030.safetensors", "model.layers.60.self_attn.v_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.input_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.61.mlp.down_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.mlp.gate_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.mlp.up_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.post_attention_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.61.self_attn.k_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.self_attn.o_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.self_attn.q_proj.weight": "model-00022-of-00030.safetensors", "model.layers.61.self_attn.v_proj.weight": "model-00022-of-00030.safetensors", "model.layers.62.input_layernorm.weight": "model-00022-of-00030.safetensors", "model.layers.62.mlp.down_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.mlp.gate_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.mlp.up_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.post_attention_layernorm.weight": "model-00023-of-00030.safetensors", "model.layers.62.self_attn.k_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.self_attn.o_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.self_attn.q_proj.weight": "model-00023-of-00030.safetensors", "model.layers.62.self_attn.v_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.input_layernorm.weight": "model-00023-of-00030.safetensors", "model.layers.63.mlp.down_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.mlp.gate_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.mlp.up_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.post_attention_layernorm.weight": "model-00023-of-00030.safetensors", "model.layers.63.self_attn.k_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.self_attn.o_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.self_attn.q_proj.weight": "model-00023-of-00030.safetensors", "model.layers.63.self_attn.v_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.input_layernorm.weight": "model-00023-of-00030.safetensors", "model.layers.64.mlp.down_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.mlp.gate_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.mlp.up_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.post_attention_layernorm.weight": "model-00023-of-00030.safetensors", "model.layers.64.self_attn.k_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.self_attn.o_proj.weight": "model-00023-of-00030.safetensors", "model.layers.64.self_attn.q_proj.weight": "model-00024-of-00030.safetensors", "model.layers.64.self_attn.v_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.input_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.65.mlp.down_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.mlp.gate_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.mlp.up_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.post_attention_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.65.self_attn.k_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.self_attn.o_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.self_attn.q_proj.weight": "model-00024-of-00030.safetensors", "model.layers.65.self_attn.v_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.input_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.66.mlp.down_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.mlp.gate_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.mlp.up_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.post_attention_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.66.self_attn.k_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.self_attn.o_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.self_attn.q_proj.weight": "model-00024-of-00030.safetensors", "model.layers.66.self_attn.v_proj.weight": "model-00024-of-00030.safetensors", "model.layers.67.input_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.67.mlp.down_proj.weight": "model-00024-of-00030.safetensors", "model.layers.67.mlp.gate_proj.weight": "model-00024-of-00030.safetensors", "model.layers.67.mlp.up_proj.weight": "model-00024-of-00030.safetensors", "model.layers.67.post_attention_layernorm.weight": "model-00024-of-00030.safetensors", "model.layers.67.self_attn.k_proj.weight": "model-00024-of-00030.safetensors", "model.layers.67.self_attn.o_proj.weight": "model-00025-of-00030.safetensors", "model.layers.67.self_attn.q_proj.weight": "model-00025-of-00030.safetensors", "model.layers.67.self_attn.v_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.input_layernorm.weight": "model-00025-of-00030.safetensors", "model.layers.68.mlp.down_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.mlp.gate_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.mlp.up_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.post_attention_layernorm.weight": "model-00025-of-00030.safetensors", "model.layers.68.self_attn.k_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.self_attn.o_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.self_attn.q_proj.weight": "model-00025-of-00030.safetensors", "model.layers.68.self_attn.v_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.input_layernorm.weight": "model-00025-of-00030.safetensors", "model.layers.69.mlp.down_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.mlp.gate_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.mlp.up_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.post_attention_layernorm.weight": "model-00025-of-00030.safetensors", "model.layers.69.self_attn.k_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.self_attn.o_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.self_attn.q_proj.weight": "model-00025-of-00030.safetensors", "model.layers.69.self_attn.v_proj.weight": "model-00025-of-00030.safetensors", "model.layers.7.input_layernorm.weight": "model-00025-of-00030.safetensors", "model.layers.7.mlp.down_proj.weight": "model-00025-of-00030.safetensors", "model.layers.7.mlp.gate_proj.weight": "model-00025-of-00030.safetensors", "model.layers.7.mlp.up_proj.weight": "model-00026-of-00030.safetensors", "model.layers.7.post_attention_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.7.self_attn.k_proj.weight": "model-00026-of-00030.safetensors", "model.layers.7.self_attn.o_proj.weight": "model-00026-of-00030.safetensors", "model.layers.7.self_attn.q_proj.weight": "model-00026-of-00030.safetensors", "model.layers.7.self_attn.v_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.input_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.70.mlp.down_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.mlp.gate_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.mlp.up_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.post_attention_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.70.self_attn.k_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.self_attn.o_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.self_attn.q_proj.weight": "model-00026-of-00030.safetensors", "model.layers.70.self_attn.v_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.input_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.71.mlp.down_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.mlp.gate_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.mlp.up_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.post_attention_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.71.self_attn.k_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.self_attn.o_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.self_attn.q_proj.weight": "model-00026-of-00030.safetensors", "model.layers.71.self_attn.v_proj.weight": "model-00026-of-00030.safetensors", "model.layers.72.input_layernorm.weight": "model-00026-of-00030.safetensors", "model.layers.72.mlp.down_proj.weight": "model-00026-of-00030.safetensors", "model.layers.72.mlp.gate_proj.weight": "model-00027-of-00030.safetensors", "model.layers.72.mlp.up_proj.weight": "model-00027-of-00030.safetensors", "model.layers.72.post_attention_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.72.self_attn.k_proj.weight": "model-00027-of-00030.safetensors", "model.layers.72.self_attn.o_proj.weight": "model-00027-of-00030.safetensors", "model.layers.72.self_attn.q_proj.weight": "model-00027-of-00030.safetensors", "model.layers.72.self_attn.v_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.input_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.73.mlp.down_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.mlp.gate_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.mlp.up_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.post_attention_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.73.self_attn.k_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.self_attn.o_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.self_attn.q_proj.weight": "model-00027-of-00030.safetensors", "model.layers.73.self_attn.v_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.input_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.74.mlp.down_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.mlp.gate_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.mlp.up_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.post_attention_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.74.self_attn.k_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.self_attn.o_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.self_attn.q_proj.weight": "model-00027-of-00030.safetensors", "model.layers.74.self_attn.v_proj.weight": "model-00027-of-00030.safetensors", "model.layers.75.input_layernorm.weight": "model-00027-of-00030.safetensors", "model.layers.75.mlp.down_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.mlp.gate_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.mlp.up_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.post_attention_layernorm.weight": "model-00028-of-00030.safetensors", "model.layers.75.self_attn.k_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.self_attn.o_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.self_attn.q_proj.weight": "model-00028-of-00030.safetensors", "model.layers.75.self_attn.v_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.input_layernorm.weight": "model-00028-of-00030.safetensors", "model.layers.76.mlp.down_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.mlp.gate_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.mlp.up_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.post_attention_layernorm.weight": "model-00028-of-00030.safetensors", "model.layers.76.self_attn.k_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.self_attn.o_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.self_attn.q_proj.weight": "model-00028-of-00030.safetensors", "model.layers.76.self_attn.v_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.input_layernorm.weight": "model-00028-of-00030.safetensors", "model.layers.77.mlp.down_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.mlp.gate_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.mlp.up_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.post_attention_layernorm.weight": "model-00028-of-00030.safetensors", "model.layers.77.self_attn.k_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.self_attn.o_proj.weight": "model-00028-of-00030.safetensors", "model.layers.77.self_attn.q_proj.weight": "model-00029-of-00030.safetensors", "model.layers.77.self_attn.v_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.input_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.78.mlp.down_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.mlp.gate_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.mlp.up_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.post_attention_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.78.self_attn.k_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.self_attn.o_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.self_attn.q_proj.weight": "model-00029-of-00030.safetensors", "model.layers.78.self_attn.v_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.input_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.79.mlp.down_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.mlp.gate_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.mlp.up_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.post_attention_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.79.self_attn.k_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.self_attn.o_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.self_attn.q_proj.weight": "model-00029-of-00030.safetensors", "model.layers.79.self_attn.v_proj.weight": "model-00029-of-00030.safetensors", "model.layers.8.input_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.8.mlp.down_proj.weight": "model-00029-of-00030.safetensors", "model.layers.8.mlp.gate_proj.weight": "model-00029-of-00030.safetensors", "model.layers.8.mlp.up_proj.weight": "model-00029-of-00030.safetensors", "model.layers.8.post_attention_layernorm.weight": "model-00029-of-00030.safetensors", "model.layers.8.self_attn.k_proj.weight": "model-00029-of-00030.safetensors", "model.layers.8.self_attn.o_proj.weight": "model-00030-of-00030.safetensors", "model.layers.8.self_attn.q_proj.weight": "model-00030-of-00030.safetensors", "model.layers.8.self_attn.v_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.input_layernorm.weight": "model-00030-of-00030.safetensors", "model.layers.9.mlp.down_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.mlp.gate_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.mlp.up_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.post_attention_layernorm.weight": "model-00030-of-00030.safetensors", "model.layers.9.self_attn.k_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.self_attn.o_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.self_attn.q_proj.weight": "model-00030-of-00030.safetensors", "model.layers.9.self_attn.v_proj.weight": "model-00030-of-00030.safetensors", "model.norm.weight": "model-00030-of-00030.safetensors"}}

special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<|begin_of_text|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|eot_id|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<|finetune_right_pad_id|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6b9e4e7fb171f92fd137b777cc2714bf87d11576700a1dcd7a399e7bbe39537b
+size 17209920

tokenizer_config.json

@@ -0,0 +1,2064 @@
+{
+  "added_tokens_decoder": {
+    "128000": {
+      "content": "<|begin_of_text|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128001": {
+      "content": "<|end_of_text|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128002": {
+      "content": "<|reserved_special_token_0|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128003": {
+      "content": "<|reserved_special_token_1|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128004": {
+      "content": "<|finetune_right_pad_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128005": {
+      "content": "<|reserved_special_token_2|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128006": {
+      "content": "<|start_header_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128007": {
+      "content": "<|end_header_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128008": {
+      "content": "<|eom_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128009": {
+      "content": "<|eot_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128010": {
+      "content": "<|python_tag|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128011": {
+      "content": "<|reserved_special_token_3|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128012": {
+      "content": "<|reserved_special_token_4|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128013": {
+      "content": "<|reserved_special_token_5|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128014": {
+      "content": "<|reserved_special_token_6|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128015": {
+      "content": "<|reserved_special_token_7|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128016": {
+      "content": "<|reserved_special_token_8|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128017": {
+      "content": "<|reserved_special_token_9|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128018": {
+      "content": "<|reserved_special_token_10|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128019": {
+      "content": "<|reserved_special_token_11|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128020": {
+      "content": "<|reserved_special_token_12|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128021": {
+      "content": "<|reserved_special_token_13|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128022": {
+      "content": "<|reserved_special_token_14|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128023": {
+      "content": "<|reserved_special_token_15|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128024": {
+      "content": "<|reserved_special_token_16|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128025": {
+      "content": "<|reserved_special_token_17|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128026": {
+      "content": "<|reserved_special_token_18|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128027": {
+      "content": "<|reserved_special_token_19|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128028": {
+      "content": "<|reserved_special_token_20|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128029": {
+      "content": "<|reserved_special_token_21|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128030": {
+      "content": "<|reserved_special_token_22|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128031": {
+      "content": "<|reserved_special_token_23|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128032": {
+      "content": "<|reserved_special_token_24|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128033": {
+      "content": "<|reserved_special_token_25|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128034": {
+      "content": "<|reserved_special_token_26|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128035": {
+      "content": "<|reserved_special_token_27|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128036": {
+      "content": "<|reserved_special_token_28|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128037": {
+      "content": "<|reserved_special_token_29|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128038": {
+      "content": "<|reserved_special_token_30|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128039": {
+      "content": "<|reserved_special_token_31|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128040": {
+      "content": "<|reserved_special_token_32|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128041": {
+      "content": "<|reserved_special_token_33|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128042": {
+      "content": "<|reserved_special_token_34|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128043": {
+      "content": "<|reserved_special_token_35|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128044": {
+      "content": "<|reserved_special_token_36|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128045": {
+      "content": "<|reserved_special_token_37|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128046": {
+      "content": "<|reserved_special_token_38|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128047": {
+      "content": "<|reserved_special_token_39|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128048": {
+      "content": "<|reserved_special_token_40|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128049": {
+      "content": "<|reserved_special_token_41|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128050": {
+      "content": "<|reserved_special_token_42|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128051": {
+      "content": "<|reserved_special_token_43|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128052": {
+      "content": "<|reserved_special_token_44|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128053": {
+      "content": "<|reserved_special_token_45|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128054": {
+      "content": "<|reserved_special_token_46|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128055": {
+      "content": "<|reserved_special_token_47|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128056": {
+      "content": "<|reserved_special_token_48|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128057": {
+      "content": "<|reserved_special_token_49|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128058": {
+      "content": "<|reserved_special_token_50|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128059": {
+      "content": "<|reserved_special_token_51|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128060": {
+      "content": "<|reserved_special_token_52|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128061": {
+      "content": "<|reserved_special_token_53|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128062": {
+      "content": "<|reserved_special_token_54|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128063": {
+      "content": "<|reserved_special_token_55|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128064": {
+      "content": "<|reserved_special_token_56|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128065": {
+      "content": "<|reserved_special_token_57|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128066": {
+      "content": "<|reserved_special_token_58|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128067": {
+      "content": "<|reserved_special_token_59|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128068": {
+      "content": "<|reserved_special_token_60|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128069": {
+      "content": "<|reserved_special_token_61|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128070": {
+      "content": "<|reserved_special_token_62|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128071": {
+      "content": "<|reserved_special_token_63|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128072": {
+      "content": "<|reserved_special_token_64|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128073": {
+      "content": "<|reserved_special_token_65|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128074": {
+      "content": "<|reserved_special_token_66|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128075": {
+      "content": "<|reserved_special_token_67|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128076": {
+      "content": "<|reserved_special_token_68|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128077": {
+      "content": "<|reserved_special_token_69|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128078": {
+      "content": "<|reserved_special_token_70|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128079": {
+      "content": "<|reserved_special_token_71|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128080": {
+      "content": "<|reserved_special_token_72|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128081": {
+      "content": "<|reserved_special_token_73|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128082": {
+      "content": "<|reserved_special_token_74|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128083": {
+      "content": "<|reserved_special_token_75|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128084": {
+      "content": "<|reserved_special_token_76|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128085": {
+      "content": "<|reserved_special_token_77|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128086": {
+      "content": "<|reserved_special_token_78|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128087": {
+      "content": "<|reserved_special_token_79|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128088": {
+      "content": "<|reserved_special_token_80|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128089": {
+      "content": "<|reserved_special_token_81|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128090": {
+      "content": "<|reserved_special_token_82|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128091": {
+      "content": "<|reserved_special_token_83|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128092": {
+      "content": "<|reserved_special_token_84|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128093": {
+      "content": "<|reserved_special_token_85|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128094": {
+      "content": "<|reserved_special_token_86|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128095": {
+      "content": "<|reserved_special_token_87|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128096": {
+      "content": "<|reserved_special_token_88|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128097": {
+      "content": "<|reserved_special_token_89|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128098": {
+      "content": "<|reserved_special_token_90|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128099": {
+      "content": "<|reserved_special_token_91|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128100": {
+      "content": "<|reserved_special_token_92|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128101": {
+      "content": "<|reserved_special_token_93|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128102": {
+      "content": "<|reserved_special_token_94|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128103": {
+      "content": "<|reserved_special_token_95|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128104": {
+      "content": "<|reserved_special_token_96|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128105": {
+      "content": "<|reserved_special_token_97|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128106": {
+      "content": "<|reserved_special_token_98|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128107": {
+      "content": "<|reserved_special_token_99|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128108": {
+      "content": "<|reserved_special_token_100|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128109": {
+      "content": "<|reserved_special_token_101|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128110": {
+      "content": "<|reserved_special_token_102|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128111": {
+      "content": "<|reserved_special_token_103|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128112": {
+      "content": "<|reserved_special_token_104|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128113": {
+      "content": "<|reserved_special_token_105|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128114": {
+      "content": "<|reserved_special_token_106|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128115": {
+      "content": "<|reserved_special_token_107|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128116": {
+      "content": "<|reserved_special_token_108|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128117": {
+      "content": "<|reserved_special_token_109|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128118": {
+      "content": "<|reserved_special_token_110|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128119": {
+      "content": "<|reserved_special_token_111|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128120": {
+      "content": "<|reserved_special_token_112|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128121": {
+      "content": "<|reserved_special_token_113|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128122": {
+      "content": "<|reserved_special_token_114|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128123": {
+      "content": "<|reserved_special_token_115|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128124": {
+      "content": "<|reserved_special_token_116|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128125": {
+      "content": "<|reserved_special_token_117|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128126": {
+      "content": "<|reserved_special_token_118|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128127": {
+      "content": "<|reserved_special_token_119|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128128": {
+      "content": "<|reserved_special_token_120|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128129": {
+      "content": "<|reserved_special_token_121|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128130": {
+      "content": "<|reserved_special_token_122|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128131": {
+      "content": "<|reserved_special_token_123|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128132": {
+      "content": "<|reserved_special_token_124|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128133": {
+      "content": "<|reserved_special_token_125|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128134": {
+      "content": "<|reserved_special_token_126|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128135": {
+      "content": "<|reserved_special_token_127|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128136": {
+      "content": "<|reserved_special_token_128|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128137": {
+      "content": "<|reserved_special_token_129|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128138": {
+      "content": "<|reserved_special_token_130|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128139": {
+      "content": "<|reserved_special_token_131|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128140": {
+      "content": "<|reserved_special_token_132|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128141": {
+      "content": "<|reserved_special_token_133|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128142": {
+      "content": "<|reserved_special_token_134|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128143": {
+      "content": "<|reserved_special_token_135|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128144": {
+      "content": "<|reserved_special_token_136|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128145": {
+      "content": "<|reserved_special_token_137|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128146": {
+      "content": "<|reserved_special_token_138|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128147": {
+      "content": "<|reserved_special_token_139|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128148": {
+      "content": "<|reserved_special_token_140|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128149": {
+      "content": "<|reserved_special_token_141|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128150": {
+      "content": "<|reserved_special_token_142|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128151": {
+      "content": "<|reserved_special_token_143|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128152": {
+      "content": "<|reserved_special_token_144|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128153": {
+      "content": "<|reserved_special_token_145|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128154": {
+      "content": "<|reserved_special_token_146|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128155": {
+      "content": "<|reserved_special_token_147|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128156": {
+      "content": "<|reserved_special_token_148|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128157": {
+      "content": "<|reserved_special_token_149|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128158": {
+      "content": "<|reserved_special_token_150|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128159": {
+      "content": "<|reserved_special_token_151|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128160": {
+      "content": "<|reserved_special_token_152|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128161": {
+      "content": "<|reserved_special_token_153|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128162": {
+      "content": "<|reserved_special_token_154|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128163": {
+      "content": "<|reserved_special_token_155|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128164": {
+      "content": "<|reserved_special_token_156|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128165": {
+      "content": "<|reserved_special_token_157|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128166": {
+      "content": "<|reserved_special_token_158|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128167": {
+      "content": "<|reserved_special_token_159|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128168": {
+      "content": "<|reserved_special_token_160|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128169": {
+      "content": "<|reserved_special_token_161|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128170": {
+      "content": "<|reserved_special_token_162|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128171": {
+      "content": "<|reserved_special_token_163|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128172": {
+      "content": "<|reserved_special_token_164|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128173": {
+      "content": "<|reserved_special_token_165|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128174": {
+      "content": "<|reserved_special_token_166|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128175": {
+      "content": "<|reserved_special_token_167|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128176": {
+      "content": "<|reserved_special_token_168|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128177": {
+      "content": "<|reserved_special_token_169|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128178": {
+      "content": "<|reserved_special_token_170|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128179": {
+      "content": "<|reserved_special_token_171|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128180": {
+      "content": "<|reserved_special_token_172|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128181": {
+      "content": "<|reserved_special_token_173|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128182": {
+      "content": "<|reserved_special_token_174|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128183": {
+      "content": "<|reserved_special_token_175|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128184": {
+      "content": "<|reserved_special_token_176|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128185": {
+      "content": "<|reserved_special_token_177|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128186": {
+      "content": "<|reserved_special_token_178|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128187": {
+      "content": "<|reserved_special_token_179|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128188": {
+      "content": "<|reserved_special_token_180|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128189": {
+      "content": "<|reserved_special_token_181|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128190": {
+      "content": "<|reserved_special_token_182|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128191": {
+      "content": "<|reserved_special_token_183|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128192": {
+      "content": "<|reserved_special_token_184|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128193": {
+      "content": "<|reserved_special_token_185|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128194": {
+      "content": "<|reserved_special_token_186|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128195": {
+      "content": "<|reserved_special_token_187|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128196": {
+      "content": "<|reserved_special_token_188|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128197": {
+      "content": "<|reserved_special_token_189|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128198": {
+      "content": "<|reserved_special_token_190|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128199": {
+      "content": "<|reserved_special_token_191|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128200": {
+      "content": "<|reserved_special_token_192|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128201": {
+      "content": "<|reserved_special_token_193|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128202": {
+      "content": "<|reserved_special_token_194|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128203": {
+      "content": "<|reserved_special_token_195|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128204": {
+      "content": "<|reserved_special_token_196|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128205": {
+      "content": "<|reserved_special_token_197|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128206": {
+      "content": "<|reserved_special_token_198|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128207": {
+      "content": "<|reserved_special_token_199|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128208": {
+      "content": "<|reserved_special_token_200|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128209": {
+      "content": "<|reserved_special_token_201|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128210": {
+      "content": "<|reserved_special_token_202|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128211": {
+      "content": "<|reserved_special_token_203|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128212": {
+      "content": "<|reserved_special_token_204|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128213": {
+      "content": "<|reserved_special_token_205|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128214": {
+      "content": "<|reserved_special_token_206|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128215": {
+      "content": "<|reserved_special_token_207|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128216": {
+      "content": "<|reserved_special_token_208|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128217": {
+      "content": "<|reserved_special_token_209|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128218": {
+      "content": "<|reserved_special_token_210|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128219": {
+      "content": "<|reserved_special_token_211|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128220": {
+      "content": "<|reserved_special_token_212|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128221": {
+      "content": "<|reserved_special_token_213|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128222": {
+      "content": "<|reserved_special_token_214|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128223": {
+      "content": "<|reserved_special_token_215|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128224": {
+      "content": "<|reserved_special_token_216|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128225": {
+      "content": "<|reserved_special_token_217|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128226": {
+      "content": "<|reserved_special_token_218|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128227": {
+      "content": "<|reserved_special_token_219|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128228": {
+      "content": "<|reserved_special_token_220|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128229": {
+      "content": "<|reserved_special_token_221|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128230": {
+      "content": "<|reserved_special_token_222|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128231": {
+      "content": "<|reserved_special_token_223|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128232": {
+      "content": "<|reserved_special_token_224|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128233": {
+      "content": "<|reserved_special_token_225|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128234": {
+      "content": "<|reserved_special_token_226|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128235": {
+      "content": "<|reserved_special_token_227|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128236": {
+      "content": "<|reserved_special_token_228|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128237": {
+      "content": "<|reserved_special_token_229|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128238": {
+      "content": "<|reserved_special_token_230|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128239": {
+      "content": "<|reserved_special_token_231|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128240": {
+      "content": "<|reserved_special_token_232|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128241": {
+      "content": "<|reserved_special_token_233|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128242": {
+      "content": "<|reserved_special_token_234|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128243": {
+      "content": "<|reserved_special_token_235|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128244": {
+      "content": "<|reserved_special_token_236|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128245": {
+      "content": "<|reserved_special_token_237|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128246": {
+      "content": "<|reserved_special_token_238|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128247": {
+      "content": "<|reserved_special_token_239|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128248": {
+      "content": "<|reserved_special_token_240|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128249": {
+      "content": "<|reserved_special_token_241|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128250": {
+      "content": "<|reserved_special_token_242|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128251": {
+      "content": "<|reserved_special_token_243|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128252": {
+      "content": "<|reserved_special_token_244|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128253": {
+      "content": "<|reserved_special_token_245|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128254": {
+      "content": "<|reserved_special_token_246|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128255": {
+      "content": "<|reserved_special_token_247|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<|begin_of_text|>",
+  "chat_template": "{{- bos_token }}\n{%- if custom_tools is defined %}\n    {%- set tools = custom_tools %}\n{%- endif %}\n{%- if not tools_in_user_message is defined %}\n    {%- set tools_in_user_message = true %}\n{%- endif %}\n{%- if not date_string is defined %}\n    {%- set date_string = \"26 Jul 2024\" %}\n{%- endif %}\n{%- if not tools is defined %}\n    {%- set tools = none %}\n{%- endif %}\n\n{#- This block extracts the system message, so we can slot it into the right place. #}\n{%- if messages[0]['role'] == 'system' %}\n    {%- set system_message = messages[0]['content']|trim %}\n    {%- set messages = messages[1:] %}\n{%- else %}\n    {%- set system_message = \"\" %}\n{%- endif %}\n\n{#- System message + builtin tools #}\n{{- \"<|start_header_id|>system<|end_header_id|>\\n\\n\" }}\n{%- if builtin_tools is defined or tools is not none %}\n    {{- \"Environment: ipython\\n\" }}\n{%- endif %}\n{%- if builtin_tools is defined %}\n    {{- \"Tools: \" + builtin_tools | reject('equalto', 'code_interpreter') | join(\", \") + \"\\n\\n\"}}\n{%- endif %}\n{{- \"Cutting Knowledge Date: December 2023\\n\" }}\n{{- \"Today Date: \" + date_string + \"\\n\\n\" }}\n{%- if tools is not none and not tools_in_user_message %}\n    {{- \"You have access to the following functions. To call a function, please respond with JSON for a function call.\" }}\n    {{- 'Respond in the format {\"name\": function name, \"parameters\": dictionary of argument name and its value}.' }}\n    {{- \"Do not use variables.\\n\\n\" }}\n    {%- for t in tools %}\n        {{- t | tojson(indent=4) }}\n        {{- \"\\n\\n\" }}\n    {%- endfor %}\n{%- endif %}\n{{- system_message }}\n{{- \"<|eot_id|>\" }}\n\n{#- Custom tools are passed in a user message with some extra guidance #}\n{%- if tools_in_user_message and not tools is none %}\n    {#- Extract the first user message so we can plug it in here #}\n    {%- if messages | length != 0 %}\n        {%- set first_user_message = messages[0]['content']|trim %}\n        {%- set messages = messages[1:] %}\n    {%- else %}\n        {{- raise_exception(\"Cannot put tools in the first user message when there's no first user message!\") }}\n{%- endif %}\n    {{- '<|start_header_id|>user<|end_header_id|>\\n\\n' -}}\n    {{- \"Given the following functions, please respond with a JSON for a function call \" }}\n    {{- \"with its proper arguments that best answers the given prompt.\\n\\n\" }}\n    {{- 'Respond in the format {\"name\": function name, \"parameters\": dictionary of argument name and its value}.' }}\n    {{- \"Do not use variables.\\n\\n\" }}\n    {%- for t in tools %}\n        {{- t | tojson(indent=4) }}\n        {{- \"\\n\\n\" }}\n    {%- endfor %}\n    {{- first_user_message + \"<|eot_id|>\"}}\n{%- endif %}\n\n{%- for message in messages %}\n    {%- if not (message.role == 'ipython' or message.role == 'tool' or 'tool_calls' in message) %}\n        {{- '<|start_header_id|>' + message['role'] + '<|end_header_id|>\\n\\n'+ message['content'] | trim + '<|eot_id|>' }}\n    {%- elif 'tool_calls' in message %}\n        {%- if not message.tool_calls|length == 1 %}\n            {{- raise_exception(\"This model only supports single tool-calls at once!\") }}\n        {%- endif %}\n        {%- set tool_call = message.tool_calls[0].function %}\n        {%- if builtin_tools is defined and tool_call.name in builtin_tools %}\n            {{- '<|start_header_id|>assistant<|end_header_id|>\\n\\n' -}}\n            {{- \"<|python_tag|>\" + tool_call.name + \".call(\" }}\n            {%- for arg_name, arg_val in tool_call.arguments | items %}\n                {{- arg_name + '=\"' + arg_val + '\"' }}\n                {%- if not loop.last %}\n                    {{- \", \" }}\n                {%- endif %}\n                {%- endfor %}\n            {{- \")\" }}\n        {%- else  %}\n            {{- '<|start_header_id|>assistant<|end_header_id|>\\n\\n' -}}\n            {{- '{\"name\": \"' + tool_call.name + '\", ' }}\n            {{- '\"parameters\": ' }}\n            {{- tool_call.arguments | tojson }}\n            {{- \"}\" }}\n        {%- endif %}\n        {%- if builtin_tools is defined %}\n            {#- This means we're in ipython mode #}\n            {{- \"<|eom_id|>\" }}\n        {%- else %}\n            {{- \"<|eot_id|>\" }}\n        {%- endif %}\n    {%- elif message.role == \"tool\" or message.role == \"ipython\" %}\n        {{- \"<|start_header_id|>ipython<|end_header_id|>\\n\\n\" }}\n        {%- if message.content is mapping or message.content is iterable %}\n            {{- message.content | tojson }}\n        {%- else %}\n            {{- message.content }}\n        {%- endif %}\n        {{- \"<|eot_id|>\" }}\n    {%- endif %}\n{%- endfor %}\n{%- if add_generation_prompt %}\n    {{- '<|start_header_id|>assistant<|end_header_id|>\\n\\n' }}\n{%- endif %}\n",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|eot_id|>",
+  "extra_special_tokens": {},
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 131072,
+  "pad_token": "<|finetune_right_pad_id|>",
+  "tokenizer_class": "PreTrainedTokenizerFast"
+}