Superswallow-7b-v0.1-gguf

nitkyさんが公開しているSuperswallow-7b-v0.1のggufフォーマット変換版です。

Licence

元モデルのライセンス項目をご確認ください。 以下、翻訳の引用です

このモデルは、Llama 2 をベースに微調整された Tulu V2 DPO のパラメータを一部利用しているため、AI2 ImpACT ライセンスを継承している可能性があります。AI2から連絡があった場合、ライセンスに関して変更が生じる可能性があることを念頭に置いてモデルを使用してください。

AI2 ImpACT ライセンスには、データ アーティファクトとモデル アーティファクトに関する情報が含まれていますが、モデル アーティファクトの LLM パラメーターの一部を他のモデルに直接適用する場合はカバーされていません。しかし、私は彼らの研究と素晴らしい仕事を尊敬しているので、AI2 から連絡があればすぐにライセンスを変更します。

他のモデル
mmnga/Superswallow-7b-v0.1-gguf
mmnga/Superswallow-13b-v0.1-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'Superswallow-7b-v0.1-q4_0.gguf'  -p "以下に、あるタスクを説明する指示があり、それに付随する入力が更なる文脈を提供しています。リクエストを適切に完了するための回答を記述してください。 \n\n### 指示: \n\n AIによる将来の技術発展はどうなりますか？ \n\n### 応答:\n" -n 256 --temp 0.7 --repeat-penalty 1.15 --top_k 20 --top_p 0.9