モデルの概要

以下のモデルとデータセットを用いてLoRAを行った。 ベースモデルは、文章の続きを推論するモデルであったため、チャットbotなどの適用ができるように、質問に対して回答を生成するように学習した。 モデル、データセットの組み合わせは、LINE社公式のline-corporation/japanese-large-lm-3.6b-instruction-sftと同じである。

base model: line-corporation/japanese-large-lm-3.6b datasets : kunishou/oasst1-89k-ja


学習の経緯

LINE社公式のline-corporation/japanese-large-lm-3.6b-instruction-sftをさらに別のデータセットでLoRAすると、eos tokenが消えてしまい、使用できなかったため、1からモデルを作成した。