2024年01月04日 12:14
Lightblueは、商用利用可能な日本語LLM「Karasu」「Qarasu」を公開した。
Lightblueは、AIの民主化を目指し、画像解析・自然言語処理AIを軸にソリューションを開発している東大発スタートアップ企業。生成AI・LLMの研究開発に特化したチーム「LLab」を設立し、安全性と透明性を重視したAIモデルの開発に取り組んでいる。AI技術の活用範囲を広げ、社会にポジティブな変革をもたらすことを目指している。
Karasuシリーズは70億パラメータのShisaに対して、日本語と英語の学習データを用いて70億トークンで継続事前学習とファインチューニングを実施したモデル。また、Qarasuシリーズは、140億パラメータのQwen-14Bに対して、Karasuシリーズで培ったノウハウを活かしファインチューニングしたモデルだ。
Karasuシリーズは70億パラメータのモデルとして、非常に軽量であり、一部の13Bのモデルと同等の性能を示す。Qarasuシリーズは140億パラメータのモデルであり、既存の日本語公開モデルの中で最高性能を達成しgpt-3.5に迫る性能を示す。日本語言語モデルの性能を評価するためのベンチマークの一つであるMT-Benchの6タスク平均スコアはKarasuが6.70、Qarasuが7.60となっている。モデル名の由来は、日本神話に登場するカラスであり、導きの神の「八咫烏（ヤタガラス）」からきている。
