ストックマーク社は産業技術総合研究所との共同研究の一環として14億パラメータの日本語LLMを公開しました。このモデルは、産総研の計算インフラストラクチャであるABCIを使用して事前学習が行われました。
ストックマーク社はビジネス情報を配信する「A news」を運営しており、そこで集められた最新のWebデータ(2023年6月まで)を事前学習データとして使用した。このことにより、最新の話題にも詳しいモデルを開発できた、としている。
関連LINK
ダウンロード
https://huggingface.co/stockmark/gpt-neox-japanese-1.4b
テックブログ
https://tech.stockmark.co.jp/blog/202308_gpt_neox/