NII（National Institute of Informatics、国立情報学研究所）のLLMC（大規模言語モデル研究開発センター）は、9月17日、LLM（Large language model、大規模言語モデル）のプレビュー版"LLM-jp-3 172B beta1"を公開した。
これは、同センターが主催する勉強会"LLM-jp"の成果。本勉強会では、データ活用社会創成プラットフォーム"mdx"によるパラメータ・モデルの学習など、これまでの成果を踏まえ、パラメータ数約1720億のLLMのフルスクラッチ学習を行った。
本プレビュー版は、用意した約2.1兆トークンの学習データのうち約3分の1までの学習を行った段階のもの。今後も学習を継続し、全トークンの学習を行ったモデルを2024年12月頃に公開する予定だという。
［ニュースソース］
約1720億パラメータ（GPT-3級）の大規模言語モデルのフルスクラッチ学習を行い、プレビュー版「LLM-jp-3 172B beta1」を公開 ― NII 2024/09/17 (2024-09-20)