NIIのLLMC、完全オープンなLLM"llm-jp-3-172b-instruct3"を一般公開

2024年12月26日

日本

NII(National Institute of Informatics、国立情報学研究所)のLLMC(大規模言語モデル研究開発センター)は、12月24日、完全オープンなLLM(Large language model、大規模言語モデル)"llm-jp-3-172b-instruct3"を一般公開した。

これは、同センターが主宰する勉強会"LLM-jp"の活動の中で、パラメータ数約1,720億のLLMを2.1兆トークンの学習データを用いてフルスクラッチで学習し、同モデルを一般公開したもの。

本モデルは、データ活用社会創成プラットフォーム"mdx"によるパラメータ・モデルの学習など、これまでの成果を踏まえて開発されたものだという。

[ニュースソース]

完全にオープンな約1,720億パラメータ(GPT-3級)の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開 - NII 2024/12/24 (accessed 2024-12-25)

[小欄関連記事]

2024年09月24日 NIIのLLMC、LLMのプレビュー版"LLM-jp-3 172B beta1"を公開