サイバーエージェント、70億パラメータの日本語LLM 5万文字を一度に処理

サイバーエージェントは、70億パラメータの日本語LLM(Large Language Model、大規模言語モデル)を公開した。 同社は2023年5月に最大68億パラメータの「CyberAgentLM」を一般公開しており、今回公開されたモデルはバージョン2にあたる。日本語と英語で事前学習した70億パラメータのベースモデル「CyberAgentLM2-7B」と、チャット形式でのチューニングを