Baidu、280BパラメータのERNIE 5.5 Flash Baseをオープンソース化

TREE NEWS 情報： Baiduは最新のベースモデル「ERNIE 5.5 Flash Base」をオープンソース化した。このMixture-of-Expertsモデルは総パラメータ数2800億、トークンあたり140億をアクティブ化し、33.5兆トークンで事前学習され、事前学習時のコンテキスト長は最大128K。ファインチューニングと推論では最大100万トークンのコンテキストをサポートする。