TREE NEWS 소식: 바이두가 최신 베이스 모델인 ERNIE 5.5 Flash Base를 오픈소스로 공개했다. 이 전문가 혼합(MoE) 모델은 총 2,800억 개의 파라미터를 보유하고 토큰당 140억 개를 활성화하며, 33.5조 개의 토큰으로 사전 학습되었고 사전 학습 컨텍스트 길이는 최대 128K다. 파인튜닝과 추론에서는 최대 100만 토큰의 컨텍스트를 지원한다.
위 이미지를 길게 눌러 → 사진에 저장 / 공유