TREE NEWS 消息, 百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。
百度开源文心5.5 Flash Base 总参数2800亿
AI 解读
开源一个总参数2800亿、单Token仅激活140亿的MoE基座,意味着百度把竞争重心从“闭源旗舰”推向“可自托管的中大规模模型”,这对需要私有化部署、又难以承担超大模型推理成本的企业与开发者影响最直接。百万级Token的推理上下文也把长文档、代码库等场景推向前台。真正值得观察的是:这一量级的开源基座能否在社区形成实际的微调与部署生态,以及它是否会改变国内开源模型的参数与成本基准线。
由 AI 生成,仅供参考。