按 Enter 搜索 · ESC 关闭

AI × Crypto

百度开源文心5.5 Flash Base 总参数2800亿

百度正式开源最新基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base)。该模型采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。

原文

AI 解读

开源一个总参数2800亿、单Token仅激活140亿的MoE基座,意味着百度把竞争重心从“闭源旗舰”推向“可自托管的中大规模模型”,这对需要私有化部署、又难以承担超大模型推理成本的企业与开发者影响最直接。百万级Token的推理上下文也把长文档、代码库等场景推向前台。真正值得观察的是:这一量级的开源基座能否在社区形成实际的微调与部署生态,以及它是否会改变国内开源模型的参数与成本基准线。

由 AI 生成,仅供参考。

分享本文

相关快讯

TREE NEWS 分享卡片
长按上方图片 → 保存到相册 / 转发分享
寻求报道 加入社群 意见反馈