TREE NEWS 消息, 以真实执行为标尺的动作驱动世界模型评测平台WorldOracle正式发布,并向开发者开放评测提交。该项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成。平台以机器人真实操作数据为参照,将模型生成的预测视频与真实执行过程对比,重点检验模型对物理交互结果的预测能力。目前WorldOracle已收录335条真实操作轨迹,涵盖水果抓取、毛巾悬挂、倒水、抽屉开合等任务,其中约40%的交互片段包含失败或次优操作。
世界模型评测平台WorldOracle发布并开放提交
AI 解读
世界模型长期缺少统一、以真实执行为参照的评测口径,WorldOracle把“预测视频是否对得上真实操作”作为标尺,指向的是物理交互预测这一最易被演示视频掩盖的能力。约四成片段包含失败或次优操作,意味着评测不只奖励成功样本,对具身智能与视频生成交叉方向的研究者影响更直接。后续值得观察的是提交量与任务覆盖能否持续扩展,以及这套以真实轨迹为参照的标准是否会被其他团队采纳。
由 AI 生成,仅供参考。