大模型在具身推理上「翻车」了？4496 道题全面揭示短板

2023年本科毕业于北京大学信息科学技术学院。目前为美国Northeastern University在读博士生，研究方向为机器人与机器学习, 具身智能, 在 CVPR、ICML、CoRL 等顶级会议中发表过论文。

具身智能是近年来非常火概念。一个智能体（比如人）能够在环境中完成感知、理解与决策的闭环，并通过环境反馈不断进入新一轮循环，直至任务完成。这一过程往往依赖多种技能，涵盖了底层视觉对齐，空间感知，到上层决策的不同能力，这些能力便是广义上的具身智能。

已经有很多优秀的工作把多模态大语言模型（MLLMs）部署在具身智能的不同应用上。尽管已经有不少相关工作评估过他们具身智能的潜力，但主要集中在子领域上，比如给点（Pointing），空间推理（Spatial Reasoning）等等，也有一些工作在仿真里定义任务评估他们的性能，比如EmbodiedBench等，但是他们并没有把一个任务切分成一步步的原子技能，也就无法判断出到底是哪个细粒度的能力导致一个任务的失败。

BEAR基准

为了系统评估MLLM在具身智能的各个子能力，美国东北大学联合香港中文大学，哈佛大学，提出了BEAR基准，并且提供了详细的错因分析和算法提升。