MMMU-Pro

评测先过滤可由纯文本模型回答的问题，再把每题选项从 4 个扩展为 10 个，并加入把题目嵌入截图或照片的视觉输入形式。

3,460 题覆盖艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程六大类，共 30 个学科。

• 同时读取图像、图表和文字问题。
• 在 30 个学科中完成多模态知识推理。
• 在十个相近选项中识别正确结论。

• 排除不看图也能回答的题目，减少文本捷径。
• 每题提供 10 个候选答案，降低猜测带来的得分。
• 部分设置把问题本身嵌入截图或照片，要求模型完成视觉读取。

• 模型读取题目关联图像及文字内容。
• 结合视觉证据与学科知识完成推理。
• 从 A 至 J 的十个候选项中提交一个答案。

• 选择与标准答案一致时记为正确。
• 主成绩为全部 3,460 题的正确比例。
• 成绩以百分比报告，数值越高表示多模态理解与推理越强。

• 报告多模态正确率及随发布日期的变化。
• 报告输入、推理和答案 Token 总量。
• 报告完整评测成本及输入、推理、答案成本拆分。

• 内容集中在六类学术领域，不等同于开放世界视觉理解。
• 多项选择成绩不能直接代表图像描述或内容生成质量。
• 视觉化问题会同时受到视觉识别、文字读取和知识推理误差影响。