Humanity's Last Exam

题目由领域专家核验，要求真正理解而非快速资料检索；完整版本同时包含多项选择、短答案与多模态题。

为保证不同模型可比，当前口径只运行 2025 年 5 月修订版中的 2,158 道纯文本题。

• 前沿学科知识与跨学科推理。
• 处理答案唯一、但无法靠浅层检索解决的问题。
• 在多项选择和短答案格式中给出可核验结论。

• 从完整 2,500 题中排除多模态题，保留 2,158 道纯文本题。
• 每题有明确且可验证的参考答案。
• 数值题的等价判定允许小幅数值容差。
• 每道题独立运行 1 次。

• 模型对每题只提交一次答案。
• 等价性判分模型将答案与参考答案比较。
• 逐题记录正确或错误，再汇总全部纯文本题。

• 采用 pass@1：每个模型每题生成一个答案。
• 判分模型判断答案与参考答案是否等价，数值答案允许小幅容差。
• 最终成绩是被判为正确的答案占 2,158 题的比例。

• 报告 pass@1 正确率及随发布日期的变化。
• 报告输入、推理和答案 Token 总量。
• 报告完整评测成本及输入、推理、答案成本拆分。

• 当前结果排除了多模态题，不能代表完整 2,500 题版本。
• 短答案依赖等价性判分模型，数值答案还涉及容差设置。
• 该评测聚焦闭合式学术问题，不覆盖开放式研究或长期任务执行。