GPQA Diamond

Diamond 选择完整题库中最困难的 198 题，题目由对应领域专家编写，要求研究生层级的科学知识和推理。

专家与非专家之间的显著差距说明题目很难仅靠搜索解决，适合观察模型是否具备真实科学推理能力。

• 研究生级物理、生物与化学知识。
• 多步科学推理和定量判断。
• 在相近候选项之间识别唯一正确结论。

• 从 448 题完整题库中使用 198 道最难 Diamond 题。
• 每题提供题干和四个候选答案。
• 每题有唯一标准选项用于自动核对。
• 每道题独立运行 5 次。

• 模型阅读科学问题和候选选项。
• 完成必要推导后提交一个选项。
• 将所选答案与标准答案逐题比较并汇总。

• 选项与标准答案一致时记为正确。
• 主成绩为 198 道 Diamond 题、每题 5 次运行的平均正确比例。
• 成绩以百分比报告，数值越高越好。

• 报告选择题正确率及随发布日期的变化。
• 报告输入、推理和答案 Token 总量。
• 报告完整评测成本及输入、推理、答案成本拆分。

• 只包含物理、生物和化学，不能代表所有学科。
• Diamond 是完整题库最难的 198 题，不能与完整 448 题成绩直接等同。
• 多项选择结构衡量的是给定候选项下的判断，而非开放式科研产出。