Omniscience

六个领域为商业、人文与社会科学、科学工程与数学、健康、法律和软件工程；题目由自动化问题生成流程构建，以扩大覆盖面并保持问题明确。

该评测奖励正确事实、惩罚错误猜测，并允许模型在不确定时拒答，以观察知识可靠性与校准能力。

• 跨专业领域的事实回忆。
• 识别自身知识边界并在不确定时克制回答。
• 在准确率与错误猜测之间保持可靠校准。

• 从 42 个经济相关主题中组织 6,000 道事实问题。
• 回答结果区分正确、部分回答、错误与未作答。
• 同一批结果用于计算指数、准确率和幻觉率。
• 每道题独立运行 1 次。

• 逐题向模型提问，模型可以直接回答或明确表示不知道。
• 将响应归类为正确、部分回答、错误或未作答。
• 按统一定义汇总全体题目和各领域结果。

• 指数奖励正确答案、惩罚错误答案，拒答不受惩罚；范围为 -100 至 100。
• 准确率为正确答案占全部 6,000 题的比例，不因模型拒答而改变分母。
• 幻觉率 = 错误 /（错误 + 部分回答 + 未作答），越低越好。

• 报告主指数、准确率和幻觉率。
• 报告六大领域的指数，并提供按领域归一化的横向比较。
• 报告输入、推理、答案 Token 及对应成本。

• 指数零分不等于零准确率，而是正确与错误数量相抵。
• 自动化生成的题目集中于 42 个经济相关主题，并非无限领域知识普查。
• 不同领域表现差异明显，总指数不能替代具体领域结果。