综合智力指数

综合智力指数覆盖推理、知识、数学、编程、任务约束遵循与多步骤任务完成。组合指标的目的，是降低模型只针对某一狭窄题型优化所造成的偏差。

当前版本强调智能体任务：真实知识工作与银行工作流合计占 34%；其余权重分配给编程、科学推理和通用能力。

• 长流程任务规划、工具使用与可验证结果交付
• 终端编程、科学代码与研究级问题求解
• 知识准确性、非幻觉表现和长文本推理
• 跨学科科学推理与严格答案格式遵循

• 采用纯文本、英语评测套件；图像、语音和多语言能力另行评估。
• 非推理模型通常使用温度 0；推理模型通常使用温度 0.6，若模型另有推荐设置则从其推荐。
• 不同子评测保留各自的任务数量、重复次数、工具环境和原始评分方式。

• 先运行九项子评测，并按各自规则得到原始成绩。
• 将各项成绩转换为可合成的标准分，再按智能体 34%、编程 24%、科学推理 24%、通用能力 18% 加权。
• 发布综合分的同时保留各子评测结果，便于识别模型能力结构。

• 最终结果为 0–100 分的加权综合分，数值越高表示总体表现越强。
• 当前九项权重分别归入四类；知识准确性与非幻觉表现作为两个独立贡献项计算。
• 基于部分模型超过 10 次的重复实验，综合指数的估计 95% 置信区间小于 ±1%；单项结果的区间可能更宽。

• 报告综合智力指数与九项子评测明细。
• 同时展示运行所用输入、推理与回答 token，以及按公开价格估算的成本。
• 提供分数与模型发布日期的关系，观察能力随时间的变化。

• 该指数仅覆盖英语纯文本能力，不能替代多语言、视觉或语音测试。
• 综合分适合总体比较，但具体业务仍应优先查看与场景最接近的子评测。
• 单项评测的不确定性可能高于综合指数。