M141_S06_D03
1.00 分差异,10.81 倍用时
Astra 41.73,Qwen 40.73。达到这组接近的交付结果,Astra 用时 4.15 分钟,Qwen 用时 44.87 分钟。
这组记录说明,得分相近与执行效率相近并非同一结论。
01 / TIME–QUALITY TRADE-OFF
从 330 道金融建模任务出发,对照可精确匹配的 Qwen 3.8 Max 与 Astra 留存记录,观察最终交付背后的时间与资源投入。
建议将得分、有效完成率、作答用时与资源消耗共同作为评价依据。若接近的得分伴随数倍作答时间,效率差异同样值得充分体现。分差不足 10 分本身不能完整反映任务的区分度,也不宜脱离时间与成本条件,单独作为“题目组不合格”的依据。具体测试与跑分结论,仍应以对方在相同 thinking effort、题面、工具、预算和评分器条件下的实测为准。
上述为联合评价建议,不改变既有验收约定。历史输入和运行条件存在差异,统一评分器不能使历史记录成为同条件控制实验;精选案例不替代完整题组复测。
RESEARCH NOTES / SELECTED PAIRS
M141_S06_D03
Astra 41.73,Qwen 40.73。达到这组接近的交付结果,Astra 用时 4.15 分钟,Qwen 用时 44.87 分钟。
这组记录说明,得分相近与执行效率相近并非同一结论。
M118_S06_D01
Qwen 当前重评为 19.01,Astra 为 53.81;对应作答时间为 55.20 与 6.41 分钟,相差 8.62 倍。
历史题面与接口已更新;低分结论限于冻结答卷在当前规则下的回溯重评。
M107_S05_D01
Qwen 当前重评为 13.95,Astra 为 28.44;对应作答时间为 73.21 与 4.06 分钟,相差 18.04 倍。
双方该题得分均较低。Qwen 曾在约 61.90 分钟的执行片段后连接中断,恢复后完成提交。
案例用于解释观察到的差异,选择规则和全量匹配记录同时公开;不代表完整题组的随机样本或验收结论。
02 / BUDGET & COVERAGE
| 题型 | Astra 均时 / min | TOML / min | 预算 / 均时 | 匹配题数 |
|---|
11 类当前 TOML 均预留了各类 Astra 平均任务用时的两倍以上,实际为 2.97–6.57 倍。该结论比较类均值,并非每道题相对自身用时均超过两倍;当前预算也不追溯替代历史运行预算。
Qwen 按正式 attempt 各执行片段的净时间累计,仅扣除记录明确标记的基础设施等待,未标记的服务等待可能仍包含在内,并非纯模型计算时间;没有中途答卷评分时,不推算提前停止的得分。
03 / EXECUTION & RECOVERY
历史 A42 批次最终 42/42 题获得有效提交;当前交付范围内精确匹配 25 题。最终成功不表示过程无中断。以下按真实执行片段列示,基础设施故障不等于金融建模能力失分,评分失败也不自动记为零分。
| 任务 | 执行分类 | 净分钟 | 片段墙钟分钟 | 记录原因 |
|---|
04 / EXECUTION TRAJECTORIES
逐项查看留存回复、推理记录和工具结果;来源记录号与文件哈希保留。两侧事件顺序独立,事件数量不直接表示实际耗时。
05 / TOKENS & COST
缓存包含在输入,reasoning 包含在输出,均不重复累计。用量取原始累计记录,缺失值不填零;Token Plan 套餐费用无法由公开单价直接还原。本页不将 Token 用量换算成未经核实的实际账单。
06 / METHODS & EVIDENCE
按 Vsent 的精确 case_id 匹配,330 题中有 25 题对应历史正式 attempt。未进入当前名单的变体不以相似题号替代。展示未显式覆盖 effort 的默认队列,按官方规则解释为 xhigh,并非逐请求服务端认证;对方复测应显式使用相同 thinking effort。
Qwen Responses effort 官方说明Astra 取当前交付包已有的当前版本评分与原生轨迹;Qwen 25 份冻结答卷均按 E 盘 Vsent 对应 verifier、私有参数和规则重评。重评不调用候选模型,不修改原答卷;评分耗时不计入作答用时。无有效数值分的状态保留为无效、执行错误,不作零分。
同题号的公开输入、接口、预算和 Astra 留存答卷可能已更新。题目匹配与输入等价是两个条件,重评不能消除历史题面差异。Type 10 当前评分器还对封存的 Astra 身份保留了历史单位兼容规则;历史 Qwen 单位不能直接获得该兼容,故接口无效状态不解释为能力零分。差异案例使用 Astra−Qwen≥8 分筛选,并可切回全部匹配;该展示阈值不替代合同验收门槛。
正式 attempt、CLI 恢复片段、用户暂停和评分执行分别计数。历史批次全量故障计数不冒充当前 25 题子集的故障率。当前比较仅覆盖部分题目,完整 Family 判断需同条件完成全部 30 题。
07 / ASSESSMENT INTEGRITY
评测改进应修正真实的信息缺口与验证漏洞,同时保留独立建模的考核空间。持续按失分点公开参考求解路径,可能提高评分匹配度,却不等于原任务上的能力提升。
在命题与内部复核中,我们观察到 Astra 倾向于将部分专业推导和建模判断进一步转化为显式输入要求,包括中间变量、计算步骤和参考处理路径。若根据每个失分点持续增加这类提示,原本需要独立完成的分析可能逐步转为对参考实现的复现。
这里的 reward hacking 指评分反馈驱动披露、使得分改善与目标能力发生偏离的评测风险;不据此推断模型的主观意图,也不将所有高分或参考差异归为此类行为。
经内部研判,当前公开材料以必要业务事实、合同约束和交付要求为边界;将详细推导、参考实现及验证依据置于 reviewer 侧,保留作答者识别经济关系、建立跨期联系并解释专业判断的责任。相关说明已纳入控制表及评审文件。
现实任务无法预先穷尽全部变量、状态与计算分支。材料是否充分,应依据既定业务范围及必要事实判断;未逐步列出参考公式,本身不构成条件缺失。
作答者依据公开材料独立建模并提交可核查的成果;reviewer 侧说明业务依据、考核能力、参考实现和验证重点,并与 candidate 作答环境隔离。评审分别识别明确条款、必要推导、专业判断、表达差异与计算错误,不把数值偏离参考直接等同于违反金融原理。
评审说明用于解释和核验既定规则,不新增交易条件、不替代自动评分,也不因期望分差而调整得分。较高得分本身不证明题目更完善,较低得分本身也不证明题面不完整。
对信息不足或评分漏洞的反馈,先定位具体业务事实、输入依赖和受影响的输出,区分真实缺口与尚未完成的推导。必要修订应保留版本、原因及影响范围,并在相同题面、thinking effort、工具、预算和 verifier 条件下复测;输入提示变化后的成绩不与原条件下的历史成绩混作同一基线。
目标是提高评测有效性,而非追求预设高分或低分。任务完成度仍应与有效提交、作答时间和资源消耗共同解释。
本说明依据 Batch 2 1st Half 控制表“输入与抽检”页,以及 Type 07 交付包 reviewer_full/Assessment_Design.md 第 1–9 节,重点为第 7 节的评分驱动披露风险、第 8 节的差异归因和第 9 节的评审分工。详细推导及参考实现请由接收方在已交付的 reviewer 材料中查阅;此处仅说明处理原则与安排。