TonemeRESEARCH / FINANCIAL AGENTS
QWEN 3.8 MAX / GPT-6 ASTRABATCH 2 · 1ST HALF · TYPE 01–11

01 / TIME–QUALITY TRADE-OFF

从同题记录看完成度、用时与成本

历史作答 · 当前交付评分器

从 330 道金融建模任务出发,对照可精确匹配的 Qwen 3.8 Max 与 Astra 留存记录,观察最终交付背后的时间与资源投入。

GPT-6 AstraQwen 3.8 Max · xhigh

EVALUATION PERSPECTIVE

建议将得分、有效完成率、作答用时与资源消耗共同作为评价依据。若接近的得分伴随数倍作答时间,效率差异同样值得充分体现。分差不足 10 分本身不能完整反映任务的区分度,也不宜脱离时间与成本条件,单独作为“题目组不合格”的依据。具体测试与跑分结论,仍应以对方在相同 thinking effort、题面、工具、预算和评分器条件下的实测为准。

上述为联合评价建议,不改变既有验收约定。历史输入和运行条件存在差异,统一评分器不能使历史记录成为同条件控制实验;精选案例不替代完整题组复测。

RESEARCH NOTES / SELECTED PAIRS

分差与用时,回答不同的问题

2 个低分案例 + 1 个接近得分案例

M141_S06_D03

1.00 分差异,10.81 倍用时

Astra 41.73,Qwen 40.73。达到这组接近的交付结果,Astra 用时 4.15 分钟,Qwen 用时 44.87 分钟。

这组记录说明,得分相近与执行效率相近并非同一结论。

M118_S06_D01

19.01 / 100,55.20 分钟

Qwen 当前重评为 19.01,Astra 为 53.81;对应作答时间为 55.20 与 6.41 分钟,相差 8.62 倍。

历史题面与接口已更新;低分结论限于冻结答卷在当前规则下的回溯重评。

M107_S05_D01

13.95 / 100,73.21 分钟

Qwen 当前重评为 13.95,Astra 为 28.44;对应作答时间为 73.21 与 4.06 分钟,相差 18.04 倍。

双方该题得分均较低。Qwen 曾在约 61.90 分钟的执行片段后连接中断,恢复后完成提交。

案例用于解释观察到的差异,选择规则和全量匹配记录同时公开;不代表完整题组的随机样本或验收结论。

02 / BUDGET & COVERAGE

为作答保留充分的时间预算

每类 30 题 · 等权算术均值
题型Astra 均时 / minTOML / min预算 / 均时匹配题数

11 类当前 TOML 均预留了各类 Astra 平均任务用时的两倍以上,实际为 2.97–6.57 倍。该结论比较类均值,并非每道题相对自身用时均超过两倍;当前预算也不追溯替代历史运行预算。

30 分钟内完成

Qwen 按正式 attempt 各执行片段的净时间累计,仅扣除记录明确标记的基础设施等待,未标记的服务等待可能仍包含在内,并非纯模型计算时间;没有中途答卷评分时,不推算提前停止的得分。

逐题记录

03 / EXECUTION & RECOVERY

有效提交之前,仍有恢复与等待成本

历史 A42 批次最终 42/42 题获得有效提交;当前交付范围内精确匹配 25 题。最终成功不表示过程无中断。以下按真实执行片段列示,基础设施故障不等于金融建模能力失分,评分失败也不自动记为零分。

中断片段明细
任务执行分类净分钟片段墙钟分钟记录原因

04 / EXECUTION TRAJECTORIES

双模型轨迹对照

逐项查看留存回复、推理记录和工具结果;来源记录号与文件哈希保留。两侧事件顺序独立,事件数量不直接表示实际耗时。

题目版本、当前评分状态与诊断证据
完整双模型轨迹 · 搜索与原文核对

05 / TOKENS & COST

观察资源投入,保留计费边界

缓存包含在输入,reasoning 包含在输出,均不重复累计。用量取原始累计记录,缺失值不填零;Token Plan 套餐费用无法由公开单价直接还原。本页不将 Token 用量换算成未经核实的实际账单。

06 / METHODS & EVIDENCE

比较方法与解释边界

下载逐题 CSV

样本与配置

按 Vsent 的精确 case_id 匹配,330 题中有 25 题对应历史正式 attempt。未进入当前名单的变体不以相似题号替代。展示未显式覆盖 effort 的默认队列,按官方规则解释为 xhigh,并非逐请求服务端认证;对方复测应显式使用相同 thinking effort。

Qwen Responses effort 官方说明

统一评分

Astra 取当前交付包已有的当前版本评分与原生轨迹;Qwen 25 份冻结答卷均按 E 盘 Vsent 对应 verifier、私有参数和规则重评。重评不调用候选模型,不修改原答卷;评分耗时不计入作答用时。无有效数值分的状态保留为无效、执行错误,不作零分。

历史版本与比较范围

同题号的公开输入、接口、预算和 Astra 留存答卷可能已更新。题目匹配与输入等价是两个条件,重评不能消除历史题面差异。Type 10 当前评分器还对封存的 Astra 身份保留了历史单位兼容规则;历史 Qwen 单位不能直接获得该兼容,故接口无效状态不解释为能力零分。差异案例使用 Astra−Qwen≥8 分筛选,并可切回全部匹配;该展示阈值不替代合同验收门槛。

完成率与故障

正式 attempt、CLI 恢复片段、用户暂停和评分执行分别计数。历史批次全量故障计数不冒充当前 25 题子集的故障率。当前比较仅覆盖部分题目,完整 Family 判断需同条件完成全部 30 题。

07 / ASSESSMENT INTEGRITY

Reward hacking 风险与披露边界

命题复核 · 信息边界 · 评审安排

评测改进应修正真实的信息缺口与验证漏洞,同时保留独立建模的考核空间。持续按失分点公开参考求解路径,可能提高评分匹配度,却不等于原任务上的能力提升。

01 / 观察与判断识别方法性过度披露

在命题与内部复核中,我们观察到 Astra 倾向于将部分专业推导和建模判断进一步转化为显式输入要求,包括中间变量、计算步骤和参考处理路径。若根据每个失分点持续增加这类提示,原本需要独立完成的分析可能逐步转为对参考实现的复现。

这里的 reward hacking 指评分反馈驱动披露、使得分改善与目标能力发生偏离的评测风险;不据此推断模型的主观意图,也不将所有高分或参考差异归为此类行为。

02 / 已采取的处理矫正公开信息边界

经内部研判,当前公开材料以必要业务事实、合同约束和交付要求为边界;将详细推导、参考实现及验证依据置于 reviewer 侧,保留作答者识别经济关系、建立跨期联系并解释专业判断的责任。相关说明已纳入控制表及评审文件。

现实任务无法预先穷尽全部变量、状态与计算分支。材料是否充分,应依据既定业务范围及必要事实判断;未逐步列出参考公式,本身不构成条件缺失。

03 / 评审安排公开作答,独立复核

作答者依据公开材料独立建模并提交可核查的成果;reviewer 侧说明业务依据、考核能力、参考实现和验证重点,并与 candidate 作答环境隔离。评审分别识别明确条款、必要推导、专业判断、表达差异与计算错误,不把数值偏离参考直接等同于违反金融原理。

评审说明用于解释和核验既定规则,不新增交易条件、不替代自动评分,也不因期望分差而调整得分。较高得分本身不证明题目更完善,较低得分本身也不证明题面不完整。

04 / 后续处理原则以证据修正,按版本复测

对信息不足或评分漏洞的反馈,先定位具体业务事实、输入依赖和受影响的输出,区分真实缺口与尚未完成的推导。必要修订应保留版本、原因及影响范围,并在相同题面、thinking effort、工具、预算和 verifier 条件下复测;输入提示变化后的成绩不与原条件下的历史成绩混作同一基线。

目标是提高评测有效性,而非追求预设高分或低分。任务完成度仍应与有效提交、作答时间和资源消耗共同解释。

评审依据与查阅位置

本说明依据 Batch 2 1st Half 控制表“输入与抽检”页,以及 Type 07 交付包 reviewer_full/Assessment_Design.md 第 1–9 节,重点为第 7 节的评分驱动披露风险、第 8 节的差异归因和第 9 节的评审分工。详细推导及参考实现请由接收方在已交付的 reviewer 材料中查阅;此处仅说明处理原则与安排。