复杂编码可先试 Sol 6.1
Vulcan 的 23 题中,high 通过 23/23,约 $0.33/次、10.2 分钟/题。Astra high 同样通过 23/23,用时约 4.9 分钟,费用约 $1.71。预算和等待时间会导向不同选择。
Sol 原始实验 ·
Gemini、Claude、GPT 的能力、成本、速度与推理档位。把“擅长什么”和“完成一次任务要付出什么”放在一起看。
Vulcan 的 23 题中,high 通过 23/23,约 $0.33/次、10.2 分钟/题。Astra high 同样通过 23/23,用时约 4.9 分钟,费用约 $1.71。预算和等待时间会导向不同选择。
Sol 原始实验 ·
同一 ToneBench 快照中,Opus 5.5 high 为 84.61 分 / $0.328,Sonnet 5.5 max 为 84.60 分 / $1.383。Opus 5.5 xhigh → max 仅增 0.10 分、费用增至 2.57 倍;小分差没有显著性保证。
ToneBench 同版数据 · 英文脚本,不等于中文写作。
Gemini 三个候选都原生接收音频、视频与 PDF。AA 中 Argon high 的自动化子项为 78%;Flash-Lite 约 438 token/s,但综合指数为 22。输入能力、速度和任务质量应分别验收。
这些是候选选择与观测结果。没有把不同基准揉成总分,也没有把 API 费用换算为 ChatGPT、Claude 或 Gemini 的订阅额度。
2026-10-16 核验:截图中的 8 款全部纳入,加上原报告的 4 款新版、官方仍可调用的 Opus 4.5 与 Sonnet 4.5,共 14 款通用型号。Active 不代表你的入口有权限;Deprecated 仍能调用,但需安排迁移。
如果目前只能使用截图里的型号:日常编码先试 Sonnet 5 high,范围明确时试 medium;复杂定位、重要 review 和设计比较 Opus 5 high。Fable 5 作为难题升级候选,截图提示另需 usage credits。这是结合官方起点的选型建议,旧型号缺少同版 Vulcan 档位曲线。
起步建议依据 官方 effort 指南 与 旧型号 thinking 预算指南;支持某档位不等于该档位是已验证的甜蜜点。每款的价格、窗口与输出限制见“规格与预算”。AA 中 * 为来源估计值;写作配置可能是 provider default 或含回退,不能一律看作显式 effort。
中文未实测:以上全部 Claude 的中文写作、中文研究成稿与中文任务档位建议均待验证。ToneBench 测英文脚本,不能据此给中文排名。
截图只证明型号在选择器可见;未验证实际调用、额度或套餐。Fable 5 的 Requires usage credits 提示保留,API 美元无法换算为该入口扣额。Claude API 生命周期另确认 Sonnet 4.5 将于 2026-11-30 退役;Haiku 4.5 当前仍 Active,“不早于 10-15”不是已退役。
Mythos 未确认账户权限且未纳入同口径实测,不用 Fable 分数代填。已 Retired 的型号不作为可调用候选;Bedrock / Google Cloud 可能采用不同退役日期。
建议整理于 2026-10-16。下表给出可执行的起点;“甜蜜点”是质量、整任务费用与等待时间的折中。公开实测、官方起点和本报告推断分别标明,未在你的仓库逐项跑对照实验。
工程主力:GPT 6.1 Sol high;明确小改动用 medium。Claude 路线:Sonnet 5.5 medium / high;仅截图入口用 Sonnet 5 medium / high。复杂定位、重要复核与方案取舍比较 Opus 5.5 high,截图入口用 Opus 5 high。各型号的同名档位不代表相同计算预算。
分类参考 SWE-TaskFlow 的任务意图分类,另按工程流程拆分测试生成与执行验证;不是行业统一标准。SWT-Bench 的回归测试标准是错误实现上失败、修复后通过。
公开实测 仅支持原题集的观测;官方起点 是厂商建议;推断建议 需要在实际工作流验收。
| 任务 | 默认模型 / reasoning 甜蜜点 | Claude 选择 / 截图替代 | 升档或换模型条件 | 依据与限制 |
|---|---|---|---|---|
| 代码理解、文档与常规问答Explain / Docs / Question | Sol 6.1 low跨模块理解用 medium。 | Haiku 5.5 low截图:Haiku 4.5 关闭 thinking;跨模块换 Sonnet 5 medium。 | 需要追踪完整调用链、状态变化或隐含约束时升 Sol high;缺代码或文档先补资料。 | 推断建议轻任务分流;Haiku 5.5 low 有官方起点,未做仓库问答对照。 |
| 明确的小功能、局部修改New feature · 范围明确 | Sol 6.1 medium已有清楚的接口和验收条件。 | Sonnet 5.5 medium截图:Sonnet 5 medium;质量不足回到 high。 | 需求有歧义、需自行探索,或改动影响多个模块时升 high。不要仅因文件多而自动升档。 | 官方起点+推断Sonnet 5.5 明确代理编码用 medium;Sol 小任务分流为推断。Sonnet 5 缺同版编码档位曲线。 |
| 多文件功能实现、完整交付New feature · 探索、实现、验证 | Sol 6.1 high本报告的编码主力起点。 | Sonnet 5.5 high截图:Sonnet 5 high;难点比较 Opus 5 high。 | 方向正确但遗漏约束时试 xhigh;重复走错实现路径时换 Opus 5.5 / Opus 5 high。时间优先且预算允许,可比较 Astra medium。 | 编码实测+任务外推Vulcan:Sol high 23/23;不是完整仓库交付保证。Claude 替代按官方起点,未证明同档胜负。 |
| BUG 定位与修复Debug / Bug fix | Sol 6.1medium:根因明确high:根因不明 | 复杂定位:Opus 5.5 high截图:Opus 5 high;明确小修复可用 Sonnet 5 medium。 | 并发、时序、缓存或跨服务因果链可试 xhigh;补齐日志仍只修症状时换模型独立诊断。缺复现不靠升档解决。 | 推断建议编码评测只间接支持;没有按 BUG 类型分层的同题模型 × 档位对照。 |
| Code review正确性、兼容性与可维护性 | Sol 6.1 high若代码由 Sol 生成,重要变更优先加 Claude 独立复核。 | Opus 5.5 high截图:Opus 5 high。小范围低风险 diff 可用 Sonnet 5.5 / 5 medium。 | 权限、事务、跨模块兼容等长链检查试 xhigh。只报有代码证据、触发条件和影响的问题;格式交给 lint。第二模型仍需核验。 | 推断建议Vulcan 的 Code quality 衡量生成代码,不能当作模型找出缺陷的 review 准确率。 |
| 回归测试设计与生成Tests · 新增有效覆盖 | Sol 6.1medium:常规单测high:回归 / 边界 / 集成 | Sonnet 5.5 high截图:Sonnet 5 high;明确单测可试 medium。 | 测试只复述实现时先补错误案例与验收条件;复杂状态组合再试 xhigh 或 Opus high。必须验证修复前失败、修复后通过。 | 推断建议验收方法有 SWT-Bench 支持;这里没有这些型号的测试生成档位对照,不能把功能通过率当覆盖质量。 |
| 执行已有回归、构建与检查Execute · 已有验证流程 | 现成脚本 / CI需代理操作时用 Sol 6.1 low;固定流程可试 Luna 6 low。 | Haiku 5.5 low截图:Haiku 4.5 关闭 thinking。它没有 low / high 档位。 | 出现未知失败转入 BUG 定位,用 Sol high 或 Opus high。运行时间长本身不需要高 reasoning;按退出码、日志和测试结果验收。 | 流程建议测试是否通过由真实执行决定;轻量代理是否能可靠操作,需在你的工具链验收。 |
| 重构、依赖升级与迁移Refactor / Transformation | Sol 6.1medium:机械修改high:跨模块保行为 | Sonnet 5.5 high截图:Sonnet 5 high;高影响迁移加 Opus 5 high 审查。 | 数据兼容、回滚和多阶段迁移互相影响时,用 Opus 5.5 / 5 high 复核方案;难点再试 xhigh。 | 推断建议原编码曲线不等于真实迁移成功率;行为保持、兼容性和回滚需单独验证。 |
| 方案设计与架构取舍Planning · 约束与失败模式 | Opus 5.5 high简单方案初稿:Sol 6.1 medium。持续工程主控也可先用 Sol high。 | 截图:Opus 5 highSol 6.1 high 可提供反证和第二意见。 | 材料齐全但冲突约束、失败推演仍遗漏时试 xhigh;重大难题可比较 Fable 5.1 / 5 high 或 Astra high,不默认 max。 | 推断建议没有架构方案质量的同题档位实验;Opus 5.5 API 默认是 medium,表中 high 是复杂任务建议。 |
如何读“实测”:指已引用的公开评测,不是本次新跑实验。Sol high 的编码曲线有直接证据;映射到 review、定位、回归设计、架构仍是推断。截图中的旧 Claude 缺同版 Vulcan 档位曲线,不能把新版分数移给旧版。中文需求理解、注释和说明文案也没有做专项对照。
Opus 4.8 / 4.7:官方编码与代理起点是 xhigh,复杂分析用 high;这是官方建议,报告未测出其日常甜蜜点。Opus 4.6:可从 high 起步;Sonnet 4.6:明确代理编码用 medium、复杂推理用 high;两者均没有 xhigh。保留已验收的旧工作流,有新版权限再同题比较。官方 effort 指南
Opus 4.5:medium / high 只是常规 / 复杂任务起点,还需独立 thinking 预算。Haiku 4.5:适合先试简单任务;开启 thinking 后控制预算,不硬换算为 low / high。Sonnet 4.5:已弃用,2026-11-30 前迁移,不设为新工作流默认。旧型号预算指南
Fable 5.1 / Fable 5:仅当任务价值高、Opus / Sol 仍未达标时,从 high 比较;有额外收益才升 xhigh。含回退的榜单不足证明纯模型日常最划算;截图中 Fable 5 另需 usage credits。Haiku 5.5:日常短工具任务 low,多步代理 medium;不要把 max 当作低成本主控的替代品。
时间优先:Astra medium 在报告同题集通过 23/23,约 3.8 分钟/题、$1.48/题,高于 Sol high 的费用;CLI 和运行环境差异限制外推。Astra 原始实验
按这里以工程工作为主的用途,推荐从 GPT 6.1 Sol high 起步。如果主要是日常问答、资料整理和短工具链,改用 medium。现有证据支持条件推荐,尚未证明在你的 OpenClaw / Hermes 工作流中是全局最佳。
| 工作负载 | 默认模型 / 档位 | 甜蜜点判断 | 何时调整 |
|---|---|---|---|
| 日常混合主控问答、检索整理、短工具链 | GPT 6.1 Sol medium | 采用官方默认作为起点;先用较少推理预算满足常规任务。 | 需要跨工具规划、来源冲突处理、未知 BUG 定位或完整交付时升 high;反复修订成本高时可把 high 设为该代理默认。 |
| 工程主控持续编码、重要 review、复杂定位与交付 | GPT 6.1 Sol high只能设一个工程默认时,选这一档。 | Vulcan 的功能通过率在 high 达到该题集上限;xhigh / max 未增加通过数。外推到主控仍需验收。 | 方向有效但多次漏约束才试 xhigh;卡在同一错误假设时比较 Opus 5.5 / Opus 5 high,或 GPT 6 Astra medium / high。把简单步骤交给低档辅助任务。 |
| 固定流程与辅助任务测试执行、格式转换、简单分类 | 脚本 / CI需模型时:Sol 6.1 low;低成本候选 Luna 6 low。 | 能确定性完成的步骤不消耗额外推理;轻量模型须先通过格式和正确率验收。 | 主控 high 不代表所有辅助调用都要 high。长上下文归纳、边界判断或未知失败升级到 medium / high;不要仅按单价替换主控。 |
模型选 Sol 的理由:官方定位覆盖复杂编码、computer use 和专业工作,并以低于 Astra 的成本提供接近的能力;官方选型指南仍要求同任务比较。Luna 适合先试受限的轻任务,Astra 保留为能力或时间更重要时的升级候选;这不构成三者在所有代理任务中的胜负结论。
| 档位 | Vulcan 功能通过 | Vulcan 费用 / 耗时 | AA 综合分 / 加权任务成本 |
|---|---|---|---|
| medium | 22 / 23 | $0.399 / 10.6 分钟 | 48 / $0.21 |
| high | 23 / 23 | $0.330 / 10.2 分钟 | 50 / $0.32 |
| xhigh | 23 / 23 | $0.435 / 15.4 分钟 | 51 / $0.39 |
| max | 23 / 23 | $0.458 / 14.5 分钟 | 52 / $0.72 |
编码实测:Vulcan v4 / v3.18 中 medium → high 多通过 1 题,API 等价均费反而低约 17.2%;high → xhigh / max 的功能通过数相同,不代表代码质量完全相同。每档每题一次、只有 23 个二进制重建任务,经 Codex CLI 运行,部分计时受同机并行负载影响;不能据此证明 high 在所有任务更便宜或更快。
综合任务实测:AA v4.3.2 的 10-14 快照中,medium → high 综合指数 +2,公布的加权任务成本约 +52%;不是通过率,也不是你的实际账单。low / medium · high / xhigh · max。因此日常混合任务保留 medium 起点。AA 的 max 自动化子项不能移作 high 主控的直接证据。
主控建议是推断:这里没有同一 OpenClaw / Hermes 版本、同工具、同任务的 Sol medium / high 完成率实验。用 20–30 个代表性真实任务先做配对试跑并复跑关键失败,记录完整完成率、错误工具调用、人工介入、端到端 P50 / P95,以及包含失败重试的每成功任务总费用;样本数量本身不保证统计显著。中文成稿另做匿名人工评价。
模型与档位分开:官方模型 ID 是 gpt-6.1-sol,high 是 reasoning effort;gpt-6.1-sol/high 是本文组合写法,不是官方 API 模型 ID。支持 low / medium / high / xhigh / max,默认 medium,不支持 none / minimal。工具调用使用 Responses API;官方 Chat Completions 路径不支持该模型的工具调用。模型文档
OpenClaw:可在匹配模型的 agents.defaults.models["<provider>/<model>"].params.thinking 或代理自身默认项指定档位;单条消息和会话设置可能覆盖它。避免仅为了工程主控把所有任务的全局默认一起升高。thinking 配置与优先级
Hermes:主控可用 agent.reasoning_effort,混合模型用 agent.reasoning_overrides;标题生成、压缩等辅助调用可按任务单独配置模型和 reasoning。同模型 background review 会继承主控档位,不能独立覆盖。默认辅助路由可能复用主模型,因此需把这部分也纳入费用检查。官方配置文档
以上按 2026-10-16 在线文档核对,未核验你的本地版本和 provider。自定义代理、转发服务可能有独立映射:落地时确认真实请求使用 Responses、实际模型及 effort 生效;配置接受该字符串不等于服务端执行了该档位。
本节采用主控始终为 gpt-6.1-sol / high 的前提。主控负责拆解、派发、整合与最终验收;下文所有升档都发生在子任务或独立专家中。角色分配是待验收的策略,框架字段与继承限制依据 2026-10-16 官方文档核对。
最小起步组合:通用子 agent Sol 6.1 medium;轻量辅助 Luna 6 none / low;重要独立复核按需用 Opus 5.5 high(截图入口:Opus 5 high)。长会话压缩优先保留 Sol 6.1 low。先配置这几类,用实际失败记录决定是否增加专门模型。
依据边界:框架能否调档有官方文档支持;以下具体岗位与模型搭配是推断建议,没有在你的 OpenClaw / Hermes 环境中对照实测。现有 Vulcan 复杂编码题中,Luna 6 low / medium 均为 0/23,high 为 2/23,所以不把它设为所有工程子 agent 的默认;这也不代表它不能胜任标题、提取等简单任务。Luna 官方定位与档位 ·
| 职责与适用范围 | 默认模型 / reasoning | 专门替代 | 升级条件与验收 |
|---|---|---|---|
| 仓库探索、资料搜集只读定位、调用链、带出处的事实包推断建议 | Sol 6.1 medium已知路径的精确查找可用 low。 | Sonnet 5.5 medium 截图:Sonnet 5 mediumLuna low 只做已给材料的提取。 | 跨模块因果、相互矛盾来源或遗漏关键证据时交回主控 high;需要独立深挖再派 Sol high。返回文件 / 行号 / URL、事实与未确定项;不能只给无出处摘要。 |
| 明确功能实现、局部修复已有接口、可写范围、验收条件推断+官方起点 | Sol 6.1 medium | Sonnet 5.5 medium官方明确代理编码起点;截图可试 Sonnet 5 medium,复杂时 high。 | 需要自行探索方案、跨模块保行为或补齐信息后仍反复返工时改派 Sol high / Sonnet high。返回改动、测试命令与真实结果;由主控整合后跑必要集成检查。 |
| 测试设计与回归生成单测、边界、错误复现与集成测试推断建议 | Sol 6.1 medium:常规单测 Sol 6.1 high:复杂回归 | Sonnet 5.5 / 5 high测试执行本身交给脚本 / CI。 | 状态组合或失败路径复杂时才用 high;方向有效但仍漏关键场景可派 xhigh 专家。回归测试须修复前失败、修复后通过,避免仅复述实现。 |
| 独立 Code review高影响变更、兼容性、权限与事务推断建议 | Opus 5.5 high截图:Opus 5 high;按需触发。 | 仅 GPT:Sol 6.1 high 独立上下文;难题可比较 Astra medium / high。 | 并发、事务和跨服务不变量仍解释不清时派 xhigh 专家。提供 diff、相关上下文和要求,不预先塞入实现者的自我评价。发现须附触发条件、位置与影响;跨模型不保证审查正确。 |
| 疑难 BUG 与方案反证独立假设、反例、失败模式推断建议 | Opus 5.5 high截图:Opus 5 high。明确小问题仍走通用 medium 子任务。 | 仅 GPT:Sol 6.1 high;更难可试 Astra medium / high。 | 已有日志与复现,推演方向有效但链条不完整时试该专家的 xhigh;反复坚持已被证伪的假设则换模型。返回证据、反例和最小验证实验;主控仍维持 high。 |
| 网页 / UI 交互与视觉任务看截图、跨步骤操作、核对完成状态推断建议 | Sol 6.1 medium独立规划、复杂页面或易丢状态时 high。 | 单纯截图提取见辅助任务表;音视频与 PDF 材料可交 Gemini 3.8 Flash medium。 | 误识控件或状态时先获取新截图 / 页面状态;重复失败才升级。核对操作后的真实页面,读图辅助结果不直接等于已完成操作。输入模态还取决于实际工具路由。 |
| 辅助任务 | 默认模型 / reasoning | 升级或替代 | 落地与验收边界 |
|---|---|---|---|
| 标题、短标签、格式归一推断建议 | Luna 6 none确定性格式转换优先用程序。 | 语义歧义试 low;反复不合格式先改 schema / 校验器。 | Hermes 标题调用会主动关闭 thinking;Luna 支持 none。Sol 不支持 none,不适合拿它模拟无推理标题模型。检查长度、格式与是否忠实原意。 |
| 结构化提取、分类、日志初筛推断建议 | Luna 6 low | Haiku 5.5 low;截图:Haiku 4.5 关闭 thinking。跨材料关系转 Sol medium。 | 以字段完整率、格式通过率和可回溯出处验收。此处只负责提取与分流,不承担未知根因诊断。Haiku 4.5 没有 low / high effort。 |
| 长会话压缩、交接摘要推断建议 | Sol 6.1 low在框架允许独立控制时。 | 复杂代码状态、多个约束或冲突事实用 medium;简单材料摘要才比较 Luna low。 | 保留目标、约束、文件 / 标识符、已做与未做、失败证据及下一步;发现漏项先回原文恢复。压缩错误会影响后续所有任务,不能只按输入单价决定。原生 Codex compaction 由宿主控制。 |
| 截图读取、OCR 与视觉描述推断建议 | Luna 6 low清晰截图、提取而非自主操作。 | 小字、复杂图表、跨图推理用 Sol medium;音视频材料用 Flash 3.8 medium。 | Luna 官方支持图像输入;实际准确率未测。Hermes 的 vision 辅助只影响经过该辅助客户端的调用,主模型直接看图可能不会走它。中文 OCR 与理解另标未实测。 |
| 心跳、状态轮询与告警初筛流程建议 | 脚本 / 规则优先需语义判断的独立监控代理:Luna low。 | 明确异常交回 Sol high 主控;承担工程计划推进的心跳仍使用主控。 | OpenClaw heartbeat 不使用 subagents 默认;单改 heartbeat.model 不证明 low 已生效。低成本监控采用独立上下文并核验实际档位,避免读取整段工程会话反复调用。 |
| Hermes background review记忆与技能整理;不是 Code review继承规则已核验 | Sol 6.1 high先保留同模型、同档位的缓存复用。 | 费用偏高时对照 Sonnet 5.5 medium(截图:Sonnet 5 medium);这是换模型方案。 | 同模型 fork 强制继承主控 effort,设 low 无效;不同模型才接受独立 effort,并使用摘要而非同一缓存前缀。比较记忆遗漏、错误写入和实际总费用,不保证换便宜模型一定省。 |
中文未实测:中文标题、摘要、OCR、记忆整理及子任务中文理解均未做专项验证。表中的档位是起步建议,不能用英文基准证明中文质量。网页抓取、测试执行、embedding 索引等也不应一律额外加一层聊天模型;Hermes 当前 web_extract 为确定性截断 / 分页,不是独立 LLM 辅助调用。
| 设置 | OpenClaw | Hermes |
|---|---|---|
| 通用子 agent 默认 | agents.defaults.subagents.model 选已配置的 Sol 6.1 路由;agents.defaults.subagents.thinking = "medium"。两者显式指定,避免继承主控 high。 | delegation.model = "gpt-6.1-sol",delegation.reasoning_effort = "medium"。provider / endpoint 使用实际可用的 Responses 路由;显式 delegation effort 优先于继承主控。 |
| 按角色派发与升级 | sessions_spawn 的 model、thinking 可覆盖本次子任务;非 thread 子任务默认 isolated,需历史才显式 context: "fork"。不同 runtime 的支持条件需核验。 | 当前 delegate_task 没有逐任务 model 参数,批次使用统一 delegation 路由。基线先统一 Sol medium;难题交回 high 主控,独立 Opus 复核用 /review 的 auxiliary.review 专门路由;其他异构任务走独立配置。不要为并发子任务轮流改同一份全局配置。 |
| 并发与深度起点 | agents.defaults.subagents.maxConcurrent = 2agents.defaults.subagents.maxSpawnDepth = 1 | delegation.max_concurrent_children = 2delegation.max_spawn_depth = 1这是建议初值,不是框架默认,也不保证最优。 |
| 压缩与其他辅助调用 | 内置运行时可设 agents.defaults.compaction.thinkingLevel = "low";原生 Codex compaction 不接受该覆盖。视觉、心跳与其他插件各有路由,不受 subagents 默认统一控制。 | auxiliary.<task>.model / provider / reasoning_effort 分别指定。建议 title_generation → Luna none、compression → Sol low、vision → Luna low;以实际辅助调用路径为准。 |
| 容易混淆的 review | 独立代码评审按专门子任务派发,用 Opus high 或独立上下文的 Sol high;这属于本报告策略。 | /review 审查工作产物,默认用主模型;auxiliary.review 可指定 Opus 专门评审路由,实际 effort 按 high 验收。auxiliary.background_review 整理记忆 / 技能;同模型时固定继承 high,不同模型才可独立调档。 |
配置依据:OpenClaw 派发与继承 · 并发 / 深度 · compaction · Hermes delegation / review · Hermes effort 解析实现 · 辅助配置 · background review
Hermes 官方另提供 Kanban 的逐任务模型覆盖;本报告未验证它的完整模型 × effort 路由,不把它写成已就绪的自动升级方案。上述字段也未在你的本地版本或自定义 provider 上执行验证。
协议前提:Sol 6.1 工具调用使用 Responses;Luna 6 带 reasoning 的工具调用同样使用 Responses,Chat Completions 工具调用只支持其 none 档。框架显示的 low / high、实际发送字段与服务端接受的档位要一致。Sol · Luna
选取代表任务,固定输入、工具、验收与总预算,比较全员 Sol high 和上述分工方案。记录完整完成率、失败后升级次数、错误结论 / 工具操作、主控纠偏量、总费用及端到端 P50 / P95;关键失败重复运行。独立统计压缩漏项、记忆误写、OCR 错误与中文成稿修改量。
每个任务保留实际 model / effort / provider、回退、缓存命中与所有子调用费用;不能只用便宜模型的单价或子任务局部通过率宣布整体更省。只有质量达标且总成本 / 耗时改善时才扩大分流。
中文未实测:下表两项中文建议是待验证起点,依据英文写作结果与通用能力作出的判断。研究分析建议也不构成中文成稿排名。中文语气、术语、事实与返工量,需要用你的真实材料和人工评价另行验证。
| 任务 / 证据状态 | 默认模型 | reasoning 甜蜜点 | 升档或换模型条件 |
|---|---|---|---|
| 中文摘要、润色、改写与邮件中文未实测 | GPT 6.1 Sol待验证建议。 | low | 表达约束多、需要重组结构时用 medium;语气或成稿质量仍不合适,试 Opus 5.5 medium,不要直接跳到 max。 |
| 中文客户报告、GEO 内容与观点长文中文未实测 | Claude Opus 5.5待验证建议。 | medium 起步high:复杂论证 | 需协调多份材料、保持复杂论证链时升 high;重要成稿可比较 xhigh,以匿名人工评价和修改量判断收益。 |
| 英文脚本、内容初稿与润色有 ToneBench 英文脚本证据 | Claude Opus 5.5低成本初稿可用 Sol 6.1 low。 | high更高质量需求可比较 xhigh。 | 在你的编辑标准下确有改善才升 xhigh。该快照 xhigh → max 仅增 0.10 分、费用变为 2.57 倍,不默认 max。 |
| 资料整理、比较与常规分析Research / Data analysis | GPT 6.1 Sol | medium | 来源冲突、多步计算或结论依赖多项假设时升 high;引用缺失先检索,计算结果用工具复核。 |
| 深度研究、复杂决策与反证间接能力证据;任务需另验收 | Claude Opus 5.5Sol / Astra high 可做第二意见。 | high | 方向有效但推演不完整时试 xhigh;反复忽略反证时换模型重新分析,第二意见仍须核验。 |
| 音视频、图像及大量文档分析原生输入有官方支持 | Gemini 3.8 Flash复杂跨材料推理换 Argon。 | Flash medium:提取整理Argon high:复杂推理 | 细节召回或跨段推理不足时换 Argon;核验时间戳、引用和跨段关系。资料缺失不能靠升档弥补。 |
| 批量提取、分类与格式转换明确、可校验的常规任务 | GPT 6 Luna备选 Haiku 5.5;多模态简单解析可试 Flash-Lite。 | low:简单处理medium:多步工具任务 | 先定正确率与格式通过率;复杂理解不足时换 Sol 6.1 medium / high。不要把轻量模型 max 当作省钱的默认方案。 |
按阶段调档:方案设计 high → 明确实现 medium / high → 重要审查 high → 执行回归 low;未知失败再回到 high 定位。
更多依据:OpenAI reasoning 指南 · Gemini thinking 指南 · 固定输出预算下的 max 实验。预算耗尽、收益变小与质量下降应分别解释。
ChatGPT 是产品名称,本报告以 GPT 模型 ID 做底层对照。实际产品还加入系统提示、搜索、文件处理、浏览器、记忆和代理编排;同名模型在不同入口的结果不保证一致。官方 API 规格不证明你的套餐能使用全部模式,订阅配额也不能由这些美元倒推。
AA v4.3.2:原 10 个代表配置于 10-15 读取,新增 10 个 Claude 配置于 10-16 读取。* 为来源估计值;缺测不是零。相同 high / max 不代表相同计算预算。
Fable 5.1、Opus 5.5、Sonnet 5.5 的 AA 配置含 Default Fallback;Fable 5 max 含 Opus 4.8 回退,比例未披露。Opus 4.7 / 4.6 / 4.5 综合分为估计值,部分子项和费用缺失。Haiku 5.5 的 >100k 阶梯价覆盖仍未确认。AA 的 Time per Task 是 token 与吞吐推算值;不等于评测过程中的墙钟耗时。AA 定义
以下直接取自 Google 的 Argon model card,属于厂商发表的比较。不同项目的来源和实验设置各异,单独呈现。
各模型原则上采用最高或最佳可用推理档;该表不是相同成本预算的测试。原始 model card · 逐项方法
共 166 条记录;原 121 条保持不变,另补入 Gemini、Claude 与 Agent Arena 数据。不同基准分别解释。
| 模型与配置 | 分数 | 费用 USD | 耗时 | 样本 | 前沿资格 | 来源 |
|---|
官方 API Standard、美元 / 百万 token;Claude 核验于 10-16,GPT / Gemini 于 10-15;每款保留核验日期。产品订阅、服务加速、Batch/Flex 与工具调用另算。
上下文上限代表可容纳量,不保证长文档推理或信息召回质量。Argon 的 1,048,576 是输入、思考、输出共享窗口;Flash / Flash-Lite 列的是输入上限,输出另有 65,536 上限。GPT 的窗口为 1,050,000;Claude 4.6 及以后为 1M / 128k;本次核验的 Opus 4.5、Sonnet 4.5、Haiku 4.5 为 200k / 64k。旧评测页面的窗口标注不覆盖当前官方规格。
表中只列这些通用 API 模型的原生输入和文本输出。GPT / Claude 的产品或工具可以处理其他媒体,但不应据此把通用模型标为原生音频、视频输入;Gemini 的音频/视频理解也不等于能生成音频/视频。图像生成、TTS、Live 与视频生成另有专用模型。
这是费用情景,不是实测成本。每次请求的 token 数相同,不能保证不同模型完成同一任务会使用同样的 token。
费用=[输入×(1−缓存占比)×输入价+输入×缓存占比×缓存读取价+(可见输出+推理)×输出价]÷1,000,000×请求数。缓存比例表示已有命中,不包含建立缓存的写入/存储成本。工具、检索、区域加价、税费、失败重试与人工复核另计。超出窗口或同步输出上限时不估价。
Haiku 5.5 >100k 的整次请求阶梯价、GPT >272k 的长上下文价会自动应用。Argon 的 long decode 是单独模式,本计算器按同步上限检查。Google 优惠结束情景只变动已公布的 Google 价格,其余仍按核验日。
不能把榜单上的 $0.33 理解为套餐扣了 $0.33,也不能从 API 单价推导“max 消耗几次额度”。实际比较应记录:任务是否完成、总等待时间、人工修改时间、重试次数,以及产品界面实际显示的额度变化。额度规则未核验时保持未知。
更高档位是更多推理机会,不是每类任务都能稳定获益。三个厂商的档位名称不能视为统一预算。
Opus 5.5 写作 xhigh→max,分数 85.83→85.93,成本 $1.003→$2.582。观测上继续改善,但增益很小。
边际收益,不是倒挂Sol 6.1 写作 low→medium,81.41→81.00;缺少配对显著性证据。不能把 0.41 分变化推广到其他任务。
需重复实验Forcebench 在固定 32,768 总输出预算下,Sonnet 5.5 high→max 降 35 个百分点;48% 的 max 请求没有产生答案。
明确限定预算与题集ToneBench 数据 · Forcebench 配对实验
标准差分仅比较同一快照、同一模型的显式标准档。Opus 的 Vulcan 结果另提供分口径证据,分别查看实际配置、共同无回退子集和独立实验。
2026-10-16 补充核验 · Frontier 原始五档都存在;medium 以上混入 Opus 4.8,不能作为纯模型升档曲线。以下补充表不进入原图的前沿或标准差分。
截至本次核验,在已查阅的 Vulcan 模型页、Frontier 报告和榜单中,未找到关闭回退后重跑全部 23 题的公开结果。需要同一任务集、固定模型版本与工具链,逐次记录实际服务模型,按同一预算做多轮配对实验;拒答、超时和空补丁均保留。现有回退回复不能从最终补丁中简单减掉,6 题子集也不能补成 23 题结果。本次仅复算公开数据,没有新跑付费实验。
| 证据 | 观测与边界 | 可以采取的动作 |
|---|---|---|
| Forcebench 配对研究 | 60 个 Salesforce 任务,high 对 max。Sonnet 5.5 −35pp(95% CI −45 至 −25),Haiku 5.5 −22pp(−32 至 −10);max 无答案占 48% / 55%。未测 xhigh 或更大输出预算。 | 升档时同时检查输出预算与截止时间;不能据此断言充分预算下 max 仍差。 |
| Vulcan 小题集 | Haiku xhigh 与 max 均 22/23 通过,约 $0.84 / $1.54,19.0 / 27.7 分钟。每题每档一次,题集特定。 | 对类似工作可先试 xhigh;“这批没有增益”不等于所有任务都没有。 |
| Simon Willison 单例 | Sonnet 5.5 max 在 SVG 任务用完128k未交付;xhigh 成功。只有一个案例,不能估计失败率。 | 把“有成品”列为验收条件;为耗尽预算设计降档或重新运行策略。 |
API effort、OpenAI reasoning.mode=pro、产品 Ultra、服务 Fast/Ultrafast 是不同控制项。原附件的 Ultra 作为编排变体保存,不折算成 max。OpenAI 定义 · Claude 定义 · Gemini 定义
本报告重整公开证据,没有新增付费模型实验。官方规格、独立测试、平台用户任务与个人经验分别标注。
| 数据层 | 时间与覆盖 | 可回答 | 不能推出 |
|---|---|---|---|
| 官方规格 / Standard 价格 | 23 型号;Claude 10-16 核验,GPT / Gemini 10-15;Mythos 受限入口另列 | 模型身份、输入能力、上下文、支持档位、已公布的单价和优惠期 | 用户账户权限、订阅扣额、同任务总 token、真实延迟 |
| AA v4.3.2 | 原45条为10-14;补4条于10-15、10条于10-16;分项矩阵共20配置 | 相同指数版本的知识、工作、推理分项;来源口径的费用 | 中文写作、无回退纯模型排名、微小分差的统计显著性 |
| Vulcan | 9型号 ×5档 ×23题;运行日期与CLI不同 | 二进制重建任务完整隐藏测试通过率、费用和墙钟时间 | 全领域编程排名、Gemini/Fable 的相同题集成绩、通用代码审美 |
| ToneBench | 10-13 20:08 UTC;共50条;补充19条与原31条使用的原始SHA256一致 | 同一编辑风格的英文脚本评分与费用、耗时 | 中文内容质量、人类普遍偏好、已确认的全部重试费用 |
| Agent Arena Code | 10-14榜单;本报告选取12个型号配置 | Arena 随机路由与工具链中的相对表现和95% CI | 绝对完成率、无编排纯模型能力、不同基准成本的直接可比性 |
各图、每行数据与规格表附直接来源;以下为解释方法和主要结论所用资料。离线打开不会自动请求这些页面。
主 HTML 含全部数据、样式与脚本,可单独离线打开。旁边的 report-data.json 与 report-data.csv 保存完整数据;report-content.json 保存官方规格与说明;build_report.py 负责从原始快照重建。原 121 条字段和值未改写。
前沿定义:在当前基准、横轴和筛选中,如果另一个可参与配置的成本/时间不高于本点、分数不低于本点,且至少一项严格更好,则本点受支配。这个点估计前沿不检验显著性,也不代表所有未测配置。