DeepSeek V4.1 Flash 浏览器操作评测:在 72 项网页任务中对比 GPT-6.1 Sol

对于需要跨多个网站工作的代理,我们会选择 GPT-6.1 Sol;对于单个网页应用内的工作流,我们会选择 DeepSeek V4.1 Flash。每个模型都在 ego-browser 中将我们的 72 项任务各运行两次,因此每个模型进行了 144 次尝试。GPT-6.1 Sol 在 144 次尝试中通过 121 次(84.0%),DeepSeek V4.1 Flash 通过 82 次(56.9%)。在两个模型每次尝试均通过的 29 项任务上,GPT-6.1 Sol 平均每项耗时 219.7 秒、费用 $0.310,DeepSeek V4.1 Flash 则为 321.7 秒、$0.047。
阅读运行记录后,我们发现两个模型的工作方式不同。GPT-6.1 Sol 经常用一条命令处理多个网站,而 DeepSeek V4.1 Flash 一次处理一个页面,并持续查找。在需要从 8 个或更多网站收集相同字段的任务中,DeepSeek V4.1 Flash 有 23 次尝试用尽了全部 100 步。在我们的测试应用中,工作在单个网页应用内完成,它的通过率和速度接近 GPT-6.1 Sol,费用约为后者的六分之一。
每个模型也都有需要提前应对的弱点。GPT-6.1 Sol 有时会过早停止查找:在 3 项任务中,它两次尝试都失败,而持续查找的 DeepSeek V4.1 Flash 两次都通过。DeepSeek V4.1 Flash 虽然给出的答案更少,错误答案却更多:它的 144 次尝试中有 34 次以错误答案结束,GPT-6.1 Sol 则有 23 次。
成功率、速度与费用
GPT-6.1 Sol 在成功率和速度上领先,DeepSeek V4.1 Flash 的费用约为它的 15%。我们在两个模型每次尝试均通过的 29 项任务上比较耗时和费用,因此双方的这些数据均不包含失败尝试。全部 72 项任务的结果行则包含失败的尝试。
| 指标 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| 成功率,全部 72 项任务 | 84.0%(144 次尝试中通过 121 次) | 56.9%(144 次尝试中通过 82 次) |
| 每项任务耗时,双方每次均通过的 29 项任务 | 219.7 s | 321.7 s |
| 每项任务耗时,全部 72 项任务 | 321.6 s | 511.4 s |
| 每项任务费用,双方每次均通过的 29 项任务 | $0.310 | $0.047 |
| 每项任务费用,全部 72 项任务 | $0.483 | $0.071 |
| 每次成功尝试的费用,全部 72 项任务 | $0.575 | $0.124 |
| 每项任务的工具调用次数,全部 72 项任务 | 34.6 | 61.6 |
测试运行于 2026 年 11 月 7 日,两个模型均使用 ego-browser。每个模型对每项任务各运行两次。耗时包含等待各模型 API 响应的时间。
DeepSeek V4.1 Flash 费用较低,是因为它的定价更低,而非工作量更少。它平均每项任务调用工具 61.6 次,GPT-6.1 Sol 则为 34.6 次。即使按每次成功尝试计算,DeepSeek V4.1 Flash 的费用也是 $0.124,GPT-6.1 Sol 为 $0.575。
成功率的差距主要来自一类工作。在需要从 8 个或更多网站收集相同字段的任务中,GPT-6.1 Sol 在 64 次尝试中通过 51 次,DeepSeek V4.1 Flash 通过 21 次。在网页应用工作流中,两个模型在 30 次尝试中分别通过 29 次和 28 次。
| 工作类型 | 任务数 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| 网页应用工作流 | 15 | 96.7% (29/30) | 93.3% (28/30) |
| 在少量网站上搜索与比较 | 8 | 93.8% (15/16) | 81.3% (13/16) |
| 研究与综合分析 | 12 | 66.7% (16/24) | 62.5% (15/24) |
| 将 X 帖子与其他来源交叉核对 | 5 | 100% (10/10) | 50.0% (5/10) |
| 从 8 个或更多网站收集相同字段 | 32 | 79.7% (51/64) | 32.8% (21/64) |
| 全部任务 | 72 | 84.0% (121/144) | 56.9% (82/144) |
每项任务尝试两次,成功率是其中通过的尝试所占的比例。
在网页应用工作流中,两个模型的通过率几乎没有差别,因此费用成为区分它们的因素。在跨多个网站的任务中,GPT-6.1 Sol 的通过次数多得多。
GPT-6.1 Sol 如何工作
GPT-6.1 Sol 经常用一条命令处理多个网站。当任务涉及多个网站时,它会将这些网站保持在不同标签页中,并在每条 ego-browser 命令中推进其中多个网站的工作。两个模型收到的 ego-browser 技能文件相同,其中说明了如何在任务需要时同时保持多个标签页打开。在需要从 8 个或更多网站收集相同字段的任务中,GPT-6.1 Sol 有 56% 的浏览器命令操作了两个或更多标签页。DeepSeek V4.1 Flash 的这一比例不足 1%。
地震任务展示了这种工作方式。任务要求收集 9 家机构报告的同一场 2025 年地震的时间、震级和深度。GPT-6.1 Sol 在一条命令中读取 USGS 的事件页面,打开 EMSC 事件页面中的科学数据,打开 GFZ 的事件页面,并让第四个标签页前往 INGV。它两次尝试均通过,分别调用工具 40 次和 32 次。DeepSeek V4.1 Flash 则在单个标签页中逐一处理这 9 家机构,依次填写各机构的搜索表单,两次尝试都用尽了全部 100 步。
在我们的运行中,GPT-6.1 Sol 调用工具更少,也更早完成。在两个模型每次尝试均通过的 29 项任务中,它平均每项任务调用工具 28.6 次,DeepSeek V4.1 Flash 为 43.0 次。这些任务中有 16 项不属于网页应用任务,GPT-6.1 Sol 在其中 14 项上更快。在网页应用工作流中,它只有 3% 的浏览器命令操作了两个或更多标签页,两个模型的耗时大致相同。
GPT-6.1 Sol 的弱点是有时会过早停止查找。在 3 项任务中,它两次尝试都失败,而 DeepSeek V4.1 Flash 两次都通过。在 LiveBench 任务中,两个模型都在排行榜中查找 High 推理强度下的 GPT-5.4,却只找到了 xHigh 对应的行。调用工具 12 次后,GPT-6.1 Sol 报告页面没有显示该分数。DeepSeek V4.1 Flash 继续查找,在同一页面更下方 Insights 区域的模型选择器中找到了该分数:75.1。
前端框架任务也出现了类似情况。一次尝试中,GPT-6.1 Sol 在 Next.js 的版本发布列表中搜索“16.3.”,并报告了最上面的结果:8 月 21 日发布的 16.3.2。DeepSeek V4.1 Flash 逐页浏览了主要由 canary 构建组成的发布列表,找到了 9 月 30 日发布的 16.3.8。当 GPT-6.1 Sol 报告某个网站没有某个值,或直接采用搜索结果中的第一项时,我们会先自行核对该值,再使用答案。
DeepSeek V4.1 Flash 如何工作
DeepSeek V4.1 Flash 一次处理一个页面,并持续查找,直到找到目标信息。它平均每项任务调用工具 61.6 次,GPT-6.1 Sol 为 34.6 次。正是这种坚持,让它通过了 GPT-6.1 Sol 失败的 LiveBench 和前端框架任务。
在单个网页应用内,一次处理一个页面的方式影响不大。我们的 15 项网页应用工作流在填入了新数据的测试应用中运行,例如差旅预订应用和费用应用。DeepSeek V4.1 Flash 在其中 30 次尝试中通过 28 次,GPT-6.1 Sol 通过 29 次。在双方每次尝试均通过的 13 项工作流中,DeepSeek V4.1 Flash 平均每项耗时 173.0 秒、费用 $0.028,GPT-6.1 Sol 为 169.3 秒、$0.170。
预订符合政策的差旅就是一个典型例子。任务要求代理在差旅政策允许范围内预订往返航班、选择靠过道座位,并预订距离会场一英里以内的酒店。两个模型两次尝试均通过。DeepSeek V4.1 Flash 平均每项耗时 189.2 秒、费用 $0.033,GPT-6.1 Sol 为 199.4 秒、$0.253。
跨越 8 个或更多网站时,同样的工作方式会耗尽步骤。在这 32 项任务中,DeepSeek V4.1 Flash 在 64 次尝试中通过 21 次,GPT-6.1 Sol 通过 51 次。DeepSeek 平均每项调用工具 82.2 次,是 GPT-6.1 Sol 的 41.1 次的两倍。在 DeepSeek 用尽全部 100 步的 26 次尝试中,有 23 次发生在这类任务上。
当 DeepSeek V4.1 Flash 给出答案时,我们会将其结论与它自己列出的数据及读过的页面核对。它有 62 次尝试失败:34 次以错误答案结束,28 次没有给出答案。在这 28 次中,26 次用尽了全部 100 步,1 次因 DeepSeek API 返回服务器错误而结束。GPT-6.1 Sol 的全部 23 次失败都以错误答案结束。在旗舰手机任务的一次尝试中,DeepSeek V4.1 Flash 自己的表格列出 Galaxy S26 重 167 g,但表格下方的文字却将重 186 g 的 motorola signature 称为最轻的手机。
选择哪个模型
在 ego-browser 中,需要代理跨多个网站工作时,使用 GPT-6.1 Sol。它通过了 84.0% 的尝试,且从未用尽步骤。在需要从 8 个或更多网站收集相同字段的任务中,它在 64 次尝试中通过 51 次,也更早完成了跨多个网站的工作。
单个网页应用内的工作流,使用 DeepSeek V4.1 Flash。在我们的测试应用中,它在 30 次尝试中通过 28 次,耗时与 GPT-6.1 Sol 大致相同,费用约为后者的六分之一。对于跨 8 个或更多网站的工作,我们不会依赖它,因为它在这类任务的 64 次尝试中只通过 21 次。
少量网站的信息查询和研究任务,需要在时间与费用之间取舍。DeepSeek V4.1 Flash 在信息查询任务的 16 次尝试中通过 13 次,在研究任务的 24 次尝试中通过 15 次;GPT-6.1 Sol 分别通过 16 次中的 15 次,以及 24 次中的 16 次。这两类任务中,DeepSeek V4.1 Flash 都更便宜,也更耗时。

无论选择哪个模型,都要核对答案中的关键值。两个模型有时都会给出看似完整、却含有错误数值的答案。我们在 ego-browser 中以高推理强度运行了两个模型。ego-browser 与 ego(lite) 一同提供,并将其作为代理的浏览器进行控制。
常见问题
DeepSeek V4.1 Flash 的浏览器操作能力与 GPT-6.1 Sol 一样好吗?
在单个网页应用内,两者接近;跨多个网站时则不然。在网页应用工作流中,DeepSeek V4.1 Flash 在 30 次尝试中通过 28 次,GPT-6.1 Sol 通过 29 次。在需要从 8 个或更多网站收集相同字段的任务中,DeepSeek V4.1 Flash 在 64 次尝试中通过 21 次,GPT-6.1 Sol 通过 51 次。全部 72 项任务中,它们分别通过了 56.9% 和 84.0% 的尝试。
为什么 GPT-6.1 Sol 在浏览器中比 DeepSeek V4.1 Flash 更快?
在我们的运行中,GPT-6.1 Sol 所需的工具调用更少,部分原因是它经常用一条命令处理多个网站。在需要从 8 个或更多网站收集相同字段的任务中,它有 56% 的浏览器命令操作了两个或更多标签页,DeepSeek V4.1 Flash 的这一比例不足 1%。在两个模型每次尝试均通过的 29 项任务中,GPT-6.1 Sol 平均每项调用工具 28.6 次、耗时 219.7 秒,DeepSeek V4.1 Flash 为 43.0 次、321.7 秒。在网页应用工作流中,两者的耗时大致相同。
处理浏览器任务时,DeepSeek V4.1 Flash 比 GPT-6.1 Sol 便宜多少?
DeepSeek V4.1 Flash 的费用约为 GPT-6.1 Sol 的 15%。在两个模型每次尝试均通过的 29 项任务中,DeepSeek V4.1 Flash 的平均每项费用为 $0.047,GPT-6.1 Sol 为 $0.310。全部 72 项任务中,DeepSeek V4.1 Flash 的平均每项费用为 $0.071,GPT-6.1 Sol 为 $0.483。按每次成功尝试计算,DeepSeek V4.1 Flash 的费用为 $0.124,GPT-6.1 Sol 为 $0.575。
为什么 DeepSeek V4.1 Flash 会在跨多个网站的任务中失败?
它在这类任务中的失败约有一半来自用尽步骤。在需要从 8 个或更多网站收集相同字段的任务中,它一次处理一个页面,平均每项调用工具 82.2 次,GPT-6.1 Sol 为 41.1 次。它在这类任务中失败的 43 次尝试里,有 23 次用尽了全部 100 步,未给出答案。
为什么 GPT-6.1 Sol 会答错某些浏览器任务?
在 LiveBench 和前端框架任务中,它过早停止了查找。在 LiveBench 任务中,GPT-6.1 Sol 调用工具 12 次后报告页面没有显示某个分数,而 DeepSeek V4.1 Flash 在同一页面更下方的 Insights 区域找到了该分数。在 GPT-6.1 Sol 两次尝试都失败的 3 项任务中,DeepSeek V4.1 Flash 两次都通过。
DeepSeek V4.1 Flash 比 GPT-6.1 Sol 更容易出错吗?
是的,DeepSeek V4.1 Flash 的 144 次尝试中,有 34 次以错误答案结束;GPT-6.1 Sol 有 23 次。DeepSeek V4.1 Flash 给出的答案还更少,因为它有 28 次尝试未给出答案。在旗舰手机任务的一次尝试中,它自己的表格列出 Galaxy S26 重 167 g,但总结却将一部重 186 g 的手机称为最轻的手机。
DeepSeek V4.1 Flash 能在网页应用中填表并执行工作流吗?
可以。在我们测试应用中的 15 项网页应用工作流里,DeepSeek V4.1 Flash 在 30 次尝试中通过 28 次,GPT-6.1 Sol 在 30 次尝试中通过 29 次。任务包括预订差旅、核销锁箱收款以及审批费用报告。在两个模型每次尝试均通过的 13 项任务中,DeepSeek V4.1 Flash 的平均每项费用为 $0.028,GPT-6.1 Sol 为 $0.170。
哪些浏览器任务上,DeepSeek V4.1 Flash 能比 GPT-6.1 Sol 以更低费用完成?
主要是单个网页应用内的工作流,15 项网页应用工作流中有 11 项满足三个条件。在这 11 项任务上,DeepSeek V4.1 Flash 的通过次数与 GPT-6.1 Sol 相同,耗时最多比后者长 10%,费用不足后者的三分之一。另外三项任务也满足相同条件:基于 FRED 和 BLS 数据编写通胀简报,根据讲课内容、代码和论文整理学习笔记,以及根据九份 Linux 发行版安全公告核对同一个 sudo CVE。
DeepSeek V4.1 Flash 的工具调用次数与 GPT-6.1 Sol 相比如何?
全部 72 项任务中,DeepSeek V4.1 Flash 平均每项调用工具 61.6 次,比 GPT-6.1 Sol 的 34.6 次约多 78%。在需要从 8 个或更多网站收集相同字段的任务中,DeepSeek V4.1 Flash 平均每项调用 82.2 次,是 GPT-6.1 Sol 的 41.1 次的两倍。在网页应用工作流中,DeepSeek V4.1 Flash 平均每项调用 33.3 次,GPT-6.1 Sol 为 26.0 次。
DeepSeek V4.1 Flash 值得用于浏览器代理吗?
单个网页应用内的工作流值得用:DeepSeek V4.1 Flash 在其中 30 次尝试中通过 28 次,费用约为 GPT-6.1 Sol 的六分之一。对于需要跨多个网站工作的代理,GPT-6.1 Sol 是更好的选择,因为它通过了 84.0% 的尝试,而 DeepSeek V4.1 Flash 为 56.9%。
测试方法
我们于 2026 年 11 月 7 日在 macOS 上运行两个模型,使用 ego-browser 和 ego(lite) 0.6.3.2。两个模型均在 pi 代理框架中运行,配有 ego-browser 的技能文件。我们通过模型 ID deepseek-flash 和 gpt-6.1-sol 调用它们,并使用高推理强度。两个模型的每次尝试均限 100 步。一步是模型的一轮响应,几乎每一步模型都会调用一次工具。每个模型都将 72 项任务各运行两次,因此每个模型进行了 144 次尝试。

这 72 项任务都是复杂的网页自动化任务。有些在真实网站上运行,有些在填入了新数据的测试应用中运行。我们按每项任务要求完成的工作类型进行分组:
| 工作类型 | 任务数 | 任务示例 |
|---|---|---|
| 网页应用工作流 | 15 | 预订符合政策的差旅 |
| 在少量网站上搜索与比较 | 8 | 基于 FRED 编写通胀简报,并与 BLS 核对 |
| 研究与综合分析 | 12 | 追溯 Wikipedia 表格的信息来源 |
| 将 X 帖子与其他来源交叉核对 | 5 | 将 X 上的 SpaceX 发射帖子与 Wikipedia 核对 |
| 从 8 个或更多网站收集相同字段 | 32 | 12 家中央银行的利率决策 |
每项任务只属于一个分组。核对 X 帖子的 5 项任务自成一组,即使它们涉及 8 个账号也不例外。
每项任务根据 3 至 10 个检查项评分。只有全部检查项通过,该次尝试才算通过。
为了解各模型的工作方式,我们阅读了两个模型各次尝试的会话日志。如果模型在某条命令中传给 ego-browser 的脚本读取或操作了两个或更多标签页,就将该浏览器命令计为使用了两个或更多标签页。
成功率是通过的尝试所占的比例。本文所有按任务计算的数值,包括耗时、费用和工具调用次数,都是该任务两次尝试的平均值。耗时从尝试开始算到最终答案;若未给出答案,则算到最后一步,且包含等待各模型 API 响应的时间。费用是每次尝试的 token 用量按提供方价格折算的金额。每次成功尝试的费用,是全部 144 次尝试的总费用除以通过次数。比较耗时和费用时,除非句子另有说明,我们均使用两个模型每次尝试都通过的 29 项任务。
下方“结果”列中,“通过次数相同,费用更低”表示 DeepSeek V4.1 Flash 的通过次数与 GPT-6.1 Sol 相同,耗时最多比后者长 10%,费用不足后者的三分之一。“通过次数相同,但更慢”表示两个模型的通过次数相同,但该任务未满足上述耗时和费用条件。
完整结果
每个单元格先显示 2 次尝试中的通过次数,再显示每项任务的耗时与费用。耗时和费用均为该任务两次尝试的平均值,耗时包含等待各模型 API 响应的时间。
| 任务 | 工作类型 | 结果 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| 将未匹配的银行卡扣款加入费用报告 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| 核销锁箱收款 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| 审批差旅费用报告 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| 预订符合政策的差旅 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| 将服务监控配置调整至符合标准 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| 承运商准点表现审查与告警规则 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| 申领每日餐补 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| 申报每日里程 | 网页应用工作流 | 通过次数相同,但更慢 | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| 考虑休假安排,补齐值班班次 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| 根据补货点创建采购单 | 网页应用工作流 | 通过次数相同,但更慢 | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| 为破损订单提交退货申请 | 网页应用工作流 | 通过次数相同,但更慢 | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| 根据错误预算冻结或解冻部署 | 网页应用工作流 | 通过次数相同,费用更低 | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| 将发票与付款匹配,并发起争议 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| 回滚冻结期间发布的版本 | 网页应用工作流 | GPT-6.1 Sol 通过次数更多 | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| 撰写并提交事故复盘报告 | 网页应用工作流 | 通过次数相同,费用更低 | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| 航班搜索网站上的最低无经停票价 | 在少量网站上搜索与比较 | 通过次数相同,但更慢 | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| 比较三款 Mac 笔记本电脑 | 在少量网站上搜索与比较 | 通过次数相同,但更慢 | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| 基于 FRED 编写通胀简报,并与 BLS 核对 | 在少量网站上搜索与比较 | 通过次数相同,费用更低 | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| 四家英国公司的 KYC 信息快照 | 在少量网站上搜索与比较 | GPT-6.1 Sol 通过次数更多 | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| 将临床试验与药品说明书匹配 | 在少量网站上搜索与比较 | GPT-6.1 Sol 通过次数更多 | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| 核对六部电影的票房 | 在少量网站上搜索与比较 | 通过次数相同,但更慢 | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| 根据讲课内容、代码和论文整理学习笔记 | 在少量网站上搜索与比较 | 通过次数相同,费用更低 | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| MDN 与 Can I use 上的网页功能 | 在少量网站上搜索与比较 | 通过次数相同,但更慢 | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Wayback 存档快照中的 API 价格 | 研究与综合分析 | DeepSeek V4.1 Flash 通过次数更多 | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| ARC Prize 排行榜图表 | 研究与综合分析 | 通过次数相同,但更慢 | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| 核对每周 AI 回顾中的 10 项说法 | 研究与综合分析 | GPT-6.1 Sol 通过次数更多 | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| 比较五个中国模型 API 的月度费用 | 研究与综合分析 | 通过次数相同,但更慢 | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| 对 8 个前沿模型进行《欧盟人工智能法案》披露审计 | 研究与综合分析 | 双方均未通过 | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| 根据六份更新日志列出 9 月上线的 API 模型 | 研究与综合分析 | GPT-6.1 Sol 通过次数更多 | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| 超过欧盟计算量门槛的模型 | 研究与综合分析 | GPT-6.1 Sol 通过次数更多 | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| 为 GLM 5.3 选择 OpenRouter 端点 | 研究与综合分析 | 通过次数相同,但更慢 | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| 在六项要求下,为德国保险理赔选择模型 | 研究与综合分析 | DeepSeek V4.1 Flash 通过次数更多 | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| 根据 6 个定价页面计算支持工单工作负载的费用 | 研究与综合分析 | 通过次数相同,但更慢 | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| 阅读一份 LiveBench 发布说明 | 研究与综合分析 | DeepSeek V4.1 Flash 通过次数更多 | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| 追溯 Wikipedia 表格的信息来源 | 研究与综合分析 | GPT-6.1 Sol 通过次数更多 | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 将 X 上的 8 笔俱乐部签约信息与俱乐部网站核对 | 将 X 帖子与其他来源交叉核对 | GPT-6.1 Sol 通过次数更多 | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 将 X 上的 8 次产品发布帖子与新闻稿核对 | 将 X 帖子与其他来源交叉核对 | GPT-6.1 Sol 通过次数更多 | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| 8 所大学在 X 上的诺贝尔奖帖子 | 将 X 帖子与其他来源交叉核对 | GPT-6.1 Sol 通过次数更多 | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| 8 个开源项目的安全发布:将 X 信息与安全公告核对 | 将 X 帖子与其他来源交叉核对 | 通过次数相同,但更慢 | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| 将 X 上的 SpaceX 发射帖子与 Wikipedia 核对 | 将 X 帖子与其他来源交叉核对 | 通过次数相同,但更慢 | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| 11 家气象机构的 2025 年气候声明 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| 2025 年 8 座机场的交通量 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| 9 个联赛的 2025-26 赛季冠军 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 个品牌网站上的 8 款相机 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 份开发者调查 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 款电动 SUV | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 个开放权重模型 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| 9 家 SaaS 供应商的合规情况 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| 9 项标准的现行版本 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| 9 个品牌的旗舰手机 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| 9 家 CI 服务的免费套餐 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| 9 个无服务器平台的免费套餐 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| 9 场开发者大会的主题演讲 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| 9 个地区最近一次选举 | 从 8 个或更多网站收集相同字段 | 双方均未通过 | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| 9 个语言运行时的最新版本 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| 9 款桌面浏览器的最新稳定版 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| 9 个前端框架的最新稳定版 | 从 8 个或更多网站收集相同字段 | DeepSeek V4.1 Flash 通过次数更多 | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| 9 个司法管辖区的最低工资 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| 9 个音乐服务中的同一张专辑 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| 10 个来源中同一本书的不同版本 | 从 8 个或更多网站收集相同字段 | DeepSeek V4.1 Flash 通过次数更多 | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| 9 个碰撞测试项目中的同一款汽车 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| 8 家监管机构的同一种药品资料 | 从 8 个或更多网站收集相同字段 | 双方均未通过 | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| 9 家机构的同一场地震资料 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| 8 家分级机构的同一款游戏资料 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| 10 个博物馆馆藏中的同一幅版画 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| 9 份发行版安全公告中的同一个 sudo CVE | 从 8 个或更多网站收集相同字段 | 通过次数相同,费用更低 | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| 9 个全国性榜单同一周的榜首 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| 9 家机构的第二季度 GDP 初值 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| 12 家中央银行的利率决策 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| 9 个供应商产品版本的支持日期 | 从 8 个或更多网站收集相同字段 | 通过次数相同,但更慢 | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| 9 个软件包注册源中的 protobuf 运行时 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| 9 个电影节的最高奖项 | 从 8 个或更多网站收集相同字段 | GPT-6.1 Sol 通过次数更多 | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
更新记录:2026 年 11 月 9 日首次发布,采用 2026 年 11 月 7 日的运行结果;72 项任务中,每个模型对每项任务各尝试两次。


