我们用三款浏览器工具对比了 GPT-6.1 Sol 与 GPT-6 Sol 的浏览器使用表现

对于本次测试的 pi 浏览器智能体配置,相较 GPT-6 Sol,我们会选择 GPT-6.1 Sol,理由是它能完成更多任务、模型成本更低,而非速度能稳定提升。在这次 GPT-6.1 Sol 浏览器使用测试中,两款模型分别通过 Playwright CLI、agent-browser 和 ego-browser,对 25 项网页任务各执行一次,因此每款模型在每款工具中都有 25 次尝试。GPT-6.1 Sol 在 Playwright CLI 中通过了 25 次尝试中的 19 次,在 agent-browser 中通过了 25 次中的 20 次,在 ego-browser 中通过了 25 次中的 24 次。GPT-6 Sol 对应通过了 12、14 和 18 次。对于每款工具内两款模型共同通过的任务,GPT-6.1 Sol 的平均耗时分别为 275.6、327.1 和 195.0 秒,单题成本分别为 $0.287、$0.339 和 $0.372。GPT-6 Sol 的平均耗时分别为 291.3、324.0 和 220.2 秒,单题成本分别为 $0.640、$0.595 和 $0.735。
新增的成功主要来自跨站数据收集任务,这类任务要求从 9 到 16 个网站收集相同字段。每款工具各有十项这类任务;合计 30 次尝试中,GPT-6.1 Sol 通过了 20 次,GPT-6 Sol 通过了 6 次。汇总三款工具,有 19 次尝试从 GPT-6 Sol 失败变为 GPT-6.1 Sol 成功,没有出现相反的变化。
在两款模型共同通过的任务上,GPT-6.1 Sol 的工具调用更少。在 ego-browser 中,它有 43.7% 的浏览器脚本引用两个或更多标签页,或在已有标签页的同时新开一个标签页;GPT-6 Sol 的这一比例为 0.4%。这只是对所观察脚本的描述,不能证明标签页使用带来了新增的成功。GPT-6.1 Sol 在 75 次尝试中仍有 12 次失败,其中十次虽给出了答案,却包含错误或遗漏的值。
即使按 GPT-6 Sol 的费率计算 GPT-6.1 Sol 的已记录 token 用量,成本优势依然存在。对于两者共同通过的任务,这样算出的单题成本在 Playwright CLI、agent-browser 和 ego-browser 中分别为 $0.402、$0.477 和 $0.523,每款工具内都低于 GPT-6 Sol。速度表现则有快有慢:GPT-6.1 Sol 在两款工具中的平均耗时更低,在 agent-browser 中略高;而在两款工具中,它更快完成的共同成功任务还不到一半。
| 模型与浏览器工具 | 成功率 | 平均单题耗时 | 平均单题成本 |
|---|---|---|---|
| GPT-6.1 Sol 搭配 Playwright CLI | 76.0% (19/25) | 275.6 s | $0.287 |
| GPT-6 Sol 搭配 Playwright CLI | 48.0% (12/25) | 291.3 s | $0.640 |
| GPT-6.1 Sol 搭配 agent-browser | 80.0% (20/25) | 327.1 s | $0.339 |
| GPT-6 Sol 搭配 agent-browser | 56.0% (14/25) | 324.0 s | $0.595 |
| GPT-6.1 Sol 搭配 ego-browser | 96.0% (24/25) | 195.0 s | $0.372 |
| GPT-6 Sol 搭配 ego-browser | 72.0% (18/25) | 220.2 s | $0.735 |
每行的成功率涵盖全部 25 次尝试。耗时和成本只涵盖该工具内两款模型共同通过的任务:Playwright CLI 中有 12 项,agent-browser 中有 14 项,ego-browser 中有 18 项。耗时是等待模型与执行工具所用时间之和,不包括测试框架在步骤之间花费的时间。每款工具内的模型配对都是一次独立比较,因此这些不同任务组的结果不能用来给工具的耗时或成本排名。
成功率
GPT-6.1 Sol 在每款工具中都完成了更多测试任务,提升最大的是跨站收集。Playwright CLI 多通过了七次,agent-browser 多通过了六次,ego-browser 也多通过了六次。汇总三款工具,两款模型共同通过了 44 次尝试,只有 GPT-6.1 Sol 通过的有 19 次,两者都失败的有 12 次。
| 任务类型 | 每款工具的任务数 | Playwright CLI | agent-browser | ego-browser |
|---|---|---|---|---|
| 跨站数据收集 | 10 | 5 比 2 | 6 比 0 | 9 比 4 |
| 在一到三个网站中查询 | 8 | 7 比 4 | 7 比 7 | 8 比 8 |
| 开放式研究 | 3 | 3 比 2 | 3 比 3 | 3 比 2 |
| 业务网页应用工作流 | 4 | 4 比 4 | 4 比 4 | 4 比 4 |
每个单元格先列 GPT-6.1 Sol 的通过次数,再列 GPT-6 Sol 的通过次数;每项任务只尝试一次。模型变化对跨站任务完成情况的影响最大。在四项测试应用任务中,两款模型使用每款工具都通过了全部尝试,因此这类任务中更换模型的理由是成本。
GPT-6 Sol 输给 GPT-6.1 Sol 的 19 次尝试中,六次耗尽了步骤预算却没有给出答案,13 次给出了答案但包含错误或遗漏的值。汇总全部 75 次尝试,GPT-6 Sol 有九次耗尽预算,GPT-6.1 Sol 有两次。一步是模型的一次回复,每次尝试的预算都是 100 步。
SaaS 合规任务展示了一次答错导致的失败。任务要求查询截至 2026 年 9 月 30 日九家供应商的认证情况,包括该供应商各产品版本中最高的 FedRAMP 授权等级。在 ego-browser 中,GPT-6 Sol 浏览了 Asana 信任页面上的链接,却将 Asana 的结果写为 "none"。GPT-6.1 Sol 沿着 Government 链接打开了 Asana Gov,并从一篇新闻稿中确认其获得了 FedRAMP Moderate 授权。

GPT-6.1 Sol 用 38 步满足了全部检查要求。GPT-6 Sol 在 22 步后停止,而且 Asana 的错误值还影响了它统计的已获授权供应商数量。
| 最终表格中的字段 | 正确值 | GPT-6 Sol 的填写值 |
|---|---|---|
| Asana:最高 FedRAMP 授权等级 | Moderate,通过 Asana Gov 获得 | none(无) |
| FedRAMP 达到 Moderate 或更高等级的供应商 | 6,包括 Asana | 5,不包括 Asana |
GPT-6.1 Sol 自己的失败同样需要检查:它的 12 次失败中,有十次给出了包含错误或遗漏值的答案。如果要根据结果做决策,仅有一张看似填完的表格还不够可靠。
两款模型如何工作
完成相同且两者都成功的任务时,GPT-6.1 Sol 的工具调用更少。在共同成功任务上,它在 Playwright CLI 中平均每题调用 32.6 次,GPT-6 Sol 则为 42.3 次;在 agent-browser 中为 34.1 次,对比 50.5 次;在 ego-browser 中为 29.8 次,对比 40.1 次。一次工具调用是指调用一次智能体工具,例如 bash 或文件读取器。
在 ego-browser 中,GPT-6.1 Sol 的 735 个脚本中有 321 个涉及多个标签页或创建新标签页;GPT-6 Sol 的 1,044 个脚本中有四个这样做。在 Playwright CLI 和 agent-browser 中,GPT-6.1 Sol 分别有 15.8% 和 9.3% 的 bash 调用执行了标签页命令,GPT-6 Sol 对应为 2.5% 和 2.2%。这些比例描述的是不同接口,因此应在每款工具内部比较两款模型。
央行任务展示了长任务中的差异。它要求查询十二家央行在 2026 年的首次利率决议,包括表决情况和下次公布日期。GPT-6 Sol 每个脚本处理一家央行,到第 90 步才处理到第十二家,最终耗尽预算,没有写出表格。GPT-6.1 Sol 的 38 个浏览器脚本中,有 30 个使用了两个标签页;它在第 35 步处理到该央行,在第 42 步完成了表格。

这为了解两次尝试各自如何展开提供了有用证据,并不是对标签页策略的单独测试。更广泛的完成情况是:跨站任务合计 30 次尝试中,GPT-6.1 Sol 通过了 20 次;GPT-6 Sol 则在 30 次中通过了 6 次。
速度
速度不会成为我们更换模型的理由。在共同成功任务上,GPT-6.1 Sol 在 Playwright CLI 中平均耗时 275.6 秒,GPT-6 Sol 为 291.3 秒;在 agent-browser 中为 327.1 秒,对比 324.0 秒;在 ego-browser 中为 195.0 秒,对比 220.2 秒。这些平均值包含等待模型和执行工具的时间,且都在同一款工具内基于相同任务计算。
逐题计数能更清楚地体现取舍。在 Playwright CLI 的 12 项共同成功任务中,GPT-6.1 Sol 有五项更快;在 agent-browser 的 14 项中有七项更快;在 ego-browser 的 18 项中也有七项更快。两款工具中平均耗时更低,不代表大多数具体任务都更快完成。在这套配置中,完成情况和成本的改善才是选择它的更充分理由。
成本
在每款工具内两款模型共同完成的任务上,GPT-6.1 Sol 的成本都更低。它在 Playwright CLI 的全部 12 项共同成功任务中都更便宜,在 agent-browser 的 14 项中有 13 项更便宜,在 ego-browser 的 18 项中有 17 项更便宜。表格将已记录的 token 用量变化与模型费率变化区分开来。
| 浏览器工具 | GPT-6.1 Sol | 按 GPT-6 Sol 费率计算 GPT-6.1 Sol 的 token 用量 | GPT-6 Sol |
|---|---|---|---|
| Playwright CLI | $0.287 | $0.402 | $0.640 |
| agent-browser | $0.339 | $0.477 | $0.595 |
| ego-browser | $0.372 | $0.523 | $0.735 |
以下是每款工具内共同成功任务的平均单题模型成本。我们采用OpenAI 的标准 API 费率:两款模型的未缓存输入 token 均为每百万个 $2.00,输出 token 均为每百万个 $10.00。缓存输入方面,GPT-6.1 Sol 为每百万个 token $0.10,GPT-6 Sol 为 $0.20。这些是按 API 费率折算的 token 成本,并非智能体订阅价格。
计入失败尝试后,Playwright CLI 中两款模型的平均单题成本分别为 $0.410 和 $0.752,agent-browser 中为 $0.586 和 $0.833,ego-browser 中为 $0.430 和 $0.842。汇总全部尝试、按各模型自身费率计算时,GPT-6.1 Sol 成本更低。在共同成功任务上,即使按 GPT-6 Sol 的费率重新计价,它的成本也更低。
该选哪款模型
对于本文的 pi 配置和所涵盖的任务,我们会选择高推理强度的 GPT-6.1 Sol。它在每款工具中通过的任务更多、成本更低,而且 75 组比较中,没有一组从 GPT-6 Sol 成功变成 GPT-6.1 Sol 失败。但这些结果并不支持我们预期速度会稳定提升。
在跨站收集中,通过次数由 30 次尝试中的 6 次提高到 30 次中的 20 次。GPT-6.1 Sol 仍有十次失败,因此我们会先检查返回的表格再使用。对于四项测试应用工作流,两款模型都通过了全部尝试,模型成本才是有参考价值的差异。
测试配置使用 pi 智能体运行框架、高推理强度、bash,以及浏览器工具的 skill 文件。ego-browser 驱动 ego(lite),Playwright CLI 和 agent-browser 则驱动 Chrome。每款工具内部的模型对比使用相同的工具版本和指引。
ego(lite) 在这次对比中的角色
ego(lite) 是由 ego-browser 驱动的浏览器,并非被比较的模型。ego-browser 集成指南介绍了这种连接方式;在其他配置中,Playwright CLI 和 agent-browser 驱动的则是 Chrome。
先在同一款工具内选择模型,再比较工具。每款工具的模型成本和耗时平均值,都基于该工具自身的共同成功任务,因此这些平均值不能用于给工具彼此排名。对类似 pi 任务有参考价值的是已记录的完成情况与模型成本取舍,速度结果则仍有快有慢。
常见问题
对于浏览器智能体,GPT-6.1 Sol 比 GPT-6 Sol 更好吗?
在我们的 pi 配置中,GPT-6.1 Sol 在三款工具内都通过了更多测试任务,任务总数均为 25 项。它在 Playwright CLI、agent-browser 和 ego-browser 中分别通过了 19、20 和 24 次尝试,GPT-6 Sol 则分别通过了 12、14 和 18 次。没有一组比较出现旧模型成功、新模型失败的情况。
GPT-6.1 Sol 比 GPT-6 Sol 成本更低吗?
对于两款模型共同通过的任务,GPT-6.1 Sol 在每款工具中的平均模型成本都更低。两者单题成本分别为 $0.287 对 $0.640、$0.339 对 $0.595,以及 $0.372 对 $0.735。即使按 GPT-6 Sol 的费率计算它已记录的 token 用量,成本仍然更低。
GPT-6.1 Sol 比 GPT-6 Sol 更快吗?
按等待模型与执行工具的时间之和计算,GPT-6.1 Sol 在两款工具中平均耗时更低,在 agent-browser 中略高。在 Playwright CLI、agent-browser 和 ego-browser 内,它分别在 12 项共同成功任务中的五项、14 项中的七项和 18 项中的七项上更快。我们会因为完成情况和成本选择它,而非指望速度稳定提升。
GPT-6.1 Sol 的浏览器使用方式有什么变化?
在共同成功任务上,GPT-6.1 Sol 在每款工具内都使用了更少的工具调用。在 ego-browser 中,它有 43.7% 的脚本涉及多个标签页或创建了新标签页,GPT-6 Sol 则为 0.4%。75 次尝试中,GPT-6.1 Sol 有两次耗尽步骤预算却没有给出答案,GPT-6 Sol 则有九次。
有没有 GPT-6 Sol 通过而 GPT-6.1 Sol 失败的任务?
没有,在这些各含 25 项任务的对比中未出现这种情况。汇总三款工具,有 19 个结果从 GPT-6 Sol 失败变为 GPT-6.1 Sol 成功,没有相反的变化。两款模型共同通过了 44 次尝试,共同失败了 12 次。
GPT-6.1 Sol 在浏览器中仍会犯哪些错误?
汇总三款工具,GPT-6.1 Sol 的 75 次尝试中有 12 次失败。其中十次给出了包含错误或遗漏值的答案,两次耗尽了步骤预算。看似完成的表格仍可能有误。
GPT-6.1 Sol 的跨站数据收集表现如何?
十项任务要求从 9 到 16 个网站收集相同字段;GPT-6.1 Sol 在合计 30 次尝试中通过了 20 次,GPT-6 Sol 则在 30 次中通过了 6 次。大多数新增的成功来自这组任务。GPT-6.1 Sol 在这一组中仍有十次失败。
浏览器工具会改变哪款模型完成更多任务吗?
GPT-6.1 Sol 在三款测试工具内都通过了更多任务。在 Playwright CLI 中多通过了七次,在 agent-browser 和 ego-browser 中各多通过了六次。速度方面的取舍则因工具而异。
在单个网页应用中使用 GPT-6.1 Sol 值得吗?
对于全部四项测试应用工作流,两款模型使用每款工具都通过了所有尝试。更换模型并没有改善这些应用中的完成情况,但降低了平均模型成本。这支持在本次测试配置中出于成本原因选择 GPT-6.1 Sol。
测试方法
我们通过 pi 智能体运行框架,以高推理强度运行 gpt-6.1-sol 和 gpt-6-sol,配置 bash 并为每款浏览器工具提供一个 skill 文件。ego-browser 的运行开始于 2026 年 10 月 22 日,Playwright CLI 和 agent-browser 的运行开始于 2026 年 11 月 5 日。六组主要运行均使用同一台 Apple silicon Mac,同时执行十项任务。
主要对比采用 25 项任务,这些任务在全部六种模型与工具组合中都有首次尝试记录。我们从所有组合中都排除了最低工资任务和 MDN 兼容性任务,因为至少有一次存档尝试已被后来的针对性重跑替换。计入的尝试来自 2026 年 10 月 22 日和 11 月 5 日。
使用的工具为 Playwright CLI 0.1.22、agent-browser 0.39.1 和 ego-browser v2.1.0。每款工具内,两款模型采用相同的工具版本、skill 文件、步骤预算和任务检查项。每次尝试最多可使用 100 次模型回复,之后框架便会终止该次尝试。
25 项任务包括十项跨站数据收集、八项在一到三个网站中查询的任务、三项开放式研究,以及四项测试网页应用工作流。我们根据任务定义,将每项任务归入一个类别。示例和完整结果均采用相同的 25 项任务范围。
一次尝试,是一款模型通过一款工具执行一项任务。一次工具调用会调用一个智能体工具;在包含工具调用的 7,202 次回复中,有 7,200 次恰好发起一次工具调用。一个 ego-browser 脚本,是一次 ego-browser nodejs 调用。通过意味着最终答案满足该任务规定的每项检查,包括交付物完整性检查。
耗时是已记录的模型 API 等待时间与工具执行时间之和,不包括步骤之间的框架处理时间。速度和成本比较采用每款工具内两款模型共同通过的任务。模型成本按所述 token 费率计算已记录的用量,并在文中明确说明时计入失败尝试。重新计价时,固定 GPT-6.1 Sol 的用量不变,改用 GPT-6 Sol 的费率。
对于 ego-browser 的标签页使用,我们统计了每款模型全部 25 次尝试中引用多个页面标签或创建另一个页面的脚本。对于其他工具,我们统计了含标签页命令的 bash 调用。这些观察针对各工具的特定接口;打开或引用标签页本身,并不能证明它们在并发执行。
完整结果
每个单元格列出一次尝试的结果、等待模型加执行工具的耗时(秒),以及模型 token 成本(美元)。这里的耗时和成本包含失败尝试;概览平均值则只采用上文定义的共同成功任务。全部计入的任务及六种组合均已列出。
| 任务 | 任务类型 | Playwright CLI,GPT-6.1 Sol | Playwright CLI,GPT-6 Sol | agent-browser,GPT-6.1 Sol | agent-browser,GPT-6 Sol | ego-browser,GPT-6.1 Sol | ego-browser,GPT-6 Sol |
|---|---|---|---|---|---|---|---|
| 在测试旅行应用中预订符合政策的行程 | 业务网页应用工作流 | 通过,197.4 s,$0.224 | 通过,164.0 s,$0.528 | 通过,286.8 s,$0.285 | 通过,267.5 s,$0.427 | 通过,177.9 s,$0.311 | 通过,142.9 s,$0.387 |
| 按标准统一 1 级服务的监控配置 | 业务网页应用工作流 | 通过,145.5 s,$0.153 | 通过,124.1 s,$0.245 | 通过,331.8 s,$0.414 | 通过,283.0 s,$0.607 | 通过,137.6 s,$0.125 | 通过,91.3 s,$0.215 |
| 将二月发票与付款匹配,并发起争议处理 | 业务网页应用工作流 | 通过,253.0 s,$0.309 | 通过,154.0 s,$0.362 | 通过,520.4 s,$0.433 | 通过,501.4 s,$1.052 | 通过,190.6 s,$0.239 | 通过,184.3 s,$0.420 |
| 按供应商根据库存水平创建采购订单 | 业务网页应用工作流 | 通过,189.5 s,$0.164 | 通过,116.4 s,$0.344 | 通过,307.2 s,$0.244 | 通过,367.2 s,$0.630 | 通过,164.5 s,$0.172 | 通过,125.2 s,$0.191 |
| Apple 美国商店的三种 MacBook 配置 | 在一到三个网站中查询 | 通过,314.1 s,$0.367 | 通过,357.8 s,$0.651 | 通过,348.5 s,$0.440 | 通过,471.0 s,$0.620 | 通过,223.1 s,$0.483 | 通过,191.8 s,$1.160 |
| Wes Anderson 六部电影在 Box Office Mojo 和 Wikipedia 上的票房 | 在一到三个网站中查询 | 通过,180.9 s,$0.151 | 通过,496.1 s,$0.594 | 通过,334.7 s,$0.339 | 通过,487.0 s,$0.570 | 通过,142.0 s,$0.179 | 通过,105.2 s,$0.237 |
| 在 Companies House 上对四家英国公司做 KYC 筛查 | 在一到三个网站中查询 | 通过,185.8 s,$0.178 | 通过,226.0 s,$0.583 | 通过,579.3 s,$0.393 | 通过,319.4 s,$0.708 | 通过,177.9 s,$0.423 | 通过,121.2 s,$0.529 |
| 将 2021 年的特应性皮炎试验与对应药品说明书核对 | 在一到三个网站中查询 | 通过,332.6 s,$0.352 | 未通过,583.0 s,$0.744 | 通过,317.1 s,$0.418 | 通过,482.8 s,$0.857 | 通过,234.4 s,$0.450 | 通过,252.3 s,$0.796 |
| 将 FRED 上的三条 CPI 序列与 BLS 核对 | 在一到三个网站中查询 | 通过,441.5 s,$0.221 | 通过,417.7 s,$0.262 | 通过,429.0 s,$0.372 | 通过,265.7 s,$0.922 | 通过,97.4 s,$0.187 | 通过,44.5 s,$0.164 |
| 航班搜索网站上飞往丹佛的不经停航班最低票价 | 在一到三个网站中查询 | 通过,411.5 s,$0.471 | 未通过,616.3 s,$0.948 | 未通过,872.9 s,$1.109 | 未通过,690.9 s,$1.342 | 通过,338.0 s,$0.609 | 通过,385.3 s,$1.503 |
| 将 X 上一周的 SpaceX 发射帖文与 Wikipedia 核对 | 在一到三个网站中查询 | 未通过,118.0 s,$0.088 | 未通过,363.3 s,$0.491 | 通过,224.4 s,$0.151 | 通过,239.4 s,$0.577 | 通过,112.7 s,$0.183 | 通过,499.8 s,$0.269 |
| 将一场 YouTube 讲座与其 GitHub 脚本及 arXiv 论文核对 | 在一到三个网站中查询 | 通过,467.3 s,$0.700 | 未通过,454.7 s,$0.922 | 通过,221.6 s,$0.349 | 通过,235.8 s,$0.395 | 通过,94.7 s,$0.274 | 通过,132.1 s,$0.574 |
| 九家音乐服务如何收录同一张专辑 | 跨站数据收集 | 未通过,440.3 s,$0.603 | 未通过,419.9 s,$1.117 | 通过,678.2 s,$0.995 | 未通过,688.6 s,$1.068 | 未通过,180.2 s,$0.489 | 未通过,227.8 s,$1.179 |
| 十二家央行在 2026 年的首次利率决议 | 跨站数据收集 | 通过,686.3 s,$0.917 | 未通过,713.3 s,$1.273 | 未通过,694.0 s,$1.008 | 未通过,674.2 s,$1.069 | 通过,318.3 s,$0.643 | 未通过,377.3 s,$2.641 |
| 九场开发者大会的开幕主题演讲 | 跨站数据收集 | 通过,726.0 s,$0.960 | 通过,701.9 s,$2.388 | 通过,507.9 s,$0.949 | 未通过,459.7 s,$1.606 | 通过,488.4 s,$1.174 | 通过,473.4 s,$1.495 |
| 九款电动 SUV 的美国市场规格 | 跨站数据收集 | 通过,756.9 s,$0.771 | 未通过,730.6 s,$0.964 | 未通过,495.9 s,$0.801 | 未通过,595.0 s,$1.071 | 通过,413.6 s,$0.843 | 未通过,316.8 s,$1.471 |
| Hugging Face 上九个开放权重模型的准入表 | 跨站数据收集 | 未通过,537.6 s,$0.719 | 未通过,616.2 s,$0.986 | 通过,651.6 s,$1.020 | 未通过,663.4 s,$1.194 | 通过,352.8 s,$0.804 | 通过,330.1 s,$1.198 |
| 九款旗舰手机的英国官方规格 | 跨站数据收集 | 通过,575.9 s,$0.635 | 未通过,642.9 s,$0.773 | 通过,786.8 s,$0.942 | 未通过,392.0 s,$0.743 | 通过,348.1 s,$0.704 | 未通过,270.2 s,$0.765 |
| 来自九个 SaaS 信任中心的合规矩阵 | 跨站数据收集 | 未通过,683.8 s,$0.577 | 未通过,560.0 s,$0.642 | 未通过,704.3 s,$0.736 | 未通过,464.7 s,$0.542 | 通过,299.8 s,$0.592 | 未通过,185.1 s,$0.451 |
| 九个无服务器平台的免费套餐 | 跨站数据收集 | 通过,369.2 s,$0.395 | 通过,441.0 s,$0.491 | 未通过,582.5 s,$0.529 | 未通过,763.6 s,$1.241 | 通过,199.4 s,$0.360 | 通过,267.4 s,$1.331 |
| 八个开源项目在 X 和官网上的安全版本发布 | 跨站数据收集 | 未通过,318.5 s,$0.392 | 未通过,334.8 s,$0.903 | 通过,619.8 s,$0.892 | 未通过,670.8 s,$1.468 | 通过,231.5 s,$0.441 | 通过,434.8 s,$2.405 |
| X 帖文与新闻稿中的八次消费电子产品发布 | 跨站数据收集 | 未通过,404.1 s,$0.401 | 未通过,397.8 s,$0.917 | 通过,675.0 s,$0.924 | 未通过,528.6 s,$1.139 | 通过,389.1 s,$0.541 | 未通过,567.1 s,$1.101 |
| 从 ARC Prize 排行榜图中读取成本和分数 | 开放式研究 | 通过,171.3 s,$0.185 | 通过,239.0 s,$1.092 | 通过,361.3 s,$0.466 | 通过,304.5 s,$0.357 | 通过,84.9 s,$0.201 | 通过,83.5 s,$0.257 |
| 根据 Epoch AI 数据统计超过欧盟计算量门槛的模型数 | 开放式研究 | 通过,132.7 s,$0.132 | 通过,57.9 s,$0.139 | 通过,106.5 s,$0.147 | 通过,116.1 s,$0.159 | 通过,62.2 s,$0.090 | 通过,99.0 s,$0.105 |
| 追溯 Wikipedia 大语言模型列表中的十条引文 | 开放式研究 | 通过,340.0 s,$0.189 | 未通过,654.3 s,$0.435 | 通过,211.0 s,$0.300 | 通过,194.6 s,$0.451 | 通过,169.6 s,$0.244 | 未通过,151.4 s,$0.202 |

