GPT-6.1 Sol 搭配三款浏览器工具的表现

15 分钟阅读
GPT-6.1 Sol 浏览器工具基准测试封面:淡蓝色背景上的水彩花卉

我们会将通过 ego-browser 在 ego(lite) 中运行 GPT-6.1 Sol 设为默认方案。它完成了 28 项留存任务中的 27 项,agent-browser 完成了 23 项,playwright-cli 完成了 22 项;在三款工具都完成的 18 项任务上,它也是最快的工具。但并非按所有指标衡量,它都是最便宜的:playwright-cli 的单次执行支出更低,而且通过了一项 ego-browser 未通过的航班搜索任务。

GPT-6.1 Sol 搭配不同浏览器工具时,差距最大的是多站点数据收集,即一项任务需要从多个官方来源提取相同字段。ego-browser 通过了全部十项此类任务,agent-browser 通过六项,playwright-cli 通过七项。在三项研究与综合任务,以及测试应用内的四项 Web 应用自动化任务上,ego-browser、agent-browser 和 playwright-cli 的完成情况相同,因此这两类工作的选择取决于速度和成本。

在我们的设置下,ego-browser 的完成情况和速度领先,而 playwright-cli 的平均单次执行成本最低,为 $0.4182。更高的通过率让 ego-browser 的每项成功任务成本最低,为 $0.4646;在 18 项共同成功任务上,其平均成本与 playwright-cli 相差 5.4%。

本次测试的其他变量在所有尝试中保持不变,因此下文的差异来自执行浏览操作的工具。一次尝试,是该工具首轮基准测试中某项任务的一条已保存运行记录。

浏览器工具成功率每项任务的平均耗时每项任务的平均记录成本
ego-browser96.4% (27/28)246.7 s$0.3352
agent-browser82.1% (23/28)452.5 s$0.4702
playwright-cli78.6% (22/28)399.9 s$0.3542

成功率基于每款工具的 28 次留存尝试。时间和成本基于三款工具均通过的同一组 18 项任务。成本是按用量计价的执行记录,单位为美元。ego-browser 一行使用其 2026 年 11 月 7 日测试构建的结果,其余行使用 2026 年 11 月 5 日的运行结果。

成功率

成功率条形图,坐标范围为零到百分之 100:ego-browser 为 96.4% (27/28),agent-browser 为 82.1% (23/28),playwright-cli 为 78.6% (22/28)。

ego-browser 的成功率最高,而我们最愿意优先为完成任务付费,因为少一个字段,就得回头重新查资料。它通过了 28 项任务中的 27 项,比 agent-browser 多四项,且 agent-browser 完成的任务它都通过了。ego-browser 通过了六项 playwright-cli 未通过的任务,playwright-cli 则通过了一项 ego-browser 未通过的任务。Playwright-cli 还通过了全部八项搜索与比较任务,而 ego-browser 通过了七项。

Agent-browser 有两种失败方式:三份答案包含错误或缺失的字段值,另有两次尝试结束时没有给出最终答案。Playwright-cli 的六次失败中,有五次漏掉了必需的字段值。其中三次发生在 X 帖子任务上,它将时间戳报告为无法获取;agent-browser 则通过了这三个 X 帖子任务。

另外两个缺失值分别是:专辑任务中 Qobuz 的曲目数,这项任务 ego-browser 已完成;以及开放模型比较中 Phi-4 的训练 token 数。

在一项航班搜索比较任务中,GPT-6.1 Sol 搭配 ego-browser 报出的票价,高于相同设置下此前已经看到的一个更低价格,因此答案未满足任务的验收条件,而 playwright-cli 的那次尝试通过了。即便表格填得完整,其中仍可能有一个值会改变你的决定。

速度

在速度方面,ego-browser 将三款工具均通过的 18 项任务的等待时间缩短了近一半。它平均每项任务耗时 246.7 秒,比 agent-browser 少 45.5%,比 playwright-cli 少 38.3%。逐项比较时,它在这 18 项任务中的 15 项上快于 agent-browser,在 17 项上快于 playwright-cli。

同一组 18 项三款工具均成功的任务的平均耗时:ego-browser 为 246.7 秒,agent-browser 为 452.5 秒,playwright-cli 为 399.9 秒。蓝色和灰色条形均从零开始。

在相同工作上,GPT-6.1 Sol 使用的工具调用更少;一次工具调用,是对工具的一次请求。搭配 ego-browser 时平均每项任务调用 28.1 次,搭配 agent-browser 为 44.1 次,搭配 playwright-cli 为 36.8 次。ego-browser 的工具执行耗时为 84.4 秒,agent-browser 为 210.0 秒,playwright-cli 为 215.6 秒。

相机任务展示了常规工作上的差距:三款工具都完成了八个相机品牌的比较。GPT-6.1 Sol 搭配 ego-browser 耗时 330.2 秒,搭配 agent-browser 耗时 597.2 秒,搭配 playwright-cli 耗时 598.5 秒;为得到同样符合验收条件的结果,分别使用了 29、57 和 54 次工具调用。

ego(lite) 在相机规格比较过程中显示 Canon Canada 网站,并带有 Agent in control 浮层。

成本

ego-browser 在不降低完成率的同时,成本低于 agent-browser。在 18 项共同成功任务上,它便宜了 28.7%,其中 15 项任务的成本更低;模型保持不变,且每项任务的工具调用更少。

在共同成功任务的成本上,Playwright-cli 与 ego-browser 足够接近,我们不会仅凭这个数字在两者之间作选择。它们的平均成本相差 5.4%;ego-browser 在十项任务上更便宜,playwright-cli 在八项上更便宜。一旦计入失败,ego-browser 每次成功尝试的记录成本便低于 playwright-cli,分别为 $0.4646 和 $0.5322。

所有尝试的平均成本,与每项成功任务的成本,回答的是不同问题,因此我们同时保留这两项指标。前者反映一次执行产生的成本;后者将记录的总支出(含失败)除以成功次数。

浏览器工具全部 28 次尝试中每项任务的平均记录成本每次成功尝试的记录成本
ego-browser$0.4480$0.4646
agent-browser$0.5938$0.7229
playwright-cli$0.4182$0.5322

这些数字使用同一组首轮运行:ego-browser 的运行日期为 2026 年 11 月 7 日,其他工具为 2026 年 11 月 5 日。它们是按用量计价的记录,不包含评估成本,也不包含留存记录行中未记载的先前重试费用,并非经过核实的账单。

Playwright-cli 的单次执行成本最低,为 $0.4182。ego-browser 每次成功尝试的记录成本最低,为 $0.4646,因为它有更多次执行满足了全部要求。这两个数字都不代表 ego-browser 在每项任务上都是最便宜的。

多站点数据收集

当 GPT-6.1 Sol 需要从多个官方来源收集相同字段时,ego-browser 是最明确的选择。它通过了全部十项任务,agent-browser 通过六项,playwright-cli 通过七项,差距比整体比较时更大。

浏览器工具多站点数据收集成功率
ego-browser100.0% (10/10)
agent-browser60.0% (6/10)
playwright-cli70.0% (7/10)

这一组使用与概览相同的首轮运行:ego-browser 为 2026 年 11 月 7 日,其他两款工具为 2026 年 11 月 5 日。

按 ego-browser、agent-browser、playwright-cli 排列的热力图。多站点收集:10 项中通过 10 项、10 项中通过 6 项、10 项中通过 7 项。搜索与比较:8 项中通过 7 项、8 项中通过 7 项、8 项中通过 8 项。社交媒体验证:3 项中通过 3 项、3 项中通过 3 项、3 项中通过 0 项。研究与综合:三款工具均为 3 项中通过 3 项。Web 应用自动化:三款工具均为 4 项中通过 4 项。每个单元格的颜色映射范围均为零到百分之 100。

当每一行都必须填写完整时,相差三四项任务,就决定了整张表是否可用。这十项任务涉及中央银行决策、产品规格和 SaaS 合规比较。

SaaS 任务说明了为什么填了值的单元格仍可能出错。任务要求的是截至 2026 年 9 月 30 日的认证状态,而 agent-browser 和 playwright-cli 都将 Smartsheet 记为已获认证,尽管所要求的状态是认证进行中。ego-browser 的那次尝试则正确匹配了比较中的每个字段。

我们会选择哪款工具

为了交付完整的研究成果,尤其是多站点数据收集,我们会通过 pi,将推理强度设为 high 的 GPT-6.1 Sol 与 ego-browser 搭配使用。这一组合的完成率最高,在共同成功任务上的等待时间最短,成本低于 agent-browser,且接近 playwright-cli。

如果最重视执行成本,或者工作主要是搜索与比较,我们会继续使用 playwright-cli。它通过了这类任务的全部八项,而 ego-browser 和 agent-browser 各通过七项,因此这八项任务没有给出替换现有可用 playwright-cli 配置的理由。

Agent-browser 比 playwright-cli 多通过一项任务,但记录成本更高,所以仅凭总通过数,还不足以成为优先选择它的充分理由。在三个 X 帖子任务上,它全部通过,而 playwright-cli 全部未通过;这解释了整体只差一项任务的重要原因之一。

常见问题

GPT-6.1 Sol 搭配哪款浏览器工具通过的尝试最多?

ego-browser 完成得最多,在 28 次留存尝试中通过 27 次,agent-browser 通过 23 次,playwright-cli 通过 22 次。模型、pi 智能体运行框架和任务保持不变;每款工具都从其首轮运行中,为每项任务提供一条留存执行记录。相较 agent-browser 多通过的四项任务,都来自多站点数据收集。

GPT-6.1 Sol 搭配哪款浏览器工具最快?

ego-browser 最快,在三款工具均通过的 18 项任务上,平均每项耗时 246.7 秒。使用相同模型时,agent-browser 平均为 452.5 秒,playwright-cli 为 399.9 秒。ego-browser 还在 15 项任务上快于 agent-browser,在 17 项上快于 playwright-cli,因此平均值反映的是广泛的领先。

GPT-6.1 Sol 每项浏览器任务的成本是多少?

在 18 项共同成功任务上,GPT-6.1 Sol 搭配 ego-browser 的平均记录成本为 $0.3352,搭配 agent-browser 为 $0.4702,搭配 playwright-cli 为 $0.3542。按全部 28 次尝试计算,这些平均值分别为 $0.4480、$0.5938 和 $0.4182。这些是按用量计价的执行记录,并非已核实的账单,而且不包含评估成本。

平均单次执行最便宜,也意味着每次成功尝试的成本最低吗?

Playwright-cli 的平均单次执行成本最低,为 $0.4182;但 ego-browser 每次成功尝试的记录成本最低,为 $0.4646。Agent-browser 每次成功尝试的成本为 $0.7229,playwright-cli 为 $0.5322。我们将每款工具在 28 次尝试中的记录总支出(含失败)除以其通过次数。

ego-browser 在每项任务上都胜过 playwright-cli 吗?

ego-browser 通过了 6 项 playwright-cli 未通过的任务,但 playwright-cli 也通过了 1 项 ego-browser 未通过的任务。这个反例是一项航班搜索比较:GPT-6.1 Sol 搭配 ego-browser 报出的票价,高于一个符合条件的更低价格。即使模型返回了表格,我们仍将这个答案计为失败。

多站点数据收集会选择哪款工具?

对于 GPT-6.1 Sol 的多站点数据收集,我们会选择 ego-browser,它通过了全部 10 次尝试。在相同任务上,agent-browser 通过六次,playwright-cli 通过七次。SaaS 比较说明了完成质量为何重要:另外两款工具都针对指定时点,使用了错误的认证状态。

做搜索与比较工作,我们会替换 playwright-cli 吗?

在这 8 项搜索与比较任务中,playwright-cli 全部 8 项都通过了,因此我们不会因为完成情况而替换它。ego-browser 和 agent-browser 各通过了其中 7 项。速度比较更有利于 ego-browser,所以在这组任务中,等待时间才是考虑更换工具的更有力理由。

多通过一项任务,就让 agent-browser 比 playwright-cli 更值得选择吗?

Agent-browser 通过 23 项、playwright-cli 通过 22 项,这不足以构成整体上优先选择前者的有力理由。Agent-browser 在共同成功任务上的成本也更高,平均每项为 $0.4702,而 playwright-cli 为 $0.3542。它们的结果因任务而异,例如三个 X 帖子任务 agent-browser 全部通过,playwright-cli 则全部未通过,因此我们会按工作类型选择工具。

三款浏览器工具在研究和 Web 应用任务上的结果相同吗?

三款工具都通过了 3 项研究与综合任务,以及测试应用内的 4 项 Web 应用自动化任务。这些结果不足以让我们在任一组内为它们排出优劣。我们偏好 ego-browser,依据的是等待时间和记录成本,而非这 7 项任务上的完成优势。

采用 ego-browser 的第二轮结果,会改变总体选择吗?

ego-browser 在第二轮通过了同样 28 项任务中的 26 项,而 agent-browser 和 playwright-cli 仍使用首轮的 23 项和 22 项结果。它在 18 项共同成功任务上的平均耗时为 252.4 秒,另外两款工具分别为 452.5 秒和 399.9 秒。我们保留首轮作为主要结果,不会把 ego-browser 的两轮结果混合起来排名。

测试方法

我们分析了经由 pi 1.5.0 在 macOS 上运行、推理强度为 high 的 GPT-6.1 Sol 历史记录,使用的是记录中的 openai-codex 路由。运行配置指定:2026 年 11 月 5 日执行时使用 agent-browser 0.39.1 和 playwright-cli 0.1.22;ego-browser 的 local-202611071027-ba90f1c 测试构建则在 2026 年 11 月 7 日运行。每套配置均使用其配套的 skill 和 CLI 来观察页面并执行浏览器操作。

这 28 项任务是另外两款工具此前都已运行过的任务,选自包含 72 项任务的 efficiency-20261019 数据集。每项任务只归入一组:多站点数据收集、搜索与比较、社交媒体验证、研究与综合,或 Web 应用自动化。

每款工具的首轮基准测试为每项任务提供一条留存执行记录,因此每款工具都有 28 次尝试。ego-browser 还运行了第二轮,我们单独报告。步数预算为 100 轮模型回复,并设有 3,600 秒的最终时限。一次工具调用是对工具的一次请求;只有全部必需结果和最终交付物都满足任务的验收条件,才算通过。

时间和成本使用三款工具均通过的 18 项任务。时间包含思考、模型请求、工具执行以及其余开销。成本是以美元记录的使用费用。各工具使用的预置浏览器状态不同,因此我们还剔除三个 X 帖子任务检查了结果:按相同工具顺序,分别为 24/25、20/25 和 22/25。

完整结果

每个单元格显示首轮基准测试中那条留存执行记录的通过尝试数、耗时秒数和记录的美元成本。耗时包含等待模型 API 的时间;每项任务、每款工具仅纳入一次尝试,因此任务平均值就等于该次尝试的值。各行采用 ego-browser 在 2026 年 11 月 7 日的运行结果,以及另外两款工具在 2026 年 11 月 5 日的运行结果。

任务工作类型ego-browseragent-browserplaywright-cli
比较九项服务中的专辑元数据多站点数据收集1/1 · 307.7 s · $0.77241/1 · 740.8 s · $0.99500/1 · 524.0 s · $0.6029
收集八个相机品牌的规格多站点数据收集1/1 · 330.2 s · $0.47511/1 · 597.2 s · $0.68651/1 · 598.5 s · $0.5201
收集十二家中央银行的决策多站点数据收集1/1 · 382.8 s · $0.65780/1 · 760.3 s · $1.00791/1 · 816.4 s · $0.9166
核对会议主题演讲与录像多站点数据收集1/1 · 385.6 s · $0.56591/1 · 672.0 s · $0.94891/1 · 884.2 s · $0.9596
比较电动 SUV 的规格多站点数据收集1/1 · 633.2 s · $1.25900/1 · 748.7 s · $0.80061/1 · 981.4 s · $0.7713
比较开放模型的模型卡与公告多站点数据收集1/1 · 424.5 s · $0.64861/1 · 828.6 s · $1.01990/1 · 680.6 s · $0.7187
比较九个司法管辖区的最低工资多站点数据收集1/1 · 451.9 s · $0.61081/1 · 762.6 s · $1.07611/1 · 763.2 s · $0.7392
比较旗舰手机规格多站点数据收集1/1 · 448.7 s · $0.64441/1 · 931.9 s · $0.94231/1 · 676.3 s · $0.6352
比较截至指定日期的 SaaS 合规情况多站点数据收集1/1 · 472.3 s · $0.62570/1 · 895.0 s · $0.73630/1 · 848.0 s · $0.5770
比较无服务器平台的免费额度多站点数据收集1/1 · 205.5 s · $0.32250/1 · 682.0 s · $0.52931/1 · 411.8 s · $0.3951
读取可交互的 ARC 排行榜研究与综合1/1 · 224.4 s · $0.27081/1 · 416.6 s · $0.46581/1 · 220.2 s · $0.1853
分析模型训练数据集研究与综合1/1 · 87.1 s · $0.08091/1 · 137.7 s · $0.14741/1 · 155.5 s · $0.1321
追溯模型表格中的信息来源研究与综合1/1 · 285.6 s · $0.22881/1 · 245.5 s · $0.30041/1 · 377.5 s · $0.1890
比较并配置 Mac 笔记本电脑搜索与比较1/1 · 301.3 s · $0.61191/1 · 383.0 s · $0.43991/1 · 337.2 s · $0.3669
核对六部电影的票房数据搜索与比较1/1 · 184.9 s · $0.20341/1 · 360.5 s · $0.33941/1 · 201.6 s · $0.1506
在公开登记册中筛查四家公司搜索与比较1/1 · 182.5 s · $0.28831/1 · 626.9 s · $0.39271/1 · 230.2 s · $0.1784
交叉核对临床试验与药品说明书搜索与比较1/1 · 372.8 s · $0.47871/1 · 368.7 s · $0.41761/1 · 383.1 s · $0.3515
核对通胀时间序列与统计数据搜索与比较1/1 · 132.8 s · $0.19571/1 · 507.1 s · $0.37231/1 · 548.9 s · $0.2209
比较符合条件的航班和票价搜索与比较0/1 · 341.5 s · $0.44640/1 · 986.7 s · $1.10871/1 · 504.3 s · $0.4713
核对浏览器兼容性表格搜索与比较1/1 · 175.1 s · $0.19161/1 · 147.8 s · $0.20921/1 · 294.6 s · $0.1973
交叉核对讲座、代码与论文搜索与比较1/1 · 202.3 s · $0.42431/1 · 274.3 s · $0.34911/1 · 666.0 s · $0.7001
对照发布信息验证 X 上的安全帖子社交媒体验证1/1 · 535.7 s · $0.89791/1 · 780.7 s · $0.89230/1 · 405.8 s · $0.3921
对照公告验证 X 上的产品帖子社交媒体验证1/1 · 710.3 s · $0.71551/1 · 851.2 s · $0.92360/1 · 466.5 s · $0.4007
核对 X 上的发射帖子与参考清单社交媒体验证1/1 · 168.9 s · $0.16501/1 · 263.9 s · $0.15050/1 · 172.0 s · $0.0880
按测试应用的规定预订行程Web 应用自动化1/1 · 194.1 s · $0.25701/1 · 303.2 s · $0.28531/1 · 208.4 s · $0.2240
更新测试应用中的服务监控项Web 应用自动化1/1 · 137.5 s · $0.13381/1 · 419.9 s · $0.41411/1 · 152.9 s · $0.1528
核对测试应用中的应收账款Web 应用自动化1/1 · 227.7 s · $0.23121/1 · 628.3 s · $0.43291/1 · 291.9 s · $0.3085
在测试应用中创建补货订单Web 应用自动化1/1 · 116.8 s · $0.14151/1 · 361.8 s · $0.24371/1 · 208.4 s · $0.1640

继续阅读