我们用 66 项浏览器任务对比测试了 Kimi K3.1 Pro 与 Kimi K3

在本次 pi 和 ZenMux 配置下,为了完成更多任务,我们会选择 Kimi K3.1 Pro,而不是 Kimi K3。在双方共同成功的 26 项任务上,它的平均耗时和估算模型成本也更低。本次 Kimi K3.1 Pro 与 Kimi K3 对比计入 66 项任务,每个模型都使用 ego-browser 将每项任务执行一次,因此每个模型各有 66 次尝试。Kimi K3.1 Pro 的 66 次尝试通过了 38 次(57.6%),Kimi K3 通过了 27 次(40.9%)。在两个模型都通过的 26 项任务上,Kimi K3.1 Pro 每项耗时 400.6 秒、成本 $0.374,Kimi K3 则为 586.1 秒、$0.578。
两个模型最大的差别在于是否把任务做完。Kimi K3 的 66 次尝试中,有 27 次在达到步数上限前就结束,且没有给出答案;其中 26 次停在类似“SUSE done. Now Amazon Linux.”的进度说明上。Kimi K3.1 Pro 出现这种情况的次数为 0。在两个模型都给出最终答案的 35 项任务上,Kimi K3.1 Pro 通过了 29 项,Kimi K3 通过了 27 项。
Kimi K3.1 Pro 的短板,在于它现在能完成的那些长表格。在从至少 8 个网站收集相同字段的任务中,它的 26 次尝试通过了 7 次,Kimi K3 通过了 2 次。Kimi K3.1 Pro 的 24 个错误答案中,有 17 个是这些任务产出的表格,因此我们会在使用前核查表格。开放式研究中,两个模型都通过了 12 项中的 6 项;在双方都通过的五项任务上,Kimi K3.1 Pro 更快、成本也更低。
估算模型成本更低,源于 Kimi K3.1 Pro 更低的公开标价。Moonshot 对它各类 token 的定价均为 Kimi K3 的三分之二。计入全部 66 项任务后,它每项任务的成本为 $0.772,Kimi K3 为 $0.871,尽管在 Kimi K3 已经结束而它仍继续执行的尝试中,它消耗了更多 token。
成功率
Kimi K3.1 Pro 通过的任务更多。它通过了 Kimi K3 未通过的 12 项任务,也未通过 Kimi K3 通过的 1 项任务。在新增通过的 12 项中,Kimi K3 有 9 项结束时没有答案,另外 3 项给出了错误答案。这 12 项新增通过的任务中,有五项需要从至少 8 个网站收集相同字段。
在每一类工作中,Kimi K3.1 Pro 通过的尝试次数都不少于 Kimi K3,只有开放式研究打成平手。
| 工作类型 | 任务数 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 从至少 8 个网站收集相同字段 | 26 | 26.9%(26 次中通过 7 次) | 7.7%(26 次中通过 2 次) |
| 在网页应用内操作 | 15 | 100%(15 次中通过 15 次) | 86.7%(15 次中通过 13 次) |
| 开放式研究 | 12 | 50.0%(12 次中通过 6 次) | 50.0%(12 次中通过 6 次) |
| 在一至三个网站交叉核对 | 8 | 100%(8 次中通过 8 次) | 62.5%(8 次中通过 5 次) |
| X 帖子 | 5 | 40.0%(5 次中通过 2 次) | 20.0%(5 次中通过 1 次) |
| 全部任务 | 66 | 57.6%(66 次中通过 38 次) | 40.9%(66 次中通过 27 次) |
成功率以通过的尝试次数为分子计算,数据来自 2026 年 11 月 3 日的运行。在这些工作类型中,没有任何一类是 Kimi K3 通过的尝试次数超过 Kimi K3.1 Pro。
Kimi K3 的运行经常在工作中途结束。在本次使用的 pi 智能体中,模型通过工具调用执行工作,主要是 ego-browser 脚本;一条不包含工具调用的回复会结束运行。Kimi K3 会在回复中说出下一步,却不实际执行,例如“Google done. Now Cloudflare Workers Free.”。它在 66 次尝试中有 26 次这样做,其中 16 次属于需要从至少 8 个网站收集相同字段的 26 项任务。这 26 条回复都以模型正常的停止信号结束,并非因长度限制而截断。Kimi K3.1 Pro 以这种方式结束的尝试有 0 次。
无服务器平台任务展示了这种差别。任务要求在九个无服务器平台上查找免费方案的五项限制,范围从 AWS Lambda 到 Oracle OCI Functions。Kimi K3 读完 AWS、Azure 和 Google 的页面,完成 11 次工具调用后以“Google done. Now Cloudflare Workers Free.”结束。Kimi K3.1 Pro 则继续访问了 Cloudflare 的 Workers 定价页,在 58 次工具调用中查完全部九个平台,并通过了任务。

另外 3 项新增通过的任务,源于 Kimi K3 给出了错误的最终答案。GDP 任务要求查找九家统计机构公布的第二季度增长率,分别取初次估计与最新估计,且不要年化。两个模型都打开了 美国经济分析局的预先估计公告,也就是其初次估计。Kimi K3 的脚本只保留页面文本的前 2,500 个字符,并将美国两次估计的季度增长率都填写为“not shown”。Kimi K3.1 Pro 打印了整份公告,在 Technical Notes 中读到了“0.4 percent at a quarterly rate”。它以相同方式在 BEA 于 2026 年 9 月 30 日发布的最新估计中找到了 0.6%,并填好了美国的两个单元格。

两个模型的失败方式也不同。每次尝试最多有 100 步,每步对应向模型发送一次请求并接收回复。Kimi K3 的 39 次失败中,有 27 次在达到步数上限前结束且没有答案,4 次触及步数上限,8 次给出了错误答案。Kimi K3.1 Pro 的 28 次失败中,24 次给出错误答案,4 次触及步数上限。这 24 个错误答案中,有 18 个来自 Kimi K3 完全没有给出最终答案的任务。我们会换用新模型,同时核查 Kimi K3.1 Pro 在那些 Kimi K3 未给出最终答案就结束的任务上,现在交出的答案。
Kimi K3.1 Pro 仍会在哪些地方出错
Kimi K3.1 Pro 能完成长表格,但不一定每个单元格都正确,因此我们会把这些表格当作有待核查的草稿。在从至少 8 个网站收集相同字段的任务中,它的 26 次尝试通过了 7 次。它的 24 个错误答案中,有 17 个来自这类任务:每个都是已完成的表格,但至少有一项数据或一句摘要文字有误。
例如,央行任务的错误出在摘要中。任务要求查找十二家央行在 2026 年的首次利率决定,以及哪家央行最后公布。Kimi K3.1 Pro 打开了瑞士国家银行 2026 年 3 月 19 日的公告,并把这个日期填进自己的表格。然而,它在摘要中仍将 2 月 6 日公布的印度储备银行列为最后公布的央行。
| 任务要求 | 正确答案 | Kimi K3.1 Pro 的答案 |
|---|---|---|
| 最后公布 2026 年首次决定的央行 | 瑞士国家银行,2026-03-19 | 印度储备银行,2026-02-06 |
在同一任务上,Kimi K3 正确指出了瑞士国家银行,但也有其他数据项未答对,因此也未通过。

使用 Kimi K3.1 Pro 的表格前,应将摘要内容与表格自身的数据行核对,并抽查部分单元格是否与来源一致。Kimi K3 在这类任务中通过了 26 项中的 2 项。
速度
在同样的工作上,Kimi K3.1 Pro 更快,而且生成的文本更少、工具调用次数也更少。在两个模型都通过的 26 项任务上,它平均每项耗时 400.6 秒,Kimi K3 为 586.1 秒;它在 26 项中的 21 项更快,其余 5 项则是 Kimi K3 更快。
| 两个模型都通过的 26 项任务 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 每项任务耗时 | 400.6 s | 586.1 s |
| 每项任务工具调用次数 | 25.8 | 33.5 |
| 每项任务输出 token 数,包含推理 | 6,997 | 10,727 |
每项任务的平均值,来自 2026 年 11 月 3 日的运行。
对于需要有人等待结果的智能体,我们会把等待时间缩短视为切实的收益。
成本
Kimi K3.1 Pro 每项任务的成本更低,节省来自它更低的公开标价。计入全部 66 项任务后,它每项成本为 $0.772,Kimi K3 为 $0.871。把失败尝试的成本也算入,每次成功尝试分摊的成本分别为 $1.340 和 $2.130。在两个模型都通过的 26 项任务上,它每项成本为 $0.374,Kimi K3 为 $0.578;其中 24 项是它更便宜。
Moonshot 的价目表列出的 Kimi K3.1 Pro 定价,按每百万 token 计算,输入为 $2.00、缓存输入为 $0.20、缓存写入为 $2.00、输出为 $10.00。Kimi K3 的对应价格为 $3.00、$0.30、$3.00 和 $15.00。因此,新模型各类 token 的价格都是原模型的三分之二。
| 每项任务成本 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 全部 66 项任务 | $0.772 | $0.871 |
| 全部 66 项任务,将 Kimi K3.1 Pro 的 token 用量按 Kimi K3 的价格计算 | $1.158 | $0.871 |
| 两个模型都通过的 26 项任务 | $0.374 | $0.578 |
| 两个模型都通过的 26 项任务,将 Kimi K3.1 Pro 的 token 用量按 Kimi K3 的价格计算 | $0.561 | $0.578 |
| 计入全部 66 项任务后,每次成功尝试分摊的成本 | $1.340 | $2.130 |
按 Moonshot 的公开标价,根据 2026 年 11 月 3 日运行中每次尝试的 token 用量计算的成本。
在相同的工作上,如果按相同价格计费,两个模型的 token 成本其实相近:将双方共同通过的 26 项任务中 Kimi K3.1 Pro 的 token 用量按 Kimi K3 费率计算,成本为 $0.561,Kimi K3 为 $0.578。若计入全部 66 项任务,则分别为 $1.158 和 $0.871,因为 Kimi K3 已经停止的运行中,Kimi K3.1 Pro 仍在继续工作。我们会按每项任务成本做预算,而非仅看 token 单价,因为能够完成更多运行的模型,也会为完成这些运行消耗 token。
开放式研究
在开放式研究上,换用 Kimi K3.1 Pro 能带来速度和成本收益,但不会增加通过次数。这 12 项任务会给出目标和少量起始来源,具体路径交由智能体决定。两个模型都通过了 12 项中的 6 项;Kimi K3.1 Pro 新增通过一项,也失去了一项。在双方都通过的 5 项任务上,它每项耗时 354.9 秒、成本 $0.399,Kimi K3 则为 795.0 秒、$0.901,而且新模型在这 5 项中全部更快。
它失去的那项任务,说明了需要留意什么。Azure 任务要求在七个候选模型中,找出哪些能在 Azure 的 Germany West Central 区域满足六项要求运行,并说明其他每个候选模型为什么不符合。两个模型都选中了 GPT-6 Luna。Kimi K3 还打开了 Azure 关于合作伙伴模型的页面,并引用了 Claude Sonnet 5.5 不符合的原因:它的 Data Zone Standard 部署仅支持美国。

Kimi K3.1 Pro 仅根据 Azure 直接销售的模型列表排除了 Claude,从未打开那个页面。它将原因填写为“not shown”,共执行 15 条浏览器命令,Kimi K3 则为 22 条。无论使用哪个模型,我们都会核查智能体排除每个选项时给出的理由。
该选哪个模型
在本次测试的 pi 1.5.0、ZenMux 和 ego-browser 配置中,我们会选择 Kimi K3.1 Pro。它的 66 次尝试通过了 38 次,Kimi K3 通过 27 次;在双方都通过的 26 项任务上,它更快、成本也更低。在测试的所有工作类型中,没有任何一类是 Kimi K3 通过的尝试更多。
对于本次测试的网页应用操作,以及在一至三个网站间交叉核对的任务,我们会选择 Kimi K3.1 Pro:Kimi K3.1 Pro 通过了全部 15 项网页应用任务和全部 8 项交叉核对任务。Kimi K3 在这些任务中未通过的 5 项,有四项是运行结束却没有答案。对于该 pi 配置下类似的多网站任务,我们也会选择 Kimi K3.1 Pro,因为 Kimi K3.1 Pro 通过了 26 项中的 7 项,Kimi K3 通过了 2 项。使用这些表格前要先核查。在双方都通过的五项开放式研究任务上,Kimi K3.1 Pro 的耗时和估算成本更低;但这类研究总体的通过次数打成平手。
我们的配置是在 pi 智能体中,通过 ZenMux 以 moonshotai/kimi-k3.1-pro 接入 Kimi K3.1 Pro,采用高推理强度,使用 bash 工具并加载 ego-browser 技能文件。ego-browser 与 ego(lite) 一同提供,智能体通过该工具将 ego(lite) 作为浏览器来操作。
ego(lite) 在这次对比中的作用
ego(lite) 提供由 ego-browser 控制的浏览器,pi 提供智能体循环,ZenMux 则提供两个模型的接入。ego-browser 集成指南介绍了该浏览器如何连接智能体。
pi 的停止规则也是模型选择的一部分:不包含工具调用的回复会结束尝试。将完成情况的对比应用到类似工作时,要将这条规则纳入考虑。耗时和模型成本的平均值覆盖的是两个模型都通过的二十六项任务,并不代表每一项任务,也不代表其他智能体采用不同停止行为时的情况。
常见问题
对浏览器智能体而言,Kimi K3.1 Pro 比 Kimi K3 更好吗?
在我们使用 ego-browser 进行的 66 项任务测试中,是的。Kimi K3.1 Pro 的 66 次尝试通过了 38 次(57.6%),Kimi K3 通过了 27 次(40.9%)。它通过了 Kimi K3 未通过的 12 项任务,也未通过 Kimi K3 通过的 1 项任务。
Kimi K3.1 Pro 比 Kimi K3 更便宜吗?
按每项任务计算,是的。在我们的 66 项浏览器任务中,Kimi K3.1 Pro 每项成本为 $0.772,Kimi K3 为 $0.871。按每次成功尝试分摊的成本计算,差距更大:$1.340 对 $2.130。
Kimi K3.1 Pro 比 Kimi K3 更快吗?
在两个模型都完成的工作上,是的。在双方都通过的 26 项浏览器任务上,Kimi K3.1 Pro 每项耗时 400.6 秒,Kimi K3 为 586.1 秒。它每项任务调用工具 25.8 次,Kimi K3 为 33.5 次;输出 token 数为 6,997,Kimi K3 为 10,727。
Kimi K3.1 Pro 每百万 token 的价格是多少?
Moonshot 对 Kimi K3.1 Pro 的公开标价,按每百万 token 计算,输入为 $2.00、缓存输入为 $0.20、缓存写入为 $2.00、输出为 $10.00。Kimi K3 的对应标价为 $3.00、$0.30、$3.00 和 $15.00,因此新模型各类 token 的价格都是原模型的三分之二。
为什么 Kimi K3 会在浏览器任务做到一半时停下?
Kimi K3 的 66 次尝试中,有 26 次以一条说出下一步却不包含工具调用的回复结束;在 pi 智能体中,这会结束运行。它最后的话往往是“SUSE done. Now Amazon Linux.”一类说明。这 26 次中,有十六次属于需要从至少 8 个网站收集相同字段的任务;Kimi K3.1 Pro 出现这种情况的次数为 0。
哪些浏览器任务在 Kimi K3.1 Pro 上进步最大?
Kimi K3.1 Pro 在需要从至少 8 个网站收集相同字段的任务上新增通过最多,有 5 项,且这一类没有失去任何一项。它还新增通过了 3 项在一至三个网站间交叉核对的任务、2 项网页应用内任务、1 项开放式研究任务和 1 项 X 帖子任务。
Kimi K3.1 Pro 在任何浏览器任务上退步了吗?
在 66 项中的 1 项上退步了。它未通过一项 Kimi K3 通过的 Azure 模型选择任务,原因是在没有打开说明原因的页面时,就排除了一个候选模型。它通过了 Kimi K3 未通过的 12 项任务。
Kimi K3.1 Pro 在浏览器中还会犯哪些错?
主要是长表格中的数据项:它的 24 个错误答案中,有 17 个来自需要从至少 8 个网站收集相同字段的任务。在一项任务上,尽管自己的表格中已经有正确日期,它的摘要仍写错了央行。它还在 4 次尝试中触及 100 步上限,与 Kimi K3 相同。
Kimi K3.1 Pro 的网页应用自动化表现如何?
Kimi K3.1 Pro 通过了我们全部 15 项网页应用内任务,Kimi K3 通过了 13 项。任务运行在我们的运营管理、差旅费用和云控制台测试应用中,每次尝试都使用新生成的数据。在双方都通过的 13 项任务上,它每项耗时 327.0 秒、成本 $0.240,Kimi K3 则为 454.7 秒、$0.383。
我该把浏览器智能体从 Kimi K3 换成 Kimi K3.1 Pro 吗?
在本次测试的 pi 和 ZenMux 配置中,是的。Kimi K3.1 Pro 的 66 次尝试通过了 38 次,Kimi K3 通过 27 次;在双方都通过的 26 项任务上,它的平均耗时和估算成本更低。对从至少 8 个网站收集而来的表格,要保留核查步骤,因为它的 24 个错误答案中,有 17 个来自这类任务。
测试方法
我们于 2026 年 11 月 3 日,在一台运行 macOS 26.5 的 Apple 芯片 Mac 上测试两个模型。双方都使用同一智能体 pi 1.5.0,以 ego-browser 为浏览器工具,加载相同的 ego-browser 技能文件,并使用相同版本的 ego(lite) 和 ego-browser。模型分别为 Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)和 Kimi K3(moonshotai/kimi-k3),均采用高推理强度,并通过相同的 API 提供方 ZenMux 接入。
模型通过编写简短的 JavaScript 程序来控制 ego-browser,执行加载页面、点击、填写表单,以及打印页面文本或无障碍快照等操作。每次尝试最多可运行 100 步,时长上限为 60 分钟。一步对应模型的一轮交互,即向模型发送请求并收到回复。任务要求模型以一条以 FINAL ANSWER 开头的消息结束。
我们计入 66 项任务,每项恰好属于一种工作类型。“从至少 8 个网站收集相同字段”(26 项)要求从至少 8 个网站收集一组相同字段,例如九家统计机构的 GDP 公告。“在网页应用内操作”(15 项)运行在运营管理、差旅费用和云控制台测试应用中,例如修正承运商的告警规则。“开放式研究”(12 项)会给出目标和少量来源,例如选择在某个 Azure 区域可用的模型。“在一至三个网站交叉核对”(8 项)对少量网站间的数值进行比较,例如用药品说明书核对临床试验记录。“X 帖子”(5 项)将 X 上的帖子与其他记录匹配,例如将 SpaceX 发射相关帖子与 Wikipedia 的发射列表核对;这些任务只计入 X 帖子类。
每项任务都有一组评分项,66 项任务共计 443 个评分项。每项任务有一个评分项检查最终答案是否包含全部要求的值。其余 377 个评分项分别检查具体值:309 个根据官方网站预先固定,49 个来自测试应用为每次尝试生成的数据,19 个与实时页面核对。只有最终答案满足所有评分项,尝试才算通过;两个模型使用相同的评分项。
“任务”指计入统计的 66 项任务之一;“尝试”指一个模型将一项任务执行一次,因此每个模型各有 66 次尝试。成功率为通过次数除以 66。完整结果中还列出六项“未计入”的任务。每项中,有一个模型的原始尝试被定向重跑替换,或缺少有效归档的首次尝试。两个模型排除的是同样的六项任务。一次工具调用指模型执行的一条命令,主要是 ego-browser 脚本,其余则是搜索已保存页面文本等 shell 或文件命令。一条浏览器命令就是一个 ego-browser 脚本;截图图注按浏览器命令计数。
每项任务的耗时,是一次尝试从开始到结束的实际经过时间,包括等待模型 API(含推理)以及执行模型的工具调用。速度在两个模型都通过的 26 项任务上比较,因为失败任务的耗时无法直接比较。成本估算将每次尝试记录的输入、缓存输入、缓存写入和输出 token 用量,按文中列出的 Moonshot 费率计价;它们不是 ZenMux 订阅费或账单总额。每次成功尝试分摊的成本,是全部 66 次尝试的总成本除以通过次数。
“触及步数上限”指一次尝试用完全部 100 步,却没有最终答案。“停在进度说明上”指模型最后一条回复有文本,但没有工具调用,也没有 FINAL ANSWER,并且此时尚未达到步数上限。“错误答案”指给出了最终答案,但未通过。
完整结果
每个单元格列出该模型在对应任务上的结果、尝试耗时(秒)和成本。结果为“通过”“错误答案”“没有答案”(运行在达到步数上限前结束,且没有最终答案)或“步数上限”。耗时包含等待模型 API 的时间。六项“未计入”任务在定向替换运行后缺少可比的首次尝试记录,因此两个模型都排除这六项。
| 任务 | 工作类型 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 十一家气象服务机构的 2025 年气候评分表 | 从至少 8 个网站收集相同字段 | 错误答案 · 633.7 秒 · $1.235 | 步数上限 · 2010.1 秒 · $3.368 |
| 八座枢纽机场 2025 年的运输量数据 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 九个足球联赛的 2025-26 赛季数据 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 九个电影节 2026 年的最高奖项 | 从至少 8 个网站收集相同字段 | 错误答案 · 1399.6 秒 · $2.591 | 没有答案 · 1306.1 秒 · $1.418 |
| Hugging Face 上九个开放权重模型的审核表 | 从至少 8 个网站收集相同字段 | 错误答案 · 598.6 秒 · $0.716 | 没有答案 · 1217.4 秒 · $1.284 |
| 九个 SaaS 信任中心的合规矩阵 | 从至少 8 个网站收集相同字段 | 错误答案 · 590.3 秒 · $0.637 | 没有答案 · 1138.5 秒 · $0.844 |
| 同一款 SUV 在九个评测项目中的碰撞测试评级 | 从至少 8 个网站收集相同字段 | 错误答案 · 1242.3 秒 · $1.312 | 步数上限 · 1576.6 秒 · $1.765 |
| 九项技术标准的现行版本 | 从至少 8 个网站收集相同字段 | 错误答案 · 592.9 秒 · $0.658 | 没有答案 · 320.4 秒 · $0.250 |
| 十二家央行 2026 年的首次利率决定 | 从至少 8 个网站收集相同字段 | 错误答案 · 617.0 秒 · $1.023 | 错误答案 · 1256.3 秒 · $1.986 |
| 九家统计机构 2026 年第 2 季度 GDP 的初值与最新值 | 从至少 8 个网站收集相同字段 | 通过 · 1001.2 秒 · $1.181 | 错误答案 · 1294.2 秒 · $1.363 |
| 九家服务商针对私有仓库的免费 CI 方案 | 从至少 8 个网站收集相同字段 | 错误答案 · 1033.5 秒 · $1.187 | 没有答案 · 963.4 秒 · $1.068 |
| 九个无服务器平台的免费方案 | 从至少 8 个网站收集相同字段 | 通过 · 924.5 秒 · $1.283 | 没有答案 · 248.4 秒 · $0.173 |
| 九个音乐服务如何展示同一张专辑 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 九家选举管理机构的最新选举结果 | 从至少 8 个网站收集相同字段 | 步数上限 · 1256.5 秒 · $2.222 | 步数上限 · 1789.7 秒 · $2.389 |
| 九个语言运行时的最新版本分支 | 从至少 8 个网站收集相同字段 | 错误答案 · 810.3 秒 · $1.106 | 错误答案 · 1024.2 秒 · $1.171 |
| 九个 JavaScript 框架的最新稳定版本 | 从至少 8 个网站收集相同字段 | 通过 · 515.4 秒 · $0.523 | 通过 · 957.6 秒 · $0.722 |
| 九款桌面浏览器的最新稳定版本 | 从至少 8 个网站收集相同字段 | 通过 · 471.8 秒 · $0.913 | 没有答案 · 903.0 秒 · $0.765 |
| 九家机构对 2025 年堪察加地震的测定结果 | 从至少 8 个网站收集相同字段 | 错误答案 · 789.4 秒 · $1.128 | 没有答案 · 971.8 秒 · $1.335 |
| 九款旗舰手机在英国市场的官方规格 | 从至少 8 个网站收集相同字段 | 通过 · 564.8 秒 · $0.865 | 没有答案 · 1331.7 秒 · $1.161 |
| 八款相机的官方规格 | 从至少 8 个网站收集相同字段 | 通过 · 953.2 秒 · $1.521 | 通过 · 1479.8 秒 · $1.730 |
| 十个出版社和图书馆网站中,同一本书的版本详情 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 八家评级机构对同一游戏的年龄评级 | 从至少 8 个网站收集相同字段 | 错误答案 · 1385.2 秒 · $1.905 | 没有答案 · 1355.8 秒 · $1.592 |
| 九份厂商安全公告中,同一个 sudo CVE 的修复状态 | 从至少 8 个网站收集相同字段 | 错误答案 · 539.4 秒 · $0.521 | 没有答案 · 158.9 秒 · $0.133 |
| 九份国家单曲榜上,同一周的冠军单曲 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 九场开发者大会的开场主题演讲 | 从至少 8 个网站收集相同字段 | 错误答案 · 1198.7 秒 · $1.457 | 没有答案 · 1450.3 秒 · $1.485 |
| Protocol Buffers 在九个软件包注册平台上的发布版本 | 从至少 8 个网站收集相同字段 | 错误答案 · 472.9 秒 · $0.732 | 没有答案 · 582.4 秒 · $0.296 |
| 八份 2025 年开发者调查的结果 | 从至少 8 个网站收集相同字段 | 错误答案 · 599.1 秒 · $1.255 | 错误答案 · 1587.4 秒 · $1.785 |
| 九个地区的法定最低工资 | 从至少 8 个网站收集相同字段 | 未计入 | 未计入 |
| 九款服务器产品的支持终止日期 | 从至少 8 个网站收集相同字段 | 通过 · 690.2 秒 · $0.781 | 没有答案 · 370.0 秒 · $0.292 |
| 十家博物馆关于北斋《神奈川冲浪里》的记录 | 从至少 8 个网站收集相同字段 | 错误答案 · 824.7 秒 · $1.025 | 没有答案 · 1644.2 秒 · $1.124 |
| 八家监管机构对替尔泊肽(Tirzepatide)体重管理用途的批准情况 | 从至少 8 个网站收集相同字段 | 步数上限 · 1475.9 秒 · $2.742 | 没有答案 · 1171.2 秒 · $1.414 |
| 九款电动 SUV 在美国市场的续航与充电数据 | 从至少 8 个网站收集相同字段 | 错误答案 · 1027.4 秒 · $1.707 | 步数上限 · 1711.3 秒 · $1.685 |
| 将锁箱收款冲抵未结发票 | 在网页应用内操作 | 通过 · 286.4 秒 · $0.208 | 通过 · 404.7 秒 · $0.402 |
| 审计并回滚变更冻结期间的修改 | 在网页应用内操作 | 通过 · 160.4 秒 · $0.140 | 通过 · 545.1 秒 · $0.394 |
| 在旅行应用中为同事预订行程 | 在网页应用内操作 | 通过 · 438.2 秒 · $0.409 | 通过 · 433.4 秒 · $0.474 |
| 将 1 级监控项调整至符合书面标准 | 在网页应用内操作 | 通过 · 248.5 秒 · $0.253 | 没有答案 · 105.0 秒 · $0.094 |
| 申报一周客户拜访的里程费用 | 在网页应用内操作 | 通过 · 458.1 秒 · $0.333 | 通过 · 521.6 秒 · $0.418 |
| 在运营管理应用中完成二月应收账款结账,并发起争议 | 在网页应用内操作 | 通过 · 469.9 秒 · $0.403 | 通过 · 774.2 秒 · $0.698 |
| 提交两座城市的每日津贴申领单 | 在网页应用内操作 | 通过 · 256.7 秒 · $0.127 | 通过 · 282.5 秒 · $0.225 |
| 在云控制台提交事故复盘时间线 | 在网页应用内操作 | 通过 · 216.3 秒 · $0.195 | 通过 · 264.8 秒 · $0.306 |
| 为两个客户的配送货损提交索赔 | 在网页应用内操作 | 通过 · 445.9 秒 · $0.319 | 通过 · 1058.7 秒 · $0.726 |
| 修正下周的值班安排 | 在网页应用内操作 | 通过 · 169.0 秒 · $0.125 | 通过 · 193.3 秒 · $0.147 |
| 将支付卡交易与费用报告草稿匹配 | 在网页应用内操作 | 通过 · 457.1 秒 · $0.383 | 通过 · 535.9 秒 · $0.394 |
| 为仓库下补货订单 | 在网页应用内操作 | 通过 · 337.3 秒 · $0.182 | 通过 · 205.3 秒 · $0.240 |
| 审核一名员工的费用报告 | 在网页应用内操作 | 通过 · 387.7 秒 · $0.189 | 通过 · 450.6 秒 · $0.364 |
| 根据错误预算消耗情况设置部署冻结 | 在网页应用内操作 | 通过 · 167.8 秒 · $0.106 | 通过 · 240.6 秒 · $0.193 |
| 核实承运商的准时表现数据并修正告警规则 | 在网页应用内操作 | 通过 · 382.5 秒 · $0.261 | 没有答案 · 934.2 秒 · $0.971 |
| ARC Prize 排行榜上的低成本推理设置 | 开放式研究 | 通过 · 372.4 秒 · $0.296 | 通过 · 716.2 秒 · $0.723 |
| 根据 Epoch AI 数据统计超过欧盟计算量门槛的模型 | 开放式研究 | 通过 · 165.8 秒 · $0.143 | 通过 · 252.0 秒 · $0.186 |
| 八个前沿模型的《欧盟人工智能法案》披露信息 | 开放式研究 | 步数上限 · 1388.1 秒 · $3.008 | 没有答案 · 1748.6 秒 · $2.621 |
| 六份 API 更新日志中,2026 年 9 月发布的全部模型 | 开放式研究 | 通过 · 273.4 秒 · $0.374 | 通过 · 595.0 秒 · $0.721 |
| 核查关于 2026 年 9 月模型发布的十项说法 | 开放式研究 | 错误答案 · 228.8 秒 · $0.299 | 错误答案 · 507.6 秒 · $0.574 |
| 在五个中国模型中选择主用和备用 API | 开放式研究 | 通过 · 412.3 秒 · $0.471 | 通过 · 769.1 秒 · $0.696 |
| 选择在 Azure 德国某区域提供的模型 | 开放式研究 | 错误答案 · 297.1 秒 · $0.280 | 通过 · 787.2 秒 · $0.871 |
| 在 OpenRouter 上选择最快的 GLM 5.3 提供商端点 | 开放式研究 | 通过 · 774.9 秒 · $0.717 | 错误答案 · 960.2 秒 · $0.694 |
| 计算同一项 API 工作负载在六个模型上的价格 | 开放式研究 | 通过 · 550.4 秒 · $0.711 | 通过 · 1642.9 秒 · $2.177 |
| Wayback Machine 存档中的六家提供商 API 价格 | 开放式研究 | 错误答案 · 1214.3 秒 · $0.552 | 没有答案 · 350.4 秒 · $0.181 |
| 追溯 Wikipedia 大语言模型表格背后的来源 | 开放式研究 | 错误答案 · 458.7 秒 · $0.350 | 没有答案 · 383.3 秒 · $0.301 |
| 某一版 LiveBench 展示的结果 | 开放式研究 | 错误答案 · 296.8 秒 · $0.267 | 错误答案 · 330.8 秒 · $0.329 |
| 根据 FRED 数据制作通胀表,并用 BLS 交叉核对 | 在一至三个网站交叉核对 | 通过 · 274.1 秒 · $0.224 | 通过 · 308.6 秒 · $0.312 |
| 将 GPT 课程中的数字与视频、代码和论文核对 | 在一至三个网站交叉核对 | 通过 · 619.4 秒 · $0.387 | 通过 · 237.2 秒 · $0.277 |
| 比较 Apple 美国商店中的三种 MacBook 配置 | 在一至三个网站交叉核对 | 通过 · 786.1 秒 · $1.226 | 通过 · 654.4 秒 · $1.110 |
| 将 ClinicalTrials.gov 上的 3 期临床试验与 DailyMed 药品说明书交叉核对 | 在一至三个网站交叉核对 | 通过 · 294.2 秒 · $0.401 | 没有答案 · 591.2 秒 · $0.872 |
| 根据 MDN 和 Can I use 为六项网页功能制作可用/不可用清单 | 在一至三个网站交叉核对 | 通过 · 269.9 秒 · $0.262 | 通过 · 751.4 秒 · $0.796 |
| 计算团队异地活动前往丹佛的机票价格 | 在一至三个网站交叉核对 | 通过 · 526.6 秒 · $0.962 | 没有答案 · 963.3 秒 · $1.037 |
| 在票房数据库和 Wikipedia 之间核对六部 Wes Anderson 电影的票房 | 在一至三个网站交叉核对 | 通过 · 221.1 秒 · $0.250 | 通过 · 324.7 秒 · $0.303 |
| Companies House 中四家英国公司的登记信息快照 | 在一至三个网站交叉核对 | 通过 · 320.3 秒 · $0.223 | 错误答案 · 1005.0 秒 · $0.591 |
| 八个品牌 2026 年在 X 和新闻中心发布的产品公告 | X 帖子 | 错误答案 · 667.1 秒 · $0.536 | 没有答案 · 847.0 秒 · $0.417 |
| 八家足球俱乐部在 X 和俱乐部官网上的夏季引援信息 | X 帖子 | 步数上限 · 1815.4 秒 · $1.805 | 没有答案 · 2343.4 秒 · $1.008 |
| 八个开源项目在 X 和各自网站上的安全发布信息 | X 帖子 | 通过 · 625.6 秒 · $0.627 | 没有答案 · 2248.5 秒 · $1.524 |
| 八所大学在 X 发布其 2025 年诺贝尔奖新闻的速度 | X 帖子 | 错误答案 · 1314.1 秒 · $0.487 | 没有答案 · 528.9 秒 · $0.237 |
| 将 X 上的 SpaceX 发射相关帖子与 Wikipedia 发射列表匹配 | X 帖子 | 通过 · 751.6 秒 · $0.220 | 通过 · 638.9 秒 · $0.300 |
模型价格来自 Moonshot 公布的价目表。其他所有数字都来自我们自己的运行。
