我们用 66 项浏览器任务对比测试了 Kimi K3.1 Pro 与 Kimi K3

15 分钟阅读
剪纸风格插画:代表 Kimi K3.1 Pro 的橙色气球与代表 Kimi K3 的黄色气球漂浮在蓝天中

在本次 pi 和 ZenMux 配置下,为了完成更多任务,我们会选择 Kimi K3.1 Pro,而不是 Kimi K3。在双方共同成功的 26 项任务上,它的平均耗时和估算模型成本也更低。本次 Kimi K3.1 Pro 与 Kimi K3 对比计入 66 项任务,每个模型都使用 ego-browser 将每项任务执行一次,因此每个模型各有 66 次尝试。Kimi K3.1 Pro 的 66 次尝试通过了 38 次(57.6%),Kimi K3 通过了 27 次(40.9%)。在两个模型都通过的 26 项任务上,Kimi K3.1 Pro 每项耗时 400.6 秒、成本 $0.374,Kimi K3 则为 586.1 秒、$0.578。

两个模型最大的差别在于是否把任务做完。Kimi K3 的 66 次尝试中,有 27 次在达到步数上限前就结束,且没有给出答案;其中 26 次停在类似“SUSE done. Now Amazon Linux.”的进度说明上。Kimi K3.1 Pro 出现这种情况的次数为 0。在两个模型都给出最终答案的 35 项任务上,Kimi K3.1 Pro 通过了 29 项,Kimi K3 通过了 27 项。

Kimi K3.1 Pro 的短板,在于它现在能完成的那些长表格。在从至少 8 个网站收集相同字段的任务中,它的 26 次尝试通过了 7 次,Kimi K3 通过了 2 次。Kimi K3.1 Pro 的 24 个错误答案中,有 17 个是这些任务产出的表格,因此我们会在使用前核查表格。开放式研究中,两个模型都通过了 12 项中的 6 项;在双方都通过的五项任务上,Kimi K3.1 Pro 更快、成本也更低。

估算模型成本更低,源于 Kimi K3.1 Pro 更低的公开标价。Moonshot 对它各类 token 的定价均为 Kimi K3 的三分之二。计入全部 66 项任务后,它每项任务的成本为 $0.772,Kimi K3 为 $0.871,尽管在 Kimi K3 已经结束而它仍继续执行的尝试中,它消耗了更多 token。

成功率

Kimi K3.1 Pro 通过的任务更多。它通过了 Kimi K3 未通过的 12 项任务,也未通过 Kimi K3 通过的 1 项任务。在新增通过的 12 项中,Kimi K3 有 9 项结束时没有答案,另外 3 项给出了错误答案。这 12 项新增通过的任务中,有五项需要从至少 8 个网站收集相同字段。

在每一类工作中,Kimi K3.1 Pro 通过的尝试次数都不少于 Kimi K3,只有开放式研究打成平手。

工作类型任务数Kimi K3.1 ProKimi K3
从至少 8 个网站收集相同字段2626.9%(26 次中通过 7 次)7.7%(26 次中通过 2 次)
在网页应用内操作15100%(15 次中通过 15 次)86.7%(15 次中通过 13 次)
开放式研究1250.0%(12 次中通过 6 次)50.0%(12 次中通过 6 次)
在一至三个网站交叉核对8100%(8 次中通过 8 次)62.5%(8 次中通过 5 次)
X 帖子540.0%(5 次中通过 2 次)20.0%(5 次中通过 1 次)
全部任务6657.6%(66 次中通过 38 次)40.9%(66 次中通过 27 次)

成功率以通过的尝试次数为分子计算,数据来自 2026 年 11 月 3 日的运行。在这些工作类型中,没有任何一类是 Kimi K3 通过的尝试次数超过 Kimi K3.1 Pro。

Kimi K3 的运行经常在工作中途结束。在本次使用的 pi 智能体中,模型通过工具调用执行工作,主要是 ego-browser 脚本;一条不包含工具调用的回复会结束运行。Kimi K3 会在回复中说出下一步,却不实际执行,例如“Google done. Now Cloudflare Workers Free.”。它在 66 次尝试中有 26 次这样做,其中 16 次属于需要从至少 8 个网站收集相同字段的 26 项任务。这 26 条回复都以模型正常的停止信号结束,并非因长度限制而截断。Kimi K3.1 Pro 以这种方式结束的尝试有 0 次。

无服务器平台任务展示了这种差别。任务要求在九个无服务器平台上查找免费方案的五项限制,范围从 AWS Lambda 到 Oracle OCI Functions。Kimi K3 读完 AWS、Azure 和 Google 的页面,完成 11 次工具调用后以“Google done. Now Cloudflare Workers Free.”结束。Kimi K3.1 Pro 则继续访问了 Cloudflare 的 Workers 定价页,在 58 次工具调用中查完全部九个平台,并通过了任务。

已记录浏览器命令的回放:无服务器平台任务中,Kimi K3.1 Pro 使用 ego-browser 操作 Cloudflare 的 Workers 定价页
已记录命令回放。Kimi K3.1 Pro 使用 ego-browser 执行无服务器免费方案任务:打开 Cloudflare 的 Workers 定价页。这是九个平台中的第四个,也是 Kimi K3 停下的位置。浏览器命令第 10 条,共 55 条。原始运行:2026 年 11 月 3 日。回放于 2026 年 11 月 10 日在 ego(lite) 中录制。 查看原图

另外 3 项新增通过的任务,源于 Kimi K3 给出了错误的最终答案。GDP 任务要求查找九家统计机构公布的第二季度增长率,分别取初次估计与最新估计,且不要年化。两个模型都打开了 美国经济分析局的预先估计公告,也就是其初次估计。Kimi K3 的脚本只保留页面文本的前 2,500 个字符,并将美国两次估计的季度增长率都填写为“not shown”。Kimi K3.1 Pro 打印了整份公告,在 Technical Notes 中读到了“0.4 percent at a quarterly rate”。它以相同方式在 BEA 于 2026 年 9 月 30 日发布的最新估计中找到了 0.6%,并填好了美国的两个单元格。

已记录浏览器命令的回放:GDP 任务中,Kimi K3.1 Pro 使用 ego-browser 操作 BEA 的预先估计公告页面
已记录命令回放。Kimi K3.1 Pro 使用 ego-browser 执行 2026 年第 2 季度 GDP 任务:加载 BEA 的预先估计公告并打印全文,包括写明季度增长率 0.4% 的 Technical Notes。浏览器命令第 2 条,共 61 条。原始运行:2026 年 11 月 3 日。回放于 2026 年 11 月 10 日在 ego(lite) 中录制。 查看原图

两个模型的失败方式也不同。每次尝试最多有 100 步,每步对应向模型发送一次请求并接收回复。Kimi K3 的 39 次失败中,有 27 次在达到步数上限前结束且没有答案,4 次触及步数上限,8 次给出了错误答案。Kimi K3.1 Pro 的 28 次失败中,24 次给出错误答案,4 次触及步数上限。这 24 个错误答案中,有 18 个来自 Kimi K3 完全没有给出最终答案的任务。我们会换用新模型,同时核查 Kimi K3.1 Pro 在那些 Kimi K3 未给出最终答案就结束的任务上,现在交出的答案。

Kimi K3.1 Pro 仍会在哪些地方出错

Kimi K3.1 Pro 能完成长表格,但不一定每个单元格都正确,因此我们会把这些表格当作有待核查的草稿。在从至少 8 个网站收集相同字段的任务中,它的 26 次尝试通过了 7 次。它的 24 个错误答案中,有 17 个来自这类任务:每个都是已完成的表格,但至少有一项数据或一句摘要文字有误。

例如,央行任务的错误出在摘要中。任务要求查找十二家央行在 2026 年的首次利率决定,以及哪家央行最后公布。Kimi K3.1 Pro 打开了瑞士国家银行 2026 年 3 月 19 日的公告,并把这个日期填进自己的表格。然而,它在摘要中仍将 2 月 6 日公布的印度储备银行列为最后公布的央行。

任务要求正确答案Kimi K3.1 Pro 的答案
最后公布 2026 年首次决定的央行瑞士国家银行,2026-03-19印度储备银行,2026-02-06

在同一任务上,Kimi K3 正确指出了瑞士国家银行,但也有其他数据项未答对,因此也未通过。

已记录浏览器命令的回放:央行任务中,Kimi K3.1 Pro 使用 ego-browser 操作瑞士国家银行 2026 年 3 月 19 日的公告页面
已记录命令回放。Kimi K3.1 Pro 使用 ego-browser 执行央行任务:打开瑞士国家银行 2026 年 3 月 19 日的货币政策评估公告,而它随后给出的摘要却遗漏了这个日期。浏览器命令第 18 条,共 52 条。原始运行:2026 年 11 月 3 日。回放于 2026 年 11 月 10 日在 ego(lite) 中录制。 查看原图

使用 Kimi K3.1 Pro 的表格前,应将摘要内容与表格自身的数据行核对,并抽查部分单元格是否与来源一致。Kimi K3 在这类任务中通过了 26 项中的 2 项。

速度

在同样的工作上,Kimi K3.1 Pro 更快,而且生成的文本更少、工具调用次数也更少。在两个模型都通过的 26 项任务上,它平均每项耗时 400.6 秒,Kimi K3 为 586.1 秒;它在 26 项中的 21 项更快,其余 5 项则是 Kimi K3 更快。

两个模型都通过的 26 项任务Kimi K3.1 ProKimi K3
每项任务耗时400.6 s586.1 s
每项任务工具调用次数25.833.5
每项任务输出 token 数,包含推理6,99710,727

每项任务的平均值,来自 2026 年 11 月 3 日的运行。

对于需要有人等待结果的智能体,我们会把等待时间缩短视为切实的收益。

成本

Kimi K3.1 Pro 每项任务的成本更低,节省来自它更低的公开标价。计入全部 66 项任务后,它每项成本为 $0.772,Kimi K3 为 $0.871。把失败尝试的成本也算入,每次成功尝试分摊的成本分别为 $1.340 和 $2.130。在两个模型都通过的 26 项任务上,它每项成本为 $0.374,Kimi K3 为 $0.578;其中 24 项是它更便宜。

Moonshot 的价目表列出的 Kimi K3.1 Pro 定价,按每百万 token 计算,输入为 $2.00、缓存输入为 $0.20、缓存写入为 $2.00、输出为 $10.00。Kimi K3 的对应价格为 $3.00、$0.30、$3.00 和 $15.00。因此,新模型各类 token 的价格都是原模型的三分之二。

每项任务成本Kimi K3.1 ProKimi K3
全部 66 项任务$0.772$0.871
全部 66 项任务,将 Kimi K3.1 Pro 的 token 用量按 Kimi K3 的价格计算$1.158$0.871
两个模型都通过的 26 项任务$0.374$0.578
两个模型都通过的 26 项任务,将 Kimi K3.1 Pro 的 token 用量按 Kimi K3 的价格计算$0.561$0.578
计入全部 66 项任务后,每次成功尝试分摊的成本$1.340$2.130

按 Moonshot 的公开标价,根据 2026 年 11 月 3 日运行中每次尝试的 token 用量计算的成本。

在相同的工作上,如果按相同价格计费,两个模型的 token 成本其实相近:将双方共同通过的 26 项任务中 Kimi K3.1 Pro 的 token 用量按 Kimi K3 费率计算,成本为 $0.561,Kimi K3 为 $0.578。若计入全部 66 项任务,则分别为 $1.158 和 $0.871,因为 Kimi K3 已经停止的运行中,Kimi K3.1 Pro 仍在继续工作。我们会按每项任务成本做预算,而非仅看 token 单价,因为能够完成更多运行的模型,也会为完成这些运行消耗 token。

开放式研究

在开放式研究上,换用 Kimi K3.1 Pro 能带来速度和成本收益,但不会增加通过次数。这 12 项任务会给出目标和少量起始来源,具体路径交由智能体决定。两个模型都通过了 12 项中的 6 项;Kimi K3.1 Pro 新增通过一项,也失去了一项。在双方都通过的 5 项任务上,它每项耗时 354.9 秒、成本 $0.399,Kimi K3 则为 795.0 秒、$0.901,而且新模型在这 5 项中全部更快。

它失去的那项任务,说明了需要留意什么。Azure 任务要求在七个候选模型中,找出哪些能在 Azure 的 Germany West Central 区域满足六项要求运行,并说明其他每个候选模型为什么不符合。两个模型都选中了 GPT-6 Luna。Kimi K3 还打开了 Azure 关于合作伙伴模型的页面,并引用了 Claude Sonnet 5.5 不符合的原因:它的 Data Zone Standard 部署仅支持美国。

已记录浏览器命令在 Microsoft Learn 上的回放,Data Zone Standard 美国区域表格已展开
Kimi K3 的 Azure 模型任务中,第 20 条浏览器命令的回放,共 22 条。当前的 Data Zone Standard 美国区域表格已展开供读取。原始可用性结论依据 11 月 3 日的运行记录。原始运行:2026 年 11 月 3 日。回放于 2026 年 11 月 10 日录制。 查看原图

Kimi K3.1 Pro 仅根据 Azure 直接销售的模型列表排除了 Claude,从未打开那个页面。它将原因填写为“not shown”,共执行 15 条浏览器命令,Kimi K3 则为 22 条。无论使用哪个模型,我们都会核查智能体排除每个选项时给出的理由。

该选哪个模型

在本次测试的 pi 1.5.0、ZenMux 和 ego-browser 配置中,我们会选择 Kimi K3.1 Pro。它的 66 次尝试通过了 38 次,Kimi K3 通过 27 次;在双方都通过的 26 项任务上,它更快、成本也更低。在测试的所有工作类型中,没有任何一类是 Kimi K3 通过的尝试更多。

对于本次测试的网页应用操作,以及在一至三个网站间交叉核对的任务,我们会选择 Kimi K3.1 Pro:Kimi K3.1 Pro 通过了全部 15 项网页应用任务和全部 8 项交叉核对任务。Kimi K3 在这些任务中未通过的 5 项,有四项是运行结束却没有答案。对于该 pi 配置下类似的多网站任务,我们也会选择 Kimi K3.1 Pro,因为 Kimi K3.1 Pro 通过了 26 项中的 7 项,Kimi K3 通过了 2 项。使用这些表格前要先核查。在双方都通过的五项开放式研究任务上,Kimi K3.1 Pro 的耗时和估算成本更低;但这类研究总体的通过次数打成平手。

我们的配置是在 pi 智能体中,通过 ZenMux 以 moonshotai/kimi-k3.1-pro 接入 Kimi K3.1 Pro,采用高推理强度,使用 bash 工具并加载 ego-browser 技能文件。ego-browser 与 ego(lite) 一同提供,智能体通过该工具将 ego(lite) 作为浏览器来操作。

ego(lite) 在这次对比中的作用

ego(lite) 提供由 ego-browser 控制的浏览器,pi 提供智能体循环,ZenMux 则提供两个模型的接入。ego-browser 集成指南介绍了该浏览器如何连接智能体。

pi 的停止规则也是模型选择的一部分:不包含工具调用的回复会结束尝试。将完成情况的对比应用到类似工作时,要将这条规则纳入考虑。耗时和模型成本的平均值覆盖的是两个模型都通过的二十六项任务,并不代表每一项任务,也不代表其他智能体采用不同停止行为时的情况。

常见问题

对浏览器智能体而言,Kimi K3.1 Pro 比 Kimi K3 更好吗?

在我们使用 ego-browser 进行的 66 项任务测试中,是的。Kimi K3.1 Pro 的 66 次尝试通过了 38 次(57.6%),Kimi K3 通过了 27 次(40.9%)。它通过了 Kimi K3 未通过的 12 项任务,也未通过 Kimi K3 通过的 1 项任务。

Kimi K3.1 Pro 比 Kimi K3 更便宜吗?

按每项任务计算,是的。在我们的 66 项浏览器任务中,Kimi K3.1 Pro 每项成本为 $0.772,Kimi K3 为 $0.871。按每次成功尝试分摊的成本计算,差距更大:$1.340 对 $2.130。

Kimi K3.1 Pro 比 Kimi K3 更快吗?

在两个模型都完成的工作上,是的。在双方都通过的 26 项浏览器任务上,Kimi K3.1 Pro 每项耗时 400.6 秒,Kimi K3 为 586.1 秒。它每项任务调用工具 25.8 次,Kimi K3 为 33.5 次;输出 token 数为 6,997,Kimi K3 为 10,727。

Kimi K3.1 Pro 每百万 token 的价格是多少?

Moonshot 对 Kimi K3.1 Pro 的公开标价,按每百万 token 计算,输入为 $2.00、缓存输入为 $0.20、缓存写入为 $2.00、输出为 $10.00。Kimi K3 的对应标价为 $3.00、$0.30、$3.00 和 $15.00,因此新模型各类 token 的价格都是原模型的三分之二。

为什么 Kimi K3 会在浏览器任务做到一半时停下?

Kimi K3 的 66 次尝试中,有 26 次以一条说出下一步却不包含工具调用的回复结束;在 pi 智能体中,这会结束运行。它最后的话往往是“SUSE done. Now Amazon Linux.”一类说明。这 26 次中,有十六次属于需要从至少 8 个网站收集相同字段的任务;Kimi K3.1 Pro 出现这种情况的次数为 0。

哪些浏览器任务在 Kimi K3.1 Pro 上进步最大?

Kimi K3.1 Pro 在需要从至少 8 个网站收集相同字段的任务上新增通过最多,有 5 项,且这一类没有失去任何一项。它还新增通过了 3 项在一至三个网站间交叉核对的任务、2 项网页应用内任务、1 项开放式研究任务和 1 项 X 帖子任务。

Kimi K3.1 Pro 在任何浏览器任务上退步了吗?

在 66 项中的 1 项上退步了。它未通过一项 Kimi K3 通过的 Azure 模型选择任务,原因是在没有打开说明原因的页面时,就排除了一个候选模型。它通过了 Kimi K3 未通过的 12 项任务。

Kimi K3.1 Pro 在浏览器中还会犯哪些错?

主要是长表格中的数据项:它的 24 个错误答案中,有 17 个来自需要从至少 8 个网站收集相同字段的任务。在一项任务上,尽管自己的表格中已经有正确日期,它的摘要仍写错了央行。它还在 4 次尝试中触及 100 步上限,与 Kimi K3 相同。

Kimi K3.1 Pro 的网页应用自动化表现如何?

Kimi K3.1 Pro 通过了我们全部 15 项网页应用内任务,Kimi K3 通过了 13 项。任务运行在我们的运营管理、差旅费用和云控制台测试应用中,每次尝试都使用新生成的数据。在双方都通过的 13 项任务上,它每项耗时 327.0 秒、成本 $0.240,Kimi K3 则为 454.7 秒、$0.383。

我该把浏览器智能体从 Kimi K3 换成 Kimi K3.1 Pro 吗?

在本次测试的 pi 和 ZenMux 配置中,是的。Kimi K3.1 Pro 的 66 次尝试通过了 38 次,Kimi K3 通过 27 次;在双方都通过的 26 项任务上,它的平均耗时和估算成本更低。对从至少 8 个网站收集而来的表格,要保留核查步骤,因为它的 24 个错误答案中,有 17 个来自这类任务。

测试方法

我们于 2026 年 11 月 3 日,在一台运行 macOS 26.5 的 Apple 芯片 Mac 上测试两个模型。双方都使用同一智能体 pi 1.5.0,以 ego-browser 为浏览器工具,加载相同的 ego-browser 技能文件,并使用相同版本的 ego(lite) 和 ego-browser。模型分别为 Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)和 Kimi K3(moonshotai/kimi-k3),均采用高推理强度,并通过相同的 API 提供方 ZenMux 接入。

模型通过编写简短的 JavaScript 程序来控制 ego-browser,执行加载页面、点击、填写表单,以及打印页面文本或无障碍快照等操作。每次尝试最多可运行 100 步,时长上限为 60 分钟。一步对应模型的一轮交互,即向模型发送请求并收到回复。任务要求模型以一条以 FINAL ANSWER 开头的消息结束。

我们计入 66 项任务,每项恰好属于一种工作类型。“从至少 8 个网站收集相同字段”(26 项)要求从至少 8 个网站收集一组相同字段,例如九家统计机构的 GDP 公告。“在网页应用内操作”(15 项)运行在运营管理、差旅费用和云控制台测试应用中,例如修正承运商的告警规则。“开放式研究”(12 项)会给出目标和少量来源,例如选择在某个 Azure 区域可用的模型。“在一至三个网站交叉核对”(8 项)对少量网站间的数值进行比较,例如用药品说明书核对临床试验记录。“X 帖子”(5 项)将 X 上的帖子与其他记录匹配,例如将 SpaceX 发射相关帖子与 Wikipedia 的发射列表核对;这些任务只计入 X 帖子类。

每项任务都有一组评分项,66 项任务共计 443 个评分项。每项任务有一个评分项检查最终答案是否包含全部要求的值。其余 377 个评分项分别检查具体值:309 个根据官方网站预先固定,49 个来自测试应用为每次尝试生成的数据,19 个与实时页面核对。只有最终答案满足所有评分项,尝试才算通过;两个模型使用相同的评分项。

“任务”指计入统计的 66 项任务之一;“尝试”指一个模型将一项任务执行一次,因此每个模型各有 66 次尝试。成功率为通过次数除以 66。完整结果中还列出六项“未计入”的任务。每项中,有一个模型的原始尝试被定向重跑替换,或缺少有效归档的首次尝试。两个模型排除的是同样的六项任务。一次工具调用指模型执行的一条命令,主要是 ego-browser 脚本,其余则是搜索已保存页面文本等 shell 或文件命令。一条浏览器命令就是一个 ego-browser 脚本;截图图注按浏览器命令计数。

每项任务的耗时,是一次尝试从开始到结束的实际经过时间,包括等待模型 API(含推理)以及执行模型的工具调用。速度在两个模型都通过的 26 项任务上比较,因为失败任务的耗时无法直接比较。成本估算将每次尝试记录的输入、缓存输入、缓存写入和输出 token 用量,按文中列出的 Moonshot 费率计价;它们不是 ZenMux 订阅费或账单总额。每次成功尝试分摊的成本,是全部 66 次尝试的总成本除以通过次数。

“触及步数上限”指一次尝试用完全部 100 步,却没有最终答案。“停在进度说明上”指模型最后一条回复有文本,但没有工具调用,也没有 FINAL ANSWER,并且此时尚未达到步数上限。“错误答案”指给出了最终答案,但未通过。

完整结果

每个单元格列出该模型在对应任务上的结果、尝试耗时(秒)和成本。结果为“通过”“错误答案”“没有答案”(运行在达到步数上限前结束,且没有最终答案)或“步数上限”。耗时包含等待模型 API 的时间。六项“未计入”任务在定向替换运行后缺少可比的首次尝试记录,因此两个模型都排除这六项。

任务工作类型Kimi K3.1 ProKimi K3
十一家气象服务机构的 2025 年气候评分表从至少 8 个网站收集相同字段错误答案 · 633.7 秒 · $1.235步数上限 · 2010.1 秒 · $3.368
八座枢纽机场 2025 年的运输量数据从至少 8 个网站收集相同字段未计入未计入
九个足球联赛的 2025-26 赛季数据从至少 8 个网站收集相同字段未计入未计入
九个电影节 2026 年的最高奖项从至少 8 个网站收集相同字段错误答案 · 1399.6 秒 · $2.591没有答案 · 1306.1 秒 · $1.418
Hugging Face 上九个开放权重模型的审核表从至少 8 个网站收集相同字段错误答案 · 598.6 秒 · $0.716没有答案 · 1217.4 秒 · $1.284
九个 SaaS 信任中心的合规矩阵从至少 8 个网站收集相同字段错误答案 · 590.3 秒 · $0.637没有答案 · 1138.5 秒 · $0.844
同一款 SUV 在九个评测项目中的碰撞测试评级从至少 8 个网站收集相同字段错误答案 · 1242.3 秒 · $1.312步数上限 · 1576.6 秒 · $1.765
九项技术标准的现行版本从至少 8 个网站收集相同字段错误答案 · 592.9 秒 · $0.658没有答案 · 320.4 秒 · $0.250
十二家央行 2026 年的首次利率决定从至少 8 个网站收集相同字段错误答案 · 617.0 秒 · $1.023错误答案 · 1256.3 秒 · $1.986
九家统计机构 2026 年第 2 季度 GDP 的初值与最新值从至少 8 个网站收集相同字段通过 · 1001.2 秒 · $1.181错误答案 · 1294.2 秒 · $1.363
九家服务商针对私有仓库的免费 CI 方案从至少 8 个网站收集相同字段错误答案 · 1033.5 秒 · $1.187没有答案 · 963.4 秒 · $1.068
九个无服务器平台的免费方案从至少 8 个网站收集相同字段通过 · 924.5 秒 · $1.283没有答案 · 248.4 秒 · $0.173
九个音乐服务如何展示同一张专辑从至少 8 个网站收集相同字段未计入未计入
九家选举管理机构的最新选举结果从至少 8 个网站收集相同字段步数上限 · 1256.5 秒 · $2.222步数上限 · 1789.7 秒 · $2.389
九个语言运行时的最新版本分支从至少 8 个网站收集相同字段错误答案 · 810.3 秒 · $1.106错误答案 · 1024.2 秒 · $1.171
九个 JavaScript 框架的最新稳定版本从至少 8 个网站收集相同字段通过 · 515.4 秒 · $0.523通过 · 957.6 秒 · $0.722
九款桌面浏览器的最新稳定版本从至少 8 个网站收集相同字段通过 · 471.8 秒 · $0.913没有答案 · 903.0 秒 · $0.765
九家机构对 2025 年堪察加地震的测定结果从至少 8 个网站收集相同字段错误答案 · 789.4 秒 · $1.128没有答案 · 971.8 秒 · $1.335
九款旗舰手机在英国市场的官方规格从至少 8 个网站收集相同字段通过 · 564.8 秒 · $0.865没有答案 · 1331.7 秒 · $1.161
八款相机的官方规格从至少 8 个网站收集相同字段通过 · 953.2 秒 · $1.521通过 · 1479.8 秒 · $1.730
十个出版社和图书馆网站中,同一本书的版本详情从至少 8 个网站收集相同字段未计入未计入
八家评级机构对同一游戏的年龄评级从至少 8 个网站收集相同字段错误答案 · 1385.2 秒 · $1.905没有答案 · 1355.8 秒 · $1.592
九份厂商安全公告中,同一个 sudo CVE 的修复状态从至少 8 个网站收集相同字段错误答案 · 539.4 秒 · $0.521没有答案 · 158.9 秒 · $0.133
九份国家单曲榜上,同一周的冠军单曲从至少 8 个网站收集相同字段未计入未计入
九场开发者大会的开场主题演讲从至少 8 个网站收集相同字段错误答案 · 1198.7 秒 · $1.457没有答案 · 1450.3 秒 · $1.485
Protocol Buffers 在九个软件包注册平台上的发布版本从至少 8 个网站收集相同字段错误答案 · 472.9 秒 · $0.732没有答案 · 582.4 秒 · $0.296
八份 2025 年开发者调查的结果从至少 8 个网站收集相同字段错误答案 · 599.1 秒 · $1.255错误答案 · 1587.4 秒 · $1.785
九个地区的法定最低工资从至少 8 个网站收集相同字段未计入未计入
九款服务器产品的支持终止日期从至少 8 个网站收集相同字段通过 · 690.2 秒 · $0.781没有答案 · 370.0 秒 · $0.292
十家博物馆关于北斋《神奈川冲浪里》的记录从至少 8 个网站收集相同字段错误答案 · 824.7 秒 · $1.025没有答案 · 1644.2 秒 · $1.124
八家监管机构对替尔泊肽(Tirzepatide)体重管理用途的批准情况从至少 8 个网站收集相同字段步数上限 · 1475.9 秒 · $2.742没有答案 · 1171.2 秒 · $1.414
九款电动 SUV 在美国市场的续航与充电数据从至少 8 个网站收集相同字段错误答案 · 1027.4 秒 · $1.707步数上限 · 1711.3 秒 · $1.685
将锁箱收款冲抵未结发票在网页应用内操作通过 · 286.4 秒 · $0.208通过 · 404.7 秒 · $0.402
审计并回滚变更冻结期间的修改在网页应用内操作通过 · 160.4 秒 · $0.140通过 · 545.1 秒 · $0.394
在旅行应用中为同事预订行程在网页应用内操作通过 · 438.2 秒 · $0.409通过 · 433.4 秒 · $0.474
将 1 级监控项调整至符合书面标准在网页应用内操作通过 · 248.5 秒 · $0.253没有答案 · 105.0 秒 · $0.094
申报一周客户拜访的里程费用在网页应用内操作通过 · 458.1 秒 · $0.333通过 · 521.6 秒 · $0.418
在运营管理应用中完成二月应收账款结账,并发起争议在网页应用内操作通过 · 469.9 秒 · $0.403通过 · 774.2 秒 · $0.698
提交两座城市的每日津贴申领单在网页应用内操作通过 · 256.7 秒 · $0.127通过 · 282.5 秒 · $0.225
在云控制台提交事故复盘时间线在网页应用内操作通过 · 216.3 秒 · $0.195通过 · 264.8 秒 · $0.306
为两个客户的配送货损提交索赔在网页应用内操作通过 · 445.9 秒 · $0.319通过 · 1058.7 秒 · $0.726
修正下周的值班安排在网页应用内操作通过 · 169.0 秒 · $0.125通过 · 193.3 秒 · $0.147
将支付卡交易与费用报告草稿匹配在网页应用内操作通过 · 457.1 秒 · $0.383通过 · 535.9 秒 · $0.394
为仓库下补货订单在网页应用内操作通过 · 337.3 秒 · $0.182通过 · 205.3 秒 · $0.240
审核一名员工的费用报告在网页应用内操作通过 · 387.7 秒 · $0.189通过 · 450.6 秒 · $0.364
根据错误预算消耗情况设置部署冻结在网页应用内操作通过 · 167.8 秒 · $0.106通过 · 240.6 秒 · $0.193
核实承运商的准时表现数据并修正告警规则在网页应用内操作通过 · 382.5 秒 · $0.261没有答案 · 934.2 秒 · $0.971
ARC Prize 排行榜上的低成本推理设置开放式研究通过 · 372.4 秒 · $0.296通过 · 716.2 秒 · $0.723
根据 Epoch AI 数据统计超过欧盟计算量门槛的模型开放式研究通过 · 165.8 秒 · $0.143通过 · 252.0 秒 · $0.186
八个前沿模型的《欧盟人工智能法案》披露信息开放式研究步数上限 · 1388.1 秒 · $3.008没有答案 · 1748.6 秒 · $2.621
六份 API 更新日志中,2026 年 9 月发布的全部模型开放式研究通过 · 273.4 秒 · $0.374通过 · 595.0 秒 · $0.721
核查关于 2026 年 9 月模型发布的十项说法开放式研究错误答案 · 228.8 秒 · $0.299错误答案 · 507.6 秒 · $0.574
在五个中国模型中选择主用和备用 API开放式研究通过 · 412.3 秒 · $0.471通过 · 769.1 秒 · $0.696
选择在 Azure 德国某区域提供的模型开放式研究错误答案 · 297.1 秒 · $0.280通过 · 787.2 秒 · $0.871
在 OpenRouter 上选择最快的 GLM 5.3 提供商端点开放式研究通过 · 774.9 秒 · $0.717错误答案 · 960.2 秒 · $0.694
计算同一项 API 工作负载在六个模型上的价格开放式研究通过 · 550.4 秒 · $0.711通过 · 1642.9 秒 · $2.177
Wayback Machine 存档中的六家提供商 API 价格开放式研究错误答案 · 1214.3 秒 · $0.552没有答案 · 350.4 秒 · $0.181
追溯 Wikipedia 大语言模型表格背后的来源开放式研究错误答案 · 458.7 秒 · $0.350没有答案 · 383.3 秒 · $0.301
某一版 LiveBench 展示的结果开放式研究错误答案 · 296.8 秒 · $0.267错误答案 · 330.8 秒 · $0.329
根据 FRED 数据制作通胀表,并用 BLS 交叉核对在一至三个网站交叉核对通过 · 274.1 秒 · $0.224通过 · 308.6 秒 · $0.312
将 GPT 课程中的数字与视频、代码和论文核对在一至三个网站交叉核对通过 · 619.4 秒 · $0.387通过 · 237.2 秒 · $0.277
比较 Apple 美国商店中的三种 MacBook 配置在一至三个网站交叉核对通过 · 786.1 秒 · $1.226通过 · 654.4 秒 · $1.110
将 ClinicalTrials.gov 上的 3 期临床试验与 DailyMed 药品说明书交叉核对在一至三个网站交叉核对通过 · 294.2 秒 · $0.401没有答案 · 591.2 秒 · $0.872
根据 MDN 和 Can I use 为六项网页功能制作可用/不可用清单在一至三个网站交叉核对通过 · 269.9 秒 · $0.262通过 · 751.4 秒 · $0.796
计算团队异地活动前往丹佛的机票价格在一至三个网站交叉核对通过 · 526.6 秒 · $0.962没有答案 · 963.3 秒 · $1.037
在票房数据库和 Wikipedia 之间核对六部 Wes Anderson 电影的票房在一至三个网站交叉核对通过 · 221.1 秒 · $0.250通过 · 324.7 秒 · $0.303
Companies House 中四家英国公司的登记信息快照在一至三个网站交叉核对通过 · 320.3 秒 · $0.223错误答案 · 1005.0 秒 · $0.591
八个品牌 2026 年在 X 和新闻中心发布的产品公告X 帖子错误答案 · 667.1 秒 · $0.536没有答案 · 847.0 秒 · $0.417
八家足球俱乐部在 X 和俱乐部官网上的夏季引援信息X 帖子步数上限 · 1815.4 秒 · $1.805没有答案 · 2343.4 秒 · $1.008
八个开源项目在 X 和各自网站上的安全发布信息X 帖子通过 · 625.6 秒 · $0.627没有答案 · 2248.5 秒 · $1.524
八所大学在 X 发布其 2025 年诺贝尔奖新闻的速度X 帖子错误答案 · 1314.1 秒 · $0.487没有答案 · 528.9 秒 · $0.237
将 X 上的 SpaceX 发射相关帖子与 Wikipedia 发射列表匹配X 帖子通过 · 751.6 秒 · $0.220通过 · 638.9 秒 · $0.300

模型价格来自 Moonshot 公布的价目表。其他所有数字都来自我们自己的运行。