66 件のブラウザータスクで Kimi K3.1 Pro と Kimi K3 を比較評価しました

今回の pi と ZenMux の構成では、より多くのタスクを完了できる Kimi K3.1 Pro を Kimi K3 よりも選びます。両モデルが成功した 26 タスクでは、平均時間と推定モデルコストも低くなりました。この Kimi K3.1 Pro と Kimi K3 の比較では 66 タスクを集計対象とし、各モデルが ego-browser で各タスクを一度ずつ実行したため、各モデルの試行数は 66 回です。Kimi K3.1 Pro は 66 回中 38 回(57.6%)、Kimi K3 は 27 回(40.9%)成功しました。両モデルが成功した 26 タスクでは、Kimi K3.1 Pro はタスク当たり 400.6 秒、$0.374、Kimi K3 は 586.1 秒、$0.578 でした。
両モデルで最も差が出たのは、作業を最後まで終えるかどうかです。Kimi K3 は 66 回中 27 回の試行で、ステップ上限に達する前に回答を出さずに終了しました。そのうち 26 回は「SUSE done. Now Amazon Linux.」のような進捗メモで終わっていました。Kimi K3.1 Pro で同じことが起きたのは 0 回でした。両モデルが最終回答を出した 35 タスクでは、Kimi K3.1 Pro は 29 件、Kimi K3 は 27 件成功しました。
Kimi K3.1 Pro の弱点は、新たに最後まで作れるようになった長い表です。8 以上のサイトから同じ項目を集めるタスクでは、26 回中 7 回成功し、Kimi K3 は 2 回でした。Kimi K3.1 Pro の誤答 24 件のうち 17 件はこうしたタスクの表だったため、利用前に表を確認することを勧めます。自由度の高い調査では、両モデルとも 12 件中 6 件成功しました。両モデルが成功した五つのタスクでは、Kimi K3.1 Pro の方が速く、低コストでした。
推定モデルコストが低くなったのは、Kimi K3.1 Pro の定価が低いためです。Moonshot はすべてのトークン種別で、その価格を Kimi K3 の 3 分の 2 に設定しています。全 66 タスクでは、Kimi K3 の試行が終了した後も作業を続けた試行でより多くのトークンを使ったにもかかわらず、タスク当たりのコストは $0.772 で、Kimi K3 は $0.871 でした。
成功率
Kimi K3.1 Pro はより多くのタスクに成功しました。Kimi K3 が失敗した 12 タスクに成功し、Kimi K3 が成功した 1 タスクに失敗しました。新たに成功した 12 件のうち 9 件では Kimi K3 は回答なしで終了し、残る 3 件では誤答していました。新たな成功 12 件のうち五つは、8 以上のサイトから同じ項目を集めるタスクでした。
すべての作業分類で、Kimi K3.1 Pro の成功試行数は Kimi K3 以上でした。同数だったのは自由度の高い調査だけです。
| 作業の種類 | タスク数 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 8 以上のサイトから同じ項目を収集 | 26 | 26.9%(26 回中 7 回) | 7.7%(26 回中 2 回) |
| Web アプリ内の操作 | 15 | 100%(15 回中 15 回) | 86.7%(15 回中 13 回) |
| 探索的な調査 | 12 | 50.0%(12 回中 6 回) | 50.0%(12 回中 6 回) |
| 一つから三つのサイトでの照合 | 8 | 100%(8 回中 8 回) | 62.5%(8 回中 5 回) |
| X の投稿 | 5 | 40.0%(5 回中 2 回) | 20.0%(5 回中 1 回) |
| 全タスク | 66 | 57.6%(66 回中 38 回) | 40.9%(66 回中 27 回) |
成功率は、2026 年 11 月 3 日の実行における成功試行を集計したものです。いずれの作業分類でも、Kimi K3 の成功試行数が Kimi K3.1 Pro を上回ることはありませんでした。
Kimi K3 の実行は、作業途中で終了することがよくありました。今回使った pi エージェントでは、モデルは主に ego-browser のスクリプトなどのツール呼び出しで作業を進め、ツール呼び出しのない応答を返すと実行が終了します。Kimi K3 は「Google done. Now Cloudflare Workers Free.」のように、次の作業を述べながら実行しない応答を返していました。66 回の試行のうち 26 回でこれが起き、そのうち 16 回は、8 以上のサイトから同じ項目を集める 26 タスクに含まれていました。この 26 件の応答はいずれも、長さの上限による打ち切りではなく、モデルの通常の停止シグナルで終わっていました。Kimi K3.1 Pro がこの形で終了した試行は 0 回でした。
サーバーレスのタスクに違いが表れています。このタスクでは、AWS Lambda から Oracle OCI Functions まで九つのサーバーレス基盤について、無料プランの上限を五つずつ調べます。Kimi K3 は AWS、Azure、Google のページを読み、11 回のツール呼び出しの後、「Google done. Now Cloudflare Workers Free.」と述べて終了しました。Kimi K3.1 Pro は続けて Cloudflare の Workers 料金ページを開き、58 回のツール呼び出しで九つの基盤をすべて調べ、成功しました。

新たに成功した残りの 3 件では、Kimi K3 が誤った最終回答を出していました。GDP のタスクでは、九つの統計機関について、第 2 四半期の成長率を最初と最新の推計から調べます。年率換算値は対象ではありません。両モデルとも、最初の推計に当たる 米国経済分析局の速報推計を開きました。Kimi K3 は、ページ本文の先頭 2,500 文字だけを保持するスクリプトを書き、米国の前期比成長率の二つの値をどちらも「not shown」(記載なし)としました。Kimi K3.1 Pro は発表全文を出力し、Technical Notes(技術注記)にある四半期成長率の記載「0.4 percent at a quarterly rate」を読み取りました。2026 年 9 月 30 日に公表された BEA の最新推計でも同じ方法で 0.6 パーセントを見つけ、米国の二つのセルを埋めました。

両モデルは失敗の仕方も異なります。各試行は最大 100 ステップで、各ステップはモデルの一度の応答に当たります。Kimi K3 の失敗試行 39 回のうち、27 回はステップ上限に達する前に回答なしで終了し、4 回はステップ上限に達し、8 回は誤答でした。Kimi K3.1 Pro の失敗試行 28 回のうち、24 回は誤答、4 回はステップ上限への到達でした。その誤答 24 件のうち十八件は、Kimi K3 が最終回答をまったく出さなかったタスクで発生しました。私たちなら Kimi K3.1 Pro に切り替えたうえで、Kimi K3 が最終回答を出さずに終了したタスクで、新モデルが出す回答の確認を続けます。
Kimi K3.1 Pro にも残る誤り
Kimi K3.1 Pro は長い表を最後まで作りますが、必ずしもすべてのセルが正しいわけではないため、表は確認が必要な下書きとして扱うことを勧めます。8 以上のサイトから同じ項目を集めるタスクでは、26 回中 7 回成功しました。誤答 24 件のうち十七件がこうしたタスクで、いずれも表自体は完成していましたが、少なくとも一つの値または要約行に誤りがありました。
例えば中央銀行のタスクでは、要約に誤りがありました。このタスクは、十二の中央銀行の 2026 年最初の金利決定と、最後に発表した銀行を調べるものです。Kimi K3.1 Pro は、スイス国立銀行の 2026 年 3 月 19 日の発表を開き、自分の表にその日付を記載していました。それでも要約では、2 月 6 日に発表したインド準備銀行を最後に発表した銀行としました。
| タスクが求めるもの | 正しい答え | Kimi K3.1 Pro の回答 |
|---|---|---|
| 2026 年最初の決定を最後に発表した銀行 | スイス国立銀行、2026-03-19 | インド準備銀行、2026-02-06 |
Kimi K3 は同じタスクでスイス国立銀行を正しく挙げましたが、ほかの値を誤り、こちらも失敗しました。

Kimi K3.1 Pro の表を使う前に、要約行を表内の各行と照合し、一部のセルを抽出して出典と照合してください。Kimi K3 はこの種類のタスクで 26 件中 2 件成功しました。
速度
同じ作業では、Kimi K3.1 Pro の方が速く、出力量とツール呼び出し数も少なくなりました。両モデルが成功した 26 タスクで、タスク当たりの平均時間は 400.6 秒で、Kimi K3 は 586.1 秒でした。26 件中 21 件ではこちらの方が速く、残る 5 件では Kimi K3 の方が速い結果でした。
| 両モデルが成功した 26 タスク | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| タスク当たりの時間 | 400.6 s | 586.1 s |
| タスク当たりのツール呼び出し | 25.8 | 33.5 |
| タスク当たりの出力トークン数(推論を含む) | 6,997 | 10,727 |
2026 年 11 月 3 日の実行に基づく、タスク当たりの平均値。
人が結果を待っているエージェントであれば、待ち時間の短縮は実用上の利点だと考えます。
費用
Kimi K3.1 Pro はタスク当たりのコストが低く、その節約は定価の低さによるものです。全 66 タスクでは、タスク当たり $0.772 で、Kimi K3 は $0.871 でした。失敗試行の費用も含めると、成功試行当たりのコストは $1.340 で、Kimi K3 は $2.130 でした。両モデルが成功した 26 タスクでは、タスク当たり $0.374 と $0.578 で、うち 24 件でこちらの方が低コストでした。
Moonshot の料金表では、Kimi K3.1 Pro の 100 万トークン当たりの価格を、入力 $2.00、キャッシュ済み入力 $0.20、キャッシュ書き込み $2.00、出力 $10.00 としています。Kimi K3 の掲載価格はそれぞれ $3.00、$0.30、$3.00、$15.00 です。つまり、新モデルの価格はすべてのトークン種別で 3 分の 2 です。
| タスク当たりの費用 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 全 66 タスク | $0.772 | $0.871 |
| 全 66 タスク:Kimi K3.1 Pro のトークン使用量を Kimi K3 の料金で計算 | $1.158 | $0.871 |
| 両モデルが成功した 26 タスク | $0.374 | $0.578 |
| 両モデルが成功した 26 タスク:Kimi K3.1 Pro のトークン使用量を Kimi K3 の料金で計算 | $0.561 | $0.578 |
| 成功試行当たり(全 66 タスクの費用を含む) | $1.340 | $2.130 |
2026 年 11 月 3 日の実行における各試行のトークン使用量を、Moonshot の定価で計算したコスト。
同じ作業のトークンを同じ料金で計算すると、両モデルのコストはほぼ同じです。共通の 26 タスクで Kimi K3.1 Pro が使ったトークンを Kimi K3 の料金で計算すると $0.561 となり、Kimi K3 は $0.578 でした。全 66 タスクでは $1.158 と $0.871 になります。Kimi K3 が停止した実行でも、Kimi K3.1 Pro は作業を続けたためです。より多くの実行を最後まで進めるモデルは、その作業を終えるためにもトークンを使うので、予算はトークン単価よりもタスク当たりのコストで考えることを勧めます。
探索的な調査
自由度の高い調査では、Kimi K3.1 Pro への切り替えにより速度とコストは改善しますが、成功数は増えません。この 12 タスクでは、目標と少数の出発点となる情報源を与え、調査の進め方はエージェントに任せます。両モデルとも 12 件中 6 件成功し、Kimi K3.1 Pro は一つのタスクで新たに成功した一方、Kimi K3 が成功した別の一つでは失敗しました。両モデルが成功した 5 タスクでは、タスク当たり 354.9 秒、$0.399 で、Kimi K3 は 795.0 秒、$0.901 でした。5 件すべてで新モデルの方が速い結果でした。
Kimi K3 が成功し、新モデルが失敗したタスクを見ると、何に注意すべきかが分かります。Azure のタスクでは、七つの候補モデルのうち、六つの要件を満たして Azure の Germany West Central リージョンで実行できるモデルと、ほかの候補が要件を満たさない理由を調べます。両モデルとも GPT-6 Luna を選びました。Kimi K3 はさらに Azure のパートナーモデルのページを開き、Claude Sonnet 5.5 が要件を満たさない理由として、Data Zone Standard のデプロイは米国限定であることを引用しました。

Kimi K3.1 Pro は、Azure が直接販売するモデルの表から Claude を候補外と判断し、そのページを開きませんでした。理由欄には「not shown」(記載なし)と書き、ブラウザーコマンドは 15 回で、Kimi K3 は 22 回でした。どちらのモデルでも、エージェントが候補から外した選択肢について、その理由を確認することを勧めます。
どちらのモデルを使うべきか
今回テストした pi 1.5.0、ZenMux、ego-browser の構成では、Kimi K3.1 Pro を選びます。66 回中 38 回成功し、Kimi K3 は 27 回でした。両モデルが成功した 26 タスクでは、より速く、低コストでした。今回テストしたいずれの作業分類でも、Kimi K3 の成功試行数が上回ることはありませんでした。
今回テストした Web アプリ内の操作と、一つから三つのサイトでの照合には、Kimi K3.1 Pro を選びます。それぞれのタスクで 15 件すべて、8 件すべてに成功しました。Kimi K3 がこれらで失敗した 5 回のうち四回は、回答なしで終了した実行でした。この pi 構成で類似の複数サイトのタスクを行う場合も、Kimi K3.1 Pro を選びます。26 件中 7 件成功し、Kimi K3 は 2 件だったためです。表は利用前に確認してください。両モデルが成功した五つの自由度の高い調査タスクでは、Kimi K3.1 Pro の時間と推定コストが低くなりましたが、分類全体の成功数は同じでした。
今回の構成では、ZenMux 経由で moonshotai/kimi-k3.1-pro として Kimi K3.1 Pro を使い、推論強度を high に設定しました。pi エージェントの bash ツールと ego-browser のスキルファイルを使用しています。ego-browser は ego(lite) とともに提供され、エージェントは ego(lite) をブラウザーとして操作します。
この比較における ego(lite) の役割
ego(lite) は ego-browser が操作するブラウザーを、pi はエージェントの実行ループを、ZenMux は二つのモデルへのアクセスを提供しました。ego-browser 連携ガイドでは、そのブラウザーをエージェントに接続する方法を説明しています。
pi の停止ルールも、このモデル選択の判断材料です。ツール呼び出しのない応答を返すと、その試行は終了します。完了状況の比較を類似の作業に当てはめる際は、このルールを考慮してください。時間とモデルコストの平均は、両モデルが成功した二十六のタスクを対象としています。すべてのタスクや、別のエージェントの停止動作を対象にしたものではありません。
よくある質問
ブラウザーエージェントには Kimi K3 より Kimi K3.1 Pro が優れていますか?
今回の ego-browser を使った 66 タスクのテストでは、そう言えます。Kimi K3.1 Pro は 66 回中 38 回(57.6%)、Kimi K3 は 27 回(40.9%)成功しました。Kimi K3 が失敗した 12 タスクに成功し、Kimi K3 が成功した 1 タスクに失敗しました。
Kimi K3.1 Pro は Kimi K3 より低コストですか?
タスク当たりでは低コストです。今回の 66 件のブラウザータスクでは、Kimi K3.1 Pro はタスク当たり $0.772、Kimi K3 は $0.871 でした。成功試行当たりでは差がさらに広がり、$1.340 と $2.130 でした。
Kimi K3.1 Pro は Kimi K3 より速いですか?
両モデルが最後まで行った作業では、そう言えます。両モデルが成功した 26 件のブラウザータスクでは、Kimi K3.1 Pro はタスク当たり 400.6 秒、Kimi K3 は 586.1 秒でした。タスク当たりのツール呼び出しは 25.8 回と 33.5 回、出力トークン数は 6,997 と 10,727 でした。
Kimi K3.1 Pro の 100 万トークン当たりの料金はいくらですか?
Moonshot の料金表では、Kimi K3.1 Pro の 100 万トークン当たりの価格は、入力 $2.00、キャッシュ済み入力 $0.20、キャッシュ書き込み $2.00、出力 $10.00 です。Kimi K3 はそれぞれ $3.00、$0.30、$3.00、$15.00 と掲載されており、新モデルの価格はすべてのトークン種別で 3 分の 2 です。
Kimi K3 はなぜブラウザータスクの途中で停止するのですか?
Kimi K3 は 66 回の試行のうち 26 回で、次の作業を述べながらツールを呼び出さない応答で終了しました。pi エージェントでは、これにより実行が終了します。最後のメッセージは「SUSE done. Now Amazon Linux.」のようなメモでした。この 26 回のうち十六回は、8 以上のサイトから同じ項目を集めるタスクでした。Kimi K3.1 Pro でこれが起きたのは 0 回でした。
Kimi K3.1 Pro で最も改善したブラウザータスクは何ですか?
Kimi K3.1 Pro で新たに成功したタスク数が最も多かったのは、8 以上のサイトから同じ項目を集めるタスクの 5 件で、この分類では Kimi K3 が成功したタスクを落としませんでした。ほかに、一つから三つのサイトでの照合が 3 件、Web アプリ内の操作が 2 件、自由度の高い調査が 1 件、X 投稿のタスクが 1 件、新たに成功しました。
Kimi K3.1 Pro の方が悪くなったブラウザータスクはありますか?
66 タスク中 1 件です。Kimi K3 が成功した Azure のモデル選定タスクで失敗しました。除外理由が記載されたページを開かずに、一つの候補を外したためです。一方、Kimi K3 が失敗した 12 タスクに成功しました。
Kimi K3.1 Pro はブラウザーでどのような誤りを起こしますか?
主に長い表の値を誤ります。誤答 24 件のうち 17 件は、8 以上のサイトから同じ項目を集めるタスクでした。あるタスクでは、自分の表に正しい日付を記載していたにもかかわらず、要約で別の銀行を挙げました。また、Kimi K3 と同じく、4 回の試行で 100 ステップの上限に達しました。
Kimi K3.1 Pro は Web アプリの自動操作をどの程度こなせますか?
Web アプリ内の操作では、Kimi K3.1 Pro は 15 タスクすべてに成功し、Kimi K3 は 13 件でした。これらは業務運用、旅費精算、クラウドコンソールのテストアプリで実行され、試行ごとに新しいデータを用意します。両モデルが成功した 13 件では、タスク当たり 327.0 秒、$0.240 で、Kimi K3 は 454.7 秒、$0.383 でした。
ブラウザーエージェントを Kimi K3 から Kimi K3.1 Pro に切り替えるべきですか?
今回テストした pi と ZenMux の構成では、切り替えを勧めます。Kimi K3.1 Pro は 66 回中 38 回成功し、Kimi K3 は 27 回でした。両モデルが成功した 26 タスクでは、平均時間と推定コストも低くなりました。8 以上のサイトから集めた表には確認工程を残してください。誤答 24 件のうち 17 件がこうしたタスクで発生したためです。
検証方法
2026 年 11 月 3 日に、macOS 26.5 を搭載した一台の Apple silicon Mac で両モデルを実行しました。どちらも同じエージェント pi 1.5.0 を使い、ブラウザーツールは ego-browser、スキルファイルも同じものを使用しました。ego(lite) と ego-browser のバージョンも同じです。モデルは Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)と Kimi K3(moonshotai/kimi-k3)で、どちらも推論強度を high に設定し、同じ API プロバイダーの ZenMux 経由で利用しました。
モデルは短い JavaScript プログラムを書いて ego-browser を操作し、ページの読み込み、クリック、フォーム入力、ページ本文やアクセシビリティスナップショットの出力を行います。各試行の上限は 100 ステップ、最長 60 分でした。ステップとはモデルの一度のターン、つまりモデルへのリクエストとその応答です。タスクでは、FINAL ANSWER で始まるメッセージで終了するようモデルに指示しています。
集計対象は 66 タスクで、それぞれが一つの作業分類だけに属します。「8 以上のサイトから同じ項目を収集」(26 タスク)は、九つの統計機関の GDP 発表など、8 以上のサイトから同じ項目一式を集めるものです。「Web アプリ内の操作」(15 件)は、輸送業者のアラートルール修正など、業務運用、旅費精算、クラウドコンソールのテストアプリで実行します。「自由度の高い調査」(12 件)は、一つの Azure リージョンで提供されるモデルの選定など、目標と少数の情報源を与えます。「一つから三つのサイトでの照合」(8 件)は、臨床試験の記録と医薬品の添付文書の照合など、少数のサイト間で値を比較します。「X 投稿」(5 件)は、SpaceX の打ち上げ投稿と Wikipedia の打ち上げ一覧の照合など、X の投稿をほかの記録と照合し、X 投稿の分類だけに数えます。
各タスクには評価項目のリストがあり、66 タスクで合計 443 項目です。タスクごとに一つの項目で、要求した値が最終回答にすべて含まれるかを確認します。残る 377 項目は個々の要求値を確認するもので、309 項目は公式サイトを基に事前に確定し、49 項目はテストアプリが試行ごとに生成するデータから確認し、19 項目は実際のページと照合します。最終回答がすべての項目を満たした場合に限り試行は成功となり、両モデルを同じ項目で評価しました。
タスクとは集計対象の 66 タスクのいずれかで、試行とは一つのモデルが一つのタスクを一度実行することです。したがって各モデルの試行数は 66 回です。成功率は 66 回に対する成功試行の割合です。全結果の表には、ほかに六つのタスクを「集計対象外」として載せています。これらは、いずれかのモデルの元の試行が特定タスクの再実行で置き換えられたか、有効な初回試行の保存記録がないものです。両モデルで同じ六つのタスクを除外しました。ツール呼び出しとはモデルが実行した一つのコマンドで、主に ego-browser のスクリプトですが、保存したページ本文の検索などのシェルやファイルのコマンドも含みます。ブラウザーコマンドは一つの ego-browser スクリプトを指し、スクリーンショットのキャプションではブラウザーコマンドを数えています。
タスク当たりの時間は、試行の開始から終了までの経過時間です。推論を含むモデル API の待ち時間と、モデルのツール呼び出しの実行時間を含みます。失敗したタスクに費やした時間は比較できないため、速度は両モデルが成功した 26 タスクで比較します。コストの推計は、各試行に記録された入力、キャッシュ済み入力、キャッシュ書き込み、出力のトークン数に、記載した Moonshot の料金を適用したものです。ZenMux のサブスクリプションや請求書の総額ではありません。成功試行当たりのコストは、全 66 回の試行費用を成功試行数で割った値です。
最終回答がないまま全 100 ステップを使った試行を、ステップ上限への到達とします。進捗メモで終了した試行は、ステップ上限に達する前に、モデルの最後の応答にテキストはあるものの、ツール呼び出しも FINAL ANSWER もないものです。誤答とは、最終回答が不合格だったものを指します。
全タスクの結果
各セルは、そのタスクに対する各モデルの結果、試行時間(秒)、コストを示します。結果は「成功」「誤答」「回答なし」(ステップ上限前に最終回答なしで終了)または「ステップ上限に到達」です。時間にはモデル API の待ち時間を含みます。「集計対象外」の六つのタスクは、特定タスクの置き換え実行の後に比較可能な初回試行の記録がないため、両モデルで六つとも除外しています。
| タスク | 作業の種類 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 十一の気象機関に基づく 2025 年の気候評価表 | 8 以上のサイトから同じ項目を収集 | 誤答 · 633.7 s · $1.235 | ステップ上限に到達 · 2010.1 s · $3.368 |
| 八つのハブ空港の 2025 年の交通量 | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 九つのサッカーリーグの 2025-26 シーズンの数値 | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 九つの映画祭の 2026 年の最高賞 | 8 以上のサイトから同じ項目を収集 | 誤答 · 1399.6 s · $2.591 | 回答なし · 1306.1 s · $1.418 |
| Hugging Faceにあるオープンウェイトモデル9種の承認用一覧表 | 8 以上のサイトから同じ項目を収集 | 誤答 · 598.6 s · $0.716 | 回答なし · 1217.4 s · $1.284 |
| 9つのSaaSトラストセンターに基づくコンプライアンス一覧表 | 8 以上のサイトから同じ項目を収集 | 誤答 · 590.3 s · $0.637 | 回答なし · 1138.5 s · $0.844 |
| 一台の SUV に対する九つの制度の衝突安全評価 | 8 以上のサイトから同じ項目を収集 | 誤答 · 1242.3 s · $1.312 | ステップ上限に到達 · 1576.6 s · $1.765 |
| 九つの技術規格の現行版 | 8 以上のサイトから同じ項目を収集 | 誤答 · 592.9 s · $0.658 | 回答なし · 320.4 s · $0.250 |
| 12の中央銀行による2026年最初の政策金利決定 | 8 以上のサイトから同じ項目を収集 | 誤答 · 617.0 s · $1.023 | 誤答 · 1256.3 s · $1.986 |
| 九つの機関における 2026 年第 2 四半期 GDP の初回・最新公表値 | 8 以上のサイトから同じ項目を収集 | 成功 · 1001.2 s · $1.181 | 誤答 · 1294.2 s · $1.363 |
| 九つのサービスの非公開リポジトリ向け無料 CI プラン | 8 以上のサイトから同じ項目を収集 | 誤答 · 1033.5 s · $1.187 | 回答なし · 963.4 s · $1.068 |
| 9つのサーバーレスプラットフォームの無料プラン | 8 以上のサイトから同じ項目を収集 | 成功 · 924.5 s · $1.283 | 回答なし · 248.4 s · $0.173 |
| 9つの音楽サービスにおける同一アルバムの掲載内容 | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 九つの選挙管理機関の最新選挙結果 | 8 以上のサイトから同じ項目を収集 | ステップ上限に到達 · 1256.5 s · $2.222 | ステップ上限に到達 · 1789.7 s · $2.389 |
| 九つの言語ランタイムの最新リリース系列 | 8 以上のサイトから同じ項目を収集 | 誤答 · 810.3 s · $1.106 | 誤答 · 1024.2 s · $1.171 |
| 九つの JavaScript フレームワークの最新安定版 | 8 以上のサイトから同じ項目を収集 | 成功 · 515.4 s · $0.523 | 成功 · 957.6 s · $0.722 |
| 九つのデスクトップブラウザーの最新安定版 | 8 以上のサイトから同じ項目を収集 | 成功 · 471.8 s · $0.913 | 回答なし · 903.0 s · $0.765 |
| 九つの機関による 2025 年カムチャツカ地震の観測値 | 8 以上のサイトから同じ項目を収集 | 誤答 · 789.4 s · $1.128 | 回答なし · 971.8 s · $1.335 |
| フラッグシップスマートフォン9機種の英国向け公式仕様 | 8 以上のサイトから同じ項目を収集 | 成功 · 564.8 s · $0.865 | 回答なし · 1331.7 s · $1.161 |
| 八つのカメラの公式仕様 | 8 以上のサイトから同じ項目を収集 | 成功 · 953.2 s · $1.521 | 成功 · 1479.8 s · $1.730 |
| 十の出版社・図書館サイトにおける、ある一冊の本の版の詳細 | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 八つの審査機関による、ある一つのゲームの年齢区分 | 8 以上のサイトから同じ項目を収集 | 誤答 · 1385.2 s · $1.905 | 回答なし · 1355.8 s · $1.592 |
| ベンダーの九つの勧告における、一つの sudo CVE の修正状況 | 8 以上のサイトから同じ項目を収集 | 誤答 · 539.4 s · $0.521 | 回答なし · 158.9 s · $0.133 |
| 九つの国別チャートにおける、ある一週間の首位シングル | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 9つの開発者会議の開幕基調講演 | 8 以上のサイトから同じ項目を収集 | 誤答 · 1198.7 s · $1.457 | 回答なし · 1450.3 s · $1.485 |
| 九つのパッケージレジストリにおける Protocol Buffers のリリース | 8 以上のサイトから同じ項目を収集 | 誤答 · 472.9 s · $0.732 | 回答なし · 582.4 s · $0.296 |
| 2025 年に実施された八つの開発者調査の結果 | 8 以上のサイトから同じ項目を収集 | 誤答 · 599.1 s · $1.255 | 誤答 · 1587.4 s · $1.785 |
| 九つの地域の法定最低賃金 | 8 以上のサイトから同じ項目を収集 | 集計対象外 | 集計対象外 |
| 九つのサーバー製品のサポート終了日 | 8 以上のサイトから同じ項目を収集 | 成功 · 690.2 s · $0.781 | 回答なし · 370.0 s · $0.292 |
| 博物館・美術館十館における、北斎の「神奈川沖浪裏」の記録 | 8 以上のサイトから同じ項目を収集 | 誤答 · 824.7 s · $1.025 | 回答なし · 1644.2 s · $1.124 |
| 八つの規制当局によるチルゼパチドの体重管理用途の承認 | 8 以上のサイトから同じ項目を収集 | ステップ上限に到達 · 1475.9 s · $2.742 | 回答なし · 1171.2 s · $1.414 |
| 九つの電動 SUV の米国向け航続距離と充電の数値 | 8 以上のサイトから同じ項目を収集 | 誤答 · 1027.4 s · $1.707 | ステップ上限に到達 · 1711.3 s · $1.685 |
| ロックボックス入金を未決済の請求書に充当 | Web アプリ内の操作 | 成功 · 286.4 s · $0.208 | 成功 · 404.7 s · $0.402 |
| 変更凍結期間中に行われた変更を監査し、元に戻す | Web アプリ内の操作 | 成功 · 160.4 s · $0.140 | 成功 · 545.1 s · $0.394 |
| 旅行アプリで同僚の旅行を予約 | Web アプリ内の操作 | 成功 · 438.2 s · $0.409 | 成功 · 433.4 s · $0.474 |
| Tier 1 の監視設定を書面の基準に合わせる | Web アプリ内の操作 | 成功 · 248.5 s · $0.253 | 回答なし · 105.0 s · $0.094 |
| 顧客訪問の一週間分の走行距離に基づく経費を申請 | Web アプリ内の操作 | 成功 · 458.1 s · $0.333 | 成功 · 521.6 s · $0.418 |
| 業務運用アプリで 2 月の売掛金処理を完了し、異議申し立てを行う | Web アプリ内の操作 | 成功 · 469.9 s · $0.403 | 成功 · 774.2 s · $0.698 |
| 二都市分の日当を申請 | Web アプリ内の操作 | 成功 · 256.7 s · $0.127 | 成功 · 282.5 s · $0.225 |
| クラウドコンソールにインシデント事後分析の時系列を登録 | Web アプリ内の操作 | 成功 · 216.3 s · $0.195 | 成功 · 264.8 s · $0.306 |
| 2 顧客分の配送に関する損害賠償請求を提出 | Web アプリ内の操作 | 成功 · 445.9 s · $0.319 | 成功 · 1058.7 s · $0.726 |
| 翌週のオンコール当番表を修正 | Web アプリ内の操作 | 成功 · 169.0 s · $0.125 | 成功 · 193.3 s · $0.147 |
| カード取引を経費精算書の下書きと照合 | Web アプリ内の操作 | 成功 · 457.1 s · $0.383 | 成功 · 535.9 s · $0.394 |
| 倉庫の補充発注を行う | Web アプリ内の操作 | 成功 · 337.3 s · $0.182 | 成功 · 205.3 s · $0.240 |
| 従業員の経費精算書を確認 | Web アプリ内の操作 | 成功 · 387.7 s · $0.189 | 成功 · 450.6 s · $0.364 |
| エラーバジェットの消費状況に基づいてデプロイ凍結を設定 | Web アプリ内の操作 | 成功 · 167.8 s · $0.106 | 成功 · 240.6 s · $0.193 |
| 輸送業者の定時実績を確定し、アラートルールを修正 | Web アプリ内の操作 | 成功 · 382.5 s · $0.261 | 回答なし · 934.2 s · $0.971 |
| ARC Prize のランキングにおける低コストの推論設定 | 探索的な調査 | 成功 · 372.4 s · $0.296 | 成功 · 716.2 s · $0.723 |
| Epoch AI のデータで EU の計算量基準を超えるモデルを数える | 探索的な調査 | 成功 · 165.8 s · $0.143 | 成功 · 252.0 s · $0.186 |
| 八つのフロンティアモデルに関する EU AI Act の開示情報 | 探索的な調査 | ステップ上限に到達 · 1388.1 s · $3.008 | 回答なし · 1748.6 s · $2.621 |
| 六つの API 変更履歴に基づく、2026 年 9 月に発表されたすべてのモデル | 探索的な調査 | 成功 · 273.4 s · $0.374 | 成功 · 595.0 s · $0.721 |
| 2026 年 9 月のモデル発表に関する十の主張をファクトチェック | 探索的な調査 | 誤答 · 228.8 s · $0.299 | 誤答 · 507.6 s · $0.574 |
| 五つの中国モデルから主系と予備の API を選ぶ | 探索的な調査 | 成功 · 412.3 s · $0.471 | 成功 · 769.1 s · $0.696 |
| Azure のドイツ国内の一つのリージョンで提供されるモデルを選ぶ | 探索的な調査 | 誤答 · 297.1 s · $0.280 | 成功 · 787.2 s · $0.871 |
| OpenRouter で最も速い GLM 5.3 のプロバイダーエンドポイントを選ぶ | 探索的な調査 | 成功 · 774.9 s · $0.717 | 誤答 · 960.2 s · $0.694 |
| 一つの API ワークロードの費用を六つのモデルで比較計算 | 探索的な調査 | 成功 · 550.4 s · $0.711 | 成功 · 1642.9 s · $2.177 |
| Wayback Machine に保存された六つのプロバイダーの API 料金 | 探索的な調査 | 誤答 · 1214.3 s · $0.552 | 回答なし · 350.4 s · $0.181 |
| Wikipedia の LLM 表の出典をたどる | 探索的な調査 | 誤答 · 458.7 s · $0.350 | 回答なし · 383.3 s · $0.301 |
| ある一回の LiveBench リリースが示したもの | 探索的な調査 | 誤答 · 296.8 s · $0.267 | 誤答 · 330.8 s · $0.329 |
| FRED からインフレ率の表を作成し、BLS と照合 | 一つから三つのサイトでの照合 | 成功 · 274.1 s · $0.224 | 成功 · 308.6 s · $0.312 |
| GPT の講義の数値を動画・コード・論文と照合 | 一つから三つのサイトでの照合 | 成功 · 619.4 s · $0.387 | 成功 · 237.2 s · $0.277 |
| Apple の米国ストアで三つの MacBook 構成を比較 | 一つから三つのサイトでの照合 | 成功 · 786.1 s · $1.226 | 成功 · 654.4 s · $1.110 |
| ClinicalTrials.gov の第 3 相試験を DailyMed の医薬品添付文書と照合 | 一つから三つのサイトでの照合 | 成功 · 294.2 s · $0.401 | 回答なし · 591.2 s · $0.872 |
| MDN と Can I use に基づく六つの Web 機能の採用可否一覧 | 一つから三つのサイトでの照合 | 成功 · 269.9 s · $0.262 | 成功 · 751.4 s · $0.796 |
| チームのオフサイトイベントに向けた Denver 行き航空便の料金を調べる | 一つから三つのサイトでの照合 | 成功 · 526.6 s · $0.962 | 回答なし · 963.3 s · $1.037 |
| 六つの Wes Anderson 作品の興行収入を興行収入データベースと Wikipedia で照合 | 一つから三つのサイトでの照合 | 成功 · 221.1 s · $0.250 | 成功 · 324.7 s · $0.303 |
| Companies House における英国企業四社の登記情報のスナップショット | 一つから三つのサイトでの照合 | 成功 · 320.3 s · $0.223 | 誤答 · 1005.0 s · $0.591 |
| X とニュースルームにおける、八つのブランドによる 2026 年の製品発表 | X の投稿 | 誤答 · 667.1 s · $0.536 | 回答なし · 847.0 s · $0.417 |
| X とクラブ公式サイトにおける、八つのサッカークラブの夏の選手獲得 | X の投稿 | ステップ上限に到達 · 1815.4 s · $1.805 | 回答なし · 2343.4 s · $1.008 |
| オープンソース8プロジェクトの、Xと各サイトにおけるセキュリティリリース | X の投稿 | 成功 · 625.6 s · $0.627 | 回答なし · 2248.5 s · $1.524 |
| 八つの大学が 2025 年の Nobel 関連ニュースを X に投稿するまでの速さ | X の投稿 | 誤答 · 1314.1 s · $0.487 | 回答なし · 528.9 s · $0.237 |
| SpaceX の X 上の打ち上げ投稿を Wikipedia の打ち上げ一覧と照合 | X の投稿 | 成功 · 751.6 s · $0.220 | 成功 · 638.9 s · $0.300 |
モデルの料金は Moonshot が公表している定価です。それ以外の数値はすべて、私たち自身の実行結果に基づきます。
