66 件のブラウザータスクで Kimi K3.1 Pro と Kimi K3 を比較評価しました

15分で読めます
青空に浮かぶ、Kimi K3.1 Pro を表すオレンジ色の風船と Kimi K3 を表す黄色い風船を描いた切り絵風イラスト

今回の pi と ZenMux の構成では、より多くのタスクを完了できる Kimi K3.1 Pro を Kimi K3 よりも選びます。両モデルが成功した 26 タスクでは、平均時間と推定モデルコストも低くなりました。この Kimi K3.1 Pro と Kimi K3 の比較では 66 タスクを集計対象とし、各モデルが ego-browser で各タスクを一度ずつ実行したため、各モデルの試行数は 66 回です。Kimi K3.1 Pro は 66 回中 38 回(57.6%)、Kimi K3 は 27 回(40.9%)成功しました。両モデルが成功した 26 タスクでは、Kimi K3.1 Pro はタスク当たり 400.6 秒、$0.374、Kimi K3 は 586.1 秒、$0.578 でした。

両モデルで最も差が出たのは、作業を最後まで終えるかどうかです。Kimi K3 は 66 回中 27 回の試行で、ステップ上限に達する前に回答を出さずに終了しました。そのうち 26 回は「SUSE done. Now Amazon Linux.」のような進捗メモで終わっていました。Kimi K3.1 Pro で同じことが起きたのは 0 回でした。両モデルが最終回答を出した 35 タスクでは、Kimi K3.1 Pro は 29 件、Kimi K3 は 27 件成功しました。

Kimi K3.1 Pro の弱点は、新たに最後まで作れるようになった長い表です。8 以上のサイトから同じ項目を集めるタスクでは、26 回中 7 回成功し、Kimi K3 は 2 回でした。Kimi K3.1 Pro の誤答 24 件のうち 17 件はこうしたタスクの表だったため、利用前に表を確認することを勧めます。自由度の高い調査では、両モデルとも 12 件中 6 件成功しました。両モデルが成功した五つのタスクでは、Kimi K3.1 Pro の方が速く、低コストでした。

推定モデルコストが低くなったのは、Kimi K3.1 Pro の定価が低いためです。Moonshot はすべてのトークン種別で、その価格を Kimi K3 の 3 分の 2 に設定しています。全 66 タスクでは、Kimi K3 の試行が終了した後も作業を続けた試行でより多くのトークンを使ったにもかかわらず、タスク当たりのコストは $0.772 で、Kimi K3 は $0.871 でした。

成功率

Kimi K3.1 Pro はより多くのタスクに成功しました。Kimi K3 が失敗した 12 タスクに成功し、Kimi K3 が成功した 1 タスクに失敗しました。新たに成功した 12 件のうち 9 件では Kimi K3 は回答なしで終了し、残る 3 件では誤答していました。新たな成功 12 件のうち五つは、8 以上のサイトから同じ項目を集めるタスクでした。

すべての作業分類で、Kimi K3.1 Pro の成功試行数は Kimi K3 以上でした。同数だったのは自由度の高い調査だけです。

作業の種類タスク数Kimi K3.1 ProKimi K3
8 以上のサイトから同じ項目を収集2626.9%(26 回中 7 回)7.7%(26 回中 2 回)
Web アプリ内の操作15100%(15 回中 15 回)86.7%(15 回中 13 回)
探索的な調査1250.0%(12 回中 6 回)50.0%(12 回中 6 回)
一つから三つのサイトでの照合8100%(8 回中 8 回)62.5%(8 回中 5 回)
X の投稿540.0%(5 回中 2 回)20.0%(5 回中 1 回)
全タスク6657.6%(66 回中 38 回)40.9%(66 回中 27 回)

成功率は、2026 年 11 月 3 日の実行における成功試行を集計したものです。いずれの作業分類でも、Kimi K3 の成功試行数が Kimi K3.1 Pro を上回ることはありませんでした。

Kimi K3 の実行は、作業途中で終了することがよくありました。今回使った pi エージェントでは、モデルは主に ego-browser のスクリプトなどのツール呼び出しで作業を進め、ツール呼び出しのない応答を返すと実行が終了します。Kimi K3 は「Google done. Now Cloudflare Workers Free.」のように、次の作業を述べながら実行しない応答を返していました。66 回の試行のうち 26 回でこれが起き、そのうち 16 回は、8 以上のサイトから同じ項目を集める 26 タスクに含まれていました。この 26 件の応答はいずれも、長さの上限による打ち切りではなく、モデルの通常の停止シグナルで終わっていました。Kimi K3.1 Pro がこの形で終了した試行は 0 回でした。

サーバーレスのタスクに違いが表れています。このタスクでは、AWS Lambda から Oracle OCI Functions まで九つのサーバーレス基盤について、無料プランの上限を五つずつ調べます。Kimi K3 は AWS、Azure、Google のページを読み、11 回のツール呼び出しの後、「Google done. Now Cloudflare Workers Free.」と述べて終了しました。Kimi K3.1 Pro は続けて Cloudflare の Workers 料金ページを開き、58 回のツール呼び出しで九つの基盤をすべて調べ、成功しました。

記録済みブラウザーコマンドの再現:サーバーレスのタスクで、Kimi K3.1 Pro が ego-browser を操作して Cloudflare の Workers 料金ページを開いている場面
記録済みコマンドの再現。ego-browser を使った Kimi K3.1 Pro のサーバーレス無料プランのタスク。九つの基盤のうち四つ目で、Kimi K3 が停止した箇所に当たる Cloudflare の Workers 料金ページを開きます。全 55 回中 10 回目のブラウザーコマンド。元の実行:2026 年 11 月 3 日。再現画面は 2026 年 11 月 10 日に ego(lite) で取得。 原寸大の画像を表示

新たに成功した残りの 3 件では、Kimi K3 が誤った最終回答を出していました。GDP のタスクでは、九つの統計機関について、第 2 四半期の成長率を最初と最新の推計から調べます。年率換算値は対象ではありません。両モデルとも、最初の推計に当たる 米国経済分析局の速報推計を開きました。Kimi K3 は、ページ本文の先頭 2,500 文字だけを保持するスクリプトを書き、米国の前期比成長率の二つの値をどちらも「not shown」(記載なし)としました。Kimi K3.1 Pro は発表全文を出力し、Technical Notes(技術注記)にある四半期成長率の記載「0.4 percent at a quarterly rate」を読み取りました。2026 年 9 月 30 日に公表された BEA の最新推計でも同じ方法で 0.6 パーセントを見つけ、米国の二つのセルを埋めました。

記録済みブラウザーコマンドの再現:GDP のタスクで、Kimi K3.1 Pro が ego-browser を操作して BEA の速報推計の発表を開いている場面
記録済みコマンドの再現。ego-browser を使った Kimi K3.1 Pro の 2026 年第 2 四半期 GDP タスク。BEA の速報推計を読み込み、前期比 0.4 パーセントを記載した Technical Notes(技術注記)を含む発表全文を出力します。全 61 回中 2 回目のブラウザーコマンド。元の実行:2026 年 11 月 3 日。再現画面は 2026 年 11 月 10 日に ego(lite) で取得。 原寸大の画像を表示

両モデルは失敗の仕方も異なります。各試行は最大 100 ステップで、各ステップはモデルの一度の応答に当たります。Kimi K3 の失敗試行 39 回のうち、27 回はステップ上限に達する前に回答なしで終了し、4 回はステップ上限に達し、8 回は誤答でした。Kimi K3.1 Pro の失敗試行 28 回のうち、24 回は誤答、4 回はステップ上限への到達でした。その誤答 24 件のうち十八件は、Kimi K3 が最終回答をまったく出さなかったタスクで発生しました。私たちなら Kimi K3.1 Pro に切り替えたうえで、Kimi K3 が最終回答を出さずに終了したタスクで、新モデルが出す回答の確認を続けます。

Kimi K3.1 Pro にも残る誤り

Kimi K3.1 Pro は長い表を最後まで作りますが、必ずしもすべてのセルが正しいわけではないため、表は確認が必要な下書きとして扱うことを勧めます。8 以上のサイトから同じ項目を集めるタスクでは、26 回中 7 回成功しました。誤答 24 件のうち十七件がこうしたタスクで、いずれも表自体は完成していましたが、少なくとも一つの値または要約行に誤りがありました。

例えば中央銀行のタスクでは、要約に誤りがありました。このタスクは、十二の中央銀行の 2026 年最初の金利決定と、最後に発表した銀行を調べるものです。Kimi K3.1 Pro は、スイス国立銀行の 2026 年 3 月 19 日の発表を開き、自分の表にその日付を記載していました。それでも要約では、2 月 6 日に発表したインド準備銀行を最後に発表した銀行としました。

タスクが求めるもの正しい答えKimi K3.1 Pro の回答
2026 年最初の決定を最後に発表した銀行スイス国立銀行、2026-03-19インド準備銀行、2026-02-06

Kimi K3 は同じタスクでスイス国立銀行を正しく挙げましたが、ほかの値を誤り、こちらも失敗しました。

記録済みブラウザーコマンドの再現:中央銀行のタスクで、Kimi K3.1 Pro が ego-browser を操作してスイス国立銀行の 2026 年 3 月 19 日の発表を開いている場面
記録済みコマンドの再現。ego-browser を使った Kimi K3.1 Pro の中央銀行タスク。スイス国立銀行の 2026 年 3 月 19 日の金融政策評価を開きます。その日付を、その後の要約では取り違えていました。全 52 回中 18 回目のブラウザーコマンド。元の実行:2026 年 11 月 3 日。再現画面は 2026 年 11 月 10 日に ego(lite) で取得。 原寸大の画像を表示

Kimi K3.1 Pro の表を使う前に、要約行を表内の各行と照合し、一部のセルを抽出して出典と照合してください。Kimi K3 はこの種類のタスクで 26 件中 2 件成功しました。

速度

同じ作業では、Kimi K3.1 Pro の方が速く、出力量とツール呼び出し数も少なくなりました。両モデルが成功した 26 タスクで、タスク当たりの平均時間は 400.6 秒で、Kimi K3 は 586.1 秒でした。26 件中 21 件ではこちらの方が速く、残る 5 件では Kimi K3 の方が速い結果でした。

両モデルが成功した 26 タスクKimi K3.1 ProKimi K3
タスク当たりの時間400.6 s586.1 s
タスク当たりのツール呼び出し25.833.5
タスク当たりの出力トークン数(推論を含む)6,99710,727

2026 年 11 月 3 日の実行に基づく、タスク当たりの平均値。

人が結果を待っているエージェントであれば、待ち時間の短縮は実用上の利点だと考えます。

費用

Kimi K3.1 Pro はタスク当たりのコストが低く、その節約は定価の低さによるものです。全 66 タスクでは、タスク当たり $0.772 で、Kimi K3 は $0.871 でした。失敗試行の費用も含めると、成功試行当たりのコストは $1.340 で、Kimi K3 は $2.130 でした。両モデルが成功した 26 タスクでは、タスク当たり $0.374 と $0.578 で、うち 24 件でこちらの方が低コストでした。

Moonshot の料金表では、Kimi K3.1 Pro の 100 万トークン当たりの価格を、入力 $2.00、キャッシュ済み入力 $0.20、キャッシュ書き込み $2.00、出力 $10.00 としています。Kimi K3 の掲載価格はそれぞれ $3.00、$0.30、$3.00、$15.00 です。つまり、新モデルの価格はすべてのトークン種別で 3 分の 2 です。

タスク当たりの費用Kimi K3.1 ProKimi K3
全 66 タスク$0.772$0.871
全 66 タスク:Kimi K3.1 Pro のトークン使用量を Kimi K3 の料金で計算$1.158$0.871
両モデルが成功した 26 タスク$0.374$0.578
両モデルが成功した 26 タスク:Kimi K3.1 Pro のトークン使用量を Kimi K3 の料金で計算$0.561$0.578
成功試行当たり(全 66 タスクの費用を含む)$1.340$2.130

2026 年 11 月 3 日の実行における各試行のトークン使用量を、Moonshot の定価で計算したコスト。

同じ作業のトークンを同じ料金で計算すると、両モデルのコストはほぼ同じです。共通の 26 タスクで Kimi K3.1 Pro が使ったトークンを Kimi K3 の料金で計算すると $0.561 となり、Kimi K3 は $0.578 でした。全 66 タスクでは $1.158 と $0.871 になります。Kimi K3 が停止した実行でも、Kimi K3.1 Pro は作業を続けたためです。より多くの実行を最後まで進めるモデルは、その作業を終えるためにもトークンを使うので、予算はトークン単価よりもタスク当たりのコストで考えることを勧めます。

探索的な調査

自由度の高い調査では、Kimi K3.1 Pro への切り替えにより速度とコストは改善しますが、成功数は増えません。この 12 タスクでは、目標と少数の出発点となる情報源を与え、調査の進め方はエージェントに任せます。両モデルとも 12 件中 6 件成功し、Kimi K3.1 Pro は一つのタスクで新たに成功した一方、Kimi K3 が成功した別の一つでは失敗しました。両モデルが成功した 5 タスクでは、タスク当たり 354.9 秒、$0.399 で、Kimi K3 は 795.0 秒、$0.901 でした。5 件すべてで新モデルの方が速い結果でした。

Kimi K3 が成功し、新モデルが失敗したタスクを見ると、何に注意すべきかが分かります。Azure のタスクでは、七つの候補モデルのうち、六つの要件を満たして Azure の Germany West Central リージョンで実行できるモデルと、ほかの候補が要件を満たさない理由を調べます。両モデルとも GPT-6 Luna を選びました。Kimi K3 はさらに Azure のパートナーモデルのページを開き、Claude Sonnet 5.5 が要件を満たさない理由として、Data Zone Standard のデプロイは米国限定であることを引用しました。

記録済みブラウザーコマンドの再現:Microsoft Learn で Data Zone Standard の米国リージョンの表を展開した場面
Kimi K3 の Azure モデル選定タスクにおける、全 22 回中 20 回目のブラウザーコマンドの再現。現在の Data Zone Standard の米国リージョンの表を、読むために展開しています。元の利用可否の判断は 11 月 3 日の実行記録に基づきます。元の実行:2026 年 11 月 3 日。再現画面は 2026 年 11 月 10 日に取得。 原寸大の画像を表示

Kimi K3.1 Pro は、Azure が直接販売するモデルの表から Claude を候補外と判断し、そのページを開きませんでした。理由欄には「not shown」(記載なし)と書き、ブラウザーコマンドは 15 回で、Kimi K3 は 22 回でした。どちらのモデルでも、エージェントが候補から外した選択肢について、その理由を確認することを勧めます。

どちらのモデルを使うべきか

今回テストした pi 1.5.0、ZenMux、ego-browser の構成では、Kimi K3.1 Pro を選びます。66 回中 38 回成功し、Kimi K3 は 27 回でした。両モデルが成功した 26 タスクでは、より速く、低コストでした。今回テストしたいずれの作業分類でも、Kimi K3 の成功試行数が上回ることはありませんでした。

今回テストした Web アプリ内の操作と、一つから三つのサイトでの照合には、Kimi K3.1 Pro を選びます。それぞれのタスクで 15 件すべて、8 件すべてに成功しました。Kimi K3 がこれらで失敗した 5 回のうち四回は、回答なしで終了した実行でした。この pi 構成で類似の複数サイトのタスクを行う場合も、Kimi K3.1 Pro を選びます。26 件中 7 件成功し、Kimi K3 は 2 件だったためです。表は利用前に確認してください。両モデルが成功した五つの自由度の高い調査タスクでは、Kimi K3.1 Pro の時間と推定コストが低くなりましたが、分類全体の成功数は同じでした。

今回の構成では、ZenMux 経由で moonshotai/kimi-k3.1-pro として Kimi K3.1 Pro を使い、推論強度を high に設定しました。pi エージェントの bash ツールと ego-browser のスキルファイルを使用しています。ego-browser は ego(lite) とともに提供され、エージェントは ego(lite) をブラウザーとして操作します。

この比較における ego(lite) の役割

ego(lite) は ego-browser が操作するブラウザーを、pi はエージェントの実行ループを、ZenMux は二つのモデルへのアクセスを提供しました。ego-browser 連携ガイドでは、そのブラウザーをエージェントに接続する方法を説明しています。

pi の停止ルールも、このモデル選択の判断材料です。ツール呼び出しのない応答を返すと、その試行は終了します。完了状況の比較を類似の作業に当てはめる際は、このルールを考慮してください。時間とモデルコストの平均は、両モデルが成功した二十六のタスクを対象としています。すべてのタスクや、別のエージェントの停止動作を対象にしたものではありません。

よくある質問

ブラウザーエージェントには Kimi K3 より Kimi K3.1 Pro が優れていますか?

今回の ego-browser を使った 66 タスクのテストでは、そう言えます。Kimi K3.1 Pro は 66 回中 38 回(57.6%)、Kimi K3 は 27 回(40.9%)成功しました。Kimi K3 が失敗した 12 タスクに成功し、Kimi K3 が成功した 1 タスクに失敗しました。

Kimi K3.1 Pro は Kimi K3 より低コストですか?

タスク当たりでは低コストです。今回の 66 件のブラウザータスクでは、Kimi K3.1 Pro はタスク当たり $0.772、Kimi K3 は $0.871 でした。成功試行当たりでは差がさらに広がり、$1.340 と $2.130 でした。

Kimi K3.1 Pro は Kimi K3 より速いですか?

両モデルが最後まで行った作業では、そう言えます。両モデルが成功した 26 件のブラウザータスクでは、Kimi K3.1 Pro はタスク当たり 400.6 秒、Kimi K3 は 586.1 秒でした。タスク当たりのツール呼び出しは 25.8 回と 33.5 回、出力トークン数は 6,997 と 10,727 でした。

Kimi K3.1 Pro の 100 万トークン当たりの料金はいくらですか?

Moonshot の料金表では、Kimi K3.1 Pro の 100 万トークン当たりの価格は、入力 $2.00、キャッシュ済み入力 $0.20、キャッシュ書き込み $2.00、出力 $10.00 です。Kimi K3 はそれぞれ $3.00、$0.30、$3.00、$15.00 と掲載されており、新モデルの価格はすべてのトークン種別で 3 分の 2 です。

Kimi K3 はなぜブラウザータスクの途中で停止するのですか?

Kimi K3 は 66 回の試行のうち 26 回で、次の作業を述べながらツールを呼び出さない応答で終了しました。pi エージェントでは、これにより実行が終了します。最後のメッセージは「SUSE done. Now Amazon Linux.」のようなメモでした。この 26 回のうち十六回は、8 以上のサイトから同じ項目を集めるタスクでした。Kimi K3.1 Pro でこれが起きたのは 0 回でした。

Kimi K3.1 Pro で最も改善したブラウザータスクは何ですか?

Kimi K3.1 Pro で新たに成功したタスク数が最も多かったのは、8 以上のサイトから同じ項目を集めるタスクの 5 件で、この分類では Kimi K3 が成功したタスクを落としませんでした。ほかに、一つから三つのサイトでの照合が 3 件、Web アプリ内の操作が 2 件、自由度の高い調査が 1 件、X 投稿のタスクが 1 件、新たに成功しました。

Kimi K3.1 Pro の方が悪くなったブラウザータスクはありますか?

66 タスク中 1 件です。Kimi K3 が成功した Azure のモデル選定タスクで失敗しました。除外理由が記載されたページを開かずに、一つの候補を外したためです。一方、Kimi K3 が失敗した 12 タスクに成功しました。

Kimi K3.1 Pro はブラウザーでどのような誤りを起こしますか?

主に長い表の値を誤ります。誤答 24 件のうち 17 件は、8 以上のサイトから同じ項目を集めるタスクでした。あるタスクでは、自分の表に正しい日付を記載していたにもかかわらず、要約で別の銀行を挙げました。また、Kimi K3 と同じく、4 回の試行で 100 ステップの上限に達しました。

Kimi K3.1 Pro は Web アプリの自動操作をどの程度こなせますか?

Web アプリ内の操作では、Kimi K3.1 Pro は 15 タスクすべてに成功し、Kimi K3 は 13 件でした。これらは業務運用、旅費精算、クラウドコンソールのテストアプリで実行され、試行ごとに新しいデータを用意します。両モデルが成功した 13 件では、タスク当たり 327.0 秒、$0.240 で、Kimi K3 は 454.7 秒、$0.383 でした。

ブラウザーエージェントを Kimi K3 から Kimi K3.1 Pro に切り替えるべきですか?

今回テストした pi と ZenMux の構成では、切り替えを勧めます。Kimi K3.1 Pro は 66 回中 38 回成功し、Kimi K3 は 27 回でした。両モデルが成功した 26 タスクでは、平均時間と推定コストも低くなりました。8 以上のサイトから集めた表には確認工程を残してください。誤答 24 件のうち 17 件がこうしたタスクで発生したためです。

検証方法

2026 年 11 月 3 日に、macOS 26.5 を搭載した一台の Apple silicon Mac で両モデルを実行しました。どちらも同じエージェント pi 1.5.0 を使い、ブラウザーツールは ego-browser、スキルファイルも同じものを使用しました。ego(lite) と ego-browser のバージョンも同じです。モデルは Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)と Kimi K3(moonshotai/kimi-k3)で、どちらも推論強度を high に設定し、同じ API プロバイダーの ZenMux 経由で利用しました。

モデルは短い JavaScript プログラムを書いて ego-browser を操作し、ページの読み込み、クリック、フォーム入力、ページ本文やアクセシビリティスナップショットの出力を行います。各試行の上限は 100 ステップ、最長 60 分でした。ステップとはモデルの一度のターン、つまりモデルへのリクエストとその応答です。タスクでは、FINAL ANSWER で始まるメッセージで終了するようモデルに指示しています。

集計対象は 66 タスクで、それぞれが一つの作業分類だけに属します。「8 以上のサイトから同じ項目を収集」(26 タスク)は、九つの統計機関の GDP 発表など、8 以上のサイトから同じ項目一式を集めるものです。「Web アプリ内の操作」(15 件)は、輸送業者のアラートルール修正など、業務運用、旅費精算、クラウドコンソールのテストアプリで実行します。「自由度の高い調査」(12 件)は、一つの Azure リージョンで提供されるモデルの選定など、目標と少数の情報源を与えます。「一つから三つのサイトでの照合」(8 件)は、臨床試験の記録と医薬品の添付文書の照合など、少数のサイト間で値を比較します。「X 投稿」(5 件)は、SpaceX の打ち上げ投稿と Wikipedia の打ち上げ一覧の照合など、X の投稿をほかの記録と照合し、X 投稿の分類だけに数えます。

各タスクには評価項目のリストがあり、66 タスクで合計 443 項目です。タスクごとに一つの項目で、要求した値が最終回答にすべて含まれるかを確認します。残る 377 項目は個々の要求値を確認するもので、309 項目は公式サイトを基に事前に確定し、49 項目はテストアプリが試行ごとに生成するデータから確認し、19 項目は実際のページと照合します。最終回答がすべての項目を満たした場合に限り試行は成功となり、両モデルを同じ項目で評価しました。

タスクとは集計対象の 66 タスクのいずれかで、試行とは一つのモデルが一つのタスクを一度実行することです。したがって各モデルの試行数は 66 回です。成功率は 66 回に対する成功試行の割合です。全結果の表には、ほかに六つのタスクを「集計対象外」として載せています。これらは、いずれかのモデルの元の試行が特定タスクの再実行で置き換えられたか、有効な初回試行の保存記録がないものです。両モデルで同じ六つのタスクを除外しました。ツール呼び出しとはモデルが実行した一つのコマンドで、主に ego-browser のスクリプトですが、保存したページ本文の検索などのシェルやファイルのコマンドも含みます。ブラウザーコマンドは一つの ego-browser スクリプトを指し、スクリーンショットのキャプションではブラウザーコマンドを数えています。

タスク当たりの時間は、試行の開始から終了までの経過時間です。推論を含むモデル API の待ち時間と、モデルのツール呼び出しの実行時間を含みます。失敗したタスクに費やした時間は比較できないため、速度は両モデルが成功した 26 タスクで比較します。コストの推計は、各試行に記録された入力、キャッシュ済み入力、キャッシュ書き込み、出力のトークン数に、記載した Moonshot の料金を適用したものです。ZenMux のサブスクリプションや請求書の総額ではありません。成功試行当たりのコストは、全 66 回の試行費用を成功試行数で割った値です。

最終回答がないまま全 100 ステップを使った試行を、ステップ上限への到達とします。進捗メモで終了した試行は、ステップ上限に達する前に、モデルの最後の応答にテキストはあるものの、ツール呼び出しも FINAL ANSWER もないものです。誤答とは、最終回答が不合格だったものを指します。

全タスクの結果

各セルは、そのタスクに対する各モデルの結果、試行時間(秒)、コストを示します。結果は「成功」「誤答」「回答なし」(ステップ上限前に最終回答なしで終了)または「ステップ上限に到達」です。時間にはモデル API の待ち時間を含みます。「集計対象外」の六つのタスクは、特定タスクの置き換え実行の後に比較可能な初回試行の記録がないため、両モデルで六つとも除外しています。

タスク作業の種類Kimi K3.1 ProKimi K3
十一の気象機関に基づく 2025 年の気候評価表8 以上のサイトから同じ項目を収集誤答 · 633.7 s · $1.235ステップ上限に到達 · 2010.1 s · $3.368
八つのハブ空港の 2025 年の交通量8 以上のサイトから同じ項目を収集集計対象外集計対象外
九つのサッカーリーグの 2025-26 シーズンの数値8 以上のサイトから同じ項目を収集集計対象外集計対象外
九つの映画祭の 2026 年の最高賞8 以上のサイトから同じ項目を収集誤答 · 1399.6 s · $2.591回答なし · 1306.1 s · $1.418
Hugging Faceにあるオープンウェイトモデル9種の承認用一覧表8 以上のサイトから同じ項目を収集誤答 · 598.6 s · $0.716回答なし · 1217.4 s · $1.284
9つのSaaSトラストセンターに基づくコンプライアンス一覧表8 以上のサイトから同じ項目を収集誤答 · 590.3 s · $0.637回答なし · 1138.5 s · $0.844
一台の SUV に対する九つの制度の衝突安全評価8 以上のサイトから同じ項目を収集誤答 · 1242.3 s · $1.312ステップ上限に到達 · 1576.6 s · $1.765
九つの技術規格の現行版8 以上のサイトから同じ項目を収集誤答 · 592.9 s · $0.658回答なし · 320.4 s · $0.250
12の中央銀行による2026年最初の政策金利決定8 以上のサイトから同じ項目を収集誤答 · 617.0 s · $1.023誤答 · 1256.3 s · $1.986
九つの機関における 2026 年第 2 四半期 GDP の初回・最新公表値8 以上のサイトから同じ項目を収集成功 · 1001.2 s · $1.181誤答 · 1294.2 s · $1.363
九つのサービスの非公開リポジトリ向け無料 CI プラン8 以上のサイトから同じ項目を収集誤答 · 1033.5 s · $1.187回答なし · 963.4 s · $1.068
9つのサーバーレスプラットフォームの無料プラン8 以上のサイトから同じ項目を収集成功 · 924.5 s · $1.283回答なし · 248.4 s · $0.173
9つの音楽サービスにおける同一アルバムの掲載内容8 以上のサイトから同じ項目を収集集計対象外集計対象外
九つの選挙管理機関の最新選挙結果8 以上のサイトから同じ項目を収集ステップ上限に到達 · 1256.5 s · $2.222ステップ上限に到達 · 1789.7 s · $2.389
九つの言語ランタイムの最新リリース系列8 以上のサイトから同じ項目を収集誤答 · 810.3 s · $1.106誤答 · 1024.2 s · $1.171
九つの JavaScript フレームワークの最新安定版8 以上のサイトから同じ項目を収集成功 · 515.4 s · $0.523成功 · 957.6 s · $0.722
九つのデスクトップブラウザーの最新安定版8 以上のサイトから同じ項目を収集成功 · 471.8 s · $0.913回答なし · 903.0 s · $0.765
九つの機関による 2025 年カムチャツカ地震の観測値8 以上のサイトから同じ項目を収集誤答 · 789.4 s · $1.128回答なし · 971.8 s · $1.335
フラッグシップスマートフォン9機種の英国向け公式仕様8 以上のサイトから同じ項目を収集成功 · 564.8 s · $0.865回答なし · 1331.7 s · $1.161
八つのカメラの公式仕様8 以上のサイトから同じ項目を収集成功 · 953.2 s · $1.521成功 · 1479.8 s · $1.730
十の出版社・図書館サイトにおける、ある一冊の本の版の詳細8 以上のサイトから同じ項目を収集集計対象外集計対象外
八つの審査機関による、ある一つのゲームの年齢区分8 以上のサイトから同じ項目を収集誤答 · 1385.2 s · $1.905回答なし · 1355.8 s · $1.592
ベンダーの九つの勧告における、一つの sudo CVE の修正状況8 以上のサイトから同じ項目を収集誤答 · 539.4 s · $0.521回答なし · 158.9 s · $0.133
九つの国別チャートにおける、ある一週間の首位シングル8 以上のサイトから同じ項目を収集集計対象外集計対象外
9つの開発者会議の開幕基調講演8 以上のサイトから同じ項目を収集誤答 · 1198.7 s · $1.457回答なし · 1450.3 s · $1.485
九つのパッケージレジストリにおける Protocol Buffers のリリース8 以上のサイトから同じ項目を収集誤答 · 472.9 s · $0.732回答なし · 582.4 s · $0.296
2025 年に実施された八つの開発者調査の結果8 以上のサイトから同じ項目を収集誤答 · 599.1 s · $1.255誤答 · 1587.4 s · $1.785
九つの地域の法定最低賃金8 以上のサイトから同じ項目を収集集計対象外集計対象外
九つのサーバー製品のサポート終了日8 以上のサイトから同じ項目を収集成功 · 690.2 s · $0.781回答なし · 370.0 s · $0.292
博物館・美術館十館における、北斎の「神奈川沖浪裏」の記録8 以上のサイトから同じ項目を収集誤答 · 824.7 s · $1.025回答なし · 1644.2 s · $1.124
八つの規制当局によるチルゼパチドの体重管理用途の承認8 以上のサイトから同じ項目を収集ステップ上限に到達 · 1475.9 s · $2.742回答なし · 1171.2 s · $1.414
九つの電動 SUV の米国向け航続距離と充電の数値8 以上のサイトから同じ項目を収集誤答 · 1027.4 s · $1.707ステップ上限に到達 · 1711.3 s · $1.685
ロックボックス入金を未決済の請求書に充当Web アプリ内の操作成功 · 286.4 s · $0.208成功 · 404.7 s · $0.402
変更凍結期間中に行われた変更を監査し、元に戻すWeb アプリ内の操作成功 · 160.4 s · $0.140成功 · 545.1 s · $0.394
旅行アプリで同僚の旅行を予約Web アプリ内の操作成功 · 438.2 s · $0.409成功 · 433.4 s · $0.474
Tier 1 の監視設定を書面の基準に合わせるWeb アプリ内の操作成功 · 248.5 s · $0.253回答なし · 105.0 s · $0.094
顧客訪問の一週間分の走行距離に基づく経費を申請Web アプリ内の操作成功 · 458.1 s · $0.333成功 · 521.6 s · $0.418
業務運用アプリで 2 月の売掛金処理を完了し、異議申し立てを行うWeb アプリ内の操作成功 · 469.9 s · $0.403成功 · 774.2 s · $0.698
二都市分の日当を申請Web アプリ内の操作成功 · 256.7 s · $0.127成功 · 282.5 s · $0.225
クラウドコンソールにインシデント事後分析の時系列を登録Web アプリ内の操作成功 · 216.3 s · $0.195成功 · 264.8 s · $0.306
2 顧客分の配送に関する損害賠償請求を提出Web アプリ内の操作成功 · 445.9 s · $0.319成功 · 1058.7 s · $0.726
翌週のオンコール当番表を修正Web アプリ内の操作成功 · 169.0 s · $0.125成功 · 193.3 s · $0.147
カード取引を経費精算書の下書きと照合Web アプリ内の操作成功 · 457.1 s · $0.383成功 · 535.9 s · $0.394
倉庫の補充発注を行うWeb アプリ内の操作成功 · 337.3 s · $0.182成功 · 205.3 s · $0.240
従業員の経費精算書を確認Web アプリ内の操作成功 · 387.7 s · $0.189成功 · 450.6 s · $0.364
エラーバジェットの消費状況に基づいてデプロイ凍結を設定Web アプリ内の操作成功 · 167.8 s · $0.106成功 · 240.6 s · $0.193
輸送業者の定時実績を確定し、アラートルールを修正Web アプリ内の操作成功 · 382.5 s · $0.261回答なし · 934.2 s · $0.971
ARC Prize のランキングにおける低コストの推論設定探索的な調査成功 · 372.4 s · $0.296成功 · 716.2 s · $0.723
Epoch AI のデータで EU の計算量基準を超えるモデルを数える探索的な調査成功 · 165.8 s · $0.143成功 · 252.0 s · $0.186
八つのフロンティアモデルに関する EU AI Act の開示情報探索的な調査ステップ上限に到達 · 1388.1 s · $3.008回答なし · 1748.6 s · $2.621
六つの API 変更履歴に基づく、2026 年 9 月に発表されたすべてのモデル探索的な調査成功 · 273.4 s · $0.374成功 · 595.0 s · $0.721
2026 年 9 月のモデル発表に関する十の主張をファクトチェック探索的な調査誤答 · 228.8 s · $0.299誤答 · 507.6 s · $0.574
五つの中国モデルから主系と予備の API を選ぶ探索的な調査成功 · 412.3 s · $0.471成功 · 769.1 s · $0.696
Azure のドイツ国内の一つのリージョンで提供されるモデルを選ぶ探索的な調査誤答 · 297.1 s · $0.280成功 · 787.2 s · $0.871
OpenRouter で最も速い GLM 5.3 のプロバイダーエンドポイントを選ぶ探索的な調査成功 · 774.9 s · $0.717誤答 · 960.2 s · $0.694
一つの API ワークロードの費用を六つのモデルで比較計算探索的な調査成功 · 550.4 s · $0.711成功 · 1642.9 s · $2.177
Wayback Machine に保存された六つのプロバイダーの API 料金探索的な調査誤答 · 1214.3 s · $0.552回答なし · 350.4 s · $0.181
Wikipedia の LLM 表の出典をたどる探索的な調査誤答 · 458.7 s · $0.350回答なし · 383.3 s · $0.301
ある一回の LiveBench リリースが示したもの探索的な調査誤答 · 296.8 s · $0.267誤答 · 330.8 s · $0.329
FRED からインフレ率の表を作成し、BLS と照合一つから三つのサイトでの照合成功 · 274.1 s · $0.224成功 · 308.6 s · $0.312
GPT の講義の数値を動画・コード・論文と照合一つから三つのサイトでの照合成功 · 619.4 s · $0.387成功 · 237.2 s · $0.277
Apple の米国ストアで三つの MacBook 構成を比較一つから三つのサイトでの照合成功 · 786.1 s · $1.226成功 · 654.4 s · $1.110
ClinicalTrials.gov の第 3 相試験を DailyMed の医薬品添付文書と照合一つから三つのサイトでの照合成功 · 294.2 s · $0.401回答なし · 591.2 s · $0.872
MDN と Can I use に基づく六つの Web 機能の採用可否一覧一つから三つのサイトでの照合成功 · 269.9 s · $0.262成功 · 751.4 s · $0.796
チームのオフサイトイベントに向けた Denver 行き航空便の料金を調べる一つから三つのサイトでの照合成功 · 526.6 s · $0.962回答なし · 963.3 s · $1.037
六つの Wes Anderson 作品の興行収入を興行収入データベースと Wikipedia で照合一つから三つのサイトでの照合成功 · 221.1 s · $0.250成功 · 324.7 s · $0.303
Companies House における英国企業四社の登記情報のスナップショット一つから三つのサイトでの照合成功 · 320.3 s · $0.223誤答 · 1005.0 s · $0.591
X とニュースルームにおける、八つのブランドによる 2026 年の製品発表X の投稿誤答 · 667.1 s · $0.536回答なし · 847.0 s · $0.417
X とクラブ公式サイトにおける、八つのサッカークラブの夏の選手獲得X の投稿ステップ上限に到達 · 1815.4 s · $1.805回答なし · 2343.4 s · $1.008
オープンソース8プロジェクトの、Xと各サイトにおけるセキュリティリリースX の投稿成功 · 625.6 s · $0.627回答なし · 2248.5 s · $1.524
八つの大学が 2025 年の Nobel 関連ニュースを X に投稿するまでの速さX の投稿誤答 · 1314.1 s · $0.487回答なし · 528.9 s · $0.237
SpaceX の X 上の打ち上げ投稿を Wikipedia の打ち上げ一覧と照合X の投稿成功 · 751.6 s · $0.220成功 · 638.9 s · $0.300

モデルの料金は Moonshot が公表している定価です。それ以外の数値はすべて、私たち自身の実行結果に基づきます。