DeepSeek V4.1 Flash と GPT-6.1 Sol のブラウザー操作を 72 件のウェブタスクで比較

私たちなら、多数のサイトを横断して作業するエージェントには GPT-6.1 Sol、一つのウェブアプリ内で完結するワークフローには DeepSeek V4.1 Flash を選びます。72 件のタスクを ego-browser で各モデル二回ずつ実行したため、試行数はモデルごとに 144 回です。GPT-6.1 Sol は 144 回中 121 回(84.0%)、DeepSeek V4.1 Flash は 82 回(56.9%)成功しました。両モデルがすべての試行で成功した 29 件のタスクでは、一件当たりの時間とコストは GPT-6.1 Sol が 219.7 秒と $0.310、DeepSeek V4.1 Flash が 321.7 秒と $0.047 でした。
実行記録を読むと、二つのモデルは作業の進め方が異なりました。GPT-6.1 Sol は一つのコマンドで複数のサイトを扱うことが多く、DeepSeek V4.1 Flash は一度に一つのページで作業し、探索を続けます。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は 23 回の試行で上限の 100 ステップをすべて使いました。一つのウェブアプリ内で作業するテストアプリでは、成功率と速度は GPT-6.1 Sol にほぼ並び、コストは約六分の一でした。
両モデルには、運用時に備えておきたい弱点もあります。GPT-6.1 Sol は探索を早く切り上げすぎることがあります。3 件のタスクで二回とも失敗しましたが、探索を続けた DeepSeek V4.1 Flash は二回とも成功しました。一方、DeepSeek V4.1 Flash は回答した回数が少ないにもかかわらず、誤答が多くなりました。144 回の試行のうち 34 回が誤答で終わり、GPT-6.1 Sol では 23 回でした。
成功率・速度・コスト
成功率と速度では GPT-6.1 Sol が先行し、DeepSeek V4.1 Flash のコストはその約 15% です。時間とコストは、両モデルがすべての試行で成功した 29 件で比較するため、どちらの数値にも失敗した作業は含まれません。全 72 件を対象とする行には、失敗した試行も含まれます。
| 指標 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| 成功率:全 72 件 | 84.0%(144 回中 121 回成功) | 56.9%(144 回中 82 回成功) |
| 一件当たりの時間:両モデルが毎回成功した 29 件 | 219.7 s | 321.7 s |
| 一件当たりの時間:全 72 件 | 321.6 s | 511.4 s |
| 一件当たりのコスト:両モデルが毎回成功した 29 件 | $0.310 | $0.047 |
| 一件当たりのコスト:全 72 件 | $0.483 | $0.071 |
| 成功一回当たりのコスト:全 72 件 | $0.575 | $0.124 |
| 一件当たりのツール呼び出し数:全 72 件 | 34.6 | 61.6 |
2026 年 11 月 7 日に、両モデルを ego-browser で実行しました。各モデルが各タスクを二回ずつ実行しています。時間には各モデルの API からの応答を待つ時間も含まれます。
DeepSeek V4.1 Flash のコストが低いのは価格が安いためであり、作業量が少ないからではありません。一件当たりのツール呼び出し数は 61.6 回で、GPT-6.1 Sol は 34.6 回でした。成功した試行一回当たりで計算しても、DeepSeek V4.1 Flash は $0.124、GPT-6.1 Sol は $0.575 でした。
成功率の差の大半は、一種類の作業から生じています。8 サイト以上から同じ項目を集めるタスクでは、GPT-6.1 Sol が 64 回中 51 回、DeepSeek V4.1 Flash が 21 回成功しました。ウェブアプリのワークフローでは、30 回中それぞれ 29 回と 28 回成功しました。
| 作業の種類 | タスク数 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| ウェブアプリのワークフロー | 15 | 96.7% (29/30) | 93.3% (28/30) |
| 少数のサイトでの検索・比較 | 8 | 93.8% (15/16) | 81.3% (13/16) |
| 調査と統合 | 12 | 66.7% (16/24) | 62.5% (15/24) |
| X の投稿を他の情報源と照合 | 5 | 100% (10/10) | 50.0% (5/10) |
| 8 サイト以上から同じ項目を収集 | 32 | 79.7% (51/64) | 32.8% (21/64) |
| 全タスク | 72 | 84.0% (121/144) | 56.9% (82/144) |
成功率は、各タスク二回の試行のうち、成功した試行の割合です。
ウェブアプリのワークフローでは、両モデルの成功率にほとんど差がないため、選択を分けるのはコストです。多数のサイトを横断するタスクでは、GPT-6.1 Sol の成功率が大幅に高くなりました。
GPT-6.1 Sol の作業の進め方
GPT-6.1 Sol は、一つのコマンドで複数のサイトを扱うことがよくあります。多数のサイトにまたがるタスクでは、別々のタブでサイトを開いたままにし、ego-browser の各コマンドで複数のタブの作業を進めます。両モデルには同じ ego-browser の skill ファイルを与えており、タスクに必要な場合に複数のタブを開いておく方法も記載されています。8 サイト以上から同じ項目を集めるタスクでは、GPT-6.1 Sol のブラウザーコマンドの 56% が二つ以上のタブで作業していました。DeepSeek V4.1 Flash では 1% 未満でした。
地震のタスクが、その具体例です。2025 年に発生した一つの地震について、9 機関が報告した時刻、マグニチュード、深さを求めます。GPT-6.1 Sol は一つのコマンドで USGS の地震ページを読み、EMSC の地震ページで科学データを開き、GFZ の地震ページを開き、四つ目のタブを INGV に移動させました。二回の試行はいずれも成功し、ツール呼び出し数はそれぞれ 40 回と 32 回でした。DeepSeek V4.1 Flash は一つのタブで 9 機関を順に調べ、各機関の検索フォームを一つずつ入力し、二回とも上限の 100 ステップをすべて使いました。
今回の実行では、GPT-6.1 Sol のほうがツール呼び出し数が少なく、早く終わりました。両モデルがすべての試行で成功した 29 件では、一件当たりのツール呼び出し数は 28.6 回、DeepSeek V4.1 Flash が 43.0 回でした。そのうちウェブアプリ以外の 16 件では、GPT-6.1 Sol が 14 件で速くなりました。ウェブアプリのワークフローでは、二つ以上のタブで作業したコマンドは同モデルのブラウザーコマンドの 3% にとどまり、両モデルの所要時間はほぼ同じでした。
GPT-6.1 Sol の弱点は、ときどき探索を早く切り上げすぎることです。3 件のタスクで二回とも失敗し、DeepSeek V4.1 Flash は二回とも成功しました。LiveBench のタスクでは、両モデルとも推論強度 High の GPT-5.4 をランキングで探しましたが、xHigh の行しか見つかりませんでした。GPT-6.1 Sol は 12 回のツール呼び出しの後、そのスコアはページに表示されていないと報告しました。DeepSeek V4.1 Flash は探索を続け、同じページの下方にある Insights セクションのモデル選択コントロールで、スコア 75.1 を見つけました。
フロントエンドフレームワークのタスクも同様でした。ある試行で GPT-6.1 Sol は Next.js のリリース一覧から「16.3.」を検索し、先頭の結果である 8 月 21 日公開の 16.3.2 を報告しました。DeepSeek V4.1 Flash は、大部分が canary ビルドであるリリース一覧をページ送りして調べ、9 月 30 日公開の 16.3.8 を見つけました。GPT-6.1 Sol がサイトに値がないと報告した場合や、検索の先頭の結果を採用した場合は、私たちなら、回答を使う前にその値を自分で確認します。
DeepSeek V4.1 Flash の作業の進め方
DeepSeek V4.1 Flash は一度に一つのページで作業し、求めるものが見つかるまで探索を続けます。一件当たりのツール呼び出し数は 61.6 回で、GPT-6.1 Sol は 34.6 回でした。この粘り強さによって、GPT-6.1 Sol が失敗した LiveBench とフロントエンドフレームワークのタスクに成功しました。
一つのウェブアプリ内では、一度に一つのページで作業しても大きな差は生まれませんでした。15 件のウェブアプリのワークフローは、旅行予約アプリや経費アプリなど、新しいデータを投入したテストアプリで実行します。DeepSeek V4.1 Flash はそこで 30 回中 28 回、GPT-6.1 Sol は 29 回成功しました。両モデルがすべての試行で成功した 13 件のワークフローでは、一件当たりの時間とコストは DeepSeek V4.1 Flash が 173.0 秒と $0.028、GPT-6.1 Sol が 169.3 秒と $0.170 でした。
規程に沿った出張の予約が典型例です。出張規程の範囲内で往復便を予約し、通路側の座席を選び、会場から一マイル以内のホテルを予約するようエージェントに求めます。両モデルとも二回の試行すべてに成功しました。一件当たりの時間とコストは DeepSeek V4.1 Flash が 189.2 秒と $0.033、GPT-6.1 Sol が 199.4 秒と $0.253 でした。
8 サイト以上を横断すると、同じ進め方ではステップを使い切ってしまいます。その 32 件のタスクで、DeepSeek V4.1 Flash は 64 回中 21 回、GPT-6.1 Sol は 51 回成功しました。前者はそこで一件当たり 82.2 回のツール呼び出しを行い、GPT-6.1 Sol の 41.1 回の二倍でした。100 ステップをすべて使った 26 回の試行のうち、23 回がこのグループでした。
DeepSeek V4.1 Flash が回答した場合も、私たちなら、その結論をモデル自身のデータや読んだページと照合します。失敗は 62 回で、34 回は誤答、28 回は未回答で終わりました。その 28 回のうち、26 回は 100 ステップを使い切り、1 回は DeepSeek の API がサーバーエラーを返して終了しました。GPT-6.1 Sol の失敗 23 回はすべて誤答で終わっています。旗艦スマートフォンのタスクのある試行では、DeepSeek V4.1 Flash 自身の表に Galaxy S26 は 167 g と記載されていました。しかし表の下の文では、186 g の motorola signature を最も軽い端末としました。
どちらのモデルを選ぶか
多数のサイトを横断して作業するエージェントには、ego-browser で GPT-6.1 Sol を使ってください。試行の 84.0% に成功し、ステップを使い切ることは一度もありませんでした。8 サイト以上から同じ項目を集めるタスクでは 64 回中 51 回成功し、複数サイトを横断する作業も早く終えました。
一つのウェブアプリ内のワークフローには DeepSeek V4.1 Flash を使ってください。テストアプリでは 30 回中 28 回成功し、所要時間は GPT-6.1 Sol とほぼ同じで、コストは約六分の一でした。8 サイト以上を横断する仕事では 64 回中 21 回の成功にとどまったため、私たちなら頼りにはしません。
少数のサイトでの調べものやリサーチでは、時間と費用のどちらを重視するかで選びます。DeepSeek V4.1 Flash は調べもので 16 回中 13 回、リサーチで 24 回中 15 回成功し、GPT-6.1 Sol はそれぞれ 16 回中 15 回、24 回中 16 回成功しました。どちらの種類でも、DeepSeek V4.1 Flash は安い一方で時間がかかりました。

どちらのモデルを選んでも、回答の重要な値は確認してください。両モデルとも、見た目は完全な回答に誤った値が入ることがありました。両モデルを推論強度 high に設定し、ego-browser で実行しました。ego-browser は ego(lite) とともに提供され、それをエージェントのブラウザーとして操作します。
よくある質問
ブラウザー操作で DeepSeek V4.1 Flash は GPT-6.1 Sol と同等ですか?
一つのウェブアプリ内なら、ほぼ同等です。多数のサイトを横断する場合は異なります。ウェブアプリのワークフローでは、DeepSeek V4.1 Flash は 30 回中 28 回、GPT-6.1 Sol は 29 回成功しました。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は 64 回中 21 回、GPT-6.1 Sol は 51 回成功しました。全 72 件を通じた試行の成功率は、それぞれ 56.9% と 84.0% でした。
ブラウザーでは、なぜ GPT-6.1 Sol のほうが DeepSeek V4.1 Flash より速いのですか?
今回の実行で GPT-6.1 Sol のツール呼び出し数が少なかったのは、一つのコマンドで複数サイトを扱うことが多いのも一因です。8 サイト以上から同じ項目を集めるタスクでは、そのブラウザーコマンドの 56% が二つ以上のタブで作業し、DeepSeek V4.1 Flash では 1% 未満でした。両モデルがすべての試行で成功した 29 件では、一件当たりのツール呼び出し数と時間は GPT-6.1 Sol が 28.6 回と 219.7 秒、DeepSeek V4.1 Flash が 43.0 回と 321.7 秒でした。ウェブアプリのワークフローでは、所要時間はほぼ同じでした。
ブラウザーのタスクでは、DeepSeek V4.1 Flash は GPT-6.1 Sol よりどれくらい安いのですか?
DeepSeek V4.1 Flash のコストは、GPT-6.1 Sol の約 15% です。両モデルがすべての試行で成功した 29 件では、一件当たり DeepSeek V4.1 Flash が $0.047、GPT-6.1 Sol が $0.310 でした。全 72 件では、一件当たり DeepSeek V4.1 Flash が $0.071、GPT-6.1 Sol が $0.483 でした。成功した試行一回当たりでは、DeepSeek V4.1 Flash が $0.124、GPT-6.1 Sol が $0.575 でした。
DeepSeek V4.1 Flash は、なぜ多数のサイトを横断するタスクに失敗するのですか?
このグループでの失敗の約半数は、ステップを使い切ったことによります。8 サイト以上から同じ項目を集めるタスクでは、一度に一つのページで作業し、一件当たりのツール呼び出し数は 82.2 回で、GPT-6.1 Sol は 41.1 回でした。これらのタスクで失敗した 43 回の試行のうち、23 回は 100 ステップを使い切って未回答のまま終了しました。
GPT-6.1 Sol が一部のブラウザータスクを間違えるのはなぜですか?
LiveBench とフロントエンドフレームワークのタスクでは、探索を早く切り上げすぎました。LiveBench では、GPT-6.1 Sol はツールを 12 回呼び出した後、ページにスコアが表示されていないと報告しました。DeepSeek V4.1 Flash は同じページの下方にある Insights セクションで、そのスコアを見つけました。GPT-6.1 Sol が二回とも失敗した 3 件のタスクで、DeepSeek V4.1 Flash は二回とも成功しました。
DeepSeek V4.1 Flash は GPT-6.1 Sol より間違いが多いのですか?
はい。DeepSeek V4.1 Flash は 144 回の試行のうち 34 回が誤答で終わり、GPT-6.1 Sol は 23 回でした。DeepSeek V4.1 Flash は 28 回の試行が未回答で終わったため、回答の総数も少なくなりました。旗艦スマートフォンのタスクのある試行では、自身の表に Galaxy S26 を 167 g と記載しながら、要約では 186 g の端末を最も軽いとしました。
DeepSeek V4.1 Flash は、ウェブアプリでフォーム入力やワークフローの実行ができますか?
はい。テストアプリ内の 15 件のウェブアプリのワークフローで、DeepSeek V4.1 Flash は 30 回中 28 回、GPT-6.1 Sol は 30 回中 29 回成功しました。タスクには出張予約、ロックボックス入金の充当、経費報告の承認が含まれます。両モデルがすべての試行で成功した 13 件では、一件当たりのコストは DeepSeek V4.1 Flash が $0.028、GPT-6.1 Sol が $0.170 でした。
DeepSeek V4.1 Flash が GPT-6.1 Sol より低コストで実行できるブラウザータスクは何ですか?
主に、一つのウェブアプリ内で完結するワークフローです。15 件のうち 11 件が、次の三条件を満たしました。その 11 件では、DeepSeek V4.1 Flash の成功回数が GPT-6.1 Sol と同じで、時間の増加は最大 10%、コストは三分の一未満でした。他にも同じ条件を満たすタスクが三件ありました。FRED と BLS のデータを使うインフレ概況の作成、講義・コード・論文からの学習ノート作成、Linux ディストリビューションの九件のアドバイザリを横断する一つの sudo CVE の確認です。
DeepSeek V4.1 Flash のツール呼び出し数は GPT-6.1 Sol と比べてどれくらいですか?
全 72 件では、DeepSeek V4.1 Flash のツール呼び出し数は一件当たり 61.6 回で、GPT-6.1 Sol の 34.6 回より約 78% 多くなりました。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は一件当たり 82.2 回で、GPT-6.1 Sol の 41.1 回の二倍でした。ウェブアプリのワークフローでは、DeepSeek V4.1 Flash は一件当たり 33.3 回、GPT-6.1 Sol は 26.0 回でした。
ブラウザーエージェントに DeepSeek V4.1 Flash を使う価値はありますか?
一つのウェブアプリ内のワークフローにはあります。DeepSeek V4.1 Flash はそこで 30 回中 28 回成功し、コストは GPT-6.1 Sol の約六分の一でした。多数のサイトを横断して作業するエージェントには、GPT-6.1 Sol のほうが適しています。試行の成功率が 84.0%、DeepSeek V4.1 Flash が 56.9% だったためです。
検証方法
2026 年 11 月 7 日、macOS 上で ego(lite) 0.6.3.2 と ego-browser を使い、両モデルを実行しました。どちらも ego-browser の skill ファイルを与えた pi エージェント実行環境で動作させています。モデル ID は deepseek-flash と gpt-6.1-sol で、推論強度は high に設定しました。試行ごとの上限は、両モデルとも同じ 100 ステップです。一ステップはモデルの一ターンで、ほぼすべてのステップで一回のツール呼び出しが行われました。各モデルが 72 件のタスクを二回ずつ実行したため、モデルごとの試行数は 144 回です。

対象は、複雑なウェブ自動化タスク 72 件です。実際のウェブサイトで実行するタスクと、新しいデータを投入したテストアプリで実行するタスクがあります。各タスクで求められる作業の種類に応じて、次のように分類しました。
| 作業の種類 | タスク数 | タスク例 |
|---|---|---|
| ウェブアプリのワークフロー | 15 | 規程に沿った出張を予約 |
| 少数のサイトでの検索・比較 | 8 | FRED のデータによるインフレ概況を BLS と照合 |
| 調査と統合 | 12 | Wikipedia の表の出典をたどる |
| X の投稿を他の情報源と照合 | 5 | X 上の SpaceX の打ち上げ投稿を Wikipedia と照合 |
| 8 サイト以上から同じ項目を収集 | 32 | 12 中央銀行の金利決定 |
各タスクは一つのグループだけに属します。X の投稿を確認する 5 件は、8 アカウントを扱う場合でも独立したグループです。
各タスクは 3〜10 項目のチェックで採点します。すべてのチェックを通過した試行だけが成功となります。
各モデルの作業の進め方を把握するため、両モデルの試行のセッションログを読みました。一つのブラウザーコマンドでモデルが ego-browser に渡したスクリプトが、二つ以上のタブを読み取るか操作した場合、そのコマンドは二つ以上のタブで作業したと数えます。
成功率は、試行のうち成功したものの割合です。本記事の一件当たりの数値は、時間、コスト、ツール呼び出し数を含め、すべて各タスクの二回の試行の平均です。時間は試行開始から最終回答まで、未回答の場合は最後のステップまでを測り、各モデルの API からの応答を待つ時間も含みます。コストは各試行のトークンを提供元の価格で計算したものです。成功した試行一回当たりのコストは、全 144 回のコストを成功回数で割ります。時間とコストの比較には、文中で特に断らない限り、両モデルがすべての試行で成功した 29 件を使います。
以下の結果欄で「同じ成功回数を低コストで」は、DeepSeek V4.1 Flash の成功回数が GPT-6.1 Sol と同じで、時間の増加が最大 10%、コストが三分の一未満だったことを表します。「成功回数は同じ・より低速」は、成功回数は同じでも、時間とコストの条件を満たさなかったことを表します。
全タスクの結果
各セルには、2 回中の成功回数、一件当たりの時間、一件当たりのコストを順に示します。時間とコストは各タスク二回の試行の平均で、時間には各モデルの API からの応答を待つ時間も含まれます。
| タスク | 作業の種類 | 結果 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| 未照合のカード利用明細を経費報告に追加 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| ロックボックス入金を充当 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| 出張経費報告を承認 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| 規程に沿った出張を予約 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| サービスモニターを基準に合わせる | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| 運送会社の定時実績の確認とアラート規則 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| 日ごとの食事手当を申請 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| 日ごとの走行距離分の経費を申請 | ウェブアプリのワークフロー | 成功回数は同じ・より低速 | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| 休暇に合わせてオンコールのシフトを補う | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| 発注点に基づいて発注書を作成 | ウェブアプリのワークフロー | 成功回数は同じ・より低速 | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| 破損した注文の返品を申請 | ウェブアプリのワークフロー | 成功回数は同じ・より低速 | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| エラーバジェットに基づいてデプロイを凍結・解除 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| 請求書と支払いを照合し、異議申し立てを開始 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| 凍結期間中に行われたリリースをロールバック | ウェブアプリのワークフロー | GPT-6.1 Sol の成功回数が多い | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| インシデントの事後分析レポートを作成・提出 | ウェブアプリのワークフロー | 同じ成功回数を低コストで | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| 航空券検索サイトで最安のノンストップ便運賃を探す | 少数のサイトでの検索・比較 | 成功回数は同じ・より低速 | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| 三つの Mac ノートパソコンを比較 | 少数のサイトでの検索・比較 | 成功回数は同じ・より低速 | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| FRED のデータによるインフレ概況を BLS と照合 | 少数のサイトでの検索・比較 | 同じ成功回数を低コストで | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| 英国四社の KYC 情報のスナップショット | 少数のサイトでの検索・比較 | GPT-6.1 Sol の成功回数が多い | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| 臨床試験と医薬品の添付文書を対応付ける | 少数のサイトでの検索・比較 | GPT-6.1 Sol の成功回数が多い | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| 六作品の映画の興行収入を照合 | 少数のサイトでの検索・比較 | 成功回数は同じ・より低速 | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| 講義・コード・論文から学習ノートを作成 | 少数のサイトでの検索・比較 | 同じ成功回数を低コストで | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| MDN と Can I use でウェブ機能を確認 | 少数のサイトでの検索・比較 | 成功回数は同じ・より低速 | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Wayback の保存ページから API 料金を確認 | 調査と統合 | DeepSeek V4.1 Flash の成功回数が多い | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| ARC Prize ランキングのグラフ | 調査と統合 | 成功回数は同じ・より低速 | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| 週次の AI まとめの主張 10 件を検証 | 調査と統合 | GPT-6.1 Sol の成功回数が多い | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| 中国のモデル API 五つで月額料金を比較 | 調査と統合 | 成功回数は同じ・より低速 | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| 最先端モデル 8 件の EU AI 法に基づく開示を監査 | 調査と統合 | 両モデルとも成功なし | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| 六つの変更履歴から 9 月公開の API モデルを一覧化 | 調査と統合 | GPT-6.1 Sol の成功回数が多い | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| EU の計算量しきい値を超えるモデル | 調査と統合 | GPT-6.1 Sol の成功回数が多い | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| GLM 5.3 向けの OpenRouter エンドポイントを選定 | 調査と統合 | 成功回数は同じ・より低速 | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| 六つの要件に合う、ドイツの保険金請求向けモデルを選定 | 調査と統合 | DeepSeek V4.1 Flash の成功回数が多い | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| 6 つの料金ページでサポートチケット業務の費用を計算 | 調査と統合 | 成功回数は同じ・より低速 | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| LiveBench の一回のリリースを確認 | 調査と統合 | DeepSeek V4.1 Flash の成功回数が多い | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Wikipedia の表の出典をたどる | 調査と統合 | GPT-6.1 Sol の成功回数が多い | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| クラブの新加入 8 件を X とクラブのサイトで照合 | X の投稿を他の情報源と照合 | GPT-6.1 Sol の成功回数が多い | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 製品発表 8 件の X 投稿をプレスリリースと照合 | X の投稿を他の情報源と照合 | GPT-6.1 Sol の成功回数が多い | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| 8 大学のノーベル賞に関する X 投稿 | X の投稿を他の情報源と照合 | GPT-6.1 Sol の成功回数が多い | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| オープンソースプロジェクト 8 件のセキュリティ発表を X とアドバイザリで照合 | X の投稿を他の情報源と照合 | 成功回数は同じ・より低速 | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| X 上の SpaceX の打ち上げ投稿を Wikipedia と照合 | X の投稿を他の情報源と照合 | 成功回数は同じ・より低速 | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| 11 気象機関の 2025 年の気候に関する発表 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| 8 空港の 2025 年の利用状況 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| 9 リーグの 2025-26 シーズンの優勝チーム | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 つのブランドサイトでカメラ 8 機種を確認 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 開発者調査 8 件 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 電気 SUV 9 車種 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| オープンウェイトモデル 9 件 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| SaaS ベンダー 9 社のコンプライアンス | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| 9 規格の現行版 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| 9 ブランドの旗艦スマートフォン | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| CI サービス 9 件の無料枠 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| サーバーレスプラットフォーム 9 件の無料枠 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| 開発者カンファレンス 9 件の基調講演 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| 9 地域の直近の選挙 | 8 サイト以上から同じ項目を収集 | 両モデルとも成功なし | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| 9 つの言語ランタイムの最新リリース | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| デスクトップブラウザー 9 件の最新安定版 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| フロントエンドフレームワーク 9 件の最新安定版 | 8 サイト以上から同じ項目を収集 | DeepSeek V4.1 Flash の成功回数が多い | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| 9 法域の最低賃金 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| 9 つの音楽サービスにおける同じアルバム | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| 10 の情報源における同じ本の各版 | 8 サイト以上から同じ項目を収集 | DeepSeek V4.1 Flash の成功回数が多い | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| 9 つの衝突試験プログラムにおける同じ車種 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| 8 つの規制当局の同じ医薬品に関する情報 | 8 サイト以上から同じ項目を収集 | 両モデルとも成功なし | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| 9 機関による同じ地震の情報 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| 8 つのレーティング機関の同じゲームに関する情報 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| 博物館・美術館の 10 コレクションにおける同じ版画 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| ディストリビューションの 9 件のアドバイザリにおける同じ sudo CVE | 8 サイト以上から同じ項目を収集 | 同じ成功回数を低コストで | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| ある週の首位を 9 つの全国チャートで確認 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| 9 機関の第 2 四半期 GDP 初回推計 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| 12 中央銀行の金利決定 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| ベンダー製品 9 バージョンのサポート日程 | 8 サイト以上から同じ項目を収集 | 成功回数は同じ・より低速 | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| 9 パッケージレジストリの protobuf ランタイム | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| 映画祭 9 件の最高賞 | 8 サイト以上から同じ項目を収集 | GPT-6.1 Sol の成功回数が多い | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
更新履歴:2026 年 11 月 9 日に初公開。2026 年 11 月 7 日の実行結果を掲載しており、72 件のタスクを各モデルで二回ずつ試行しています。


