DeepSeek V4.1 Flash と GPT-6.1 Sol のブラウザー操作を 72 件のウェブタスクで比較

22分で読めます
DeepSeek V4.1 Flash と GPT-6.1 Sol の比較用に、青い背景に柑橘をかたどった二つのオレンジ色のモチーフと緑の葉を配した画像

私たちなら、多数のサイトを横断して作業するエージェントには GPT-6.1 Sol、一つのウェブアプリ内で完結するワークフローには DeepSeek V4.1 Flash を選びます。72 件のタスクを ego-browser で各モデル二回ずつ実行したため、試行数はモデルごとに 144 回です。GPT-6.1 Sol は 144 回中 121 回(84.0%)、DeepSeek V4.1 Flash は 82 回(56.9%)成功しました。両モデルがすべての試行で成功した 29 件のタスクでは、一件当たりの時間とコストは GPT-6.1 Sol が 219.7 秒と $0.310、DeepSeek V4.1 Flash が 321.7 秒と $0.047 でした。

実行記録を読むと、二つのモデルは作業の進め方が異なりました。GPT-6.1 Sol は一つのコマンドで複数のサイトを扱うことが多く、DeepSeek V4.1 Flash は一度に一つのページで作業し、探索を続けます。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は 23 回の試行で上限の 100 ステップをすべて使いました。一つのウェブアプリ内で作業するテストアプリでは、成功率と速度は GPT-6.1 Sol にほぼ並び、コストは約六分の一でした。

両モデルには、運用時に備えておきたい弱点もあります。GPT-6.1 Sol は探索を早く切り上げすぎることがあります。3 件のタスクで二回とも失敗しましたが、探索を続けた DeepSeek V4.1 Flash は二回とも成功しました。一方、DeepSeek V4.1 Flash は回答した回数が少ないにもかかわらず、誤答が多くなりました。144 回の試行のうち 34 回が誤答で終わり、GPT-6.1 Sol では 23 回でした。

成功率・速度・コスト

成功率と速度では GPT-6.1 Sol が先行し、DeepSeek V4.1 Flash のコストはその約 15% です。時間とコストは、両モデルがすべての試行で成功した 29 件で比較するため、どちらの数値にも失敗した作業は含まれません。全 72 件を対象とする行には、失敗した試行も含まれます。

指標GPT-6.1 SolDeepSeek V4.1 Flash
成功率:全 72 件84.0%(144 回中 121 回成功)56.9%(144 回中 82 回成功)
一件当たりの時間:両モデルが毎回成功した 29 件219.7 s321.7 s
一件当たりの時間:全 72 件321.6 s511.4 s
一件当たりのコスト:両モデルが毎回成功した 29 件$0.310$0.047
一件当たりのコスト:全 72 件$0.483$0.071
成功一回当たりのコスト:全 72 件$0.575$0.124
一件当たりのツール呼び出し数:全 72 件34.661.6

2026 年 11 月 7 日に、両モデルを ego-browser で実行しました。各モデルが各タスクを二回ずつ実行しています。時間には各モデルの API からの応答を待つ時間も含まれます。

DeepSeek V4.1 Flash のコストが低いのは価格が安いためであり、作業量が少ないからではありません。一件当たりのツール呼び出し数は 61.6 回で、GPT-6.1 Sol は 34.6 回でした。成功した試行一回当たりで計算しても、DeepSeek V4.1 Flash は $0.124、GPT-6.1 Sol は $0.575 でした。

成功率の差の大半は、一種類の作業から生じています。8 サイト以上から同じ項目を集めるタスクでは、GPT-6.1 Sol が 64 回中 51 回、DeepSeek V4.1 Flash が 21 回成功しました。ウェブアプリのワークフローでは、30 回中それぞれ 29 回と 28 回成功しました。

作業の種類タスク数GPT-6.1 SolDeepSeek V4.1 Flash
ウェブアプリのワークフロー1596.7% (29/30)93.3% (28/30)
少数のサイトでの検索・比較893.8% (15/16)81.3% (13/16)
調査と統合1266.7% (16/24)62.5% (15/24)
X の投稿を他の情報源と照合5100% (10/10)50.0% (5/10)
8 サイト以上から同じ項目を収集3279.7% (51/64)32.8% (21/64)
全タスク7284.0% (121/144)56.9% (82/144)

成功率は、各タスク二回の試行のうち、成功した試行の割合です。

ウェブアプリのワークフローでは、両モデルの成功率にほとんど差がないため、選択を分けるのはコストです。多数のサイトを横断するタスクでは、GPT-6.1 Sol の成功率が大幅に高くなりました。

GPT-6.1 Sol の作業の進め方

GPT-6.1 Sol は、一つのコマンドで複数のサイトを扱うことがよくあります。多数のサイトにまたがるタスクでは、別々のタブでサイトを開いたままにし、ego-browser の各コマンドで複数のタブの作業を進めます。両モデルには同じ ego-browser の skill ファイルを与えており、タスクに必要な場合に複数のタブを開いておく方法も記載されています。8 サイト以上から同じ項目を集めるタスクでは、GPT-6.1 Sol のブラウザーコマンドの 56% が二つ以上のタブで作業していました。DeepSeek V4.1 Flash では 1% 未満でした。

地震のタスクが、その具体例です。2025 年に発生した一つの地震について、9 機関が報告した時刻、マグニチュード、深さを求めます。GPT-6.1 Sol は一つのコマンドで USGS の地震ページを読み、EMSC の地震ページで科学データを開き、GFZ の地震ページを開き、四つ目のタブを INGV に移動させました。二回の試行はいずれも成功し、ツール呼び出し数はそれぞれ 40 回と 32 回でした。DeepSeek V4.1 Flash は一つのタブで 9 機関を順に調べ、各機関の検索フォームを一つずつ入力し、二回とも上限の 100 ステップをすべて使いました。

今回の実行では、GPT-6.1 Sol のほうがツール呼び出し数が少なく、早く終わりました。両モデルがすべての試行で成功した 29 件では、一件当たりのツール呼び出し数は 28.6 回、DeepSeek V4.1 Flash が 43.0 回でした。そのうちウェブアプリ以外の 16 件では、GPT-6.1 Sol が 14 件で速くなりました。ウェブアプリのワークフローでは、二つ以上のタブで作業したコマンドは同モデルのブラウザーコマンドの 3% にとどまり、両モデルの所要時間はほぼ同じでした。

GPT-6.1 Sol の弱点は、ときどき探索を早く切り上げすぎることです。3 件のタスクで二回とも失敗し、DeepSeek V4.1 Flash は二回とも成功しました。LiveBench のタスクでは、両モデルとも推論強度 High の GPT-5.4 をランキングで探しましたが、xHigh の行しか見つかりませんでした。GPT-6.1 Sol は 12 回のツール呼び出しの後、そのスコアはページに表示されていないと報告しました。DeepSeek V4.1 Flash は探索を続け、同じページの下方にある Insights セクションのモデル選択コントロールで、スコア 75.1 を見つけました。

フロントエンドフレームワークのタスクも同様でした。ある試行で GPT-6.1 Sol は Next.js のリリース一覧から「16.3.」を検索し、先頭の結果である 8 月 21 日公開の 16.3.2 を報告しました。DeepSeek V4.1 Flash は、大部分が canary ビルドであるリリース一覧をページ送りして調べ、9 月 30 日公開の 16.3.8 を見つけました。GPT-6.1 Sol がサイトに値がないと報告した場合や、検索の先頭の結果を採用した場合は、私たちなら、回答を使う前にその値を自分で確認します。

DeepSeek V4.1 Flash の作業の進め方

DeepSeek V4.1 Flash は一度に一つのページで作業し、求めるものが見つかるまで探索を続けます。一件当たりのツール呼び出し数は 61.6 回で、GPT-6.1 Sol は 34.6 回でした。この粘り強さによって、GPT-6.1 Sol が失敗した LiveBench とフロントエンドフレームワークのタスクに成功しました。

一つのウェブアプリ内では、一度に一つのページで作業しても大きな差は生まれませんでした。15 件のウェブアプリのワークフローは、旅行予約アプリや経費アプリなど、新しいデータを投入したテストアプリで実行します。DeepSeek V4.1 Flash はそこで 30 回中 28 回、GPT-6.1 Sol は 29 回成功しました。両モデルがすべての試行で成功した 13 件のワークフローでは、一件当たりの時間とコストは DeepSeek V4.1 Flash が 173.0 秒と $0.028、GPT-6.1 Sol が 169.3 秒と $0.170 でした。

規程に沿った出張の予約が典型例です。出張規程の範囲内で往復便を予約し、通路側の座席を選び、会場から一マイル以内のホテルを予約するようエージェントに求めます。両モデルとも二回の試行すべてに成功しました。一件当たりの時間とコストは DeepSeek V4.1 Flash が 189.2 秒と $0.033、GPT-6.1 Sol が 199.4 秒と $0.253 でした。

8 サイト以上を横断すると、同じ進め方ではステップを使い切ってしまいます。その 32 件のタスクで、DeepSeek V4.1 Flash は 64 回中 21 回、GPT-6.1 Sol は 51 回成功しました。前者はそこで一件当たり 82.2 回のツール呼び出しを行い、GPT-6.1 Sol の 41.1 回の二倍でした。100 ステップをすべて使った 26 回の試行のうち、23 回がこのグループでした。

DeepSeek V4.1 Flash が回答した場合も、私たちなら、その結論をモデル自身のデータや読んだページと照合します。失敗は 62 回で、34 回は誤答、28 回は未回答で終わりました。その 28 回のうち、26 回は 100 ステップを使い切り、1 回は DeepSeek の API がサーバーエラーを返して終了しました。GPT-6.1 Sol の失敗 23 回はすべて誤答で終わっています。旗艦スマートフォンのタスクのある試行では、DeepSeek V4.1 Flash 自身の表に Galaxy S26 は 167 g と記載されていました。しかし表の下の文では、186 g の motorola signature を最も軽い端末としました。

どちらのモデルを選ぶか

多数のサイトを横断して作業するエージェントには、ego-browser で GPT-6.1 Sol を使ってください。試行の 84.0% に成功し、ステップを使い切ることは一度もありませんでした。8 サイト以上から同じ項目を集めるタスクでは 64 回中 51 回成功し、複数サイトを横断する作業も早く終えました。

一つのウェブアプリ内のワークフローには DeepSeek V4.1 Flash を使ってください。テストアプリでは 30 回中 28 回成功し、所要時間は GPT-6.1 Sol とほぼ同じで、コストは約六分の一でした。8 サイト以上を横断する仕事では 64 回中 21 回の成功にとどまったため、私たちなら頼りにはしません。

少数のサイトでの調べものやリサーチでは、時間と費用のどちらを重視するかで選びます。DeepSeek V4.1 Flash は調べもので 16 回中 13 回、リサーチで 24 回中 15 回成功し、GPT-6.1 Sol はそれぞれ 16 回中 15 回、24 回中 16 回成功しました。どちらの種類でも、DeepSeek V4.1 Flash は安い一方で時間がかかりました。

ego(lite) で BLS の CPI を検索し、期間を 2023–2025 年に設定して年平均を有効にした画面
ego(lite) で BLS の CPI を検索し、年平均を有効にした画面。今回の改訂用に提供された操作デモであり、11 月 7 日のベンチマーク実行とは別のものです。 原寸大の画像を表示

どちらのモデルを選んでも、回答の重要な値は確認してください。両モデルとも、見た目は完全な回答に誤った値が入ることがありました。両モデルを推論強度 high に設定し、ego-browser で実行しました。ego-browser は ego(lite) とともに提供され、それをエージェントのブラウザーとして操作します。

よくある質問

ブラウザー操作で DeepSeek V4.1 Flash は GPT-6.1 Sol と同等ですか?

一つのウェブアプリ内なら、ほぼ同等です。多数のサイトを横断する場合は異なります。ウェブアプリのワークフローでは、DeepSeek V4.1 Flash は 30 回中 28 回、GPT-6.1 Sol は 29 回成功しました。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は 64 回中 21 回、GPT-6.1 Sol は 51 回成功しました。全 72 件を通じた試行の成功率は、それぞれ 56.9% と 84.0% でした。

ブラウザーでは、なぜ GPT-6.1 Sol のほうが DeepSeek V4.1 Flash より速いのですか?

今回の実行で GPT-6.1 Sol のツール呼び出し数が少なかったのは、一つのコマンドで複数サイトを扱うことが多いのも一因です。8 サイト以上から同じ項目を集めるタスクでは、そのブラウザーコマンドの 56% が二つ以上のタブで作業し、DeepSeek V4.1 Flash では 1% 未満でした。両モデルがすべての試行で成功した 29 件では、一件当たりのツール呼び出し数と時間は GPT-6.1 Sol が 28.6 回と 219.7 秒、DeepSeek V4.1 Flash が 43.0 回と 321.7 秒でした。ウェブアプリのワークフローでは、所要時間はほぼ同じでした。

ブラウザーのタスクでは、DeepSeek V4.1 Flash は GPT-6.1 Sol よりどれくらい安いのですか?

DeepSeek V4.1 Flash のコストは、GPT-6.1 Sol の約 15% です。両モデルがすべての試行で成功した 29 件では、一件当たり DeepSeek V4.1 Flash が $0.047、GPT-6.1 Sol が $0.310 でした。全 72 件では、一件当たり DeepSeek V4.1 Flash が $0.071、GPT-6.1 Sol が $0.483 でした。成功した試行一回当たりでは、DeepSeek V4.1 Flash が $0.124、GPT-6.1 Sol が $0.575 でした。

DeepSeek V4.1 Flash は、なぜ多数のサイトを横断するタスクに失敗するのですか?

このグループでの失敗の約半数は、ステップを使い切ったことによります。8 サイト以上から同じ項目を集めるタスクでは、一度に一つのページで作業し、一件当たりのツール呼び出し数は 82.2 回で、GPT-6.1 Sol は 41.1 回でした。これらのタスクで失敗した 43 回の試行のうち、23 回は 100 ステップを使い切って未回答のまま終了しました。

GPT-6.1 Sol が一部のブラウザータスクを間違えるのはなぜですか?

LiveBench とフロントエンドフレームワークのタスクでは、探索を早く切り上げすぎました。LiveBench では、GPT-6.1 Sol はツールを 12 回呼び出した後、ページにスコアが表示されていないと報告しました。DeepSeek V4.1 Flash は同じページの下方にある Insights セクションで、そのスコアを見つけました。GPT-6.1 Sol が二回とも失敗した 3 件のタスクで、DeepSeek V4.1 Flash は二回とも成功しました。

DeepSeek V4.1 Flash は GPT-6.1 Sol より間違いが多いのですか?

はい。DeepSeek V4.1 Flash は 144 回の試行のうち 34 回が誤答で終わり、GPT-6.1 Sol は 23 回でした。DeepSeek V4.1 Flash は 28 回の試行が未回答で終わったため、回答の総数も少なくなりました。旗艦スマートフォンのタスクのある試行では、自身の表に Galaxy S26 を 167 g と記載しながら、要約では 186 g の端末を最も軽いとしました。

DeepSeek V4.1 Flash は、ウェブアプリでフォーム入力やワークフローの実行ができますか?

はい。テストアプリ内の 15 件のウェブアプリのワークフローで、DeepSeek V4.1 Flash は 30 回中 28 回、GPT-6.1 Sol は 30 回中 29 回成功しました。タスクには出張予約、ロックボックス入金の充当、経費報告の承認が含まれます。両モデルがすべての試行で成功した 13 件では、一件当たりのコストは DeepSeek V4.1 Flash が $0.028、GPT-6.1 Sol が $0.170 でした。

DeepSeek V4.1 Flash が GPT-6.1 Sol より低コストで実行できるブラウザータスクは何ですか?

主に、一つのウェブアプリ内で完結するワークフローです。15 件のうち 11 件が、次の三条件を満たしました。その 11 件では、DeepSeek V4.1 Flash の成功回数が GPT-6.1 Sol と同じで、時間の増加は最大 10%、コストは三分の一未満でした。他にも同じ条件を満たすタスクが三件ありました。FRED と BLS のデータを使うインフレ概況の作成、講義・コード・論文からの学習ノート作成、Linux ディストリビューションの九件のアドバイザリを横断する一つの sudo CVE の確認です。

DeepSeek V4.1 Flash のツール呼び出し数は GPT-6.1 Sol と比べてどれくらいですか?

全 72 件では、DeepSeek V4.1 Flash のツール呼び出し数は一件当たり 61.6 回で、GPT-6.1 Sol の 34.6 回より約 78% 多くなりました。8 サイト以上から同じ項目を集めるタスクでは、DeepSeek V4.1 Flash は一件当たり 82.2 回で、GPT-6.1 Sol の 41.1 回の二倍でした。ウェブアプリのワークフローでは、DeepSeek V4.1 Flash は一件当たり 33.3 回、GPT-6.1 Sol は 26.0 回でした。

ブラウザーエージェントに DeepSeek V4.1 Flash を使う価値はありますか?

一つのウェブアプリ内のワークフローにはあります。DeepSeek V4.1 Flash はそこで 30 回中 28 回成功し、コストは GPT-6.1 Sol の約六分の一でした。多数のサイトを横断して作業するエージェントには、GPT-6.1 Sol のほうが適しています。試行の成功率が 84.0%、DeepSeek V4.1 Flash が 56.9% だったためです。

検証方法

2026 年 11 月 7 日、macOS 上で ego(lite) 0.6.3.2 と ego-browser を使い、両モデルを実行しました。どちらも ego-browser の skill ファイルを与えた pi エージェント実行環境で動作させています。モデル ID は deepseek-flash と gpt-6.1-sol で、推論強度は high に設定しました。試行ごとの上限は、両モデルとも同じ 100 ステップです。一ステップはモデルの一ターンで、ほぼすべてのステップで一回のツール呼び出しが行われました。各モデルが 72 件のタスクを二回ずつ実行したため、モデルごとの試行数は 144 回です。

ego(lite) の Spaces 一覧で、実行中の BLS CPI 検索が別の Space の隣に表示されている画面
BLS 検索デモ中の ego(lite) の Spaces 一覧。今回の改訂用に提供された操作デモであり、11 月 7 日のベンチマーク実行とは別のものです。 原寸大の画像を表示

対象は、複雑なウェブ自動化タスク 72 件です。実際のウェブサイトで実行するタスクと、新しいデータを投入したテストアプリで実行するタスクがあります。各タスクで求められる作業の種類に応じて、次のように分類しました。

作業の種類タスク数タスク例
ウェブアプリのワークフロー15規程に沿った出張を予約
少数のサイトでの検索・比較8FRED のデータによるインフレ概況を BLS と照合
調査と統合12Wikipedia の表の出典をたどる
X の投稿を他の情報源と照合5X 上の SpaceX の打ち上げ投稿を Wikipedia と照合
8 サイト以上から同じ項目を収集3212 中央銀行の金利決定

各タスクは一つのグループだけに属します。X の投稿を確認する 5 件は、8 アカウントを扱う場合でも独立したグループです。

各タスクは 3〜10 項目のチェックで採点します。すべてのチェックを通過した試行だけが成功となります。

各モデルの作業の進め方を把握するため、両モデルの試行のセッションログを読みました。一つのブラウザーコマンドでモデルが ego-browser に渡したスクリプトが、二つ以上のタブを読み取るか操作した場合、そのコマンドは二つ以上のタブで作業したと数えます。

成功率は、試行のうち成功したものの割合です。本記事の一件当たりの数値は、時間、コスト、ツール呼び出し数を含め、すべて各タスクの二回の試行の平均です。時間は試行開始から最終回答まで、未回答の場合は最後のステップまでを測り、各モデルの API からの応答を待つ時間も含みます。コストは各試行のトークンを提供元の価格で計算したものです。成功した試行一回当たりのコストは、全 144 回のコストを成功回数で割ります。時間とコストの比較には、文中で特に断らない限り、両モデルがすべての試行で成功した 29 件を使います。

以下の結果欄で「同じ成功回数を低コストで」は、DeepSeek V4.1 Flash の成功回数が GPT-6.1 Sol と同じで、時間の増加が最大 10%、コストが三分の一未満だったことを表します。「成功回数は同じ・より低速」は、成功回数は同じでも、時間とコストの条件を満たさなかったことを表します。

全タスクの結果

各セルには、2 回中の成功回数、一件当たりの時間、一件当たりのコストを順に示します。時間とコストは各タスク二回の試行の平均で、時間には各モデルの API からの応答を待つ時間も含まれます。

タスク作業の種類結果GPT-6.1 SolDeepSeek V4.1 Flash
未照合のカード利用明細を経費報告に追加ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 169.6 s, $0.1932/2, 157.1 s, $0.026
ロックボックス入金を充当ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 185.2 s, $0.1412/2, 184.3 s, $0.025
出張経費報告を承認ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 156.3 s, $0.1202/2, 144.6 s, $0.020
規程に沿った出張を予約ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 199.4 s, $0.2532/2, 189.2 s, $0.033
サービスモニターを基準に合わせるウェブアプリのワークフロー同じ成功回数を低コストで2/2, 133.9 s, $0.1312/2, 119.3 s, $0.024
運送会社の定時実績の確認とアラート規則ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 198.1 s, $0.1402/2, 213.7 s, $0.042
日ごとの食事手当を申請ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 123.4 s, $0.1092/2, 93.2 s, $0.018
日ごとの走行距離分の経費を申請ウェブアプリのワークフロー成功回数は同じ・より低速2/2, 246.6 s, $0.2282/2, 282.4 s, $0.036
休暇に合わせてオンコールのシフトを補うウェブアプリのワークフロー同じ成功回数を低コストで2/2, 85.6 s, $0.1082/2, 69.0 s, $0.013
発注点に基づいて発注書を作成ウェブアプリのワークフロー成功回数は同じ・より低速2/2, 116.7 s, $0.1232/2, 146.9 s, $0.019
破損した注文の返品を申請ウェブアプリのワークフロー成功回数は同じ・より低速2/2, 238.5 s, $0.2932/2, 297.5 s, $0.045
エラーバジェットに基づいてデプロイを凍結・解除ウェブアプリのワークフロー同じ成功回数を低コストで1/2, 90.1 s, $0.0861/2, 74.1 s, $0.013
請求書と支払いを照合し、異議申し立てを開始ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 212.0 s, $0.2142/2, 224.6 s, $0.042
凍結期間中に行われたリリースをロールバックウェブアプリのワークフローGPT-6.1 Sol の成功回数が多い2/2, 115.4 s, $0.1111/2, 241.3 s, $0.040
インシデントの事後分析レポートを作成・提出ウェブアプリのワークフロー同じ成功回数を低コストで2/2, 135.5 s, $0.1582/2, 126.7 s, $0.026
航空券検索サイトで最安のノンストップ便運賃を探す少数のサイトでの検索・比較成功回数は同じ・より低速1/2, 380.6 s, $0.4921/2, 1058.9 s, $0.096
三つの Mac ノートパソコンを比較少数のサイトでの検索・比較成功回数は同じ・より低速2/2, 278.5 s, $0.5292/2, 320.4 s, $0.065
FRED のデータによるインフレ概況を BLS と照合少数のサイトでの検索・比較同じ成功回数を低コストで2/2, 117.8 s, $0.1582/2, 93.6 s, $0.019
英国四社の KYC 情報のスナップショット少数のサイトでの検索・比較GPT-6.1 Sol の成功回数が多い2/2, 181.1 s, $0.2691/2, 170.1 s, $0.034
臨床試験と医薬品の添付文書を対応付ける少数のサイトでの検索・比較GPT-6.1 Sol の成功回数が多い2/2, 338.8 s, $0.4871/2, 293.6 s, $0.052
六作品の映画の興行収入を照合少数のサイトでの検索・比較成功回数は同じ・より低速2/2, 189.2 s, $0.2092/2, 210.5 s, $0.028
講義・コード・論文から学習ノートを作成少数のサイトでの検索・比較同じ成功回数を低コストで2/2, 215.6 s, $0.4222/2, 232.5 s, $0.041
MDN と Can I use でウェブ機能を確認少数のサイトでの検索・比較成功回数は同じ・より低速2/2, 161.8 s, $0.1972/2, 430.5 s, $0.049
Wayback の保存ページから API 料金を確認調査と統合DeepSeek V4.1 Flash の成功回数が多い0/2, 410.4 s, $0.3002/2, 1111.2 s, $0.065
ARC Prize ランキングのグラフ調査と統合成功回数は同じ・より低速2/2, 197.0 s, $0.2472/2, 341.1 s, $0.081
週次の AI まとめの主張 10 件を検証調査と統合GPT-6.1 Sol の成功回数が多い2/2, 184.3 s, $0.3310/2, 307.3 s, $0.059
中国のモデル API 五つで月額料金を比較調査と統合成功回数は同じ・より低速2/2, 205.8 s, $0.3442/2, 278.6 s, $0.055
最先端モデル 8 件の EU AI 法に基づく開示を監査調査と統合両モデルとも成功なし0/2, 555.1 s, $1.0070/2, 530.4 s, $0.126
六つの変更履歴から 9 月公開の API モデルを一覧化調査と統合GPT-6.1 Sol の成功回数が多い2/2, 148.2 s, $0.2601/2, 378.5 s, $0.078
EU の計算量しきい値を超えるモデル調査と統合GPT-6.1 Sol の成功回数が多い2/2, 94.0 s, $0.0951/2, 170.2 s, $0.034
GLM 5.3 向けの OpenRouter エンドポイントを選定調査と統合成功回数は同じ・より低速2/2, 222.2 s, $0.3052/2, 363.4 s, $0.067
六つの要件に合う、ドイツの保険金請求向けモデルを選定調査と統合DeepSeek V4.1 Flash の成功回数が多い1/2, 155.3 s, $0.2612/2, 285.0 s, $0.057
6 つの料金ページでサポートチケット業務の費用を計算調査と統合成功回数は同じ・より低速1/2, 334.8 s, $0.5591/2, 399.2 s, $0.101
LiveBench の一回のリリースを確認調査と統合DeepSeek V4.1 Flash の成功回数が多い0/2, 67.8 s, $0.1292/2, 215.3 s, $0.050
Wikipedia の表の出典をたどる調査と統合GPT-6.1 Sol の成功回数が多い2/2, 286.6 s, $0.2220/2, 514.5 s, $0.060
クラブの新加入 8 件を X とクラブのサイトで照合X の投稿を他の情報源と照合GPT-6.1 Sol の成功回数が多い2/2, 1099.5 s, $1.4850/2, 2198.8 s, $0.080
製品発表 8 件の X 投稿をプレスリリースと照合X の投稿を他の情報源と照合GPT-6.1 Sol の成功回数が多い2/2, 583.1 s, $0.7250/2, 1451.6 s, $0.086
8 大学のノーベル賞に関する X 投稿X の投稿を他の情報源と照合GPT-6.1 Sol の成功回数が多い2/2, 790.7 s, $0.8351/2, 2557.1 s, $0.117
オープンソースプロジェクト 8 件のセキュリティ発表を X とアドバイザリで照合X の投稿を他の情報源と照合成功回数は同じ・より低速2/2, 426.5 s, $0.7242/2, 1306.2 s, $0.117
X 上の SpaceX の打ち上げ投稿を Wikipedia と照合X の投稿を他の情報源と照合成功回数は同じ・より低速2/2, 156.2 s, $0.1662/2, 841.3 s, $0.044
11 気象機関の 2025 年の気候に関する発表8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い1/2, 616.5 s, $1.0760/2, 556.2 s, $0.120
8 空港の 2025 年の利用状況8 サイト以上から同じ項目を収集成功回数は同じ・より低速1/2, 609.4 s, $1.0151/2, 750.7 s, $0.127
9 リーグの 2025-26 シーズンの優勝チーム8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 577.7 s, $1.1930/2, 798.0 s, $0.110
8 つのブランドサイトでカメラ 8 機種を確認8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 381.1 s, $0.5111/2, 540.1 s, $0.083
開発者調査 8 件8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 348.6 s, $0.5850/2, 537.0 s, $0.122
電気 SUV 9 車種8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 557.3 s, $1.1110/2, 620.2 s, $0.104
オープンウェイトモデル 9 件8 サイト以上から同じ項目を収集成功回数は同じ・より低速1/2, 448.1 s, $0.7031/2, 548.0 s, $0.110
SaaS ベンダー 9 社のコンプライアンス8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い1/2, 434.7 s, $0.5980/2, 452.0 s, $0.081
9 規格の現行版8 サイト以上から同じ項目を収集成功回数は同じ・より低速2/2, 282.9 s, $0.6752/2, 386.3 s, $0.059
9 ブランドの旗艦スマートフォン8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 439.4 s, $0.6200/2, 509.0 s, $0.077
CI サービス 9 件の無料枠8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 350.6 s, $0.5250/2, 617.3 s, $0.118
サーバーレスプラットフォーム 9 件の無料枠8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 209.9 s, $0.3191/2, 390.7 s, $0.077
開発者カンファレンス 9 件の基調講演8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 429.1 s, $0.5860/2, 949.7 s, $0.114
9 地域の直近の選挙8 サイト以上から同じ項目を収集両モデルとも成功なし0/2, 582.7 s, $1.1140/2, 625.3 s, $0.120
9 つの言語ランタイムの最新リリース8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 326.9 s, $0.6380/2, 464.1 s, $0.090
デスクトップブラウザー 9 件の最新安定版8 サイト以上から同じ項目を収集成功回数は同じ・より低速2/2, 263.2 s, $0.5102/2, 552.6 s, $0.104
フロントエンドフレームワーク 9 件の最新安定版8 サイト以上から同じ項目を収集DeepSeek V4.1 Flash の成功回数が多い0/2, 252.0 s, $0.3752/2, 425.9 s, $0.069
9 法域の最低賃金8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 520.4 s, $0.8340/2, 630.3 s, $0.088
9 つの音楽サービスにおける同じアルバム8 サイト以上から同じ項目を収集成功回数は同じ・より低速2/2, 260.6 s, $0.6602/2, 485.6 s, $0.055
10 の情報源における同じ本の各版8 サイト以上から同じ項目を収集DeepSeek V4.1 Flash の成功回数が多い1/2, 315.6 s, $0.4772/2, 498.5 s, $0.061
9 つの衝突試験プログラムにおける同じ車種8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い1/2, 345.1 s, $0.5240/2, 609.2 s, $0.104
8 つの規制当局の同じ医薬品に関する情報8 サイト以上から同じ項目を収集両モデルとも成功なし0/2, 52.7 s, $0.0600/2, 614.5 s, $0.117
9 機関による同じ地震の情報8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 321.3 s, $0.7500/2, 694.1 s, $0.109
8 つのレーティング機関の同じゲームに関する情報8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 496.2 s, $0.6590/2, 666.1 s, $0.092
博物館・美術館の 10 コレクションにおける同じ版画8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 465.4 s, $0.7770/2, 693.7 s, $0.098
ディストリビューションの 9 件のアドバイザリにおける同じ sudo CVE8 サイト以上から同じ項目を収集同じ成功回数を低コストで2/2, 389.0 s, $0.4872/2, 280.1 s, $0.045
ある週の首位を 9 つの全国チャートで確認8 サイト以上から同じ項目を収集成功回数は同じ・より低速2/2, 530.8 s, $0.7712/2, 631.1 s, $0.090
9 機関の第 2 四半期 GDP 初回推計8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 471.3 s, $0.9271/2, 616.9 s, $0.105
12 中央銀行の金利決定8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 374.9 s, $0.6200/2, 496.5 s, $0.109
ベンダー製品 9 バージョンのサポート日程8 サイト以上から同じ項目を収集成功回数は同じ・より低速2/2, 273.8 s, $0.3902/2, 327.4 s, $0.065
9 パッケージレジストリの protobuf ランタイム8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い1/2, 415.8 s, $0.5440/2, 566.7 s, $0.082
映画祭 9 件の最高賞8 サイト以上から同じ項目を収集GPT-6.1 Sol の成功回数が多い2/2, 628.3 s, $0.9690/2, 665.1 s, $0.093

更新履歴:2026 年 11 月 9 日に初公開。2026 年 11 月 7 日の実行結果を掲載しており、72 件のタスクを各モデルで二回ずつ試行しています。

続きを読む