DeepSeek V4.1 Flashをego-browser、agent-browser、Playwright CLIで動かし、25のWebタスクで検証しました

今回検証したpi環境でDeepSeek V4.1 Flashを使ってブラウザーを自動化するなら、完了数の多さからego-browserを選びます。全試行を対象にしたモデルの平均コストは、3ツールで近い値でした。各ツールは25のタスクを一度ずつ実行したため、ツールごとの試行数は25回です。DeepSeek V4.1 Flashはego-browserで25回中17回(68.0%)、Playwright CLIで14回(56.0%)、agent-browserで11回(44.0%)成功しました。3ツールすべてが成功した10タスクでは、タスクあたりの時間とコストはego-browserが216.8秒と$0.042、Playwright CLIが407.3秒と$0.050、agent-browserが399.4秒と$0.056でした。
ego-browserの優位は、回答まで到達した試行から生まれています。1ステップはモデルの応答一回で、100ステップを使い切っても回答しなかった試行は失敗です。DeepSeek V4.1 Flashがステップ上限に達した回数はego-browserで4回、ほかの2ツールではそれぞれ9回でした。誤答はego-browserで4回、Playwright CLIで2回、agent-browserで5回です。ページ遷移、クリック、入力をせずに現在のページを読むコマンドの割合は、agent-browserで51.9%、Playwright CLIで46.5%、ego-browserで24.4%でした。
すべての結果がego-browserに有利なわけではありません。4つのWebアプリ内ワークフローではPlaywright CLIも4つすべてに成功し、ego-browserと並びました。対象が広い仕事でのモデルの弱さは、どのツールでも解消しませんでした。9〜12サイトから同じ項目を集める7タスクでは、ego-browserで2つ、Playwright CLIで1つに成功し、agent-browserでは成功しませんでした。失敗も含む全25タスクで集計すると、タスクあたりのコストはego-browserが$0.066、Playwright CLIが$0.066、agent-browserが$0.067で、どのツールでもほぼ同じでした。
| ブラウザーツール | 成功率 | タスク当たりの平均時間 | タスク当たりの平均費用 |
|---|---|---|---|
| ego-browser | 68.0% (17/25) | 216.8 s | $0.042 |
| Playwright CLI | 56.0% (14/25) | 407.3 s | $0.050 |
| agent-browser | 44.0% (11/25) | 399.4 s | $0.056 |
各ツールは25タスクを一度ずつ実行したため、成功率の分母はツールごとの25試行です。時間とコストは、3ツールすべてが成功した10タスクの平均です。時間にはDeepSeek V4.1 Flashの待ち時間とエージェントのツール呼び出し実行時間を含め、コストは各試行のトークン使用量にDeepSeekの公表料金を適用した値です。
成功率
DeepSeek V4.1 Flashを使ったときのego-browserの成功率の高さは、100ステップ以内に回答まで到達した試行によるものです。モデルがステップ上限に達した回数はego-browserで4回、ほかの2ツールではそれぞれ9回でした。
| 試行の結果 | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| 成功 | 17 | 14 | 11 |
| 誤答 | 4 | 2 | 5 |
| ステップ上限に到達、回答なし | 4 | 9 | 9 |
| 全試行 | 25 | 25 | 25 |
25タスクについて、各ツールが各タスクを一度ずつ試行しました。ego-browserの試行日は2026年10月20日、ほかの2ツールは2026年11月5日です。ego-browserの実行には2巡目もあり、25回中18回成功しました。
モデルが回答まで到達した回数はego-browserで25回中21回、ほかの2ツールではそれぞれ16回でした。その回答が成功した割合はego-browserが21回中17回、Playwright CLIが16回中14回、agent-browserが16回中11回です。検証した構成間で最も大きかった完了状況の違いは、100ステップ以内に最終回答まで到達したかどうかでした。
スマートフォンのタスクを見ると、ステップの使われ方がわかります。9機種のフラッグシップスマートフォンについて、各ブランドの英国サイトから重量、バッテリー、画面サイズ、防水性能のコード、セキュリティ更新期間を調べる課題です。3ツールすべてで、モデルは同じ9サイトを同じ順番で訪れました。ego-browserでは64ステップ目に9番目のFairphoneを開き、70ステップ目に合格する表を提出しました。agent-browserでFairphoneに到達したのは93ステップ目、Playwright CLIでは100ステップ目で、どちらも回答を書く前にステップ上限に達しました。

結果が分かれたタスクすべてでego-browserが勝ったわけではありません。25タスク中10タスクで、3ツールの結果が異なりました。そのうちego-browserは、ほかのツールが失敗した7タスクに成功する一方、Playwright CLIが成功した3タスクに失敗しました。サーバーレスの無料枠、Wikipediaの引用追跡、MDNの確認です。ego-browserは最初のタスクではステップ上限に達し、残る2タスクでは誤答を提出しました。
仕事の種類別では、ego-browserは1〜3サイトでの情報検索と、Xの投稿をほかの情報源と照合するタスクで優勢でした。Playwright CLIはWebアプリ内ワークフローでego-browserに並び、3つの自由度の高い調査タスクでは成功数がひとつ多くなりました。
| 仕事の種類 | タスク数 | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| Webアプリ内ワークフロー | 4 | 4/4 | 4/4 | 3/4 |
| 1〜3サイトでの情報検索 | 8 | 7/8 | 5/8 | 5/8 |
| 探索的な調査 | 3 | 2/3 | 3/3 | 2/3 |
| Xの投稿をほかの情報源と照合 | 3 | 2/3 | 1/3 | 1/3 |
| 9〜12サイトから同じ項目を収集 | 7 | 2/7 | 1/7 | 0/7 |
| 全タスク | 25 | 17/25 | 14/25 | 11/25 |
各セルは成功した試行数を示します。各タスクの試行は一度です。
対象が最も広い仕事は、どのツールでも難しいままでした。9〜12サイトから同じ項目を集める7タスクでは、失敗の大半がステップ上限への到達でした。ego-browserでは失敗5回中4回、Playwright CLIでは6回中6回、agent-browserでは7回中6回です。どのツールを使うとしても、DeepSeek V4.1 Flashにこの規模の仕事は任せません。
各ツールでDeepSeek V4.1 Flashはどう動くか
ego-browserでは、DeepSeek V4.1 Flashはページへの操作と読み取りをひとつのコマンドにまとめることがより多くありました。ほかの2構成では、ページ遷移、クリック、入力をせずに現在のページを読むコマンドが多くなりました。agent-browserのREADMEでは、ページを要素ごとのrefが付いたアクセシビリティツリーとして読むと説明されています。Playwright CLIのREADMEでは、各コマンドの実行後にページのスナップショットを返すと説明されています。モデルがスナップショットを明示的に要求したコマンドの割合は、これらのツールでそれぞれ15.4%と12.6%でした。この要求数は、自動で返されるスナップショットを数えるものでも、モデルが何を読んだかを示すものでもありません。
| ブラウザーコマンド、全25試行 | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| ブラウザーコマンド | 995 | 1,474 | 1,574 |
| 同じコマンドでページ遷移、クリック、入力のいずれかを行い、その結果を読み取り | 72.3% | 39.3% | 43.3% |
| ページ遷移、クリック、入力をせずに現在のページを読み取り | 24.4% | 46.5% | 51.9% |
| モデルが書いたJavaScriptをページ内で実行 | 86.2% | 73.3% | 43.9% |
| ページのスナップショットを明示的に要求 | 8.2% | 12.6% | 15.4% |
ひとつのコマンドが複数の行に当てはまることがあります。読み取りのみの分類は、ページ遷移、クリック、入力を伴わないページ読み取りを示すもので、その情報が不要だったと断定するものではありません。
ページ遷移、クリック、入力を伴わない現在のページの読み取りは、agent-browserのコマンドの51.9%、Playwright CLIの46.5%、ego-browserの24.4%を占めました。読み取りを別に行うことで、モデルに必要な情報を取り出せる場合もあります。
スマートフォンのタスクにあるmotorola signatureのページを見ると、差の生じ方がわかります。セキュリティ更新期間は、See all the specifications(すべての仕様を見る)を操作した先にあります。ego-browserでは54ステップ目のひとつのスクリプトでページを読み込み、その項目をクリックしてテキストを読み、55ステップ目に「6年以上(06/2032まで)」を見つけました。このサイトで使ったのは6ステップです。Playwright CLIではページ内JavaScriptを繰り返し実行して仕様パネルの内容を取り出し、12ステップを使いました。そのうち9ステップは読み取りだけでした。agent-browserでは仕様データを探すためにページのHTMLソースを検索し、21ステップを使いました。そのうち12ステップは読み取りだけでした。

スマートフォンのタスクでは、その試行でego-browserのステップ数が少なかったことがわかります。コマンド数が示すのは記録された動作であり、構成ごとの完了タスク数が異なった理由を切り分けたものではありません。
速度
3構成すべてが成功した10タスクでは、ego-browserの平均時間が最短でした。この10タスクのタスクあたりの時間は、ego-browserが216.8秒、Playwright CLIが407.3秒、agent-browserが399.4秒でした。ego-browserは10タスク中8タスクで3ツール中最速で、ほかのツールと個別に比べると、それぞれ9タスクで速くなりました。
| タスクあたりの時間、3ツールすべてが成功した10タスク | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| モデルの待ち時間 | 39.2 s | 63.1 s | 79.8 s |
| ツール呼び出しの実行時間 | 177.6 s | 344.2 s | 319.6 s |
| 合計 | 216.8 s | 407.3 s | 399.4 s |
| タスク当たりのツール呼び出し | 35.2 | 54.0 | 63.3 |
| ツール呼び出しあたりの秒数 | 5.0 | 6.4 | 5.0 |
ego-browserの試行日は2026年10月20日、ほかの2ツールの試行日は2026年11月5日です。
記録された時間差の大半は、ツールの実行時間にあります。構成によってツール呼び出し数が異なり、Playwright CLIでは呼び出しあたりの平均時間も異なりました。呼び出しあたりの時間はego-browserとagent-browserがどちらも約5.0秒、Playwright CLIが6.4秒です。タスクあたりのツール呼び出しはego-browserが35.2回、ほかは54.0回と63.3回でした。呼び出しが少ないとモデルの応答も少なくなるため、モデルの待ち時間は63.1秒、79.8秒に対して39.2秒に減りました。
今回の実行では、ego-browserはタスクあたりPlaywright CLIより190.5秒、agent-browserより182.6秒速く、エージェントの結果を待つ人には体感できる差です。例外は2つで、興行収入のタスクではPlaywright CLI、講義ノートのタスクではagent-browserが最速でした。
費用
記載したモデル料金では、ego-browserの構成は全ツール共通で成功した10タスクの平均コストが低い一方、全試行の平均コストは3構成で近い値でした。この10タスクのタスクあたりのコストはego-browserが$0.042、Playwright CLIが$0.050、agent-browserが$0.056でした。全試行のコストを成功数で割った成功試行あたりのコストは、ego-browserが$0.097、Playwright CLIが$0.117、agent-browserが$0.153です。
料金はどのツールでも同じなので、差はすべて各実行で使ったトークン数によるものです。ステップが増えるたびに、それまでの対話がモデルに再送され、DeepSeekはこれをキャッシュ読み取りとして課金します。3ツールすべてが成功した10タスクで、モデルがタスクあたりに読み取ったキャッシュトークンはego-browserが113万、Playwright CLIが188万、agent-browserが244万でした。出力トークン数はそれぞれ19,461、21,562、22,957です。
タスクあたり数セントなので、このモデルではコストがツール選びの決め手にはなりません。全25試行の合計コストはego-browserが$1.65、Playwright CLIが$1.64、agent-browserが$1.68でした。したがって、ego-browserの成功数の多さは、より多くの費用を使った結果ではありません。
DeepSeek V4.1 Flashにはどのブラウザーツールを使うか
今回検証したタスク構成とpi環境なら、ego-browserを選びます。25回中17回と成功数が最も多く、3ツールすべてが成功した10タスクではタスクあたり216.8秒で、ほかの約400秒より速く、コストも最低でした。
エージェントの仕事が主にひとつのWebアプリ内で完結するなら、Playwright CLIも有力な選択肢です。ego-browserと同じく、4つのWebアプリ内ワークフローすべてに成功しました。最も気になるのがコストなら、ツールを替えても大きくは変わりません。全25タスクでは、どのツールでもタスクあたり$0.066〜$0.067でした。9サイト以上から同じ項目を集める仕事では、成功が7タスク中2、1、0にとどまり、どのツールもモデルを頼れる状態にはできませんでした。
検証環境では、piエージェントでDeepSeek V4.1 Flash(deepseek-flash)の推論の強度を高く設定して使い、ブラウザーツールのskillファイルを読み込みました。ego-browserはego(lite)と一緒に提供され、エージェントはego-browserを通じてego(lite)を操作します。
この比較における ego(lite) の役割
ego-browser構成のブラウザーはego(lite)で、ほかの2構成ではChromeを使いました。DeepSeek V4.1 Flashがモデル、piがエージェントを担います。ego-browser 連携ガイドで、この構成の中でのブラウザーツールの役割を説明しています。
構成ごとにブラウザーツール、指示、実行日が異なります。記録された結果から選ぶ際は、これらの条件を踏まえてください。共通で成功した10タスクは時間とコストの比較を支えるもので、残る15タスクを完了する費用や、未検証のエージェントでの結果を示すものではありません。
よくある質問
DeepSeek V4.1 Flashに最適なブラウザー自動化ツールはどれですか?
今回のテストではego-browserです。DeepSeek V4.1 Flashはego-browserで25回中17回、Playwright CLIで14回、agent-browserで11回成功しました。3ツールすべてが成功した10タスクでは、タスクあたり216.8秒で、407.3秒、399.4秒よりも短くなりました。4つのWebアプリ内ワークフローではPlaywright CLIもego-browserに並びました。
DeepSeek V4.1 Flashのブラウザー操作能力はどの程度ですか?
今回の25のWebタスクでは、DeepSeek V4.1 Flashの試行成功率はツールによって44.0%〜68.0%でした。最も得意だったのはWebアプリ内の仕事で、ego-browserとPlaywright CLIでは4タスク中4タスクに成功しました。最も苦手だったのは9〜12サイトから同じ項目を集める仕事で、成功数は7タスク中0〜2でした。
DeepSeek V4.1 Flashにはagent-browserとPlaywright CLIのどちらがよいですか?
Playwright CLIのほうが多く完了しました。DeepSeek V4.1 FlashはPlaywright CLIで25回中14回、agent-browserで11回成功しました。3ツールすべてが成功した10タスクでは、agent-browserがタスクあたり399.4秒と$0.056、Playwright CLIが407.3秒と$0.050でした。どちらも9回ステップ上限に達し、誤答はagent-browserが5回、Playwright CLIが2回でした。
DeepSeek V4.1 Flashが最も速くなるブラウザーツールはどれですか?
ego-browserです。3ツールすべてが成功した10タスクでは、タスクあたり216.8秒で、Playwright CLIの407.3秒、agent-browserの399.4秒より短くなりました。ほかのツールと個別に比べると、この10タスク中それぞれ9タスクで速くなっています。モデルに必要だったタスクあたりのツール呼び出しはego-browserが35.2回、Playwright CLIが54.0回、agent-browserが63.3回でした。
DeepSeek V4.1 Flashのブラウザータスクは一件いくらですか?
3ツールすべてが成功した10タスクでは、DeepSeekの公表料金に基づくDeepSeek V4.1 Flashのコストはタスクあたり$0.042〜$0.056でした。失敗も含めた全25タスクでは、どのツールでもタスクあたり$0.066〜$0.067でした。成功試行あたりではego-browserが$0.097、Playwright CLIが$0.117、agent-browserが$0.153です。
DeepSeek V4.1 Flashがブラウザータスクに失敗するのはなぜですか?
今回の実行でのDeepSeek V4.1 Flashの失敗は、多くが回答のないまま100ステップを使い切るものでした。ego-browserでは失敗8回中4回、Playwright CLIでは11回中9回、agent-browserでは14回中9回です。残りは誤答で、それぞれ4回、2回、5回でした。ステップ上限への到達は、9〜12サイトから同じ項目を集めるタスクで最も多く見られました。
DeepSeek V4.1 Flashはフォーム入力やWebアプリ内ワークフローを完了できますか?
はい。DeepSeek V4.1 Flashはego-browserとPlaywright CLIで4つのWebアプリ内ワークフローすべてに成功し、agent-browserでは4つ中3つに成功しました。出張規程に沿った旅行の予約や、発注点に基づく購買注文の作成などです。agent-browserが失敗した旅行予約の試行は、ステップ上限に達しました。
DeepSeek V4.1 Flashは多数のWebサイトから同じデータを集められますか?
安定して任せられる状態ではありません。9〜12サイトから同じ項目を集める7タスクでは、DeepSeek V4.1 Flashはego-browserで2つ、Playwright CLIで1つに成功し、agent-browserでは成功しませんでした。そこでの失敗の大半は、回答前のステップ上限への到達でした。1〜3サイトでの情報検索はより良い結果で、ego-browserでは8タスク中7タスクに成功しました。
DeepSeek V4.1 Flashはどのくらいの頻度でページのスナップショットを明示的に要求しましたか?
スナップショットの明示的な要求は、agent-browserのコマンドの15.4%、Playwright CLIの12.6%に見られました。Playwright CLIは各コマンドの後にスナップショットを自動で返すため、明示的な要求数だけではモデルが受け取ったスナップショットの総量はわかりません。
DeepSeek V4.1 Flashが回答を提出したとき、どのくらい正解しますか?
DeepSeek V4.1 Flashの回答は、ego-browserでは21回中17回、Playwright CLIでは16回中14回、agent-browserでは16回中11回成功しました。ツール間の違いがより大きかったのは、モデルが100ステップ以内に回答まで到達する頻度です。ego-browserでは25回中21回、ほかの2ツールではそれぞれ16回でした。
検証方法
macOSが動く同じMac上で、3種類のブラウザーツール構成を使ってDeepSeek V4.1 Flashを比較しました。ego-browserの試行日は2026年10月20日、agent-browserとPlaywright CLIの試行日は2026年11月5日です。
モデルはDeepSeek V4.1 Flash(モデルID:deepseek-flash)で、推論の強度を高く設定し、read、write、edit、bashツールを備えたpiエージェントで動かしました。エージェントには、各ブラウザーツール専用のskillファイルを渡しました。各試行の上限は100ステップ、60分です。
比較には、3構成すべてで初回試行の記録がそろう25タスクを使いました。アルバムと最低賃金のタスクには後日の差し替え試行があり、カメラのタスクはアーカイブされた実行間で定義が異なります。この3タスクはすべての構成から除外しました。ツールのバージョンはego-browser 2.1.0、agent-browser 0.39.1、Playwright CLI 0.1.22です。ego-browserはego(lite)を操作します。モデルがJavaScriptのスクリプトを書き、ego-browserで実行し、スクリプトの出力を読みます。agent-browserとPlaywright CLIはChromeを操作し、モデルはbash経由でコマンドを実行しました。agent-browserは要求すると要素のref付きページスナップショットを返し、Playwright CLIは各コマンドの後にスナップショットを書き出します。
各ツールは各タスクを一度ずつ試行し、各結果はその実行で記録された当該タスクの初回試行です。ego-browserの実行には2巡目もあり、25回中18回成功しました。すべてのツールで試行数をそろえるため、ここでは初回の結果を報告しています。
実際のWebサイトと、試行ごとに新しいデータを投入したテスト用Webアプリで25タスクを実行しました。各タスクは、もともと作成されたタスク群に基づき、次の仕事の種類のいずれかひとつに属します。
- Webアプリ内ワークフロー(4タスク)。例:出張規程に沿った旅行の予約。
- 1〜3サイトでの情報検索(8タスク)。例:ClinicalTrials.govの臨床試験をDailyMedの医薬品添付文書と対応づける。
- 自由度の高い調査(3タスク)。例:ARC Prizeのリーダーボードのグラフからスコアとコストを読み取る。
- Xの投稿をほかの情報源と照合(3タスク)。例:Xにある一週間分のSpaceXの打ち上げに関する投稿をWikipediaと照合する。
- 9〜12サイトから同じ項目を収集(7タスク)。例:12中央銀行の2026年最初の金利決定。
各タスクには4〜11の採点項目があります。大半は固定値です。Webアプリの項目はその試行に投入したデータに基づき、航空券検索のタスクでは実際のサイトと照合します。すべての項目が正しい場合に限って試行は成功し、最終回答がなければ全項目を不正解とします。
試行は、タスクを新しい状態から一度実行することです。成功率は成功した試行数に基づきます。ステップはモデルの応答一回です。ツール呼び出しは、ファイルの書き込みやbashコマンドなど、モデルが実行するコマンド一回を指し、ほぼすべてのステップにひとつ含まれます。ブラウザーコマンドはブラウザーを操作するツール呼び出しで、ego-browserのスクリプトひとつ、またはagent-browserかPlaywright CLIを実行するbashのコマンド行ひとつです。
ページ遷移、クリック、入力を伴わないページ読み取りコマンド、操作と読み取りを組み合わせたコマンド、明示的なスナップショット要求、モデルが書いたJavaScriptを動かすコマンドを数えました。分母は、そのツールの25試行に含まれるすべてのブラウザーコマンドです。スマートフォンのタスクでのサイトあたりのステップ数は、モデルがそのサイトを初めて開いてから次のサイトを開くまでを数えています。
時間はモデルの待ち時間とツール呼び出しの実行時間の合計で、DeepSeekのAPIを待つ時間を含みます。速度とコストは、3ツールすべてが成功した10タスクで比較します。コストは各試行のトークン使用量にDeepSeekのピーク時間帯の定価を適用した値です。入力は100万トークンあたり$0.30、キャッシュ読み取りは100万トークンあたり$0.006、出力は100万トークンあたり$1.20です。オフピーク時間帯の料金はこの半額です。成功試行あたりのコストは、全25試行のコストを成功試行数で割って求めます。
全タスクの結果
各セルは、そのツールによる当該タスクの一度の試行を示します。結果、時間(DeepSeekのAPIからモデルの応答を待つ時間とツール呼び出しの実行時間の合計、単位は秒)、コスト(米ドル)を記載しています。
| タスク | 仕事の種類 | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| 規程に沿った旅行を予約 | Webアプリ内ワークフロー | 成功, 168.5 s, $0.040 | 成功, 172.0 s, $0.034 | ステップ上限に到達, 516.6 s, $0.072 |
| サービスの監視設定を基準に合わせる | Webアプリ内ワークフロー | 成功, 126.8 s, $0.035 | 成功, 161.5 s, $0.032 | 成功, 371.1 s, $0.060 |
| 請求書と支払いを照合し、異議申し立てを開始 | Webアプリ内ワークフロー | 成功, 209.0 s, $0.052 | 成功, 248.5 s, $0.048 | 成功, 721.4 s, $0.061 |
| 発注点に基づいて購買注文を作成 | Webアプリ内ワークフロー | 成功, 126.6 s, $0.019 | 成功, 130.5 s, $0.021 | 成功, 333.5 s, $0.036 |
| 3機種のMacノートブックを比較 | 1〜3サイトでの情報検索 | 成功, 246.6 s, $0.071 | 成功, 464.0 s, $0.088 | 成功, 295.1 s, $0.069 |
| 6本の映画の興行収入を照合 | 1〜3サイトでの情報検索 | 成功, 148.8 s, $0.040 | 成功, 139.1 s, $0.024 | 成功, 208.4 s, $0.029 |
| 英国四社の KYC 情報のスナップショット | 1〜3サイトでの情報検索 | 成功, 67.0 s, $0.031 | 誤答, 252.9 s, $0.048 | 誤答, 170.2 s, $0.044 |
| 臨床試験を医薬品添付文書と対応づける | 1〜3サイトでの情報検索 | 成功, 208.9 s, $0.056 | 誤答, 242.6 s, $0.054 | 成功, 284.7 s, $0.049 |
| FREDのインフレ指標をBLSと照合 | 1〜3サイトでの情報検索 | 成功, 79.6 s, $0.030 | 成功, 238.5 s, $0.037 | 成功, 198.6 s, $0.027 |
| 航空券検索サイトで最安のノンストップ便運賃を検索 | 1〜3サイトでの情報検索 | 成功, 525.4 s, $0.079 | ステップ上限に到達, 2136.3 s, $0.076 | ステップ上限に到達, 912.6 s, $0.080 |
| MDN と Can I use のウェブ機能 | 1〜3サイトでの情報検索 | 誤答, 196.7 s, $0.051 | 成功, 181.9 s, $0.036 | 誤答, 157.9 s, $0.036 |
| 講義、コード、論文から学習ノートを作成 | 1〜3サイトでの情報検索 | 成功, 503.1 s, $0.043 | 成功, 1289.0 s, $0.085 | 成功, 423.1 s, $0.036 |
| ARC Prizeのリーダーボードのグラフを読む | 探索的な調査 | 成功, 125.4 s, $0.068 | 成功, 227.0 s, $0.066 | 成功, 390.5 s, $0.122 |
| EU の計算量のしきい値を超えるモデル | 探索的な調査 | 成功, 57.6 s, $0.036 | 成功, 87.9 s, $0.027 | 成功, 216.9 s, $0.063 |
| Wikipedia の表の情報源をたどる | 探索的な調査 | 誤答, 168.5 s, $0.053 | 成功, 316.0 s, $0.064 | 誤答, 435.7 s, $0.092 |
| 8つのオープンソースプロジェクトのX上のセキュリティ投稿をアドバイザリーと照合 | Xの投稿をほかの情報源と照合 | 成功, 1128.3 s, $0.123 | ステップ上限に到達, 1321.6 s, $0.102 | ステップ上限に到達, 1467.7 s, $0.096 |
| 8 件の製品発表:X の投稿とプレスリリースの照合 | Xの投稿をほかの情報源と照合 | 誤答, 1011.8 s, $0.090 | ステップ上限に到達, 778.1 s, $0.071 | 誤答, 753.7 s, $0.092 |
| SpaceX の打ち上げに関する X の投稿と Wikipedia の照合 | Xの投稿をほかの情報源と照合 | 成功, 544.1 s, $0.029 | 成功, 1086.8 s, $0.071 | 成功, 835.3 s, $0.057 |
| 12 の中央銀行の金利決定 | 9〜12サイトから同じ項目を収集 | 誤答, 339.0 s, $0.121 | ステップ上限に到達, 397.0 s, $0.073 | ステップ上限に到達, 423.1 s, $0.082 |
| 9つの開発者カンファレンスの基調講演 | 9〜12サイトから同じ項目を収集 | ステップ上限に到達, 814.3 s, $0.142 | ステップ上限に到達, 561.5 s, $0.098 | ステップ上限に到達, 551.0 s, $0.071 |
| 9車種の電動SUV | 9〜12サイトから同じ項目を収集 | ステップ上限に到達, 478.8 s, $0.101 | ステップ上限に到達, 522.8 s, $0.083 | ステップ上限に到達, 737.8 s, $0.074 |
| 9 つのオープンウェイトモデル | 9〜12サイトから同じ項目を収集 | 成功, 420.2 s, $0.108 | ステップ上限に到達, 572.8 s, $0.109 | ステップ上限に到達, 529.5 s, $0.109 |
| 9ブランドのフラッグシップスマートフォン | 9〜12サイトから同じ項目を収集 | 成功, 354.4 s, $0.069 | ステップ上限に到達, 552.4 s, $0.082 | ステップ上限に到達, 521.6 s, $0.071 |
| 9 社の SaaS ベンダーのコンプライアンス | 9〜12サイトから同じ項目を収集 | ステップ上限に到達, 411.8 s, $0.072 | ステップ上限に到達, 863.8 s, $0.114 | ステップ上限に到達, 661.6 s, $0.071 |
| 9つのサーバーレスプラットフォームの無料枠 | 9〜12サイトから同じ項目を収集 | ステップ上限に到達, 396.3 s, $0.089 | 成功, 337.3 s, $0.100 | 誤答, 494.7 s, $0.081 |
