GPT-6.1 Sol 搭配三款瀏覽器工具的表現

15 分鐘閱讀
GPT-6.1 Sol 瀏覽器工具基準測試封面:淡藍色背景上的水彩花卉

我們會把透過 ego-browser 在 ego(lite) 中執行 GPT-6.1 Sol 設為預設方案。它完成了 28 項留存任務中的 27 項,agent-browser 完成 23 項,playwright-cli 完成 22 項;在三款工具都完成的 18 項任務上,它也是最快的工具。不過,它並非在每個成本指標上都最便宜:playwright-cli 的單次執行支出更低,而且通過了一項 ego-browser 未通過的航班搜尋任務。

GPT-6.1 Sol 搭配不同瀏覽器工具時,差距最大的是多網站資料收集,也就是一項任務要從多個官方來源擷取相同欄位。ego-browser 通過了全部十項,agent-browser 通過六項,playwright-cli 通過七項。在三項研究與綜合任務,以及測試應用程式內的四項網頁應用程式自動化任務上,ego-browser、agent-browser 與 playwright-cli 的完成情況相同,因此這兩類工作的選擇取決於速度與成本。

在我們的設定下,ego-browser 的完成情況與速度領先,而 playwright-cli 的平均單次執行成本最低,為 $0.4182。較高的通過率讓 ego-browser 的每項成功任務成本最低,為 $0.4646;在 18 項共同成功任務上,其平均成本與 playwright-cli 相差 5.4%。

本次測試的其他變數在所有嘗試中維持不變,因此下文的差異來自執行瀏覽操作的工具。一次嘗試,是該工具首輪基準測試中某項任務的一筆留存執行紀錄。

瀏覽器工具成功率每項任務的平均耗時每項任務的平均記錄成本
ego-browser96.4% (27/28)246.7 s$0.3352
agent-browser82.1% (23/28)452.5 s$0.4702
playwright-cli78.6% (22/28)399.9 s$0.3542

成功率以每款工具的 28 次留存嘗試計算。時間與成本採用三款工具都通過的同一組 18 項任務。成本是按用量計價的執行紀錄,單位為美元。ego-browser 那一列使用其 2026 年 11 月 7 日測試版本的結果,其餘列使用 2026 年 11 月 5 日的執行結果。

成功率

成功率長條圖,刻度範圍為零到百分之 100:ego-browser 為 96.4% (27/28),agent-browser 為 82.1% (23/28),playwright-cli 為 78.6% (22/28)。

ego-browser 的成功率最高,而我們最願意優先為完成任務付費,因為只要少了一個欄位,就得回頭重新查資料。它通過了 28 項任務中的 27 項,比 agent-browser 多四項,而且 agent-browser 完成的任務它全部都通過了。ego-browser 通過了六項 playwright-cli 未通過的任務,playwright-cli 則通過了一項 ego-browser 未通過的任務。Playwright-cli 也通過了全部八項搜尋與比較任務,而 ego-browser 通過七項。

Agent-browser 有兩種失敗方式:三份答案帶有錯誤或缺漏的欄位值,另有兩次嘗試結束時未給出最終答案。Playwright-cli 的六次失敗中,有五次漏掉了必要的欄位值。其中三次發生在 X 貼文任務,它回報無法取得時間戳記;agent-browser 則通過了全部三個 X 貼文任務。

另外兩個缺漏值分別是:專輯任務中 Qobuz 的曲目數,這項任務 ego-browser 已完成;以及開放模型比較中 Phi-4 的訓練 token 數。

在一項航班搜尋比較任務中,GPT-6.1 Sol 搭配 ego-browser 回報的票價,高於相同設定下先前已經看到的較低價格,因此答案未達任務的驗收條件,而 playwright-cli 的那次嘗試通過了。即使表格填得完整,其中仍可能有一個值會改變你的決定。

速度

在速度方面,ego-browser 將三款工具都通過的 18 項任務的等待時間縮短了近一半。它平均每項任務耗時 246.7 秒,比 agent-browser 少 45.5%,比 playwright-cli 少 38.3%。逐項比較時,它在這 18 項任務中的 15 項上快於 agent-browser,在 17 項上快於 playwright-cli。

同一組 18 項三款工具共同成功任務的平均經過時間:ego-browser 為 246.7 秒,agent-browser 為 452.5 秒,playwright-cli 為 399.9 秒。藍色與灰色長條都從零開始。

在相同工作上,GPT-6.1 Sol 使用的工具呼叫更少;一次工具呼叫,就是向工具發出一次請求。搭配 ego-browser 時,每項任務平均呼叫 28.1 次;搭配 agent-browser 為 44.1 次,搭配 playwright-cli 為 36.8 次。ego-browser 的工具執行耗時為 84.4 秒,agent-browser 為 210.0 秒,playwright-cli 為 215.6 秒。

相機任務呈現了日常工作上的差距:三款工具都完成了八個相機品牌的比較。GPT-6.1 Sol 搭配 ego-browser 耗時 330.2 秒,搭配 agent-browser 為 597.2 秒,搭配 playwright-cli 為 598.5 秒;為了取得同樣通過驗收的結果,分別使用 29、57 與 54 次工具呼叫。

ego(lite) 在相機規格比較期間顯示 Canon Canada 網站,畫面上帶有 Agent in control 提示層。

成本

ego-browser 在不犧牲完成率的情況下,成本低於 agent-browser。在 18 項共同成功任務上,它便宜了 28.7%,其中 15 項任務的成本較低;模型維持不變,每項任務的工具呼叫也更少。

在共同成功任務的成本上,Playwright-cli 與 ego-browser 夠接近,我們不會只憑這個數字在兩者之間作選擇。兩者的平均成本相差 5.4%;ego-browser 在十項任務上較便宜,playwright-cli 在八項上較便宜。一旦把失敗算進來,ego-browser 每次成功嘗試的已記錄成本就低於 playwright-cli,分別為 $0.4646 與 $0.5322。

所有嘗試的平均成本,與每項成功任務的成本,回答的是不同問題,因此我們兩項都保留。前者顯示單次執行產生的成本;後者把已記錄的總支出(包含失敗)除以通過次數。

瀏覽器工具全部 28 次嘗試中每項任務的平均記錄成本每次成功嘗試的記錄成本
ego-browser$0.4480$0.4646
agent-browser$0.5938$0.7229
playwright-cli$0.4182$0.5322

這些數字採用同一組首輪執行紀錄:ego-browser 是 2026 年 11 月 7 日,其他工具是 2026 年 11 月 5 日。它們是按用量計價的紀錄,不包含評估成本,也不包含留存資料列中未記載的先前重試費用,並非已核實的帳單。

Playwright-cli 的單次執行成本最低,為 $0.4182。ego-browser 每次成功嘗試的已記錄成本最低,為 $0.4646,因為它有較多次執行符合全部要求。這兩個數字都不表示 ego-browser 在每項任務上都最便宜。

多網站資料收集

當 GPT-6.1 Sol 必須從多個官方來源收集相同欄位時,ego-browser 是最明確的選擇。它通過了全部十項任務,agent-browser 通過六項,playwright-cli 通過七項,差距比整體比較更大。

瀏覽器工具多網站資料收集成功率
ego-browser100.0% (10/10)
agent-browser60.0% (6/10)
playwright-cli70.0% (7/10)

這一組採用與概覽相同的首輪執行紀錄:ego-browser 是 2026 年 11 月 7 日,其餘兩款工具是 2026 年 11 月 5 日。

依 ego-browser、agent-browser、playwright-cli 排列的熱度圖。多網站收集:10 項中通過 10 項、10 項中通過 6 項、10 項中通過 7 項。搜尋與比較:8 項中通過 7 項、8 項中通過 7 項、8 項中通過 8 項。社群查核:3 項中通過 3 項、3 項中通過 3 項、3 項中通過 0 項。研究與綜合:三款工具均為 3 項中通過 3 項。網頁應用程式自動化:三款工具均為 4 項中通過 4 項。每個儲存格的顏色映射範圍都是零到百分之 100。

當每一列都必須填妥時,相差三、四項任務,就決定了整張表是否可用。這十項任務涵蓋中央銀行決策、產品規格與 SaaS 合規比較。

SaaS 任務說明了為什麼填有內容的儲存格仍可能出錯。任務要求截至 2026 年 9 月 30 日的認證狀態,但 agent-browser 與 playwright-cli 都將 Smartsheet 記為已獲認證,而所需的狀態其實是認證進行中。ego-browser 的那次嘗試則正確對應了比較中的每個欄位。

我們會選哪款工具

為了交付完整的研究成果,尤其是多網站資料收集,我們會透過 pi,將推理強度設為 high 的 GPT-6.1 Sol 與 ego-browser 搭配使用。這項組合的完成率最高,在共同成功任務上的等待時間最短,成本低於 agent-browser,而且接近 playwright-cli。

如果最重視執行成本,或工作屬於搜尋與比較,我們會繼續使用 playwright-cli。它通過了這類任務的全部八項,ego-browser 與 agent-browser 各通過七項,因此這八項任務並未提供替換現有可用 playwright-cli 設定的理由。

Agent-browser 比 playwright-cli 多通過一項任務,但已記錄成本較高,所以光憑總通過數,還不足以成為優先選擇它的有力理由。在三個 X 貼文任務上,它全部通過,playwright-cli 則全部未通過;這解釋了整體差一項任務的重要成因之一。

常見問題

GPT-6.1 Sol 搭配哪款瀏覽器工具通過的嘗試最多?

ego-browser 完成得最多,在 28 次留存嘗試中通過 27 次,agent-browser 通過 23 次,playwright-cli 通過 22 次。模型、pi 智能體執行框架與任務維持不變;每款工具都從首輪執行中,為每項任務提供一筆留存執行紀錄。比 agent-browser 多通過的四項任務,都來自多網站資料收集。

GPT-6.1 Sol 搭配哪款瀏覽器工具最快?

ego-browser 最快,在三款工具都通過的 18 項任務上,平均每項耗時 246.7 秒。使用相同模型時,agent-browser 平均為 452.5 秒,playwright-cli 為 399.9 秒。ego-browser 也在 15 項任務上快於 agent-browser,在 17 項上快於 playwright-cli,所以平均值反映的是廣泛的領先。

GPT-6.1 Sol 每項瀏覽器任務的成本是多少?

在 18 項共同成功任務上,GPT-6.1 Sol 搭配 ego-browser 的平均記錄成本為 $0.3352,搭配 agent-browser 為 $0.4702,搭配 playwright-cli 為 $0.3542。若計算全部 28 次嘗試,平均值依序為 $0.4480、$0.5938 與 $0.4182。這些是按用量計價的執行紀錄,並非已核實的帳單,而且未包含評估成本。

平均單次執行最便宜,也就代表每次成功嘗試的成本最低嗎?

Playwright-cli 的平均單次執行成本最低,為 $0.4182,但 ego-browser 每次成功嘗試的已記錄成本最低,為 $0.4646。Agent-browser 每次成功嘗試的成本為 $0.7229,playwright-cli 為 $0.5322。我們將每款工具在 28 次嘗試中的已記錄總支出(包含失敗)除以其通過次數。

ego-browser 每項任務都勝過 playwright-cli 嗎?

ego-browser 通過了 6 項 playwright-cli 未通過的任務,但 playwright-cli 也通過了 1 項 ego-browser 未通過的任務。這個反例是一項航班搜尋比較:GPT-6.1 Sol 搭配 ego-browser 回報的票價,高於另一個符合條件的較低價格。即使模型交回了一張表格,我們仍將那個答案計為失敗。

多網站資料收集會選哪款工具?

對於 GPT-6.1 Sol 的多網站資料收集,我們會選 ego-browser,它通過了全部 10 次嘗試。在相同任務上,agent-browser 通過六次,playwright-cli 通過七次。SaaS 比較顯示完成品質為何重要:另外兩款工具都針對指定時點,使用了錯誤的認證狀態。

搜尋與比較工作,我們會替換 playwright-cli 嗎?

在這 8 項搜尋與比較任務中,playwright-cli 全部 8 項都通過了,因此我們不會因為完成情況而替換它。ego-browser 與 agent-browser 各通過其中 7 項。速度比較偏向 ego-browser,所以在這組任務中,等待時間才是考慮更換工具的較有力理由。

多通過一項任務,就讓 agent-browser 比 playwright-cli 更值得選嗎?

Agent-browser 通過 23 項、playwright-cli 通過 22 項,並未構成整體上優先選擇前者的有力理由。Agent-browser 在共同成功任務上的成本也較高,平均每項為 $0.4702,playwright-cli 則為 $0.3542。兩者的結果因任務而異,例如三個 X 貼文任務 agent-browser 全部通過,playwright-cli 則全部未通過,因此我們會按工作類型選工具。

三款瀏覽器工具在研究與網頁應用程式任務上的結果相同嗎?

三款工具都通過了 3 項研究與綜合任務,以及測試應用程式內的 4 項網頁應用程式自動化任務。這些結果不足以讓我們在任一組內排出優劣。我們偏好 ego-browser,依據的是等待時間與已記錄成本,而不是這 7 項任務上的完成優勢。

改用 ego-browser 的第二輪結果,會改變整體選擇嗎?

ego-browser 在第二輪通過了相同 28 項任務中的 26 項,而 agent-browser 與 playwright-cli 仍採用首輪通過 23 項與 22 項的結果。它在 18 項共同成功任務上的平均耗時為 252.4 秒,另外兩款工具依序為 452.5 秒與 399.9 秒。我們保留首輪作為主要結果,不會把 ego-browser 的兩輪結果混在一起排名。

測試方法

我們分析了透過 pi 1.5.0 在 macOS 上執行、推理強度為 high 的 GPT-6.1 Sol 歷史紀錄,使用的是紀錄中的 openai-codex 路由。執行設定指定:2026 年 11 月 5 日執行時使用 agent-browser 0.39.1 與 playwright-cli 0.1.22;ego-browser 的 local-202611071027-ba90f1c 測試版本則在 2026 年 11 月 7 日執行。每套設定都使用配套的 skill 與 CLI 來觀察頁面並執行瀏覽器操作。

這 28 項任務是另外兩款工具先前都已執行過的任務,選自含有 72 項任務的 efficiency-20261019 資料集。每項任務只歸入一組:多網站資料收集、搜尋與比較、社群媒體查核、研究與綜合,或網頁應用程式自動化。

每款工具的首輪基準測試為每項任務提供一筆留存執行紀錄,因此每款工具都有 28 次嘗試。ego-browser 另外也執行了第二輪,我們分開報告。步數預算為 100 輪模型回覆,並設有 3,600 秒的最終時限。一次工具呼叫,是向工具發出一次請求;只有所有必要結果與最終交付內容都符合任務的驗收條件,才算通過。

時間與成本採用三款工具都通過的 18 項任務。時間涵蓋思考、模型請求、工具執行,以及其餘開銷。成本是以美元記錄的使用費用。提供給各工具的瀏覽器狀態不同,因此我們也剔除三個 X 貼文任務檢查結果:依相同工具順序,分別為 24/25、20/25 與 22/25。

完整結果

每個儲存格顯示首輪基準測試中該筆留存執行紀錄的通過嘗試數、經過秒數,以及已記錄的美元成本。經過時間包含等待模型 API 的時間;每項任務、每款工具只納入一次嘗試,因此任務平均值就等於該次嘗試的值。各列採用 ego-browser 在 2026 年 11 月 7 日的執行結果,以及另外兩款工具在 2026 年 11 月 5 日的執行結果。

任務工作類型ego-browseragent-browserplaywright-cli
比較九個服務的專輯中繼資料多網站資料收集1/1 · 307.7 s · $0.77241/1 · 740.8 s · $0.99500/1 · 524.0 s · $0.6029
收集八個相機品牌的規格多網站資料收集1/1 · 330.2 s · $0.47511/1 · 597.2 s · $0.68651/1 · 598.5 s · $0.5201
收集十二家中央銀行的決策多網站資料收集1/1 · 382.8 s · $0.65780/1 · 760.3 s · $1.00791/1 · 816.4 s · $0.9166
核對會議主題演講與錄影多網站資料收集1/1 · 385.6 s · $0.56591/1 · 672.0 s · $0.94891/1 · 884.2 s · $0.9596
比較電動 SUV 的規格多網站資料收集1/1 · 633.2 s · $1.25900/1 · 748.7 s · $0.80061/1 · 981.4 s · $0.7713
比較開放模型的模型卡與公告多網站資料收集1/1 · 424.5 s · $0.64861/1 · 828.6 s · $1.01990/1 · 680.6 s · $0.7187
比較九個司法管轄區的最低工資多網站資料收集1/1 · 451.9 s · $0.61081/1 · 762.6 s · $1.07611/1 · 763.2 s · $0.7392
比較旗艦手機規格多網站資料收集1/1 · 448.7 s · $0.64441/1 · 931.9 s · $0.94231/1 · 676.3 s · $0.6352
比較截至指定日期的 SaaS 合規情況多網站資料收集1/1 · 472.3 s · $0.62570/1 · 895.0 s · $0.73630/1 · 848.0 s · $0.5770
比較無伺服器平台的免費額度多網站資料收集1/1 · 205.5 s · $0.32250/1 · 682.0 s · $0.52931/1 · 411.8 s · $0.3951
讀取可互動的 ARC 排行榜研究與綜合1/1 · 224.4 s · $0.27081/1 · 416.6 s · $0.46581/1 · 220.2 s · $0.1853
分析模型訓練資料集研究與綜合1/1 · 87.1 s · $0.08091/1 · 137.7 s · $0.14741/1 · 155.5 s · $0.1321
追溯模型表格中的資訊來源研究與綜合1/1 · 285.6 s · $0.22881/1 · 245.5 s · $0.30041/1 · 377.5 s · $0.1890
比較並設定 Mac 筆記型電腦搜尋與比較1/1 · 301.3 s · $0.61191/1 · 383.0 s · $0.43991/1 · 337.2 s · $0.3669
核對六部電影的票房資料搜尋與比較1/1 · 184.9 s · $0.20341/1 · 360.5 s · $0.33941/1 · 201.6 s · $0.1506
在公開登記冊中篩查四家公司搜尋與比較1/1 · 182.5 s · $0.28831/1 · 626.9 s · $0.39271/1 · 230.2 s · $0.1784
交叉核對臨床試驗與藥品仿單搜尋與比較1/1 · 372.8 s · $0.47871/1 · 368.7 s · $0.41761/1 · 383.1 s · $0.3515
核對通膨時間序列與統計資料搜尋與比較1/1 · 132.8 s · $0.19571/1 · 507.1 s · $0.37231/1 · 548.9 s · $0.2209
比較符合條件的航班與票價搜尋與比較0/1 · 341.5 s · $0.44640/1 · 986.7 s · $1.10871/1 · 504.3 s · $0.4713
核對瀏覽器相容性表格搜尋與比較1/1 · 175.1 s · $0.19161/1 · 147.8 s · $0.20921/1 · 294.6 s · $0.1973
交叉核對講座、程式碼與論文搜尋與比較1/1 · 202.3 s · $0.42431/1 · 274.3 s · $0.34911/1 · 666.0 s · $0.7001
對照發布資訊查核 X 上的安全貼文社群媒體查核1/1 · 535.7 s · $0.89791/1 · 780.7 s · $0.89230/1 · 405.8 s · $0.3921
對照公告查核 X 上的產品貼文社群媒體查核1/1 · 710.3 s · $0.71551/1 · 851.2 s · $0.92360/1 · 466.5 s · $0.4007
核對 X 上的發射貼文與參考清單社群媒體查核1/1 · 168.9 s · $0.16501/1 · 263.9 s · $0.15050/1 · 172.0 s · $0.0880
按測試應用程式的規定預訂行程網頁應用程式自動化1/1 · 194.1 s · $0.25701/1 · 303.2 s · $0.28531/1 · 208.4 s · $0.2240
更新測試應用程式中的服務監控項目網頁應用程式自動化1/1 · 137.5 s · $0.13381/1 · 419.9 s · $0.41411/1 · 152.9 s · $0.1528
核對測試應用程式中的應收帳款網頁應用程式自動化1/1 · 227.7 s · $0.23121/1 · 628.3 s · $0.43291/1 · 291.9 s · $0.3085
在測試應用程式中建立補貨訂單網頁應用程式自動化1/1 · 116.8 s · $0.14151/1 · 361.8 s · $0.24371/1 · 208.4 s · $0.1640

繼續閱讀