我們以 66 項瀏覽器任務評測 Kimi K3.1 Pro 與 Kimi K3

若採用我們測試的 pi 與 ZenMux 配置,為了完成更多任務,我們會選擇 Kimi K3.1 Pro,而非 Kimi K3。在兩者共同成功的 26 項任務上,它的平均耗時與估算模型成本也較低。這次 Kimi K3.1 Pro 與 Kimi K3 的比較計入 66 項任務,每個模型都用 ego-browser 各執行一次,因此每個模型都有 66 次嘗試。Kimi K3.1 Pro 在 66 次嘗試中通過 38 次(57.6%),Kimi K3 則通過 27 次(40.9%)。在兩個模型都通過的 26 項任務上,Kimi K3.1 Pro 每項耗時 400.6 秒、成本 $0.374;Kimi K3 則為 586.1 秒、$0.578。
兩個模型最大的差異在於有沒有把工作做完。Kimi K3 的 66 次嘗試中,有 27 次尚未達到步數上限就停止,而且沒有答案;其中 26 次停在「SUSE done. Now Amazon Linux.」這類進度說明。Kimi K3.1 Pro 出現這種情況的次數為 0。在兩者都提供最終答案的 35 項任務上,Kimi K3.1 Pro 通過 29 項,Kimi K3 通過 27 項。
Kimi K3.1 Pro 的弱點,是它現在能夠完成的長表格。需要從至少 8 個網站蒐集相同欄位的任務,它在 26 次嘗試中通過 7 次,Kimi K3 通過 2 次。Kimi K3.1 Pro 的 24 個錯誤答案裡,有 17 個是這類任務產出的表格,因此我們會先查核再使用。開放式研究中,兩個模型都通過 12 項中的 6 項;在雙方共同通過的五項任務上,Kimi K3.1 Pro 較快、成本也較低。
估算模型成本較低,是因為 Kimi K3.1 Pro 的公開定價較低。Moonshot 對它各類 token 的定價,都是 Kimi K3 的三分之二。計入全部 66 項任務,它每項任務成本為 $0.772,Kimi K3 為 $0.871,儘管在 Kimi K3 已停止、它仍持續執行的嘗試中,它消耗了更多 token。
成功率
Kimi K3.1 Pro 通過的任務較多。它通過了 Kimi K3 未通過的 12 項任務,也未通過 Kimi K3 通過的 1 項任務。在新增通過的 12 項裡,Kimi K3 有 9 項結束時沒有答案,另 3 項交出錯誤答案。這 12 項新增通過的任務中,有五項需要從至少 8 個網站蒐集相同欄位。
在每一類工作中,Kimi K3.1 Pro 通過的嘗試次數都不比 Kimi K3 少,只有開放式研究平手。
| 工作類型 | 任務數 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 從至少 8 個網站蒐集相同欄位 | 26 | 26.9%(26 次中通過 7 次) | 7.7%(26 次中通過 2 次) |
| 在網頁應用程式內操作 | 15 | 100%(15 次中通過 15 次) | 86.7%(15 次中通過 13 次) |
| 開放式研究 | 12 | 50.0%(12 次中通過 6 次) | 50.0%(12 次中通過 6 次) |
| 在一至三個網站交叉比對 | 8 | 100%(8 次中通過 8 次) | 62.5%(8 次中通過 5 次) |
| X 貼文 | 5 | 40.0%(5 次中通過 2 次) | 20.0%(5 次中通過 1 次) |
| 全部任務 | 66 | 57.6%(66 次中通過 38 次) | 40.9%(66 次中通過 27 次) |
成功率以通過的嘗試次數為分子計算,資料來自 2026 年 11 月 3 日的執行。所有這些工作類型中,都沒有任何一類是 Kimi K3 通過的嘗試比 Kimi K3.1 Pro 多。
Kimi K3 經常在工作中途結束。在我們採用的 pi 代理程式中,模型靠工具呼叫執行工作,主要是 ego-browser 腳本;不含工具呼叫的回覆會終止執行。Kimi K3 會回覆下一步要做什麼,卻沒有真的做,例如「Google done. Now Cloudflare Workers Free.」。66 次嘗試中有 26 次如此,其中 16 次屬於需要從至少 8 個網站蒐集相同欄位的 26 項任務。這 26 則回覆都以模型正常的停止訊號結束,並不是因為長度限制而截斷。Kimi K3.1 Pro 以這種方式結束的嘗試有 0 次。
無伺服器平台任務可以看出這項差異。任務要求蒐集九個無伺服器平台免費方案的五項限制,從 AWS Lambda 到 Oracle OCI Functions 都包含在內。Kimi K3 讀過 AWS、Azure 與 Google 的頁面後,完成 11 次工具呼叫就以「Google done. Now Cloudflare Workers Free.」停下。Kimi K3.1 Pro 則繼續開啟 Cloudflare 的 Workers 定價頁面,以 58 次工具呼叫完成全部九個平台的查詢,並通過任務。

其餘 3 項新增通過的任務,是 Kimi K3 給出錯誤最終答案的任務。GDP 任務要從九家統計機構取得第二季初估與最新估計的成長率,而且不能年化。兩個模型都開啟了 美國經濟分析局的初估公告,也就是它的初次估計。Kimi K3 編寫的腳本只保留頁面文字前 2,500 個字元,並將美國兩筆季度成長率都填為「not shown」。Kimi K3.1 Pro 印出完整公告,在 Technical Notes 中讀到「0.4 percent at a quarterly rate」。它也以相同方式,在 BEA 於 2026 年 9 月 30 日公布的最新估計中找到 0.6%,並填妥美國的兩個儲存格。

兩個模型的失敗方式也不相同。每次嘗試最多可執行 100 步,一步是對模型的一次請求及其回覆。Kimi K3 的 39 次失敗中,27 次在步數上限前結束且沒有答案,4 次觸及步數上限,8 次交出錯誤答案。Kimi K3.1 Pro 的 28 次失敗中,24 次給了錯誤答案,4 次觸及步數上限。這 24 個錯誤答案裡,有 18 個來自 Kimi K3 完全沒有最終答案的任務。我們會換用新模型,同時檢查 Kimi K3.1 Pro 在那些 Kimi K3 沒給最終答案就結束的任務上,如今提供的答案。
Kimi K3.1 Pro 仍有哪些錯誤
Kimi K3.1 Pro 能把長表格做完,卻不一定每個儲存格都正確,因此我們會先把它的表格當作待查核草稿。在從至少 8 個網站蒐集相同欄位的任務中,它的 26 次嘗試通過 7 次。24 個錯誤答案中,有 17 個來自這類任務;每個都是已完成的表格,但至少有一個資料值或一處摘要內容錯誤。
以央行任務為例,錯誤出在摘要。任務要查十二家央行 2026 年的首次利率決議,並找出最後公布的是哪一家。Kimi K3.1 Pro 開啟瑞士國家銀行 2026 年 3 月 19 日的公告,也把這個日期填入自己的表格;摘要卻仍把 2 月 6 日公布的印度儲備銀行列為最後公布的央行。
| 任務要求 | 正確答案 | Kimi K3.1 Pro 的答案 |
|---|---|---|
| 最後公布 2026 年首次決議的央行 | 瑞士國家銀行,2026-03-19 | 印度儲備銀行,2026-02-06 |
同一項任務中,Kimi K3 正確指出了瑞士國家銀行,但也未正確回答其他資料項目,因此同樣未通過。

使用 Kimi K3.1 Pro 產出的表格前,請先將摘要內容與表格各列核對,再抽查部分儲存格是否符合來源。這類任務中,Kimi K3 通過 26 項中的 2 項。
速度
完成相同工作時,Kimi K3.1 Pro 較快,產生的文字也較少、工具呼叫次數也較少。在兩個模型都通過的 26 項任務上,它平均每項耗時 400.6 秒,Kimi K3 為 586.1 秒。這 26 項中,有 21 項是新模型較快,其餘 5 項則是 Kimi K3 較快。
| 兩個模型都通過的 26 項任務 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 每項任務耗時 | 400.6 s | 586.1 s |
| 每項任務工具呼叫次數 | 25.8 | 33.5 |
| 每項任務輸出 token 數,含推理 | 6,997 | 10,727 |
每項任務的平均值,資料來自 2026 年 11 月 3 日的執行。
對於需要有人等待結果的代理程式,我們會把等待時間縮短視為實際的進步。
成本
Kimi K3.1 Pro 每項任務成本較低,節省來自較低的公開定價。全部 66 項任務平均每項成本為 $0.772,Kimi K3 為 $0.871。把失敗嘗試也計入後,每次成功嘗試分攤的成本為 $1.340,對照 Kimi K3 的 $2.130。在兩者都通過的 26 項任務上,它每項成本為 $0.374,Kimi K3 為 $0.578;其中 24 項是新模型的成本較低。
Moonshot 的價目表對 Kimi K3.1 Pro 列出的費率,以每百萬 token 計,輸入為 $2.00、快取輸入為 $0.20、快取寫入為 $2.00、輸出為 $10.00。Kimi K3 的對應費率是 $3.00、$0.30、$3.00 與 $15.00。因此,新模型各類 token 的價格都是原模型的三分之二。
| 每項任務成本 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 全部 66 項任務 | $0.772 | $0.871 |
| 全部 66 項任務,將 Kimi K3.1 Pro 的 token 用量以 Kimi K3 費率計價 | $1.158 | $0.871 |
| 兩個模型都通過的 26 項任務 | $0.374 | $0.578 |
| 兩個模型都通過的 26 項任務,將 Kimi K3.1 Pro 的 token 用量以 Kimi K3 費率計價 | $0.561 | $0.578 |
| 計入全部 66 項任務後,每次成功嘗試分攤的成本 | $1.340 | $2.130 |
以 Moonshot 公開定價,按 2026 年 11 月 3 日執行中每次嘗試的 token 用量計算成本。
若以相同費率計算相同工作的成本,兩個模型使用的 token 成本其實接近:把共同通過的 26 項任務中 Kimi K3.1 Pro 的 token 用量,套用 Kimi K3 費率,會得到 $0.561,Kimi K3 則是 $0.578。若計入全部 66 項任務,則為 $1.158 與 $0.871,因為 Kimi K3 已停止的執行中,Kimi K3.1 Pro 還在繼續工作。我們會依每項任務成本編列預算,而不是只看 token 單價,因為能完成較多次執行的模型,也會花費 token 把它們做完。
開放式研究
開放式研究中,換成 Kimi K3.1 Pro 能改善速度與成本,卻沒有增加通過次數。這 12 項任務提供目標與少量起始來源,執行路徑由代理程式決定。兩者都通過 12 項中的 6 項;Kimi K3.1 Pro 新增通過一項,也失去一項。在共同通過的 5 項任務上,它每項耗時 354.9 秒、成本 $0.399,Kimi K3 為 795.0 秒、$0.901,而且這 5 項全都是新模型較快。
它失去的那項任務,提示了該注意的問題。Azure 任務要從七個候選模型中,判斷哪些能在 Azure 的 Germany West Central 區域符合六項要求執行,並解釋其他每個候選模型不合格的原因。兩者都選了 GPT-6 Luna。Kimi K3 另外開啟了 Azure 的合作夥伴模型頁面,並引用 Claude Sonnet 5.5 不合格的原因:它的 Data Zone Standard 部署僅限美國。

Kimi K3.1 Pro 只憑 Azure 直接販售的模型表格便排除 Claude,始終未開啟該頁面。它把原因填為「not shown」,共用了 15 條瀏覽器指令,Kimi K3 則是 22 條。無論使用哪個模型,我們都會檢查代理程式排除各選項時提出的理由。
該使用哪個模型
在本次測試的 pi 1.5.0、ZenMux 與 ego-browser 配置下,我們會選 Kimi K3.1 Pro。它的 66 次嘗試通過 38 次,Kimi K3 為 27 次;在雙方都通過的 26 項任務上,它較快也較便宜。測試涵蓋的各類工作中,沒有任何一類是 Kimi K3 通過的嘗試較多。
對本次測試的網頁應用程式操作,以及一至三個網站的交叉比對,我們會選 Kimi K3.1 Pro:Kimi K3.1 Pro 通過全部 15 項與全部 8 項任務。Kimi K3 在這兩類未通過的 5 項中,有四項執行結束時沒有答案。在這個 pi 環境中,若是類似的多網站任務,我們也會選 Kimi K3.1 Pro,因為 Kimi K3.1 Pro 通過 26 項中的 7 項,而 Kimi K3 通過 2 項。這些表格要查核後再使用。在兩者都通過的五項開放式研究任務上,Kimi K3.1 Pro 的耗時與估算成本較低;不過這類研究整體的通過次數仍是平手。
我們的配置是在 pi 代理程式中,透過 ZenMux 以 moonshotai/kimi-k3.1-pro 存取 Kimi K3.1 Pro,設定高推理強度,並使用 bash 工具及 ego-browser 技能檔。ego-browser 與 ego(lite) 一同提供,代理程式以 ego(lite) 作為瀏覽器來操作。
ego(lite) 在這次比較中的角色
ego(lite) 提供由 ego-browser 操作的瀏覽器,pi 提供代理程式迴圈,ZenMux 則提供兩個模型的存取。ego-browser 整合指南說明這個瀏覽器如何與代理程式連接。
pi 的停止規則也是模型選擇的一環:回覆若沒有工具呼叫,就會結束該次嘗試。將完成情況的比較套用到類似工作時,應一併考慮這項規則。耗時與模型成本的平均值,涵蓋的是兩個模型都通過的二十六項任務,而非每項任務,也不代表其他代理程式停止行為不同時的表現。
常見問題
對瀏覽器代理程式來說,Kimi K3.1 Pro 比 Kimi K3 好嗎?
在我們用 ego-browser 進行的 66 項任務測試中,是的。Kimi K3.1 Pro 的 66 次嘗試通過 38 次(57.6%),Kimi K3 為 27 次(40.9%)。它通過 Kimi K3 未通過的 12 項任務,也未通過 Kimi K3 通過的 1 項任務。
Kimi K3.1 Pro 比 Kimi K3 便宜嗎?
以每項任務計,是的。我們的 66 項瀏覽器任務中,Kimi K3.1 Pro 每項成本為 $0.772,Kimi K3 為 $0.871。若看每次成功嘗試分攤的成本,差距更大:$1.340 對 $2.130。
Kimi K3.1 Pro 比 Kimi K3 快嗎?
在兩個模型都完成的工作上,是的。兩者共同通過的 26 項瀏覽器任務中,Kimi K3.1 Pro 每項耗時 400.6 秒,Kimi K3 為 586.1 秒。它每項工具呼叫次數為 25.8,Kimi K3 為 33.5;輸出 token 為 6,997,Kimi K3 為 10,727。
Kimi K3.1 Pro 每百萬 token 要多少錢?
Moonshot 對 Kimi K3.1 Pro 公布的費率,以每百萬 token 計,輸入為 $2.00、快取輸入為 $0.20、快取寫入為 $2.00、輸出為 $10.00。Kimi K3 的對應費率為 $3.00、$0.30、$3.00 與 $15.00,所以新模型各類 token 的價格都是原模型的三分之二。
為什麼 Kimi K3 會在瀏覽器任務中途停下?
Kimi K3 的 66 次嘗試中,有 26 次回覆說了下一步卻沒有工具呼叫,而這會在 pi 代理程式中結束執行。最後的文字往往是「SUSE done. Now Amazon Linux.」這類說明。26 次當中有十六次是從至少 8 個網站蒐集相同欄位的任務;Kimi K3.1 Pro 出現這種情況的次數為 0。
哪些瀏覽器任務在 Kimi K3.1 Pro 上改善最多?
Kimi K3.1 Pro 新增通過最多的是從至少 8 個網站蒐集相同欄位的任務,有 5 項,而且這類沒有失去任何一項。它也新增通過 3 項一至三個網站的交叉比對、2 項網頁應用程式內任務、1 項開放式研究任務,以及 1 項 X 貼文任務。
Kimi K3.1 Pro 有在任何瀏覽器任務上退步嗎?
66 項任務中有 1 項。它未通過一項 Kimi K3 通過的 Azure 模型選擇任務,原因是沒有開啟說明理由的頁面就排除一個候選模型。它通過了 Kimi K3 未通過的 12 項任務。
Kimi K3.1 Pro 在瀏覽器裡還會出哪些錯?
主要是長表格的資料值:它的 24 個錯誤答案中,有 17 個來自從至少 8 個網站蒐集相同欄位的任務。在一項任務裡,它自己的表格明明有正確日期,摘要卻寫錯了央行。另有 4 次嘗試觸及 100 步上限,與 Kimi K3 相同。
Kimi K3.1 Pro 的網頁應用程式自動化表現如何?
Kimi K3.1 Pro 通過我們全部 15 項網頁應用程式內任務,Kimi K3 通過 13 項。任務在我們用於營運、旅行費用與雲端控制台的測試應用程式中執行,每次嘗試都使用新的資料。在兩者都通過的 13 項任務上,它每項耗時 327.0 秒、成本 $0.240,Kimi K3 為 454.7 秒、$0.383。
該把我的瀏覽器代理程式從 Kimi K3 換成 Kimi K3.1 Pro 嗎?
就本次測試的 pi 與 ZenMux 配置而言,是的。Kimi K3.1 Pro 的 66 次嘗試通過 38 次,Kimi K3 為 27 次;在共同通過的 26 項任務上,它的平均耗時與估算成本較低。從至少 8 個網站蒐集而成的表格,仍要保留查核程序,因為它的 24 個錯誤答案中,有 17 個出自這類任務。
測試方式
兩個模型都在 2026 年 11 月 3 日,於同一台搭載 Apple 晶片、執行 macOS 26.5 的 Mac 上測試。它們使用相同的代理程式 pi 1.5.0,以 ego-browser 作為瀏覽器工具,載入相同的 ego-browser 技能檔,並採用相同版本的 ego(lite) 與 ego-browser。模型為 Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)與 Kimi K3(moonshotai/kimi-k3),皆設定高推理強度,也都經由同一 API 供應商 ZenMux 存取。
模型透過撰寫簡短的 JavaScript 程式控制 ego-browser,執行載入頁面、點選、填寫表單,以及輸出頁面文字或無障礙快照等操作。每次嘗試最多 100 步,時間上限為 60 分鐘。一步是模型的一個互動回合,也就是一次向模型發出請求及其回覆。任務要求模型最後提供一則以 FINAL ANSWER 開頭的訊息。
我們計入 66 項任務,每項恰好歸入一種工作類型。「從至少 8 個網站蒐集相同欄位」(26 項)要從至少 8 個網站蒐集同一組欄位,例如九家統計機構的 GDP 公告。「在網頁應用程式內操作」(15 項)在營運、旅行費用與雲端控制台測試應用程式中執行,例如修正承運商的告警規則。「開放式研究」(12 項)提供目標與少量來源,例如選出某個 Azure 區域提供的模型。「在一至三個網站交叉比對」(8 項)比較少數網站間的數值,例如用藥品仿單核對臨床試驗紀錄。「X 貼文」(5 項)將 X 貼文與其他紀錄比對,例如將 SpaceX 發射相關貼文與 Wikipedia 的發射清單比對,且只歸入 X 貼文類。
每項任務都有一組評分項目,66 項任務合計 443 個。每項任務有一個評分項目,檢查最終答案是否含有所有要求的資料值。其餘 377 個分別檢查要求的資料值:309 個預先依官方網站固定,49 個來自測試應用程式每次嘗試產生的資料,19 個依即時頁面檢查。最終答案必須符合全部評分項目,該次嘗試才通過;兩個模型使用相同項目評分。
一項任務,是計入統計的 66 項任務之一;一次嘗試,是一個模型執行一項任務一次,因此每個模型各有 66 次嘗試。成功率為通過次數除以 66。完整結果還列出六項「未計入」任務。每項之中,有一個模型的原始嘗試被定向重跑取代,或缺少有效歸檔的首次嘗試。兩個模型排除相同的六項。一次工具呼叫是模型執行的一條指令,主要為 ego-browser 腳本,其餘是搜尋已儲存頁面文字等 shell 或檔案指令。一條瀏覽器指令就是一個 ego-browser 腳本,截圖圖說按瀏覽器指令計數。
每項任務耗時,是一次嘗試從開始到結束的實際經過時間,包括等待模型 API(含推理)以及執行模型的工具呼叫。速度在兩者都通過的 26 項任務上比較,因為失敗任務所花的時間無法直接比較。估算成本將每次嘗試記錄的輸入、快取輸入、快取寫入與輸出 token,按文中列出的 Moonshot 費率計價,不是 ZenMux 訂閱費或帳單總額。每次成功嘗試分攤的成本,是全部 66 次嘗試的成本除以通過次數。
「觸及步數上限」表示嘗試用完 100 步,仍沒有最終答案。「停在進度說明」表示模型最後回覆有文字,卻沒有工具呼叫,也沒有 FINAL ANSWER,而且尚未達步數上限。「錯誤答案」則是有最終答案,但未通過。
完整結果
每個儲存格列出該模型在任務上的結果、嘗試耗時(秒)及成本。結果分為「通過」「錯誤答案」「沒有答案」(尚未達到步數上限,執行就以沒有最終答案結束)或「步數上限」。耗時包括等待模型 API。六項「未計入」任務在定向替換執行後,缺少可比較的首次嘗試紀錄,因此六項都不計入任一模型。
| 任務 | 工作類型 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 十一家氣象服務機構的 2025 年氣候評分表 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 633.7 秒 · $1.235 | 步數上限 · 2010.1 秒 · $3.368 |
| 八座樞紐機場的 2025 年運量資料 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 九個足球聯賽的 2025-26 賽季數據 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 九個影展 2026 年的最高獎項 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1399.6 秒 · $2.591 | 沒有答案 · 1306.1 秒 · $1.418 |
| Hugging Face 上九個開放權重模型的審核表 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 598.6 秒 · $0.716 | 沒有答案 · 1217.4 秒 · $1.284 |
| 九個 SaaS 信任中心的合規矩陣 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 590.3 秒 · $0.637 | 沒有答案 · 1138.5 秒 · $0.844 |
| 同一款 SUV 在九個評測計畫中的撞擊測試評等 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1242.3 秒 · $1.312 | 步數上限 · 1576.6 秒 · $1.765 |
| 九項技術標準的現行版本 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 592.9 秒 · $0.658 | 沒有答案 · 320.4 秒 · $0.250 |
| 十二家央行 2026 年的首次利率決議 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 617.0 秒 · $1.023 | 錯誤答案 · 1256.3 秒 · $1.986 |
| 九家統計機構 2026 年第 2 季 GDP 的初估與最新數值 | 從至少 8 個網站蒐集相同欄位 | 通過 · 1001.2 秒 · $1.181 | 錯誤答案 · 1294.2 秒 · $1.363 |
| 九個服務針對私有儲存庫提供的免費 CI 方案 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1033.5 秒 · $1.187 | 沒有答案 · 963.4 秒 · $1.068 |
| 九個無伺服器平台的免費方案 | 從至少 8 個網站蒐集相同欄位 | 通過 · 924.5 秒 · $1.283 | 沒有答案 · 248.4 秒 · $0.173 |
| 九個音樂服務如何列示同一張專輯 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 九家選舉機構的最新選舉結果 | 從至少 8 個網站蒐集相同欄位 | 步數上限 · 1256.5 秒 · $2.222 | 步數上限 · 1789.7 秒 · $2.389 |
| 九個語言執行環境的最新版本系列 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 810.3 秒 · $1.106 | 錯誤答案 · 1024.2 秒 · $1.171 |
| 九個 JavaScript 框架的最新穩定版本 | 從至少 8 個網站蒐集相同欄位 | 通過 · 515.4 秒 · $0.523 | 通過 · 957.6 秒 · $0.722 |
| 九款桌面瀏覽器的最新穩定版本 | 從至少 8 個網站蒐集相同欄位 | 通過 · 471.8 秒 · $0.913 | 沒有答案 · 903.0 秒 · $0.765 |
| 九家機構對 2025 年堪察加地震的測定資料 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 789.4 秒 · $1.128 | 沒有答案 · 971.8 秒 · $1.335 |
| 九款旗艦手機在英國市場的官方規格 | 從至少 8 個網站蒐集相同欄位 | 通過 · 564.8 秒 · $0.865 | 沒有答案 · 1331.7 秒 · $1.161 |
| 八款相機的官方規格 | 從至少 8 個網站蒐集相同欄位 | 通過 · 953.2 秒 · $1.521 | 通過 · 1479.8 秒 · $1.730 |
| 同一本書在出版社與圖書館共十個網站上的版本資訊 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 八家分級機構對同一款遊戲的年齡分級 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1385.2 秒 · $1.905 | 沒有答案 · 1355.8 秒 · $1.592 |
| 九份廠商安全公告中,同一個 sudo CVE 的修補狀態 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 539.4 秒 · $0.521 | 沒有答案 · 158.9 秒 · $0.133 |
| 九份國家單曲榜上,同一週的冠軍單曲 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 九場開發者大會的開場主題演講 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1198.7 秒 · $1.457 | 沒有答案 · 1450.3 秒 · $1.485 |
| Protocol Buffers 在九個套件登錄平台上的發布版本 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 472.9 秒 · $0.732 | 沒有答案 · 582.4 秒 · $0.296 |
| 八份 2025 年開發者調查的結果 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 599.1 秒 · $1.255 | 錯誤答案 · 1587.4 秒 · $1.785 |
| 九個地區的法定最低工資 | 從至少 8 個網站蒐集相同欄位 | 未計入 | 未計入 |
| 九款伺服器產品的支援終止日期 | 從至少 8 個網站蒐集相同欄位 | 通過 · 690.2 秒 · $0.781 | 沒有答案 · 370.0 秒 · $0.292 |
| 十家博物館關於北齋《神奈川沖浪裏》的紀錄 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 824.7 秒 · $1.025 | 沒有答案 · 1644.2 秒 · $1.124 |
| 八家監管機構對 Tirzepatide 體重管理用途的核准情況 | 從至少 8 個網站蒐集相同欄位 | 步數上限 · 1475.9 秒 · $2.742 | 沒有答案 · 1171.2 秒 · $1.414 |
| 九款電動 SUV 在美國市場的續航與充電數據 | 從至少 8 個網站蒐集相同欄位 | 錯誤答案 · 1027.4 秒 · $1.707 | 步數上限 · 1711.3 秒 · $1.685 |
| 將鎖箱收款沖抵未結發票 | 在網頁應用程式內操作 | 通過 · 286.4 秒 · $0.208 | 通過 · 404.7 秒 · $0.402 |
| 稽核並撤銷變更凍結期間的修改 | 在網頁應用程式內操作 | 通過 · 160.4 秒 · $0.140 | 通過 · 545.1 秒 · $0.394 |
| 在旅行應用程式中為同事預訂行程 | 在網頁應用程式內操作 | 通過 · 438.2 秒 · $0.409 | 通過 · 433.4 秒 · $0.474 |
| 將第 1 級監控項目調整至符合書面標準 | 在網頁應用程式內操作 | 通過 · 248.5 秒 · $0.253 | 沒有答案 · 105.0 秒 · $0.094 |
| 申報一週拜訪客戶的里程費用 | 在網頁應用程式內操作 | 通過 · 458.1 秒 · $0.333 | 通過 · 521.6 秒 · $0.418 |
| 在營運應用程式中完成二月應收帳款結帳,並提出爭議 | 在網頁應用程式內操作 | 通過 · 469.9 秒 · $0.403 | 通過 · 774.2 秒 · $0.698 |
| 提交兩座城市的每日津貼申請 | 在網頁應用程式內操作 | 通過 · 256.7 秒 · $0.127 | 通過 · 282.5 秒 · $0.225 |
| 在雲端控制台提交供事後檢討使用的事件時間軸 | 在網頁應用程式內操作 | 通過 · 216.3 秒 · $0.195 | 通過 · 264.8 秒 · $0.306 |
| 為兩個客戶的配送貨損提出索賠 | 在網頁應用程式內操作 | 通過 · 445.9 秒 · $0.319 | 通過 · 1058.7 秒 · $0.726 |
| 修正下週的待命值班表 | 在網頁應用程式內操作 | 通過 · 169.0 秒 · $0.125 | 通過 · 193.3 秒 · $0.147 |
| 將支付卡交易與費用報告草稿配對 | 在網頁應用程式內操作 | 通過 · 457.1 秒 · $0.383 | 通過 · 535.9 秒 · $0.394 |
| 為倉庫下補貨訂單 | 在網頁應用程式內操作 | 通過 · 337.3 秒 · $0.182 | 通過 · 205.3 秒 · $0.240 |
| 審核一名員工的費用報告 | 在網頁應用程式內操作 | 通過 · 387.7 秒 · $0.189 | 通過 · 450.6 秒 · $0.364 |
| 依錯誤預算消耗情況設定部署凍結 | 在網頁應用程式內操作 | 通過 · 167.8 秒 · $0.106 | 通過 · 240.6 秒 · $0.193 |
| 核對承運商的準時表現資料並修正告警規則 | 在網頁應用程式內操作 | 通過 · 382.5 秒 · $0.261 | 沒有答案 · 934.2 秒 · $0.971 |
| ARC Prize 排行榜上的低成本推理設定 | 開放式研究 | 通過 · 372.4 秒 · $0.296 | 通過 · 716.2 秒 · $0.723 |
| 從 Epoch AI 資料統計超過歐盟運算量門檻的模型 | 開放式研究 | 通過 · 165.8 秒 · $0.143 | 通過 · 252.0 秒 · $0.186 |
| 八個前沿模型的《歐盟人工智慧法案》揭露資訊 | 開放式研究 | 步數上限 · 1388.1 秒 · $3.008 | 沒有答案 · 1748.6 秒 · $2.621 |
| 六份 API 更新紀錄中,2026 年 9 月發布的所有模型 | 開放式研究 | 通過 · 273.4 秒 · $0.374 | 通過 · 595.0 秒 · $0.721 |
| 查核關於 2026 年 9 月模型發布的十項說法 | 開放式研究 | 錯誤答案 · 228.8 秒 · $0.299 | 錯誤答案 · 507.6 秒 · $0.574 |
| 在五個中國模型中選擇主要及備援 API | 開放式研究 | 通過 · 412.3 秒 · $0.471 | 通過 · 769.1 秒 · $0.696 |
| 選擇在 Azure 德國某區域提供的模型 | 開放式研究 | 錯誤答案 · 297.1 秒 · $0.280 | 通過 · 787.2 秒 · $0.871 |
| 在 OpenRouter 選擇最快的 GLM 5.3 供應商端點 | 開放式研究 | 通過 · 774.9 秒 · $0.717 | 錯誤答案 · 960.2 秒 · $0.694 |
| 計算同一項 API 工作負載在六個模型上的價格 | 開放式研究 | 通過 · 550.4 秒 · $0.711 | 通過 · 1642.9 秒 · $2.177 |
| Wayback Machine 保存的六家供應商 API 價格 | 開放式研究 | 錯誤答案 · 1214.3 秒 · $0.552 | 沒有答案 · 350.4 秒 · $0.181 |
| 追溯 Wikipedia 大型語言模型表格背後的來源 | 開放式研究 | 錯誤答案 · 458.7 秒 · $0.350 | 沒有答案 · 383.3 秒 · $0.301 |
| 某一版 LiveBench 顯示的結果 | 開放式研究 | 錯誤答案 · 296.8 秒 · $0.267 | 錯誤答案 · 330.8 秒 · $0.329 |
| 用 FRED 資料製作通膨表,並以 BLS 交叉查核 | 在一至三個網站交叉比對 | 通過 · 274.1 秒 · $0.224 | 通過 · 308.6 秒 · $0.312 |
| 將 GPT 課程的數字與影片、程式碼及論文核對 | 在一至三個網站交叉比對 | 通過 · 619.4 秒 · $0.387 | 通過 · 237.2 秒 · $0.277 |
| 比較 Apple 美國商店的三種 MacBook 配置 | 在一至三個網站交叉比對 | 通過 · 786.1 秒 · $1.226 | 通過 · 654.4 秒 · $1.110 |
| 將 ClinicalTrials.gov 上的第 3 期臨床試驗與 DailyMed 藥品仿單交叉查核 | 在一至三個網站交叉比對 | 通過 · 294.2 秒 · $0.401 | 沒有答案 · 591.2 秒 · $0.872 |
| 依 MDN 與 Can I use,為六項網頁功能製作可用/不可用清單 | 在一至三個網站交叉比對 | 通過 · 269.9 秒 · $0.262 | 通過 · 751.4 秒 · $0.796 |
| 計算團隊異地活動前往丹佛的機票價格 | 在一至三個網站交叉比對 | 通過 · 526.6 秒 · $0.962 | 沒有答案 · 963.3 秒 · $1.037 |
| 在票房資料庫與 Wikipedia 之間核對六部 Wes Anderson 電影的票房 | 在一至三個網站交叉比對 | 通過 · 221.1 秒 · $0.250 | 通過 · 324.7 秒 · $0.303 |
| Companies House 上四家英國公司的登記資料快照 | 在一至三個網站交叉比對 | 通過 · 320.3 秒 · $0.223 | 錯誤答案 · 1005.0 秒 · $0.591 |
| 八個品牌於 2026 年在 X 及新聞中心發布的產品公告 | X 貼文 | 錯誤答案 · 667.1 秒 · $0.536 | 沒有答案 · 847.0 秒 · $0.417 |
| 八家足球俱樂部在 X 與俱樂部網站上的夏季引援資訊 | X 貼文 | 步數上限 · 1815.4 秒 · $1.805 | 沒有答案 · 2343.4 秒 · $1.008 |
| 八個開源專案在 X 與各自網站上的安全發布資訊 | X 貼文 | 通過 · 625.6 秒 · $0.627 | 沒有答案 · 2248.5 秒 · $1.524 |
| 八所大學在 X 發布其 2025 年諾貝爾獎新聞的速度 | X 貼文 | 錯誤答案 · 1314.1 秒 · $0.487 | 沒有答案 · 528.9 秒 · $0.237 |
| 將 X 上的 SpaceX 發射相關貼文與 Wikipedia 的發射清單比對 | X 貼文 | 通過 · 751.6 秒 · $0.220 | 通過 · 638.9 秒 · $0.300 |
模型價格是 Moonshot 公布的定價。其他所有數字都出自我們自己的執行。
