हमने तीन ब्राउज़र टूल में GPT-6.1 Sol और GPT-6 Sol के ब्राउज़र उपयोग की बेंचमार्क तुलना की

12 मिनट में पढ़ें
GPT-6.1 Sol ब्राउज़र बेंचमार्क के लिए नीली पृष्ठभूमि पर बादलों से भरे, बढ़ते आकार के तीन वृत्त।

pi ब्राउज़र-एजेंट की जिस व्यवस्था का हमने परीक्षण किया, उसमें हम लगातार बेहतर गति की उम्मीद के बजाय अधिक टास्क पूरे करने और मॉडल की कम लागत के लिए GPT-6 Sol की जगह GPT-6.1 Sol चुनेंगे। GPT-6.1 Sol के ब्राउज़र उपयोग के इस परीक्षण में हर मॉडल ने सभी 25 वेब टास्क Playwright CLI, agent-browser और ego-browser में एक-एक बार चलाए। इस तरह हर मॉडल ने हर टूल में 25 प्रयास किए। GPT-6.1 Sol ने Playwright CLI में 25 में से 19, agent-browser में 25 में से 20 और ego-browser में 25 में से 24 प्रयास सफल किए। GPT-6 Sol ने क्रमशः 12, 14 और 18 प्रयास सफल किए। हर टूल में जिन टास्क पर दोनों मॉडल सफल हुए, उनमें GPT-6.1 Sol ने प्रति टास्क औसतन 275.6, 327.1 और 195.0 सेकंड लिए और लागत $0.287, $0.339 और $0.372 रही। GPT-6 Sol ने औसतन 291.3, 324.0 और 220.2 सेकंड लिए और लागत $0.640, $0.595 और $0.735 रही।

ज़्यादातर अतिरिक्त सफलताएँ कई साइटों से डेटा इकट्ठा करने में मिलीं, जहाँ टास्क 9 से 16 साइटों से समान फ़ील्ड माँगते हैं। हर टूल में ऐसे दस टास्क चलाए गए। सभी टूल के कुल 30 प्रयासों में GPT-6.1 Sol ने 20 सफल किए और GPT-6 Sol ने 6। तीनों टूल में 19 प्रयासों के परिणाम GPT-6 Sol की विफलता से GPT-6.1 Sol की सफलता में बदले, और उलटा बदलाव किसी में नहीं हुआ।

जिन टास्क पर दोनों मॉडल सफल हुए, उनमें GPT-6.1 Sol ने कम टूल कॉल किए। ego-browser में उसकी 43.7% ब्राउज़र स्क्रिप्ट ने दो या अधिक टैब का संदर्भ दिया या पहले से मौजूद टैब के साथ एक नया टैब खोला; GPT-6 Sol ने 0.4% में ऐसा किया। यह देखी गई स्क्रिप्ट का वर्णन है, इस बात का प्रमाण नहीं कि टैब इस्तेमाल करने से अतिरिक्त सफलताएँ मिलीं। GPT-6.1 Sol फिर भी अपने 75 में से 12 प्रयासों में विफल हुआ, और दस विफलताएँ ऐसे जवाब पर खत्म हुईं जिसमें कोई मान गलत था या गायब था।

GPT-6.1 Sol के रिकॉर्ड किए गए टोकन उपयोग पर GPT-6 Sol की दरें लगाने के बाद भी लागत का लाभ बना रहता है। जिन टास्क पर दोनों सफल हुए, उनके लिए यह गणना Playwright CLI, agent-browser और ego-browser में प्रति टास्क $0.402, $0.477 और $0.523 देती है, जो हर टूल में GPT-6 Sol की लागत से कम हैं। गति के नतीजे मिले-जुले हैं: दो टूल में GPT-6.1 Sol का औसत कम है और agent-browser में थोड़ा ज़्यादा, जबकि दो टूल में वह आधे से भी कम साझा टास्क पर तेज़ है।

मॉडल और ब्राउज़र टूलसफलता दरप्रति टास्क औसत समयप्रति टास्क औसत लागत
Playwright CLI के साथ GPT-6.1 Sol76.0% (19/25)275.6 s$0.287
Playwright CLI के साथ GPT-6 Sol48.0% (12/25)291.3 s$0.640
agent-browser के साथ GPT-6.1 Sol80.0% (20/25)327.1 s$0.339
agent-browser के साथ GPT-6 Sol56.0% (14/25)324.0 s$0.595
ego-browser के साथ GPT-6.1 Sol96.0% (24/25)195.0 s$0.372
ego-browser के साथ GPT-6 Sol72.0% (18/25)220.2 s$0.735

हर पंक्ति की सफलता दर में सभी 25 प्रयास शामिल हैं। समय और लागत में वे टास्क शामिल हैं जिन पर उस टूल में दोनों मॉडल सफल हुए: Playwright CLI में 12, agent-browser में 14 और ego-browser में 18। समय में मॉडल का इंतज़ार और टूल चलने का समय जोड़ा जाता है; टेस्ट फ़्रेमवर्क का स्टेप के बीच का समय शामिल नहीं है। हर टूल में मॉडल की जोड़ी की तुलना अलग है, इसलिए इन अलग-अलग टास्क समूहों से टूल की समय या लागत के आधार पर रैंकिंग तय नहीं होती।

सफलता दर

GPT-6.1 Sol ने हर टूल में जाँचे गए काम में से ज़्यादा पूरा किया, और सबसे बड़ा लाभ कई साइटों से डेटा इकट्ठा करने में मिला। Playwright CLI में सात सफलताएँ बढ़ीं, agent-browser में छह और ego-browser में छह। तीनों टूल में 44 प्रयास दोनों मॉडलों के लिए सफल रहे, 19 केवल GPT-6.1 Sol के लिए सफल रहे और 12 दोनों के लिए विफल रहे।

काम का प्रकारप्रति टूल टास्कPlaywright CLIagent-browserego-browser
कई साइटों से डेटा इकट्ठा करना105 बनाम 26 बनाम 09 बनाम 4
एक से तीन साइटों पर जानकारी खोजना87 बनाम 47 बनाम 78 बनाम 8
खुले दायरे वाला शोध33 बनाम 23 बनाम 33 बनाम 2
व्यावसायिक वेब ऐप वर्कफ़्लो44 बनाम 44 बनाम 44 बनाम 4

हर सेल में पहले GPT-6.1 Sol की सफलताएँ, फिर GPT-6 Sol की सफलताएँ दी गई हैं; प्रति टास्क एक प्रयास है। मॉडल बदलने का टास्क पूरा होने पर सबसे ज़्यादा असर कई साइटों वाले काम में दिखा। टेस्ट ऐप के चार टास्क पर दोनों मॉडल हर टूल में हर प्रयास में सफल हुए, इसलिए वहाँ बदलने का कारण लागत है।

GPT-6.1 Sol से GPT-6 Sol की 19 हारों में छह प्रयास बिना जवाब के स्टेप बजट खत्म होने पर रुके और 13 ने ऐसा जवाब दिया जिसमें कोई मान गलत था या गायब था। सभी 75 प्रयासों में GPT-6 Sol का बजट नौ बार खत्म हुआ और GPT-6.1 Sol का दो बार। एक स्टेप मॉडल का एक जवाब है, और हर प्रयास के लिए 100 स्टेप का बजट था।

SaaS अनुपालन वाला टास्क गलत जवाब के कारण मिली हार दिखाता है। इसमें 30 सितंबर 2026 की स्थिति के अनुसार नौ विक्रेताओं के प्रमाणन पूछे गए हैं, जिनमें किसी भी संस्करण के लिए उपलब्ध FedRAMP की सबसे ऊँची मंज़ूरी भी शामिल है। ego-browser में GPT-6 Sol ने Asana के ट्रस्ट पेज के लिंक देखे और Asana के लिए "none" ("कोई नहीं") लिखा। GPT-6.1 Sol ने Government लिंक खोला, Asana Gov पर गया और प्रेस विज्ञप्ति में उसकी FedRAMP Moderate की मंज़ूरी की पुष्टि की।

रिकॉर्ड किए गए ब्राउज़र कमांड का मौजूदा Asana Gov पेज पर रीप्ले, जहाँ FedRAMP Moderate प्रमाणित दिखता है
GPT-6.1 Sol के SaaS अनुपालन टास्क के 38 में से 21वें स्टेप का रीप्ले। मौजूदा पेज पर FedRAMP Moderate प्रमाणित लिखा है; 22 अक्टूबर के रन में उसकी मंज़ूरी दर्ज हुई थी। मूल रन: 22 अक्टूबर 2026। रीप्ले 10 नवंबर 2026 को कैप्चर किया गया। चित्र को मूल आकार में देखें

GPT-6.1 Sol ने 38 स्टेप में हर माँगी गई जाँच पूरी की। GPT-6 Sol 22 स्टेप के बाद रुक गया, और Asana का गलत मान होने से मंज़ूरी वाले विक्रेताओं की उसकी गिनती भी बदल गई।

अंतिम तालिका का फ़ील्डसही मानGPT-6 Sol ने क्या लिखा
Asana, सबसे ऊँची FedRAMP मंज़ूरीAsana Gov के माध्यम से Moderatenone ("कोई नहीं")
FedRAMP Moderate या उससे ऊँचे स्तर की मंज़ूरी वाले विक्रेता6, Asana सहित5, Asana के बिना

GPT-6.1 Sol की अपनी विफलताओं की भी जाँच ज़रूरी है: उसकी 12 में से दस विफलताओं में ऐसे जवाब मिले जिनमें कोई मान गलत था या गायब था। किसी निर्णय में इस्तेमाल होने वाले नतीजे पर भरोसा करने के लिए केवल पूरी दिखती तालिका काफ़ी नहीं है।

हर मॉडल कैसे काम करता है

एक ही सफलतापूर्वक पूरे हुए काम पर GPT-6.1 Sol ने कम टूल कॉल किए। साझा टास्क पर उसने Playwright CLI में प्रति टास्क औसतन 32.6 कॉल किए, जबकि GPT-6 Sol ने 42.3; agent-browser में 34.1 बनाम 50.5 और ego-browser में 29.8 बनाम 40.1। एक टूल कॉल एजेंट के किसी टूल, जैसे bash या फ़ाइल रीडर, को एक बार चलाना है।

ego-browser में GPT-6.1 Sol की 735 में से 321 स्क्रिप्ट ने कई टैब इस्तेमाल किए या नया टैब बनाया; GPT-6 Sol की 1,044 स्क्रिप्ट में से चार ने ऐसा किया। Playwright CLI और agent-browser में GPT-6.1 Sol ने 15.8% और 9.3% bash कॉल में टैब कमांड चलाए, जबकि GPT-6 Sol ने 2.5% और 2.2% में। ये प्रतिशत अलग इंटरफ़ेस का वर्णन करते हैं, इसलिए इनसे हर टूल के अंदर मॉडलों की तुलना की जाती है।

केंद्रीय बैंकों वाला टास्क लंबे काम में यह अंतर दिखाता है। इसमें बारह केंद्रीय बैंकों के 2026 के पहले दर निर्णय पूछे गए हैं, जिनमें मतदान और अगली घोषणा की तारीख शामिल है। GPT-6 Sol ने हर स्क्रिप्ट में एक बैंक पर काम किया, स्टेप 90 पर बारहवें बैंक तक पहुँचा और तालिका लिखे बिना उसका बजट खत्म हो गया। GPT-6.1 Sol ने 38 में से 30 ब्राउज़र स्क्रिप्ट में दो टैब इस्तेमाल किए, स्टेप 35 पर उस बैंक तक पहुँचा और स्टेप 42 पर तालिका पूरी कर दी।

रिकॉर्ड किए गए ब्राउज़र कमांड का रीप्ले: एजेंट के नियंत्रण वाली ब्राउज़र विंडो में Federal Reserve का FOMC कैलेंडर और ECB के मौद्रिक नीति निर्णय दो टैब में खुले हैं
रिकॉर्ड किए गए कमांड का रीप्ले। केंद्रीय बैंकों वाले टास्क में ego-browser पर GPT-6.1 Sol: Federal Reserve का FOMC कैलेंडर और ECB के निर्णय दो टैब में लोड करता है। 42 में से स्टेप 6। मूल रन: 22 अक्टूबर 2026। रीप्ले 10 नवंबर 2026 को ego(lite) में कैप्चर किया गया। चित्र को मूल आकार में देखें

यह उपयोगी साक्ष्य है कि वे दो प्रयास कैसे आगे बढ़े, टैब रणनीति का अलग परीक्षण नहीं। कई साइटों वाले काम को पूरा करने का व्यापक परिणाम GPT-6.1 Sol के लिए 30 में से 20 सफल प्रयास और GPT-6 Sol के लिए 30 में से 6 है।

गति

मॉडल बदलने का हमारा कारण गति नहीं होगी। सफल साझा टास्क पर GPT-6.1 Sol ने Playwright CLI में औसतन 275.6 सेकंड लिए, जबकि GPT-6 Sol ने 291.3; agent-browser में 327.1 बनाम 324.0 और ego-browser में 195.0 बनाम 220.2 सेकंड। इन औसतों में हर टूल के अंदर उन्हीं टास्क पर मॉडल का इंतज़ार और टूल चलने का समय शामिल है।

टास्क की गिनती से यह समझौता और साफ़ होता है। Playwright CLI में GPT-6.1 Sol 12 में से पाँच साझा टास्क पर तेज़ था, agent-browser में 14 में से सात पर और ego-browser में 18 में से सात पर। दो टूल में उसका औसत कम होने का मतलब यह नहीं कि ज़्यादातर अलग-अलग काम जल्दी पूरे हुए। इस व्यवस्था में उसे चुनने के ज़्यादा ठोस कारण टास्क पूरे होने और लागत के लाभ हैं।

लागत

हर टूल में दोनों मॉडलों द्वारा पूरे किए गए काम पर GPT-6.1 Sol की लागत कम रही। Playwright CLI के सभी 12 साझा टास्क पर, agent-browser के 14 में से 13 पर और ego-browser के 18 में से 17 पर वह सस्ता था। तालिका में दर्ज टोकन उपयोग के अंतर और मॉडल की कीमत के अंतर को अलग दिखाया गया है।

ब्राउज़र टूलGPT-6.1 SolGPT-6 Sol की दरों पर GPT-6.1 Sol के टोकनGPT-6 Sol
Playwright CLI$0.287$0.402$0.640
agent-browser$0.339$0.477$0.595
ego-browser$0.372$0.523$0.735

ये हर टूल के सफल साझा टास्क पर मॉडल की प्रति टास्क औसत लागतें हैं। हम OpenAI की मानक API दरें इस्तेमाल करते हैं: दोनों मॉडलों के लिए बिना कैश वाले प्रति दस लाख इनपुट टोकन के $2.00 और प्रति दस लाख आउटपुट टोकन के $10.00। कैश किए गए इनपुट की दर GPT-6.1 Sol के लिए प्रति दस लाख टोकन $0.10 और GPT-6 Sol के लिए $0.20 है। ये API के समतुल्य टोकन लागतें हैं, किसी एजेंट की सब्सक्रिप्शन कीमतें नहीं।

विफल प्रयास शामिल करने पर मॉडल की प्रति टास्क औसत लागत Playwright CLI में $0.410 बनाम $0.752, agent-browser में $0.586 बनाम $0.833 और ego-browser में $0.430 बनाम $0.842 रही। हर मॉडल की अपनी दरों पर सभी प्रयास गिनने से GPT-6.1 Sol की लागत कम रही। सफल साझा टास्क पर GPT-6 Sol की दरों से दोबारा गणना करने पर भी उसकी लागत कम रही।

कौन-सा मॉडल इस्तेमाल करें

यहाँ दिखाई गई pi व्यवस्था और काम के लिए हम उच्च तर्क-प्रयास की सेटिंग पर GPT-6.1 Sol चुनेंगे। उसने हर टूल में ज़्यादा टास्क सफल किए और उसकी लागत कम रही। 75 तुलनाओं में कोई भी परिणाम GPT-6 Sol की सफलता से GPT-6.1 Sol की विफलता में नहीं बदला। इन नतीजों से हमें लगातार बेहतर गति की उम्मीद नहीं होगी।

कई साइटों से डेटा इकट्ठा करने में सुधार 30 में से 20 सफल प्रयास बनाम 30 में से 6 का था। GPT-6.1 Sol फिर भी दस में विफल हुआ, इसलिए हम मिली तालिकाएँ इस्तेमाल करने से पहले जाँचेंगे। टेस्ट ऐप के चार वर्कफ़्लो में दोनों मॉडल हर प्रयास में सफल हुए, इसलिए वहाँ निर्णय में काम आने वाला अंतर मॉडल की लागत है।

परीक्षण की व्यवस्था में pi एजेंट हार्नेस, उच्च तर्क-प्रयास, bash और ब्राउज़र टूल की स्किल फ़ाइल इस्तेमाल हुई। ego-browser, ego(lite) को नियंत्रित करता है, जबकि Playwright CLI और agent-browser, Chrome को। हर टूल में मॉडलों की जोड़ी की तुलना में उसी टूल का एक ही संस्करण और एक ही मार्गदर्शन इस्तेमाल होता है।

इस तुलना में ego(lite) की भूमिका

ego(lite), ego-browser से नियंत्रित होने वाला ब्राउज़र था, तुलना किया जाने वाला मॉडल नहीं। ego-browser इंटीग्रेशन गाइड इस संबंध को समझाती है; दूसरी व्यवस्थाओं में Playwright CLI और agent-browser ने Chrome को नियंत्रित किया।

टूल की तुलना करने से पहले एक टूल के अंदर दो मॉडलों में से चुनें। हर टूल के मॉडल लागत और समय के औसत उसके अपने सफल साझा टास्क पर आधारित हैं, इसलिए ये औसत टूल की आपसी रैंकिंग नहीं करते। इसी तरह के pi काम के लिए दर्ज टास्क-पूर्णता और मॉडल लागत का संतुलन उपयोगी है, जबकि गति के नतीजे मिले-जुले हैं।

अक्सर पूछे जाने वाले सवाल

क्या ब्राउज़र एजेंट के लिए GPT-6.1 Sol, GPT-6 Sol से बेहतर है?

हमारी pi व्यवस्था में GPT-6.1 Sol तीनों टूल में 25 में से अधिक टास्क पर सफल हुआ। Playwright CLI, agent-browser और ego-browser में उसके 19, 20 और 24 प्रयास सफल हुए; GPT-6 Sol के 12, 14 और 18। इन तुलनाओं में कोई भी परिणाम पुराने मॉडल की सफलता से नए मॉडल की विफलता में नहीं बदला।

क्या GPT-6.1 Sol, GPT-6 Sol से सस्ता है?

दोनों मॉडलों ने जिन टास्क में सफलता पाई, उन पर हर टूल में GPT-6.1 Sol की औसत मॉडल लागत कम थी। प्रति टास्क लागत क्रमशः $0.640 के मुकाबले $0.287, $0.595 के मुकाबले $0.339 और $0.735 के मुकाबले $0.372 थी। इसके रिकॉर्ड किए गए टोकन की लागत GPT-6 Sol की दरों पर भी कम रहती।

क्या GPT-6.1 Sol, GPT-6 Sol से तेज़ है?

मॉडल के इंतज़ार और टूल के निष्पादन का समय जोड़ने पर, दो टूल में GPT-6.1 Sol का औसत कम था और agent-browser में थोड़ा अधिक। Playwright CLI, agent-browser और ego-browser में यह साझा टास्क में क्रमशः 12 में से पाँच, 14 में से सात और 18 में से सात पर तेज़ था। हम इसे अधिक टास्क पूरे करने और कम लागत के लिए चुनेंगे, लगातार तेज़ होने की उम्मीद से नहीं।

GPT-6.1 Sol के ब्राउज़र इस्तेमाल में क्या बदला?

साझा सफल टास्क पर GPT-6.1 Sol ने हर टूल में कम टूल कॉल किए। ego-browser में इसके 43.7% स्क्रिप्ट में कई टैब शामिल थे या नया टैब बनाया गया था, जबकि GPT-6 Sol में यह 0.4% था। GPT-6.1 Sol ने 75 प्रयासों में दो बार बिना उत्तर दिए स्टेप की सीमा पूरी कर ली, जबकि GPT-6 Sol के साथ ऐसा नौ बार हुआ।

क्या GPT-6.1 Sol किसी ऐसे टास्क में विफल रहा जिसे GPT-6 Sol ने सफलतापूर्वक पूरा किया था?

नहीं, इन 25 टास्क की तुलनाओं में ऐसा एक भी मामला नहीं था। तीनों टूल में कुल 19 परिणाम GPT-6 Sol की विफलता से GPT-6.1 Sol की सफलता में बदले और उलटी दिशा में कोई परिणाम नहीं बदला। दोनों मॉडलों ने 44 प्रयासों में सफलता पाई और 12 में दोनों विफल रहे।

ब्राउज़र में GPT-6.1 Sol अब भी क्या गलत करता है?

तीनों टूल में GPT-6.1 Sol कुल 75 में से 12 प्रयासों में विफल रहा। दस प्रयास ऐसे उत्तर पर समाप्त हुए जिसमें कोई मान गलत था या गायब था, और दो में स्टेप की सीमा पूरी हो गई। पूरी दिखने वाली तालिका भी गलत हो सकती है।

कई साइटों से डेटा इकट्ठा करने में GPT-6.1 Sol कैसा प्रदर्शन करता है?

9 से 16 साइटों से एक जैसे फ़ील्ड इकट्ठा करने वाले दस टास्क पर GPT-6.1 Sol ने 30 में से 20 प्रयासों में सफलता पाई, जबकि GPT-6 Sol ने 30 में से 6 में। अतिरिक्त सफलताओं का अधिकांश हिस्सा इसी समूह से आता है। इस समूह में GPT-6.1 Sol अब भी दस प्रयासों में विफल रहा।

क्या ब्राउज़र टूल बदलने से यह बदलता है कि कौन-सा मॉडल अधिक काम पूरा करता है?

परीक्षण किए गए तीनों टूल में GPT-6.1 Sol ने अधिक टास्क पूरे किए। Playwright CLI में सात अतिरिक्त सफलताएँ मिलीं और agent-browser तथा ego-browser में छह-छह। गति के मामले में लाभ और समझौते टूल के अनुसार अलग थे।

क्या एक ही वेब ऐप के भीतर GPT-6.1 Sol इस्तेमाल करना फ़ायदेमंद है?

दोनों मॉडलों ने हर टूल में टेस्ट ऐप के चारों वर्कफ़्लो सफलतापूर्वक पूरे किए। मॉडल बदलने से इन ऐप में अधिक काम पूरा नहीं हुआ, लेकिन औसत मॉडल लागत कम हो गई। परीक्षण की गई व्यवस्था में कम लागत के लिए GPT-6.1 Sol चुनने का आधार मिलता है।

हमने परीक्षण कैसे किया

हमने gpt-6.1-sol और gpt-6-sol को pi एजेंट फ़्रेमवर्क में उच्च तर्क-प्रयास की सेटिंग पर चलाया। इनके पास bash और हर ब्राउज़र टूल की स्किल फ़ाइल थी। ego-browser के रन 22 अक्टूबर 2026 को शुरू हुए; Playwright CLI और agent-browser के रन 5 नवंबर 2026 को शुरू हुए। सभी छह मुख्य रन में वही Apple silicon Mac इस्तेमाल हुआ और एक साथ दस टास्क चले।

मुख्य तुलना में ऐसे 25 टास्क शामिल हैं जिनके सभी छह मॉडल-टूल संयोजनों के पहले प्रयास के रिकॉर्ड उपलब्ध हैं। हमने न्यूनतम मज़दूरी और MDN कम्पैटिबिलिटी वाले टास्क सभी संयोजनों से हटा दिए, क्योंकि कम-से-कम एक संग्रहित प्रयास को बाद में किसी खास टास्क के दोबारा किए गए रन से बदल दिया गया था। गिने गए प्रयास 22 अक्टूबर और 5 नवंबर 2026 के हैं।

टूल के संस्करण Playwright CLI 0.1.22, agent-browser 0.39.1 और ego-browser v2.1.0 थे। हर टूल में दोनों मॉडलों की तुलना के लिए टूल का संस्करण, स्किल फ़ाइल, स्टेप की सीमा और टास्क की जाँचें समान थीं। फ़्रेमवर्क द्वारा प्रयास समाप्त किए जाने से पहले मॉडल को 100 उत्तर देने की अनुमति थी।

इन 25 टास्क में कई साइटों से डेटा इकट्ठा करने वाले दस टास्क, एक से तीन साइटों पर जानकारी खोजने वाले आठ टास्क, खुले दायरे वाले शोध के तीन टास्क और टेस्ट वेब ऐप में चार वर्कफ़्लो शामिल हैं। हर टास्क को उसकी परिभाषा के अनुसार एक समूह में रखा गया है। उदाहरणों और पूरे परिणामों का दायरा यही 25 टास्क हैं।

एक प्रयास का अर्थ है एक मॉडल का एक टूल में एक टास्क चलाना। टूल कॉल किसी एजेंट टूल को चलाता है; टूल कॉल वाले 7,202 उत्तरों में से 7,200 में ठीक एक कॉल किया गया। ego-browser की एक स्क्रिप्ट, ego-browser nodejs को एक बार चलाना है। सफलता का अर्थ है कि अंतिम उत्तर उस टास्क के लिए तय हर जाँच में खरा उतरा, जिसमें पूरा अपेक्षित काम सौंपने की जाँच भी शामिल है।

समय की गणना में रिकॉर्ड किए गए मॉडल API के इंतज़ार के समय में टूल के निष्पादन का समय जोड़ा गया है; स्टेप के बीच फ़्रेमवर्क द्वारा लिया गया समय शामिल नहीं है। गति और लागत की तुलना हर टूल में उन टास्क पर की गई है जिन पर दोनों मॉडल सफल हुए। मॉडल लागत की गणना रिकॉर्ड किए गए इस्तेमाल पर बताई गई टोकन दरें लागू करके की गई है; जहाँ पाठ में कहा गया है, वहाँ विफल प्रयास भी शामिल हैं। दूसरी दरों पर लागत की गणना में GPT-6.1 Sol का इस्तेमाल स्थिर रखकर GPT-6 Sol की दरें लगाई गई हैं।

ego-browser में टैब के इस्तेमाल के लिए, हमने हर मॉडल के सभी 25 प्रयासों में उन स्क्रिप्टों की गिनती की जो कई पेज लेबल का उल्लेख करती थीं या एक और पेज बनाती थीं। दूसरे टूल के लिए, हमने टैब कमांड वाले bash कॉल गिने। ये हर इंटरफ़ेस के लिए विशिष्ट अवलोकन हैं; टैब खोलना या उनका उल्लेख करना अपने-आप में एक साथ निष्पादन का प्रमाण नहीं है।

पूरे परिणाम

हर सेल में एक प्रयास का परिणाम, मॉडल के इंतज़ार और टूल के निष्पादन का संयुक्त समय सेकंड में, तथा मॉडल के टोकन की लागत अमेरिकी डॉलर में दी गई है। समय और लागत के आँकड़ों में विफल प्रयास भी शामिल हैं; सारांश के औसत केवल ऊपर बताए गए साझा सफल टास्क पर आधारित हैं। हर गिना गया टास्क और सभी छह संयोजन सूचीबद्ध हैं।

टास्ककाम का प्रकारGPT-6.1 Sol के साथ Playwright CLIGPT-6 Sol के साथ Playwright CLIGPT-6.1 Sol के साथ agent-browserGPT-6 Sol के साथ agent-browserGPT-6.1 Sol के साथ ego-browserGPT-6 Sol के साथ ego-browser
टेस्ट ट्रैवल ऐप में नीति के अनुरूप यात्रा बुक करनाव्यावसायिक वेब ऐप वर्कफ़्लोसफल, 197.4 s, $0.224सफल, 164.0 s, $0.528सफल, 286.8 s, $0.285सफल, 267.5 s, $0.427सफल, 177.9 s, $0.311सफल, 142.9 s, $0.387
tier-1 सेवा मॉनिटरों को एक मानक के अनुरूप बनानाव्यावसायिक वेब ऐप वर्कफ़्लोसफल, 145.5 s, $0.153सफल, 124.1 s, $0.245सफल, 331.8 s, $0.414सफल, 283.0 s, $0.607सफल, 137.6 s, $0.125सफल, 91.3 s, $0.215
फ़रवरी के इनवॉइस का भुगतान से मिलान करना और विवाद दर्ज करनाव्यावसायिक वेब ऐप वर्कफ़्लोसफल, 253.0 s, $0.309सफल, 154.0 s, $0.362सफल, 520.4 s, $0.433सफल, 501.4 s, $1.052सफल, 190.6 s, $0.239सफल, 184.3 s, $0.420
आपूर्तिकर्ता के अनुसार स्टॉक स्तर से खरीद ऑर्डर बनानाव्यावसायिक वेब ऐप वर्कफ़्लोसफल, 189.5 s, $0.164सफल, 116.4 s, $0.344सफल, 307.2 s, $0.244सफल, 367.2 s, $0.630सफल, 164.5 s, $0.172सफल, 125.2 s, $0.191
Apple के US स्टोर पर MacBook के तीन कॉन्फ़िगरेशनएक से तीन साइटों पर जानकारी खोजनासफल, 314.1 s, $0.367सफल, 357.8 s, $0.651सफल, 348.5 s, $0.440सफल, 471.0 s, $0.620सफल, 223.1 s, $0.483सफल, 191.8 s, $1.160
Box Office Mojo और Wikipedia पर Wes Anderson की छह फ़िल्मों का बॉक्स ऑफ़िस संग्रहएक से तीन साइटों पर जानकारी खोजनासफल, 180.9 s, $0.151सफल, 496.1 s, $0.594सफल, 334.7 s, $0.339सफल, 487.0 s, $0.570सफल, 142.0 s, $0.179सफल, 105.2 s, $0.237
Companies House पर UK की चार कंपनियों की KYC जाँचएक से तीन साइटों पर जानकारी खोजनासफल, 185.8 s, $0.178सफल, 226.0 s, $0.583सफल, 579.3 s, $0.393सफल, 319.4 s, $0.708सफल, 177.9 s, $0.423सफल, 121.2 s, $0.529
2021 के एटोपिक डर्मेटाइटिस के क्लिनिकल परीक्षणों का उनकी दवाओं के लेबल दस्तावेज़ों से मिलानएक से तीन साइटों पर जानकारी खोजनासफल, 332.6 s, $0.352विफल, 583.0 s, $0.744सफल, 317.1 s, $0.418सफल, 482.8 s, $0.857सफल, 234.4 s, $0.450सफल, 252.3 s, $0.796
FRED पर CPI की तीन शृंखलाओं का BLS से मिलानएक से तीन साइटों पर जानकारी खोजनासफल, 441.5 s, $0.221सफल, 417.7 s, $0.262सफल, 429.0 s, $0.372सफल, 265.7 s, $0.922सफल, 97.4 s, $0.187सफल, 44.5 s, $0.164
फ़्लाइट सर्च साइट पर Denver जाने वाली नॉनस्टॉप उड़ानों के सबसे सस्ते किराएएक से तीन साइटों पर जानकारी खोजनासफल, 411.5 s, $0.471विफल, 616.3 s, $0.948विफल, 872.9 s, $1.109विफल, 690.9 s, $1.342सफल, 338.0 s, $0.609सफल, 385.3 s, $1.503
X पर SpaceX के लॉन्च से जुड़ी एक सप्ताह की पोस्टों का Wikipedia से मिलानएक से तीन साइटों पर जानकारी खोजनाविफल, 118.0 s, $0.088विफल, 363.3 s, $0.491सफल, 224.4 s, $0.151सफल, 239.4 s, $0.577सफल, 112.7 s, $0.183सफल, 499.8 s, $0.269
YouTube के एक व्याख्यान का उसकी GitHub स्क्रिप्ट और arXiv पेपर से मिलानएक से तीन साइटों पर जानकारी खोजनासफल, 467.3 s, $0.700विफल, 454.7 s, $0.922सफल, 221.6 s, $0.349सफल, 235.8 s, $0.395सफल, 94.7 s, $0.274सफल, 132.1 s, $0.574
नौ संगीत सेवाओं पर एक एल्बम का विवरण कैसे दिया गया हैकई साइटों से डेटा इकट्ठा करनाविफल, 440.3 s, $0.603विफल, 419.9 s, $1.117सफल, 678.2 s, $0.995विफल, 688.6 s, $1.068विफल, 180.2 s, $0.489विफल, 227.8 s, $1.179
बारह केंद्रीय बैंकों के 2026 के पहले ब्याज दर निर्णयकई साइटों से डेटा इकट्ठा करनासफल, 686.3 s, $0.917विफल, 713.3 s, $1.273विफल, 694.0 s, $1.008विफल, 674.2 s, $1.069सफल, 318.3 s, $0.643विफल, 377.3 s, $2.641
नौ डेवलपर सम्मेलनों के उद्घाटन मुख्य भाषणकई साइटों से डेटा इकट्ठा करनासफल, 726.0 s, $0.960सफल, 701.9 s, $2.388सफल, 507.9 s, $0.949विफल, 459.7 s, $1.606सफल, 488.4 s, $1.174सफल, 473.4 s, $1.495
नौ इलेक्ट्रिक SUV के US बाज़ार के स्पेसिफ़िकेशनकई साइटों से डेटा इकट्ठा करनासफल, 756.9 s, $0.771विफल, 730.6 s, $0.964विफल, 495.9 s, $0.801विफल, 595.0 s, $1.071सफल, 413.6 s, $0.843विफल, 316.8 s, $1.471
Hugging Face पर नौ ओपन-वेट मॉडल की मंज़ूरी शीटकई साइटों से डेटा इकट्ठा करनाविफल, 537.6 s, $0.719विफल, 616.2 s, $0.986सफल, 651.6 s, $1.020विफल, 663.4 s, $1.194सफल, 352.8 s, $0.804सफल, 330.1 s, $1.198
नौ फ़्लैगशिप फ़ोन के आधिकारिक UK स्पेसिफ़िकेशनकई साइटों से डेटा इकट्ठा करनासफल, 575.9 s, $0.635विफल, 642.9 s, $0.773सफल, 786.8 s, $0.942विफल, 392.0 s, $0.743सफल, 348.1 s, $0.704विफल, 270.2 s, $0.765
नौ SaaS ट्रस्ट सेंटरों से अनुपालन मैट्रिक्सकई साइटों से डेटा इकट्ठा करनाविफल, 683.8 s, $0.577विफल, 560.0 s, $0.642विफल, 704.3 s, $0.736विफल, 464.7 s, $0.542सफल, 299.8 s, $0.592विफल, 185.1 s, $0.451
नौ सर्वरलेस प्लेटफ़ॉर्म के मुफ़्त टियरकई साइटों से डेटा इकट्ठा करनासफल, 369.2 s, $0.395सफल, 441.0 s, $0.491विफल, 582.5 s, $0.529विफल, 763.6 s, $1.241सफल, 199.4 s, $0.360सफल, 267.4 s, $1.331
X और अपनी साइटों पर आठ ओपन-सोर्स प्रोजेक्टों की सुरक्षा रिलीज़कई साइटों से डेटा इकट्ठा करनाविफल, 318.5 s, $0.392विफल, 334.8 s, $0.903सफल, 619.8 s, $0.892विफल, 670.8 s, $1.468सफल, 231.5 s, $0.441सफल, 434.8 s, $2.405
X और प्रेस विज्ञप्तियों में उपभोक्ता इलेक्ट्रॉनिक्स के आठ लॉन्चकई साइटों से डेटा इकट्ठा करनाविफल, 404.1 s, $0.401विफल, 397.8 s, $0.917सफल, 675.0 s, $0.924विफल, 528.6 s, $1.139सफल, 389.1 s, $0.541विफल, 567.1 s, $1.101
ARC Prize लीडरबोर्ड के चार्ट से लागत और स्कोर पढ़नाखुले दायरे वाला शोधसफल, 171.3 s, $0.185सफल, 239.0 s, $1.092सफल, 361.3 s, $0.466सफल, 304.5 s, $0.357सफल, 84.9 s, $0.201सफल, 83.5 s, $0.257
Epoch AI के डेटा में EU की गणना-परिमाण सीमाओं से ऊपर के मॉडल गिननाखुले दायरे वाला शोधसफल, 132.7 s, $0.132सफल, 57.9 s, $0.139सफल, 106.5 s, $0.147सफल, 116.1 s, $0.159सफल, 62.2 s, $0.090सफल, 99.0 s, $0.105
Wikipedia की बड़े भाषा मॉडलों की सूची में दस संदर्भों के स्रोत खोजनाखुले दायरे वाला शोधसफल, 340.0 s, $0.189विफल, 654.3 s, $0.435सफल, 211.0 s, $0.300सफल, 194.6 s, $0.451सफल, 169.6 s, $0.244विफल, 151.4 s, $0.202

आगे पढ़ें