हमने पाँच ब्राउज़र ऑटोमेशन टूल के साथ 27 वेब टास्क पर Claude Opus 5 के ब्राउज़र इस्तेमाल का परीक्षण किया

15 मिनट में पढ़ें
Claude Opus 5 के ब्राउज़र इस्तेमाल के बेंचमार्क के लिए नीली पृष्ठभूमि पर अमूर्त सूर्य और परतों वाला भू-दृश्य

हमारे Claude Code सेटअप में Claude Opus 5 से ब्राउज़र चलाने का टूल चुनना हो, तो हम ego-browser चुनेंगे, ताकि 100 स्टेप की सीमा में कई साइटों वाले अधिक टास्क पूरे किए जा सकें। सभी टूल के साथ सफल रहे 13 टास्क पर इसका औसत समय भी सबसे कम था और औसत लागत भी सबसे कम थी। सफल टास्क की संख्या में इसकी बढ़त का अधिकांश हिस्सा उन टास्क से आया जो कई साइटों से एक जैसे फ़ील्ड जुटाते हैं। हमारे बाकी टास्क पर Chrome DevTools CLI के साथ भी उतने ही टास्क सफल रहे। हर टूल ने हमारे 27 टास्क में से प्रत्येक को एक बार चलाया, यानी हर टूल के लिए 27 प्रयास हुए। Opus 5 ने ego-browser के साथ 27 में से 24 प्रयास सफलतापूर्वक पूरे किए (88.9%), Chrome DevTools CLI और Playwright CLI में से प्रत्येक के साथ 18 (66.7%), Browser Use CLI के साथ 17 (63.0%) और agent-browser के साथ 15 (55.6%)। पाँचों टूल के साथ सफल रहे 13 टास्क पर ego-browser का प्रति टास्क औसत 324.6 सेकंड और $1.702 था। इसके बाद Chrome DevTools CLI का औसत 369.5 सेकंड और $1.845, Browser Use CLI का 407.7 सेकंड और $1.975, Playwright CLI का 495.8 सेकंड और $2.052, तथा agent-browser का 543.6 सेकंड और $2.368 था।

अंतर कई साइटों वाले टास्क में है: वे 11 टास्क जो 8 से 16 साइटों से एक जैसे फ़ील्ड जुटाते हैं। Opus 5 ने ego-browser के साथ इनमें से 8 टास्क सफलतापूर्वक पूरे किए, जबकि बाकी हर टूल के साथ 1 से 3 टास्क सफल रहे। उन चार टूल के साथ वह ज़्यादातर जवाब लिखने से पहले अपने सभी 100 स्टेप खर्च कर चुका था। हर टूल के साथ ऐसा 7 से 9 बार हुआ, जबकि ego-browser के साथ एक बार। बाकी 16 टास्क पर Chrome DevTools CLI के साथ भी सभी 16 सफल रहे, Playwright CLI और Browser Use CLI दोनों के साथ 15, और agent-browser के साथ 14।

हमारे रन में यह अंतर उसी काम को करने में लगे टूल कॉल की संख्या के साथ जुड़ा दिखा। पाँचों टूल के साथ सफल रहे 13 टास्क पर Opus 5 ने ego-browser के साथ प्रति टास्क औसतन 30.3 टूल कॉल किए, जबकि बाकी टूल के साथ 41.2 से 53.7 कॉल किए। बाकी टूल से अलग-अलग तुलना करने पर, इन 13 टास्क में से 10 से 13 पर ego-browser के साथ कॉल कम थे। ego-browser के साथ कम कॉल के साथ-साथ ब्राउज़र में कम समय लगा, कैश किए गए कम टोकन दोबारा पढ़े गए और 100 स्टेप के बजट में अधिक गुंजाइश बची।

हर टूल की कोई न कोई कमज़ोरी है। ego-browser के साथ Opus 5, कई साइटों वाले 11 में से 3 टास्क पर असफल रहा। पाँचों टूल के साथ सफल रहे 13 टास्क में से 5 पर Chrome DevTools CLI, ego-browser से तेज़ था, लेकिन कई साइटों वाले 11 में से केवल 2 टास्क पर सफल रहा। Playwright CLI के औसत समय में SpaceX लॉन्च पोस्ट वाले टास्क का एक 2,127 सेकंड का रन शामिल है। Browser Use CLI ने 3 गलत जवाब दिए, और agent-browser ने 11 बार सभी 100 स्टेप खर्च कर दिए। इनमें से दो टास्क कई साइटों वाले समूह के बाहर थे।

ब्राउज़र टूलसफलता दरप्रति टास्क औसत समयप्रति टास्क औसत लागत
ego-browser88.9% (24/27)324.6 s$1.702
Chrome DevTools CLI66.7% (18/27)369.5 s$1.845
Playwright CLI66.7% (18/27)495.8 s$2.052
Browser Use CLI63.0% (17/27)407.7 s$1.975
agent-browser55.6% (15/27)543.6 s$2.368

हर टूल ने 27 टास्क में से प्रत्येक को एक बार चलाया, इसलिए सफलता दर में प्रति टूल 27 प्रयास गिने जाते हैं। प्रति टास्क समय और लागत का औसत केवल उन 13 टास्क का है जो पाँचों टूल के साथ सफल रहे; इनमें कोई भी कई साइटों वाला टास्क नहीं है। समय में Opus 5 का इंतज़ार और ब्राउज़र कमांड चलाना शामिल है। लागत वह राशि है जो Claude Code ने हर प्रयास के लिए दर्ज की।

सफलता दर

ego-browser के साथ Opus 5 ने सबसे अधिक टास्क सफलतापूर्वक पूरे किए, और इस बढ़त का लगभग पूरा हिस्सा कई साइटों वाले 11 टास्क से आया। बाकी 16 टास्क में, Opus 5 की सफलता या असफलता पर ब्राउज़र टूल बदलने का बहुत कम असर पड़ा।

टास्क समूहego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
कई साइटों वाले टास्क (11)11 में से 811 में से 211 में से 311 में से 211 में से 1
अन्य टास्क (16)16 में से 1616 में से 1616 में से 1516 में से 1516 में से 14
सभी टास्क (27)27 में से 2427 में से 1827 में से 1827 में से 1727 में से 15

हर समूह में सफल प्रयास; हर टूल के साथ प्रति टास्क एक प्रयास। रन 3 नवंबर 2026 और 5 नवंबर 2026 को किए गए। अगर आपका एजेंट कई साइटों से एक जैसे फ़ील्ड जुटाता है, तो टूल के बीच अंतर कई साइटों वाले टास्क की पंक्ति में दिखता है।

बाकी चार टूल के साथ अधिकांश असफल प्रयासों में जवाब आने से पहले सभी 100 स्टेप खर्च हो गए। हर टूल के साथ गलत जवाब कम थे: प्रत्येक के लिए 1 से 3। कई साइटों वाले 11 टास्क पर Opus 5 ने ego-browser के साथ प्रति प्रयास औसतन 73.4 टूल कॉल किए, जबकि बाकी टूल के साथ 91.5 से 97.0। नीचे की हर पंक्ति में कुल 27 प्रयास हैं।

ब्राउज़र टूलसफलसभी 100 स्टेप खर्च हुएगलत जवाब
ego-browser2412
Chrome DevTools CLI1872
Playwright CLI1881
Browser Use CLI1773
agent-browser15111

ego-browser के साथ असफल रहा कोई भी टास्क दूसरे किसी टूल के साथ सफल नहीं हुआ। इसके तीन असफल प्रयास—दो गलत जवाब और एक रन जिसमें सभी 100 स्टेप खर्च हो गए—कई साइटों वाले टास्क थे। ये सभी बाकी चारों टूल के साथ भी असफल रहे।

केंद्रीय बैंकों वाला टास्क इस पैटर्न को दिखाता है। Opus 5 को 12 केंद्रीय बैंकों की अपनी साइटों से 2026 के पहले निर्धारित ब्याज दर निर्णय खोजने थे: तारीख, बदलाव, नीतिगत दर, असहमति और अगले निर्णय की तारीख सहित। ego-browser के साथ उसने Federal Reserve से लेकर Reserve Bank of India तक काम किया और सभी 12 पंक्तियाँ सही लौटाईं। बाकी चारों टूल के साथ जवाब लिखने से पहले उसके सभी 100 स्टेप खर्च हो गए।

रिकॉर्ड की गई ब्राउज़र कमांड का रीप्ले: केंद्रीय बैंकों वाले टास्क में Claude Opus 5, ego-browser से Reserve Bank of India का फ़रवरी 2026 का नीति वक्तव्य खोलता है
रिकॉर्ड की गई कमांड का रीप्ले। केंद्रीय बैंकों वाले टास्क में ego-browser के साथ Claude Opus 5। कुल 86 में से 84वीं टूल कॉल Reserve Bank of India का फ़रवरी 2026 का नीति वक्तव्य खोलती है; यह बैंक 12 बैंकों में 12वाँ है। मूल रन: 3 नवंबर 2026। ego(lite) में रीप्ले रिकॉर्ड करने की तारीख: 10 नवंबर 2026। चित्र को मूल आकार में देखें

बाकी 16 टास्क पर Chrome DevTools CLI के साथ भी उतने ही टास्क सफल रहे जितने ego-browser के साथ। कई साइटों वाले टास्क में Opus 5 ने अपनी 100 स्टेप की सीमा के भीतर ego-browser के साथ 11 में से 10 पर अंतिम जवाब दिया, जबकि बाकी टूल के साथ 2 से 4 पर। ऐसा काम करना हो, तो हम टूल के चुनाव को सबसे अधिक महत्व देंगे।

गति

ego-browser के साथ Opus 5 का औसत समय सबसे कम रहा। पाँचों टूल के साथ सफल रहे 13 टास्क पर इसका प्रति टास्क औसत 324.6 सेकंड था, जबकि बाकी टूल का 369.5 से 543.6 सेकंड। इन 13 टास्क में से यह Chrome DevTools CLI से 8 पर तेज़ था, Playwright CLI और Browser Use CLI में से प्रत्येक से 10 पर, और agent-browser से 11 पर। Playwright CLI के औसत में SpaceX लॉन्च पोस्ट वाले टास्क का एक 2,127 सेकंड का रन शामिल है, इसलिए हम अंतर को हर टास्क के स्तर पर भी देखते हैं।

बाकी हर टूल की तुलना में ego-browser के साथ ब्राउज़र कमांड चलाने में कम समय लगा और टूल कॉल की संख्या सबसे कम रही।

ब्राउज़र टूलप्रति टास्क टूल कॉलप्रति टास्क Opus 5 के जवाब का इंतज़ारप्रति टास्क ब्राउज़र कमांड चलाने का समय
ego-browser30.3222.7 s100.3 s
Chrome DevTools CLI41.2222.4 s147.6 s
Playwright CLI46.0253.0 s243.7 s
Browser Use CLI42.0267.2 s139.4 s
agent-browser53.7298.9 s243.3 s

पाँचों टूल के साथ सफल रहे 13 टास्क का औसत; रन 3 नवंबर 2026 और 5 नवंबर 2026 को किए गए।

सबसे नज़दीकी टूल Chrome DevTools CLI की तुलना में मॉडल के जवाब के इंतज़ार का समय लगभग बराबर था, जबकि ब्राउज़र कमांड चलाने का रिकॉर्ड किया गया समय ego-browser के साथ कम था। Opus 5 ने ego-browser के साथ प्रति टास्क मॉडल के जवाब का 222.7 सेकंड इंतज़ार किया, और Chrome DevTools CLI के साथ 222.4 सेकंड। ego-browser के साथ Opus 5 ने 41.2 की जगह 30.3 कॉल किए और प्रति कॉल अधिक आउटपुट दिया: सोचने के टोकन सहित प्रति कॉल 565 आउटपुट टोकन, जबकि दूसरे टूल के साथ 389।

बॉक्स ऑफ़िस वाला टास्क दिखाता है कि कॉल कहाँ खर्च होते हैं। Opus 5 को Box Office Mojo और Wikipedia पर Wes Anderson की छह फ़िल्मों की कमाई का मिलान करना था। पाँचों टूल के साथ हर मान सही मिला। ego-browser के साथ यह 15 टूल कॉल और 167 सेकंड में सफल हुआ, जबकि बाकी चार टूल को 20 से 26 कॉल और 249 से 290 सेकंड लगे। अंतर Box Office Mojo वाले हिस्से में आया: ego-browser ने इसे 10वीं कॉल तक पूरा कर लिया, जबकि बाकी टूल ने 12वीं से 16वीं कॉल तक। 10वीं कॉल में एक स्क्रिप्ट ने पाँच फ़िल्मों के रिलीज़ पेज एक के बाद एक खोले और हर फ़िल्म की कमाई प्रिंट की।

रिकॉर्ड की गई ब्राउज़र कमांड का रीप्ले: बॉक्स ऑफ़िस वाले टास्क में Claude Opus 5, ego-browser से Box Office Mojo के रिलीज़ पेज खोलता है
रिकॉर्ड की गई कमांड का रीप्ले। बॉक्स ऑफ़िस वाले टास्क में ego-browser के साथ Claude Opus 5। कुल 15 में से 10वीं टूल कॉल पाँच फ़िल्मों के घरेलू रिलीज़ पेज क्रम से खोलती है और उनकी कमाई प्रिंट करती है। मूल रन: 3 नवंबर 2026। ego(lite) में रीप्ले रिकॉर्ड करने की तारीख: 10 नवंबर 2026। चित्र को मूल आकार में देखें

लागत

सभी टूल के साथ सफल रहे साझा टास्क पर ego-browser की औसत मॉडल लागत भी सबसे कम थी। पाँचों टूल के साथ सफल रहे 13 टास्क पर Opus 5 की प्रति टास्क लागत ego-browser के साथ $1.702 थी, जबकि बाकी टूल के साथ $1.845 से $2.368। इन 13 टास्क में से ego-browser की लागत Chrome DevTools CLI और Browser Use CLI में से प्रत्येक से 8 पर कम थी, Playwright CLI से 10 पर और agent-browser से 11 पर।

हर टूल में मॉडल और उसकी दर एक ही है, इसलिए पूरा अंतर उपयोग की मात्रा से आता है, जो कैश रीड में दिखता है। हर टूल कॉल एक टर्न जोड़ती है और हर टर्न अब तक की बातचीत फिर से Opus 5 को भेजता है। इसका अधिकांश शुल्क कैश रीड के रूप में लगता है। कॉल कम होने पर Opus 5 ने ego-browser के साथ प्रति टास्क 1.32 मिलियन कैश टोकन दोबारा पढ़े, जबकि बाकी टूल के साथ 1.69 मिलियन से 2.42 मिलियन।

ब्राउज़र टूलप्रति टास्क पढ़े गए कैश टोकनकैश रीडकैश राइटआउटपुट
ego-browser1.32 मिलियन$0.661$0.613$0.428
Chrome DevTools CLI1.69 मिलियन$0.846$0.597$0.401
Playwright CLI1.98 मिलियन$0.991$0.607$0.454
Browser Use CLI1.75 मिलियन$0.877$0.597$0.500
agent-browser2.42 मिलियन$1.210$0.634$0.523

पाँचों टूल के साथ सफल रहे 13 टास्क का प्रति टास्क औसत। Claude Code ने हर कैश टोकन को एक घंटे की वैधता के साथ लिखा। इन हिस्सों की गणना Anthropic की सूचीबद्ध Opus 5 दरों के आधार पर की गई है: कैश रीड टोकन के लिए $0.50 प्रति मिलियन, एक घंटे की वैधता वाले कैश राइट टोकन के लिए $10 प्रति मिलियन और आउटपुट टोकन के लिए $25 प्रति मिलियन। तीनों हिस्सों का जोड़ हर टूल की प्रति टास्क लागत से एक सेंट के दसवें हिस्से के भीतर मेल खाता है।

पाँचों टूल में आउटपुट और कैश राइट की लागत लगभग बराबर रही, इसलिए लागत के मामले में टूल का क्रम कैश रीड की लागत से तय हुआ। पाँचों टूल के साथ सफल रहे 13 टास्क पर ego-browser ने Chrome DevTools CLI की तुलना में प्रति टास्क 14.3 सेंट बचाए।

Claude Opus 5 के साथ कौन सा ब्राउज़र टूल इस्तेमाल करें

यहाँ परीक्षण किए गए टास्क के मिश्रण, Claude Code सेटअप और 100 स्टेप की सीमा के लिए हमें चुनाव करना हो, तो हम Claude Opus 5 के साथ ego-browser चुनेंगे। Opus 5 ने इसके साथ सबसे अधिक टास्क सफलतापूर्वक पूरे किए। पाँचों टूल के साथ सफल रहे 13 टास्क पर इसका औसत समय भी सबसे कम था और औसत लागत भी सबसे कम थी।

हमारे ग्यारह टास्क जैसे कई साइटों वाले काम के लिए, इस 100 स्टेप की सीमा में हम ego-browser का सेटअप चुनेंगे। 100 स्टेप की सीमा में Opus 5 ने इसके साथ हमारे कई साइटों वाले 11 टास्क में से 8 सफलतापूर्वक पूरे किए, जबकि बाकी हर टूल के साथ 1 से 3। अगर आपके टास्क हमारे बाकी 16 जैसे हैं—कुछ साइटों पर जानकारी खोजना, एक पेज से शोध करना या एक वेब ऐप के भीतर काम करना—तो उनकी सफलता पर टूल के चुनाव का असर कम है। Chrome DevTools CLI के साथ भी ego-browser की तरह सभी 16 सफल रहे। पाँचों टूल के साथ सफल रहे 13 टास्क पर ego-browser ने प्रति टास्क औसतन 44.9 सेकंड कम लिए और उसकी औसत लागत 14.3 सेंट कम रही।

अगर गति सबसे महत्वपूर्ण है, तो पाँचों टूल के साथ सफल रहे 13 टास्क पर ego-browser का औसत समय सबसे कम था और Chrome DevTools CLI दूसरे स्थान पर था। अगर लागत सबसे महत्वपूर्ण है, तो इन टास्क पर क्रम वही था। वहाँ Playwright CLI, Browser Use CLI और agent-browser औसत समय और लागत, दोनों में इन दोनों से पीछे रहे।

हमारे सेटअप में Claude Code के भीतर Claude Opus 5 (claude-opus-5) को उच्च प्रयास स्तर पर चलाया गया। हर ब्राउज़र टूल के लिए एक स्किल फ़ाइल थी और प्रति प्रयास 100 स्टेप की सीमा थी। ego-browser, ego(lite) के साथ मिलता है और उसे एजेंट के ब्राउज़र के रूप में चलाता है। बाकी चार टूल Google Chrome चलाते हैं।

इस तुलना में ego(lite) की भूमिका

ego(lite) वह ब्राउज़र देता था जिसे ego-browser चलाता था, जबकि Claude Code और Claude Opus 5 एजेंट और मॉडल देते थे। ego-browser इंटीग्रेशन गाइड में यह कनेक्शन समझाया गया है। बताई गई लागत मॉडल टोकन की लागत है, ब्राउज़र के किसी अलग सब्सक्रिप्शन की कीमत नहीं।

परीक्षण में इस्तेमाल की गई 100 स्टेप की सीमा के अंतर्गत मिलते-जुलते काम के लिए सेटअप चुनने में टास्कवार परिणाम देखें। कई साइटों वाले टास्क की पूर्णता की तुलना में ग्यारह टास्क शामिल हैं, जबकि समय और लागत की तुलना में वे तेरह टास्क हैं जो हर टूल के साथ सफल रहे। ये अलग समूह हैं, इसलिए साझा टास्क की लागत से कई साइटों वाले अधिक कठिन काम पूरा करने की लागत नहीं निकलती।

अक्सर पूछे जाने वाले सवाल

Claude Code में ब्राउज़र ऑटोमेशन के लिए agent-browser बेहतर है या Playwright CLI?

Claude Opus 5 के साथ हमारे रन में Playwright CLI ने अधिक प्रयास सफलतापूर्वक पूरे किए: 27 में से 18, जबकि agent-browser ने 15। पाँचों टूल के साथ सफल रहे 13 टास्क पर Playwright CLI का प्रति टास्क औसत 495.8 सेकंड और $2.052 था, जबकि agent-browser का 543.6 सेकंड और $2.368। इन 13 टास्क में से 9 पर Playwright CLI तेज़ था, हालाँकि एक 2,127 सेकंड के रन ने उसका औसत बढ़ा दिया। agent-browser के साथ 11 टास्क पर सभी 100 स्टेप खर्च हुए, जबकि Playwright CLI के साथ 8 पर।

Chrome DevTools CLI बनाम Playwright CLI: Claude Opus 5 के साथ कौन बेहतर काम करता है?

सफलता में दोनों बराबर रहे: प्रत्येक के साथ 27 में से 18 प्रयास सफल हुए। Chrome DevTools CLI का औसत समय भी कम था और औसत लागत भी कम थी। पाँचों टूल के साथ सफल रहे 13 टास्क पर इसका प्रति टास्क औसत 369.5 सेकंड और $1.845 था, जबकि Playwright CLI का 495.8 सेकंड और $2.052। हर टास्क के स्तर पर दोनों क़रीब थे: इन 13 में से Chrome DevTools CLI 7 पर तेज़ और 8 पर सस्ता था। SpaceX लॉन्च पोस्ट वाले टास्क में Playwright CLI का एक 2,127 सेकंड का रन समय के लगभग पूरे अंतर का कारण है।

क्या Claude Opus 5 के लिए Chrome DevTools CLI अच्छा विकल्प है?

कई साइटों वाले टास्क के बाहर, हाँ: Chrome DevTools CLI के साथ Opus 5 ने हमारे बाकी सभी 16 टास्क सफलतापूर्वक पूरे किए, जैसा ego-browser के साथ हुआ। पाँचों टूल के साथ सफल रहे 13 टास्क पर Chrome DevTools CLI औसत समय और लागत में दूसरे स्थान पर था: प्रति टास्क 369.5 सेकंड और $1.845। कई साइटों वाले 11 टास्क में से इसके साथ 2 सफल रहे और 7 पर सभी 100 स्टेप खर्च हो गए।

Claude Code के लिए Browser Use CLI की तुलना दूसरे ब्राउज़र टूल से कैसे होती है?

Browser Use CLI के साथ Opus 5 ने 27 में से 17 प्रयास सफलतापूर्वक पूरे किए, जबकि बाकी चार टूल के साथ यह संख्या 15 से 24 थी। पाँचों टूल के साथ सफल रहे 13 टास्क पर Browser Use CLI औसत समय और लागत में तीसरे स्थान पर था: प्रति टास्क 407.7 सेकंड और $1.975। इसके साथ 3 गलत जवाब मिले और कई साइटों वाले 11 टास्क में से 7 पर सभी 100 स्टेप खर्च हो गए।

ब्राउज़र एजेंट कई साइटों वाले लंबे टास्क पर असफल क्यों होते हैं?

हमारी 100 स्टेप की सीमा में Claude Opus 5 के स्टेप ज़्यादातर खत्म हो गए: पाँच में से चार ब्राउज़र टूल के साथ कई साइटों वाले 11 टास्क में से 7 से 9 पर इसके सभी 100 स्टेप खर्च हुए। ये चार टूल Chrome DevTools CLI, Playwright CLI, Browser Use CLI और agent-browser थे। ego-browser के साथ ऐसा एक बार हुआ। इन टास्क पर ego-browser के साथ प्रति प्रयास औसतन 73.4 टूल कॉल हुए, जबकि बाकी के साथ 91.5 से 97.0।

Claude Opus 5 ब्राउज़र एजेंट के एक टास्क की लागत कितनी होती है?

हमारे उन 13 टास्क पर जो पाँचों टूल के साथ सफल रहे, Claude Opus 5 के एक ब्राउज़र टास्क की लागत लगभग $1.70 से $2.37 थी। यह ब्राउज़र टूल पर निर्भर थी। खर्च का सबसे बड़ा हिस्सा हर टर्न पर दोबारा पढ़े गए कैश टोकन का है, जिनकी मात्रा टूल कॉल की संख्या के साथ बढ़ती है।

Claude Opus 5 ब्राउज़र एजेंट का एक टास्क कितने समय में पूरा होता है?

हमारे उन 13 टास्क पर जो पाँचों टूल के साथ सफल रहे, एक टास्क में ego-browser के साथ 324.6 सेकंड से लेकर agent-browser के साथ 543.6 सेकंड लगे। सभी प्रयासों को गिनने पर, पाँचों टूल में कई साइटों वाले प्रयासों का औसत समय 919.1 से 1,112.2 सेकंड था। दोनों आँकड़ों में Opus 5 के जवाब के इंतज़ार का समय शामिल है।

ब्राउज़र टास्क में Claude Opus 5 कितने टूल कॉल करता है?

पाँचों टूल के साथ सफल रहे 13 टास्क पर प्रति टास्क 30.3 से 53.7 कॉल, ब्राउज़र टूल के आधार पर। ego-browser को सबसे कम और agent-browser को सबसे अधिक कॉल लगे। कई साइटों वाले 11 टास्क पर ego-browser के साथ प्रति प्रयास औसतन 73.4 कॉल हुए, जबकि बाकी चार के साथ 91.5 से 97.0।

परीक्षण किए गए सेटअप में Claude Opus 5 की सफलता दर में क्या अंतर था?

हमारे रन में मॉडल और Claude Code सेटअप एक ही होने पर भी, ब्राउज़र टूल के आधार पर Opus 5 के 27 प्रयासों में से 55.6% से 88.9% सफल रहे। अधिकांश अंतर कई साइटों वाले 11 टास्क से आया। बाकी 16 टास्क पर हर टूल के साथ 14 से 16 सफल रहे।

क्या वेब ऐप वाले टास्क में ब्राउज़र टूल के बीच अंतर होता है?

काम सफल होने के मामले में नहीं: Opus 5 ने पाँचों टूल में से प्रत्येक के साथ हमारे परीक्षण वेब ऐप के सभी 4 टास्क सफलतापूर्वक पूरे किए। इन 4 में हर टूल अधिकतम 2 पर सबसे तेज़ था। अंतर काम के लिए ज़रूरी कॉल की संख्या में था: ego-browser के साथ प्रति टास्क 36.2 और बाकी के साथ 47.8 से 77.2।

हमने परीक्षण कैसे किया

हमने ego-browser को 3 नवंबर 2026 और बाकी चार टूल को 5 नवंबर 2026 को एक के बाद एक चलाया। सभी रन macOS 26.5 वाले एक ही Apple silicon Mac mini पर हुए। हर रन में Claude Code 2.1.316 के भीतर Claude Opus 5 (claude-opus-5) को उच्च प्रयास स्तर पर चलाया गया और Bash, Read, Write, Edit तथा Skill टूल इस्तेमाल हुए। मॉडल, एजेंट, प्रयास स्तर, टास्क, स्कोरिंग और स्टेप की सीमा सभी टूल के लिए एक ही थे। हमने सिर्फ़ ब्राउज़र टूल, उसकी स्किल फ़ाइल और उसके चलाए ब्राउज़र को बदला।

ब्राउज़र टूल

हमने पाँच ब्राउज़र टूल की तुलना की, जिन्हें Claude Code शेल कमांड से चलाता है। ego-browser v2.2.0-beta.5 ने ego(lite) 0.6.3.2 चलाया: Opus 5 ने JavaScript स्क्रिप्ट लिखीं, ego-browser ने उन्हें पेज पर चलाया और स्क्रिप्ट ने जो प्रिंट किया, वही पेज की सामग्री के रूप में वापस आया। Chrome DevTools CLI 1.10.1, Playwright CLI 0.1.22 और agent-browser 0.39.1 ने Google Chrome 156 को पेज खोलने, उसके एलिमेंट का स्नैपशॉट लेने या JavaScript चलाने जैसी कमांड से चलाया। इन टूल का इस्तेमाल करने वाली 47.4% से 56.7% शेल कॉल में Opus 5 ने ऐसी दो या अधिक कमांड जोड़ीं। Browser Use CLI 0.1.13 ने Google Chrome 156 को Python स्क्रिप्ट से चलाया, जिनमें पेज लोड करने और JavaScript चलाने के लिए हेल्पर फ़ंक्शन थे।

टास्क

हमने वास्तविक वेबसाइटों और परीक्षण वेब ऐप पर 27 टास्क इस्तेमाल किए। कई साइटों वाले 11 टास्क, 8 से 16 साइटों से एक जैसे फ़ील्ड जुटाते हैं, जैसे 12 केंद्रीय बैंकों के 2026 के पहले ब्याज दर निर्णय। बाकी 16 में नाम से दी गई एक से तीन साइटों पर जानकारी खोजने के 9 टास्क, एक पेज से शुरू होने वाले 3 शोध टास्क और व्यावसायिक वेब ऐप के भीतर 4 टास्क हैं। उदाहरणों में Box Office Mojo और Wikipedia पर छह फ़िल्मों की कमाई का मिलान करना, चार्ट पर माउस ले जाकर बिंदुओं से मान पढ़ना और यात्रा नीति के अनुसार ट्रिप बुक करना शामिल है।

कई साइटों वाले टास्क इस टास्क सेट का अपना समूह हैं: इनके विवरण में 8 या अधिक आइटम दिए होते हैं और हर आइटम के लिए अलग साइट का नाम होता है। हर टास्क सिर्फ़ एक समूह में आता है।

सफलता का मानदंड

हर टास्क में स्कोर किए जाने वाले आइटम होते हैं; 27 टास्क में इनकी कुल संख्या 190 है। कोई प्रयास तभी सफल होता है जब उसके अंतिम जवाब में हर स्कोर किया जाने वाला आइटम सही हो। अंतिम जवाब के बिना प्रयास असफल माना जाता है।

हमने गणना कैसे की

प्रयास का मतलब है एक टूल के साथ एक टास्क का एक रन। हर टूल ने हर टास्क को एक बार चलाया, यानी उसके 27 प्रयास हुए। सफलता दर प्रयासों के आधार पर गिनी जाती है। एक स्टेप मॉडल का एक टर्न है। हर प्रयास अधिकतम 100 स्टेप और अधिकतम 60 मिनट ले सकता था। टूल कॉल करने वाले 8,607 स्टेप में से 5 को छोड़कर सभी ने ठीक एक कॉल की।

टूल कॉल, Claude Code के Bash, Read, Write, Edit या Skill टूल को की गई एक कॉल है, जैसे एक ब्राउज़र स्क्रिप्ट, कई कमांड जोड़ सकने वाली एक शेल कॉल या किसी फ़ाइल को एक बार पढ़ना। प्रयास को सभी 100 स्टेप खर्च करने वाला तब माना जाता है जब वह अंतिम जवाब दिए बिना सीमा तक पहुँच जाए। ऐसे हर प्रयास ने 99 या 100 टूल कॉल किए थे। टूल कॉल की संख्या हर प्रयास के Claude Code सेशन लॉग से ली गई है।

समय का अर्थ प्रति प्रयास शुरू से अंत तक बीता समय है। इसमें Opus 5 के API के जवाब का इंतज़ार और ब्राउज़र कमांड चलाना शामिल है। गति वाली तालिका में इनका समय अलग-अलग दिया गया है। लागत वह है जो Claude Code ने Opus 5 के लिए Anthropic की सूचीबद्ध दरों पर हर प्रयास के लिए बताई। कैश टोकन और आउटपुट टोकन भी उसी रिकॉर्ड से लिए गए हैं। प्रति कॉल आउटपुट टोकन, सोचने के टोकन सहित, हर टूल के प्रति टास्क आउटपुट टोकन को उसके प्रति टास्क टूल कॉल से भाग देकर निकाले गए हैं।

गति और लागत की तुलना उन 13 टास्क पर की गई है जो पाँचों टूल के साथ सफल रहे। चूँकि हर टास्क हर टूल के साथ एक बार चला, इसलिए उसका समय और लागत उसी एक प्रयास के हैं। “13 में से 8 टास्क पर तेज़” जैसी गिनती हर टास्क पर टूल की तुलना करती है। शेल कॉल को कमांड जोड़ने वाली तब गिना जाता है जब उसमें एक ही ब्राउज़र टूल की दो या अधिक कमांड चली हों।

पूरे परिणाम

हर सेल में एक प्रयास दिया गया है: उसका परिणाम, सेकंड में उसका कुल बीता समय और उसकी लागत। हर टूल ने हर टास्क को एक बार चलाया। समय में Opus 5 के API के जवाब का इंतज़ार शामिल है। “सभी स्टेप खर्च हुए” का मतलब है कि प्रयास अंतिम जवाब दिए बिना अपनी 100 स्टेप की सीमा तक पहुँच गया।

कई साइटों वाले टास्क

टास्कego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
नौ संगीत सेवाओं पर एक एल्बम के ट्रैक की संख्या, कुल अवधि, रिलीज़ की तारीख और क्रेडिटसफल, 415 सेकंड, $2.42गलत जवाब, 781 सेकंड, $3.88सफल, 809 सेकंड, $4.58सफल, 633 सेकंड, $3.43सभी स्टेप खर्च हुए, 728 सेकंड, $4.58
आठ कैमरों का वज़न, बैटरी, रिज़ॉल्यूशन और बर्स्ट शूटिंग के स्पेसिफ़िकेशन, उनके निर्माताओं की साइटों सेसफल, 1112 सेकंड, $5.75सभी स्टेप खर्च हुए, 990 सेकंड, $4.63सभी स्टेप खर्च हुए, 823 सेकंड, $4.40सभी स्टेप खर्च हुए, 936 सेकंड, $5.37सभी स्टेप खर्च हुए, 799 सेकंड, $4.91
12 केंद्रीय बैंकों का 2026 का पहला ब्याज दर निर्णय, हर बैंक की अपनी साइट सेसफल, 899 सेकंड, $5.95सभी स्टेप खर्च हुए, 780 सेकंड, $6.20सभी स्टेप खर्च हुए, 604 सेकंड, $5.22सभी स्टेप खर्च हुए, 539 सेकंड, $5.29सभी स्टेप खर्च हुए, 766 सेकंड, $4.31
नौ डेवलपर कॉन्फ़्रेंसों के उद्घाटन कीनोट, उनके कार्यक्रमों और YouTube सेसभी स्टेप खर्च हुए, 1401 सेकंड, $7.37सभी स्टेप खर्च हुए, 1126 सेकंड, $5.80सभी स्टेप खर्च हुए, 945 सेकंड, $5.31सभी स्टेप खर्च हुए, 1100 सेकंड, $6.14सभी स्टेप खर्च हुए, 962 सेकंड, $5.58
नौ इलेक्ट्रिक SUV की रेंज और DC चार्जिंग के स्पेसिफ़िकेशन, कार निर्माताओं की अमेरिकी साइटों सेगलत जवाब, 1020 सेकंड, $8.37सभी स्टेप खर्च हुए, 1015 सेकंड, $5.92सभी स्टेप खर्च हुए, 803 सेकंड, $5.31सभी स्टेप खर्च हुए, 1084 सेकंड, $6.83सभी स्टेप खर्च हुए, 1223 सेकंड, $6.02
नौ ओपन-वेट मॉडलों का आकार, कॉन्टेक्स्ट, लाइसेंस और ट्रेनिंग टोकनगलत जवाब, 749 सेकंड, $7.29सभी स्टेप खर्च हुए, 943 सेकंड, $5.84सभी स्टेप खर्च हुए, 741 सेकंड, $5.31सभी स्टेप खर्च हुए, 886 सेकंड, $7.02सभी स्टेप खर्च हुए, 1207 सेकंड, $6.46
श्रम मंत्रालयों की साइटों से नौ देशों का वैधानिक न्यूनतम वेतनसफल, 616 सेकंड, $4.39सभी स्टेप खर्च हुए, 1075 सेकंड, $6.20सफल, 687 सेकंड, $4.83सभी स्टेप खर्च हुए, 724 सेकंड, $5.81सभी स्टेप खर्च हुए, 1055 सेकंड, $5.02
नौ फ़ोनों का वज़न, बैटरी, डिस्प्ले, IP रेटिंग और अपडेट नीति, ब्रांडों की यूके वाली साइटों सेसफल, 745 सेकंड, $6.02सभी स्टेप खर्च हुए, 908 सेकंड, $4.86सभी स्टेप खर्च हुए, 778 सेकंड, $4.53सभी स्टेप खर्च हुए, 898 सेकंड, $5.66सभी स्टेप खर्च हुए, 786 सेकंड, $5.27
नौ सर्वरलेस फ़ंक्शन प्लेटफ़ॉर्मों के मुफ़्त प्लान की सीमाएँसफल, 515 सेकंड, $3.81सफल, 958 सेकंड, $6.45सफल, 565 सेकंड, $4.71गलत जवाब, 580 सेकंड, $3.76सभी स्टेप खर्च हुए, 1251 सेकंड, $5.97
आठ ओपन-सोर्स प्रोजेक्टों के X पर सुरक्षा रिलीज़ पोस्टों का उनकी अपनी एडवाइज़रियों से मिलानसफल, 1058 सेकंड, $3.83सफल, 1047 सेकंड, $4.99सभी स्टेप खर्च हुए, 2128 सेकंड, $4.96सफल, 1805 सेकंड, $6.16सफल, 1908 सेकंड, $5.35
आठ ब्रांडों के X पर 2026 में प्रकाशित प्रोडक्ट पोस्टों का उनकी प्रेस विज्ञप्तियों से मिलानसफल, 1580 सेकंड, $4.56गलत जवाब, 849 सेकंड, $4.62सभी स्टेप खर्च हुए, 2024 सेकंड, $5.21गलत जवाब, 1832 सेकंड, $5.39गलत जवाब, 1548 सेकंड, $4.76

अन्य टास्क

टास्कego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
Apple के तुलना पेज, अमेरिकी स्टोर और स्पेसिफ़िकेशन पेजों पर तीन MacBook मॉडलों के 32 GB / 1 TB कॉन्फ़िगरेशन की कीमत निकालनासफल, 367 सेकंड, $3.15सफल, 374 सेकंड, $2.74सफल, 481 सेकंड, $4.91सफल, 438 सेकंड, $3.06सफल, 568 सेकंड, $3.52
Box Office Mojo और Wikipedia पर Wes Anderson की छह फ़िल्मों की कमाई का मिलानसफल, 167 सेकंड, $0.81सफल, 290 सेकंड, $1.01सफल, 249 सेकंड, $0.89सफल, 265 सेकंड, $1.25सफल, 270 सेकंड, $0.96
Companies House पर यूके की चार कंपनियों का शुरुआती KYC स्नैपशॉटसफल, 359 सेकंड, $2.02सफल, 333 सेकंड, $1.42सफल, 319 सेकंड, $1.66सफल, 321 सेकंड, $1.42सफल, 356 सेकंड, $1.65
ClinicalTrials.gov पर 2021 के चरण 3 के एटोपिक डर्मेटाइटिस क्लिनिकल परीक्षणों का DailyMed पर दिए गए संबंधित दवा लेबल दस्तावेज़ों से मिलानसफल, 391 सेकंड, $1.98सफल, 338 सेकंड, $2.15सफल, 468 सेकंड, $2.72सफल, 541 सेकंड, $2.38सफल, 475 सेकंड, $2.74
FRED से CPI, कोर CPI और अंडों की कीमत में दिसंबर के बदलाव, पिछले साल के दिसंबर की तुलना में; BLS से मिलानसफल, 181 सेकंड, $1.09सफल, 346 सेकंड, $1.90सफल, 395 सेकंड, $1.35सफल, 294 सेकंड, $1.48सफल, 311 सेकंड, $1.59
फ़्लाइट सर्च साइट पर तीन शहरों से Denver तक बिना रुके जाने वाली इकोनॉमी उड़ानों के सबसे कम किरायेसफल, 766 सेकंड, $3.50सफल, 1152 सेकंड, $3.83गलत जवाब, 732 सेकंड, $4.03सफल, 1008 सेकंड, $3.89सभी स्टेप खर्च हुए, 1123 सेकंड, $5.25
MDN और Can I use से छह वेब प्लेटफ़ॉर्म सुविधाएँ इस्तेमाल करने या न करने का निर्णयसफल, 376 सेकंड, $1.74सफल, 461 सेकंड, $2.41सफल, 420 सेकंड, $1.82सफल, 381 सेकंड, $1.51सफल, 423 सेकंड, $2.11
X पर एक सप्ताह में SpaceX के लॉन्च से जुड़ी पोस्टों का Wikipedia की दो लॉन्च सूचियों से मिलानसफल, 472 सेकंड, $1.06सफल, 558 सेकंड, $1.94सफल, 2127 सेकंड, $2.15सफल, 854 सेकंड, $1.58सफल, 511 सेकंड, $1.55
YouTube, GitHub और arXiv पर जाँचे गए Karpathy के GPT लेक्चर के अध्ययन नोट्ससफल, 245 सेकंड, $1.55सफल, 426 सेकंड, $2.75सफल, 696 सेकंड, $2.93सफल, 466 सेकंड, $2.05सभी स्टेप खर्च हुए, 1344 सेकंड, $4.49
ARC Prize के लीडरबोर्ड चार्ट पर माउस ले जाकर कम लागत वाले आठ बिंदुओं के मान पढ़नासफल, 294 सेकंड, $1.60सफल, 360 सेकंड, $1.87सफल, 354 सेकंड, $1.92गलत जवाब, 387 सेकंड, $2.65सफल, 679 सेकंड, $2.19
Epoch AI के मॉडल डेटाबेस में यूरोपीय संघ की गणना-मात्रा की सीमाओं से ऊपर आने वाले मॉडल गिननासफल, 211 सेकंड, $1.25सफल, 210 सेकंड, $0.97सफल, 273 सेकंड, $1.57सफल, 150 सेकंड, $0.84सफल, 882 सेकंड, $1.95
Wikipedia की LLM तालिका के दस सेलों की जानकारी उनके उद्धृत स्रोतों तक खोजनासफल, 444 सेकंड, $2.11सफल, 474 सेकंड, $2.19सफल, 427 सेकंड, $2.22सफल, 335 सेकंड, $1.91सफल, 349 सेकंड, $1.73
यात्रा और खर्च के ऐप में नीति के अनुसार उड़ानें, गलियारे वाली सीट और पास का होटल बुक करनासफल, 281 सेकंड, $1.91सफल, 221 सेकंड, $2.14सफल, 452 सेकंड, $2.97सफल, 403 सेकंड, $3.01सफल, 409 सेकंड, $1.98
क्लाउड कंसोल में tier-1 सेवाओं के मॉनिटरों को लिखित मानक के अनुरूप करनासफल, 230 सेकंड, $1.39सफल, 202 सेकंड, $1.39सफल, 252 सेकंड, $1.69सफल, 264 सेकंड, $1.60सफल, 543 सेकंड, $3.20
ऑपरेशंस ऐप में फ़रवरी के इनवॉइस का भुगतान से मिलान करना और विवाद दर्ज करनासफल, 539 सेकंड, $2.53सफल, 547 सेकंड, $2.36सफल, 373 सेकंड, $1.73सफल, 681 सेकंड, $3.74सफल, 1008 सेकंड, $4.00
ऑपरेशंस ऐप में CSV इम्पोर्ट से सप्लायर के अनुसार परचेज़ ऑर्डर बनानासफल, 203 सेकंड, $1.08सफल, 450 सेकंड, $1.37सफल, 210 सेकंड, $1.01सफल, 376 सेकंड, $1.87सफल, 962 सेकंड, $3.81