हमने ego-browser, agent-browser और Playwright CLI के साथ 25 वेब टास्क पर DeepSeek V4.1 Flash का बेंचमार्क किया

हमारे परीक्षण किए गए pi सेटअप में DeepSeek V4.1 Flash से ब्राउज़र ऑटोमेशन के लिए हम ego-browser चुनेंगे, क्योंकि इसके साथ ज़्यादा टास्क सफलतापूर्वक पूरे हुए। सभी प्रयासों को मिलाकर औसत मॉडल लागत तीनों टूल में लगभग एक जैसी थी। हर टूल ने हमारे 25 टास्क में से प्रत्येक को एक बार चलाया, यानी हर टूल के लिए 25 प्रयास हुए। DeepSeek V4.1 Flash ने ego-browser के साथ अपने 25 प्रयासों में से 17 सफलतापूर्वक पूरे किए (68.0%), Playwright CLI के साथ 14 (56.0%) और agent-browser के साथ 11 (44.0%)। तीनों टूल के साथ सफल रहे 10 टास्क पर एक टास्क में ego-browser के साथ 216.8 सेकंड और $0.042, Playwright CLI के साथ 407.3 सेकंड और $0.050, तथा agent-browser के साथ 399.4 सेकंड और $0.056 लगे।
ego-browser की बढ़त उन प्रयासों से आती है जो जवाब देने तक पहुँचे। एक स्टेप मॉडल का एक जवाब है। जिस प्रयास में सभी 100 स्टेप खर्च होने के बाद भी जवाब नहीं मिलता, वह असफल होता है। DeepSeek V4.1 Flash के ego-browser के साथ 4 बार और बाकी दोनों टूल में से प्रत्येक के साथ 9 बार स्टेप खत्म हुए। इसने ego-browser के साथ 4 गलत जवाब दिए, Playwright CLI के साथ 2 और agent-browser के साथ 5। नेविगेट किए, क्लिक किए या टाइप किए बिना मौजूदा पेज पढ़ने वाली कमांड का हिस्सा agent-browser में 51.9%, Playwright CLI में 46.5% और ego-browser में 24.4% था।
हर परिणाम ego-browser के पक्ष में नहीं था। हमारे 4 वेब ऐप वर्कफ़्लो में Playwright CLI ने इसकी बराबरी की और सभी 4 सफलतापूर्वक पूरे किए। बड़े दायरे वाले काम में कोई टूल मॉडल की कमज़ोरी दूर नहीं कर पाया: 9 से 12 साइटों से एक जैसे फ़ील्ड जुटाने वाले 7 टास्क में से यह ego-browser के साथ 2 पर सफल हुआ, Playwright CLI के साथ 1 पर और agent-browser के साथ एक पर भी नहीं। सभी 25 टास्क को गिनने पर, असफल प्रयासों सहित, हर टूल में प्रति टास्क लागत लगभग बराबर थी: ego-browser के साथ $0.066, Playwright CLI के साथ $0.066 और agent-browser के साथ $0.067।
| ब्राउज़र टूल | सफलता दर | प्रति टास्क औसत समय | प्रति टास्क औसत लागत |
|---|---|---|---|
| ego-browser | 68.0% (17/25) | 216.8 s | $0.042 |
| Playwright CLI | 56.0% (14/25) | 407.3 s | $0.050 |
| agent-browser | 44.0% (11/25) | 399.4 s | $0.056 |
हर टूल ने 25 टास्क में से प्रत्येक को एक बार चलाया, इसलिए सफलता दर हर टूल के 25 प्रयासों पर आधारित है। समय और लागत उन 10 टास्क के औसत हैं जो तीनों टूल के साथ सफल रहे। समय में DeepSeek V4.1 Flash के जवाब का इंतज़ार और एजेंट की टूल कॉल चलाना शामिल है। लागत हर प्रयास के टोकन की मात्रा पर DeepSeek की सूचीबद्ध दरों से निकाली गई है।
सफलता दर
DeepSeek V4.1 Flash के साथ ego-browser की ज़्यादा सफलता दर उन प्रयासों से आती है जो 100 स्टेप के भीतर जवाब तक पहुँचे। ego-browser के साथ मॉडल के 4 बार और बाकी दोनों टूल में से प्रत्येक के साथ 9 बार स्टेप खत्म हुए।
| प्रयास का परिणाम | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| सफल | 17 | 14 | 11 |
| गलत जवाब | 4 | 2 | 5 |
| स्टेप खत्म, कोई जवाब नहीं | 4 | 9 | 9 |
| सभी प्रयास | 25 | 25 | 25 |
25 टास्क पर हर टूल के साथ प्रति टास्क एक प्रयास। ego-browser के प्रयास 20 अक्टूबर 2026 को और बाकी दोनों टूल के प्रयास 5 नवंबर 2026 को चले। ego-browser के रन में दूसरा दौर भी था, जिसमें 25 में से 18 सफल रहे।
ego-browser के साथ मॉडल 25 में से 21 प्रयासों में जवाब तक पहुँचा, और बाकी दोनों टूल में से प्रत्येक के साथ 16 में। इन जवाबों में ego-browser के साथ 21 में से 17 सही रहे, Playwright CLI के साथ 16 में से 14 और agent-browser के साथ 16 में से 11। परीक्षण की गई सेटिंग के बीच काम पूरा होने का सबसे बड़ा अंतर था 100 स्टेप के भीतर अंतिम जवाब तक पहुँचना।
फ़ोन वाला टास्क दिखाता है कि स्टेप कहाँ खर्च होते हैं। इसमें नौ फ़्लैगशिप फ़ोन के वज़न, बैटरी, स्क्रीन के आकार, पानी से सुरक्षा के कोड और सुरक्षा अपडेट की अवधि की जानकारी माँगी गई है, हर फ़ोन के लिए उसके ब्रांड की यूके वाली साइट से। तीनों टूल में मॉडल ने वही नौ साइटें उसी क्रम में देखीं। ego-browser के साथ इसने नौवीं साइट Fairphone को 64वें स्टेप पर खोला और 70वें स्टेप पर सही तालिका जमा की। agent-browser के साथ यह 93वें स्टेप पर Fairphone तक पहुँचा और Playwright CLI के साथ 100वें स्टेप पर। दोनों प्रयास जवाब लिखने से पहले स्टेप खत्म होने पर रुक गए।

अलग-अलग टूल के परिणाम जिन टास्क पर अलग रहे, उन सब पर ego-browser नहीं जीता। तीनों टूल के परिणाम 25 में से 10 टास्क पर अलग थे। ego-browser इनमें से 7 पर सफल रहा जिन पर कोई दूसरा टूल असफल था, और 3 पर असफल रहा जिन पर Playwright CLI सफल था: सर्वरलेस मुफ़्त प्लान वाला टास्क, Wikipedia के उद्धरणों के स्रोत खोजना और MDN की जाँच। इनमें पहले टास्क पर ego-browser के स्टेप खत्म हुए और बाकी दो पर गलत जवाब मिला।
काम के प्रकार के अनुसार, ego-browser 1 से 3 साइटों पर जानकारी खोजने और X पोस्ट का दूसरे स्रोतों से मिलान करने में आगे रहा। Playwright CLI ने वेब ऐप वर्कफ़्लो में इसकी बराबरी की और खुले दायरे वाले 3 शोध टास्क में इससे एक ज़्यादा सफलतापूर्वक पूरा किया।
| काम का प्रकार | टास्क | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| वेब ऐप वर्कफ़्लो | 4 | 4/4 | 4/4 | 3/4 |
| 1 से 3 साइटों पर जानकारी खोजना | 8 | 7/8 | 5/8 | 5/8 |
| खुले दायरे वाला शोध | 3 | 2/3 | 3/3 | 2/3 |
| X पोस्ट का दूसरे स्रोतों से मिलान | 3 | 2/3 | 1/3 | 1/3 |
| 9 से 12 साइटों से एक जैसे फ़ील्ड | 7 | 2/7 | 1/7 | 0/7 |
| सभी टास्क | 25 | 17/25 | 14/25 | 11/25 |
हर सेल में सफल प्रयासों की संख्या है, हर टास्क पर एक प्रयास।
सबसे बड़े दायरे वाले काम हर टूल में कठिन बने रहे। 9 से 12 साइटों से एक जैसे फ़ील्ड जुटाने वाले 7 टास्क पर ज़्यादातर असफल प्रयासों के स्टेप खत्म हो गए। ego-browser के साथ 5 में से 4 असफल प्रयासों में ऐसा हुआ, Playwright CLI के साथ 6 में से 6 में और agent-browser के साथ 7 में से 6 में। हम तीनों में से किसी भी टूल के साथ DeepSeek V4.1 Flash को इतने बड़े दायरे का काम नहीं सौंपेंगे।
हर टूल के साथ DeepSeek V4.1 Flash कैसे काम करता है
ego-browser के साथ DeepSeek V4.1 Flash ने ज़्यादा बार पेज में बदलाव और उसे पढ़ने को एक ही कमांड में जोड़ा। बाकी दोनों सेटअप में नेविगेट किए, क्लिक किए या टाइप किए बिना मौजूदा पेज पढ़ने वाली कमांड ज़्यादा थीं। agent-browser की README फ़ाइल में बताया गया है कि पेज को एक्सेसिबिलिटी ट्री के रूप में पढ़ा जाता है, जिसमें हर एलिमेंट के लिए एक ref होता है। Playwright CLI की README फ़ाइल में कहा गया है कि टूल हर कमांड के बाद पेज का स्नैपशॉट देता है। इन दोनों टूल के साथ मॉडल ने अपनी क्रमशः 15.4% और 12.6% कमांड में स्पष्ट रूप से स्नैपशॉट माँगा। इन अनुरोधों की गिनती अपने-आप लौटने वाले स्नैपशॉट को नहीं मापती और न ही यह तय करती है कि मॉडल ने क्या पढ़ा।
| ब्राउज़र कमांड, सभी 25 प्रयास | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| ब्राउज़र कमांड | 995 | 1,474 | 1,574 |
| नेविगेट किया, क्लिक किया या टाइप किया और उसी कमांड में परिणाम पढ़ा | 72.3% | 39.3% | 43.3% |
| नेविगेट किए, क्लिक किए या टाइप किए बिना मौजूदा पेज पढ़ा | 24.4% | 46.5% | 51.9% |
| पेज में मॉडल का अपना JavaScript चलाया | 86.2% | 73.3% | 43.9% |
| स्पष्ट रूप से पेज का स्नैपशॉट माँगा | 8.2% | 12.6% | 15.4% |
एक कमांड एक से अधिक पंक्तियों में आ सकती है। केवल पढ़ने वाली श्रेणी में नेविगेट किए, क्लिक किए या टाइप किए बिना पेज पढ़ना गिना जाता है। इससे यह साबित नहीं होता कि जानकारी दोहराव वाली या अनावश्यक थी।
नेविगेट किए, क्लिक किए या टाइप किए बिना मौजूदा पेज पढ़ना agent-browser की 51.9%, Playwright CLI की 46.5% और ego-browser की 24.4% कमांड में हुआ। अलग से पढ़ने पर भी मॉडल के लिए ज़रूरी जानकारी मिल सकती है।
फ़ोन वाले टास्क में motorola signature का पेज दिखाता है कि अंतर कहाँ से बढ़ता है। इसकी सुरक्षा अपडेट की अवधि See all the specifications कंट्रोल के पीछे है। ego-browser के साथ 54वें स्टेप पर एक स्क्रिप्ट ने पेज लोड किया, उस कंट्रोल पर क्लिक किया और टेक्स्ट पढ़ा। 55वें स्टेप पर “6+ साल (06/2032 तक)” मिला। मॉडल ने उस साइट पर 6 स्टेप लगाए। Playwright CLI के साथ इसने बार-बार पेज में JavaScript चलाकर स्पेसिफ़िकेशन पैनल निकाले और वहाँ 12 स्टेप लगाए, जिनमें 9 केवल पढ़ने के थे। agent-browser के साथ इसने स्पेसिफ़िकेशन के डेटा के लिए पेज के HTML सोर्स में खोज की और 21 स्टेप लगाए, जिनमें 12 केवल पढ़ने के थे।

फ़ोन वाले टास्क का वह प्रयास ego-browser के साथ कम स्टेप दिखाता है। कमांड की संख्या रिकॉर्ड किया गया व्यवहार बताती है। केवल इन आँकड़ों से यह तय नहीं होता कि अलग-अलग सेटअप ने अलग-अलग संख्या में टास्क क्यों पूरे किए।
गति
तीनों सेटअप के साथ सफल रहे दस टास्क पर ego-browser का औसत समय सबसे कम था। तीनों टूल के साथ सफल रहे 10 टास्क पर एक टास्क में ego-browser के साथ 216.8 सेकंड, Playwright CLI के साथ 407.3 और agent-browser के साथ 399.4 सेकंड लगे। इन 10 में से 8 पर ego-browser तीनों में सबसे तेज़ था और बाकी हर टूल से तुलना करने पर 9 टास्क में आगे रहा।
| प्रति टास्क समय, तीनों के साथ सफल रहे 10 टास्क | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| मॉडल के जवाब का इंतज़ार | 39.2 s | 63.1 s | 79.8 s |
| टूल कॉल चलाना | 177.6 s | 344.2 s | 319.6 s |
| कुल | 216.8 s | 407.3 s | 399.4 s |
| प्रति टास्क टूल कॉल | 35.2 | 54.0 | 63.3 |
| प्रति टूल कॉल सेकंड | 5.0 | 6.4 | 5.0 |
ego-browser के प्रयास 20 अक्टूबर 2026 के हैं और बाकी दोनों टूल के प्रयास 5 नवंबर 2026 के।
रिकॉर्ड किए गए समय के अंतर का अधिकांश हिस्सा टूल चलाने में है। सेटअप में टूल कॉल की संख्या अलग थी और Playwright CLI के मामले में प्रति कॉल औसत समय भी अलग था। प्रति टूल कॉल ego-browser और agent-browser को लगभग बराबर समय लगा: दोनों के साथ 5.0 सेकंड, जबकि Playwright CLI के साथ 6.4। ego-browser को प्रति टास्क 35.2 टूल कॉल चाहिए थे, जबकि बाकी को 54.0 और 63.3। कम कॉल का मतलब मॉडल के कम जवाब भी था, इसलिए मॉडल के जवाब के इंतज़ार का समय 63.1 और 79.8 सेकंड से घटकर 39.2 सेकंड हुआ।
हमारे रन में ego-browser ने Playwright CLI की तुलना में प्रति टास्क 190.5 सेकंड और agent-browser की तुलना में 182.6 सेकंड बचाए। जब कोई एजेंट के काम का इंतज़ार कर रहा हो, तो यह अंतर महसूस होता है। दो अपवाद थे: बॉक्स ऑफ़िस वाला टास्क, जिसमें Playwright CLI सबसे तेज़ था, और लेक्चर नोट्स वाला टास्क, जिसमें agent-browser सबसे तेज़ था।
लागत
मॉडल की बताई गई दरों पर, दस साझा सफल टास्क में ego-browser सेटअप की औसत लागत कम थी। सभी प्रयासों को मिलाकर औसत लागत तीनों सेटअप में लगभग एक जैसी थी। उन 10 टास्क पर प्रति टास्क ego-browser के साथ $0.042, Playwright CLI के साथ $0.050 और agent-browser के साथ $0.056 लगे। सभी प्रयासों की कुल लागत को सफल प्रयासों की संख्या से भाग देने पर, प्रति सफल प्रयास लागत ego-browser के साथ $0.097, Playwright CLI के साथ $0.117 और agent-browser के साथ $0.153 थी।
दर हर टूल में एक ही है, इसलिए पूरा अंतर हर रन में इस्तेमाल हुए टोकन की संख्या का है। हर अतिरिक्त स्टेप अब तक की बातचीत फिर से मॉडल को भेजता है, जिसका शुल्क DeepSeek कैश रीड के रूप में लेता है। तीनों टूल के साथ सफल रहे 10 टास्क पर मॉडल ने प्रति टास्क ego-browser के साथ 1.13 मिलियन कैश टोकन पढ़े, Playwright CLI के साथ 1.88 मिलियन और agent-browser के साथ 2.44 मिलियन। इसने क्रमशः 19,461, 21,562 और 22,957 आउटपुट टोकन जनरेट किए।
प्रति टास्क कुछ सेंट की लागत पर, इस मॉडल के लिए टूल का चुनाव लागत से तय नहीं होगा। सभी 25 प्रयासों की कुल लागत ego-browser के साथ $1.65, Playwright CLI के साथ $1.64 और agent-browser के साथ $1.68 थी। इसलिए ego-browser के अतिरिक्त सफल प्रयास ज़्यादा खर्च का परिणाम नहीं थे।
DeepSeek V4.1 Flash के साथ कौन-सा ब्राउज़र टूल इस्तेमाल करें
यहाँ परीक्षण किए गए टास्क के मिश्रण और pi सेटअप के लिए हम ego-browser चुनेंगे। इसके साथ सबसे अधिक प्रयास सफल रहे: 25 में से 17। तीनों टूल के साथ सफल रहे 10 टास्क पर इसमें प्रति टास्क 216.8 सेकंड लगे, जबकि बाकी में लगभग 400, और इसकी लागत सबसे कम थी।
अगर आपका एजेंट मुख्य रूप से एक वेब ऐप के भीतर काम करता है, तो Playwright CLI एक उचित विकल्प है: ego-browser की तरह इसके साथ भी हमारे सभी 4 वेब ऐप वर्कफ़्लो सफल रहे। अगर आपकी प्राथमिकता लागत है, तो टूल से ज़्यादा फ़र्क नहीं पड़ेगा: सभी 25 टास्क पर हर टूल के साथ प्रति टास्क लागत $0.066 से $0.067 थी। अगर आपका काम 9 या अधिक साइटों से एक जैसे फ़ील्ड जुटाना है, तो तीनों में कोई भी टूल वहाँ मॉडल को भरोसेमंद नहीं बना पाया: 7 में से क्रमशः 2, 1 और 0 सफल रहे।
हमारे परीक्षण किए गए सेटअप में pi एजेंट के भीतर DeepSeek V4.1 Flash (deepseek-flash) का इस्तेमाल रीज़निंग प्रयास के उच्च स्तर पर हुआ और ब्राउज़र टूल की स्किल फ़ाइल लोड की गई। ego-browser, ego(lite) के साथ मिलता है और एजेंट इसी टूल के ज़रिए ego(lite) चलाता है।
इस तुलना में ego(lite) की भूमिका
ego-browser वाले सेटअप में ego(lite) ब्राउज़र था, जबकि बाकी दोनों सेटअप में Chrome इस्तेमाल हुआ। DeepSeek V4.1 Flash और pi ने मॉडल और एजेंट उपलब्ध कराए। ego-browser इंटीग्रेशन गाइड इस सेटअप में ब्राउज़र टूल की भूमिका समझाती है।
सेटअप में ब्राउज़र टूल, निर्देश और रन की तारीखें अलग थीं। रिकॉर्ड किए गए परिणामों से चुनाव करते समय इन शर्तों को ध्यान में रखें। दस साझा सफल टास्क समय और लागत की तुलना का आधार हैं। उनसे बाकी पंद्रह टास्क पूरे करने की लागत या बिना परीक्षण वाले एजेंट के परिणाम तय नहीं होते।
अक्सर पूछे जाने वाले सवाल
DeepSeek V4.1 Flash के लिए सबसे अच्छा ब्राउज़र ऑटोमेशन टूल कौन-सा है?
हमारे परीक्षण में ego-browser: DeepSeek V4.1 Flash ने इसके साथ 25 में से 17 प्रयास सफलतापूर्वक पूरे किए, Playwright CLI के साथ 14 और agent-browser के साथ 11। तीनों के साथ सफल रहे 10 टास्क पर इसमें समय भी सबसे कम लगा: प्रति टास्क 216.8 सेकंड, जबकि बाकी में 407.3 और 399.4। हमारे 4 वेब ऐप वर्कफ़्लो में Playwright CLI ने इसकी बराबरी की।
ब्राउज़र चलाने में DeepSeek V4.1 Flash कितना अच्छा है?
हमारे 25 वेब टास्क पर DeepSeek V4.1 Flash के 44.0% से 68.0% प्रयास सफल रहे, ब्राउज़र टूल के आधार पर। इसका प्रदर्शन वेब ऐप के भीतर सबसे अच्छा था: ego-browser और Playwright CLI, दोनों के साथ 4 में से 4 सफल रहे। सबसे कमज़ोर प्रदर्शन 9 से 12 साइटों से एक जैसे फ़ील्ड जुटाने वाले काम में था: 7 में से 0 से 2 सफल रहे।
DeepSeek V4.1 Flash के लिए agent-browser बेहतर है या Playwright CLI?
Playwright CLI के साथ ज़्यादा टास्क सफलतापूर्वक पूरे हुए: DeepSeek V4.1 Flash ने इसके साथ 25 में से 14 प्रयास सफल किए और agent-browser के साथ 11। तीनों टूल के साथ सफल रहे 10 टास्क पर agent-browser को प्रति टास्क 399.4 सेकंड और Playwright CLI को 407.3 सेकंड लगे। लागत क्रमशः $0.056 और $0.050 थी। दोनों के 9 बार स्टेप खत्म हुए और agent-browser ने 5 गलत जवाब दिए, जबकि Playwright CLI ने 2।
कौन-से ब्राउज़र टूल के साथ DeepSeek V4.1 Flash सबसे तेज़ है?
ego-browser: तीनों टूल के साथ सफल रहे 10 टास्क पर प्रति टास्क 216.8 सेकंड लगे, जबकि Playwright CLI के साथ 407.3 और agent-browser के साथ 399.4। बाकी हर टूल के साथ अलग-अलग तुलना में, यह इन 10 में से 9 टास्क पर तेज़ था। मॉडल को प्रति टास्क ego-browser के साथ 35.2 टूल कॉल, Playwright CLI के साथ 54.0 और agent-browser के साथ 63.3 चाहिए थे।
प्रति ब्राउज़र टास्क DeepSeek V4.1 Flash की लागत कितनी है?
DeepSeek की सूचीबद्ध दरों पर, तीनों टूल के साथ सफल रहे 10 टास्क में DeepSeek V4.1 Flash की प्रति टास्क लागत $0.042 से $0.056 थी। सभी 25 टास्क को गिनने पर, असफल प्रयासों सहित, हर टूल के साथ प्रति टास्क लागत $0.066 से $0.067 थी। प्रति सफल प्रयास लागत ego-browser के साथ $0.097, Playwright CLI के साथ $0.117 और agent-browser के साथ $0.153 थी।
DeepSeek V4.1 Flash ब्राउज़र टास्क में असफल क्यों होता है?
हमारे रन में DeepSeek V4.1 Flash के अधिकांश असफल प्रयासों में सभी 100 स्टेप खर्च हुए लेकिन जवाब नहीं आया: ego-browser के साथ 8 में से 4, Playwright CLI के साथ 11 में से 9 और agent-browser के साथ 14 में से 9। बाकी गलत जवाब थे: 4, 2 और 5। 9 से 12 साइटों से एक जैसे फ़ील्ड जुटाने वाले टास्क में स्टेप खत्म होना सबसे आम था।
क्या DeepSeek V4.1 Flash फ़ॉर्म भर सकता है और वेब ऐप वर्कफ़्लो पूरे कर सकता है?
हाँ: DeepSeek V4.1 Flash ने ego-browser और Playwright CLI के साथ हमारे सभी 4 वेब ऐप वर्कफ़्लो सफलतापूर्वक पूरे किए, और agent-browser के साथ 4 में से 3। इनमें यात्रा नीति के अनुसार ट्रिप बुक करना और रीऑर्डर पॉइंट के आधार पर परचेज़ ऑर्डर बनाना शामिल था। agent-browser का असफल प्रयास, ट्रिप बुकिंग, स्टेप खत्म होने पर रुका।
क्या DeepSeek V4.1 Flash कई वेबसाइटों से एक ही तरह का डेटा जुटा सकता है?
भरोसेमंद ढंग से नहीं: 9 से 12 साइटों से एक जैसे फ़ील्ड जुटाने वाले 7 टास्क में DeepSeek V4.1 Flash ego-browser के साथ 2 पर सफल हुआ, Playwright CLI के साथ 1 पर और agent-browser के साथ एक पर भी नहीं। वहाँ अधिकांश असफल प्रयासों में जवाब आने से पहले स्टेप खत्म हो गए। 1 से 3 साइटों पर जानकारी खोजने में यह बेहतर रहा: ego-browser के साथ 8 में से 7 सफल रहे।
DeepSeek V4.1 Flash ने कितनी बार स्पष्ट रूप से पेज के स्नैपशॉट माँगे?
agent-browser की 15.4% कमांड और Playwright CLI की 12.6% कमांड में स्पष्ट रूप से स्नैपशॉट माँगे गए। Playwright CLI हर कमांड के बाद अपने-आप भी स्नैपशॉट लौटाता है। इसलिए स्पष्ट अनुरोधों से मॉडल के सामने आए कुल स्नैपशॉट की मात्रा नहीं मापी जाती।
जब DeepSeek V4.1 Flash जवाब जमा करता है, तो वह कितनी बार सही होता है?
DeepSeek V4.1 Flash के जवाब ego-browser के साथ 21 में से 17 बार सही रहे, Playwright CLI के साथ 16 में से 14 बार और agent-browser के साथ 16 में से 11 बार। टूल के बीच बड़ा अंतर इसमें था कि मॉडल कितनी बार 100 स्टेप के भीतर जवाब तक पहुँचा। ego-browser के साथ ऐसा 25 में से 21 प्रयासों में और बाकी दोनों टूल में से प्रत्येक के साथ 16 में हुआ।
हमने परीक्षण कैसे किया
हमने macOS वाले एक ही Mac पर तीन ब्राउज़र टूल सेटअप में DeepSeek V4.1 Flash की तुलना की। ego-browser के प्रयास 20 अक्टूबर 2026 को चले और agent-browser तथा Playwright CLI के प्रयास 5 नवंबर 2026 को।
मॉडल DeepSeek V4.1 Flash था (मॉडल ID deepseek-flash), जिसे रीज़निंग प्रयास के उच्च स्तर पर pi एजेंट में उसके read, write, edit और bash टूल के साथ चलाया गया। एजेंट के पास हर ब्राउज़र टूल की अपनी स्किल फ़ाइल थी। हर प्रयास में अधिकतम 100 स्टेप और 60 मिनट की सीमा थी।
तुलना में वे 25 टास्क इस्तेमाल हुए जिनके पहले प्रयास के रिकॉर्ड तीनों सेटअप में मौजूद हैं। एल्बम और न्यूनतम वेतन वाले टास्क के मूल प्रयासों की जगह बाद में नए प्रयास चलाए गए थे। कैमरा टास्क की परिभाषाएँ संग्रहित रन में अलग हैं। ये तीनों टास्क हर सेटअप से बाहर रखे गए हैं। टूल ego-browser 2.1.0, agent-browser 0.39.1 और Playwright CLI 0.1.22 थे। ego-browser, ego(lite) चलाता है: मॉडल JavaScript स्क्रिप्ट लिखता है, उसे ego-browser से चलाता है और स्क्रिप्ट जो प्रिंट करती है, उसे पढ़ता है। agent-browser और Playwright CLI ने Chrome चलाया और मॉडल ने उनकी कमांड bash से चलाईं। माँगने पर agent-browser एलिमेंट ref वाला पेज स्नैपशॉट लौटाता है, जबकि Playwright CLI हर कमांड के बाद स्नैपशॉट लिखता है।
हर टूल ने प्रति टास्क एक प्रयास किया। हर परिणाम उस टास्क के लिए रन में रिकॉर्ड किया गया पहला प्रयास है। ego-browser के रन में दूसरा दौर भी था, जिसमें 25 में से 18 सफल रहे। हम पहला दौर रिपोर्ट करते हैं, ताकि हर टूल के प्रयासों की संख्या एक ही हो।
हमने लाइव वेबसाइटों और परीक्षण वेब ऐप में 25 टास्क इस्तेमाल किए। वेब ऐप में हर प्रयास के लिए नया डेटा डाला गया। हर टास्क ठीक एक काम के प्रकार में आता है, जो उस टास्क को लिखते समय दिए गए समूह से लिया गया है:
- वेब ऐप वर्कफ़्लो (4 टास्क), जैसे यात्रा नीति के अनुसार ट्रिप बुक करना।
- 1 से 3 साइटों पर जानकारी खोजना (8), जैसे ClinicalTrials.gov के परीक्षणों का DailyMed के दवा-लेबल दस्तावेज़ों से मिलान करना।
- खुले दायरे वाला शोध (3), जैसे ARC Prize के लीडरबोर्ड चार्ट से स्कोर और लागत पढ़ना।
- X पोस्ट का दूसरे स्रोतों से मिलान (3), जैसे X पर SpaceX के लॉन्च से जुड़ी एक सप्ताह की पोस्ट का Wikipedia से मिलान करना।
- 9 से 12 साइटों से एक जैसे फ़ील्ड (7), जैसे 12 केंद्रीय बैंकों के 2026 के पहले ब्याज दर निर्णय।
हर टास्क में 4 से 11 स्कोर किए जाने वाले आइटम हैं। अधिकांश तय मान हैं। वेब ऐप में वे उस प्रयास के लिए डाले गए डेटा से आते हैं, और फ़्लाइट सर्च टास्क में लाइव साइट से उनकी जाँच होती है। कोई प्रयास तभी सफल है जब हर आइटम सही हो। अंतिम जवाब के बिना प्रयास हर आइटम पर असफल होता है।
प्रयास का मतलब है किसी टास्क का नए सिरे से एक रन। सफलता दर की गणना के लिए सफल प्रयासों की संख्या गिनी जाती है। एक स्टेप मॉडल का एक जवाब है। टूल कॉल मॉडल द्वारा चलाई गई एक कमांड है, जैसे फ़ाइल लिखने की कमांड या bash कमांड। लगभग हर स्टेप में ऐसी एक कॉल होती है। ब्राउज़र कमांड, ब्राउज़र चलाने वाली टूल कॉल है: एक ego-browser स्क्रिप्ट, या agent-browser या Playwright CLI चलाने वाली एक bash कमांड लाइन।
हमने नेविगेशन, क्लिक या टाइपिंग के बिना पेज पढ़ने वाली कमांड, पेज में बदलाव और पढ़ने को जोड़ने वाली कमांड, स्पष्ट स्नैपशॉट अनुरोध और मॉडल का JavaScript चलाने वाली कमांड गिनीं। भाजक उस टूल के 25 प्रयासों की सभी ब्राउज़र कमांड हैं। फ़ोन वाले टास्क में प्रति साइट स्टेप उस साइट को मॉडल के पहली बार खोलने से लेकर अगली साइट खोलने तक गिने जाते हैं।
समय में मॉडल के जवाब का इंतज़ार और टूल कॉल चलाना शामिल है, इसलिए इसमें DeepSeek के API के जवाब का इंतज़ार भी है। गति और लागत की तुलना तीनों टूल के साथ सफल रहे 10 टास्क पर होती है। लागत हर प्रयास के टोकन पर DeepSeek के पीक समय की सूचीबद्ध दरें लगाकर निकाली गई है: प्रति मिलियन इनपुट टोकन के लिए $0.30, प्रति मिलियन कैश रीड टोकन के लिए $0.006 और प्रति मिलियन आउटपुट टोकन के लिए $1.20। पीक समय के बाहर DeepSeek इनकी आधी दरें लेता है। प्रति सफल प्रयास लागत निकालने के लिए सभी 25 प्रयासों की कुल लागत को सफल प्रयासों की संख्या से भाग दिया जाता है।
पूरे परिणाम
हर सेल उस टूल के उस टास्क पर एक प्रयास को दिखाता है: परिणाम, सेकंड में समय (DeepSeek के API से मॉडल के जवाब का इंतज़ार और टूल कॉल चलाना) तथा अमेरिकी डॉलर में लागत।
| टास्क | काम का प्रकार | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| नीति के अनुसार ट्रिप बुक करना | वेब ऐप वर्कफ़्लो | सफल, 168.5 सेकंड, $0.040 | सफल, 172.0 सेकंड, $0.034 | स्टेप खत्म, 516.6 सेकंड, $0.072 |
| सेवाओं के मॉनिटर को मानक के अनुरूप करना | वेब ऐप वर्कफ़्लो | सफल, 126.8 सेकंड, $0.035 | सफल, 161.5 सेकंड, $0.032 | सफल, 371.1 सेकंड, $0.060 |
| इनवॉइस का भुगतान से मिलान करना और विवाद खोलना | वेब ऐप वर्कफ़्लो | सफल, 209.0 सेकंड, $0.052 | सफल, 248.5 सेकंड, $0.048 | सफल, 721.4 सेकंड, $0.061 |
| रीऑर्डर पॉइंट से परचेज़ ऑर्डर बनाना | वेब ऐप वर्कफ़्लो | सफल, 126.6 सेकंड, $0.019 | सफल, 130.5 सेकंड, $0.021 | सफल, 333.5 सेकंड, $0.036 |
| तीन Mac लैपटॉप की तुलना | 1 से 3 साइटों पर जानकारी खोजना | सफल, 246.6 सेकंड, $0.071 | सफल, 464.0 सेकंड, $0.088 | सफल, 295.1 सेकंड, $0.069 |
| छह फ़िल्मों की बॉक्स ऑफ़िस कमाई का मिलान | 1 से 3 साइटों पर जानकारी खोजना | सफल, 148.8 सेकंड, $0.040 | सफल, 139.1 सेकंड, $0.024 | सफल, 208.4 सेकंड, $0.029 |
| यूके की चार कंपनियों की KYC जानकारी का स्नैपशॉट | 1 से 3 साइटों पर जानकारी खोजना | सफल, 67.0 सेकंड, $0.031 | गलत जवाब, 252.9 सेकंड, $0.048 | गलत जवाब, 170.2 सेकंड, $0.044 |
| क्लिनिकल ट्रायल का दवाओं के लेबल दस्तावेज़ों से मिलान | 1 से 3 साइटों पर जानकारी खोजना | सफल, 208.9 सेकंड, $0.056 | गलत जवाब, 242.6 सेकंड, $0.054 | सफल, 284.7 सेकंड, $0.049 |
| FRED के महँगाई डेटा की BLS से जाँच | 1 से 3 साइटों पर जानकारी खोजना | सफल, 79.6 सेकंड, $0.030 | सफल, 238.5 सेकंड, $0.037 | सफल, 198.6 सेकंड, $0.027 |
| फ़्लाइट सर्च साइट पर बिना रुके जाने वाली उड़ानों के सबसे सस्ते किराये | 1 से 3 साइटों पर जानकारी खोजना | सफल, 525.4 सेकंड, $0.079 | स्टेप खत्म, 2136.3 सेकंड, $0.076 | स्टेप खत्म, 912.6 सेकंड, $0.080 |
| MDN और Can I use पर वेब सुविधाएँ | 1 से 3 साइटों पर जानकारी खोजना | गलत जवाब, 196.7 सेकंड, $0.051 | सफल, 181.9 सेकंड, $0.036 | गलत जवाब, 157.9 सेकंड, $0.036 |
| लेक्चर, कोड और शोधपत्र से अध्ययन नोट्स | 1 से 3 साइटों पर जानकारी खोजना | सफल, 503.1 सेकंड, $0.043 | सफल, 1289.0 सेकंड, $0.085 | सफल, 423.1 सेकंड, $0.036 |
| ARC Prize का लीडरबोर्ड चार्ट पढ़ना | खुले दायरे वाला शोध | सफल, 125.4 सेकंड, $0.068 | सफल, 227.0 सेकंड, $0.066 | सफल, 390.5 सेकंड, $0.122 |
| यूरोपीय संघ की गणना-मात्रा की सीमाएँ पार करने वाले मॉडल | खुले दायरे वाला शोध | सफल, 57.6 सेकंड, $0.036 | सफल, 87.9 सेकंड, $0.027 | सफल, 216.9 सेकंड, $0.063 |
| Wikipedia तालिका की जानकारी को उसके स्रोतों तक खोजना | खुले दायरे वाला शोध | गलत जवाब, 168.5 सेकंड, $0.053 | सफल, 316.0 सेकंड, $0.064 | गलत जवाब, 435.7 सेकंड, $0.092 |
| 8 ओपन-सोर्स प्रोजेक्टों की X पर सुरक्षा पोस्ट का एडवाइज़री से मिलान | X पोस्ट का दूसरे स्रोतों से मिलान | सफल, 1128.3 सेकंड, $0.123 | स्टेप खत्म, 1321.6 सेकंड, $0.102 | स्टेप खत्म, 1467.7 सेकंड, $0.096 |
| 8 प्रोडक्ट लॉन्च: X पोस्ट का प्रेस रिलीज़ से मिलान | X पोस्ट का दूसरे स्रोतों से मिलान | गलत जवाब, 1011.8 सेकंड, $0.090 | स्टेप खत्म, 778.1 सेकंड, $0.071 | गलत जवाब, 753.7 सेकंड, $0.092 |
| X पर SpaceX के लॉन्च से जुड़ी पोस्ट का Wikipedia से मिलान | X पोस्ट का दूसरे स्रोतों से मिलान | सफल, 544.1 सेकंड, $0.029 | सफल, 1086.8 सेकंड, $0.071 | सफल, 835.3 सेकंड, $0.057 |
| 12 केंद्रीय बैंकों के ब्याज दर निर्णय | 9 से 12 साइटों से एक जैसे फ़ील्ड | गलत जवाब, 339.0 सेकंड, $0.121 | स्टेप खत्म, 397.0 सेकंड, $0.073 | स्टेप खत्म, 423.1 सेकंड, $0.082 |
| 9 डेवलपर कॉन्फ़्रेंसों के कीनोट भाषण | 9 से 12 साइटों से एक जैसे फ़ील्ड | स्टेप खत्म, 814.3 सेकंड, $0.142 | स्टेप खत्म, 561.5 सेकंड, $0.098 | स्टेप खत्म, 551.0 सेकंड, $0.071 |
| 9 इलेक्ट्रिक SUV | 9 से 12 साइटों से एक जैसे फ़ील्ड | स्टेप खत्म, 478.8 सेकंड, $0.101 | स्टेप खत्म, 522.8 सेकंड, $0.083 | स्टेप खत्म, 737.8 सेकंड, $0.074 |
| 9 ओपन-वेट मॉडल | 9 से 12 साइटों से एक जैसे फ़ील्ड | सफल, 420.2 सेकंड, $0.108 | स्टेप खत्म, 572.8 सेकंड, $0.109 | स्टेप खत्म, 529.5 सेकंड, $0.109 |
| 9 ब्रांडों के फ़्लैगशिप फ़ोन | 9 से 12 साइटों से एक जैसे फ़ील्ड | सफल, 354.4 सेकंड, $0.069 | स्टेप खत्म, 552.4 सेकंड, $0.082 | स्टेप खत्म, 521.6 सेकंड, $0.071 |
| 9 SaaS विक्रेताओं का अनुपालन | 9 से 12 साइटों से एक जैसे फ़ील्ड | स्टेप खत्म, 411.8 सेकंड, $0.072 | स्टेप खत्म, 863.8 सेकंड, $0.114 | स्टेप खत्म, 661.6 सेकंड, $0.071 |
| 9 सर्वरलेस प्लेटफ़ॉर्मों के मुफ़्त प्लान | 9 से 12 साइटों से एक जैसे फ़ील्ड | स्टेप खत्म, 396.3 सेकंड, $0.089 | सफल, 337.3 सेकंड, $0.100 | गलत जवाब, 494.7 सेकंड, $0.081 |
