72 वेब टास्क पर ब्राउज़र उपयोग के लिए DeepSeek V4.1 Flash और GPT-6.1 Sol का तुलनात्मक परीक्षण

22 मिनट में पढ़ें
DeepSeek V4.1 Flash और GPT-6.1 Sol की तुलना के लिए नीली पृष्ठभूमि पर संतरे जैसे दो नारंगी आकार और हरी पत्तियाँ

कई साइटों पर काम करने वाले एजेंट के लिए हम GPT-6.1 Sol चुनेंगे, जबकि एक ही वेब ऐप के अंदर चलने वाले वर्कफ़्लो के लिए DeepSeek V4.1 Flash। हर मॉडल ने ego-browser में हमारे 72 टास्क में से प्रत्येक को दो बार चलाया, इसलिए हर मॉडल ने 144 प्रयास किए। GPT-6.1 Sol ने अपने 144 में से 121 प्रयास सफल किए (84.0%), जबकि DeepSeek V4.1 Flash ने 82 (56.9%)। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें GPT-6.1 Sol को प्रति टास्क 219.7 सेकंड लगे और लागत $0.310 रही, जबकि DeepSeek V4.1 Flash को 321.7 सेकंड लगे और लागत $0.047 रही।

रन पढ़ने पर हमने देखा कि दोनों मॉडल अलग-अलग तरीके से काम करते हैं। GPT-6.1 Sol अक्सर एक कमांड में कई साइटों को संभालता है, जबकि DeepSeek V4.1 Flash एक समय में एक पेज पर काम करता है और खोज जारी रखता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने 23 प्रयासों में अपने सभी 100 स्टेप इस्तेमाल कर लिए। हमारे टेस्ट ऐप में, जहाँ काम एक ही वेब ऐप के भीतर होता है, उसने GPT-6.1 Sol की लागत के लगभग छठे हिस्से में उसकी सफलता दर और गति की लगभग बराबरी की।

हर मॉडल की एक कमज़ोरी भी है, जिसे ध्यान में रखकर हम योजना बनाएँगे। GPT-6.1 Sol कभी-कभी बहुत जल्दी खोज बंद कर देता है: 3 टास्क पर उसके दोनों प्रयास विफल हुए, जबकि खोज जारी रखने वाले DeepSeek V4.1 Flash के दोनों प्रयास सफल हुए। DeepSeek V4.1 Flash ने कम जवाब देने के बावजूद ज़्यादा गलत जवाब दिए: उसके 144 में से 34 प्रयास गलत जवाब के साथ खत्म हुए, जबकि GPT-6.1 Sol के 23।

सफलता दर, गति और लागत

सफलता दर और गति में GPT-6.1 Sol आगे है, और DeepSeek V4.1 Flash की लागत उसकी लगभग 15% है। हम समय और लागत की तुलना उन 29 टास्क पर करते हैं जहाँ दोनों मॉडल हर प्रयास में सफल हुए, इसलिए किसी मॉडल के इन आँकड़ों में विफल काम शामिल नहीं है। सभी 72 टास्क वाली पंक्तियों में विफल प्रयास शामिल हैं।

मापGPT-6.1 SolDeepSeek V4.1 Flash
सफलता दर, सभी 72 टास्क84.0% (144 प्रयासों में से 121)56.9% (144 प्रयासों में से 82)
प्रति टास्क समय, वे 29 टास्क जहाँ दोनों हर बार सफल हुए219.7 s321.7 s
प्रति टास्क समय, सभी 72 टास्क321.6 s511.4 s
प्रति टास्क लागत, वे 29 टास्क जहाँ दोनों हर बार सफल हुए$0.310$0.047
प्रति टास्क लागत, सभी 72 टास्क$0.483$0.071
प्रति सफल प्रयास लागत, सभी 72 टास्क$0.575$0.124
प्रति टास्क टूल कॉल, सभी 72 टास्क34.661.6

7 नवंबर 2026 के रन, जिनमें दोनों मॉडल ego-browser में चले। हर मॉडल ने प्रत्येक टास्क दो बार चलाया। समय में हर मॉडल के API से जवाब मिलने का इंतज़ार शामिल है।

DeepSeek V4.1 Flash की लागत कम है क्योंकि उसकी कीमतें कम हैं, इसलिए नहीं कि वह कम काम करता है। उसने प्रति टास्क 61.6 टूल कॉल किए, जबकि GPT-6.1 Sol ने 34.6। प्रति सफल प्रयास गिनने पर भी DeepSeek V4.1 Flash की लागत $0.124 और GPT-6.1 Sol की $0.575 रही।

सफलता दर का ज़्यादातर अंतर एक तरह के काम से आता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर GPT-6.1 Sol ने 64 में से 51 प्रयास सफल किए और DeepSeek V4.1 Flash ने 21। वेब ऐप वर्कफ़्लो में दोनों मॉडलों ने 30 में से क्रमशः 29 और 28 प्रयास सफल किए।

काम का प्रकारटास्कGPT-6.1 SolDeepSeek V4.1 Flash
वेब ऐप वर्कफ़्लो1596.7% (29/30)93.3% (28/30)
कुछ साइटों पर खोज और तुलना893.8% (15/16)81.3% (13/16)
शोध और जानकारी का समेकन1266.7% (16/24)62.5% (15/24)
X पर पोस्टों की अन्य स्रोतों से जाँच5100% (10/10)50.0% (5/10)
8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना3279.7% (51/64)32.8% (21/64)
सभी टास्क7284.0% (121/144)56.9% (82/144)

सफलता दर सफल प्रयासों का अनुपात है, जिसमें हर टास्क के दो प्रयास गिने जाते हैं।

वेब ऐप वर्कफ़्लो में दोनों मॉडलों की सफलता दर में बहुत कम अंतर था, इसलिए वहाँ लागत ही उन्हें अलग करती है। कई साइटों वाले टास्क पर GPT-6.1 Sol कहीं ज़्यादा बार सफल हुआ।

GPT-6.1 Sol कैसे काम करता है

GPT-6.1 Sol अक्सर एक कमांड में कई साइटों को संभालता है। जब कोई टास्क कई साइटों तक फैला हो, तो वह उन्हें अलग-अलग टैब में खुला रखता है और हर ego-browser कमांड से उनमें से कई पर काम आगे बढ़ाता है। दोनों मॉडलों को एक ही ego-browser स्किल फ़ाइल मिली थी, जिसमें बताया गया है कि ज़रूरत पड़ने पर कई टैब कैसे खुले रखें। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर GPT-6.1 Sol के 56% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया। DeepSeek V4.1 Flash ने अपने 1% से भी कम ब्राउज़र कमांड में ऐसा किया।

भूकंप वाला टास्क दिखाता है कि यह व्यवहार कैसा होता है। इसमें 2025 के एक भूकंप का समय, परिमाण और गहराई 9 एजेंसियों की रिपोर्ट के अनुसार पूछी जाती है। एक ही कमांड में GPT-6.1 Sol ने USGS का घटना पेज पढ़ा, EMSC के घटना पेज पर वैज्ञानिक डेटा खोला, GFZ का घटना पेज खोला और चौथे टैब को INGV पर भेजा। उसके दोनों प्रयास सफल हुए: एक में 40 टूल कॉल लगे और दूसरे में 32। DeepSeek V4.1 Flash ने एक ही टैब में 9 एजेंसियों पर बारी-बारी से काम किया, हर एजेंसी का खोज फ़ॉर्म भरा और दोनों प्रयासों में सभी 100 स्टेप इस्तेमाल कर लिए।

हमारे रन में GPT-6.1 Sol को कम टूल कॉल की ज़रूरत पड़ी और उसने काम जल्दी पूरा किया। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें उसने प्रति टास्क 28.6 टूल कॉल किए, जबकि DeepSeek V4.1 Flash ने 43.0। उनमें से वेब ऐप से बाहर के 16 टास्क में GPT-6.1 Sol 14 पर तेज़ था। वेब ऐप वर्कफ़्लो में उसके केवल 3% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया, और दोनों मॉडलों ने लगभग बराबर समय लिया।

GPT-6.1 Sol की कमज़ोरी यह है कि वह कभी-कभी बहुत जल्दी खोजना बंद कर देता है। 3 टास्क पर उसके दोनों प्रयास विफल हुए, जबकि DeepSeek V4.1 Flash के दोनों सफल हुए। LiveBench टास्क में दोनों मॉडलों ने लीडरबोर्ड पर High प्रयास स्तर वाले GPT-5.4 को खोजा, लेकिन केवल उसकी xHigh पंक्ति मिली। 12 टूल कॉल के बाद GPT-6.1 Sol ने बताया कि पेज पर वह स्कोर नहीं दिख रहा। DeepSeek V4.1 Flash खोजता रहा और उसी पेज के नीचे Insights सेक्शन में मॉडल चुनने के विकल्प में उसे 75.1 स्कोर मिल गया।

फ़्रंटएंड फ़्रेमवर्क वाले टास्क में भी ऐसा ही हुआ। एक प्रयास में GPT-6.1 Sol ने Next.js की रिलीज़ सूची में "16.3." खोजा और सबसे ऊपर मिला परिणाम बताया: 21 अगस्त का 16.3.2। DeepSeek V4.1 Flash ने रिलीज़ सूची के पेज पलटे, जिसमें अधिकतर canary बिल्ड हैं, और 30 सितंबर को प्रकाशित 16.3.8 ढूँढ़ लिया। जब GPT-6.1 Sol कहे कि कोई मान साइट पर नहीं है या खोज का सबसे ऊपर वाला परिणाम ले ले, तो जवाब इस्तेमाल करने से पहले हम खुद उस मान की जाँच करेंगे।

DeepSeek V4.1 Flash कैसे काम करता है

DeepSeek V4.1 Flash एक समय में एक पेज पर काम करता है और तब तक खोजता रहता है जब तक उसे ज़रूरी जानकारी न मिल जाए। उसने प्रति टास्क 61.6 टूल कॉल किए, जबकि GPT-6.1 Sol ने 34.6। इसी तरह लगातार खोजने से वह LiveBench और फ़्रंटएंड फ़्रेमवर्क वाले उन टास्क पर सफल हुआ जहाँ GPT-6.1 Sol विफल रहा।

एक ही वेब ऐप के भीतर, एक समय में एक पेज पर काम करने से बहुत कम फ़र्क पड़ा। हमारे 15 वेब ऐप वर्कफ़्लो ऐसे टेस्ट ऐप में चलते हैं जिन्हें हमने नए डेटा से भरा, जैसे यात्रा बुकिंग और खर्च का ऐप। वहाँ DeepSeek V4.1 Flash ने अपने 30 में से 28 प्रयास सफल किए और GPT-6.1 Sol ने 29। जिन 13 वर्कफ़्लो पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash को प्रति टास्क 173.0 सेकंड लगे और लागत $0.028 रही, जबकि GPT-6.1 Sol को 169.3 सेकंड लगे और लागत $0.170 रही।

नीति के अनुरूप यात्रा बुक करना इसका आम उदाहरण है। टास्क में एजेंट से यात्रा नीति के भीतर आने-जाने की उड़ानें बुक करने, गलियारे की ओर वाली सीटें चुनने और कार्यक्रम स्थल से एक मील के भीतर होटल बुक करने को कहा जाता है। दोनों मॉडलों के दोनों प्रयास सफल हुए। DeepSeek V4.1 Flash को प्रति टास्क 189.2 सेकंड लगे और लागत $0.033 रही, जबकि GPT-6.1 Sol को 199.4 सेकंड लगे और लागत $0.253 रही।

8 या अधिक साइटों पर यही तरीका स्टेप खर्च कर देता है। उन 32 टास्क पर DeepSeek V4.1 Flash ने 64 में से 21 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 51। वहाँ DeepSeek ने प्रति टास्क 82.2 टूल कॉल किए, जो GPT-6.1 Sol के 41.1 से दोगुने हैं। DeepSeek के जिन 26 प्रयासों में सभी 100 स्टेप इस्तेमाल हुए, उनमें से 23 इन्हीं टास्क पर थे।

जब DeepSeek V4.1 Flash जवाब देता है, तब हम उसके निष्कर्षों को उसके अपने डेटा और पढ़े गए पेजों से मिलाकर जाँचेंगे। उसके 62 प्रयास विफल हुए: 34 गलत जवाब पर खत्म हुए और 28 बिना जवाब के। उन 28 में से 26 ने सभी 100 स्टेप इस्तेमाल किए और 1 तब खत्म हुआ जब DeepSeek के API ने सर्वर त्रुटियाँ लौटाईं। GPT-6.1 Sol के सभी 23 विफल प्रयास गलत जवाब के साथ खत्म हुए। फ़्लैगशिप फ़ोन वाले टास्क के एक प्रयास में DeepSeek V4.1 Flash की अपनी तालिका में Galaxy S26 का वज़न 167 g था। फिर तालिका के नीचे की पंक्ति ने 186 g वाले motorola signature को सबसे हल्का फ़ोन बताया।

कौन-सा मॉडल इस्तेमाल करें

ego-browser में कई साइटों पर काम करने वाले एजेंट के लिए GPT-6.1 Sol इस्तेमाल करें। वह अपने 84.0% प्रयासों में सफल हुआ और उसके स्टेप कभी खत्म नहीं हुए। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर उसने 64 में से 51 प्रयास सफल किए और कई साइटों पर काम जल्दी पूरा किया।

एक ही वेब ऐप के भीतर के वर्कफ़्लो के लिए DeepSeek V4.1 Flash इस्तेमाल करें। हमारे टेस्ट ऐप में उसने 30 में से 28 प्रयास सफल किए, लगभग GPT-6.1 Sol जितना समय लिया और उसकी लागत के लगभग छठे हिस्से जितना खर्च आया। 8 या अधिक साइटों वाले काम के लिए हम उस पर भरोसा नहीं करेंगे, जहाँ उसने 64 में से 21 प्रयास सफल किए।

कुछ साइटों पर जानकारी खोजने और शोध वाले टास्क में समय और पैसे के बीच चुनाव करना पड़ता है। DeepSeek V4.1 Flash ने जानकारी खोजने के 16 में से 13 और शोध के 24 में से 15 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 16 में से 15 और 24 में से 16। दोनों तरह के काम में DeepSeek V4.1 Flash की लागत कम रही और समय ज़्यादा लगा।

ego(lite) में BLS CPI की खोज, 2023–2025 की अवधि और वार्षिक औसत चालू करके
ego(lite) में BLS CPI की खोज, वार्षिक औसत चालू करके। इस संशोधन के लिए दिया गया इंटरफ़ेस प्रदर्शन, जो 7 नवंबर के बेंचमार्क रन से अलग है। चित्र को मूल आकार में देखें

कोई भी मॉडल चुनें, उसके जवाब के प्रमुख मान जाँचें। दोनों मॉडलों ने कभी-कभी ऐसे जवाब दिए जो पूरे लगते थे, लेकिन उनमें एक गलत मान था। हमने दोनों मॉडलों को तर्क-विचार के प्रयास का स्तर high रखकर ego-browser में चलाया, जो ego(lite) के साथ आता है और उसे एजेंट के ब्राउज़र के रूप में नियंत्रित करता है।

अक्सर पूछे जाने वाले सवाल

क्या ब्राउज़र उपयोग में DeepSeek V4.1 Flash, GPT-6.1 Sol जितना अच्छा है?

एक ही वेब ऐप के भीतर लगभग उतना अच्छा है; कई साइटों पर नहीं। वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने 30 में से 28 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 29। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने 64 में से 21 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 51। सभी 72 टास्क पर उनके क्रमशः 56.9% और 84.0% प्रयास सफल हुए।

ब्राउज़र में GPT-6.1 Sol, DeepSeek V4.1 Flash से तेज़ क्यों है?

हमारे रन में GPT-6.1 Sol को कम टूल कॉल की ज़रूरत पड़ी, कुछ हद तक इसलिए कि वह अक्सर एक कमांड में कई साइटों को संभालता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर उसके 56% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया, जबकि DeepSeek V4.1 Flash के 1% से भी कम ने। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें GPT-6.1 Sol ने प्रति टास्क 28.6 टूल कॉल किए और 219.7 सेकंड लिए, जबकि DeepSeek V4.1 Flash ने 43.0 कॉल किए और 321.7 सेकंड लिए। वेब ऐप वर्कफ़्लो में दोनों ने लगभग बराबर समय लिया।

ब्राउज़र टास्क में DeepSeek V4.1 Flash, GPT-6.1 Sol से कितना सस्ता है?

DeepSeek V4.1 Flash की लागत GPT-6.1 Sol की लगभग 15% है। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash की प्रति टास्क लागत $0.047 और GPT-6.1 Sol की $0.310 रही। सभी 72 टास्क पर DeepSeek V4.1 Flash की प्रति टास्क लागत $0.071 और GPT-6.1 Sol की $0.483 रही। प्रति सफल प्रयास DeepSeek V4.1 Flash की लागत $0.124 और GPT-6.1 Sol की $0.575 रही।

कई साइटों वाले टास्क पर DeepSeek V4.1 Flash विफल क्यों होता है?

वहाँ उसकी लगभग आधी विफलताएँ स्टेप खत्म होने से आती हैं। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर वह एक समय में एक पेज पर काम करता है और उसने प्रति टास्क 82.2 टूल कॉल किए, जबकि GPT-6.1 Sol ने 41.1। इन टास्क पर उसके 43 विफल प्रयासों में से 23 सभी 100 स्टेप के बाद बिना जवाब के खत्म हुए।

GPT-6.1 Sol कुछ ब्राउज़र टास्क में गलत जवाब क्यों देता है?

LiveBench और फ़्रंटएंड फ़्रेमवर्क वाले टास्क पर उसने बहुत जल्दी खोजना बंद कर दिया। LiveBench टास्क में 12 टूल कॉल के बाद GPT-6.1 Sol ने कहा कि पेज पर स्कोर नहीं दिख रहा, जबकि DeepSeek V4.1 Flash ने उसी पेज के नीचे Insights सेक्शन में वह स्कोर ढूँढ़ लिया। DeepSeek V4.1 Flash उन 3 टास्क के दोनों प्रयासों में सफल हुआ जहाँ GPT-6.1 Sol दोनों बार विफल रहा।

क्या DeepSeek V4.1 Flash, GPT-6.1 Sol से ज़्यादा गलतियाँ करता है?

हाँ। DeepSeek V4.1 Flash के 144 प्रयासों में से 34 गलत जवाब के साथ खत्म हुए, जबकि GPT-6.1 Sol के 23। DeepSeek V4.1 Flash ने जवाब भी कम दिए, क्योंकि उसके 28 प्रयास बिना जवाब के खत्म हुए। फ़्लैगशिप फ़ोन वाले टास्क के एक प्रयास में उसकी अपनी तालिका में Galaxy S26 का वज़न 167 g था, लेकिन उसके सारांश ने 186 g के फ़ोन को सबसे हल्का बताया।

क्या DeepSeek V4.1 Flash वेब ऐप में फ़ॉर्म भर सकता है और वर्कफ़्लो चला सकता है?

हाँ। हमारे टेस्ट ऐप के 15 वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने 30 में से 28 प्रयास सफल किए और GPT-6.1 Sol ने 30 में से 29। टास्क में यात्रा बुक करना, लॉकबॉक्स भुगतान लागू करना और खर्च रिपोर्ट मंज़ूर करना शामिल थे। जिन 13 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash की प्रति टास्क लागत $0.028 और GPT-6.1 Sol की $0.170 रही।

कौन-से ब्राउज़र टास्क DeepSeek V4.1 Flash, GPT-6.1 Sol से कम लागत पर कर सकता है?

मुख्यतः एक ही वेब ऐप के अंदर के वर्कफ़्लो, जहाँ 15 में से 11 वेब ऐप वर्कफ़्लो ने तीन शर्तें पूरी कीं। उन 11 टास्क पर DeepSeek V4.1 Flash उतनी ही बार सफल हुआ जितनी बार GPT-6.1 Sol, उसने अधिकतम 10% ज़्यादा समय लिया और उसकी लागत दूसरे मॉडल की लागत की एक-तिहाई से कम रही। तीन और टास्क ने भी यही शर्तें पूरी कीं: FRED और BLS डेटा से महँगाई की रिपोर्ट, एक व्याख्यान, कोड और शोधपत्र से अध्ययन नोट्स, और Linux वितरणों के नौ सुरक्षा बुलेटिनों में एक sudo CVE की जाँच।

GPT-6.1 Sol की तुलना में DeepSeek V4.1 Flash कितने टूल कॉल करता है?

सभी 72 टास्क पर DeepSeek V4.1 Flash ने प्रति टास्क 61.6 टूल कॉल किए, जो GPT-6.1 Sol के 34.6 से लगभग 78% ज़्यादा हैं। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने प्रति टास्क 82.2 कॉल किए, जो GPT-6.1 Sol के 41.1 से दोगुने हैं। वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने प्रति टास्क 33.3 कॉल किए और GPT-6.1 Sol ने 26.0।

क्या ब्राउज़र एजेंट के लिए DeepSeek V4.1 Flash इस्तेमाल करना फ़ायदेमंद है?

एक ही वेब ऐप के अंदर के वर्कफ़्लो के लिए हाँ: वहाँ DeepSeek V4.1 Flash ने GPT-6.1 Sol की लागत के लगभग छठे हिस्से में 30 में से 28 प्रयास सफल किए। कई साइटों पर काम करने वाले एजेंट के लिए GPT-6.1 Sol बेहतर विकल्प है, क्योंकि उसके 84.0% प्रयास सफल हुए, जबकि DeepSeek V4.1 Flash के 56.9%।

हमने परीक्षण कैसे किया

हमने दोनों मॉडल 7 नवंबर 2026 को macOS पर ego-browser में ego(lite) 0.6.3.2 के साथ चलाए। दोनों मॉडल pi एजेंट हार्नेस में ego-browser की स्किल फ़ाइल के साथ चले। हमने तर्क-विचार के प्रयास का स्तर high रखकर deepseek-flash और gpt-6.1-sol मॉडल ID से उन्हें कॉल किया। दोनों मॉडलों के लिए प्रति प्रयास 100 स्टेप की समान सीमा थी। एक स्टेप मॉडल की एक बारी है और लगभग हर स्टेप पर मॉडल ने एक टूल कॉल किया। हर मॉडल ने सभी 72 टास्क दो बार चलाए, इसलिए हर मॉडल ने 144 प्रयास किए।

ego(lite) के Spaces अवलोकन में एक दूसरे Space के बगल में चल रही BLS CPI खोज
BLS खोज के प्रदर्शन के दौरान ego(lite) का Spaces अवलोकन। इस संशोधन के लिए दिया गया इंटरफ़ेस प्रदर्शन, जो 7 नवंबर के बेंचमार्क रन से अलग है। चित्र को मूल आकार में देखें

ये 72 जटिल वेब ऑटोमेशन टास्क हैं। कुछ टास्क लाइव वेबसाइटों पर चलते हैं और कुछ उन टेस्ट ऐप में जिन्हें हमने नए डेटा से भरा। हमने टास्क को उनसे माँगे गए काम के प्रकार के अनुसार समूहों में रखा:

काम का प्रकारटास्कउदाहरण टास्क
वेब ऐप वर्कफ़्लो15नीति के अनुरूप यात्रा बुक करें
कुछ साइटों पर खोज और तुलना8FRED से महँगाई की रिपोर्ट, जिसकी BLS से जाँच की गई हो
शोध और जानकारी का समेकन12Wikipedia की तालिका के स्रोतों का पता लगाएँ
X पर पोस्टों की अन्य स्रोतों से जाँच5X पर SpaceX की लॉन्च पोस्ट की Wikipedia से जाँच
8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना3212 केंद्रीय बैंकों के ब्याज-दर फ़ैसले

हर टास्क केवल एक समूह में है। X पोस्ट जाँचने वाले 5 टास्क का अपना अलग समूह है, भले ही वे 8 खातों को कवर करते हों।

हर टास्क में 3 से 10 जाँचों के आधार पर अंक दिए जाते हैं। प्रयास तभी सफल होता है जब वह हर जाँच में सफल हो।

हर मॉडल कैसे काम करता है, यह समझने के लिए हमने दोनों मॉडलों के प्रयासों के सत्र लॉग पढ़े। हम किसी ब्राउज़र कमांड को दो या अधिक टैब में काम करने वाला तब गिनते हैं, जब उस कमांड में मॉडल ने ego-browser को जो स्क्रिप्ट दी, उसने दो या अधिक टैब से जानकारी पढ़ी या उनमें कार्रवाई की।

सफलता दर सफल प्रयासों का अनुपात है। इस लेख में प्रति टास्क दिया गया हर आँकड़ा, जिसमें समय, लागत और टूल कॉल शामिल हैं, उस टास्क के दो प्रयासों का औसत है। समय किसी प्रयास के शुरू होने से अंतिम जवाब तक गिना जाता है या जवाब न मिलने पर उसके आखिरी स्टेप तक; इसमें हर मॉडल के API से जवाब मिलने का इंतज़ार भी शामिल है। हर प्रयास की लागत उसके टोकन उपयोग पर प्रदाता की दरें लागू करके निकाली जाती है। प्रति सफल प्रयास लागत के लिए सभी 144 प्रयासों की लागत को सफल प्रयासों की संख्या से भाग दिया जाता है। समय और लागत की तुलना के लिए हम वे 29 टास्क लेते हैं जहाँ दोनों मॉडल हर प्रयास में सफल हुए, जब तक वाक्य में कुछ और न कहा गया हो।

नीचे परिणाम कॉलम में “समान सफलता, कम लागत” का मतलब है कि DeepSeek V4.1 Flash उतनी ही बार सफल हुआ जितनी बार GPT-6.1 Sol, उसने अधिकतम 10% ज़्यादा समय लिया और उसकी लागत दूसरे मॉडल की लागत की एक-तिहाई से कम रही। “समान सफलता, अधिक समय” का मतलब है कि दोनों मॉडल बराबर बार सफल हुए, लेकिन टास्क ने समय और लागत की ये शर्तें पूरी नहीं कीं।

पूरे परिणाम

हर सेल में 2 में से सफल प्रयासों की संख्या, फिर प्रति टास्क समय और प्रति टास्क लागत दिखाई गई है। समय और लागत टास्क के दो प्रयासों के औसत हैं, और समय में हर मॉडल के API से जवाब मिलने का इंतज़ार शामिल है।

टास्ककाम का प्रकारपरिणामGPT-6.1 SolDeepSeek V4.1 Flash
बिना मिलान वाले कार्ड शुल्क खर्च रिपोर्ट में जोड़ेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 169.6 s, $0.1932/2, 157.1 s, $0.026
लॉकबॉक्स भुगतान लागू करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 185.2 s, $0.1412/2, 184.3 s, $0.025
यात्रा खर्च रिपोर्ट मंज़ूर करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 156.3 s, $0.1202/2, 144.6 s, $0.020
नीति के अनुरूप यात्रा बुक करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 199.4 s, $0.2532/2, 189.2 s, $0.033
सेवा मॉनिटर को एक मानक के अनुरूप करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 133.9 s, $0.1312/2, 119.3 s, $0.024
वाहकों के समयपालन की समीक्षा और अलर्ट नियमवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 198.1 s, $0.1402/2, 213.7 s, $0.042
दैनिक भोजन भत्ते का दावा करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 123.4 s, $0.1092/2, 93.2 s, $0.018
दैनिक माइलेज का दावा करेंवेब ऐप वर्कफ़्लोसमान सफलता, अधिक समय2/2, 246.6 s, $0.2282/2, 282.4 s, $0.036
छुट्टी के दौरान ऑन-कॉल शिफ़्ट की कवरेज करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 85.6 s, $0.1082/2, 69.0 s, $0.013
पुनः ऑर्डर बिंदुओं से खरीद आदेश बनाएँवेब ऐप वर्कफ़्लोसमान सफलता, अधिक समय2/2, 116.7 s, $0.1232/2, 146.9 s, $0.019
क्षतिग्रस्त ऑर्डर के रिटर्न दर्ज करेंवेब ऐप वर्कफ़्लोसमान सफलता, अधिक समय2/2, 238.5 s, $0.2932/2, 297.5 s, $0.045
एरर बजट के आधार पर डिप्लॉय रोकें या फिर चालू करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत1/2, 90.1 s, $0.0861/2, 74.1 s, $0.013
इनवॉइस का भुगतान से मिलान करें, विवाद खोलेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 212.0 s, $0.2142/2, 224.6 s, $0.042
रोक की अवधि में हुई रिलीज़ वापस करेंवेब ऐप वर्कफ़्लोGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 115.4 s, $0.1111/2, 241.3 s, $0.040
घटना का पोस्टमॉर्टम लिखकर जमा करेंवेब ऐप वर्कफ़्लोसमान सफलता, कम लागत2/2, 135.5 s, $0.1582/2, 126.7 s, $0.026
उड़ान खोज साइट पर सबसे सस्ते नॉनस्टॉप किरायेकुछ साइटों पर खोज और तुलनासमान सफलता, अधिक समय1/2, 380.6 s, $0.4921/2, 1058.9 s, $0.096
तीन Mac लैपटॉप की तुलना करेंकुछ साइटों पर खोज और तुलनासमान सफलता, अधिक समय2/2, 278.5 s, $0.5292/2, 320.4 s, $0.065
FRED से महँगाई की रिपोर्ट, जिसकी BLS से जाँच की गई होकुछ साइटों पर खोज और तुलनासमान सफलता, कम लागत2/2, 117.8 s, $0.1582/2, 93.6 s, $0.019
चार ब्रिटिश कंपनियों का KYC स्नैपशॉटकुछ साइटों पर खोज और तुलनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 181.1 s, $0.2691/2, 170.1 s, $0.034
क्लिनिकल ट्रायल का दवा की जानकारी वाले दस्तावेज़ों से मिलान करेंकुछ साइटों पर खोज और तुलनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 338.8 s, $0.4871/2, 293.6 s, $0.052
छह फ़िल्मों की बॉक्स ऑफ़िस कमाई का मिलान करेंकुछ साइटों पर खोज और तुलनासमान सफलता, अधिक समय2/2, 189.2 s, $0.2092/2, 210.5 s, $0.028
एक व्याख्यान, कोड और शोधपत्र से अध्ययन नोट्सकुछ साइटों पर खोज और तुलनासमान सफलता, कम लागत2/2, 215.6 s, $0.4222/2, 232.5 s, $0.041
MDN और Can I use पर वेब सुविधाएँकुछ साइटों पर खोज और तुलनासमान सफलता, अधिक समय2/2, 161.8 s, $0.1972/2, 430.5 s, $0.049
Wayback स्नैपशॉट से API कीमतेंशोध और जानकारी का समेकनDeepSeek V4.1 Flash के अधिक प्रयास सफल हुए0/2, 410.4 s, $0.3002/2, 1111.2 s, $0.065
ARC Prize लीडरबोर्ड चार्टशोध और जानकारी का समेकनसमान सफलता, अधिक समय2/2, 197.0 s, $0.2472/2, 341.1 s, $0.081
साप्ताहिक AI सारांश की 10 बातों की जाँच करेंशोध और जानकारी का समेकनGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 184.3 s, $0.3310/2, 307.3 s, $0.059
मासिक बिल के लिए पाँच चीनी मॉडल API की तुलना करेंशोध और जानकारी का समेकनसमान सफलता, अधिक समय2/2, 205.8 s, $0.3442/2, 278.6 s, $0.055
EU AI Act के तहत 8 फ़्रंटियर मॉडलों की जानकारी के खुलासे का ऑडिटशोध और जानकारी का समेकनदोनों में से कोई सफल नहीं हुआ0/2, 555.1 s, $1.0070/2, 530.4 s, $0.126
छह चेंजलॉग से सितंबर में हुए API मॉडल लॉन्च की सूची बनाएँशोध और जानकारी का समेकनGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 148.2 s, $0.2601/2, 378.5 s, $0.078
EU की गणना-परिमाण सीमाओं से ऊपर के मॉडलशोध और जानकारी का समेकनGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 94.0 s, $0.0951/2, 170.2 s, $0.034
GLM 5.3 के लिए OpenRouter एंडपॉइंट चुनेंशोध और जानकारी का समेकनसमान सफलता, अधिक समय2/2, 222.2 s, $0.3052/2, 363.4 s, $0.067
छह आवश्यकताओं के अनुसार जर्मन बीमा दावों के लिए मॉडल चुनेंशोध और जानकारी का समेकनDeepSeek V4.1 Flash के अधिक प्रयास सफल हुए1/2, 155.3 s, $0.2612/2, 285.0 s, $0.057
कीमतों वाले 6 पेजों से सपोर्ट टिकट के वर्कलोड की लागत निकालेंशोध और जानकारी का समेकनसमान सफलता, अधिक समय1/2, 334.8 s, $0.5591/2, 399.2 s, $0.101
LiveBench की एक रिलीज़ पढ़ेंशोध और जानकारी का समेकनDeepSeek V4.1 Flash के अधिक प्रयास सफल हुए0/2, 67.8 s, $0.1292/2, 215.3 s, $0.050
Wikipedia की तालिका के स्रोतों का पता लगाएँशोध और जानकारी का समेकनGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 286.6 s, $0.2220/2, 514.5 s, $0.060
क्लबों के 8 अनुबंध: X पर पोस्टों का क्लबों की साइटों से मिलानX पर पोस्टों की अन्य स्रोतों से जाँचGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 1099.5 s, $1.4850/2, 2198.8 s, $0.080
8 उत्पाद लॉन्च: X पोस्ट की प्रेस विज्ञप्तियों से जाँचX पर पोस्टों की अन्य स्रोतों से जाँचGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 583.1 s, $0.7250/2, 1451.6 s, $0.086
8 विश्वविद्यालयों की X पर नोबेल संबंधी पोस्टX पर पोस्टों की अन्य स्रोतों से जाँचGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 790.7 s, $0.8351/2, 2557.1 s, $0.117
8 ओपन-सोर्स प्रोजेक्ट की सुरक्षा रिलीज़: X पर पोस्टों का सुरक्षा सलाह से मिलानX पर पोस्टों की अन्य स्रोतों से जाँचसमान सफलता, अधिक समय2/2, 426.5 s, $0.7242/2, 1306.2 s, $0.117
X पर SpaceX की लॉन्च पोस्ट की Wikipedia से जाँचX पर पोस्टों की अन्य स्रोतों से जाँचसमान सफलता, अधिक समय2/2, 156.2 s, $0.1662/2, 841.3 s, $0.044
11 मौसम एजेंसियों के 2025 के जलवायु बयान8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए1/2, 616.5 s, $1.0760/2, 556.2 s, $0.120
8 हवाई अड्डों पर 2025 का ट्रैफ़िक8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय1/2, 609.4 s, $1.0151/2, 750.7 s, $0.127
9 लीग के 2025-26 चैंपियन8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 577.7 s, $1.1930/2, 798.0 s, $0.110
ब्रांडों की 8 साइटों से 8 कैमरे8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 381.1 s, $0.5111/2, 540.1 s, $0.083
8 डेवलपर सर्वेक्षण8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 348.6 s, $0.5850/2, 537.0 s, $0.122
9 इलेक्ट्रिक SUV8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 557.3 s, $1.1110/2, 620.2 s, $0.104
9 ओपन-वेट मॉडल8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय1/2, 448.1 s, $0.7031/2, 548.0 s, $0.110
9 SaaS विक्रेताओं का अनुपालन8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए1/2, 434.7 s, $0.5980/2, 452.0 s, $0.081
9 मानकों के मौजूदा संस्करण8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय2/2, 282.9 s, $0.6752/2, 386.3 s, $0.059
9 ब्रांड के फ़्लैगशिप फ़ोन8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 439.4 s, $0.6200/2, 509.0 s, $0.077
9 CI सेवाओं के मुफ़्त प्लान8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 350.6 s, $0.5250/2, 617.3 s, $0.118
9 सर्वरलेस प्लेटफ़ॉर्म के मुफ़्त प्लान8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 209.9 s, $0.3191/2, 390.7 s, $0.077
9 डेवलपर सम्मेलनों के मुख्य भाषण8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 429.1 s, $0.5860/2, 949.7 s, $0.114
9 जगहों का नवीनतम चुनाव8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनादोनों में से कोई सफल नहीं हुआ0/2, 582.7 s, $1.1140/2, 625.3 s, $0.120
9 लैंग्वेज रनटाइम की नवीनतम रिलीज़8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 326.9 s, $0.6380/2, 464.1 s, $0.090
9 डेस्कटॉप ब्राउज़र की नवीनतम स्थिर रिलीज़8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय2/2, 263.2 s, $0.5102/2, 552.6 s, $0.104
9 फ़्रंटएंड फ़्रेमवर्क के नवीनतम स्थिर संस्करण8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाDeepSeek V4.1 Flash के अधिक प्रयास सफल हुए0/2, 252.0 s, $0.3752/2, 425.9 s, $0.069
9 न्यायक्षेत्रों का न्यूनतम वेतन8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 520.4 s, $0.8340/2, 630.3 s, $0.088
9 संगीत सेवाओं पर एक ही एल्बम8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय2/2, 260.6 s, $0.6602/2, 485.6 s, $0.055
10 स्रोतों में एक ही किताब के संस्करण8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाDeepSeek V4.1 Flash के अधिक प्रयास सफल हुए1/2, 315.6 s, $0.4772/2, 498.5 s, $0.061
9 क्रैश-टेस्ट कार्यक्रमों में एक ही कार8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए1/2, 345.1 s, $0.5240/2, 609.2 s, $0.104
8 नियामकों के यहाँ एक ही दवा8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनादोनों में से कोई सफल नहीं हुआ0/2, 52.7 s, $0.0600/2, 614.5 s, $0.117
9 एजेंसियों के अनुसार एक ही भूकंप8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 321.3 s, $0.7500/2, 694.1 s, $0.109
8 रेटिंग बोर्ड में एक ही गेम8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 496.2 s, $0.6590/2, 666.1 s, $0.092
संग्रहालयों के 10 संग्रहों में एक ही प्रिंट8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 465.4 s, $0.7770/2, 693.7 s, $0.098
वितरणों के 9 सुरक्षा बुलेटिनों में एक sudo CVE8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, कम लागत2/2, 389.0 s, $0.4872/2, 280.1 s, $0.045
9 राष्ट्रीय चार्ट में एक हफ़्ते का नंबर वन8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय2/2, 530.8 s, $0.7712/2, 631.1 s, $0.090
9 एजेंसियों से दूसरी तिमाही के GDP के प्रारंभिक अनुमान8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 471.3 s, $0.9271/2, 616.9 s, $0.105
12 केंद्रीय बैंकों के ब्याज-दर फ़ैसले8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 374.9 s, $0.6200/2, 496.5 s, $0.109
विक्रेताओं के उत्पादों के 9 संस्करणों की सपोर्ट तिथियाँ8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनासमान सफलता, अधिक समय2/2, 273.8 s, $0.3902/2, 327.4 s, $0.065
9 पैकेज रजिस्ट्री में protobuf रनटाइम8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए1/2, 415.8 s, $0.5440/2, 566.7 s, $0.082
9 फ़िल्म समारोहों के सर्वोच्च पुरस्कार8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करनाGPT-6.1 Sol के अधिक प्रयास सफल हुए2/2, 628.3 s, $0.9690/2, 665.1 s, $0.093

अपडेट लॉग: 9 नवंबर 2026; पहली बार 7 नवंबर 2026 के रन के साथ प्रकाशित, जिनमें हर मॉडल ने 72 टास्क पर प्रति टास्क दो प्रयास किए।

आगे पढ़ें