72 वेब टास्क पर ब्राउज़र उपयोग के लिए DeepSeek V4.1 Flash और GPT-6.1 Sol का तुलनात्मक परीक्षण

कई साइटों पर काम करने वाले एजेंट के लिए हम GPT-6.1 Sol चुनेंगे, जबकि एक ही वेब ऐप के अंदर चलने वाले वर्कफ़्लो के लिए DeepSeek V4.1 Flash। हर मॉडल ने ego-browser में हमारे 72 टास्क में से प्रत्येक को दो बार चलाया, इसलिए हर मॉडल ने 144 प्रयास किए। GPT-6.1 Sol ने अपने 144 में से 121 प्रयास सफल किए (84.0%), जबकि DeepSeek V4.1 Flash ने 82 (56.9%)। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें GPT-6.1 Sol को प्रति टास्क 219.7 सेकंड लगे और लागत $0.310 रही, जबकि DeepSeek V4.1 Flash को 321.7 सेकंड लगे और लागत $0.047 रही।
रन पढ़ने पर हमने देखा कि दोनों मॉडल अलग-अलग तरीके से काम करते हैं। GPT-6.1 Sol अक्सर एक कमांड में कई साइटों को संभालता है, जबकि DeepSeek V4.1 Flash एक समय में एक पेज पर काम करता है और खोज जारी रखता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने 23 प्रयासों में अपने सभी 100 स्टेप इस्तेमाल कर लिए। हमारे टेस्ट ऐप में, जहाँ काम एक ही वेब ऐप के भीतर होता है, उसने GPT-6.1 Sol की लागत के लगभग छठे हिस्से में उसकी सफलता दर और गति की लगभग बराबरी की।
हर मॉडल की एक कमज़ोरी भी है, जिसे ध्यान में रखकर हम योजना बनाएँगे। GPT-6.1 Sol कभी-कभी बहुत जल्दी खोज बंद कर देता है: 3 टास्क पर उसके दोनों प्रयास विफल हुए, जबकि खोज जारी रखने वाले DeepSeek V4.1 Flash के दोनों प्रयास सफल हुए। DeepSeek V4.1 Flash ने कम जवाब देने के बावजूद ज़्यादा गलत जवाब दिए: उसके 144 में से 34 प्रयास गलत जवाब के साथ खत्म हुए, जबकि GPT-6.1 Sol के 23।
सफलता दर, गति और लागत
सफलता दर और गति में GPT-6.1 Sol आगे है, और DeepSeek V4.1 Flash की लागत उसकी लगभग 15% है। हम समय और लागत की तुलना उन 29 टास्क पर करते हैं जहाँ दोनों मॉडल हर प्रयास में सफल हुए, इसलिए किसी मॉडल के इन आँकड़ों में विफल काम शामिल नहीं है। सभी 72 टास्क वाली पंक्तियों में विफल प्रयास शामिल हैं।
| माप | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| सफलता दर, सभी 72 टास्क | 84.0% (144 प्रयासों में से 121) | 56.9% (144 प्रयासों में से 82) |
| प्रति टास्क समय, वे 29 टास्क जहाँ दोनों हर बार सफल हुए | 219.7 s | 321.7 s |
| प्रति टास्क समय, सभी 72 टास्क | 321.6 s | 511.4 s |
| प्रति टास्क लागत, वे 29 टास्क जहाँ दोनों हर बार सफल हुए | $0.310 | $0.047 |
| प्रति टास्क लागत, सभी 72 टास्क | $0.483 | $0.071 |
| प्रति सफल प्रयास लागत, सभी 72 टास्क | $0.575 | $0.124 |
| प्रति टास्क टूल कॉल, सभी 72 टास्क | 34.6 | 61.6 |
7 नवंबर 2026 के रन, जिनमें दोनों मॉडल ego-browser में चले। हर मॉडल ने प्रत्येक टास्क दो बार चलाया। समय में हर मॉडल के API से जवाब मिलने का इंतज़ार शामिल है।
DeepSeek V4.1 Flash की लागत कम है क्योंकि उसकी कीमतें कम हैं, इसलिए नहीं कि वह कम काम करता है। उसने प्रति टास्क 61.6 टूल कॉल किए, जबकि GPT-6.1 Sol ने 34.6। प्रति सफल प्रयास गिनने पर भी DeepSeek V4.1 Flash की लागत $0.124 और GPT-6.1 Sol की $0.575 रही।
सफलता दर का ज़्यादातर अंतर एक तरह के काम से आता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर GPT-6.1 Sol ने 64 में से 51 प्रयास सफल किए और DeepSeek V4.1 Flash ने 21। वेब ऐप वर्कफ़्लो में दोनों मॉडलों ने 30 में से क्रमशः 29 और 28 प्रयास सफल किए।
| काम का प्रकार | टास्क | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| वेब ऐप वर्कफ़्लो | 15 | 96.7% (29/30) | 93.3% (28/30) |
| कुछ साइटों पर खोज और तुलना | 8 | 93.8% (15/16) | 81.3% (13/16) |
| शोध और जानकारी का समेकन | 12 | 66.7% (16/24) | 62.5% (15/24) |
| X पर पोस्टों की अन्य स्रोतों से जाँच | 5 | 100% (10/10) | 50.0% (5/10) |
| 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | 32 | 79.7% (51/64) | 32.8% (21/64) |
| सभी टास्क | 72 | 84.0% (121/144) | 56.9% (82/144) |
सफलता दर सफल प्रयासों का अनुपात है, जिसमें हर टास्क के दो प्रयास गिने जाते हैं।
वेब ऐप वर्कफ़्लो में दोनों मॉडलों की सफलता दर में बहुत कम अंतर था, इसलिए वहाँ लागत ही उन्हें अलग करती है। कई साइटों वाले टास्क पर GPT-6.1 Sol कहीं ज़्यादा बार सफल हुआ।
GPT-6.1 Sol कैसे काम करता है
GPT-6.1 Sol अक्सर एक कमांड में कई साइटों को संभालता है। जब कोई टास्क कई साइटों तक फैला हो, तो वह उन्हें अलग-अलग टैब में खुला रखता है और हर ego-browser कमांड से उनमें से कई पर काम आगे बढ़ाता है। दोनों मॉडलों को एक ही ego-browser स्किल फ़ाइल मिली थी, जिसमें बताया गया है कि ज़रूरत पड़ने पर कई टैब कैसे खुले रखें। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर GPT-6.1 Sol के 56% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया। DeepSeek V4.1 Flash ने अपने 1% से भी कम ब्राउज़र कमांड में ऐसा किया।
भूकंप वाला टास्क दिखाता है कि यह व्यवहार कैसा होता है। इसमें 2025 के एक भूकंप का समय, परिमाण और गहराई 9 एजेंसियों की रिपोर्ट के अनुसार पूछी जाती है। एक ही कमांड में GPT-6.1 Sol ने USGS का घटना पेज पढ़ा, EMSC के घटना पेज पर वैज्ञानिक डेटा खोला, GFZ का घटना पेज खोला और चौथे टैब को INGV पर भेजा। उसके दोनों प्रयास सफल हुए: एक में 40 टूल कॉल लगे और दूसरे में 32। DeepSeek V4.1 Flash ने एक ही टैब में 9 एजेंसियों पर बारी-बारी से काम किया, हर एजेंसी का खोज फ़ॉर्म भरा और दोनों प्रयासों में सभी 100 स्टेप इस्तेमाल कर लिए।
हमारे रन में GPT-6.1 Sol को कम टूल कॉल की ज़रूरत पड़ी और उसने काम जल्दी पूरा किया। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें उसने प्रति टास्क 28.6 टूल कॉल किए, जबकि DeepSeek V4.1 Flash ने 43.0। उनमें से वेब ऐप से बाहर के 16 टास्क में GPT-6.1 Sol 14 पर तेज़ था। वेब ऐप वर्कफ़्लो में उसके केवल 3% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया, और दोनों मॉडलों ने लगभग बराबर समय लिया।
GPT-6.1 Sol की कमज़ोरी यह है कि वह कभी-कभी बहुत जल्दी खोजना बंद कर देता है। 3 टास्क पर उसके दोनों प्रयास विफल हुए, जबकि DeepSeek V4.1 Flash के दोनों सफल हुए। LiveBench टास्क में दोनों मॉडलों ने लीडरबोर्ड पर High प्रयास स्तर वाले GPT-5.4 को खोजा, लेकिन केवल उसकी xHigh पंक्ति मिली। 12 टूल कॉल के बाद GPT-6.1 Sol ने बताया कि पेज पर वह स्कोर नहीं दिख रहा। DeepSeek V4.1 Flash खोजता रहा और उसी पेज के नीचे Insights सेक्शन में मॉडल चुनने के विकल्प में उसे 75.1 स्कोर मिल गया।
फ़्रंटएंड फ़्रेमवर्क वाले टास्क में भी ऐसा ही हुआ। एक प्रयास में GPT-6.1 Sol ने Next.js की रिलीज़ सूची में "16.3." खोजा और सबसे ऊपर मिला परिणाम बताया: 21 अगस्त का 16.3.2। DeepSeek V4.1 Flash ने रिलीज़ सूची के पेज पलटे, जिसमें अधिकतर canary बिल्ड हैं, और 30 सितंबर को प्रकाशित 16.3.8 ढूँढ़ लिया। जब GPT-6.1 Sol कहे कि कोई मान साइट पर नहीं है या खोज का सबसे ऊपर वाला परिणाम ले ले, तो जवाब इस्तेमाल करने से पहले हम खुद उस मान की जाँच करेंगे।
DeepSeek V4.1 Flash कैसे काम करता है
DeepSeek V4.1 Flash एक समय में एक पेज पर काम करता है और तब तक खोजता रहता है जब तक उसे ज़रूरी जानकारी न मिल जाए। उसने प्रति टास्क 61.6 टूल कॉल किए, जबकि GPT-6.1 Sol ने 34.6। इसी तरह लगातार खोजने से वह LiveBench और फ़्रंटएंड फ़्रेमवर्क वाले उन टास्क पर सफल हुआ जहाँ GPT-6.1 Sol विफल रहा।
एक ही वेब ऐप के भीतर, एक समय में एक पेज पर काम करने से बहुत कम फ़र्क पड़ा। हमारे 15 वेब ऐप वर्कफ़्लो ऐसे टेस्ट ऐप में चलते हैं जिन्हें हमने नए डेटा से भरा, जैसे यात्रा बुकिंग और खर्च का ऐप। वहाँ DeepSeek V4.1 Flash ने अपने 30 में से 28 प्रयास सफल किए और GPT-6.1 Sol ने 29। जिन 13 वर्कफ़्लो पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash को प्रति टास्क 173.0 सेकंड लगे और लागत $0.028 रही, जबकि GPT-6.1 Sol को 169.3 सेकंड लगे और लागत $0.170 रही।
नीति के अनुरूप यात्रा बुक करना इसका आम उदाहरण है। टास्क में एजेंट से यात्रा नीति के भीतर आने-जाने की उड़ानें बुक करने, गलियारे की ओर वाली सीटें चुनने और कार्यक्रम स्थल से एक मील के भीतर होटल बुक करने को कहा जाता है। दोनों मॉडलों के दोनों प्रयास सफल हुए। DeepSeek V4.1 Flash को प्रति टास्क 189.2 सेकंड लगे और लागत $0.033 रही, जबकि GPT-6.1 Sol को 199.4 सेकंड लगे और लागत $0.253 रही।
8 या अधिक साइटों पर यही तरीका स्टेप खर्च कर देता है। उन 32 टास्क पर DeepSeek V4.1 Flash ने 64 में से 21 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 51। वहाँ DeepSeek ने प्रति टास्क 82.2 टूल कॉल किए, जो GPT-6.1 Sol के 41.1 से दोगुने हैं। DeepSeek के जिन 26 प्रयासों में सभी 100 स्टेप इस्तेमाल हुए, उनमें से 23 इन्हीं टास्क पर थे।
जब DeepSeek V4.1 Flash जवाब देता है, तब हम उसके निष्कर्षों को उसके अपने डेटा और पढ़े गए पेजों से मिलाकर जाँचेंगे। उसके 62 प्रयास विफल हुए: 34 गलत जवाब पर खत्म हुए और 28 बिना जवाब के। उन 28 में से 26 ने सभी 100 स्टेप इस्तेमाल किए और 1 तब खत्म हुआ जब DeepSeek के API ने सर्वर त्रुटियाँ लौटाईं। GPT-6.1 Sol के सभी 23 विफल प्रयास गलत जवाब के साथ खत्म हुए। फ़्लैगशिप फ़ोन वाले टास्क के एक प्रयास में DeepSeek V4.1 Flash की अपनी तालिका में Galaxy S26 का वज़न 167 g था। फिर तालिका के नीचे की पंक्ति ने 186 g वाले motorola signature को सबसे हल्का फ़ोन बताया।
कौन-सा मॉडल इस्तेमाल करें
ego-browser में कई साइटों पर काम करने वाले एजेंट के लिए GPT-6.1 Sol इस्तेमाल करें। वह अपने 84.0% प्रयासों में सफल हुआ और उसके स्टेप कभी खत्म नहीं हुए। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर उसने 64 में से 51 प्रयास सफल किए और कई साइटों पर काम जल्दी पूरा किया।
एक ही वेब ऐप के भीतर के वर्कफ़्लो के लिए DeepSeek V4.1 Flash इस्तेमाल करें। हमारे टेस्ट ऐप में उसने 30 में से 28 प्रयास सफल किए, लगभग GPT-6.1 Sol जितना समय लिया और उसकी लागत के लगभग छठे हिस्से जितना खर्च आया। 8 या अधिक साइटों वाले काम के लिए हम उस पर भरोसा नहीं करेंगे, जहाँ उसने 64 में से 21 प्रयास सफल किए।
कुछ साइटों पर जानकारी खोजने और शोध वाले टास्क में समय और पैसे के बीच चुनाव करना पड़ता है। DeepSeek V4.1 Flash ने जानकारी खोजने के 16 में से 13 और शोध के 24 में से 15 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 16 में से 15 और 24 में से 16। दोनों तरह के काम में DeepSeek V4.1 Flash की लागत कम रही और समय ज़्यादा लगा।

कोई भी मॉडल चुनें, उसके जवाब के प्रमुख मान जाँचें। दोनों मॉडलों ने कभी-कभी ऐसे जवाब दिए जो पूरे लगते थे, लेकिन उनमें एक गलत मान था। हमने दोनों मॉडलों को तर्क-विचार के प्रयास का स्तर high रखकर ego-browser में चलाया, जो ego(lite) के साथ आता है और उसे एजेंट के ब्राउज़र के रूप में नियंत्रित करता है।
अक्सर पूछे जाने वाले सवाल
क्या ब्राउज़र उपयोग में DeepSeek V4.1 Flash, GPT-6.1 Sol जितना अच्छा है?
एक ही वेब ऐप के भीतर लगभग उतना अच्छा है; कई साइटों पर नहीं। वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने 30 में से 28 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 29। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने 64 में से 21 प्रयास सफल किए, जबकि GPT-6.1 Sol ने 51। सभी 72 टास्क पर उनके क्रमशः 56.9% और 84.0% प्रयास सफल हुए।
ब्राउज़र में GPT-6.1 Sol, DeepSeek V4.1 Flash से तेज़ क्यों है?
हमारे रन में GPT-6.1 Sol को कम टूल कॉल की ज़रूरत पड़ी, कुछ हद तक इसलिए कि वह अक्सर एक कमांड में कई साइटों को संभालता है। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर उसके 56% ब्राउज़र कमांड ने दो या अधिक टैब में काम किया, जबकि DeepSeek V4.1 Flash के 1% से भी कम ने। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें GPT-6.1 Sol ने प्रति टास्क 28.6 टूल कॉल किए और 219.7 सेकंड लिए, जबकि DeepSeek V4.1 Flash ने 43.0 कॉल किए और 321.7 सेकंड लिए। वेब ऐप वर्कफ़्लो में दोनों ने लगभग बराबर समय लिया।
ब्राउज़र टास्क में DeepSeek V4.1 Flash, GPT-6.1 Sol से कितना सस्ता है?
DeepSeek V4.1 Flash की लागत GPT-6.1 Sol की लगभग 15% है। जिन 29 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash की प्रति टास्क लागत $0.047 और GPT-6.1 Sol की $0.310 रही। सभी 72 टास्क पर DeepSeek V4.1 Flash की प्रति टास्क लागत $0.071 और GPT-6.1 Sol की $0.483 रही। प्रति सफल प्रयास DeepSeek V4.1 Flash की लागत $0.124 और GPT-6.1 Sol की $0.575 रही।
कई साइटों वाले टास्क पर DeepSeek V4.1 Flash विफल क्यों होता है?
वहाँ उसकी लगभग आधी विफलताएँ स्टेप खत्म होने से आती हैं। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर वह एक समय में एक पेज पर काम करता है और उसने प्रति टास्क 82.2 टूल कॉल किए, जबकि GPT-6.1 Sol ने 41.1। इन टास्क पर उसके 43 विफल प्रयासों में से 23 सभी 100 स्टेप के बाद बिना जवाब के खत्म हुए।
GPT-6.1 Sol कुछ ब्राउज़र टास्क में गलत जवाब क्यों देता है?
LiveBench और फ़्रंटएंड फ़्रेमवर्क वाले टास्क पर उसने बहुत जल्दी खोजना बंद कर दिया। LiveBench टास्क में 12 टूल कॉल के बाद GPT-6.1 Sol ने कहा कि पेज पर स्कोर नहीं दिख रहा, जबकि DeepSeek V4.1 Flash ने उसी पेज के नीचे Insights सेक्शन में वह स्कोर ढूँढ़ लिया। DeepSeek V4.1 Flash उन 3 टास्क के दोनों प्रयासों में सफल हुआ जहाँ GPT-6.1 Sol दोनों बार विफल रहा।
क्या DeepSeek V4.1 Flash, GPT-6.1 Sol से ज़्यादा गलतियाँ करता है?
हाँ। DeepSeek V4.1 Flash के 144 प्रयासों में से 34 गलत जवाब के साथ खत्म हुए, जबकि GPT-6.1 Sol के 23। DeepSeek V4.1 Flash ने जवाब भी कम दिए, क्योंकि उसके 28 प्रयास बिना जवाब के खत्म हुए। फ़्लैगशिप फ़ोन वाले टास्क के एक प्रयास में उसकी अपनी तालिका में Galaxy S26 का वज़न 167 g था, लेकिन उसके सारांश ने 186 g के फ़ोन को सबसे हल्का बताया।
क्या DeepSeek V4.1 Flash वेब ऐप में फ़ॉर्म भर सकता है और वर्कफ़्लो चला सकता है?
हाँ। हमारे टेस्ट ऐप के 15 वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने 30 में से 28 प्रयास सफल किए और GPT-6.1 Sol ने 30 में से 29। टास्क में यात्रा बुक करना, लॉकबॉक्स भुगतान लागू करना और खर्च रिपोर्ट मंज़ूर करना शामिल थे। जिन 13 टास्क पर दोनों मॉडल हर प्रयास में सफल हुए, उनमें DeepSeek V4.1 Flash की प्रति टास्क लागत $0.028 और GPT-6.1 Sol की $0.170 रही।
कौन-से ब्राउज़र टास्क DeepSeek V4.1 Flash, GPT-6.1 Sol से कम लागत पर कर सकता है?
मुख्यतः एक ही वेब ऐप के अंदर के वर्कफ़्लो, जहाँ 15 में से 11 वेब ऐप वर्कफ़्लो ने तीन शर्तें पूरी कीं। उन 11 टास्क पर DeepSeek V4.1 Flash उतनी ही बार सफल हुआ जितनी बार GPT-6.1 Sol, उसने अधिकतम 10% ज़्यादा समय लिया और उसकी लागत दूसरे मॉडल की लागत की एक-तिहाई से कम रही। तीन और टास्क ने भी यही शर्तें पूरी कीं: FRED और BLS डेटा से महँगाई की रिपोर्ट, एक व्याख्यान, कोड और शोधपत्र से अध्ययन नोट्स, और Linux वितरणों के नौ सुरक्षा बुलेटिनों में एक sudo CVE की जाँच।
GPT-6.1 Sol की तुलना में DeepSeek V4.1 Flash कितने टूल कॉल करता है?
सभी 72 टास्क पर DeepSeek V4.1 Flash ने प्रति टास्क 61.6 टूल कॉल किए, जो GPT-6.1 Sol के 34.6 से लगभग 78% ज़्यादा हैं। 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करने वाले टास्क पर DeepSeek V4.1 Flash ने प्रति टास्क 82.2 कॉल किए, जो GPT-6.1 Sol के 41.1 से दोगुने हैं। वेब ऐप वर्कफ़्लो में DeepSeek V4.1 Flash ने प्रति टास्क 33.3 कॉल किए और GPT-6.1 Sol ने 26.0।
क्या ब्राउज़र एजेंट के लिए DeepSeek V4.1 Flash इस्तेमाल करना फ़ायदेमंद है?
एक ही वेब ऐप के अंदर के वर्कफ़्लो के लिए हाँ: वहाँ DeepSeek V4.1 Flash ने GPT-6.1 Sol की लागत के लगभग छठे हिस्से में 30 में से 28 प्रयास सफल किए। कई साइटों पर काम करने वाले एजेंट के लिए GPT-6.1 Sol बेहतर विकल्प है, क्योंकि उसके 84.0% प्रयास सफल हुए, जबकि DeepSeek V4.1 Flash के 56.9%।
हमने परीक्षण कैसे किया
हमने दोनों मॉडल 7 नवंबर 2026 को macOS पर ego-browser में ego(lite) 0.6.3.2 के साथ चलाए। दोनों मॉडल pi एजेंट हार्नेस में ego-browser की स्किल फ़ाइल के साथ चले। हमने तर्क-विचार के प्रयास का स्तर high रखकर deepseek-flash और gpt-6.1-sol मॉडल ID से उन्हें कॉल किया। दोनों मॉडलों के लिए प्रति प्रयास 100 स्टेप की समान सीमा थी। एक स्टेप मॉडल की एक बारी है और लगभग हर स्टेप पर मॉडल ने एक टूल कॉल किया। हर मॉडल ने सभी 72 टास्क दो बार चलाए, इसलिए हर मॉडल ने 144 प्रयास किए।

ये 72 जटिल वेब ऑटोमेशन टास्क हैं। कुछ टास्क लाइव वेबसाइटों पर चलते हैं और कुछ उन टेस्ट ऐप में जिन्हें हमने नए डेटा से भरा। हमने टास्क को उनसे माँगे गए काम के प्रकार के अनुसार समूहों में रखा:
| काम का प्रकार | टास्क | उदाहरण टास्क |
|---|---|---|
| वेब ऐप वर्कफ़्लो | 15 | नीति के अनुरूप यात्रा बुक करें |
| कुछ साइटों पर खोज और तुलना | 8 | FRED से महँगाई की रिपोर्ट, जिसकी BLS से जाँच की गई हो |
| शोध और जानकारी का समेकन | 12 | Wikipedia की तालिका के स्रोतों का पता लगाएँ |
| X पर पोस्टों की अन्य स्रोतों से जाँच | 5 | X पर SpaceX की लॉन्च पोस्ट की Wikipedia से जाँच |
| 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | 32 | 12 केंद्रीय बैंकों के ब्याज-दर फ़ैसले |
हर टास्क केवल एक समूह में है। X पोस्ट जाँचने वाले 5 टास्क का अपना अलग समूह है, भले ही वे 8 खातों को कवर करते हों।
हर टास्क में 3 से 10 जाँचों के आधार पर अंक दिए जाते हैं। प्रयास तभी सफल होता है जब वह हर जाँच में सफल हो।
हर मॉडल कैसे काम करता है, यह समझने के लिए हमने दोनों मॉडलों के प्रयासों के सत्र लॉग पढ़े। हम किसी ब्राउज़र कमांड को दो या अधिक टैब में काम करने वाला तब गिनते हैं, जब उस कमांड में मॉडल ने ego-browser को जो स्क्रिप्ट दी, उसने दो या अधिक टैब से जानकारी पढ़ी या उनमें कार्रवाई की।
सफलता दर सफल प्रयासों का अनुपात है। इस लेख में प्रति टास्क दिया गया हर आँकड़ा, जिसमें समय, लागत और टूल कॉल शामिल हैं, उस टास्क के दो प्रयासों का औसत है। समय किसी प्रयास के शुरू होने से अंतिम जवाब तक गिना जाता है या जवाब न मिलने पर उसके आखिरी स्टेप तक; इसमें हर मॉडल के API से जवाब मिलने का इंतज़ार भी शामिल है। हर प्रयास की लागत उसके टोकन उपयोग पर प्रदाता की दरें लागू करके निकाली जाती है। प्रति सफल प्रयास लागत के लिए सभी 144 प्रयासों की लागत को सफल प्रयासों की संख्या से भाग दिया जाता है। समय और लागत की तुलना के लिए हम वे 29 टास्क लेते हैं जहाँ दोनों मॉडल हर प्रयास में सफल हुए, जब तक वाक्य में कुछ और न कहा गया हो।
नीचे परिणाम कॉलम में “समान सफलता, कम लागत” का मतलब है कि DeepSeek V4.1 Flash उतनी ही बार सफल हुआ जितनी बार GPT-6.1 Sol, उसने अधिकतम 10% ज़्यादा समय लिया और उसकी लागत दूसरे मॉडल की लागत की एक-तिहाई से कम रही। “समान सफलता, अधिक समय” का मतलब है कि दोनों मॉडल बराबर बार सफल हुए, लेकिन टास्क ने समय और लागत की ये शर्तें पूरी नहीं कीं।
पूरे परिणाम
हर सेल में 2 में से सफल प्रयासों की संख्या, फिर प्रति टास्क समय और प्रति टास्क लागत दिखाई गई है। समय और लागत टास्क के दो प्रयासों के औसत हैं, और समय में हर मॉडल के API से जवाब मिलने का इंतज़ार शामिल है।
| टास्क | काम का प्रकार | परिणाम | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| बिना मिलान वाले कार्ड शुल्क खर्च रिपोर्ट में जोड़ें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| लॉकबॉक्स भुगतान लागू करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| यात्रा खर्च रिपोर्ट मंज़ूर करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| नीति के अनुरूप यात्रा बुक करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| सेवा मॉनिटर को एक मानक के अनुरूप करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| वाहकों के समयपालन की समीक्षा और अलर्ट नियम | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| दैनिक भोजन भत्ते का दावा करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| दैनिक माइलेज का दावा करें | वेब ऐप वर्कफ़्लो | समान सफलता, अधिक समय | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| छुट्टी के दौरान ऑन-कॉल शिफ़्ट की कवरेज करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| पुनः ऑर्डर बिंदुओं से खरीद आदेश बनाएँ | वेब ऐप वर्कफ़्लो | समान सफलता, अधिक समय | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| क्षतिग्रस्त ऑर्डर के रिटर्न दर्ज करें | वेब ऐप वर्कफ़्लो | समान सफलता, अधिक समय | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| एरर बजट के आधार पर डिप्लॉय रोकें या फिर चालू करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| इनवॉइस का भुगतान से मिलान करें, विवाद खोलें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| रोक की अवधि में हुई रिलीज़ वापस करें | वेब ऐप वर्कफ़्लो | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| घटना का पोस्टमॉर्टम लिखकर जमा करें | वेब ऐप वर्कफ़्लो | समान सफलता, कम लागत | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| उड़ान खोज साइट पर सबसे सस्ते नॉनस्टॉप किराये | कुछ साइटों पर खोज और तुलना | समान सफलता, अधिक समय | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| तीन Mac लैपटॉप की तुलना करें | कुछ साइटों पर खोज और तुलना | समान सफलता, अधिक समय | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| FRED से महँगाई की रिपोर्ट, जिसकी BLS से जाँच की गई हो | कुछ साइटों पर खोज और तुलना | समान सफलता, कम लागत | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| चार ब्रिटिश कंपनियों का KYC स्नैपशॉट | कुछ साइटों पर खोज और तुलना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| क्लिनिकल ट्रायल का दवा की जानकारी वाले दस्तावेज़ों से मिलान करें | कुछ साइटों पर खोज और तुलना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| छह फ़िल्मों की बॉक्स ऑफ़िस कमाई का मिलान करें | कुछ साइटों पर खोज और तुलना | समान सफलता, अधिक समय | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| एक व्याख्यान, कोड और शोधपत्र से अध्ययन नोट्स | कुछ साइटों पर खोज और तुलना | समान सफलता, कम लागत | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| MDN और Can I use पर वेब सुविधाएँ | कुछ साइटों पर खोज और तुलना | समान सफलता, अधिक समय | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Wayback स्नैपशॉट से API कीमतें | शोध और जानकारी का समेकन | DeepSeek V4.1 Flash के अधिक प्रयास सफल हुए | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| ARC Prize लीडरबोर्ड चार्ट | शोध और जानकारी का समेकन | समान सफलता, अधिक समय | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| साप्ताहिक AI सारांश की 10 बातों की जाँच करें | शोध और जानकारी का समेकन | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| मासिक बिल के लिए पाँच चीनी मॉडल API की तुलना करें | शोध और जानकारी का समेकन | समान सफलता, अधिक समय | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| EU AI Act के तहत 8 फ़्रंटियर मॉडलों की जानकारी के खुलासे का ऑडिट | शोध और जानकारी का समेकन | दोनों में से कोई सफल नहीं हुआ | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| छह चेंजलॉग से सितंबर में हुए API मॉडल लॉन्च की सूची बनाएँ | शोध और जानकारी का समेकन | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| EU की गणना-परिमाण सीमाओं से ऊपर के मॉडल | शोध और जानकारी का समेकन | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| GLM 5.3 के लिए OpenRouter एंडपॉइंट चुनें | शोध और जानकारी का समेकन | समान सफलता, अधिक समय | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| छह आवश्यकताओं के अनुसार जर्मन बीमा दावों के लिए मॉडल चुनें | शोध और जानकारी का समेकन | DeepSeek V4.1 Flash के अधिक प्रयास सफल हुए | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| कीमतों वाले 6 पेजों से सपोर्ट टिकट के वर्कलोड की लागत निकालें | शोध और जानकारी का समेकन | समान सफलता, अधिक समय | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| LiveBench की एक रिलीज़ पढ़ें | शोध और जानकारी का समेकन | DeepSeek V4.1 Flash के अधिक प्रयास सफल हुए | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Wikipedia की तालिका के स्रोतों का पता लगाएँ | शोध और जानकारी का समेकन | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| क्लबों के 8 अनुबंध: X पर पोस्टों का क्लबों की साइटों से मिलान | X पर पोस्टों की अन्य स्रोतों से जाँच | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 8 उत्पाद लॉन्च: X पोस्ट की प्रेस विज्ञप्तियों से जाँच | X पर पोस्टों की अन्य स्रोतों से जाँच | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| 8 विश्वविद्यालयों की X पर नोबेल संबंधी पोस्ट | X पर पोस्टों की अन्य स्रोतों से जाँच | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| 8 ओपन-सोर्स प्रोजेक्ट की सुरक्षा रिलीज़: X पर पोस्टों का सुरक्षा सलाह से मिलान | X पर पोस्टों की अन्य स्रोतों से जाँच | समान सफलता, अधिक समय | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| X पर SpaceX की लॉन्च पोस्ट की Wikipedia से जाँच | X पर पोस्टों की अन्य स्रोतों से जाँच | समान सफलता, अधिक समय | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| 11 मौसम एजेंसियों के 2025 के जलवायु बयान | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| 8 हवाई अड्डों पर 2025 का ट्रैफ़िक | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| 9 लीग के 2025-26 चैंपियन | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| ब्रांडों की 8 साइटों से 8 कैमरे | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 डेवलपर सर्वेक्षण | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 इलेक्ट्रिक SUV | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 ओपन-वेट मॉडल | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| 9 SaaS विक्रेताओं का अनुपालन | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| 9 मानकों के मौजूदा संस्करण | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| 9 ब्रांड के फ़्लैगशिप फ़ोन | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| 9 CI सेवाओं के मुफ़्त प्लान | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| 9 सर्वरलेस प्लेटफ़ॉर्म के मुफ़्त प्लान | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| 9 डेवलपर सम्मेलनों के मुख्य भाषण | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| 9 जगहों का नवीनतम चुनाव | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | दोनों में से कोई सफल नहीं हुआ | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| 9 लैंग्वेज रनटाइम की नवीनतम रिलीज़ | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| 9 डेस्कटॉप ब्राउज़र की नवीनतम स्थिर रिलीज़ | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| 9 फ़्रंटएंड फ़्रेमवर्क के नवीनतम स्थिर संस्करण | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | DeepSeek V4.1 Flash के अधिक प्रयास सफल हुए | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| 9 न्यायक्षेत्रों का न्यूनतम वेतन | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| 9 संगीत सेवाओं पर एक ही एल्बम | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| 10 स्रोतों में एक ही किताब के संस्करण | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | DeepSeek V4.1 Flash के अधिक प्रयास सफल हुए | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| 9 क्रैश-टेस्ट कार्यक्रमों में एक ही कार | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| 8 नियामकों के यहाँ एक ही दवा | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | दोनों में से कोई सफल नहीं हुआ | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| 9 एजेंसियों के अनुसार एक ही भूकंप | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| 8 रेटिंग बोर्ड में एक ही गेम | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| संग्रहालयों के 10 संग्रहों में एक ही प्रिंट | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| वितरणों के 9 सुरक्षा बुलेटिनों में एक sudo CVE | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, कम लागत | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| 9 राष्ट्रीय चार्ट में एक हफ़्ते का नंबर वन | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| 9 एजेंसियों से दूसरी तिमाही के GDP के प्रारंभिक अनुमान | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| 12 केंद्रीय बैंकों के ब्याज-दर फ़ैसले | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| विक्रेताओं के उत्पादों के 9 संस्करणों की सपोर्ट तिथियाँ | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | समान सफलता, अधिक समय | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| 9 पैकेज रजिस्ट्री में protobuf रनटाइम | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| 9 फ़िल्म समारोहों के सर्वोच्च पुरस्कार | 8 या अधिक साइटों से समान फ़ील्ड इकट्ठा करना | GPT-6.1 Sol के अधिक प्रयास सफल हुए | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
अपडेट लॉग: 9 नवंबर 2026; पहली बार 7 नवंबर 2026 के रन के साथ प्रकाशित, जिनमें हर मॉडल ने 72 टास्क पर प्रति टास्क दो प्रयास किए।


