हमने 66 ब्राउज़र टास्क पर Kimi K3.1 Pro और Kimi K3 की तुलना की

pi और ZenMux वाले हमारे सेटअप में, ज़्यादा टास्क पूरे करने के लिए हम Kimi K3 की जगह Kimi K3.1 Pro चुनेंगे। जिन 26 टास्क में दोनों मॉडल सफल रहे, उन पर उसका औसत समय कम था और अनुमानित औसत मॉडल लागत भी कम थी। Kimi K3.1 Pro बनाम Kimi K3 के इस परीक्षण में 66 टास्क गिने गए हैं। हर मॉडल ने ego-browser में हर टास्क एक बार चलाया, इसलिए प्रत्येक मॉडल के 66 प्रयास हैं। Kimi K3.1 Pro के 66 प्रयासों में 38 सफल रहे (57.6%), जबकि Kimi K3 के 27 (40.9%)। दोनों मॉडल जिन 26 टास्क में सफल रहे, उन पर Kimi K3.1 Pro को प्रति टास्क 400.6 सेकंड और $0.374 लगे, जबकि Kimi K3 को 586.1 सेकंड और $0.578।
दोनों मॉडलों में सबसे बड़ा अंतर यह था कि वे काम पूरा करते हैं या नहीं। Kimi K3 के 66 प्रयासों में 27 स्टेप सीमा तक पहुँचने से पहले ही बिना जवाब के समाप्त हो गए। इनमें से 26, "SUSE done. Now Amazon Linux." जैसी प्रगति बताने वाली टिप्पणी पर रुके। Kimi K3.1 Pro के साथ ऐसा 0 बार हुआ। जिन 35 टास्क में दोनों मॉडलों ने अंतिम जवाब दिया, उनमें Kimi K3.1 Pro 29 में और Kimi K3 27 में सफल रहे।
Kimi K3.1 Pro की कमज़ोरी वे लंबी तालिकाएँ हैं जिन्हें अब वह पूरा कर देता है। 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने वाले टास्क में उसके 26 प्रयासों में 7 सफल रहे, जबकि Kimi K3 के 2। Kimi K3.1 Pro के 24 गलत जवाबों में सत्रह इन्हीं टास्क की तालिकाएँ थीं, इसलिए इस्तेमाल से पहले हम उसकी तालिकाएँ जाँचेंगे। खुले दायरे वाले शोध में दोनों मॉडल 12 में से 6 टास्क में सफल रहे; दोनों के सफल रहे पाँच टास्क में Kimi K3.1 Pro तेज़ और कम खर्चीला रहा।
अनुमानित मॉडल लागत कम होने की वजह Kimi K3.1 Pro की कम सूचीबद्ध दरें हैं। Moonshot हर तरह के टोकन के लिए इसकी कीमत Kimi K3 की दो-तिहाई रखता है। सभी 66 टास्क पर इसकी लागत प्रति टास्क $0.772 रही, जबकि दूसरे मॉडल की $0.871, हालाँकि जिन प्रयासों में Kimi K3 रुक चुका था और यह आगे काम करता रहा, उनमें इसने ज़्यादा टोकन इस्तेमाल किए।
सफलता दर
Kimi K3.1 Pro ज़्यादा टास्क में सफल रहा। वह ऐसे 12 टास्क में सफल रहा जिनमें Kimi K3 विफल था, और 1 ऐसे टास्क में विफल रहा जिसमें Kimi K3 सफल था। इन 12 अतिरिक्त सफलताओं में से 9 में Kimi K3 बिना जवाब दिए समाप्त हो गया था और बाकी 3 में उसने गलत जवाब दिया था। इन 12 अतिरिक्त सफलताओं में पाँच ऐसे टास्क थे जिनमें 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने थे।
हर तरह के काम में Kimi K3.1 Pro के सफल प्रयासों की संख्या कम से कम Kimi K3 जितनी रही। केवल खुले दायरे वाले शोध में दोनों बराबर रहे।
| काम का प्रकार | टास्क | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | 26 | 26.9% (26 में से 7) | 7.7% (26 में से 2) |
| वेब ऐप के भीतर काम | 15 | 100% (15 में से 15) | 86.7% (15 में से 13) |
| खुले दायरे वाला शोध | 12 | 50.0% (12 में से 6) | 50.0% (12 में से 6) |
| एक से तीन वेबसाइटों पर जानकारी का मिलान | 8 | 100% (8 में से 8) | 62.5% (8 में से 5) |
| X पोस्ट | 5 | 40.0% (5 में से 2) | 20.0% (5 में से 1) |
| सभी टास्क | 66 | 57.6% (66 में से 38) | 40.9% (66 में से 27) |
सफलता दर की गणना में सफल प्रयासों की संख्या गिनी जाती है। डेटा 3 नवंबर 2026 के रन से है। इन काम के प्रकारों में किसी में भी Kimi K3 के सफल प्रयास Kimi K3.1 Pro से ज़्यादा नहीं थे।
Kimi K3 के रन अक्सर काम के बीच में ही समाप्त हो जाते थे। हमने जिस pi एजेंट का इस्तेमाल किया, उसमें मॉडल टूल कॉल के ज़रिए काम करता है, जिनमें अधिकतर ego-browser स्क्रिप्ट होती हैं। बिना टूल कॉल वाला जवाब रन समाप्त कर देता है। Kimi K3 ऐसे जवाब देता था जिनमें अगला कदम बताया गया होता था, पर उठाया नहीं जाता था, जैसे "Google done. Now Cloudflare Workers Free." उसके 66 प्रयासों में ऐसा 26 बार हुआ। इनमें से 16, ऐसे 26 टास्क में थे जिनमें 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने होते हैं। ये सभी 26 जवाब मॉडल के सामान्य स्टॉप संकेत पर समाप्त हुए, लंबाई सीमा के कारण कटे नहीं थे। Kimi K3.1 Pro के 0 प्रयास इस तरह समाप्त हुए।
हमारा सर्वरलेस टास्क यह अंतर दिखाता है। इसमें AWS Lambda से Oracle OCI Functions तक नौ सर्वरलेस प्लेटफ़ॉर्मों की मुफ़्त योजनाओं की पाँच सीमाएँ पूछी जाती हैं। Kimi K3 ने AWS, Azure और Google के पेज पढ़े, फिर 11 टूल कॉल के बाद "Google done. Now Cloudflare Workers Free." कहकर रुक गया। Kimi K3.1 Pro ने आगे बढ़कर Cloudflare का Workers मूल्य निर्धारण पेज खोला, 58 टूल कॉल में सभी नौ प्लेटफ़ॉर्म पर काम पूरा किया और टास्क में सफल रहा।

बाकी 3 अतिरिक्त सफलताएँ उन टास्क में थीं जहाँ Kimi K3 ने गलत अंतिम जवाब दिया था। हमारा GDP टास्क नौ सांख्यिकी एजेंसियों से दूसरी तिमाही की वृद्धि के शुरुआती और नवीनतम अनुमान माँगता है, वार्षिक दर में बदले बिना। दोनों मॉडलों ने अमेरिकी Bureau of Economic Analysis का अग्रिम अनुमान खोला, यानी उसका पहला अनुमान। Kimi K3 ने ऐसी स्क्रिप्ट लिखी जो पेज के पाठ के सिर्फ़ पहले 2,500 अक्षर रखती थी और अमेरिकी वृद्धि के दोनों तिमाही आँकड़ों के लिए "not shown" लिखा। Kimi K3.1 Pro ने पूरी विज्ञप्ति प्रिंट की और उसकी Technical Notes में "0.4 percent at a quarterly rate" पढ़ा। उसी तरीके से उसे BEA के 30 सितंबर 2026 को जारी नवीनतम अनुमान में 0.6 प्रतिशत मिला और उसने अमेरिका के दोनों सेल भर दिए।

दोनों मॉडल अलग-अलग तरीकों से भी विफल होते हैं। हर प्रयास को अधिकतम 100 स्टेप मिलते हैं। एक स्टेप, मॉडल को भेजा गया एक अनुरोध और उसका जवाब है। Kimi K3 के 39 विफल प्रयासों में 27 स्टेप सीमा से पहले बिना जवाब समाप्त हुए, 4 स्टेप सीमा तक पहुँचे और 8 में गलत जवाब मिला। Kimi K3.1 Pro के 28 विफल प्रयासों में 24 में गलत जवाब मिला और 4 स्टेप सीमा तक पहुँचे। उन 24 गलत जवाबों में अठारह ऐसे टास्क से थे जहाँ Kimi K3 ने कोई अंतिम जवाब दिया ही नहीं था। हम मॉडल बदलेंगे, साथ ही उन टास्क पर Kimi K3.1 Pro के अब मिलने वाले जवाब जाँचेंगे जहाँ Kimi K3 का रन बिना अंतिम जवाब के समाप्त हो गया था।
Kimi K3.1 Pro अब भी कहाँ गलती करता है
Kimi K3.1 Pro लंबी तालिकाएँ पूरी कर देता है, लेकिन हर सेल हमेशा सही नहीं होता। इसलिए हम उसकी तालिकाओं को जाँच की ज़रूरत वाले मसौदे मानेंगे। 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने वाले टास्क में उसके 26 प्रयासों में 7 सफल रहे। उसके 24 गलत जवाबों में सत्रह इन्हीं टास्क से थे। हर जवाब में एक पूरी तालिका थी जिसमें कम से कम एक मान या सारांश की पंक्ति गलत थी।
उदाहरण के लिए, केंद्रीय बैंकों वाले टास्क में गलती सारांश में थी। टास्क बारह केंद्रीय बैंकों के 2026 के पहले ब्याज दर निर्णय और सबसे अंत में घोषणा करने वाले बैंक के बारे में पूछता है। Kimi K3.1 Pro ने स्विस नेशनल बैंक की 19 मार्च 2026 की विज्ञप्ति खोली और अपनी तालिका में वह तारीख लिखी। फिर भी सारांश में उसने 6 फ़रवरी को घोषणा करने वाले भारतीय रिज़र्व बैंक को सबसे अंत में घोषणा करने वाला बैंक बताया।
| टास्क में क्या पूछा गया | सही जवाब | Kimi K3.1 Pro का जवाब |
|---|---|---|
| 2026 का अपना पहला निर्णय सबसे अंत में घोषित करने वाला बैंक | स्विस नेशनल बैंक, 2026-03-19 | भारतीय रिज़र्व बैंक, 2026-02-06 |
इसी टास्क में Kimi K3 ने स्विस नेशनल बैंक का सही नाम बताया, लेकिन दूसरी जानकारी सही नहीं दे पाया और वह भी विफल रहा।

Kimi K3.1 Pro की तालिका इस्तेमाल करने से पहले उसके सारांश की पंक्तियों का उसी तालिका की पंक्तियों से मिलान करें, और कुछ सेल का नमूना लेकर मूल स्रोतों से जाँचें। Kimi K3 ऐसे 26 टास्क में से 2 में सफल रहा।
गति
एक ही काम पर Kimi K3.1 Pro तेज़ है; वह कम लिखता है और कम टूल कॉल करता है। दोनों मॉडल जिन 26 टास्क में सफल रहे, उन पर उसका औसत समय प्रति टास्क 400.6 सेकंड रहा, जबकि दूसरे मॉडल का 586.1। वह 26 में से 21 में तेज़ रहा। बाकी 5 में Kimi K3 तेज़ था।
| उन 26 टास्क पर जिनमें दोनों मॉडल सफल रहे | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| प्रति टास्क समय | 400.6 s | 586.1 s |
| प्रति टास्क टूल कॉल | 25.8 | 33.5 |
| प्रति टास्क आउटपुट टोकन, रीजनिंग सहित | 6,997 | 10,727 |
प्रति टास्क औसत, 3 नवंबर 2026 के रन से।
जब किसी व्यक्ति को एजेंट के नतीजे का इंतज़ार हो, तो कम प्रतीक्षा को हम वास्तविक लाभ मानेंगे।
लागत
Kimi K3.1 Pro की प्रति टास्क लागत कम है, और यह बचत उसकी कम सूचीबद्ध दरों से आती है। सभी 66 टास्क पर इसकी लागत प्रति टास्क $0.772 रही, जबकि Kimi K3 की $0.871। विफल प्रयासों की लागत भी जोड़ने पर प्रति सफल प्रयास लागत $1.340 रही, जबकि दूसरे मॉडल की $2.130। दोनों मॉडल जिन 26 टास्क में सफल रहे, उन पर इसकी प्रति टास्क लागत $0.374 थी, जबकि दूसरे की $0.578, और इनमें से 24 में यह कम खर्चीला था।
Moonshot की मूल्य सूची के अनुसार, Kimi K3.1 Pro के प्रति दस लाख टोकन की दरें हैं: इनपुट के लिए $2.00, कैश किए गए इनपुट के लिए $0.20, कैश राइट के लिए $2.00 और आउटपुट के लिए $10.00। Kimi K3 की सूचीबद्ध दरें क्रमशः $3.00, $0.30, $3.00 और $15.00 हैं। यानी हर तरह के टोकन के लिए नए मॉडल की दर पुराने मॉडल की दर की दो-तिहाई है।
| प्रति टास्क लागत | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| सभी 66 टास्क | $0.772 | $0.871 |
| सभी 66 टास्क, Kimi K3.1 Pro के टोकन की लागत Kimi K3 की दरों पर | $1.158 | $0.871 |
| वे 26 टास्क जिनमें दोनों मॉडल सफल रहे | $0.374 | $0.578 |
| वे 26 टास्क जिनमें दोनों मॉडल सफल रहे, Kimi K3.1 Pro के टोकन की लागत Kimi K3 की दरों पर | $0.561 | $0.578 |
| प्रति सफल प्रयास, सभी 66 टास्क की लागत शामिल | $1.340 | $2.130 |
3 नवंबर 2026 के रन में हर प्रयास के टोकन उपयोग के आधार पर, Moonshot की सूचीबद्ध दरों से निकाली गई लागत।
एक ही काम पर, समान दरें लगाने से दोनों मॉडलों के टोकन की लागत लगभग बराबर है। Kimi K3 की दरों पर, साझा 26 टास्क में Kimi K3.1 Pro के टोकन की लागत $0.561 बनती है, जबकि दूसरे मॉडल की $0.578। सभी 66 टास्क पर यह $1.158 बनती है, जबकि दूसरे की $0.871, क्योंकि जिन रन में Kimi K3 रुक गया, उनमें Kimi K3.1 Pro काम करता रहा। हम बजट टोकन की कीमत के बजाय प्रति टास्क लागत के आधार पर बनाएँगे, क्योंकि जो मॉडल ज़्यादा रन पूरे करता है, वह उन्हें पूरा करने में टोकन भी खर्च करता है।
खुले दायरे वाला शोध
खुले दायरे वाले शोध में Kimi K3.1 Pro पर जाने से गति और लागत में लाभ मिलता है, लेकिन सफलताओं की संख्या नहीं बढ़ती। इन 12 टास्क में एक लक्ष्य और कुछ शुरुआती स्रोत दिए जाते हैं, और रास्ता एजेंट चुनता है। दोनों मॉडल 12 में से 6 में सफल रहे। Kimi K3.1 Pro को एक अतिरिक्त सफलता मिली और एक सफलता कम हुई। दोनों के सफल रहे 5 टास्क पर उसे प्रति टास्क 354.9 सेकंड और $0.399 लगे, जबकि दूसरे मॉडल को 795.0 सेकंड और $0.901। इन सभी 5 में नया मॉडल तेज़ था।
जिस टास्क में नया मॉडल पीछे रहा, उससे पता चलता है कि कहाँ ध्यान देना चाहिए। Azure टास्क पूछता है कि सात संभावित मॉडलों में से कौन-से Azure के Germany West Central क्षेत्र में छह शर्तें पूरी करते हुए चल सकते हैं, और बाकी प्रत्येक मॉडल क्यों अनुपयुक्त है। दोनों मॉडलों ने GPT-6 Luna चुना। Kimi K3 ने पार्टनर मॉडल के बारे में Azure का पेज भी खोला और Claude Sonnet 5.5 के अनुपयुक्त होने की वजह उद्धृत की: उसका Data Zone Standard डिप्लॉयमेंट केवल अमेरिका में उपलब्ध था।

Kimi K3.1 Pro ने Azure द्वारा सीधे बेचे जाने वाले मॉडलों की तालिका के आधार पर Claude को बाहर कर दिया और वह पेज खोला ही नहीं। वजह के लिए उसने "not shown" लिखा। उसने 15 ब्राउज़र कमांड चलाए, जबकि Kimi K3 ने 22। कोई भी मॉडल इस्तेमाल करें, एजेंट जिन विकल्पों को बाहर करता है, हम हर विकल्प के लिए दिया गया कारण जाँचेंगे।
कौन सा मॉडल चुनें
परीक्षण किए गए pi 1.5.0, ZenMux और ego-browser सेटअप में हम Kimi K3.1 Pro चुनेंगे। उसके 66 प्रयासों में 38 सफल रहे, जबकि Kimi K3 के 27। दोनों के सफल रहे 26 टास्क पर वह तेज़ और कम खर्चीला रहा। हमने जिस भी तरह का काम जाँचा, किसी में भी Kimi K3 के सफल प्रयास ज़्यादा नहीं थे।
परीक्षण में इस्तेमाल हुए वेब ऐप और एक से तीन वेबसाइटों पर मिलान वाले टास्क के लिए हम Kimi K3.1 Pro चुनेंगे: Kimi K3.1 Pro सभी 15 वेब ऐप टास्क और सभी 8 मिलान वाले टास्क में सफल रहा। यहाँ Kimi K3 की 5 विफलताओं में चार ऐसे रन थे जो बिना जवाब समाप्त हुए। इस pi सेटअप में इसी तरह के कई वेबसाइटों वाले टास्क के लिए भी हम Kimi K3.1 Pro चुनेंगे, क्योंकि Kimi K3.1 Pro 26 में से 7 में सफल रहा और Kimi K3 2 में। इन तालिकाओं को इस्तेमाल से पहले जाँचें। जिन पाँच खुले दायरे वाले शोध टास्क में दोनों मॉडल सफल रहे, उन पर Kimi K3.1 Pro का औसत समय कम था और अनुमानित औसत खर्च भी कम था; कुल सफलताओं की संख्या बराबर रही।
हमारे सेटअप में pi एजेंट के भीतर Kimi K3.1 Pro को moonshotai/kimi-k3.1-pro के रूप में ZenMux से जोड़ा गया था। इसमें रीज़निंग प्रयास का स्तर ऊँचा रखा गया था और pi का bash टूल तथा ego-browser स्किल फ़ाइल इस्तेमाल की गई थी। ego-browser और ego(lite) साथ उपलब्ध कराए जाते हैं। एजेंट इसी टूल के ज़रिए ego(lite) को अपने ब्राउज़र के रूप में चलाता है।
इस तुलना में ego(lite) की भूमिका
ego(lite) ने वह ब्राउज़र दिया जिसे ego-browser चलाता था। pi ने एजेंट लूप और ZenMux ने दोनों मॉडलों तक पहुँच उपलब्ध कराई। ego-browser इंटीग्रेशन गाइड बताती है कि वह ब्राउज़र किसी एजेंट से कैसे जुड़ता है।
मॉडल चुनते समय pi का रोकने वाला नियम भी महत्त्वपूर्ण है: बिना टूल कॉल वाला जवाब प्रयास समाप्त कर देता है। टास्क पूरे होने की इस तुलना को मिलते-जुलते काम पर लागू करते समय यह नियम ध्यान में रखें। समय और मॉडल लागत के औसत उन्हीं छब्बीस टास्क के हैं जिनमें दोनों मॉडल सफल रहे, सभी टास्क के नहीं; न ही वे किसी दूसरे एजेंट के अलग रोकने वाले व्यवहार को दर्शाते हैं।
अक्सर पूछे जाने वाले सवाल
क्या ब्राउज़र एजेंट के लिए Kimi K3.1 Pro, Kimi K3 से बेहतर है?
हाँ, ego-browser में किए गए हमारे 66 टास्क के परीक्षण में। Kimi K3.1 Pro के 66 प्रयासों में 38 सफल रहे (57.6%), जबकि Kimi K3 के 27 (40.9%)। वह उन 12 टास्क में सफल रहा जिनमें Kimi K3 विफल था, और 1 ऐसे टास्क में विफल रहा जिसमें Kimi K3 सफल था।
क्या Kimi K3.1 Pro, Kimi K3 से सस्ता है?
हाँ, प्रति टास्क के हिसाब से। हमारे 66 ब्राउज़र टास्क में Kimi K3.1 Pro की प्रति टास्क लागत $0.772 और Kimi K3 की $0.871 रही। प्रति सफल प्रयास अंतर और बड़ा है: $1.340 बनाम $2.130।
क्या Kimi K3.1 Pro, Kimi K3 से तेज़ है?
हाँ, उस काम पर जो दोनों मॉडलों ने पूरा किया। जिन 26 ब्राउज़र टास्क में दोनों मॉडल सफल रहे, उन पर Kimi K3.1 Pro को प्रति टास्क 400.6 सेकंड और Kimi K3 को 586.1 लगे। नए मॉडल के प्रति टास्क टूल कॉल की औसत संख्या 25.8 थी, जबकि दूसरे मॉडल के 33.5; आउटपुट टोकन 6,997 थे, जबकि दूसरे के 10,727।
प्रति दस लाख टोकन के लिए Kimi K3.1 Pro की कीमत क्या है?
Moonshot की सूची में Kimi K3.1 Pro की प्रति दस लाख टोकन दरें हैं: इनपुट के लिए $2.00, कैश इनपुट के लिए $0.20, कैश राइट के लिए $2.00 और आउटपुट के लिए $10.00। Kimi K3 की सूचीबद्ध दरें $3.00, $0.30, $3.00 और $15.00 हैं। इसलिए हर तरह के टोकन के लिए नए मॉडल की दर पुराने मॉडल की दर की दो-तिहाई है।
Kimi K3 ब्राउज़र टास्क के बीच में क्यों रुक जाता है?
Kimi K3 के 66 प्रयासों में 26 ऐसे जवाबों पर समाप्त हुए जिनमें अगला कदम बताया गया था, लेकिन कोई टूल कॉल नहीं थी। pi एजेंट में इससे रन समाप्त हो जाता है। उसके आख़िरी शब्द "SUSE done. Now Amazon Linux." जैसी टिप्पणियाँ थीं। इन 26 में सोलह ऐसे टास्क थे जिनमें 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने थे। Kimi K3.1 Pro के साथ ऐसा 0 बार हुआ।
Kimi K3.1 Pro से किन ब्राउज़र टास्क में सबसे ज़्यादा सुधार हुआ?
Kimi K3.1 Pro को सबसे अधिक, 5 अतिरिक्त सफलताएँ उन टास्क में मिलीं जिनमें 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने थे। इस श्रेणी में उसने कोई सफलता नहीं खोई। उसकी अतिरिक्त सफलताओं में एक से तीन वेबसाइटों पर मिलान वाले 3 टास्क, वेब ऐप के भीतर वाले 2 टास्क, खुले दायरे वाले शोध का 1 टास्क और X पोस्ट का 1 टास्क भी शामिल हैं।
क्या किसी ब्राउज़र टास्क में Kimi K3.1 Pro का प्रदर्शन खराब हुआ?
66 में से 1 टास्क में। वजह बताने वाला पेज खोले बिना ही एक संभावित मॉडल को बाहर कर देने के कारण नया मॉडल Azure मॉडल चयन के एक टास्क में विफल रहा, जबकि Kimi K3 उसी टास्क में सफल था। नया मॉडल उन 12 टास्क में सफल रहा जिनमें Kimi K3 विफल था।
ब्राउज़र में Kimi K3.1 Pro अब भी क्या गलत करता है?
मुख्यतः लंबी तालिकाओं के मान: उसके 24 गलत जवाबों में 17 ऐसे टास्क से थे जिनमें 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड इकट्ठा करने थे। एक टास्क में उसकी अपनी तालिका में सही तारीख थी, फिर भी सारांश में गलत बैंक का नाम दिया गया। वह 4 प्रयासों में 100 स्टेप की सीमा तक भी पहुँचा, Kimi K3 जितनी ही बार।
वेब ऐप ऑटोमेशन में Kimi K3.1 Pro का प्रदर्शन कैसा है?
Kimi K3.1 Pro वेब ऐप के भीतर हमारे सभी 15 टास्क में सफल रहा, और Kimi K3 13 में। ये टास्क संचालन, यात्रा खर्च और क्लाउड कंसोल वाले हमारे परीक्षण ऐपों में चलते हैं। हर प्रयास के लिए नया डेटा होता है। जिन 13 टास्क में दोनों मॉडल सफल रहे, उन पर नए मॉडल को प्रति टास्क 327.0 सेकंड और $0.240 लगे, जबकि दूसरे मॉडल को 454.7 सेकंड और $0.383।
क्या मुझे अपने ब्राउज़र एजेंट में Kimi K3 की जगह Kimi K3.1 Pro इस्तेमाल करना चाहिए?
परीक्षण किए गए pi और ZenMux सेटअप में, हाँ। Kimi K3.1 Pro के 66 प्रयासों में 38 सफल रहे, जबकि दूसरे मॉडल के 27। जिन 26 टास्क में दोनों मॉडल सफल रहे, उन पर नए मॉडल का औसत समय कम था और अनुमानित औसत खर्च भी कम था। 8 या अधिक वेबसाइटों से इकट्ठा की गई तालिकाओं के लिए जाँच का चरण रखें, क्योंकि उसके 24 गलत जवाबों में 17 इन्हीं टास्क से थे।
हमने परीक्षण कैसे किया
हमने 3 नवंबर 2026 को macOS 26.5 वाले एक ही Apple silicon Mac पर दोनों मॉडल चलाए। दोनों ने एक ही एजेंट pi 1.5.0, ब्राउज़र टूल के रूप में ego-browser, एक ही ego-browser स्किल फ़ाइल और ego(lite) तथा ego-browser के समान संस्करण इस्तेमाल किए। मॉडल Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) और Kimi K3 (moonshotai/kimi-k3) थे। दोनों के लिए रीज़निंग प्रयास का स्तर ऊँचा रखा गया था और दोनों तक एक ही API प्रदाता ZenMux के ज़रिए पहुँच मिली।
मॉडल छोटे JavaScript प्रोग्राम लिखकर ego-browser चलाता है। ये पेज लोड करते हैं, क्लिक करते हैं, फ़ॉर्म भरते हैं और पेज का पाठ या ऐक्सेसिबिलिटी स्नैपशॉट प्रिंट करते हैं। हर प्रयास अधिकतम 100 स्टेप और अधिकतम 60 मिनट ले सकता था। एक स्टेप मॉडल का एक टर्न है, यानी मॉडल को भेजा गया एक अनुरोध और उसका जवाब। टास्क मॉडल को FINAL ANSWER से शुरू होने वाले संदेश के साथ समाप्त करने को कहता है।
हम 66 टास्क गिनते हैं और हर टास्क ठीक एक काम के प्रकार में आता है। “8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड” (26 टास्क) में 8 या अधिक वेबसाइटों से फ़ील्ड का एक सेट इकट्ठा किया जाता है, जैसे नौ सांख्यिकी एजेंसियों की GDP विज्ञप्तियाँ। “वेब ऐप के भीतर काम” (15) संचालन, यात्रा खर्च और क्लाउड कंसोल वाले परीक्षण ऐपों में होता है, जैसे किसी परिवहन कंपनी के अलर्ट नियम ठीक करना। “खुले दायरे वाला शोध” (12) एक लक्ष्य और कुछ स्रोत देता है, जैसे Azure के किसी एक क्षेत्र में उपलब्ध मॉडल चुनना। “एक से तीन वेबसाइटों पर जानकारी का मिलान” (8) कुछ वेबसाइटों के आँकड़े मिलाता है, जैसे क्लिनिकल ट्रायल रिकॉर्ड का दवा-लेबल दस्तावेज़ों से मिलान। “X पोस्ट” (5) में X की पोस्ट का दूसरे रिकॉर्ड से मिलान होता है, जैसे SpaceX के लॉन्च से संबंधित पोस्ट का Wikipedia की लॉन्च सूचियों से मिलान; इन्हें केवल X पोस्ट की श्रेणी में गिना जाता है।
हर टास्क में अंक देने वाले जाँच बिंदुओं की सूची है। 66 टास्क में कुल 443 बिंदु हैं। हर टास्क का एक बिंदु जाँचता है कि अंतिम जवाब में माँगे गए सभी मान हैं या नहीं। बाकी 377 बिंदु माँगे गए मानों को अलग-अलग जाँचते हैं: 309 आधिकारिक वेबसाइटों से पहले तय किए गए हैं, 49 उस डेटा से हैं जो परीक्षण ऐप हर प्रयास के लिए बनाते हैं, और 19 को वर्तमान पेज से जाँचा जाता है। कोई प्रयास तभी सफल होता है जब उसका अंतिम जवाब हर बिंदु पूरा करे। दोनों मॉडलों का मूल्यांकन समान बिंदुओं से हुआ।
टास्क का मतलब गिने गए 66 टास्क में से एक है। प्रयास का मतलब एक मॉडल का एक टास्क को एक बार चलाना है, इसलिए हर मॉडल के 66 प्रयास हैं। सफलता दर 66 में से सफल प्रयासों की संख्या है। पूरे परिणामों में छह अतिरिक्त टास्क “गणना में शामिल नहीं” के रूप में हैं। हर एक में किसी एक मॉडल का मूल प्रयास लक्षित दोबारा रन से बदला गया था या वैध संग्रहित पहला प्रयास उपलब्ध नहीं था। हम दोनों मॉडलों के लिए वही छह टास्क बाहर रखते हैं। एक टूल कॉल मॉडल द्वारा चलाई गई एक कमांड है। इनमें अधिकतर ego-browser स्क्रिप्ट होती हैं; बाकी शेल या फ़ाइल कमांड होती हैं, जैसे सहेजे गए पेज के पाठ में खोजना। एक ब्राउज़र कमांड एक ego-browser स्क्रिप्ट है। स्क्रीनशॉट के कैप्शन में ब्राउज़र कमांड गिने जाते हैं।
प्रति टास्क समय, प्रयास शुरू होने से समाप्त होने तक का बीता समय है। इसमें रीजनिंग सहित मॉडल API की प्रतीक्षा और मॉडल के टूल कॉल चलाने का समय आता है। गति की तुलना उन 26 टास्क पर की जाती है जिनमें दोनों मॉडल सफल रहे, क्योंकि विफल टास्क पर लगा समय तुलनीय नहीं है। लागत के अनुमान, हर प्रयास के रिकॉर्ड किए गए इनपुट, कैश इनपुट, कैश राइट और आउटपुट टोकन पर बताई गई Moonshot दरें लगाकर निकाले जाते हैं। ये ZenMux सदस्यता या बिलों के कुल योग नहीं हैं। प्रति सफल प्रयास लागत, सभी 66 प्रयासों की कुल लागत को सफल प्रयासों की संख्या से भाग देकर निकाली जाती है।
कोई प्रयास तब स्टेप सीमा तक पहुँचा माना जाता है जब उसने बिना अंतिम जवाब के सभी 100 स्टेप इस्तेमाल कर लिए। कोई प्रयास तब प्रगति बताने वाली टिप्पणी पर समाप्त हुआ माना जाता है जब स्टेप सीमा से पहले मॉडल के आख़िरी जवाब में पाठ था, लेकिन न कोई टूल कॉल थी और न FINAL ANSWER। गलत जवाब का अर्थ ऐसा अंतिम जवाब है जो मूल्यांकन में विफल रहा।
पूरे परिणाम
हर सेल उस टास्क पर मॉडल का परिणाम, प्रयास का समय सेकंड में और उसकी लागत देता है। परिणाम “सफल”, “गलत जवाब”, “कोई जवाब नहीं” (स्टेप सीमा से पहले बिना अंतिम जवाब के रन समाप्त होना) या “स्टेप सीमा” हो सकता है। समय में मॉडल API की प्रतीक्षा शामिल है। लक्षित प्रतिस्थापन रन के बाद छह “गणना में शामिल नहीं” टास्क के लिए तुलनीय पहले प्रयासों के रिकॉर्ड नहीं हैं। सभी छह दोनों मॉडलों के लिए बाहर हैं।
| टास्क | काम का प्रकार | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| ग्यारह मौसम सेवाओं से 2025 का जलवायु आकलन | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 633.7 सेकंड · $1.235 | स्टेप सीमा · 2010.1 सेकंड · $3.368 |
| आठ हब हवाई अड्डों के 2025 के यातायात आँकड़े | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| नौ फ़ुटबॉल लीग के 2025-26 सीज़न के आँकड़े | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| नौ फ़िल्म समारोहों के 2026 के शीर्ष पुरस्कार | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1399.6 सेकंड · $2.591 | कोई जवाब नहीं · 1306.1 सेकंड · $1.418 |
| Hugging Face पर उपलब्ध नौ ओपन-वेट मॉडलों की अनुमोदन तालिका | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 598.6 सेकंड · $0.716 | कोई जवाब नहीं · 1217.4 सेकंड · $1.284 |
| नौ SaaS ट्रस्ट सेंटरों का अनुपालन मैट्रिक्स | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 590.3 सेकंड · $0.637 | कोई जवाब नहीं · 1138.5 सेकंड · $0.844 |
| नौ परीक्षण कार्यक्रमों में एक SUV की क्रैश-टेस्ट रेटिंग | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1242.3 सेकंड · $1.312 | स्टेप सीमा · 1576.6 सेकंड · $1.765 |
| नौ तकनीकी मानकों के वर्तमान में लागू संस्करण | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 592.9 सेकंड · $0.658 | कोई जवाब नहीं · 320.4 सेकंड · $0.250 |
| बारह केंद्रीय बैंकों के 2026 के पहले ब्याज दर निर्णय | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 617.0 सेकंड · $1.023 | गलत जवाब · 1256.3 सेकंड · $1.986 |
| नौ एजेंसियों के Q2 2026 GDP के शुरुआती और नवीनतम आँकड़े | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 1001.2 सेकंड · $1.181 | गलत जवाब · 1294.2 सेकंड · $1.363 |
| नौ सेवाओं पर निजी रिपॉज़िटरी के लिए मुफ़्त CI योजनाएँ | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1033.5 सेकंड · $1.187 | कोई जवाब नहीं · 963.4 सेकंड · $1.068 |
| नौ सर्वरलेस प्लेटफ़ॉर्म की मुफ़्त योजनाएँ | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 924.5 सेकंड · $1.283 | कोई जवाब नहीं · 248.4 सेकंड · $0.173 |
| नौ संगीत सेवाएँ एक ही एल्बम को कैसे दिखाती हैं | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| नौ चुनाव प्राधिकरणों के नवीनतम चुनाव परिणाम | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | स्टेप सीमा · 1256.5 सेकंड · $2.222 | स्टेप सीमा · 1789.7 सेकंड · $2.389 |
| प्रोग्रामिंग भाषाओं के नौ रनटाइम की नवीनतम रिलीज़ शाखा | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 810.3 सेकंड · $1.106 | गलत जवाब · 1024.2 सेकंड · $1.171 |
| नौ JavaScript फ़्रेमवर्क के नवीनतम स्थिर संस्करण | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 515.4 सेकंड · $0.523 | सफल · 957.6 सेकंड · $0.722 |
| नौ डेस्कटॉप ब्राउज़रों के नवीनतम स्थिर संस्करण | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 471.8 सेकंड · $0.913 | कोई जवाब नहीं · 903.0 सेकंड · $0.765 |
| 2025 के कामचटका भूकंप पर नौ एजेंसियों की माप | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 789.4 सेकंड · $1.128 | कोई जवाब नहीं · 971.8 सेकंड · $1.335 |
| नौ फ़्लैगशिप फ़ोनों की ब्रिटेन के लिए आधिकारिक स्पेसिफ़िकेशन | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 564.8 सेकंड · $0.865 | कोई जवाब नहीं · 1331.7 सेकंड · $1.161 |
| आठ कैमरों की आधिकारिक स्पेसिफ़िकेशन | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 953.2 सेकंड · $1.521 | सफल · 1479.8 सेकंड · $1.730 |
| प्रकाशकों और पुस्तकालयों की दस वेबसाइटों पर एक किताब के संस्करणों का विवरण | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| आठ रेटिंग संस्थाओं में एक ही गेम की आयु रेटिंग | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1385.2 सेकंड · $1.905 | कोई जवाब नहीं · 1355.8 सेकंड · $1.592 |
| विक्रेताओं के नौ सुरक्षा परामर्शों में एक ही sudo CVE के सुधार की स्थिति | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 539.4 सेकंड · $0.521 | कोई जवाब नहीं · 158.9 सेकंड · $0.133 |
| नौ राष्ट्रीय चार्टों में एक ही सप्ताह के नंबर-वन सिंगल | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| नौ डेवलपर सम्मेलनों के शुरुआती मुख्य संबोधन | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1198.7 सेकंड · $1.457 | कोई जवाब नहीं · 1450.3 सेकंड · $1.485 |
| नौ पैकेज रजिस्ट्रियों पर Protocol Buffers के रिलीज़ संस्करण | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 472.9 सेकंड · $0.732 | कोई जवाब नहीं · 582.4 सेकंड · $0.296 |
| 2025 के आठ डेवलपर सर्वेक्षणों के परिणाम | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 599.1 सेकंड · $1.255 | गलत जवाब · 1587.4 सेकंड · $1.785 |
| नौ स्थानों का वैधानिक न्यूनतम वेतन | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गणना में शामिल नहीं | गणना में शामिल नहीं |
| नौ सर्वर उत्पादों के समर्थन समाप्त होने की तारीखें | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | सफल · 690.2 सेकंड · $0.781 | कोई जवाब नहीं · 370.0 सेकंड · $0.292 |
| होकुसाई की ‘द ग्रेट वेव’ पर दस संग्रहालयों के रिकॉर्ड | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 824.7 सेकंड · $1.025 | कोई जवाब नहीं · 1644.2 सेकंड · $1.124 |
| आठ नियामकों में वज़न प्रबंधन के लिए Tirzepatide की स्वीकृतियाँ | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | स्टेप सीमा · 1475.9 सेकंड · $2.742 | कोई जवाब नहीं · 1171.2 सेकंड · $1.414 |
| नौ इलेक्ट्रिक SUV के लिए अमेरिका की रेंज और चार्जिंग के आँकड़े | 8 या अधिक वेबसाइटों से एक जैसे फ़ील्ड | गलत जवाब · 1027.4 सेकंड · $1.707 | स्टेप सीमा · 1711.3 सेकंड · $1.685 |
| लॉकबॉक्स में मिली जमा राशि को बकाया चालानों में समायोजित करें | वेब ऐप के भीतर काम | सफल · 286.4 सेकंड · $0.208 | सफल · 404.7 सेकंड · $0.402 |
| बदलाव पर रोक के दौरान किए गए परिवर्तनों की जाँच करें और उन्हें वापस लें | वेब ऐप के भीतर काम | सफल · 160.4 सेकंड · $0.140 | सफल · 545.1 सेकंड · $0.394 |
| यात्रा ऐप में किसी सहकर्मी की यात्रा बुक करें | वेब ऐप के भीतर काम | सफल · 438.2 सेकंड · $0.409 | सफल · 433.4 सेकंड · $0.474 |
| टियर-1 मॉनिटर को लिखित मानक के अनुरूप बनाएँ | वेब ऐप के भीतर काम | सफल · 248.5 सेकंड · $0.253 | कोई जवाब नहीं · 105.0 सेकंड · $0.094 |
| एक सप्ताह में क्लाइंट से मिलने के लिए की गई यात्राओं के माइलेज का दावा करें | वेब ऐप के भीतर काम | सफल · 458.1 सेकंड · $0.333 | सफल · 521.6 सेकंड · $0.418 |
| संचालन ऐप में फ़रवरी के प्राप्य खातों का समापन करें और विवाद दर्ज करें | वेब ऐप के भीतर काम | सफल · 469.9 सेकंड · $0.403 | सफल · 774.2 सेकंड · $0.698 |
| दो शहरों के लिए दैनिक भत्ते का दावा दर्ज करें | वेब ऐप के भीतर काम | सफल · 256.7 सेकंड · $0.127 | सफल · 282.5 सेकंड · $0.225 |
| क्लाउड कंसोल में समीक्षा के लिए घटना की समयरेखा दर्ज करें | वेब ऐप के भीतर काम | सफल · 216.3 सेकंड · $0.195 | सफल · 264.8 सेकंड · $0.306 |
| दो ग्राहकों की डिलीवरी में हुए नुकसान के दावे दर्ज करें | वेब ऐप के भीतर काम | सफल · 445.9 सेकंड · $0.319 | सफल · 1058.7 सेकंड · $0.726 |
| अगले सप्ताह का ऑन-कॉल शेड्यूल ठीक करें | वेब ऐप के भीतर काम | सफल · 169.0 सेकंड · $0.125 | सफल · 193.3 सेकंड · $0.147 |
| कार्ड लेनदेन का मिलान खर्च रिपोर्ट के मसौदे से करें | वेब ऐप के भीतर काम | सफल · 457.1 सेकंड · $0.383 | सफल · 535.9 सेकंड · $0.394 |
| गोदाम में स्टॉक भरने के ऑर्डर दें | वेब ऐप के भीतर काम | सफल · 337.3 सेकंड · $0.182 | सफल · 205.3 सेकंड · $0.240 |
| कर्मचारी की खर्च रिपोर्ट की समीक्षा करें | वेब ऐप के भीतर काम | सफल · 387.7 सेकंड · $0.189 | सफल · 450.6 सेकंड · $0.364 |
| एरर बजट की खपत के आधार पर डिप्लॉयमेंट पर रोक तय करें | वेब ऐप के भीतर काम | सफल · 167.8 सेकंड · $0.106 | सफल · 240.6 सेकंड · $0.193 |
| परिवहन कंपनी के समयपालन संबंधी आँकड़ों का मिलान करें और अलर्ट नियम ठीक करें | वेब ऐप के भीतर काम | सफल · 382.5 सेकंड · $0.261 | कोई जवाब नहीं · 934.2 सेकंड · $0.971 |
| ARC Prize लीडरबोर्ड पर कम लागत वाली रीजनिंग सेटिंग | खुले दायरे वाला शोध | सफल · 372.4 सेकंड · $0.296 | सफल · 716.2 सेकंड · $0.723 |
| Epoch AI डेटा में यूरोपीय संघ की गणना-परिमाण सीमाओं से ऊपर के मॉडल गिनें | खुले दायरे वाला शोध | सफल · 165.8 सेकंड · $0.143 | सफल · 252.0 सेकंड · $0.186 |
| आठ अग्रणी मॉडलों के लिए EU AI Act के तहत प्रकटीकरण | खुले दायरे वाला शोध | स्टेप सीमा · 1388.1 सेकंड · $3.008 | कोई जवाब नहीं · 1748.6 सेकंड · $2.621 |
| छह API चेंजलॉग के मुताबिक, सितंबर 2026 में लॉन्च हुए सभी मॉडल | खुले दायरे वाला शोध | सफल · 273.4 सेकंड · $0.374 | सफल · 595.0 सेकंड · $0.721 |
| सितंबर 2026 के मॉडल लॉन्च के बारे में दस दावों की तथ्य-जाँच करें | खुले दायरे वाला शोध | गलत जवाब · 228.8 सेकंड · $0.299 | गलत जवाब · 507.6 सेकंड · $0.574 |
| पाँच चीनी मॉडलों में से मुख्य और बैकअप API चुनें | खुले दायरे वाला शोध | सफल · 412.3 सेकंड · $0.471 | सफल · 769.1 सेकंड · $0.696 |
| Azure के जर्मनी के एक क्षेत्र में उपलब्ध मॉडल चुनें | खुले दायरे वाला शोध | गलत जवाब · 297.1 सेकंड · $0.280 | सफल · 787.2 सेकंड · $0.871 |
| OpenRouter पर GLM 5.3 का सबसे तेज़ प्रदाता एंडपॉइंट चुनें | खुले दायरे वाला शोध | सफल · 774.9 सेकंड · $0.717 | गलत जवाब · 960.2 सेकंड · $0.694 |
| एक ही API वर्कलोड की छह मॉडलों पर कीमत निकालें | खुले दायरे वाला शोध | सफल · 550.4 सेकंड · $0.711 | सफल · 1642.9 सेकंड · $2.177 |
| Wayback Machine में सहेजी गई छह प्रदाताओं की API कीमतें | खुले दायरे वाला शोध | गलत जवाब · 1214.3 सेकंड · $0.552 | कोई जवाब नहीं · 350.4 सेकंड · $0.181 |
| Wikipedia की LLM तालिका के पीछे के स्रोत खोजें | खुले दायरे वाला शोध | गलत जवाब · 458.7 सेकंड · $0.350 | कोई जवाब नहीं · 383.3 सेकंड · $0.301 |
| LiveBench की एक रिलीज़ ने क्या दिखाया | खुले दायरे वाला शोध | गलत जवाब · 296.8 सेकंड · $0.267 | गलत जवाब · 330.8 सेकंड · $0.329 |
| FRED से मुद्रास्फीति की तालिका बनाएँ और BLS से उसका मिलान करें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 274.1 सेकंड · $0.224 | सफल · 308.6 सेकंड · $0.312 |
| GPT के एक व्याख्यान के आँकड़ों का वीडियो, कोड और शोधपत्र से मिलान करें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 619.4 सेकंड · $0.387 | सफल · 237.2 सेकंड · $0.277 |
| Apple के अमेरिकी स्टोर पर तीन MacBook कॉन्फ़िगरेशन की तुलना करें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 786.1 सेकंड · $1.226 | सफल · 654.4 सेकंड · $1.110 |
| ClinicalTrials.gov के चरण 3 परीक्षणों का DailyMed के दवा-लेबल दस्तावेज़ों से मिलान करें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 294.2 सेकंड · $0.401 | कोई जवाब नहीं · 591.2 सेकंड · $0.872 |
| MDN और Can I use से छह वेब सुविधाओं के लिए इस्तेमाल करें/न करें सूची | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 269.9 सेकंड · $0.262 | सफल · 751.4 सेकंड · $0.796 |
| टीम के ऑफ़साइट आयोजन के लिए डेनवर की उड़ानों की कीमत निकालें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 526.6 सेकंड · $0.962 | कोई जवाब नहीं · 963.3 सेकंड · $1.037 |
| बॉक्स-ऑफ़िस डेटाबेस और Wikipedia में Wes Anderson की छह फ़िल्मों की कमाई का मिलान करें | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 221.1 सेकंड · $0.250 | सफल · 324.7 सेकंड · $0.303 |
| Companies House के रजिस्टर में दर्ज चार ब्रिटिश कंपनियों की जानकारी का स्नैपशॉट | एक से तीन वेबसाइटों पर जानकारी का मिलान | सफल · 320.3 सेकंड · $0.223 | गलत जवाब · 1005.0 सेकंड · $0.591 |
| आठ ब्रांडों की 2026 में X और न्यूज़रूम पर प्रकाशित उत्पाद घोषणाएँ | X पोस्ट | गलत जवाब · 667.1 सेकंड · $0.536 | कोई जवाब नहीं · 847.0 सेकंड · $0.417 |
| X और क्लब वेबसाइटों पर आठ फ़ुटबॉल क्लबों के ग्रीष्मकालीन नए अनुबंध | X पोस्ट | स्टेप सीमा · 1815.4 सेकंड · $1.805 | कोई जवाब नहीं · 2343.4 सेकंड · $1.008 |
| X और अपनी वेबसाइटों पर आठ ओपन-सोर्स परियोजनाओं की सुरक्षा रिलीज़ | X पोस्ट | सफल · 625.6 सेकंड · $0.627 | कोई जवाब नहीं · 2248.5 सेकंड · $1.524 |
| आठ विश्वविद्यालयों ने अपनी 2025 की Nobel ख़बरें X पर कितनी जल्दी पोस्ट कीं | X पोस्ट | गलत जवाब · 1314.1 सेकंड · $0.487 | कोई जवाब नहीं · 528.9 सेकंड · $0.237 |
| X पर SpaceX के लॉन्च से संबंधित पोस्ट का Wikipedia की लॉन्च सूचियों से मिलान करें | X पोस्ट | सफल · 751.6 सेकंड · $0.220 | सफल · 638.9 सेकंड · $0.300 |
मॉडलों की कीमतें Moonshot की प्रकाशित सूचीबद्ध दरें हैं। बाकी सभी आँकड़े हमारे अपने रन से आए हैं।
