Nous avons comparé Kimi K3.1 Pro à Kimi K3 sur 66 tâches de navigation

15 min de lecture
Illustration en papier découpé de deux ballons flottant dans un ciel bleu : un ballon orange Kimi K3.1 Pro et un ballon jaune Kimi K3

Dans notre configuration pi et ZenMux, nous choisirions Kimi K3.1 Pro plutôt que Kimi K3 pour mener davantage de tâches à terme. Sur les 26 tâches réussies par les deux, il affichait aussi un temps moyen et un coût moyen estimé du modèle plus faibles. Dans ce test de Kimi K3.1 Pro face à Kimi K3, nous comptons 66 tâches, exécutées une fois par chaque modèle dans ego-browser, soit 66 tentatives par modèle. Kimi K3.1 Pro a réussi 38 de ses 66 tentatives (57.6 %), et Kimi K3 en a réussi 27 (40.9 %). Sur les 26 tâches réussies par les deux modèles, Kimi K3.1 Pro a pris 400.6 secondes pour un coût de $0.374 par tâche, contre 586.1 secondes et $0.578 pour Kimi K3.

Les deux modèles se distinguent surtout par leur capacité à aller au bout du travail. Kimi K3 a terminé 27 de ses 66 tentatives sans réponse avant la limite d’étapes ; 26 se sont arrêtées sur une note d’avancement, comme « SUSE done. Now Amazon Linux. » Cela est arrivé 0 fois à Kimi K3.1 Pro. Sur les 35 tâches pour lesquelles les deux modèles ont fourni une réponse finale, Kimi K3.1 Pro en a réussi 29 et Kimi K3, 27.

Le point faible de Kimi K3.1 Pro réside dans les longs tableaux qu’il parvient désormais à terminer. Sur les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, il a réussi 7 tentatives sur 26, contre 2 pour Kimi K3. Dix-sept des 24 réponses erronées de Kimi K3.1 Pro étaient des tableaux issus de ces tâches ; nous vérifierions donc ses tableaux avant de les utiliser. En recherche exploratoire, les deux modèles ont réussi 6 tâches sur 12 ; Kimi K3.1 Pro était plus rapide et moins cher sur les cinq tâches réussies par les deux.

Le coût estimé plus faible de Kimi K3.1 Pro s’explique par ses tarifs catalogue plus bas. Pour chaque type de token, Moonshot affiche un tarif égal aux deux tiers de celui de Kimi K3. Sur l’ensemble des 66 tâches, son coût était de $0.772 par tâche, contre $0.871, alors même qu’il consommait davantage de tokens dans les tentatives qu’il poursuivait après l’arrêt de celles de Kimi K3.

Taux de réussite

Kimi K3.1 Pro réussit davantage de tâches. Il a réussi 12 tâches échouées par Kimi K3 et échoué à 1 tâche réussie par Kimi K3. Sur 9 de ces 12 gains, Kimi K3 s’était arrêté sans réponse ; sur les 3 autres, il avait fourni une réponse erronée. Cinq des 12 gains provenaient de tâches consistant à recueillir les mêmes champs sur 8 sites ou plus.

Kimi K3.1 Pro a réussi au moins autant de tentatives que Kimi K3 dans chaque type de travail ; seule la recherche exploratoire s’est soldée par une égalité.

Type de travailTâchesKimi K3.1 ProKimi K3
Les mêmes champs sur 8 sites ou plus2626.9 % (7 sur 26)7.7 % (2 sur 26)
Dans une application web15100 % (15 sur 15)86.7 % (13 sur 15)
Recherche exploratoire1250.0 % (6 sur 12)50.0 % (6 sur 12)
Vérifications croisées sur un à trois sites8100 % (8 sur 8)62.5 % (5 sur 8)
Publications sur X540.0 % (2 sur 5)20.0 % (1 sur 5)
Toutes les tâches6657.6 % (38 sur 66)40.9 % (27 sur 66)

Le taux de réussite est calculé à partir du nombre de tentatives réussies lors des exécutions du 3 novembre 2026. Dans aucun de ces types de travail Kimi K3 n’a réussi davantage de tentatives que Kimi K3.1 Pro.

Les exécutions de Kimi K3 s’arrêtaient souvent au milieu du travail. Dans l’agent pi que nous utilisions, le modèle agit par des appels d’outils, principalement des scripts ego-browser, et une réponse sans appel d’outil met fin à l’exécution. Kimi K3 envoyait des réponses annonçant l’étape suivante sans la réaliser, comme « Google done. Now Cloudflare Workers Free. » Il l’a fait dans 26 de ses 66 tentatives, dont 16 sur les 26 tâches consistant à recueillir les mêmes champs sur 8 sites ou plus. Chacune de ces 26 réponses s’est terminée par le signal normal d’arrêt du modèle, et non par une limite de longueur. Kimi K3.1 Pro a terminé 0 tentative de cette manière.

Notre tâche sur les plateformes serverless illustre cette différence. Elle demande cinq limites des offres gratuites de neuf plateformes serverless, d’AWS Lambda à Oracle OCI Functions. Kimi K3 a lu les pages d’AWS, d’Azure et de Google, puis s’est arrêté après 11 appels d’outils sur « Google done. Now Cloudflare Workers Free. » Kimi K3.1 Pro a poursuivi sur la page des tarifs de Workers de Cloudflare, a parcouru les neuf plateformes en 58 appels d’outils et a réussi la tâche.

Relecture de commandes de navigation enregistrées : Kimi K3.1 Pro pilotant ego-browser sur la page des tarifs de Workers de Cloudflare pendant la tâche serverless
Relecture de commandes enregistrées. Kimi K3.1 Pro dans ego-browser, tâche sur les offres gratuites serverless : ouverture de la page des tarifs de Workers de Cloudflare. Cloudflare Workers est la quatrième des neuf plateformes et celle où Kimi K3 s’était arrêté. Commande de navigation 10 sur 55. Exécution originale : 3 novembre 2026. Relecture capturée dans ego(lite) le 10 novembre 2026. Afficher l’image en taille réelle

Les 3 autres gains provenaient de réponses finales erronées de Kimi K3. Notre tâche sur le PIB demande à neuf organismes statistiques la croissance du deuxième trimestre dans leurs premières estimations et les plus récentes, sans annualisation. Les deux modèles ont ouvert l’estimation initiale du Bureau d’analyse économique des États-Unis, sa toute première. Kimi K3 avait écrit son script pour ne conserver que les 2 500 premiers caractères du texte de la page et a inscrit « not shown » pour les deux valeurs de croissance trimestrielle des États-Unis. Kimi K3.1 Pro a affiché le communiqué entier et lu « 0.4 percent at a quarterly rate » dans les notes techniques. Il a trouvé de la même manière 0.6 pour cent dans la dernière estimation du BEA, publiée le 30 septembre 2026, et rempli les deux cellules américaines.

Relecture de commandes de navigation enregistrées : Kimi K3.1 Pro pilotant ego-browser sur le communiqué de l’estimation initiale du BEA pendant la tâche sur le PIB
Relecture de commandes enregistrées. Kimi K3.1 Pro dans ego-browser, tâche sur le PIB du deuxième trimestre 2026 : chargement de l’estimation initiale du BEA et affichage du communiqué entier, notamment des notes techniques donnant le taux trimestriel de 0.4 pour cent. Commande de navigation 2 sur 61. Exécution originale : 3 novembre 2026. Relecture capturée dans ego(lite) le 10 novembre 2026. Afficher l’image en taille réelle

Les deux modèles échouent aussi de manières différentes. Chaque tentative dispose de 100 étapes au maximum, une étape correspondant à un tour du modèle. Sur les 39 tentatives échouées de Kimi K3, 27 se sont terminées sans réponse avant la limite d’étapes, 4 ont atteint cette limite et 8 ont fourni une réponse erronée. Sur les 28 tentatives échouées de Kimi K3.1 Pro, 24 ont fourni une réponse erronée et 4 ont atteint la limite d’étapes. Dix-huit de ces 24 réponses erronées concernaient des tâches pour lesquelles Kimi K3 n’avait fourni aucune réponse finale. Nous changerions de modèle tout en vérifiant les réponses que Kimi K3.1 Pro fournit désormais sur les tâches où l’exécution de Kimi K3 s’arrêtait sans réponse finale.

Les erreurs que Kimi K3.1 Pro commet encore

Kimi K3.1 Pro termine les longs tableaux, mais ne remplit pas toujours chaque cellule correctement ; nous traiterions donc ses tableaux comme des brouillons à vérifier. Il a réussi 7 tentatives sur 26 pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus. Dix-sept de ses 24 réponses erronées provenaient de ces tâches : chaque réponse contenait un tableau terminé, avec au moins une valeur ou un élément du résumé incorrect.

Dans notre tâche sur les banques centrales, par exemple, l’erreur se trouve dans le résumé. La tâche demande à douze banques centrales leur première décision de taux de 2026 et cherche à déterminer laquelle l’a annoncée en dernier. Kimi K3.1 Pro a ouvert le communiqué de la Banque nationale suisse du 19 mars 2026 et inscrit cette date dans son propre tableau. Son résumé désignait pourtant encore la Banque de réserve de l’Inde, le 6 février, comme la dernière à l’avoir annoncée.

Ce que demande la tâcheRéponse correcteRéponse de Kimi K3.1 Pro
Dernière banque à annoncer sa première décision de 2026Banque nationale suisse, 2026-03-19Banque de réserve de l’Inde, 2026-02-06

Kimi K3 a correctement désigné la Banque nationale suisse pour cette même tâche, mais n’a pas correctement restitué d’autres valeurs et a également échoué.

Relecture de commandes de navigation enregistrées : Kimi K3.1 Pro pilotant ego-browser sur le communiqué de la Banque nationale suisse du 19 mars 2026 pendant la tâche sur les banques centrales
Relecture de commandes enregistrées. Kimi K3.1 Pro dans ego-browser, tâche sur les banques centrales : ouverture de l’évaluation de politique monétaire de la Banque nationale suisse du 19 mars 2026, la date que son résumé n’a ensuite pas retenue. Commande de navigation 18 sur 52. Exécution originale : 3 novembre 2026. Relecture capturée dans ego(lite) le 10 novembre 2026. Afficher l’image en taille réelle

Avant d’utiliser un tableau de Kimi K3.1 Pro, comparez les éléments de son résumé à ses propres lignes de données et vérifiez un échantillon de cellules dans les sources. Kimi K3 a réussi 2 de ces tâches sur 26.

Vitesse

Kimi K3.1 Pro est plus rapide à travail égal, tout en écrivant moins et en effectuant moins d’appels d’outils. Sur les 26 tâches réussies par les deux modèles, il a pris en moyenne 400.6 secondes par tâche, contre 586.1, et a été plus rapide sur 21 des 26. Kimi K3 a été plus rapide sur les 5 autres.

Sur les 26 tâches réussies par les deux modèlesKimi K3.1 ProKimi K3
Temps par tâche400.6 s586.1 s
Appels d’outils par tâche25.833.5
Tokens de sortie par tâche, raisonnement compris6 99710 727

Moyennes par tâche, issues des exécutions du 3 novembre 2026.

Pour un agent dont quelqu’un attend le résultat, nous considérerions cette attente plus courte comme un réel gain.

Coût

Kimi K3.1 Pro coûte moins cher par tâche, grâce à ses tarifs catalogue plus bas. Sur l’ensemble des 66 tâches, son coût était de $0.772 par tâche, contre $0.871 pour Kimi K3. En incluant aussi les tentatives échouées, chaque tentative réussie revenait à $1.340, contre $2.130. Sur les 26 tâches réussies par les deux modèles, son coût était de $0.374 par tâche, contre $0.578, et il était moins cher sur 24 d’entre elles.

La grille tarifaire de Moonshot fixe les tarifs de Kimi K3.1 Pro à $2.00 par million de tokens d’entrée, $0.20 pour les entrées en cache, $2.00 pour les écritures en cache et $10.00 pour la sortie. Elle indique pour Kimi K3 respectivement $3.00, $0.30, $3.00 et $15.00. Le tarif du nouveau modèle représente donc les deux tiers de celui de Kimi K3 pour chaque type de token.

Coût par tâcheKimi K3.1 ProKimi K3
Les 66 tâches$0.772$0.871
Les 66 tâches, avec les tokens de Kimi K3.1 Pro aux tarifs de Kimi K3$1.158$0.871
26 tâches réussies par les deux modèles$0.374$0.578
26 tâches réussies par les deux modèles, avec les tokens de Kimi K3.1 Pro aux tarifs de Kimi K3$0.561$0.578
Par tentative réussie, sur les 66 tâches$1.340$2.130

Coûts aux tarifs catalogue de Moonshot, calculés à partir de la consommation de tokens de chaque tentative lors des exécutions du 3 novembre 2026.

À travail égal et à tarifs égaux, les tokens des deux modèles coûtent à peu près autant : aux tarifs de Kimi K3, les tokens de Kimi K3.1 Pro sur les 26 tâches communes reviennent à $0.561, contre $0.578. Sur l’ensemble des 66 tâches, ils reviennent à $1.158, contre $0.871, car Kimi K3.1 Pro a poursuivi les exécutions là où Kimi K3 s’était arrêté. Nous établirions le budget à partir du coût par tâche plutôt que du prix du token : un modèle qui termine davantage d’exécutions consomme aussi des tokens pour les terminer.

Recherche exploratoire

En recherche exploratoire, passer à Kimi K3.1 Pro apporte des gains de vitesse et de coût, mais pas davantage de réussites. Ces 12 tâches donnent un objectif et quelques sources de départ, puis laissent l’agent choisir sa démarche. Les deux modèles ont réussi 6 tâches sur 12 ; Kimi K3.1 Pro a gagné une tâche et en a perdu une. Sur les 5 tâches réussies par les deux, il a pris 354.9 secondes pour un coût de $0.399 par tâche, contre 795.0 secondes et $0.901, et a été plus rapide sur les 5.

La tâche qu’il a perdue montre ce qu’il faut surveiller. La tâche Azure demande quels modèles parmi les sept candidats peuvent fonctionner dans la région Germany West Central d’Azure en respectant six exigences, et pourquoi chacun des autres candidats ne convient pas. Les deux modèles ont choisi GPT-6 Luna. Kimi K3 a aussi ouvert la page Azure consacrée aux modèles de partenaires et cité la raison pour laquelle Claude Sonnet 5.5 ne convenait pas : son déploiement Data Zone Standard était réservé aux États-Unis.

Relecture de commandes de navigation enregistrées sur Microsoft Learn, avec le tableau des régions américaines de Data Zone Standard déplié
Relecture de la commande de navigation 20 sur 22 dans la tâche de sélection de modèle Azure de Kimi K3, avec le tableau actuel des régions américaines de Data Zone Standard déplié pour lecture. Le constat de disponibilité original provient du relevé de l’exécution du 3 novembre. Exécution originale : 3 novembre 2026. Relecture capturée le 10 novembre 2026. Afficher l’image en taille réelle

Kimi K3.1 Pro a écarté Claude à partir du tableau des modèles vendus directement par Azure, sans jamais ouvrir cette page. Il a inscrit « not shown » pour la raison, après 15 commandes de navigation contre 22 pour Kimi K3. Quel que soit le modèle, nous vérifierions la raison donnée pour chaque option écartée par l’agent.

Quel modèle choisir

Dans la configuration testée avec pi 1.5.0, ZenMux et ego-browser, nous choisirions Kimi K3.1 Pro. Il a réussi 38 tentatives sur 66, contre 27 pour Kimi K3, et a été plus rapide et moins cher sur les 26 tâches réussies par les deux. Dans aucun des types de travail testés Kimi K3 n’a réussi davantage de tentatives.

Pour les applications web testées et les vérifications croisées sur un à trois sites, nous choisirions Kimi K3.1 Pro : il a réussi les 15 tâches du premier groupe et les 8 du second. Quatre des 5 échecs de Kimi K3 dans ces groupes étaient des exécutions terminées sans réponse. Pour des tâches similaires sur plusieurs sites dans cette configuration pi, nous choisirions aussi Kimi K3.1 Pro, car il a réussi 7 tâches sur 26, contre 2 pour Kimi K3. Vérifiez ces tableaux avant de les utiliser. Sur les cinq tâches de recherche exploratoire réussies par les deux modèles, Kimi K3.1 Pro affichait un temps et un coût estimé plus faibles ; le nombre total de tâches réussies était à égalité.

Notre configuration utilisait Kimi K3.1 Pro sous l’identifiant moonshotai/kimi-k3.1-pro via ZenMux, avec un effort de raisonnement élevé, dans l’agent pi doté de son outil bash et du fichier de skill ego-browser. ego-browser est fourni avec ego(lite), que l’agent pilote comme navigateur.

Le rôle d’ego(lite) dans cette comparaison

ego(lite) fournissait le navigateur piloté par ego-browser ; pi fournissait la boucle de l’agent et ZenMux, l’accès aux deux modèles. Le guide d’intégration d’ego-browser décrit comment ce navigateur se connecte à un agent.

La règle d’arrêt de pi entre dans ce choix de modèle : une réponse sans appel d’outil met fin à la tentative. Gardez cette règle à l’esprit lorsque vous appliquez la comparaison des tâches menées à terme à des travaux similaires. Les moyennes de temps et de coût du modèle portent sur les vingt-six tâches réussies par les deux modèles, pas sur toutes les tâches ni sur le comportement d’arrêt d’un autre agent.

Questions fréquentes

Kimi K3.1 Pro est-il meilleur que Kimi K3 pour les agents de navigation ?

Oui, dans notre test de 66 tâches dans ego-browser. Kimi K3.1 Pro a réussi 38 de ses 66 tentatives (57.6 %), et Kimi K3 en a réussi 27 (40.9 %). Il a réussi 12 tâches échouées par Kimi K3 et échoué à 1 tâche réussie par Kimi K3.

Kimi K3.1 Pro est-il moins cher que Kimi K3 ?

Oui, par tâche. Sur nos 66 tâches de navigation, Kimi K3.1 Pro coûtait $0.772 par tâche et Kimi K3, $0.871. Par tentative réussie, l’écart est plus grand : $1.340 contre $2.130.

Kimi K3.1 Pro est-il plus rapide que Kimi K3 ?

Oui, sur le travail terminé par les deux modèles. Sur les 26 tâches de navigation réussies par les deux, Kimi K3.1 Pro a pris 400.6 secondes par tâche et Kimi K3, 586.1. Il a effectué 25.8 appels d’outils par tâche, contre 33.5, et généré 6 997 tokens de sortie, contre 10 727.

Combien coûte Kimi K3.1 Pro par million de tokens ?

Moonshot affiche pour Kimi K3.1 Pro des tarifs de $2.00 par million de tokens d’entrée, $0.20 pour les entrées en cache, $2.00 pour les écritures en cache et $10.00 pour la sortie. Pour Kimi K3, les tarifs affichés sont de $3.00, $0.30, $3.00 et $15.00 ; le tarif du nouveau modèle représente donc les deux tiers de celui de Kimi K3 pour chaque type de token.

Pourquoi Kimi K3 s’arrête-t-il au milieu d’une tâche de navigation ?

Kimi K3 a terminé 26 de ses 66 tentatives par une réponse annonçant l’étape suivante sans appeler d’outil, ce qui met fin à l’exécution dans l’agent pi. Ses derniers mots étaient des notes telles que « SUSE done. Now Amazon Linux. » Seize de ces 26 tentatives concernaient des tâches consistant à recueillir les mêmes champs sur 8 sites ou plus ; cela est arrivé 0 fois à Kimi K3.1 Pro.

Quelles tâches de navigation ont le plus progressé avec Kimi K3.1 Pro ?

Kimi K3.1 Pro a gagné le plus de tâches, 5, dans le groupe consistant à recueillir les mêmes champs sur 8 sites ou plus, sans en perdre aucune. Il a aussi gagné 3 vérifications croisées sur un à trois sites, 2 tâches dans une application web, 1 tâche de recherche exploratoire et 1 tâche de publications sur X.

Kimi K3.1 Pro a-t-il régressé sur une tâche de navigation ?

Sur 1 tâche parmi 66. Il a échoué à une tâche de sélection de modèle Azure réussie par Kimi K3, parce qu’il avait écarté un candidat sans ouvrir la page donnant la raison. Il a réussi 12 tâches échouées par Kimi K3.

Quelles erreurs Kimi K3.1 Pro commet-il encore dans un navigateur ?

Principalement des valeurs dans de longs tableaux : 17 de ses 24 réponses erronées provenaient de tâches consistant à recueillir les mêmes champs sur 8 sites ou plus. Sur une tâche, son résumé désignait la mauvaise banque alors que son propre tableau contenait la bonne date. Il a aussi atteint la limite de 100 étapes dans 4 tentatives, autant que Kimi K3.

Comment Kimi K3.1 Pro se comporte-t-il en automatisation d’applications web ?

Kimi K3.1 Pro a réussi nos 15 tâches dans une application web, contre 13 pour Kimi K3. Ces tâches s’exécutent dans nos applications de test de gestion opérationnelle, de frais de déplacement et de console cloud, avec des données renouvelées à chaque tentative. Sur les 13 tâches réussies par les deux, il a pris 327.0 secondes pour un coût de $0.240 par tâche, contre 454.7 secondes et $0.383.

Dois-je remplacer Kimi K3 par Kimi K3.1 Pro dans mon agent de navigation ?

Dans la configuration pi et ZenMux testée, oui. Kimi K3.1 Pro a réussi 38 tentatives sur 66, contre 27, avec un temps moyen et un coût moyen estimé plus faibles sur les 26 tâches réussies par les deux modèles. Gardez une étape de vérification pour les tableaux recueillis sur 8 sites ou plus : 17 de ses 24 réponses erronées provenaient de ces tâches.

Notre méthode de test

Nous avons exécuté les deux modèles le 3 novembre 2026 sur un même Mac à puce Apple sous macOS 26.5. Tous deux utilisaient le même agent, pi 1.5.0, avec ego-browser comme outil de navigation, le même fichier de skill ego-browser et les mêmes versions d’ego(lite) et d’ego-browser. Les modèles étaient Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) et Kimi K3 (moonshotai/kimi-k3), tous deux avec un effort de raisonnement élevé et accessibles via le même fournisseur d’API, ZenMux.

Le modèle pilote ego-browser en écrivant de courts programmes JavaScript qui chargent des pages, cliquent, remplissent des formulaires et affichent le texte de la page ou un instantané d’accessibilité. Chaque tentative était limitée à 100 étapes et à 60 minutes au maximum. Une étape est un tour du modèle : une requête envoyée au modèle et sa réponse. La tâche demande au modèle de terminer par un message commençant par FINAL ANSWER.

Nous comptons 66 tâches, chacune appartenant à un seul type de travail. « Les mêmes champs sur 8 sites ou plus » (26 tâches) consiste à recueillir un ensemble de champs sur 8 sites ou plus, par exemple les publications de PIB de neuf organismes statistiques. Les tâches « Dans une application web » (15) s’exécutent dans des applications de test de gestion opérationnelle, de frais de déplacement et de console cloud, par exemple pour corriger les règles d’alerte d’un transporteur. La « Recherche exploratoire » (12) donne un objectif et quelques sources, par exemple choisir un modèle proposé dans une région Azure. Les « Vérifications croisées sur un à trois sites » (8) comparent des chiffres entre quelques sites, par exemple des fiches d’essais cliniques et les documents d’information des médicaments. Les tâches « Publications sur X » (5) rapprochent des publications sur X d’autres relevés, par exemple les publications sur les lancements de SpaceX et les listes de lancements de Wikipédia ; elles ne sont comptées que dans la catégorie des publications sur X.

Chaque tâche possède une liste de critères notés, soit 443 sur les 66 tâches. Un critère par tâche vérifie que toutes les valeurs demandées figurent dans la réponse finale. Les 377 autres vérifient chacun des valeurs demandées : 309 à partir de valeurs fixées à l’avance d’après les sites officiels, 49 à partir des données générées par les applications de test pour chaque tentative et 19 par vérification de la page en ligne. Une tentative ne réussit que si sa réponse finale satisfait tous les critères ; les deux modèles sont évalués selon les mêmes critères.

Une tâche désigne l’une des 66 tâches comptabilisées, et une tentative correspond à l’exécution d’une tâche une fois par un modèle ; chaque modèle compte donc 66 tentatives. Le taux de réussite correspond au nombre de tentatives réussies sur 66. Les résultats complets présentent six tâches supplémentaires comme non comptabilisées. Pour chacune, la tentative originale d’un modèle avait été remplacée par une réexécution ciblée ou aucun enregistrement archivé valide de la première tentative n’était disponible. Nous excluons les mêmes six tâches pour les deux modèles. Un appel d’outil est une commande exécutée par le modèle : principalement des scripts ego-browser, ou sinon des commandes shell ou sur des fichiers, par exemple une recherche dans le texte enregistré d’une page. Une commande de navigation est un script ego-browser ; les légendes des captures comptent les commandes de navigation.

Le temps par tâche est le temps réel écoulé du début à la fin d’une tentative ; il inclut l’attente de l’API du modèle, raisonnement compris, ainsi que l’exécution des appels d’outils du modèle. La vitesse est comparée sur les 26 tâches réussies par les deux modèles, car le temps passé sur une tâche échouée n’est pas comparable. Les coûts estimés appliquent les tarifs Moonshot indiqués aux tokens enregistrés de chaque tentative : entrée, entrée en cache, écriture en cache et sortie. Ce ne sont pas des montants d’abonnement ni des totaux facturés par ZenMux. Le coût par tentative réussie correspond au coût des 66 tentatives divisé par le nombre de tentatives réussies.

Une tentative atteint la limite d’étapes lorsqu’elle utilise les 100 étapes sans réponse finale. Elle se termine sur une note d’avancement lorsque la dernière réponse du modèle contient du texte, mais aucun appel d’outil ni FINAL ANSWER, avant la limite d’étapes. Une réponse erronée est une réponse finale qui échoue à l’évaluation.

Résultats complets

Chaque cellule indique le résultat de ce modèle pour la tâche, le temps de la tentative en secondes et son coût. Le résultat est « Réussite », « Réponse erronée », « Sans réponse » (exécution terminée sans réponse finale avant la limite d’étapes) ou « Limite d’étapes atteinte ». Le temps inclut l’attente de l’API du modèle. Les six tâches non comptabilisées ne disposent pas d’enregistrements de premières tentatives comparables après les réexécutions ciblées de remplacement ; toutes les six sont exclues pour les deux modèles.

TâcheType de travailKimi K3.1 ProKimi K3
Bilan climatique de 2025 de onze services météorologiquesLes mêmes champs sur 8 sites ou plusRéponse erronée · 633.7 s · $1.235Limite d’étapes atteinte · 2010.1 s · $3.368
Trafic de 2025 dans huit aéroports de correspondanceLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Chiffres de la saison 2025-26 de neuf ligues de footballLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Principaux prix de 2026 dans neuf festivals de cinémaLes mêmes champs sur 8 sites ou plusRéponse erronée · 1399.6 s · $2.591Sans réponse · 1306.1 s · $1.418
Fiche d’approbation de neuf modèles à poids ouverts sur Hugging FaceLes mêmes champs sur 8 sites ou plusRéponse erronée · 598.6 s · $0.716Sans réponse · 1217.4 s · $1.284
Matrice de conformité à partir de neuf centres de confiance SaaSLes mêmes champs sur 8 sites ou plusRéponse erronée · 590.3 s · $0.637Sans réponse · 1138.5 s · $0.844
Notes de crash-tests d’un SUV dans neuf programmesLes mêmes champs sur 8 sites ou plusRéponse erronée · 1242.3 s · $1.312Limite d’étapes atteinte · 1576.6 s · $1.765
Éditions en vigueur de neuf normes techniquesLes mêmes champs sur 8 sites ou plusRéponse erronée · 592.9 s · $0.658Sans réponse · 320.4 s · $0.250
Première décision de taux de 2026 dans douze banques centralesLes mêmes champs sur 8 sites ou plusRéponse erronée · 617.0 s · $1.023Réponse erronée · 1256.3 s · $1.986
Premières et dernières publications du PIB du deuxième trimestre 2026 de neuf organismesLes mêmes champs sur 8 sites ou plusRéussite · 1001.2 s · $1.181Réponse erronée · 1294.2 s · $1.363
Offres de CI gratuites pour les dépôts privés dans neuf servicesLes mêmes champs sur 8 sites ou plusRéponse erronée · 1033.5 s · $1.187Sans réponse · 963.4 s · $1.068
Offres gratuites de neuf plateformes serverlessLes mêmes champs sur 8 sites ou plusRéussite · 924.5 s · $1.283Sans réponse · 248.4 s · $0.173
Présentation d’un même album dans neuf services de musiqueLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Derniers résultats électoraux de neuf autorités électoralesLes mêmes champs sur 8 sites ou plusLimite d’étapes atteinte · 1256.5 s · $2.222Limite d’étapes atteinte · 1789.7 s · $2.389
Branche de versions la plus récente de neuf environnements d’exécution de langagesLes mêmes champs sur 8 sites ou plusRéponse erronée · 810.3 s · $1.106Réponse erronée · 1024.2 s · $1.171
Dernière version stable de neuf frameworks JavaScriptLes mêmes champs sur 8 sites ou plusRéussite · 515.4 s · $0.523Réussite · 957.6 s · $0.722
Dernière version stable de neuf navigateurs pour ordinateurLes mêmes champs sur 8 sites ou plusRéussite · 471.8 s · $0.913Sans réponse · 903.0 s · $0.765
Mesures du séisme de 2025 au Kamtchatka selon neuf organismesLes mêmes champs sur 8 sites ou plusRéponse erronée · 789.4 s · $1.128Sans réponse · 971.8 s · $1.335
Caractéristiques officielles pour le Royaume-Uni de neuf smartphones haut de gammeLes mêmes champs sur 8 sites ou plusRéussite · 564.8 s · $0.865Sans réponse · 1331.7 s · $1.161
Caractéristiques officielles de huit appareils photoLes mêmes champs sur 8 sites ou plusRéussite · 953.2 s · $1.521Réussite · 1479.8 s · $1.730
Détails de l’édition d’un livre sur dix sites d’éditeurs et de bibliothèquesLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Classifications par âge d’un jeu auprès de huit organismes de classificationLes mêmes champs sur 8 sites ou plusRéponse erronée · 1385.2 s · $1.905Sans réponse · 1355.8 s · $1.592
État de la correction d’une CVE sudo dans neuf avis de fournisseursLes mêmes champs sur 8 sites ou plusRéponse erronée · 539.4 s · $0.521Sans réponse · 158.9 s · $0.133
Singles numéro un d’une même semaine dans neuf classements nationauxLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Discours d’ouverture de neuf conférences de développeursLes mêmes champs sur 8 sites ou plusRéponse erronée · 1198.7 s · $1.457Sans réponse · 1450.3 s · $1.485
Versions de Protocol Buffers dans neuf registres de paquetsLes mêmes champs sur 8 sites ou plusRéponse erronée · 472.9 s · $0.732Sans réponse · 582.4 s · $0.296
Résultats de huit enquêtes de 2025 auprès des développeursLes mêmes champs sur 8 sites ou plusRéponse erronée · 599.1 s · $1.255Réponse erronée · 1587.4 s · $1.785
Salaire minimum légal dans neuf lieuxLes mêmes champs sur 8 sites ou plusNon comptabiliséeNon comptabilisée
Dates de fin de support de neuf produits serveurLes mêmes champs sur 8 sites ou plusRéussite · 690.2 s · $0.781Sans réponse · 370.0 s · $0.292
Notices de dix musées sur La Grande Vague de HokusaiLes mêmes champs sur 8 sites ou plusRéponse erronée · 824.7 s · $1.025Sans réponse · 1644.2 s · $1.124
Autorisations du tirzépatide pour la gestion du poids auprès de huit autorités de réglementationLes mêmes champs sur 8 sites ou plusLimite d’étapes atteinte · 1475.9 s · $2.742Sans réponse · 1171.2 s · $1.414
Chiffres d’autonomie et de recharge aux États-Unis de neuf SUV électriquesLes mêmes champs sur 8 sites ou plusRéponse erronée · 1027.4 s · $1.707Limite d’étapes atteinte · 1711.3 s · $1.685
Affecter un dépôt d’encaissement centralisé (lockbox) à des factures impayéesDans une application webRéussite · 286.4 s · $0.208Réussite · 404.7 s · $0.402
Auditer et annuler des modifications effectuées pendant un gel des changementsDans une application webRéussite · 160.4 s · $0.140Réussite · 545.1 s · $0.394
Réserver le voyage d’un collègue dans une application de voyageDans une application webRéussite · 438.2 s · $0.409Réussite · 433.4 s · $0.474
Mettre des moniteurs de niveau 1 en conformité avec une norme écriteDans une application webRéussite · 248.5 s · $0.253Sans réponse · 105.0 s · $0.094
Demander le remboursement d’une semaine de frais kilométriques de visites clientsDans une application webRéussite · 458.1 s · $0.333Réussite · 521.6 s · $0.418
Effectuer la clôture des comptes clients de février et ouvrir des litiges dans une application de gestion opérationnelleDans une application webRéussite · 469.9 s · $0.403Réussite · 774.2 s · $0.698
Déposer une demande d’indemnités journalières pour deux villesDans une application webRéussite · 256.7 s · $0.127Réussite · 282.5 s · $0.225
Consigner dans une console cloud la chronologie d’un incident pour son analyse a posterioriDans une application webRéussite · 216.3 s · $0.195Réussite · 264.8 s · $0.306
Déposer des réclamations pour dommages sur les livraisons de deux clientsDans une application webRéussite · 445.9 s · $0.319Réussite · 1058.7 s · $0.726
Corriger le planning d’astreinte de la semaine prochaineDans une application webRéussite · 169.0 s · $0.125Réussite · 193.3 s · $0.147
Rapprocher des transactions par carte d’un brouillon de note de fraisDans une application webRéussite · 457.1 s · $0.383Réussite · 535.9 s · $0.394
Passer les commandes de réapprovisionnement d’un entrepôtDans une application webRéussite · 337.3 s · $0.182Réussite · 205.3 s · $0.240
Vérifier la note de frais d’un employéDans une application webRéussite · 387.7 s · $0.189Réussite · 450.6 s · $0.364
Définir des gels de déploiement à partir de la consommation du budget d’erreurDans une application webRéussite · 167.8 s · $0.106Réussite · 240.6 s · $0.193
Rapprocher les chiffres de ponctualité d’un transporteur et corriger les règles d’alerteDans une application webRéussite · 382.5 s · $0.261Sans réponse · 934.2 s · $0.971
Paramètres de raisonnement peu coûteux dans les classements ARC PrizeRecherche exploratoireRéussite · 372.4 s · $0.296Réussite · 716.2 s · $0.723
Compter les modèles dépassant les valeurs de référence de l’UE en matière de quantité de calcul dans les données d’Epoch AIRecherche exploratoireRéussite · 165.8 s · $0.143Réussite · 252.0 s · $0.186
Informations publiées concernant le règlement européen sur l’IA pour huit modèles de pointeRecherche exploratoireLimite d’étapes atteinte · 1388.1 s · $3.008Sans réponse · 1748.6 s · $2.621
Tous les modèles lancés en septembre 2026, à partir de six journaux de modifications d’APIRecherche exploratoireRéussite · 273.4 s · $0.374Réussite · 595.0 s · $0.721
Vérifier dix affirmations sur les lancements de modèles de septembre 2026Recherche exploratoireRéponse erronée · 228.8 s · $0.299Réponse erronée · 507.6 s · $0.574
Choisir une API principale et une API de secours parmi cinq modèles chinoisRecherche exploratoireRéussite · 412.3 s · $0.471Réussite · 769.1 s · $0.696
Choisir un modèle proposé dans une région Azure en AllemagneRecherche exploratoireRéponse erronée · 297.1 s · $0.280Réussite · 787.2 s · $0.871
Choisir le point de terminaison de fournisseur GLM 5.3 le plus rapide sur OpenRouterRecherche exploratoireRéussite · 774.9 s · $0.717Réponse erronée · 960.2 s · $0.694
Chiffrer une charge de travail d’API pour six modèlesRecherche exploratoireRéussite · 550.4 s · $0.711Réussite · 1642.9 s · $2.177
Tarifs d’API de six fournisseurs tels qu’archivés par la Wayback MachineRecherche exploratoireRéponse erronée · 1214.3 s · $0.552Sans réponse · 350.4 s · $0.181
Retrouver les sources d’un tableau de LLM sur WikipédiaRecherche exploratoireRéponse erronée · 458.7 s · $0.350Sans réponse · 383.3 s · $0.301
Ce que montrait une version de LiveBenchRecherche exploratoireRéponse erronée · 296.8 s · $0.267Réponse erronée · 330.8 s · $0.329
Construire un tableau d’inflation à partir de FRED et le vérifier sur BLSVérifications croisées sur un à trois sitesRéussite · 274.1 s · $0.224Réussite · 308.6 s · $0.312
Vérifier les chiffres d’un cours sur GPT dans la vidéo, le code et l’article scientifiqueVérifications croisées sur un à trois sitesRéussite · 619.4 s · $0.387Réussite · 237.2 s · $0.277
Comparer trois configurations de MacBook dans la boutique américaine d’AppleVérifications croisées sur un à trois sitesRéussite · 786.1 s · $1.226Réussite · 654.4 s · $1.110
Vérifier les essais de phase 3 de ClinicalTrials.gov par rapport aux documents d’information des médicaments de DailyMedVérifications croisées sur un à trois sitesRéussite · 294.2 s · $0.401Sans réponse · 591.2 s · $0.872
Liste de faisabilité de six fonctionnalités web à partir de MDN et Can I useVérifications croisées sur un à trois sitesRéussite · 269.9 s · $0.262Réussite · 751.4 s · $0.796
Chiffrer les vols à destination de Denver pour une rencontre d’équipe hors siteVérifications croisées sur un à trois sitesRéussite · 526.6 s · $0.962Sans réponse · 963.3 s · $1.037
Rapprocher les recettes de six films de Wes Anderson entre une base de données de box-office et WikipédiaVérifications croisées sur un à trois sitesRéussite · 221.1 s · $0.250Réussite · 324.7 s · $0.303
État du registre de quatre entreprises britanniques sur Companies House à un instant donnéVérifications croisées sur un à trois sitesRéussite · 320.3 s · $0.223Réponse erronée · 1005.0 s · $0.591
Annonces de produits publiées en 2026 par huit marques sur X et dans leurs espaces pressePublications sur XRéponse erronée · 667.1 s · $0.536Sans réponse · 847.0 s · $0.417
Recrutements estivaux de huit clubs de football sur X et sur les sites des clubsPublications sur XLimite d’étapes atteinte · 1815.4 s · $1.805Sans réponse · 2343.4 s · $1.008
Publications de sécurité de huit projets open source sur X et sur leurs sitesPublications sur XRéussite · 625.6 s · $0.627Sans réponse · 2248.5 s · $1.524
Délai de publication sur X des actualités Nobel de 2025 de huit universitésPublications sur XRéponse erronée · 1314.1 s · $0.487Sans réponse · 528.9 s · $0.237
Rapprocher les publications sur les lancements de SpaceX sur X des listes de lancements de WikipédiaPublications sur XRéussite · 751.6 s · $0.220Réussite · 638.9 s · $0.300

Les prix des modèles sont les tarifs catalogue publiés par Moonshot. Tous les autres chiffres proviennent de nos propres exécutions.