L’utilisation du navigateur par DeepSeek V4.1 Flash évaluée face à GPT-6.1 Sol sur 72 tâches web

Nous choisirions GPT-6.1 Sol pour un agent qui travaille sur de nombreux sites, et DeepSeek V4.1 Flash pour des processus au sein d’une seule application web. Chaque modèle a exécuté deux fois chacune de nos 72 tâches dans ego-browser, soit 144 tentatives par modèle. GPT-6.1 Sol a réussi 121 de ses 144 tentatives (84.0%) et DeepSeek V4.1 Flash en a réussi 82 (56.9%). Sur les 29 tâches réussies à chaque tentative par les deux modèles, GPT-6.1 Sol a pris 219.7 secondes et coûté $0.310 par tâche, contre 321.7 secondes et $0.047 pour DeepSeek V4.1 Flash.
La lecture des exécutions nous a montré deux façons de travailler. GPT-6.1 Sol traite souvent plusieurs sites dans une seule commande, tandis que DeepSeek V4.1 Flash travaille sur une page à la fois et poursuit ses recherches. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, DeepSeek V4.1 Flash a consommé ses 100 étapes dans 23 tentatives. Dans nos applications de test, où le travail se déroule au sein d’une seule application web, il a presque égalé le taux de réussite et la vitesse de GPT-6.1 Sol pour environ un sixième du coût.
Chaque modèle présente aussi une faiblesse dont nous tiendrions compte. GPT-6.1 Sol cesse parfois ses recherches trop tôt : sur 3 tâches, il a échoué aux deux tentatives, alors que DeepSeek V4.1 Flash, qui a poursuivi ses recherches, a réussi les deux. DeepSeek V4.1 Flash a donné davantage de réponses erronées malgré un nombre de réponses inférieur : 34 de ses 144 tentatives se sont terminées par une mauvaise réponse, contre 23 pour GPT-6.1 Sol.
Taux de réussite, vitesse et coût
GPT-6.1 Sol est en tête pour le taux de réussite et la vitesse, tandis que DeepSeek V4.1 Flash revient à environ 15% du coût de l’autre modèle. Nous comparons le temps et le coût sur les 29 tâches réussies à chaque tentative par les deux modèles : les chiffres de chacun excluent donc les tentatives échouées. Les lignes couvrant l’ensemble des 72 tâches incluent les tentatives échouées.
| Indicateur | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| Taux de réussite, ensemble des 72 tâches | 84.0% (121 tentatives réussies sur 144) | 56.9% (82 tentatives réussies sur 144) |
| Temps par tâche, 29 tâches réussies à chaque tentative par les deux modèles | 219.7 s | 321.7 s |
| Temps par tâche, ensemble des 72 tâches | 321.6 s | 511.4 s |
| Coût par tâche, 29 tâches réussies à chaque tentative par les deux modèles | $0.310 | $0.047 |
| Coût par tâche, ensemble des 72 tâches | $0.483 | $0.071 |
| Coût par tentative réussie, ensemble des 72 tâches | $0.575 | $0.124 |
| Appels d’outils par tâche, ensemble des 72 tâches | 34.6 | 61.6 |
Exécutions du 7 novembre 2026, avec les deux modèles dans ego-browser. Chaque modèle a exécuté deux fois chaque tâche. Le temps comprend l’attente des réponses de l’API de chaque modèle.
DeepSeek V4.1 Flash coûte moins cher parce que ses tarifs sont plus bas, et non parce qu’il effectue moins de travail. Il a fait 61.6 appels d’outils par tâche, contre 34.6 pour GPT-6.1 Sol. Même par tentative réussie, DeepSeek V4.1 Flash a coûté $0.124, contre $0.575 pour GPT-6.1 Sol.
L’essentiel de l’écart de taux de réussite vient d’un type de travail. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, GPT-6.1 Sol a réussi 51 tentatives sur 64 et DeepSeek V4.1 Flash en a réussi 21. Pour les processus dans les applications web, les deux modèles ont réussi respectivement 29 et 28 tentatives sur 30.
| Type de travail | Nombre de tâches | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| Processus dans les applications web | 15 | 96.7% (29/30) | 93.3% (28/30) |
| Rechercher et comparer sur quelques sites | 8 | 93.8% (15/16) | 81.3% (13/16) |
| Recherche et synthèse | 12 | 66.7% (16/24) | 62.5% (15/24) |
| Vérifier les publications sur X à l’aide d’autres sources | 5 | 100% (10/10) | 50.0% (5/10) |
| Recueillir les mêmes champs sur 8 sites ou plus | 32 | 79.7% (51/64) | 32.8% (21/64) |
| Toutes les tâches | 72 | 84.0% (121/144) | 56.9% (82/144) |
Le taux de réussite est la part des tentatives réussies, avec deux tentatives par tâche.
Pour les processus dans les applications web, le taux de réussite séparait à peine les deux modèles : c’est donc le coût qui les distingue. Pour les tâches sur de nombreux sites, GPT-6.1 Sol a réussi beaucoup plus souvent.
Comment travaille GPT-6.1 Sol
GPT-6.1 Sol traite souvent plusieurs sites dans une seule commande. Lorsqu’une tâche couvre de nombreux sites, il les garde ouverts dans des onglets distincts et fait avancer plusieurs d’entre eux à chaque commande ego-browser. Les deux modèles disposaient du même fichier de compétence ego-browser, qui explique comment garder plusieurs onglets ouverts lorsque la tâche le nécessite. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, 56% des commandes de navigateur de GPT-6.1 Sol ont travaillé dans deux onglets ou plus. Ce chiffre était inférieur à 1% pour DeepSeek V4.1 Flash.
La tâche sur le séisme illustre cette méthode. Elle demande l’heure, la magnitude et la profondeur d’un même séisme de 2025, telles que rapportées par 9 organismes. Dans une seule commande, GPT-6.1 Sol a lu la page de l’événement de l’USGS, ouvert les données scientifiques sur celle de l’EMSC, ouvert celle de GFZ et dirigé un quatrième onglet vers INGV. Il a réussi les deux tentatives, avec 40 appels d’outils pour l’une et 32 pour l’autre. DeepSeek V4.1 Flash a parcouru les 9 organismes l’un après l’autre dans un seul onglet, remplissant successivement leur formulaire de recherche, et a utilisé les 100 étapes dans les deux tentatives.
GPT-6.1 Sol a eu besoin de moins d’appels d’outils et a terminé plus tôt dans nos exécutions. Sur les 29 tâches réussies à chaque tentative par les deux modèles, il a fait 28.6 appels d’outils par tâche, contre 43.0 pour DeepSeek V4.1 Flash. Parmi les 16 tâches de ce groupe hors applications web, GPT-6.1 Sol a été plus rapide sur 14. Pour les processus dans les applications web, il n’a travaillé dans deux onglets ou plus que dans 3% de ses commandes de navigateur, et les deux modèles ont pris à peu près le même temps.
La faiblesse de GPT-6.1 Sol est qu’il cesse parfois ses recherches trop tôt. Sur 3 tâches, il a échoué aux deux tentatives, tandis que DeepSeek V4.1 Flash a réussi les deux. Pour la tâche LiveBench, les deux modèles ont cherché GPT-5.4 avec un niveau d’effort High dans le classement et n’ont trouvé que sa ligne xHigh. Après 12 appels d’outils, GPT-6.1 Sol a indiqué que la page n’affichait pas ce score. DeepSeek V4.1 Flash a continué à chercher et l’a trouvé, à 75.1, dans un sélecteur de modèles plus bas sur cette même page, dans la section Insights.
La tâche sur les frameworks front-end a suivi le même schéma. Dans une tentative, GPT-6.1 Sol a recherché « 16.3. » dans la liste des versions de Next.js et a rapporté le premier résultat : 16.3.2, daté du 21 août. DeepSeek V4.1 Flash a parcouru les pages de la liste, composée principalement de versions canary, et a trouvé 16.3.8, publiée le 30 septembre. Quand GPT-6.1 Sol indique qu’une valeur ne figure pas sur un site, ou reprend le premier résultat d’une recherche, nous vérifierions cette valeur nous-mêmes avant d’utiliser sa réponse.
Comment travaille DeepSeek V4.1 Flash
DeepSeek V4.1 Flash travaille sur une page à la fois et continue jusqu’à trouver ce qu’il cherche. Il a fait 61.6 appels d’outils par tâche, contre 34.6 pour GPT-6.1 Sol. Cette persévérance lui a permis de réussir les tâches LiveBench et frameworks front-end auxquelles GPT-6.1 Sol a échoué.
Au sein d’une seule application web, travailler sur une page à la fois a peu changé les résultats. Nos 15 processus dans des applications web s’exécutent dans des applications de test remplies de nouvelles données, comme une application de réservation de voyages et une application de frais. DeepSeek V4.1 Flash y a réussi 28 de ses 30 tentatives, et GPT-6.1 Sol en a réussi 29. Sur les 13 processus réussis à chaque tentative par les deux modèles, DeepSeek V4.1 Flash a pris 173.0 secondes et coûté $0.028 par tâche, contre 169.3 secondes et $0.170 pour GPT-6.1 Sol.
Réserver un voyage conforme à la politique de déplacement est un exemple typique. La tâche demande à l’agent de réserver des vols aller-retour respectant cette politique, de choisir des sièges côté couloir et de réserver un hôtel dans un rayon d’un mile autour du lieu de l’événement. Les deux modèles ont réussi les deux tentatives. DeepSeek V4.1 Flash a pris 189.2 secondes et coûté $0.033 par tâche, contre 199.4 secondes et $0.253 pour GPT-6.1 Sol.
Sur 8 sites ou plus, cette même méthode de travail épuise les étapes. Sur ces 32 tâches, DeepSeek V4.1 Flash a réussi 21 tentatives sur 64, contre 51 pour GPT-6.1 Sol. DeepSeek y a fait 82.2 appels d’outils par tâche, soit le double des 41.1 de GPT-6.1 Sol. Parmi les 26 tentatives où DeepSeek a utilisé les 100 étapes, 23 concernaient ces tâches.
Quand DeepSeek V4.1 Flash donne une réponse, nous confronterions ses conclusions à ses propres données et aux pages qu’il a lues. Il a échoué à 62 tentatives : 34 se sont terminées par une mauvaise réponse et 28 sans réponse. Parmi ces 28, 26 ont consommé les 100 étapes et 1 s’est terminée lorsque l’API de DeepSeek a renvoyé des erreurs serveur. Les 23 tentatives échouées de GPT-6.1 Sol se sont toutes terminées par une mauvaise réponse. Dans une tentative de la tâche sur les téléphones haut de gamme, le propre tableau de DeepSeek V4.1 Flash indiquait 167 g pour le Galaxy S26. La ligne sous le tableau désignait pourtant le motorola signature, à 186 g, comme le téléphone le plus léger.
Quel modèle choisir
Dans ego-browser, utilisez GPT-6.1 Sol pour un agent qui travaille sur de nombreux sites. Il a réussi 84.0% de ses tentatives et n’a jamais épuisé ses étapes. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, il a réussi 51 tentatives sur 64 et a terminé plus tôt le travail sur plusieurs sites.
Utilisez DeepSeek V4.1 Flash pour les processus au sein d’une seule application web. Dans nos applications de test, il a réussi 28 tentatives sur 30 et a pris à peu près le même temps que GPT-6.1 Sol, pour environ un sixième du coût. Nous ne compterions pas sur lui pour des tâches sur 8 sites ou plus, où il n’a réussi que 21 tentatives sur 64.
Pour les consultations sur quelques sites et les tâches de recherche, vous choisissez entre le temps et l’argent. DeepSeek V4.1 Flash a réussi 13 tentatives sur 16 pour les recherches d’informations et 15 sur 24 pour la recherche, contre respectivement 15 sur 16 et 16 sur 24 pour GPT-6.1 Sol. DeepSeek V4.1 Flash a coûté moins cher et pris plus de temps dans les deux catégories.

Quel que soit le modèle choisi, vérifiez les valeurs clés de sa réponse. Les deux modèles ont parfois donné une réponse apparemment complète, mais contenant une valeur erronée. Nous les avons exécutés avec un niveau d’effort de raisonnement élevé dans ego-browser, qui est fourni avec ego(lite) et le contrôle comme navigateur de l’agent.
Questions fréquentes
DeepSeek V4.1 Flash est-il aussi performant que GPT-6.1 Sol pour utiliser un navigateur ?
Au sein d’une seule application web, presque ; sur de nombreux sites, non. Pour les processus dans les applications web, DeepSeek V4.1 Flash a réussi 28 tentatives sur 30 et GPT-6.1 Sol en a réussi 29. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, DeepSeek V4.1 Flash a réussi 21 tentatives sur 64 et GPT-6.1 Sol en a réussi 51. Sur l’ensemble des 72 tâches, ils ont réussi respectivement 56.9% et 84.0% de leurs tentatives.
Pourquoi GPT-6.1 Sol est-il plus rapide que DeepSeek V4.1 Flash dans un navigateur ?
Dans nos exécutions, GPT-6.1 Sol a eu besoin de moins d’appels d’outils, en partie parce qu’il traite souvent plusieurs sites dans une seule commande. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, 56% de ses commandes de navigateur ont travaillé dans deux onglets ou plus, contre moins de 1% pour DeepSeek V4.1 Flash. Sur les 29 tâches réussies à chaque tentative par les deux modèles, GPT-6.1 Sol a fait 28.6 appels d’outils et pris 219.7 secondes par tâche, contre 43.0 appels et 321.7 secondes pour DeepSeek V4.1 Flash. Pour les processus dans les applications web, ils ont pris à peu près le même temps.
Combien DeepSeek V4.1 Flash coûte-t-il de moins que GPT-6.1 Sol pour les tâches de navigation ?
DeepSeek V4.1 Flash coûte environ 15% du coût de GPT-6.1 Sol. Sur les 29 tâches réussies à chaque tentative par les deux modèles, DeepSeek V4.1 Flash a coûté $0.047 par tâche et GPT-6.1 Sol $0.310. Sur l’ensemble des 72 tâches, DeepSeek V4.1 Flash a coûté $0.071 par tâche et GPT-6.1 Sol $0.483. Par tentative réussie, DeepSeek V4.1 Flash a coûté $0.124 et GPT-6.1 Sol $0.575.
Pourquoi DeepSeek V4.1 Flash échoue-t-il aux tâches sur de nombreux sites ?
Environ la moitié de ses échecs dans cette catégorie viennent de l’épuisement de ses étapes. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, il travaille sur une page à la fois et a fait 82.2 appels d’outils par tâche, contre 41.1 pour GPT-6.1 Sol. Parmi ses 43 tentatives échouées sur ces tâches, 23 se sont terminées sans réponse après les 100 étapes.
Pourquoi GPT-6.1 Sol donne-t-il parfois de mauvaises réponses aux tâches de navigation ?
Pour LiveBench et la tâche sur les frameworks front-end, il a arrêté ses recherches trop tôt. Pour la tâche LiveBench, après 12 appels d’outils, GPT-6.1 Sol a indiqué que la page n’affichait pas un score ; DeepSeek V4.1 Flash l’a trouvé plus bas sur cette même page, dans la section Insights. DeepSeek V4.1 Flash a réussi les deux tentatives sur 3 tâches auxquelles GPT-6.1 Sol avait échoué deux fois.
DeepSeek V4.1 Flash fait-il plus d’erreurs que GPT-6.1 Sol ?
Oui. Sur les 144 tentatives de DeepSeek V4.1 Flash, 34 se sont terminées par une mauvaise réponse, contre 23 pour GPT-6.1 Sol. DeepSeek V4.1 Flash a aussi fourni moins de réponses, car 28 de ses tentatives se sont terminées sans réponse. Dans une tentative de la tâche sur les téléphones haut de gamme, son propre tableau indiquait 167 g pour le Galaxy S26, tandis que sa synthèse désignait un téléphone de 186 g comme le plus léger.
DeepSeek V4.1 Flash peut-il remplir des formulaires et exécuter des processus dans une application web ?
Oui. DeepSeek V4.1 Flash a réussi 28 tentatives sur 30 pour 15 processus dans nos applications web de test, et GPT-6.1 Sol en a réussi 29 sur 30. Les tâches comprenaient la réservation d’un voyage, l’imputation de paiements lockbox et l’approbation de notes de frais. Sur les 13 tâches réussies à chaque tentative par les deux modèles, DeepSeek V4.1 Flash a coûté $0.028 par tâche et GPT-6.1 Sol $0.170.
Pour quelles tâches de navigation DeepSeek V4.1 Flash revient-il moins cher que GPT-6.1 Sol ?
Principalement pour les processus au sein d’une seule application web : 11 des 15 processus remplissaient trois conditions. Sur ces 11 tâches, DeepSeek V4.1 Flash a réussi aussi souvent que GPT-6.1 Sol, a pris au maximum 10% de temps supplémentaire et a coûté moins du tiers de ce que coûtait l’autre modèle. Trois autres tâches remplissaient les mêmes conditions : une synthèse sur l’inflation à partir des données de FRED et du BLS, des notes d’étude à partir d’une conférence, du code et d’un article, et une même CVE sudo vérifiée dans neuf avis de distributions Linux.
Combien d’appels d’outils DeepSeek V4.1 Flash fait-il par rapport à GPT-6.1 Sol ?
Sur l’ensemble des 72 tâches, DeepSeek V4.1 Flash a fait 61.6 appels d’outils par tâche, soit environ 78% de plus que les 34.6 de GPT-6.1 Sol. Pour les tâches consistant à recueillir les mêmes champs sur 8 sites ou plus, DeepSeek V4.1 Flash a fait 82.2 appels par tâche, soit le double des 41.1 de GPT-6.1 Sol. Pour les processus dans les applications web, DeepSeek V4.1 Flash a fait 33.3 appels par tâche et GPT-6.1 Sol 26.0.
DeepSeek V4.1 Flash vaut-il la peine d’être utilisé pour des agents de navigation ?
Oui pour les processus au sein d’une seule application web : DeepSeek V4.1 Flash y a réussi 28 tentatives sur 30 pour environ un sixième du coût de GPT-6.1 Sol. Pour un agent qui travaille sur de nombreux sites, GPT-6.1 Sol est le meilleur choix : il a réussi 84.0% de ses tentatives, contre 56.9% pour DeepSeek V4.1 Flash.
Notre méthode de test
Nous avons exécuté les deux modèles le 7 novembre 2026 sur macOS, dans ego-browser avec ego(lite) 0.6.3.2. Ils fonctionnaient dans le cadre d’exécution d’agents pi avec le fichier de compétence ego-browser. Nous les avons appelés avec les identifiants de modèle deepseek-flash et gpt-6.1-sol, avec un niveau d’effort de raisonnement élevé. Les deux modèles avaient la même limite de 100 étapes par tentative. Une étape correspond à un tour du modèle ; dans presque chaque étape, le modèle a fait un appel d’outil. Chaque modèle a exécuté deux fois chacune des 72 tâches, soit 144 tentatives par modèle.

Les 72 tâches sont des tâches complexes d’automatisation web. Certaines s’exécutent sur des sites web réels, d’autres dans des applications de test que nous avons remplies de nouvelles données. Nous les avons regroupées selon le type de travail demandé :
| Type de travail | Nombre de tâches | Exemple de tâche |
|---|---|---|
| Processus dans les applications web | 15 | Réserver un voyage conforme à la politique de déplacement |
| Rechercher et comparer sur quelques sites | 8 | Synthèse sur l’inflation à partir de FRED, vérifiée avec BLS |
| Recherche et synthèse | 12 | Retrouver les sources d’un tableau Wikipedia |
| Vérifier les publications sur X à l’aide d’autres sources | 5 | Publications de lancements de SpaceX sur X confrontées à Wikipedia |
| Recueillir les mêmes champs sur 8 sites ou plus | 32 | Décisions de taux de 12 banques centrales |
Chaque tâche appartient à un seul groupe. Les 5 tâches qui vérifient des publications sur X forment leur propre groupe, même lorsqu’elles portent sur 8 comptes.
Chaque tâche est évaluée selon 3 à 10 critères. Une tentative n’est réussie que si tous les critères sont satisfaits.
Pour comprendre comment travaille chaque modèle, nous avons lu les journaux de session des tentatives des deux modèles. Nous considérons qu’une commande de navigateur a travaillé dans deux onglets ou plus lorsque le script transmis par le modèle à ego-browser dans cette commande a lu des données dans deux onglets ou plus, ou y a effectué des actions.
Le taux de réussite est la part des tentatives réussies. Chaque chiffre par tâche dans cet article, qu’il s’agisse du temps, du coût ou des appels d’outils, est la moyenne des deux tentatives de cette tâche. Le temps est mesuré du début d’une tentative à sa réponse finale, ou à sa dernière étape si elle n’a pas fourni de réponse ; il comprend l’attente des réponses de l’API de chaque modèle. Le coût correspond au prix des tokens de chaque tentative, calculé aux tarifs du fournisseur. Le coût par tentative réussie est le coût des 144 tentatives divisé par le nombre de réussites. Pour comparer le temps et le coût, nous utilisons les 29 tâches réussies à chaque tentative par les deux modèles, sauf indication contraire dans la phrase.
Dans la colonne Résultat ci-dessous, « Autant de réussites, moins cher » signifie que DeepSeek V4.1 Flash a réussi aussi souvent que GPT-6.1 Sol, a pris au maximum 10% de temps supplémentaire et a coûté moins du tiers de ce que coûtait l’autre modèle. « Autant de réussites, plus lent » signifie que les deux modèles ont réussi aussi souvent, mais que la tâche ne remplissait pas ces conditions de temps et de coût.
Résultats complets
Chaque cellule indique le nombre de tentatives réussies sur 2, puis le temps et le coût par tâche. Le temps et le coût sont les moyennes des deux tentatives de la tâche ; le temps comprend l’attente des réponses de l’API de chaque modèle.
| Tâche | Type de travail | Résultat | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| Ajouter les débits de carte non rapprochés à une note de frais | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| Imputer les paiements lockbox | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| Approuver une note de frais de déplacement | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| Réserver un voyage conforme à la politique de déplacement | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| Aligner les moniteurs de service sur une norme | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| Bilan de ponctualité du transporteur et règles d’alerte | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| Demander les indemnités de repas quotidiennes | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| Déclarer le kilométrage quotidien | Processus dans les applications web | Autant de réussites, plus lent | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| Assurer la couverture des astreintes en tenant compte des congés | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| Créer des bons de commande à partir des seuils de réapprovisionnement | Processus dans les applications web | Autant de réussites, plus lent | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| Déposer des demandes de retour pour des commandes endommagées | Processus dans les applications web | Autant de réussites, plus lent | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| Geler ou dégeler les déploiements en fonction des budgets d’erreur | Processus dans les applications web | Autant de réussites, moins cher | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| Rapprocher les factures des paiements et ouvrir des litiges | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| Effectuer un retour arrière sur les versions publiées pendant un gel | Processus dans les applications web | Plus de réussites pour GPT-6.1 Sol | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| Rédiger et soumettre une analyse post-incident | Processus dans les applications web | Autant de réussites, moins cher | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| Tarifs les moins chers pour des vols sans escale sur un site de recherche de vols | Rechercher et comparer sur quelques sites | Autant de réussites, plus lent | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| Comparer trois ordinateurs portables Mac | Rechercher et comparer sur quelques sites | Autant de réussites, plus lent | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| Synthèse sur l’inflation à partir de FRED, vérifiée avec BLS | Rechercher et comparer sur quelques sites | Autant de réussites, moins cher | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| Instantané KYC de quatre entreprises britanniques | Rechercher et comparer sur quelques sites | Plus de réussites pour GPT-6.1 Sol | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| Rapprocher essais cliniques et notices des médicaments | Rechercher et comparer sur quelques sites | Plus de réussites pour GPT-6.1 Sol | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| Recouper les recettes de six films au box-office | Rechercher et comparer sur quelques sites | Autant de réussites, plus lent | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| Notes d’étude à partir d’une conférence, du code et d’un article | Rechercher et comparer sur quelques sites | Autant de réussites, moins cher | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| Fonctionnalités web sur MDN et Can I use | Rechercher et comparer sur quelques sites | Autant de réussites, plus lent | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Tarifs des API à partir de captures Wayback | Recherche et synthèse | Plus de réussites pour DeepSeek V4.1 Flash | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| Graphique du classement ARC Prize | Recherche et synthèse | Autant de réussites, plus lent | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| Vérifier 10 affirmations dans une synthèse hebdomadaire sur l’IA | Recherche et synthèse | Plus de réussites pour GPT-6.1 Sol | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| Comparer cinq API de modèles chinois pour calculer une facture mensuelle | Recherche et synthèse | Autant de réussites, plus lent | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| Audit des informations publiées au titre du règlement européen sur l’IA pour 8 modèles de pointe | Recherche et synthèse | Aucun n’a réussi | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| Lister les lancements de modèles accessibles par API en septembre à partir de six journaux de modifications | Recherche et synthèse | Plus de réussites pour GPT-6.1 Sol | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| Modèles dépassant les seuils de calcul de l’UE | Recherche et synthèse | Plus de réussites pour GPT-6.1 Sol | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| Choisir des points de terminaison OpenRouter pour GLM 5.3 | Recherche et synthèse | Autant de réussites, plus lent | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| Choisir un modèle pour des demandes d’indemnisation d’assurance allemandes selon six exigences | Recherche et synthèse | Plus de réussites pour DeepSeek V4.1 Flash | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| Chiffrer une charge de travail de tickets d’assistance à partir de 6 pages tarifaires | Recherche et synthèse | Autant de réussites, plus lent | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| Lire une publication de LiveBench | Recherche et synthèse | Plus de réussites pour DeepSeek V4.1 Flash | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Retrouver les sources d’un tableau Wikipedia | Recherche et synthèse | Plus de réussites pour GPT-6.1 Sol | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 8 recrutements de clubs : publications sur X confrontées aux sites des clubs | Vérifier les publications sur X à l’aide d’autres sources | Plus de réussites pour GPT-6.1 Sol | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 8 lancements de produits : publications sur X confrontées aux communiqués de presse | Vérifier les publications sur X à l’aide d’autres sources | Plus de réussites pour GPT-6.1 Sol | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| Publications de 8 universités sur X au sujet des prix Nobel | Vérifier les publications sur X à l’aide d’autres sources | Plus de réussites pour GPT-6.1 Sol | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| Mises à jour de sécurité de 8 projets open source : publications sur X confrontées aux avis de sécurité | Vérifier les publications sur X à l’aide d’autres sources | Autant de réussites, plus lent | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| Publications de lancements de SpaceX sur X confrontées à Wikipedia | Vérifier les publications sur X à l’aide d’autres sources | Autant de réussites, plus lent | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| Déclarations sur le climat de 2025 émanant de 11 organismes météorologiques | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| Trafic de 8 aéroports en 2025 | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| Champions 2025-26 de 9 ligues | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 appareils photo sur 8 sites de marques | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 enquêtes auprès des développeurs | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 SUV électriques | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 modèles à poids ouverts | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| Conformité de 9 fournisseurs SaaS | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| Éditions actuelles de 9 normes | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| Téléphones haut de gamme de 9 marques | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| Offres gratuites de 9 services CI | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| Offres gratuites de 9 plateformes serverless | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| Interventions principales de 9 conférences de développeurs | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| Élection la plus récente dans 9 territoires | Recueillir les mêmes champs sur 8 sites ou plus | Aucun n’a réussi | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| Dernières versions de 9 environnements d’exécution de langages | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| Dernières versions stables de 9 navigateurs de bureau | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| Dernières versions stables de 9 frameworks front-end | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour DeepSeek V4.1 Flash | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| Salaire minimum dans 9 juridictions | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| Un même album sur 9 services musicaux | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| Les éditions d’un même livre dans 10 sources | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour DeepSeek V4.1 Flash | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| Une même voiture dans 9 programmes d’essais de collision | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| Un même médicament auprès de 8 autorités de régulation | Recueillir les mêmes champs sur 8 sites ou plus | Aucun n’a réussi | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| Un même séisme dans les données de 9 organismes | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| Un même jeu auprès de 8 organismes de classification | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| Une même estampe dans 10 collections de musées | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| Une même CVE sudo dans 9 avis de distributions | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, moins cher | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| Les numéros un d’une même semaine dans 9 classements nationaux | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| Premières estimations du PIB du deuxième trimestre par 9 organismes | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| Décisions de taux de 12 banques centrales | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| Dates de support de 9 versions de produits de fournisseurs | Recueillir les mêmes champs sur 8 sites ou plus | Autant de réussites, plus lent | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| Runtime protobuf dans 9 registres de paquets | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| Prix principal de 9 festivals de cinéma | Recueillir les mêmes champs sur 8 sites ou plus | Plus de réussites pour GPT-6.1 Sol | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
Journal des mises à jour : première publication le 9 novembre 2026, à partir des exécutions du 7 novembre 2026, avec deux tentatives par tâche pour chaque modèle sur 72 tâches.


