Nous avons évalué DeepSeek V4.1 Flash avec ego-browser, agent-browser et Playwright CLI sur 25 tâches web

15 min de lecture
Couverture de l’évaluation de DeepSeek V4.1 Flash dans le navigateur : des formes de feuilles translucides superposées sur un fond bleu pâle

Pour automatiser le navigateur avec DeepSeek V4.1 Flash dans notre configuration pi de test, nous choisirions ego-browser pour son plus grand nombre de tâches menées à bien. Le coût moyen du modèle sur l’ensemble des tentatives était proche avec les trois outils. Chaque outil a exécuté une fois chacune de nos 25 tâches, soit 25 tentatives par outil. DeepSeek V4.1 Flash a réussi 17 de ses 25 tentatives (68.0%) avec ego-browser, 14 (56.0%) avec Playwright CLI et 11 (44.0%) avec agent-browser. Sur les 10 tâches réussies avec les trois outils, une tâche prenait 216.8 secondes et coûtait $0.042 avec ego-browser, 407.3 secondes et $0.050 avec Playwright CLI, et 399.4 secondes et $0.056 avec agent-browser.

L’avance d’ego-browser tient aux tentatives qui se sont terminées par une réponse. Une étape correspond à une réponse du modèle ; une tentative qui épuisait les 100 étapes sans répondre échouait. DeepSeek V4.1 Flash a épuisé ses étapes 4 fois avec ego-browser et 9 fois avec chacun des deux autres outils. Il a donné 4 réponses incorrectes avec ego-browser, 2 avec Playwright CLI et 5 avec agent-browser. Les commandes qui lisaient la page actuelle sans naviguer, cliquer ni saisir de texte représentaient 51.9% des commandes avec agent-browser, 46.5% avec Playwright CLI et 24.4% avec ego-browser.

Tous les résultats ne favorisent pas ego-browser. Playwright CLI l’a égalé sur nos 4 processus dans des applications web, tous les 4 réussis. Aucun outil n’a corrigé la faiblesse du modèle sur les travaux de grande ampleur : parmi les 7 tâches qui recueillent les mêmes champs sur 9 à 12 sites, il en a réussi 2 avec ego-browser, 1 avec Playwright CLI et aucune avec agent-browser. Sur les 25 tâches, échecs compris, le coût par tâche était presque identique avec tous les outils : $0.066 avec ego-browser, $0.066 avec Playwright CLI et $0.067 avec agent-browser.

Outil de navigateurTaux de réussiteTemps moyen par tâcheCoût moyen par tâche
ego-browser68.0% (17/25)216.8 s$0.042
Playwright CLI56.0% (14/25)407.3 s$0.050
agent-browser44.0% (11/25)399.4 s$0.056

Chaque outil a exécuté une fois chacune des 25 tâches : le taux de réussite porte donc sur 25 tentatives par outil. Le temps et le coût sont des moyennes sur les 10 tâches réussies avec les trois outils. Le temps additionne l’attente des réponses de DeepSeek V4.1 Flash et l’exécution des appels d’outils de l’agent ; le coût est calculé en appliquant les prix catalogue de DeepSeek aux tokens de chaque tentative.

Taux de réussite

Avec DeepSeek V4.1 Flash, le taux de réussite plus élevé d’ego-browser tient aux tentatives qui ont abouti à une réponse en 100 étapes au maximum. Le modèle a épuisé ses étapes 4 fois avec ego-browser et 9 fois avec chacun des deux autres outils.

Résultat de la tentativeego-browserPlaywright CLIagent-browser
Réussie171411
Réponse incorrecte425
Étapes épuisées, aucune réponse499
Toutes les tentatives252525

Une tentative par tâche et par outil sur 25 tâches. Les tentatives avec ego-browser ont été exécutées le 20 octobre 2026, celles des deux autres outils le 5 novembre 2026. L’exécution avec ego-browser comportait aussi un second passage, qui a réussi 18 tâches sur 25.

Le modèle a abouti à une réponse dans 21 tentatives sur 25 avec ego-browser et dans 16 avec chacun des deux autres outils. Ces réponses ont réussi les vérifications 17 fois sur 21 avec ego-browser, 14 sur 16 avec Playwright CLI et 11 sur 16 avec agent-browser. La plus grande différence d’achèvement entre les configurations testées était d’arriver à une réponse finale en 100 étapes au maximum.

La tâche sur les téléphones montre où passent les étapes. Elle demande le poids, la batterie, la taille de l’écran, les indices de résistance à l’eau et la durée des mises à jour de sécurité de neuf téléphones haut de gamme, chacun sur le site britannique de sa marque. Avec les trois outils, le modèle a visité les neuf mêmes sites dans le même ordre. Avec ego-browser, il a ouvert Fairphone, le neuvième site, à l’étape 64 et remis un tableau satisfaisant aux vérifications à l’étape 70. Avec agent-browser, il a atteint Fairphone à l’étape 93, avec Playwright CLI à l’étape 100 ; les deux tentatives ont épuisé leurs étapes avant de rédiger une réponse.

Relecture de commandes de navigateur enregistrées : DeepSeek V4.1 Flash dans ego-browser sur la page du Fairphone (Gen. 6), avec les caractéristiques techniques complètes ouvertes, neuvième des neuf sites de marques de la tâche sur les téléphones
Relecture de commandes enregistrées. DeepSeek V4.1 Flash avec ego-browser sur la tâche des téléphones. Exécution d’origine : 20 octobre 2026. Sur Fairphone, le neuvième des neuf sites de marques, un script a cliqué sur See all tech specs et lu la liste complète (étape 66 sur 70). Relecture capturée dans ego(lite) le 10 novembre 2026. Afficher l’image en taille réelle

ego-browser n’a pas gagné toutes les tâches dont les résultats divergeaient. Les trois outils ont obtenu des résultats différents sur 10 des 25 tâches. ego-browser en a réussi 7 sur lesquelles un autre outil échouait, et en a raté 3 réussies avec Playwright CLI : les offres gratuites de plateformes serverless, le traçage des sources citées par Wikipedia et la vérification sur MDN. ego-browser a épuisé ses étapes sur la première et remis une réponse incorrecte sur les deux autres.

Par type de travail, ego-browser arrivait en tête sur les recherches sur 1 à 3 sites et les publications sur X confrontées à d’autres sources. Playwright CLI l’a égalé sur les processus dans des applications web et a réussi une tâche de plus parmi les 3 recherches exploratoires.

Type de travailTâchesego-browserPlaywright CLIagent-browser
Processus dans des applications web44/44/43/4
Recherches sur 1 à 3 sites87/85/85/8
Recherche exploratoire32/33/32/3
Publications sur X confrontées à d’autres sources32/31/31/3
Mêmes champs recueillis sur 9 à 12 sites72/71/70/7
Toutes les tâches2517/2514/2511/25

Chaque cellule compte les tentatives réussies, avec une tentative par tâche.

Les travaux les plus vastes sont restés difficiles avec tous les outils. Sur les 7 tâches qui recueillent les mêmes champs sur 9 à 12 sites, la plupart des tentatives ayant échoué ont épuisé leurs étapes : 4 des 5 échecs avec ego-browser, 6 sur 6 avec Playwright CLI et 6 sur 7 avec agent-browser. Nous ne confierions pas à DeepSeek V4.1 Flash un travail de cette ampleur avec l’un de ces trois outils.

Comment DeepSeek V4.1 Flash travaille avec chaque outil

Avec ego-browser, DeepSeek V4.1 Flash combinait plus souvent modifications de la page et lectures dans une seule commande. Les deux autres configurations comptaient davantage de commandes qui lisaient la page actuelle sans naviguer, cliquer ni saisir de texte. agent-browser, dans son README, décrit la lecture des pages sous forme d’arbre d’accessibilité, avec une référence pour chaque élément. Playwright CLI, dans son README, indique qu’un instantané de la page est fourni après chaque commande. Le modèle a explicitement demandé un instantané dans 15.4% et 12.6% de ses commandes avec ces outils, respectivement. Ces nombres de demandes ne mesurent pas les instantanés renvoyés automatiquement et ne permettent pas d’établir ce que le modèle a lu.

Commandes de navigateur, ensemble des 25 tentativesego-browserPlaywright CLIagent-browser
Commandes de navigateur9951 4741 574
Navigation, clic ou saisie de texte, puis lecture du résultat dans la même commande72.3%39.3%43.3%
Lecture de la page actuelle sans navigation, clic ni saisie de texte24.4%46.5%51.9%
Exécution dans la page de JavaScript écrit par le modèle86.2%73.3%43.9%
Demande explicite d’un instantané de la page8.2%12.6%15.4%

Une commande peut relever de plusieurs lignes. La catégorie de lecture seule repère les lectures de page sans navigation, clic ni saisie de texte ; elle ne prouve pas que les informations étaient redondantes.

Les lectures de la page actuelle sans navigation, clic ni saisie de texte représentaient 51.9% des commandes d’agent-browser, 46.5% de celles de Playwright CLI et 24.4% de celles d’ego-browser. Une lecture séparée peut néanmoins extraire des informations nécessaires au modèle.

La page de motorola signature dans la tâche sur les téléphones montre où l’écart se creuse. La durée des mises à jour de sécurité est masquée derrière une commande See all the specifications. Avec ego-browser, un script a chargé la page, cliqué sur cette commande et lu le texte à l’étape 54 ; à l’étape 55, le modèle a trouvé « 6 ans ou plus (jusqu’à 06/2032) ». Le modèle a consacré 6 étapes à ce site. Avec Playwright CLI, il a extrait les panneaux de caractéristiques en exécutant à plusieurs reprises du JavaScript dans la page et y a consacré 12 étapes, dont 9 de lecture seule. Avec agent-browser, il a cherché les caractéristiques dans le code source HTML de la page et y a consacré 21 étapes, dont 12 de lecture seule.

Relecture de commandes de navigateur enregistrées : DeepSeek V4.1 Flash dans ego-browser sur la page de motorola signature après un clic sur See all the specifications, avec la liste des caractéristiques ouverte
Relecture de commandes enregistrées. DeepSeek V4.1 Flash avec ego-browser sur la tâche des téléphones. Exécution d’origine : 20 octobre 2026. Un script a chargé la page de motorola signature, cliqué sur See all the specifications et lu la liste déployée (étape 54 sur 70). Relecture capturée dans ego(lite) le 10 novembre 2026. Afficher l’image en taille réelle

La tâche sur les téléphones montre moins d’étapes avec ego-browser dans cette tentative. Les nombres de commandes décrivent le comportement enregistré ; ils n’isolent pas les raisons pour lesquelles les configurations ont mené à bien des nombres différents de tâches.

Vitesse

ego-browser affichait le temps moyen le plus faible sur les dix tâches réussies avec les trois configurations. Sur les 10 tâches réussies avec les trois outils, une tâche prenait 216.8 secondes avec ego-browser, 407.3 avec Playwright CLI et 399.4 avec agent-browser. ego-browser était le plus rapide des trois sur 8 de ces 10 tâches et, comparé séparément à chacun des autres outils, le devançait sur 9 tâches.

Temps par tâche, 10 tâches réussies avec les trois outilsego-browserPlaywright CLIagent-browser
Attente des réponses du modèle39.2 s63.1 s79.8 s
Exécution des appels d’outils177.6 s344.2 s319.6 s
Total216.8 s407.3 s399.4 s
Appels d’outils par tâche35.254.063.3
Secondes par appel d’outil5.06.45.0

Tentatives avec ego-browser du 20 octobre 2026 et tentatives avec les deux autres outils du 5 novembre 2026.

L’essentiel de l’écart de temps enregistré se situe dans l’exécution des outils. Les configurations différaient par le nombre d’appels d’outils et, dans le cas de Playwright CLI, par le temps moyen par appel. ego-browser et agent-browser prenaient à peu près le même temps par appel d’outil, 5.0 secondes chacun, contre 6.4 pour Playwright CLI. ego-browser nécessitait 35.2 appels d’outils par tâche, contre 54.0 et 63.3. Moins d’appels signifiait aussi moins de réponses du modèle : l’attente de ses réponses est donc descendue à 39.2 secondes, contre 63.1 et 79.8.

Dans nos exécutions, ego-browser a fait gagner 190.5 secondes par tâche par rapport à Playwright CLI et 182.6 par rapport à agent-browser, un écart perceptible lorsque quelqu’un attend l’agent. Les deux exceptions étaient la tâche sur les recettes au cinéma, où Playwright CLI était le plus rapide, et celle sur les notes de cours, où agent-browser l’était.

Coût

Aux prix du modèle indiqués, la configuration ego-browser avait un coût moyen inférieur sur les dix tâches réussies en commun, tandis que le coût moyen sur l’ensemble des tentatives était proche avec les trois configurations. Sur ces 10 tâches, une tâche coûtait $0.042 avec ego-browser, $0.050 avec Playwright CLI et $0.056 avec agent-browser. En divisant le coût de l’ensemble des tentatives par le nombre de tentatives réussies, le coût par tentative réussie était de $0.097 avec ego-browser, $0.117 avec Playwright CLI et $0.153 avec agent-browser.

Le prix est identique avec tous les outils : tout l’écart tient donc au nombre de tokens utilisés par chaque exécution. Chaque étape supplémentaire renvoie au modèle la conversation accumulée, ce que DeepSeek facture comme lectures du cache. Sur les 10 tâches réussies avec les trois outils, le modèle lisait par tâche 1.13 million de tokens en cache avec ego-browser, 1.88 million avec Playwright CLI et 2.44 millions avec agent-browser. Il a généré 19 461, 21 562 et 22 957 tokens de sortie.

À quelques centimes par tâche, le coût ne déterminera pas le choix de l’outil pour ce modèle. Les 25 tentatives réunies ont coûté $1.65 avec ego-browser, $1.64 avec Playwright CLI et $1.68 avec agent-browser : les réussites supplémentaires d’ego-browser ne venaient donc pas de dépenses plus élevées.

Quel outil de navigateur utiliser avec DeepSeek V4.1 Flash

Nous choisirions ego-browser pour la combinaison de tâches et la configuration pi testées ici. Il a réussi le plus grand nombre de tentatives, 17 sur 25 ; sur les 10 tâches réussies avec les trois outils, il prenait 216.8 secondes par tâche contre environ 400, au coût le plus bas.

Si votre agent travaille surtout dans une seule application web, Playwright CLI est une alternative valable : il a réussi nos 4 processus dans des applications web, comme ego-browser. Si le coût est votre priorité, l’outil ne changera pas grand-chose : sur les 25 tâches, une tâche coûtait de $0.066 à $0.067 avec tous les outils. Si votre travail consiste à recueillir les mêmes champs sur 9 sites ou plus, aucun des trois outils n’y a rendu le modèle fiable, avec 2, 1 et 0 réussites sur 7.

Notre configuration de test utilisait DeepSeek V4.1 Flash (deepseek-flash) avec un effort de raisonnement élevé dans l’agent pi, et le fichier de compétence de l’outil de navigateur était chargé. ego-browser est fourni avec ego(lite), que l’agent contrôle par son intermédiaire.

La place d’ego(lite) dans cette comparaison

ego(lite) était le navigateur de la configuration ego-browser ; les deux autres configurations utilisaient Chrome. DeepSeek V4.1 Flash et pi fournissaient respectivement le modèle et l’agent. Le guide d’intégration d’ego-browser explique la place de l’outil de navigateur dans cette configuration.

Les configurations utilisaient des outils de navigateur, des instructions et des dates d’exécution différents. Gardez ces conditions à l’esprit pour choisir à partir des résultats enregistrés. Les dix tâches réussies en commun étayent la comparaison du temps et du coût ; elles n’établissent pas le coût nécessaire pour mener à bien les quinze autres tâches, ni les résultats avec un agent non testé.

Questions fréquentes

Quel est le meilleur outil d’automatisation du navigateur pour DeepSeek V4.1 Flash ?

Dans nos tests, ego-browser : DeepSeek V4.1 Flash a réussi 17 tentatives sur 25 avec cet outil, contre 14 avec Playwright CLI et 11 avec agent-browser. Sur les 10 tâches réussies avec les trois outils, c’est aussi celui qui prenait le moins de temps, 216.8 secondes par tâche contre 407.3 et 399.4. Playwright CLI l’a égalé sur nos 4 processus dans des applications web.

Quel est le niveau de DeepSeek V4.1 Flash pour l’utilisation du navigateur ?

DeepSeek V4.1 Flash a réussi entre 44.0% et 68.0% de ses tentatives sur nos 25 tâches web, selon l’outil de navigateur. Il a obtenu ses meilleurs résultats dans les applications web, avec 4 tâches sur 4 réussies avec ego-browser comme avec Playwright CLI. Ses moins bons résultats concernaient les travaux qui recueillent les mêmes champs sur 9 à 12 sites, avec 0 à 2 réussites sur 7.

agent-browser ou Playwright CLI : lequel est meilleur pour DeepSeek V4.1 Flash ?

Playwright CLI a mené à bien davantage de tâches : DeepSeek V4.1 Flash a réussi 14 tentatives sur 25 avec cet outil et 11 avec agent-browser. Sur les 10 tâches réussies avec les trois outils, agent-browser prenait 399.4 secondes par tâche et Playwright CLI 407.3, pour des coûts respectifs de $0.056 et $0.050. Tous deux ont épuisé leurs étapes 9 fois ; agent-browser a donné 5 réponses incorrectes contre 2 pour Playwright CLI.

Avec quel outil de navigateur DeepSeek V4.1 Flash est-il le plus rapide ?

ego-browser : sur les 10 tâches réussies avec les trois outils, une tâche prenait 216.8 secondes, contre 407.3 avec Playwright CLI et 399.4 avec agent-browser. Il devançait chacun des autres outils sur 9 de ces 10 tâches. Le modèle nécessitait 35.2 appels d’outils par tâche avec ego-browser, 54.0 avec Playwright CLI et 63.3 avec agent-browser.

Combien coûte DeepSeek V4.1 Flash par tâche dans le navigateur ?

DeepSeek V4.1 Flash coûtait de $0.042 à $0.056 par tâche sur les 10 tâches réussies avec les trois outils, aux prix catalogue de DeepSeek. Sur les 25 tâches, échecs compris, il coûtait de $0.066 à $0.067 par tâche avec tous les outils. Le coût par tentative réussie était de $0.097 avec ego-browser, $0.117 avec Playwright CLI et $0.153 avec agent-browser.

Pourquoi DeepSeek V4.1 Flash échoue-t-il sur des tâches dans le navigateur ?

Dans nos exécutions, la plupart des échecs de DeepSeek V4.1 Flash correspondaient à l’épuisement des 100 étapes sans réponse : 4 sur 8 avec ego-browser, 9 sur 11 avec Playwright CLI et 9 sur 14 avec agent-browser. Les autres étaient des réponses incorrectes : 4, 2 et 5. L’épuisement des étapes était le plus fréquent sur les tâches qui recueillent les mêmes champs sur 9 à 12 sites.

DeepSeek V4.1 Flash peut-il remplir des formulaires et mener à bien des processus dans des applications web ?

Oui : DeepSeek V4.1 Flash a réussi nos 4 processus dans des applications web avec ego-browser comme avec Playwright CLI, et 3 sur 4 avec agent-browser. Ils comprenaient la réservation d’un voyage conforme à la politique de déplacement et la création de bons de commande à partir des seuils de réapprovisionnement. La tentative ayant échoué avec agent-browser, la réservation du voyage, a épuisé ses étapes.

DeepSeek V4.1 Flash peut-il recueillir les mêmes données sur de nombreux sites web ?

Pas de manière fiable : sur les 7 tâches qui recueillent les mêmes champs sur 9 à 12 sites, DeepSeek V4.1 Flash en a réussi 2 avec ego-browser, 1 avec Playwright CLI et aucune avec agent-browser. Dans la plupart des tentatives ayant échoué dans ce groupe, les étapes ont été épuisées avant une réponse. Il faisait mieux dans les recherches sur 1 à 3 sites, avec 7 réussites sur 8 avec ego-browser.

À quelle fréquence DeepSeek V4.1 Flash a-t-il explicitement demandé des instantanés de page ?

Des demandes explicites d’instantanés figuraient dans 15.4% des commandes avec agent-browser et 12.6% de celles avec Playwright CLI. Playwright CLI renvoie aussi automatiquement un instantané après chaque commande : les demandes explicites ne mesurent donc pas l’ensemble des instantanés auxquels le modèle a été exposé.

Quand DeepSeek V4.1 Flash remet une réponse, à quelle fréquence est-elle correcte ?

Les réponses de DeepSeek V4.1 Flash ont réussi les vérifications 17 fois sur 21 avec ego-browser, 14 sur 16 avec Playwright CLI et 11 sur 16 avec agent-browser. Les outils différaient davantage par la fréquence à laquelle le modèle aboutissait à une réponse en 100 étapes au maximum : cela s’est produit dans 21 tentatives sur 25 avec ego-browser et dans 16 avec chacun des deux autres outils.

Notre méthode de test

Nous avons comparé DeepSeek V4.1 Flash dans trois configurations d’outils de navigateur sur le même Mac sous macOS. Les tentatives avec ego-browser ont été exécutées le 20 octobre 2026, celles avec agent-browser et Playwright CLI le 5 novembre 2026.

Le modèle était DeepSeek V4.1 Flash (identifiant deepseek-flash), avec un effort de raisonnement élevé, dans l’agent pi doté de ses outils read, write, edit et bash. L’agent disposait du fichier de compétence propre à chaque outil de navigateur. Chaque tentative était limitée à 100 étapes et 60 minutes.

La comparaison utilise les 25 tâches dont les premiers essais sont enregistrés pour les trois configurations. Les tâches de l’album et du salaire minimum comportent des tentatives de remplacement ultérieures, et la définition de la tâche sur les appareils photo varie entre les exécutions archivées. Ces trois tâches sont exclues de toutes les configurations. Les outils étaient ego-browser 2.1.0, agent-browser 0.39.1 et Playwright CLI 0.1.22. ego-browser contrôle ego(lite) : le modèle écrit un script JavaScript, l’exécute avec ego-browser et lit ce que le script affiche. agent-browser et Playwright CLI contrôlaient Chrome, et le modèle exécutait leurs commandes via bash. agent-browser renvoie sur demande un instantané de la page avec des références d’éléments, et Playwright CLI en écrit un après chaque commande.

Chaque outil effectuait une tentative par tâche, et chaque résultat correspond à la première tentative enregistrée pour cette tâche. L’exécution avec ego-browser comportait aussi un second passage, qui a réussi 18 tâches sur 25. Nous présentons son premier passage pour que chaque outil ait le même nombre de tentatives.

Nous avons utilisé 25 tâches sur des sites web en ligne et dans des applications web de test alimentées en nouvelles données pour chaque tentative. Chaque tâche appartient à un seul type de travail, déterminé par le groupe dans lequel elle a été rédigée :

  • Processus dans des applications web (4 tâches), par exemple réserver un voyage conforme à la politique de déplacement.
  • Recherches sur 1 à 3 sites (8), par exemple associer des essais de ClinicalTrials.gov aux documents d’information sur les médicaments de DailyMed.
  • Recherche exploratoire (3), par exemple lire le score et le coût sur le graphique du classement ARC Prize.
  • Publications sur X confrontées à d’autres sources (3), par exemple vérifier une semaine de publications sur les lancements de SpaceX sur X à partir de Wikipedia.
  • Mêmes champs recueillis sur 9 à 12 sites (7), par exemple la première décision de taux de 2026 de 12 banques centrales.

Chaque tâche comporte de 4 à 11 éléments notés. La plupart sont des valeurs fixes ; dans les applications web, ils proviennent des données chargées pour cette tentative, et dans la recherche de vols, ils sont vérifiés sur le site en ligne. Une tentative ne réussit que si tous les éléments sont corrects ; sans réponse finale, elle échoue sur tous les éléments.

Une tentative est une exécution d’une tâche depuis un nouvel état initial ; pour le taux de réussite, on compte les tentatives réussies. Une étape est une réponse du modèle. Un appel d’outil est une commande exécutée par le modèle, comme l’écriture d’un fichier ou une commande bash ; une étape en contient presque toujours un. Une commande de navigateur est un appel d’outil qui contrôle le navigateur : un script ego-browser ou une ligne de commande bash qui exécute agent-browser ou Playwright CLI.

Nous avons compté les commandes de lecture de page sans navigation, clic ni saisie de texte, celles qui combinent modifications et lectures, les demandes explicites d’instantanés et les commandes exécutant le JavaScript du modèle. Le dénominateur est le nombre total de commandes de navigateur dans les 25 tentatives de cet outil. Les étapes par site dans la tâche des téléphones vont de la première ouverture de ce site par le modèle à l’ouverture du suivant.

Le temps additionne l’attente des réponses du modèle et l’exécution des appels d’outils : il comprend donc l’attente de l’API de DeepSeek. La vitesse et le coût sont comparés sur les 10 tâches réussies avec les trois outils. Le coût est calculé en appliquant aux tokens de chaque tentative les prix catalogue de DeepSeek en heures pleines : $0.30 par million de tokens d’entrée, $0.006 par million de tokens lus dans le cache et $1.20 par million de tokens de sortie. DeepSeek facture la moitié de ces montants en heures creuses. Le coût par tentative réussie s’obtient en divisant le coût des 25 tentatives par le nombre de tentatives réussies.

Résultats complets

Chaque cellule présente l’unique tentative de cet outil sur la tâche : le résultat, le temps en secondes (attente des réponses du modèle via l’API de DeepSeek et exécution des appels d’outils) et le coût en dollars américains.

TâcheType de travailego-browserPlaywright CLIagent-browser
Réserver un voyage conforme à la politiqueProcessus dans des applications webRéussite, 168.5 s, $0.040Réussite, 172.0 s, $0.034Étapes épuisées, 516.6 s, $0.072
Mettre les moniteurs de services en conformité avec une normeProcessus dans des applications webRéussite, 126.8 s, $0.035Réussite, 161.5 s, $0.032Réussite, 371.1 s, $0.060
Rapprocher les factures des paiements et ouvrir des litigesProcessus dans des applications webRéussite, 209.0 s, $0.052Réussite, 248.5 s, $0.048Réussite, 721.4 s, $0.061
Créer des bons de commande à partir des seuils de réapprovisionnementProcessus dans des applications webRéussite, 126.6 s, $0.019Réussite, 130.5 s, $0.021Réussite, 333.5 s, $0.036
Comparer trois ordinateurs portables MacRecherches sur 1 à 3 sitesRéussite, 246.6 s, $0.071Réussite, 464.0 s, $0.088Réussite, 295.1 s, $0.069
Rapprocher les recettes au cinéma de six filmsRecherches sur 1 à 3 sitesRéussite, 148.8 s, $0.040Réussite, 139.1 s, $0.024Réussite, 208.4 s, $0.029
État du KYC de quatre entreprises britanniques à un instant donnéRecherches sur 1 à 3 sitesRéussite, 67.0 s, $0.031Réponse incorrecte, 252.9 s, $0.048Réponse incorrecte, 170.2 s, $0.044
Associer des essais cliniques aux documents d’information sur les médicamentsRecherches sur 1 à 3 sitesRéussite, 208.9 s, $0.056Réponse incorrecte, 242.6 s, $0.054Réussite, 284.7 s, $0.049
Inflation issue de FRED, vérifiée à partir du BLSRecherches sur 1 à 3 sitesRéussite, 79.6 s, $0.030Réussite, 238.5 s, $0.037Réussite, 198.6 s, $0.027
Tarifs les plus bas sans escale sur un site de recherche de volsRecherches sur 1 à 3 sitesRéussite, 525.4 s, $0.079Étapes épuisées, 2136.3 s, $0.076Étapes épuisées, 912.6 s, $0.080
Fonctionnalités web sur MDN et Can I useRecherches sur 1 à 3 sitesRéponse incorrecte, 196.7 s, $0.051Réussite, 181.9 s, $0.036Réponse incorrecte, 157.9 s, $0.036
Notes d’étude à partir d’un cours, de code et d’un article scientifiqueRecherches sur 1 à 3 sitesRéussite, 503.1 s, $0.043Réussite, 1289.0 s, $0.085Réussite, 423.1 s, $0.036
Lire le graphique du classement ARC PrizeRecherche exploratoireRéussite, 125.4 s, $0.068Réussite, 227.0 s, $0.066Réussite, 390.5 s, $0.122
Modèles dépassant les seuils de calcul de l’UERecherche exploratoireRéussite, 57.6 s, $0.036Réussite, 87.9 s, $0.027Réussite, 216.9 s, $0.063
Remonter aux sources d’un tableau de WikipediaRecherche exploratoireRéponse incorrecte, 168.5 s, $0.053Réussite, 316.0 s, $0.064Réponse incorrecte, 435.7 s, $0.092
Publications sur X concernant la sécurité de 8 projets open source, confrontées aux avis de sécuritéPublications sur X confrontées à d’autres sourcesRéussite, 1128.3 s, $0.123Étapes épuisées, 1321.6 s, $0.102Étapes épuisées, 1467.7 s, $0.096
8 lancements de produits : publications sur X confrontées aux communiqués de pressePublications sur X confrontées à d’autres sourcesRéponse incorrecte, 1011.8 s, $0.090Étapes épuisées, 778.1 s, $0.071Réponse incorrecte, 753.7 s, $0.092
Publications sur X au sujet des lancements de SpaceX, confrontées à WikipediaPublications sur X confrontées à d’autres sourcesRéussite, 544.1 s, $0.029Réussite, 1086.8 s, $0.071Réussite, 835.3 s, $0.057
Décisions de taux de 12 banques centralesMêmes champs recueillis sur 9 à 12 sitesRéponse incorrecte, 339.0 s, $0.121Étapes épuisées, 397.0 s, $0.073Étapes épuisées, 423.1 s, $0.082
Présentations principales de 9 conférences pour développeursMêmes champs recueillis sur 9 à 12 sitesÉtapes épuisées, 814.3 s, $0.142Étapes épuisées, 561.5 s, $0.098Étapes épuisées, 551.0 s, $0.071
9 SUV électriquesMêmes champs recueillis sur 9 à 12 sitesÉtapes épuisées, 478.8 s, $0.101Étapes épuisées, 522.8 s, $0.083Étapes épuisées, 737.8 s, $0.074
9 modèles à poids ouvertsMêmes champs recueillis sur 9 à 12 sitesRéussite, 420.2 s, $0.108Étapes épuisées, 572.8 s, $0.109Étapes épuisées, 529.5 s, $0.109
Téléphones haut de gamme de 9 marquesMêmes champs recueillis sur 9 à 12 sitesRéussite, 354.4 s, $0.069Étapes épuisées, 552.4 s, $0.082Étapes épuisées, 521.6 s, $0.071
Conformité de 9 fournisseurs SaaSMêmes champs recueillis sur 9 à 12 sitesÉtapes épuisées, 411.8 s, $0.072Étapes épuisées, 863.8 s, $0.114Étapes épuisées, 661.6 s, $0.071
Offres gratuites de 9 plateformes serverlessMêmes champs recueillis sur 9 à 12 sitesÉtapes épuisées, 396.3 s, $0.089Réussite, 337.3 s, $0.100Réponse incorrecte, 494.7 s, $0.081