Les performances de GPT-6.1 Sol avec trois outils de navigation

15 min de lecture
Fleurs à l’aquarelle sur fond bleu pâle pour le benchmark des outils de navigation de GPT-6.1 Sol

Par défaut, nous ferions fonctionner GPT-6.1 Sol dans ego(lite) via ego-browser. Il a terminé 27 de ses 28 tâches sauvegardées, contre 23 pour agent-browser et 22 pour playwright-cli, et c’était l’outil le plus rapide sur les 18 tâches terminées par les trois. Il n’était pas le moins cher selon tous les indicateurs : playwright-cli dépensait moins par exécution et a réussi une tâche de recherche de vols qu’ego-browser n’a pas réussie.

L’écart le plus net entre les outils de navigation de GPT-6.1 Sol apparaît dans la collecte de données multisites, lorsqu’une tâche consiste à extraire les mêmes champs de plusieurs sources officielles. Ego-browser a réussi les dix tâches de ce type, contre six pour agent-browser et sept pour playwright-cli. Ego-browser, agent-browser et playwright-cli ont obtenu les mêmes résultats sur les trois tâches de recherche et synthèse et sur les quatre tâches d’automatisation d’applications web dans nos applications de test : la vitesse et le coût départagent donc les outils dans ces deux groupes.

Avec nos réglages, ego-browser arrive en tête pour la réussite et la vitesse, tandis que playwright-cli affiche le coût moyen par exécution le plus bas, à $0.4182. Grâce à un taux de réussite plus élevé, ego-browser a affiché le coût par tâche réussie le plus bas, à $0.4646 ; sur les 18 tâches communes, son coût moyen s’écartait de 5.4% de celui de playwright-cli.

Les autres variables de ce test sont restées fixes sur toutes les tentatives : les différences présentées ci-dessous proviennent donc de l’outil qui effectuait la navigation. Une tentative est une exécution sauvegardée d’une tâche, issue du premier passage de l’outil dans le benchmark.

Outil de navigationTaux de réussiteTemps moyen par tâcheCoût moyen enregistré par tâche
ego-browser96.4% (27/28)246.7 s$0.3352
agent-browser82.1% (23/28)452.5 s$0.4702
playwright-cli78.6% (22/28)399.9 s$0.3542

Le taux de réussite porte sur 28 tentatives sauvegardées par outil. Le temps et le coût portent sur les mêmes 18 tâches réussies par les trois outils. Les coûts sont des montants d’exécution enregistrés, calculés à partir de l’usage, en USD. La ligne ego-browser utilise sa version de test du 7 novembre 2026 et les autres lignes les exécutions du 5 novembre 2026.

Taux de réussite

Barres du taux de réussite sur une échelle de zéro à 100 pour cent : ego-browser 96.4% (27/28), agent-browser 82.1% (23/28), playwright-cli 78.6% (22/28).

ego-browser affiche le meilleur taux de réussite, et terminer les tâches est ce pour quoi nous paierions en premier : un seul champ manquant vous renvoie à la recherche. Il a réussi 27 tâches sur 28, soit quatre de plus qu’agent-browser, sans échouer à aucune tâche réussie par ce dernier. Ego-browser a réussi six tâches sur lesquelles playwright-cli a échoué, et playwright-cli en a réussi une sur laquelle ego-browser a échoué. Playwright-cli a aussi réussi les huit tâches de recherche et comparaison, contre sept pour ego-browser.

Agent-browser a échoué de deux façons : trois réponses contenaient des valeurs erronées ou manquantes et deux tentatives se sont terminées sans réponse finale. Dans cinq de ses six échecs, Playwright-cli a omis une valeur obligatoire. Trois de ces échecs concernaient des publications sur X dont il déclarait les horodatages indisponibles ; agent-browser a réussi les trois tâches sur ces publications.

Les deux autres valeurs manquantes étaient le nombre de pistes sur Qobuz dans une tâche sur un album, réussie par ego-browser, et le nombre de tokens d’entraînement de Phi-4 dans une comparaison de modèles ouverts.

Dans une comparaison de vols, GPT-6.1 Sol avec ego-browser a indiqué un tarif supérieur à un prix plus bas déjà observé avec les mêmes paramètres : sa réponse ne remplissait donc pas les conditions d’acceptation de la tâche, alors que la tentative avec playwright-cli a réussi. Même un tableau complet peut contenir la valeur qui change votre décision.

Vitesse

En matière de vitesse, ego-browser a réduit presque de moitié l’attente sur les 18 tâches réussies par les trois outils. Sa moyenne était de 246.7 secondes par tâche, soit 45.5% de moins qu’agent-browser et 38.3% de moins que playwright-cli. Il était aussi plus rapide sur 15 des 18 tâches face à agent-browser et sur 17 face à playwright-cli.

Temps moyen écoulé sur les mêmes 18 tâches réussies par les trois outils : ego-browser 246.7 secondes, agent-browser 452.5 secondes, playwright-cli 399.9 secondes. Les barres bleues et grises partent de zéro.

GPT-6.1 Sol a fait moins d’appels d’outils pour le même travail, un appel d’outil étant une requête adressée à un outil : 28.1 par tâche avec ego-browser, 44.1 avec agent-browser et 36.8 avec playwright-cli. L’exécution des outils a pris 84.4 secondes avec ego-browser, contre 210.0 avec agent-browser et 215.6 avec playwright-cli.

La tâche sur les appareils photo illustre l’écart sur un travail courant : les trois outils ont terminé la comparaison portant sur huit marques d’appareils photo. GPT-6.1 Sol a mis 330.2 secondes avec ego-browser, 597.2 avec agent-browser et 598.5 avec playwright-cli, en utilisant respectivement 29, 57 et 54 appels d’outils pour obtenir le même résultat accepté.

ego(lite) affiche Canon Canada avec l’indication Agent in control en surimpression pendant une comparaison de caractéristiques d’appareils photo.

Coût

Sans dégrader le taux de réussite, ego-browser coûte moins qu’agent-browser. Sur les 18 tâches communes, il était 28.7% moins cher et coûtait moins sur 15 d’entre elles, avec le même modèle et moins d’appels d’outils par tâche.

Le coût de Playwright-cli sur les tâches communes est assez proche pour que nous ne choisissions pas entre ego-browser et playwright-cli sur ce seul chiffre. Leurs moyennes diffèrent de 5.4% ; ego-browser était moins cher sur dix tâches, playwright-cli sur huit. En comptant les échecs, le coût enregistré par réussite d’ego-browser passe sous celui de playwright-cli : $0.4646 contre $0.5322.

Le coût moyen de toutes les tentatives et le coût par tâche réussie répondent à deux questions différentes ; nous conservons donc les deux. Le premier indique ce que consomme une exécution ; le second divise la dépense enregistrée, échecs compris, par le nombre de réussites.

Outil de navigationCoût moyen enregistré par tâche sur les 28 tentativesCoût enregistré par tentative réussie
ego-browser$0.4480$0.4646
agent-browser$0.5938$0.7229
playwright-cli$0.4182$0.5322

Ces chiffres portent sur les mêmes exécutions du premier passage : ego-browser le 7 novembre 2026, les autres outils le 5 novembre 2026. Ce sont des montants enregistrés et calculés à partir de l’usage, hors coûts d’évaluation et hors nouvelles tentatives antérieures absentes des lignes sauvegardées ; ce ne sont pas des factures vérifiées.

Playwright-cli est le moins cher par exécution, à $0.4182. Ego-browser affiche le coût enregistré par réussite le plus bas, à $0.4646, car davantage de ses exécutions ont satisfait toutes les exigences. Aucun de ces chiffres ne signifie qu’ego-browser est le moins cher sur chaque tâche.

Collecte de données multisites

Lorsque GPT-6.1 Sol doit collecter les mêmes champs dans plusieurs sources officielles, ego-browser est le choix le plus évident. Il a réussi les dix tâches, contre six pour agent-browser et sept pour playwright-cli ; l’écart est plus marqué que dans la comparaison globale.

Outil de navigationTaux de réussite en collecte de données multisites
ego-browser100.0% (10/10)
agent-browser60.0% (6/10)
playwright-cli70.0% (7/10)

Ce groupe utilise les mêmes exécutions du premier passage que la vue d’ensemble : ego-browser le 7 novembre 2026, les deux autres outils le 5 novembre 2026.

Carte thermique pour ego-browser, agent-browser, playwright-cli. Collecte multisites : 10 sur 10, 6 sur 10, 7 sur 10. Recherche et comparaison : 7 sur 8, 7 sur 8, 8 sur 8. Vérification sur les réseaux sociaux : 3 sur 3, 3 sur 3, 0 sur 3. Recherche et synthèse : tous à 3 sur 3. Automatisation d’applications web : tous à 4 sur 4. L’échelle de couleur va de zéro à 100 pour cent pour chaque cellule.

Lorsque chaque ligne doit être remplie, un écart de trois ou quatre tâches détermine si le tableau est utilisable. Ces dix tâches concernaient des décisions de banques centrales, des caractéristiques de produits et des comparaisons de conformité SaaS.

La tâche SaaS montre pourquoi une cellule remplie peut tout de même être fausse. Elle demandait le statut de certification au 30 septembre 2026, mais agent-browser et playwright-cli ont tous deux indiqué que Smartsheet était certifié alors que le statut requis était certification en cours. La tentative avec ego-browser a correctement renseigné tous les champs de la comparaison.

L’outil que nous choisirions

Pour des livrables de recherche complets, surtout en collecte de données multisites, nous associerions GPT-6.1 Sol avec un effort de raisonnement high à ego-browser via pi. Cette combinaison avait le meilleur taux de réussite, l’attente la plus courte sur les tâches communes et un coût inférieur à celui d’agent-browser, tout en restant proche de celui de playwright-cli.

Nous garderions playwright-cli lorsque le coût d’exécution est prioritaire ou que le travail relève de la recherche et comparaison. Il a réussi les huit tâches de ce type, contre sept chacun pour ego-browser et agent-browser : ces huit tâches ne donnent donc pas de raison de remplacer une configuration playwright-cli qui fonctionne.

Agent-browser a réussi une tâche de plus que playwright-cli, mais pour un coût enregistré supérieur : le total seul ne justifie donc pas fortement de le préférer. Il a réussi les trois tâches sur des publications X, contre aucune pour playwright-cli, ce qui explique une part importante de l’écart d’une tâche.

Questions fréquentes

Quel outil de navigation a réussi le plus de tentatives avec GPT-6.1 Sol ?

ego-browser en a terminé le plus, avec 27 réussites sur 28 tentatives sauvegardées, contre 23 pour agent-browser et 22 pour playwright-cli. Le modèle, l’environnement d’agent pi et les tâches sont restés fixes ; chaque outil apporte une exécution sauvegardée par tâche, issue de son premier passage. La collecte de données multisites explique les quatre tâches d’écart avec agent-browser.

Quel outil de navigation était le plus rapide avec GPT-6.1 Sol ?

ego-browser était le plus rapide, avec 246.7 secondes par tâche en moyenne sur les 18 tâches réussies par les trois outils. Avec le même modèle, agent-browser affichait une moyenne de 452.5 secondes et playwright-cli de 399.9 secondes. Ego-browser était aussi plus rapide sur 15 tâches face à agent-browser et sur 17 face à playwright-cli : la moyenne reflète donc une avance étendue.

Combien coûte GPT-6.1 Sol par tâche de navigation ?

Sur les 18 tâches communes, le coût moyen enregistré de GPT-6.1 Sol était de $0.3352 avec ego-browser, $0.4702 avec agent-browser et $0.3542 avec playwright-cli. Sur les 28 tentatives, ces moyennes étaient respectivement de $0.4480, $0.5938 et $0.4182. Il s’agit de montants d’exécution enregistrés et calculés à partir de l’usage, et non de factures vérifiées ; les coûts d’évaluation sont exclus.

L’exécution la moins chère en moyenne donnait-elle aussi le coût par réussite le plus bas ?

Playwright-cli avait le coût moyen d’exécution le plus bas, à $0.4182, mais ego-browser avait le coût enregistré par réussite le plus bas, à $0.4646. Celui d’agent-browser était de $0.7229 et celui de playwright-cli de $0.5322. Nous avons divisé la dépense enregistrée de chaque outil sur 28 tentatives, échecs compris, par son nombre de réussites.

ego-browser a-t-il battu playwright-cli sur chaque tâche ?

ego-browser a réussi 6 tâches sur lesquelles playwright-cli a échoué, mais playwright-cli en a réussi 1 sur laquelle ego-browser a échoué. Le contre-exemple était une comparaison de vols où GPT-6.1 Sol avec ego-browser a indiqué un tarif supérieur à un prix plus bas remplissant les critères. Nous comptons cette réponse comme un échec, même si le modèle a renvoyé un tableau.

Quel outil choisirions-nous pour la collecte de données multisites ?

Nous choisirions ego-browser pour la collecte de données multisites avec GPT-6.1 Sol : il a réussi les 10 tentatives. Agent-browser en a réussi six et playwright-cli sept sur les mêmes tâches. La comparaison SaaS montre pourquoi la réussite compte : les deux autres outils ont utilisé un statut de certification erroné à la date de référence demandée.

Remplacerions-nous playwright-cli pour la recherche et comparaison ?

Nous ne remplacerions pas playwright-cli pour des raisons de réussite sur ces 8 tâches de recherche et comparaison : il a réussi les 8. Ego-browser et agent-browser en ont chacun réussi 7. La comparaison de vitesse favorise ego-browser : le temps d’attente est donc une meilleure raison d’envisager un changement dans ce groupe.

Une réussite de plus fait-elle d’agent-browser un meilleur choix que playwright-cli ?

Les 23 réussites d’Agent-browser contre les 22 de playwright-cli ne justifient pas fortement de le préférer globalement. Agent-browser coûtait aussi davantage sur les tâches communes, à $0.4702 par tâche en moyenne, contre $0.3542 pour playwright-cli. Leurs résultats variaient selon la tâche, notamment trois tâches sur des publications X réussies par agent-browser et aucune par playwright-cli ; nous adapterions donc le choix au travail.

Les trois outils ont-ils obtenu le même résultat sur les tâches de recherche et d’applications web ?

Les trois outils ont réussi les 3 tâches de recherche et synthèse et les 4 tâches d’automatisation d’applications web dans nos applications de test. Ces résultats ne donnent pas de raison de les classer à l’intérieur de l’un ou l’autre groupe. Notre préférence pour ego-browser repose sur le temps d’attente et le coût enregistré, et non sur un avantage de réussite dans ces 7 tâches.

Le second passage d’ego-browser a-t-il changé le choix global ?

ego-browser a réussi 26 des mêmes 28 tâches lors de son second passage, tandis qu’agent-browser et playwright-cli conservaient leurs 23 et 22 réussites du premier passage. Son temps moyen sur les 18 tâches communes était de 252.4 secondes, contre 452.5 et 399.9 secondes pour les deux autres outils. Nous conservons le premier passage comme résultat principal, au lieu de mélanger les deux passages d’ego-browser dans le classement.

Notre méthode de test

Nous avons analysé des exécutions archivées de GPT-6.1 Sol avec un effort de raisonnement high, via pi 1.5.0 sur macOS, selon la route openai-codex enregistrée. La configuration indiquait agent-browser 0.39.1 et playwright-cli 0.1.22 pour les exécutions du 5 novembre 2026 ; la version de test local-202611071027-ba90f1c d’ego-browser a été exécutée le 7 novembre 2026. Chaque configuration utilisait la skill et la CLI fournies pour observer les pages et effectuer les actions dans le navigateur.

Les 28 tâches sont celles que les deux autres outils avaient déjà exécutées, tirées du jeu de données efficiency-20261019 de 72 tâches. Chaque tâche appartient à un seul groupe : collecte de données multisites, recherche et comparaison, vérification sur les réseaux sociaux, recherche et synthèse ou automatisation d’applications web.

Le premier passage de chaque outil dans le benchmark apporte une exécution sauvegardée par tâche, soit 28 tentatives par outil. Ego-browser a aussi effectué un second passage, que nous présentons séparément. Le budget était de 100 tours de réponse du modèle, avec une limite de 3 600 secondes. Un appel d’outil est une requête adressée à un outil ; pour réussir, tous les résultats obligatoires et le livrable final doivent satisfaire les conditions d’acceptation de la tâche.

Le temps et le coût portent sur les 18 tâches réussies par les trois outils. Le temps comprend la réflexion, les requêtes au modèle, l’exécution des outils et le reste du temps de fonctionnement. Les coûts sont les montants d’usage enregistrés en USD. L’état du navigateur fourni aux outils différait ; nous avons donc aussi vérifié les résultats sans les trois tâches sur des publications X : 24/25, 20/25 et 22/25, dans le même ordre d’outils.

Résultats complets

Chaque cellule indique le nombre de tentatives réussies, le temps écoulé en secondes et le coût enregistré en USD de l’exécution sauvegardée du premier passage. Le temps écoulé comprend l’attente de l’API du modèle. Une seule tentative par outil est incluse pour chaque tâche : la moyenne de la tâche est donc égale à la valeur de cette tentative. Les lignes utilisent l’exécution d’ego-browser du 7 novembre 2026 et celles des autres outils du 5 novembre 2026.

TâcheType de travailego-browseragent-browserplaywright-cli
Comparer les métadonnées d’un album sur neuf servicesCollecte de données multisites1/1 · 307.7 s · $0.77241/1 · 740.8 s · $0.99500/1 · 524.0 s · $0.6029
Recueillir les caractéristiques de huit marques d’appareils photoCollecte de données multisites1/1 · 330.2 s · $0.47511/1 · 597.2 s · $0.68651/1 · 598.5 s · $0.5201
Recueillir les décisions de douze banques centralesCollecte de données multisites1/1 · 382.8 s · $0.65780/1 · 760.3 s · $1.00791/1 · 816.4 s · $0.9166
Recouper les présentations principales des conférences et leurs enregistrementsCollecte de données multisites1/1 · 385.6 s · $0.56591/1 · 672.0 s · $0.94891/1 · 884.2 s · $0.9596
Comparer les caractéristiques de SUV électriquesCollecte de données multisites1/1 · 633.2 s · $1.25900/1 · 748.7 s · $0.80061/1 · 981.4 s · $0.7713
Comparer les fiches de modèles ouverts et leurs annoncesCollecte de données multisites1/1 · 424.5 s · $0.64861/1 · 828.6 s · $1.01990/1 · 680.6 s · $0.7187
Comparer les salaires minimaux dans neuf juridictionsCollecte de données multisites1/1 · 451.9 s · $0.61081/1 · 762.6 s · $1.07611/1 · 763.2 s · $0.7392
Comparer les caractéristiques de smartphones haut de gammeCollecte de données multisites1/1 · 448.7 s · $0.64441/1 · 931.9 s · $0.94231/1 · 676.3 s · $0.6352
Comparer la conformité SaaS à une date de référenceCollecte de données multisites1/1 · 472.3 s · $0.62570/1 · 895.0 s · $0.73630/1 · 848.0 s · $0.5770
Comparer les quotas gratuits de plateformes serverlessCollecte de données multisites1/1 · 205.5 s · $0.32250/1 · 682.0 s · $0.52931/1 · 411.8 s · $0.3951
Lire un classement ARC interactifRecherche et synthèse1/1 · 224.4 s · $0.27081/1 · 416.6 s · $0.46581/1 · 220.2 s · $0.1853
Analyser un jeu de données d’entraînement de modèlesRecherche et synthèse1/1 · 87.1 s · $0.08091/1 · 137.7 s · $0.14741/1 · 155.5 s · $0.1321
Retrouver les sources d’un tableau de modèlesRecherche et synthèse1/1 · 285.6 s · $0.22881/1 · 245.5 s · $0.30041/1 · 377.5 s · $0.1890
Comparer et configurer des ordinateurs portables MacRecherche et comparaison1/1 · 301.3 s · $0.61191/1 · 383.0 s · $0.43991/1 · 337.2 s · $0.3669
Recouper les recettes au box-office de six filmsRecherche et comparaison1/1 · 184.9 s · $0.20341/1 · 360.5 s · $0.33941/1 · 201.6 s · $0.1506
Vérifier quatre entreprises dans un registre publicRecherche et comparaison1/1 · 182.5 s · $0.28831/1 · 626.9 s · $0.39271/1 · 230.2 s · $0.1784
Recouper des essais cliniques et les notices des médicamentsRecherche et comparaison1/1 · 372.8 s · $0.47871/1 · 368.7 s · $0.41761/1 · 383.1 s · $0.3515
Recouper des séries d’inflation et des statistiquesRecherche et comparaison1/1 · 132.8 s · $0.19571/1 · 507.1 s · $0.37231/1 · 548.9 s · $0.2209
Comparer les vols et tarifs remplissant les critèresRecherche et comparaison0/1 · 341.5 s · $0.44640/1 · 986.7 s · $1.10871/1 · 504.3 s · $0.4713
Recouper des tableaux de compatibilité des navigateursRecherche et comparaison1/1 · 175.1 s · $0.19161/1 · 147.8 s · $0.20921/1 · 294.6 s · $0.1973
Recouper un cours, son code et son article scientifiqueRecherche et comparaison1/1 · 202.3 s · $0.42431/1 · 274.3 s · $0.34911/1 · 666.0 s · $0.7001
Vérifier des publications sur la sécurité sur X à partir des informations publiéesVérification sur les réseaux sociaux1/1 · 535.7 s · $0.89791/1 · 780.7 s · $0.89230/1 · 405.8 s · $0.3921
Vérifier des publications de produits sur X à partir des annoncesVérification sur les réseaux sociaux1/1 · 710.3 s · $0.71551/1 · 851.2 s · $0.92360/1 · 466.5 s · $0.4007
Recouper des publications de lancements sur X et des listes de référenceVérification sur les réseaux sociaux1/1 · 168.9 s · $0.16501/1 · 263.9 s · $0.15050/1 · 172.0 s · $0.0880
Réserver un voyage conforme aux règles d’une application de testAutomatisation d’applications web1/1 · 194.1 s · $0.25701/1 · 303.2 s · $0.28531/1 · 208.4 s · $0.2240
Mettre à jour des moniteurs de services dans une application de testAutomatisation d’applications web1/1 · 137.5 s · $0.13381/1 · 419.9 s · $0.41411/1 · 152.9 s · $0.1528
Rapprocher des créances dans une application de testAutomatisation d’applications web1/1 · 227.7 s · $0.23121/1 · 628.3 s · $0.43291/1 · 291.9 s · $0.3085
Créer des commandes de réapprovisionnement dans une application de testAutomatisation d’applications web1/1 · 116.8 s · $0.14151/1 · 361.8 s · $0.24371/1 · 208.4 s · $0.1640

Continuer la lecture