Come si è comportato GPT-6.1 Sol con tre strumenti per il browser

15 min di lettura
Fiori ad acquerello su sfondo azzurro per il benchmark degli strumenti per il browser con GPT-6.1 Sol

Come configurazione predefinita, useremmo GPT-6.1 Sol in ego(lite) tramite ego-browser. Ha completato 27 delle 28 attività salvate, contro le 23 di agent-browser e le 22 di playwright-cli, ed è stato lo strumento più veloce sulle 18 attività completate da tutti e tre. Non è stato il più economico secondo ogni criterio: playwright-cli ha speso meno per esecuzione e ha superato un’attività di ricerca voli fallita con ego-browser.

La differenza più marcata tra gli strumenti per il browser con GPT-6.1 Sol emerge nella raccolta dati da più siti, quando un’attività richiede gli stessi campi da diverse fonti ufficiali. Ego-browser ha superato tutte e dieci queste attività, contro le sei di agent-browser e le sette di playwright-cli. Ego-browser, agent-browser e playwright-cli hanno ottenuto gli stessi risultati nelle tre attività di ricerca e sintesi e nelle quattro attività di automazione web all’interno delle nostre applicazioni di test: in questi due gruppi sono quindi velocità e costo a decidere.

Con le nostre impostazioni, ego-browser è in testa per completamento e velocità, mentre playwright-cli ha il costo medio per esecuzione più basso, pari a $0.4182. Grazie al tasso di successo più alto, ego-browser ha il costo per attività riuscita più basso, $0.4646; sulle 18 attività comuni, il suo costo medio si discosta da quello di playwright-cli del 5.4%.

Le altre variabili del test sono rimaste fisse in tutti i tentativi, quindi le differenze riportate di seguito derivano dallo strumento che ha eseguito la navigazione. Un tentativo è una singola esecuzione salvata di un’attività, tratta dalla prima tornata di benchmark di quello strumento.

Strumento per il browserTasso di successoTempo medio per attivitàCosto medio registrato per attività
ego-browser96.4% (27/28)246.7 s$0.3352
agent-browser82.1% (23/28)452.5 s$0.4702
playwright-cli78.6% (22/28)399.9 s$0.3542

Il tasso di successo considera 28 tentativi salvati per strumento. Tempo e costo riguardano le stesse 18 attività riuscite a tutti e tre gli strumenti. I costi sono importi in USD registrati per le esecuzioni e calcolati in base all’utilizzo. La riga di ego-browser usa la build di test del 7 novembre 2026, le altre righe usano le esecuzioni del 5 novembre 2026.

Tasso di successo

Barre del tasso di successo su una scala da zero a 100 percento: ego-browser 96.4% (27/28), agent-browser 82.1% (23/28), playwright-cli 78.6% (22/28).

Il tasso di successo più alto è di ego-browser, e il completamento è ciò per cui pagheremmo prima di tutto: basta un campo mancante per dover tornare alla ricerca. Ha superato 27 attività su 28, quattro più di agent-browser, senza fallire nessuna attività completata da agent-browser. Ego-browser ha superato sei attività fallite con playwright-cli, mentre playwright-cli ne ha superata una fallita con ego-browser. Playwright-cli ha anche superato tutte e otto le attività di ricerca e confronto, mentre ego-browser ne ha superate sette.

Agent-browser ha fallito in due modi: tre risposte contenevano valori errati o mancanti e due tentativi sono terminati senza risposta finale. Playwright-cli ha omesso un valore obbligatorio in cinque dei suoi sei fallimenti. Tre di questi riguardavano post su X, per i quali ha dichiarato che le date e ore di pubblicazione non erano disponibili; agent-browser ha superato tutti e tre quei post su X.

Gli altri due valori mancanti erano il numero di tracce su Qobuz in un’attività relativa a un album, completata da ego-browser, e i token di addestramento di Phi-4 in un confronto tra modelli aperti.

In un confronto di voli, GPT-6.1 Sol con ego-browser ha riportato una tariffa superiore a un prezzo più basso già visto con le stesse impostazioni. La risposta ha quindi fallito i criteri di accettazione dell’attività, mentre il tentativo con playwright-cli è riuscito. Anche una tabella completa può contenere quel singolo valore che cambia la tua decisione.

Velocità

In termini di velocità, ego-browser ha quasi dimezzato l’attesa sulle 18 attività riuscite a tutti e tre gli strumenti. Ha impiegato in media 246.7 secondi per attività, il 45.5% in meno di agent-browser e il 38.3% in meno di playwright-cli. È stato anche più veloce in 15 delle 18 attività rispetto ad agent-browser e in 17 rispetto a playwright-cli.

Tempo medio trascorso sulle stesse 18 attività riuscite a tutti gli strumenti: ego-browser 246.7 secondi, agent-browser 452.5 secondi, playwright-cli 399.9 secondi. Le barre blu e grigie partono da zero.

GPT-6.1 Sol ha effettuato meno chiamate agli strumenti per lo stesso lavoro; una chiamata è una singola richiesta a uno strumento: 28.1 per attività con ego-browser, 44.1 con agent-browser e 36.8 con playwright-cli. L’esecuzione degli strumenti ha richiesto 84.4 secondi con ego-browser, contro 210.0 secondi con agent-browser e 215.6 con playwright-cli.

L’attività sulle fotocamere mostra la differenza in un lavoro ordinario: tutti e tre gli strumenti hanno completato il confronto tra otto marchi di fotocamere. GPT-6.1 Sol ha impiegato 330.2 secondi con ego-browser, 597.2 con agent-browser e 598.5 con playwright-cli, usando rispettivamente 29, 57 e 54 chiamate agli strumenti per ottenere lo stesso risultato accettato.

ego(lite) mostra Canon Canada con l’indicatore Agent in control in sovrimpressione durante un confronto di specifiche di fotocamere.

Costo

Senza ridurre il tasso di completamento, ego-browser costa meno di agent-browser. Sulle 18 attività comuni è costato il 28.7% in meno ed è stato più economico in 15 di esse, con lo stesso modello e meno chiamate agli strumenti per attività.

Playwright-cli è abbastanza vicino a ego-browser per costo sulle attività comuni da non farci scegliere tra i due soltanto in base a quel dato. Le loro medie differiscono del 5.4%: ego-browser è stato meno costoso in dieci attività, playwright-cli in otto. Includendo i fallimenti, il costo registrato per successo di ego-browser scende al di sotto di quello di playwright-cli: $0.4646 contro $0.5322.

Il costo medio su tutti i tentativi e il costo per attività riuscita rispondono a domande diverse, perciò manteniamo entrambi. Il primo mostra quanto costa una singola esecuzione; il secondo divide la spesa registrata, fallimenti compresi, per il numero di successi.

Strumento per il browserCosto medio registrato per attività su tutti i 28 tentativiCosto registrato per tentativo riuscito
ego-browser$0.4480$0.4646
agent-browser$0.5938$0.7229
playwright-cli$0.4182$0.5322

Questi dati usano le stesse esecuzioni della prima tornata: ego-browser il 7 novembre 2026 e gli altri strumenti il 5 novembre 2026. Sono importi registrati e calcolati in base all’utilizzo, che escludono i costi di valutazione e i precedenti tentativi ripetuti non presenti nelle righe salvate; non sono fatture verificate.

Playwright-cli è il più economico per esecuzione, a $0.4182. Ego-browser ha il costo registrato per successo più basso, $0.4646, perché un maggior numero delle sue esecuzioni ha soddisfatto tutti i requisiti. Nessuno dei due dati rende ego-browser il più economico in ogni attività.

Raccolta dati da più siti

Quando GPT-6.1 Sol deve raccogliere gli stessi campi da diverse fonti ufficiali, ego-browser è la scelta più chiara. Ha superato tutte e dieci le attività, mentre agent-browser ne ha superate sei e playwright-cli sette: il divario è più ampio rispetto al confronto complessivo.

Strumento per il browserTasso di successo nella raccolta dati da più siti
ego-browser100.0% (10/10)
agent-browser60.0% (6/10)
playwright-cli70.0% (7/10)

Questo gruppo usa le stesse esecuzioni della prima tornata del riepilogo: ego-browser il 7 novembre 2026 e gli altri due strumenti il 5 novembre 2026.

Mappa di calore per ego-browser, agent-browser, playwright-cli. Raccolta da più siti: 10 su 10, 6 su 10, 7 su 10. Ricerca e confronto: 7 su 8, 7 su 8, 8 su 8. Verifica sui social: 3 su 3, 3 su 3, 0 su 3. Ricerca e sintesi: tutti 3 su 3. Automazione di applicazioni web: tutti 4 su 4. La scala cromatica va da zero a 100 percento per ogni cella.

Quando ogni riga deve essere compilata, un divario di tre o quattro attività decide se puoi usare la tabella. Queste dieci attività riguardavano decisioni delle banche centrali, specifiche di prodotti e confronti sulla conformità dei servizi SaaS.

L’attività sui SaaS mostra perché una cella compilata può comunque essere errata. La richiesta riguardava lo stato della certificazione al 30 settembre 2026: sia agent-browser sia playwright-cli hanno indicato Smartsheet come certificato, mentre lo stato richiesto era certificazione in corso. Il tentativo con ego-browser ha riportato correttamente tutti i campi del confronto.

Quale strumento useremmo

Per consegnare ricerche complete, soprattutto nella raccolta dati da più siti, abbineremmo GPT-6.1 Sol con livello di ragionamento high a ego-browser tramite pi. Questa combinazione ha avuto il tasso di completamento più alto, l’attesa più breve sulle attività comuni e un costo inferiore a quello di agent-browser e vicino a quello di playwright-cli.

Manterremmo playwright-cli quando il costo di esecuzione conta più di tutto o il lavoro assomiglia a quello di ricerca e confronto. Ha superato tutte e otto queste attività, mentre ego-browser e agent-browser ne hanno superate sette ciascuno: questi otto casi non danno motivo di sostituire una configurazione playwright-cli funzionante.

Agent-browser ha superato un’attività in più di playwright-cli, ma con un costo registrato maggiore: il solo conteggio complessivo non dà quindi un motivo forte per preferirlo. Ha completato con successo le attività su tre post di X, mentre playwright-cli non ne ha completata nessuna, e questo spiega una parte importante del divario di una sola attività.

Domande frequenti

Quale strumento per il browser ha completato il maggior numero di tentativi con GPT-6.1 Sol?

ego-browser ne ha completati di più: 27 tentativi riusciti su 28 salvati, contro i 23 di agent-browser e i 22 di playwright-cli. Modello, ambiente per agenti pi e attività sono rimasti fissi; ogni strumento ha contribuito con una sola esecuzione salvata per attività dalla sua prima tornata. La raccolta dati da più siti spiega il vantaggio di quattro attività su agent-browser.

Quale strumento per il browser è stato più veloce con GPT-6.1 Sol?

ego-browser è stato il più veloce: in media 246.7 secondi per attività sulle 18 attività riuscite a tutti e tre gli strumenti. Con lo stesso modello, agent-browser ha impiegato in media 452.5 secondi e playwright-cli 399.9 secondi. Ego-browser è stato anche più veloce in 15 attività rispetto ad agent-browser e in 17 rispetto a playwright-cli: la media riflette quindi un vantaggio diffuso.

Quanto costa un’attività nel browser con GPT-6.1 Sol?

Sulle 18 attività comuni, il costo medio registrato di GPT-6.1 Sol è stato $0.3352 con ego-browser, $0.4702 con agent-browser e $0.3542 con playwright-cli. Su tutti i 28 tentativi, le medie sono state $0.4480, $0.5938 e $0.4182. Sono costi di esecuzione registrati e calcolati in base all’utilizzo, non fatture verificate, ed escludono i costi di valutazione.

L’esecuzione mediamente più economica ha dato anche il costo per successo più basso?

Playwright-cli ha avuto il costo medio di esecuzione più basso, $0.4182, ma ego-browser ha avuto il costo registrato per successo più basso, $0.4646. Il costo per successo di Agent-browser è stato $0.7229 e quello di playwright-cli $0.5322. Per ogni strumento abbiamo diviso la spesa registrata su 28 tentativi, fallimenti inclusi, per il numero di successi.

ego-browser ha vinto tutte le attività contro playwright-cli?

ego-browser ha superato 6 attività fallite con playwright-cli, ma playwright-cli ne ha superata 1 fallita con ego-browser. Il controesempio era un confronto di voli, in cui GPT-6.1 Sol con ego-browser ha riportato una tariffa superiore a un prezzo più basso conforme ai requisiti. Consideriamo quella risposta un fallimento anche se il modello ha restituito una tabella.

Quale strumento sceglieremmo per la raccolta dati da più siti?

Sceglieremmo ego-browser per la raccolta dati da più siti con GPT-6.1 Sol: ha superato tutti e 10 i tentativi. Sulle stesse attività, agent-browser ne ha superati sei e playwright-cli sette. Il confronto sui SaaS mostra perché il completamento conta: entrambe le alternative hanno usato lo stato di certificazione sbagliato rispetto alla data di riferimento richiesta.

Sostituiremmo playwright-cli per il lavoro di ricerca e confronto?

Non sostituiremmo playwright-cli per ragioni di completamento in queste 8 attività di ricerca e confronto, che ha superato tutte e 8. Ego-browser e agent-browser ne hanno superate 7 ciascuno. Il confronto di velocità favorisce ego-browser: il tempo di attesa è quindi il motivo più forte per valutare un cambio in questo gruppo.

Un successo in più rende agent-browser una scelta migliore di playwright-cli?

I 23 successi di Agent-browser contro i 22 di playwright-cli non danno un motivo complessivo forte per preferirlo. Agent-browser è anche costato di più sulle attività comuni: in media $0.4702 per attività contro $0.3542 per playwright-cli. I risultati variano per attività, incluse tre attività sui post di X completate con successo da agent-browser e nessuna da playwright-cli: adatteremmo quindi la scelta al lavoro.

Tutti e tre gli strumenti per il browser hanno ottenuto lo stesso risultato nelle attività di ricerca e nelle applicazioni web?

Tutti e tre gli strumenti hanno superato le 3 attività di ricerca e sintesi e le 4 di automazione web nelle nostre applicazioni di test. Questi risultati non danno motivo di classificarli all’interno di nessuno dei due gruppi. La nostra preferenza per ego-browser si basa sul tempo di attesa e sui costi registrati, senza un vantaggio di completamento in queste 7 attività.

L’uso della seconda tornata di ego-browser ha cambiato la scelta complessiva?

Nella seconda tornata ego-browser ha superato 26 delle stesse 28 attività, mentre agent-browser e playwright-cli sono rimasti rispettivamente a 23 e 22 nelle loro prime tornate. Il suo tempo medio sulle 18 attività comuni è stato 252.4 secondi, contro 452.5 e 399.9 secondi per gli altri due strumenti. Manteniamo la prima tornata come risultato principale, senza mescolare entrambe le tornate di ego-browser nella classifica.

Come abbiamo svolto i test

Abbiamo analizzato esecuzioni archiviate di GPT-6.1 Sol con livello di ragionamento high tramite pi 1.5.0 su macOS, usando il percorso openai-codex registrato. La configurazione specificava agent-browser 0.39.1 e playwright-cli 0.1.22 per le esecuzioni del 5 novembre 2026, mentre la build di test local-202611071027-ba90f1c di ego-browser è stata eseguita il 7 novembre 2026. Ogni configurazione ha usato la skill e la CLI fornite per osservare le pagine ed eseguire azioni nel browser.

Le 28 attività sono quelle già eseguite da entrambi gli strumenti alternativi, selezionate dal dataset efficiency-20261019 di 72 attività. Ognuna appartiene a un solo gruppo: raccolta dati da più siti, ricerca e confronto, verifica sui social media, ricerca e sintesi o automazione di applicazioni web.

La prima tornata di benchmark di ciascuno strumento contribuisce con una sola esecuzione salvata per attività, per un totale di 28 tentativi per strumento. Ego-browser ha eseguito anche una seconda tornata, che riportiamo separatamente. Il budget era di 100 turni di risposta del modello, con un limite aggiuntivo di 3600 secondi. Una chiamata a uno strumento è una singola richiesta a uno strumento; per avere successo, ogni risultato obbligatorio e l’elaborato finale devono rispettare i criteri di accettazione dell’attività.

Tempo e costo riguardano le 18 attività riuscite a tutti e tre gli strumenti. Il tempo comprende ragionamento, richieste al modello, esecuzione degli strumenti e il resto dei tempi accessori. I costi sono importi in USD registrati e calcolati in base all’utilizzo. Lo stato del browser fornito agli strumenti non era lo stesso, quindi abbiamo controllato anche i risultati senza i tre post su X: 24/25, 20/25 e 22/25, nello stesso ordine degli strumenti.

Risultati completi

Ogni cella mostra i tentativi riusciti, i secondi trascorsi e il costo registrato in USD per l’esecuzione salvata della prima tornata di benchmark. Il tempo trascorso include l’attesa dell’API del modello; per ogni attività è incluso un tentativo per strumento, quindi la media per attività coincide con il valore di quel tentativo. Le righe usano l’esecuzione di ego-browser del 7 novembre 2026 e quelle delle alternative del 5 novembre 2026.

AttivitàTipo di lavoroego-browseragent-browserplaywright-cli
Confrontare i metadati di un album su nove serviziRaccolta dati da più siti1/1 · 307.7 s · $0.77241/1 · 740.8 s · $0.99500/1 · 524.0 s · $0.6029
Raccogliere specifiche da otto marchi di fotocamereRaccolta dati da più siti1/1 · 330.2 s · $0.47511/1 · 597.2 s · $0.68651/1 · 598.5 s · $0.5201
Raccogliere le decisioni di dodici banche centraliRaccolta dati da più siti1/1 · 382.8 s · $0.65780/1 · 760.3 s · $1.00791/1 · 816.4 s · $0.9166
Riconciliare i keynote delle conferenze con le registrazioniRaccolta dati da più siti1/1 · 385.6 s · $0.56591/1 · 672.0 s · $0.94891/1 · 884.2 s · $0.9596
Confrontare le specifiche di SUV elettriciRaccolta dati da più siti1/1 · 633.2 s · $1.25900/1 · 748.7 s · $0.80061/1 · 981.4 s · $0.7713
Confrontare le schede e gli annunci dei modelli apertiRaccolta dati da più siti1/1 · 424.5 s · $0.64861/1 · 828.6 s · $1.01990/1 · 680.6 s · $0.7187
Confrontare i salari minimi in nove giurisdizioniRaccolta dati da più siti1/1 · 451.9 s · $0.61081/1 · 762.6 s · $1.07611/1 · 763.2 s · $0.7392
Confrontare le specifiche di smartphone di puntaRaccolta dati da più siti1/1 · 448.7 s · $0.64441/1 · 931.9 s · $0.94231/1 · 676.3 s · $0.6352
Confrontare la conformità dei servizi SaaS a una data di riferimentoRaccolta dati da più siti1/1 · 472.3 s · $0.62570/1 · 895.0 s · $0.73630/1 · 848.0 s · $0.5770
Confrontare le quote incluse nei piani gratuiti serverlessRaccolta dati da più siti1/1 · 205.5 s · $0.32250/1 · 682.0 s · $0.52931/1 · 411.8 s · $0.3951
Leggere una classifica ARC interattivaRicerca e sintesi1/1 · 224.4 s · $0.27081/1 · 416.6 s · $0.46581/1 · 220.2 s · $0.1853
Analizzare un dataset di addestramento di un modelloRicerca e sintesi1/1 · 87.1 s · $0.08091/1 · 137.7 s · $0.14741/1 · 155.5 s · $0.1321
Risalire alle fonti di una tabella di modelliRicerca e sintesi1/1 · 285.6 s · $0.22881/1 · 245.5 s · $0.30041/1 · 377.5 s · $0.1890
Confrontare e configurare laptop MacRicerca e confronto1/1 · 301.3 s · $0.61191/1 · 383.0 s · $0.43991/1 · 337.2 s · $0.3669
Riconciliare gli incassi al botteghino di sei filmRicerca e confronto1/1 · 184.9 s · $0.20341/1 · 360.5 s · $0.33941/1 · 201.6 s · $0.1506
Verificare quattro aziende in un registro pubblicoRicerca e confronto1/1 · 182.5 s · $0.28831/1 · 626.9 s · $0.39271/1 · 230.2 s · $0.1784
Incrociare studi clinici e schede dei farmaciRicerca e confronto1/1 · 372.8 s · $0.47871/1 · 368.7 s · $0.41761/1 · 383.1 s · $0.3515
Riconciliare serie e statistiche sull’inflazioneRicerca e confronto1/1 · 132.8 s · $0.19571/1 · 507.1 s · $0.37231/1 · 548.9 s · $0.2209
Confrontare voli e tariffe conformi ai requisitiRicerca e confronto0/1 · 341.5 s · $0.44640/1 · 986.7 s · $1.10871/1 · 504.3 s · $0.4713
Riconciliare tabelle di compatibilità dei browserRicerca e confronto1/1 · 175.1 s · $0.19161/1 · 147.8 s · $0.20921/1 · 294.6 s · $0.1973
Incrociare una lezione, il codice e il relativo articolo scientificoRicerca e confronto1/1 · 202.3 s · $0.42431/1 · 274.3 s · $0.34911/1 · 666.0 s · $0.7001
Verificare i post sulla sicurezza su X confrontandoli con i rilasciVerifica sui social media1/1 · 535.7 s · $0.89791/1 · 780.7 s · $0.89230/1 · 405.8 s · $0.3921
Verificare i post sui prodotti su X confrontandoli con gli annunciVerifica sui social media1/1 · 710.3 s · $0.71551/1 · 851.2 s · $0.92360/1 · 466.5 s · $0.4007
Riconciliare post sui lanci su X ed elenchi di riferimentoVerifica sui social media1/1 · 168.9 s · $0.16501/1 · 263.9 s · $0.15050/1 · 172.0 s · $0.0880
Prenotare un viaggio nel rispetto della politica di un’app di testAutomazione di applicazioni web1/1 · 194.1 s · $0.25701/1 · 303.2 s · $0.28531/1 · 208.4 s · $0.2240
Aggiornare i monitor dei servizi in un’app di testAutomazione di applicazioni web1/1 · 137.5 s · $0.13381/1 · 419.9 s · $0.41411/1 · 152.9 s · $0.1528
Riconciliare i crediti in un’app di testAutomazione di applicazioni web1/1 · 227.7 s · $0.23121/1 · 628.3 s · $0.43291/1 · 291.9 s · $0.3085
Creare ordini di rifornimento in un’app di testAutomazione di applicazioni web1/1 · 116.8 s · $0.14151/1 · 361.8 s · $0.24371/1 · 208.4 s · $0.1640

Continua a leggere