Como o GPT-6.1 Sol se saiu com três ferramentas de navegador

15 min de leitura
Flores em aquarela sobre um fundo azul-claro para o teste comparativo de ferramentas de navegador com GPT-6.1 Sol

Como configuração padrão, executaríamos o GPT-6.1 Sol no ego(lite) via ego-browser. Ele concluiu 27 das 28 tarefas salvas, contra 23 do agent-browser e 22 do playwright-cli, e foi a ferramenta mais rápida nas 18 tarefas concluídas pelas três. Não foi a mais barata em todas as métricas: o playwright-cli gastou menos por execução e passou em uma tarefa de busca de voos em que o ego-browser falhou.

A maior diferença entre as ferramentas de navegador com GPT-6.1 Sol aparece na coleta de dados em vários sites, em que uma tarefa busca os mesmos campos em diversas fontes oficiais. O ego-browser passou nas dez tarefas desse tipo, contra seis do agent-browser e sete do playwright-cli. As três ferramentas tiveram resultados iguais nas três tarefas de pesquisa e síntese e nas quatro de automação de aplicações web dentro dos nossos aplicativos de teste. Por isso, velocidade e custo decidem nesses dois grupos.

Nas nossas configurações, o ego-browser lidera em conclusão e velocidade, e o playwright-cli tem o menor custo médio por execução, de $0.4182. Uma taxa de sucesso maior deu ao ego-browser o menor custo por tarefa bem-sucedida, de $0.4646, e, nas 18 tarefas em comum, seu custo médio ficou com uma diferença de 5.4% em relação ao do playwright-cli.

As demais condições deste teste permaneceram fixas em todas as tentativas, de modo que as diferenças abaixo vêm da ferramenta que realizou a navegação. Uma tentativa é uma execução salva de uma tarefa da primeira rodada de testes daquela ferramenta.

Ferramenta de navegadorTaxa de sucessoTempo médio por tarefaCusto médio registrado por tarefa
ego-browser96.4% (27/28)246.7 s$0.3352
agent-browser82.1% (23/28)452.5 s$0.4702
playwright-cli78.6% (22/28)399.9 s$0.3542

A taxa de sucesso usa 28 tentativas salvas por ferramenta. Tempo e custo usam as mesmas 18 tarefas em que as três ferramentas passaram. Os custos são registros de execução em USD calculados com base no uso. A linha do ego-browser usa sua versão de teste de 7 de novembro de 2026, e as demais usam execuções de 5 de novembro de 2026.

Taxa de sucesso

Barras de taxa de sucesso em uma escala de zero a 100 por cento: ego-browser 96.4% (27/28), agent-browser 82.1% (23/28), playwright-cli 78.6% (22/28).

A maior taxa de sucesso é a do ego-browser, e concluir o trabalho é aquilo pelo que pagaríamos primeiro: um único campo ausente obriga a voltar à pesquisa. Ele passou em 27 de 28 tarefas, quatro a mais que o agent-browser, e não deixou de passar em nenhuma que o agent-browser concluiu. O ego-browser passou em seis tarefas em que o playwright-cli falhou, e o playwright-cli passou em uma em que o ego-browser falhou. O Playwright-cli também passou nas oito tarefas de busca e comparação, enquanto o ego-browser passou em sete.

O Agent-browser falhou de duas formas: três respostas tinham valores errados ou ausentes, e duas tentativas terminaram sem resposta final. O Playwright-cli deixou um valor obrigatório ausente em cinco de suas seis falhas. Três dessas falhas foram em publicações no X, nas quais informou que as marcas de data e hora das publicações estavam indisponíveis; o agent-browser passou nas três tarefas dessas publicações.

Os outros dois valores ausentes foram a contagem de faixas no Qobuz, em uma tarefa sobre um álbum, concluída pelo ego-browser, e os tokens de treinamento do Phi-4, em uma comparação de modelos abertos.

Em uma comparação de voos, o GPT-6.1 Sol com ego-browser informou uma tarifa acima de outra mais baixa que já havia visto com as mesmas configurações. Por isso, a resposta não atendeu às condições de aceitação da tarefa, enquanto a tentativa com playwright-cli passou. Uma tabela com todos os campos preenchidos ainda pode conter aquele valor que muda a sua decisão.

Velocidade

Em velocidade, o ego-browser reduziu a espera quase pela metade nas 18 tarefas em que as três ferramentas passaram. A média foi de 246.7 segundos por tarefa, 45.5% menos que o agent-browser e 38.3% menos que o playwright-cli. Também foi mais rápido em 15 das 18 tarefas contra o agent-browser e em 17 contra o playwright-cli.

Tempo médio decorrido nas mesmas 18 tarefas concluídas com sucesso pelas três ferramentas: ego-browser, 246.7 segundos; agent-browser, 452.5 segundos; playwright-cli, 399.9 segundos. As barras azuis e cinzas começam em zero.

O GPT-6.1 Sol fez menos chamadas a ferramentas para o mesmo trabalho. Uma chamada é uma solicitação a uma ferramenta: 28.1 por tarefa com ego-browser, 44.1 com agent-browser e 36.8 com playwright-cli. A execução das ferramentas levou 84.4 segundos com ego-browser, contra 210.0 segundos com agent-browser e 215.6 com playwright-cli.

A tarefa de câmeras mostra a diferença em um trabalho comum, no qual as três ferramentas concluíram a comparação entre oito marcas de câmeras. O GPT-6.1 Sol levou 330.2 segundos com ego-browser, 597.2 com agent-browser e 598.5 com playwright-cli, usando 29, 57 e 54 chamadas a ferramentas para obter o mesmo resultado aceito.

ego(lite) exibindo a Canon Canada com a sobreposição Agent in control durante uma comparação de especificações de câmeras.

Custo

Sem prejudicar a taxa de conclusão, o ego-browser custa menos que o agent-browser. Nas 18 tarefas em comum, foi 28.7% mais barato e custou menos em 15 delas, com o modelo mantido fixo e menos chamadas a ferramentas por tarefa.

O Playwright-cli fica perto o bastante do ego-browser no custo das tarefas em comum para não escolhermos entre os dois apenas por esse número. Suas médias diferem em 5.4%, e o ego-browser foi mais barato em dez tarefas, enquanto o playwright-cli foi mais barato em oito. Incluindo as falhas, o custo registrado por tentativa bem-sucedida do ego-browser fica abaixo do custo do playwright-cli: $0.4646 contra $0.5322.

O custo médio de todas as tentativas e o custo por tarefa bem-sucedida respondem a perguntas diferentes, então mostramos ambos. O primeiro indica o custo de uma execução; o segundo divide o gasto registrado, incluindo as falhas, pelo número de tentativas bem-sucedidas.

Ferramenta de navegadorCusto médio registrado por tarefa nas 28 tentativasCusto registrado por tentativa bem-sucedida
ego-browser$0.4480$0.4646
agent-browser$0.5938$0.7229
playwright-cli$0.4182$0.5322

Esses números usam as mesmas execuções da primeira rodada: ego-browser em 7 de novembro de 2026 e as outras ferramentas em 5 de novembro de 2026. São registros calculados com base no uso, excluindo custos de avaliação e novas tentativas anteriores que não aparecem nas linhas salvas, e não são faturas verificadas.

O Playwright-cli é o mais barato por execução, a $0.4182. O ego-browser tem o menor custo registrado por tentativa bem-sucedida, de $0.4646, porque mais de suas execuções atenderam a todos os requisitos. Nenhum dos dois números torna o ego-browser o mais barato em todas as tarefas.

Coleta de dados em vários sites

Quando o GPT-6.1 Sol precisa coletar os mesmos campos de várias fontes oficiais, o ego-browser é a escolha mais clara. Ele passou nas dez tarefas, enquanto o agent-browser passou em seis e o playwright-cli em sete. A diferença é maior que na comparação geral.

Ferramenta de navegadorTaxa de sucesso na coleta de dados em vários sites
ego-browser100.0% (10/10)
agent-browser60.0% (6/10)
playwright-cli70.0% (7/10)

Este grupo usa as mesmas execuções da primeira rodada que a visão geral: ego-browser em 7 de novembro de 2026 e as outras duas ferramentas em 5 de novembro de 2026.

Mapa de calor de ego-browser, agent-browser e playwright-cli. Coleta em vários sites: 10 de 10, 6 de 10 e 7 de 10. Busca e comparação: 7 de 8, 7 de 8 e 8 de 8. Verificação em redes sociais: 3 de 3, 3 de 3 e 0 de 3. Pesquisa e síntese: todos, 3 de 3. Automação de aplicações web: todos, 4 de 4. A escala de cores vai de zero a 100 por cento em cada célula.

Quando todas as linhas precisam estar preenchidas, uma diferença de três ou quatro tarefas determina se a tabela pode ser usada. Essas dez tarefas abrangeram decisões de bancos centrais, especificações de produtos e comparações de conformidade de SaaS.

A tarefa de SaaS mostra por que uma célula preenchida ainda pode estar errada. Ela pediu o status de certificação em 30 de setembro de 2026, e tanto o agent-browser quanto o playwright-cli registraram a Smartsheet como certificada quando o status exigido era certificação em andamento. A tentativa do ego-browser acertou todos os campos da comparação.

Qual ferramenta usaríamos

Para entregáveis de pesquisa completos, especialmente na coleta de dados em vários sites, combinaríamos o GPT-6.1 Sol com esforço de raciocínio high e o ego-browser via pi. Essa combinação teve a maior taxa de conclusão, a menor espera nas tarefas em comum e um custo inferior ao do agent-browser e próximo ao do playwright-cli.

Manteríamos o playwright-cli quando o custo de execução for o mais importante ou quando o trabalho se parecer com busca e comparação. Ele passou nas oito tarefas desse tipo, enquanto o ego-browser e o agent-browser passaram em sete cada um. Portanto, esses oito resultados não dão motivo para substituir uma configuração de playwright-cli que já funciona.

O Agent-browser passou em uma tarefa a mais que o playwright-cli, mas com custo registrado maior. Assim, a contagem geral, por si só, não dá um motivo forte para preferi-lo. Ele passou em três tarefas de publicações no X em que o playwright-cli não passou em nenhuma, e isso explica uma parte importante da diferença de uma tarefa.

Perguntas frequentes

Qual ferramenta de navegador concluiu mais tentativas com GPT-6.1 Sol?

O ego-browser concluiu mais, passando em 27 de 28 tentativas salvas, enquanto o agent-browser passou em 23 e o playwright-cli em 22. O modelo, a estrutura de execução do agente pi e as tarefas permaneceram fixos, e cada ferramenta contribuiu com uma execução salva por tarefa da primeira rodada. A coleta de dados em vários sites explica a vantagem de quatro tarefas sobre o agent-browser.

Qual ferramenta de navegador foi a mais rápida com GPT-6.1 Sol?

O ego-browser foi o mais rápido, com média de 246.7 segundos por tarefa nas 18 tarefas em que as três ferramentas passaram. Com o mesmo modelo, o agent-browser teve média de 452.5 segundos e o playwright-cli de 399.9 segundos. O ego-browser também foi mais rápido em 15 tarefas contra o agent-browser e em 17 contra o playwright-cli, de modo que a média reflete uma vantagem em muitas tarefas.

Quanto custa o GPT-6.1 Sol por tarefa de navegador?

Nas 18 tarefas em comum, o custo médio registrado do GPT-6.1 Sol foi de $0.3352 com ego-browser, $0.4702 com agent-browser e $0.3542 com playwright-cli. Nas 28 tentativas, essas médias foram de $0.4480, $0.5938 e $0.4182. São registros de execução calculados com base no uso, e não faturas verificadas, e excluem os custos de avaliação.

O menor custo médio por execução também resultou no menor custo por tentativa bem-sucedida?

O Playwright-cli teve o menor custo médio por execução, de $0.4182, mas o ego-browser teve o menor custo registrado por tentativa bem-sucedida, de $0.4646. O custo por tentativa bem-sucedida do agent-browser foi de $0.7229 e o do playwright-cli de $0.5322. Dividimos o gasto registrado de cada ferramenta nas 28 tentativas, incluindo as falhas, pelo seu número de tentativas bem-sucedidas.

O ego-browser venceu o playwright-cli em todas as tarefas?

O ego-browser passou em 6 tarefas em que o playwright-cli falhou, mas o playwright-cli passou em 1 em que o ego-browser falhou. O contraexemplo foi uma comparação de voos em que o GPT-6.1 Sol com ego-browser informou uma tarifa acima de outra mais baixa que atendia aos critérios. Contamos essa resposta como falha mesmo que o modelo tenha retornado uma tabela.

Qual ferramenta escolheríamos para a coleta de dados em vários sites?

Escolheríamos o ego-browser para a coleta de dados em vários sites com GPT-6.1 Sol, pois passou nas 10 tentativas. O agent-browser passou em seis e o playwright-cli em sete nas mesmas tarefas. A comparação de SaaS mostra por que a conclusão importa: as duas alternativas usaram o status de certificação errado para a data de corte solicitada.

Substituiríamos o playwright-cli para trabalhos de busca e comparação?

Não substituiríamos o playwright-cli por motivos de conclusão nestas 8 tarefas de busca e comparação, nas quais ele passou em todas as 8. O ego-browser e o agent-browser passaram em 7 cada um. A comparação de velocidade favorece o ego-browser, então o tempo de espera é o motivo mais forte para considerar a troca neste grupo.

Uma tentativa bem-sucedida a mais torna o agent-browser uma escolha melhor que o playwright-cli?

As 23 tentativas bem-sucedidas do agent-browser contra as 22 do playwright-cli não dão um motivo forte para preferi-lo no geral. O agent-browser também custou mais nas tarefas em comum, com média de $0.4702 por tarefa contra $0.3542 do playwright-cli. Os resultados variam por tarefa, incluindo três tarefas de verificação de publicações no X nas quais o agent-browser foi bem-sucedido e nenhuma em que o playwright-cli teve sucesso, então ajustaríamos a escolha ao trabalho.

As três ferramentas de navegador tiveram o mesmo resultado nas tarefas de pesquisa e de aplicações web?

As três ferramentas passaram nas 3 tarefas de pesquisa e síntese e nas 4 de automação de aplicações web nos nossos aplicativos de teste. Esses resultados não dão motivo para classificá-las dentro de nenhum dos dois grupos. Nossa preferência pelo ego-browser se apoia no tempo de espera e no custo registrado, não em uma vantagem de conclusão nessas 7 tarefas.

Usar a segunda rodada do ego-browser mudou a escolha geral?

O ego-browser passou em 26 das mesmas 28 tarefas na segunda rodada, enquanto agent-browser e playwright-cli permaneceram nas 23 e 22 das primeiras rodadas. Seu tempo médio nas 18 tarefas em comum foi de 252.4 segundos, contra 452.5 e 399.9 segundos das outras duas ferramentas. Mantemos a primeira rodada como resultado principal, em vez de misturar as duas rodadas do ego-browser na classificação.

Como testamos

Analisamos execuções arquivadas do GPT-6.1 Sol com esforço de raciocínio high via pi 1.5.0 no macOS, usando a rota openai-codex registrada. A configuração especificava agent-browser 0.39.1 e playwright-cli 0.1.22 para as execuções de 5 de novembro de 2026, e a versão de teste local-202611071027-ba90f1c do ego-browser foi executada em 7 de novembro de 2026. Cada configuração usou o skill e a CLI fornecidos para observar as páginas e realizar ações no navegador.

As 28 tarefas são aquelas que as duas ferramentas alternativas já haviam executado, extraídas do conjunto de dados efficiency-20261019 de 72 tarefas. Cada tarefa pertence a um grupo: coleta de dados em vários sites, busca e comparação, verificação de redes sociais, pesquisa e síntese ou automação de aplicações web.

A primeira rodada de benchmark de cada ferramenta contribui com uma execução salva por tarefa, de modo que cada ferramenta tem 28 tentativas. O ego-browser também fez uma segunda rodada, que relatamos separadamente. O limite de etapas era de 100 turnos de resposta do modelo, com um limite final de 3 600 segundos. Uma chamada a ferramenta é uma solicitação a uma ferramenta, e uma tentativa bem-sucedida exige que todos os resultados obrigatórios e o entregável final atendam às condições de aceitação da tarefa.

Tempo e custo usam as 18 tarefas em que as três ferramentas passaram. O tempo inclui raciocínio, solicitações ao modelo, execução das ferramentas e os demais tempos de processamento. Os custos são valores de uso registrados em USD. As ferramentas foram executadas com estados de navegador fornecidos diferentes, então também verificamos os resultados sem as três publicações no X: 24/25, 20/25 e 22/25, na mesma ordem de ferramentas.

Resultados completos

Cada célula mostra tentativas bem-sucedidas, segundos decorridos e custo registrado em USD da execução salva na primeira rodada de benchmark. O tempo decorrido inclui a espera pela API do modelo, e cada tarefa tem uma tentativa incluída por ferramenta, de modo que a média da tarefa é igual ao valor dessa tentativa. As linhas usam a execução de 7 de novembro de 2026 do ego-browser e as de 5 de novembro de 2026 das alternativas.

TarefaTipo de trabalhoego-browseragent-browserplaywright-cli
Comparar metadados de um álbum em nove serviçosColeta de dados em vários sites1/1 · 307.7 s · $0.77241/1 · 740.8 s · $0.99500/1 · 524.0 s · $0.6029
Coletar especificações de oito marcas de câmerasColeta de dados em vários sites1/1 · 330.2 s · $0.47511/1 · 597.2 s · $0.68651/1 · 598.5 s · $0.5201
Coletar decisões de doze bancos centraisColeta de dados em vários sites1/1 · 382.8 s · $0.65780/1 · 760.3 s · $1.00791/1 · 816.4 s · $0.9166
Conferir palestras principais de conferências e suas gravaçõesColeta de dados em vários sites1/1 · 385.6 s · $0.56591/1 · 672.0 s · $0.94891/1 · 884.2 s · $0.9596
Comparar especificações de SUVs elétricosColeta de dados em vários sites1/1 · 633.2 s · $1.25900/1 · 748.7 s · $0.80061/1 · 981.4 s · $0.7713
Comparar fichas de modelos abertos e seus anúnciosColeta de dados em vários sites1/1 · 424.5 s · $0.64861/1 · 828.6 s · $1.01990/1 · 680.6 s · $0.7187
Comparar salários mínimos em nove jurisdiçõesColeta de dados em vários sites1/1 · 451.9 s · $0.61081/1 · 762.6 s · $1.07611/1 · 763.2 s · $0.7392
Comparar especificações de celulares topo de linhaColeta de dados em vários sites1/1 · 448.7 s · $0.64441/1 · 931.9 s · $0.94231/1 · 676.3 s · $0.6352
Comparar a conformidade de SaaS em uma data de corteColeta de dados em vários sites1/1 · 472.3 s · $0.62570/1 · 895.0 s · $0.73630/1 · 848.0 s · $0.5770
Comparar os limites dos planos gratuitos de plataformas serverlessColeta de dados em vários sites1/1 · 205.5 s · $0.32250/1 · 682.0 s · $0.52931/1 · 411.8 s · $0.3951
Ler um ranking interativo do ARCPesquisa e síntese1/1 · 224.4 s · $0.27081/1 · 416.6 s · $0.46581/1 · 220.2 s · $0.1853
Analisar um conjunto de dados de treinamento de modelosPesquisa e síntese1/1 · 87.1 s · $0.08091/1 · 137.7 s · $0.14741/1 · 155.5 s · $0.1321
Rastrear as fontes de uma tabela de modelosPesquisa e síntese1/1 · 285.6 s · $0.22881/1 · 245.5 s · $0.30041/1 · 377.5 s · $0.1890
Comparar e configurar notebooks MacBusca e comparação1/1 · 301.3 s · $0.61191/1 · 383.0 s · $0.43991/1 · 337.2 s · $0.3669
Conferir os números de bilheteria de seis filmesBusca e comparação1/1 · 184.9 s · $0.20341/1 · 360.5 s · $0.33941/1 · 201.6 s · $0.1506
Analisar quatro empresas em um registro públicoBusca e comparação1/1 · 182.5 s · $0.28831/1 · 626.9 s · $0.39271/1 · 230.2 s · $0.1784
Cruzar ensaios clínicos e informações de bula de medicamentosBusca e comparação1/1 · 372.8 s · $0.47871/1 · 368.7 s · $0.41761/1 · 383.1 s · $0.3515
Conferir séries de inflação e estatísticasBusca e comparação1/1 · 132.8 s · $0.19571/1 · 507.1 s · $0.37231/1 · 548.9 s · $0.2209
Comparar voos e tarifas que atendam aos critériosBusca e comparação0/1 · 341.5 s · $0.44640/1 · 986.7 s · $1.10871/1 · 504.3 s · $0.4713
Conferir tabelas de compatibilidade dos navegadoresBusca e comparação1/1 · 175.1 s · $0.19161/1 · 147.8 s · $0.20921/1 · 294.6 s · $0.1973
Cruzar uma aula, seu código e seu artigo acadêmicoBusca e comparação1/1 · 202.3 s · $0.42431/1 · 274.3 s · $0.34911/1 · 666.0 s · $0.7001
Verificar publicações sobre segurança no X comparando-as com as informações publicadasVerificação de redes sociais1/1 · 535.7 s · $0.89791/1 · 780.7 s · $0.89230/1 · 405.8 s · $0.3921
Verificar publicações de produtos no X com os anúnciosVerificação de redes sociais1/1 · 710.3 s · $0.71551/1 · 851.2 s · $0.92360/1 · 466.5 s · $0.4007
Conferir publicações de lançamentos no X e listas de referênciaVerificação de redes sociais1/1 · 168.9 s · $0.16501/1 · 263.9 s · $0.15050/1 · 172.0 s · $0.0880
Reservar uma viagem segundo a política de um aplicativo de testeAutomação de aplicações web1/1 · 194.1 s · $0.25701/1 · 303.2 s · $0.28531/1 · 208.4 s · $0.2240
Atualizar monitores de serviços em um aplicativo de testeAutomação de aplicações web1/1 · 137.5 s · $0.13381/1 · 419.9 s · $0.41411/1 · 152.9 s · $0.1528
Conciliar contas a receber em um aplicativo de testeAutomação de aplicações web1/1 · 227.7 s · $0.23121/1 · 628.3 s · $0.43291/1 · 291.9 s · $0.3085
Criar pedidos de reposição em um aplicativo de testeAutomação de aplicações web1/1 · 116.8 s · $0.14151/1 · 361.8 s · $0.24371/1 · 208.4 s · $0.1640

Continue lendo