Avaliamos o uso do navegador pelo DeepSeek V4.1 Flash e pelo GPT-6.1 Sol em 72 tarefas web

22 min de leitura
Duas formas cítricas laranjas e folhas verdes sobre fundo azul para a comparação entre DeepSeek V4.1 Flash e GPT-6.1 Sol

O GPT-6.1 Sol seria nossa escolha para um agente que trabalha em muitos sites, e o DeepSeek V4.1 Flash, para fluxos dentro de um único aplicativo web. Cada modelo executou cada uma das nossas 72 tarefas duas vezes no ego-browser, totalizando 144 tentativas por modelo. O GPT-6.1 Sol teve sucesso em 121 das 144 tentativas (84.0%), e o DeepSeek V4.1 Flash, em 82 (56.9%). Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o GPT-6.1 Sol levou 219.7 segundos e custou $0.310 por tarefa, e o DeepSeek V4.1 Flash levou 321.7 segundos e custou $0.047.

Ao ler as execuções, observamos formas de trabalho diferentes. O GPT-6.1 Sol costuma lidar com vários sites em um único comando, enquanto o DeepSeek V4.1 Flash trabalha em uma página por vez e continua procurando. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash esgotou seus 100 passos em 23 tentativas. Em nossos aplicativos de teste, nos quais o trabalho acontece dentro de um único aplicativo web, ele quase igualou a taxa de sucesso e a velocidade do GPT-6.1 Sol por cerca de um sexto do custo.

Cada modelo também tem uma fraqueza que levaríamos em conta no planejamento. Às vezes, o GPT-6.1 Sol para de procurar cedo demais: em 3 tarefas, falhou nas duas tentativas, enquanto o DeepSeek V4.1 Flash continuou procurando e teve sucesso nas duas. O DeepSeek V4.1 Flash deu mais respostas erradas, apesar de ter respondido menos vezes: 34 de suas 144 tentativas terminaram com uma resposta errada, contra 23 do GPT-6.1 Sol.

Taxa de sucesso, velocidade e custo

O GPT-6.1 Sol lidera em taxa de sucesso e velocidade, e o DeepSeek V4.1 Flash custa cerca de 15% do que custa o outro modelo. Comparamos tempo e custo nas 29 tarefas em que ambos tiveram sucesso em todas as tentativas; assim, os números de nenhum dos modelos incluem tentativas malsucedidas nessa comparação. As linhas referentes às 72 tarefas incluem as tentativas malsucedidas.

MétricaGPT-6.1 SolDeepSeek V4.1 Flash
Taxa de sucesso, todas as 72 tarefas84.0% (121 de 144 tentativas)56.9% (82 de 144 tentativas)
Tempo por tarefa, 29 tarefas em que ambos sempre tiveram sucesso219.7 s321.7 s
Tempo por tarefa, todas as 72 tarefas321.6 s511.4 s
Custo por tarefa, 29 tarefas em que ambos sempre tiveram sucesso$0.310$0.047
Custo por tarefa, todas as 72 tarefas$0.483$0.071
Custo por tentativa bem-sucedida, todas as 72 tarefas$0.575$0.124
Chamadas de ferramenta por tarefa, todas as 72 tarefas34.661.6

Execuções de 7 de novembro de 2026, com ambos os modelos no ego-browser. Cada modelo executou cada tarefa duas vezes. O tempo inclui a espera pelas respostas da API de cada modelo.

O DeepSeek V4.1 Flash custa menos porque suas tarifas são menores, não porque faz menos trabalho. Ele fez 61.6 chamadas de ferramenta por tarefa, e o GPT-6.1 Sol, 34.6. Mesmo por tentativa bem-sucedida, o DeepSeek V4.1 Flash custou $0.124, e o GPT-6.1 Sol, $0.575.

A maior parte da diferença na taxa de sucesso vem de um tipo de trabalho. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o GPT-6.1 Sol teve sucesso em 51 de 64 tentativas, e o DeepSeek V4.1 Flash, em 21. Nos fluxos de aplicativos web, os dois modelos tiveram sucesso em 29 e 28 de 30 tentativas.

Tipo de trabalhoTarefasGPT-6.1 SolDeepSeek V4.1 Flash
Fluxos de aplicativos web1596.7% (29/30)93.3% (28/30)
Busca e comparação em poucos sites893.8% (15/16)81.3% (13/16)
Pesquisa e síntese1266.7% (16/24)62.5% (15/24)
Verificação de publicações no X com outras fontes5100% (10/10)50.0% (5/10)
Coleta dos mesmos campos em 8 ou mais sites3279.7% (51/64)32.8% (21/64)
Todas as tarefas7284.0% (121/144)56.9% (82/144)

A taxa de sucesso é a proporção de tentativas bem-sucedidas, considerando duas tentativas por tarefa.

Nos fluxos de aplicativos web, a diferença na taxa de sucesso entre os modelos foi mínima; ali, o que os diferencia é o custo. Nas tarefas que envolvem muitos sites, o GPT-6.1 Sol teve sucesso com muito mais frequência.

Como o GPT-6.1 Sol trabalha

O GPT-6.1 Sol costuma lidar com vários sites em um único comando. Quando uma tarefa envolve muitos sites, ele os mantém abertos em abas separadas e avança em vários deles a cada comando do ego-browser. Os dois modelos receberam o mesmo arquivo de skill do ego-browser, que explica como manter várias abas abertas quando a tarefa exige. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, 56% dos comandos de navegador do GPT-6.1 Sol trabalharam em duas ou mais abas. O DeepSeek V4.1 Flash fez isso em menos de 1% de seus comandos.

A tarefa do terremoto ilustra esse comportamento. Ela pede o horário, a magnitude e a profundidade de um terremoto de 2025, conforme os registros de 9 agências. Em um único comando, o GPT-6.1 Sol leu a página do evento no USGS, abriu os dados científicos na página do evento no EMSC, abriu a página do evento no GFZ e direcionou uma quarta aba para o INGV. Ele teve sucesso nas duas tentativas, com 40 chamadas de ferramenta em uma e 32 na outra. O DeepSeek V4.1 Flash percorreu as 9 agências em sequência, em uma única aba, preenchendo o formulário de busca de cada uma, e esgotou os 100 passos nas duas tentativas.

Em nossas execuções, o GPT-6.1 Sol precisou de menos chamadas de ferramenta e terminou mais cedo. Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, ele fez 28.6 chamadas de ferramenta por tarefa, e o DeepSeek V4.1 Flash, 43.0. Nas 16 dessas tarefas fora de aplicativos web, o GPT-6.1 Sol foi mais rápido em 14. Nos fluxos de aplicativos web, ele trabalhou em duas ou mais abas em apenas 3% de seus comandos de navegador, e os dois modelos levaram aproximadamente o mesmo tempo.

A fraqueza do GPT-6.1 Sol é que, às vezes, ele para de procurar cedo demais. Em 3 tarefas, falhou nas duas tentativas, enquanto o DeepSeek V4.1 Flash teve sucesso nas duas. Na tarefa do LiveBench, ambos procuraram no ranking o GPT-5.4 com esforço High e encontraram apenas a linha xHigh. Após 12 chamadas de ferramenta, o GPT-6.1 Sol informou que a página não mostrava aquela pontuação. O DeepSeek V4.1 Flash continuou procurando e a encontrou, 75.1, em um seletor de modelos mais abaixo na mesma página, na seção Insights.

O mesmo ocorreu na tarefa de frameworks de frontend. Em uma tentativa, o GPT-6.1 Sol pesquisou por "16.3." na lista de versões do Next.js e informou o primeiro resultado: 16.3.2, de 21 de agosto. O DeepSeek V4.1 Flash percorreu as páginas da lista de versões, composta principalmente por builds canary, e encontrou a 16.3.8, publicada em 30 de setembro. Quando o GPT-6.1 Sol informa que um valor não está em um site ou usa o primeiro resultado de uma busca, conferiríamos esse valor por conta própria antes de usar a resposta.

Como o DeepSeek V4.1 Flash trabalha

O DeepSeek V4.1 Flash trabalha em uma página por vez e continua até encontrar o que procura. Ele fez 61.6 chamadas de ferramenta por tarefa, e o GPT-6.1 Sol, 34.6. Foi essa persistência que permitiu a ele concluir as tarefas do LiveBench e de frameworks de frontend nas quais o GPT-6.1 Sol falhou.

Dentro de um único aplicativo web, trabalhar em uma página por vez fez pouca diferença. Nossos 15 fluxos de aplicativos web são executados em aplicativos de teste preenchidos com dados novos, como um aplicativo de reserva de viagens e outro de despesas. O DeepSeek V4.1 Flash teve sucesso em 28 de suas 30 tentativas ali, e o GPT-6.1 Sol, em 29. Nos 13 fluxos em que ambos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash levou 173.0 segundos e custou $0.028 por tarefa, e o GPT-6.1 Sol levou 169.3 segundos e custou $0.170.

Reservar uma viagem em conformidade com a política é um exemplo típico. A tarefa pede ao agente que reserve voos de ida e volta dentro da política de viagens, escolha assentos no corredor e reserve um hotel a até uma milha do local do evento. Os dois modelos tiveram sucesso nas duas tentativas. O DeepSeek V4.1 Flash levou 189.2 segundos e custou $0.033 por tarefa, e o GPT-6.1 Sol levou 199.4 segundos e custou $0.253.

Em 8 ou mais sites, essa mesma forma de trabalhar esgota os passos. Nessas 32 tarefas, o DeepSeek V4.1 Flash teve sucesso em 21 de 64 tentativas, e o GPT-6.1 Sol, em 51. O primeiro fez 82.2 chamadas de ferramenta por tarefa ali, o dobro das 41.1 do GPT-6.1 Sol. Das 26 tentativas em que esgotou os 100 passos, 23 foram nessas tarefas.

Quando o DeepSeek V4.1 Flash dá uma resposta, conferiríamos suas conclusões com os próprios dados apresentados e com as páginas lidas. Ele falhou em 62 tentativas: 34 terminaram com uma resposta errada, e 28, sem resposta. Dessas 28, 26 esgotaram os 100 passos, e 1 terminou quando a API do DeepSeek retornou erros de servidor. Todas as 23 tentativas malsucedidas do GPT-6.1 Sol terminaram com uma resposta errada. Em uma tentativa da tarefa de celulares topo de linha, a própria tabela do DeepSeek V4.1 Flash indicava que o Galaxy S26 pesava 167 g. A linha abaixo da tabela, porém, apontava o motorola signature, de 186 g, como o celular mais leve.

Qual modelo usar

No ego-browser, use o GPT-6.1 Sol para um agente que trabalha em muitos sites. Ele teve sucesso em 84.0% de suas tentativas e nunca esgotou os passos. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, teve sucesso em 51 de 64 tentativas e concluiu mais cedo o trabalho que envolvia vários sites.

Use o DeepSeek V4.1 Flash para fluxos dentro de um único aplicativo web. Em nossos aplicativos de teste, ele teve sucesso em 28 de 30 tentativas, levou aproximadamente o mesmo tempo que o GPT-6.1 Sol e custou cerca de um sexto do custo do outro modelo. Não contaríamos com ele para trabalhos em 8 ou mais sites, nos quais teve sucesso em 21 de 64 tentativas.

Nas consultas em poucos sites e nas tarefas de pesquisa, a escolha envolve tempo e dinheiro. O DeepSeek V4.1 Flash teve sucesso em 13 de 16 tentativas de consulta e em 15 de 24 de pesquisa; o GPT-6.1 Sol, em 15 de 16 e em 16 de 24. O DeepSeek V4.1 Flash custou menos e demorou mais nos dois casos.

Consulta ao IPC do BLS no ego(lite), com o intervalo de 2023–2025 e as médias anuais ativados
Consulta ao IPC do BLS no ego(lite), com as médias anuais ativadas. Demonstração da interface fornecida para esta revisão, separada das execuções do benchmark de 7 de novembro. Ver imagem em tamanho original

Seja qual for o modelo escolhido, confira os valores principais da resposta. Às vezes, ambos deram uma resposta aparentemente completa que continha um valor errado. Executamos os dois com esforço de raciocínio high no ego-browser, que é fornecido com o ego(lite) e o controla como navegador do agente.

Perguntas frequentes

O DeepSeek V4.1 Flash é tão bom quanto o GPT-6.1 Sol no uso do navegador?

Dentro de um único aplicativo web, quase; em muitos sites, não. Nos fluxos de aplicativos web, o DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas, e o GPT-6.1 Sol, em 29. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash teve sucesso em 21 de 64 tentativas, e o GPT-6.1 Sol, em 51. Considerando as 72 tarefas, as taxas de sucesso foram de 56.9% e 84.0% das tentativas, respectivamente.

Por que o GPT-6.1 Sol é mais rápido que o DeepSeek V4.1 Flash no navegador?

Em nossas execuções, o GPT-6.1 Sol precisou de menos chamadas de ferramenta, em parte porque costuma lidar com vários sites em um único comando. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, 56% de seus comandos de navegador trabalharam em duas ou mais abas, contra menos de 1% dos comandos do DeepSeek V4.1 Flash. Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o GPT-6.1 Sol fez 28.6 chamadas de ferramenta e levou 219.7 segundos por tarefa, enquanto o DeepSeek V4.1 Flash fez 43.0 e levou 321.7. Nos fluxos de aplicativos web, levaram aproximadamente o mesmo tempo.

Quanto o DeepSeek V4.1 Flash é mais barato que o GPT-6.1 Sol em tarefas de navegação?

O DeepSeek V4.1 Flash custa cerca de 15% do que custa o GPT-6.1 Sol. Nas 29 tarefas em que ambos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash custou $0.047 por tarefa, e o GPT-6.1 Sol, $0.310. Considerando as 72 tarefas, o DeepSeek V4.1 Flash custou $0.071 por tarefa, e o GPT-6.1 Sol, $0.483. Por tentativa bem-sucedida, o DeepSeek V4.1 Flash custou $0.124, e o GPT-6.1 Sol, $0.575.

Por que o DeepSeek V4.1 Flash falha em tarefas que envolvem muitos sites?

Cerca de metade das falhas ali ocorre por esgotamento dos passos. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, ele trabalha em uma página por vez e fez 82.2 chamadas de ferramenta por tarefa, contra 41.1 do GPT-6.1 Sol. Das 43 tentativas malsucedidas nessas tarefas, 23 terminaram sem resposta após usar todos os 100 passos.

Por que o GPT-6.1 Sol erra algumas tarefas de navegação?

Nas tarefas do LiveBench e de frameworks de frontend, ele parou de procurar cedo demais. Na tarefa do LiveBench, após 12 chamadas de ferramenta, o GPT-6.1 Sol informou que a página não mostrava uma pontuação, enquanto o DeepSeek V4.1 Flash a encontrou mais abaixo na mesma página, na seção Insights. O DeepSeek V4.1 Flash teve sucesso nas duas tentativas de 3 tarefas nas quais o GPT-6.1 Sol falhou duas vezes.

O DeepSeek V4.1 Flash comete mais erros que o GPT-6.1 Sol?

Sim. Das 144 tentativas do DeepSeek V4.1 Flash, 34 terminaram com uma resposta errada, contra 23 do GPT-6.1 Sol. O DeepSeek V4.1 Flash também deu menos respostas, porque 28 de suas tentativas terminaram sem uma. Em uma tentativa da tarefa de celulares topo de linha, a própria tabela dele indicava o Galaxy S26 com 167 g, mas o resumo apontava um celular de 186 g como o mais leve.

O DeepSeek V4.1 Flash consegue preencher formulários e executar fluxos em um aplicativo web?

Sim. O DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas nos 15 fluxos de aplicativos web de nossos aplicativos de teste, e o GPT-6.1 Sol, em 29 de 30. As tarefas incluíam reservar uma viagem, aplicar pagamentos de lockbox e aprovar relatórios de despesas. Nas 13 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash custou $0.028 por tarefa, e o GPT-6.1 Sol, $0.170.

Quais tarefas de navegação o DeepSeek V4.1 Flash consegue fazer por menos que o GPT-6.1 Sol?

Principalmente fluxos dentro de um único aplicativo web, nos quais 11 dos 15 fluxos atenderam a três condições. Nessas 11 tarefas, o DeepSeek V4.1 Flash teve sucesso com a mesma frequência que o GPT-6.1 Sol, demorou no máximo 10% a mais e custou menos de um terço do que custou o outro modelo. Outras três tarefas atenderam às mesmas condições: um informe de inflação com dados do FRED e do BLS, notas de estudo a partir de uma aula, código e um artigo científico, e a verificação de um CVE do sudo em nove avisos de distribuições Linux.

Quantas chamadas de ferramenta o DeepSeek V4.1 Flash faz em comparação com o GPT-6.1 Sol?

Considerando as 72 tarefas, o DeepSeek V4.1 Flash fez 61.6 chamadas de ferramenta por tarefa, cerca de 78% a mais que as 34.6 do GPT-6.1 Sol. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash fez 82.2 por tarefa, o dobro das 41.1 do GPT-6.1 Sol. Nos fluxos de aplicativos web, o DeepSeek V4.1 Flash fez 33.3 por tarefa, e o GPT-6.1 Sol, 26.0.

Vale a pena usar o DeepSeek V4.1 Flash para agentes de navegação?

Sim, para fluxos dentro de um único aplicativo web: o DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas ali por cerca de um sexto do custo do GPT-6.1 Sol. Para um agente que trabalha em muitos sites, o GPT-6.1 Sol é a melhor escolha, pois teve sucesso em 84.0% de suas tentativas, contra 56.9% do DeepSeek V4.1 Flash.

Como testamos

Executamos os dois modelos em 7 de novembro de 2026, no macOS, no ego-browser com ego(lite) 0.6.3.2. Ambos foram executados no ambiente de agentes pi com o arquivo de skill do ego-browser. Usamos os identificadores de modelo deepseek-flash e gpt-6.1-sol, com esforço de raciocínio high. Ambos tinham o mesmo limite de 100 passos por tentativa. Um passo é um turno do modelo e, em quase todos os passos, o modelo fez uma chamada de ferramenta. Cada modelo executou cada uma das 72 tarefas duas vezes, totalizando 144 tentativas por modelo.

Visão geral de Spaces do ego(lite) mostrando uma consulta ao IPC do BLS em execução ao lado de outro Space
A visão geral de Spaces do ego(lite) durante a demonstração da consulta ao BLS. Demonstração da interface fornecida para esta revisão, separada das execuções do benchmark de 7 de novembro. Ver imagem em tamanho original

As tarefas são 72 trabalhos complexos de automação web. Algumas são executadas em sites reais, e outras, em aplicativos de teste que preenchemos com dados novos. Agrupamos as tarefas pelo tipo de trabalho solicitado:

Tipo de trabalhoTarefasExemplo de tarefa
Fluxos de aplicativos web15Reservar uma viagem em conformidade com a política
Busca e comparação em poucos sites8Informe de inflação com dados do FRED, conferido com o BLS
Pesquisa e síntese12Rastrear uma tabela da Wikipedia até suas fontes
Verificação de publicações no X com outras fontes5Conferir publicações de lançamentos da SpaceX no X com a Wikipedia
Coleta dos mesmos campos em 8 ou mais sites32Decisões sobre juros de 12 bancos centrais

Cada tarefa pertence a um único grupo. As 5 tarefas de verificação de publicações no X formam um grupo próprio, mesmo quando abrangem 8 contas.

Cada tarefa é avaliada em 3 a 10 critérios. Uma tentativa só é aprovada quando atende a todos eles.

Para entender como cada modelo trabalha, lemos os registros de sessão das tentativas dos dois modelos. Consideramos que um comando do navegador trabalha em duas ou mais abas quando o script enviado pelo modelo ao ego-browser nesse comando lê informações ou realiza ações em duas ou mais abas.

A taxa de sucesso é a proporção de tentativas bem-sucedidas. Todos os números por tarefa deste artigo, incluindo tempo, custo e chamadas de ferramenta, são a média das duas tentativas da tarefa. O tempo vai do início de uma tentativa até a resposta final ou, quando não houve resposta, até o último passo, e inclui a espera pelas respostas da API de cada modelo. O custo é o valor dos tokens de cada tentativa calculado pelas tarifas do provedor. O custo por tentativa bem-sucedida é o custo de todas as 144 tentativas dividido pelo número de tentativas bem-sucedidas. Ao comparar tempo e custo, usamos as 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, salvo indicação em contrário no texto.

Na coluna Resultado abaixo, “Igualou por menos” significa que o DeepSeek V4.1 Flash teve sucesso com a mesma frequência que o GPT-6.1 Sol, demorou no máximo 10% a mais e custou menos de um terço do que custou o outro modelo. “Igualou, mais lento” significa que os dois tiveram sucesso com a mesma frequência, mas a tarefa não atendeu a essas condições de tempo e custo.

Resultados completos

Cada célula mostra o número de tentativas bem-sucedidas de um total de 2, seguido do tempo por tarefa e do custo por tarefa. Tempo e custo são as médias das duas tentativas da tarefa, e o tempo inclui a espera pelas respostas da API de cada modelo.

TarefaTipo de trabalhoResultadoGPT-6.1 SolDeepSeek V4.1 Flash
Adicionar cobranças de cartão não conciliadas a um relatório de despesasFluxos de aplicativos webIgualou por menos2/2, 169.6 s, $0.1932/2, 157.1 s, $0.026
Aplicar pagamentos de lockboxFluxos de aplicativos webIgualou por menos2/2, 185.2 s, $0.1412/2, 184.3 s, $0.025
Aprovar um relatório de despesas de viagemFluxos de aplicativos webIgualou por menos2/2, 156.3 s, $0.1202/2, 144.6 s, $0.020
Reservar uma viagem em conformidade com a políticaFluxos de aplicativos webIgualou por menos2/2, 199.4 s, $0.2532/2, 189.2 s, $0.033
Adequar monitores de serviços a um padrãoFluxos de aplicativos webIgualou por menos2/2, 133.9 s, $0.1312/2, 119.3 s, $0.024
Revisão da pontualidade das transportadoras e regras de alertaFluxos de aplicativos webIgualou por menos2/2, 198.1 s, $0.1402/2, 213.7 s, $0.042
Solicitar diárias de alimentaçãoFluxos de aplicativos webIgualou por menos2/2, 123.4 s, $0.1092/2, 93.2 s, $0.018
Solicitar reembolso diário por quilometragemFluxos de aplicativos webIgualou, mais lento2/2, 246.6 s, $0.2282/2, 282.4 s, $0.036
Cobrir plantões levando em conta as folgasFluxos de aplicativos webIgualou por menos2/2, 85.6 s, $0.1082/2, 69.0 s, $0.013
Criar pedidos de compra com base nos pontos de reposiçãoFluxos de aplicativos webIgualou, mais lento2/2, 116.7 s, $0.1232/2, 146.9 s, $0.019
Registrar devoluções de pedidos danificadosFluxos de aplicativos webIgualou, mais lento2/2, 238.5 s, $0.2932/2, 297.5 s, $0.045
Bloquear ou liberar deploys com base nos orçamentos de erroFluxos de aplicativos webIgualou por menos1/2, 90.1 s, $0.0861/2, 74.1 s, $0.013
Conciliar faturas com pagamentos e abrir contestaçõesFluxos de aplicativos webIgualou por menos2/2, 212.0 s, $0.2142/2, 224.6 s, $0.042
Reverter versões publicadas durante um bloqueio de deploysFluxos de aplicativos webGPT-6.1 Sol teve sucesso em mais tentativas2/2, 115.4 s, $0.1111/2, 241.3 s, $0.040
Redigir e enviar uma análise pós-incidenteFluxos de aplicativos webIgualou por menos2/2, 135.5 s, $0.1582/2, 126.7 s, $0.026
Menores tarifas de voos sem escalas em um site de busca de passagensBusca e comparação em poucos sitesIgualou, mais lento1/2, 380.6 s, $0.4921/2, 1058.9 s, $0.096
Comparar três notebooks MacBusca e comparação em poucos sitesIgualou, mais lento2/2, 278.5 s, $0.5292/2, 320.4 s, $0.065
Informe de inflação com dados do FRED, conferido com o BLSBusca e comparação em poucos sitesIgualou por menos2/2, 117.8 s, $0.1582/2, 93.6 s, $0.019
Retrato KYC de quatro empresas do Reino UnidoBusca e comparação em poucos sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 181.1 s, $0.2691/2, 170.1 s, $0.034
Conferir ensaios clínicos com as bulas dos medicamentosBusca e comparação em poucos sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 338.8 s, $0.4871/2, 293.6 s, $0.052
Conciliar as bilheterias de seis filmesBusca e comparação em poucos sitesIgualou, mais lento2/2, 189.2 s, $0.2092/2, 210.5 s, $0.028
Notas de estudo a partir de uma aula, código e um artigo científicoBusca e comparação em poucos sitesIgualou por menos2/2, 215.6 s, $0.4222/2, 232.5 s, $0.041
Recursos web no MDN e no Can I useBusca e comparação em poucos sitesIgualou, mais lento2/2, 161.8 s, $0.1972/2, 430.5 s, $0.049
Preços de API em capturas do WaybackPesquisa e sínteseDeepSeek V4.1 Flash teve sucesso em mais tentativas0/2, 410.4 s, $0.3002/2, 1111.2 s, $0.065
Gráfico do ranking do ARC PrizePesquisa e sínteseIgualou, mais lento2/2, 197.0 s, $0.2472/2, 341.1 s, $0.081
Verificar 10 afirmações de um resumo semanal de IAPesquisa e sínteseGPT-6.1 Sol teve sucesso em mais tentativas2/2, 184.3 s, $0.3310/2, 307.3 s, $0.059
Comparar cinco APIs de modelos chineses para calcular uma conta mensalPesquisa e sínteseIgualou, mais lento2/2, 205.8 s, $0.3442/2, 278.6 s, $0.055
Auditoria de divulgação de 8 modelos de fronteira conforme a Lei de IA da UEPesquisa e sínteseNenhum teve sucesso0/2, 555.1 s, $1.0070/2, 530.4 s, $0.126
Listar lançamentos de modelos via API em setembro com base em seis registros de alteraçõesPesquisa e sínteseGPT-6.1 Sol teve sucesso em mais tentativas2/2, 148.2 s, $0.2601/2, 378.5 s, $0.078
Modelos acima dos limites de computação da UEPesquisa e sínteseGPT-6.1 Sol teve sucesso em mais tentativas2/2, 94.0 s, $0.0951/2, 170.2 s, $0.034
Escolher endpoints do OpenRouter para o GLM 5.3Pesquisa e sínteseIgualou, mais lento2/2, 222.2 s, $0.3052/2, 363.4 s, $0.067
Escolher um modelo para sinistros de seguros alemães com seis requisitosPesquisa e sínteseDeepSeek V4.1 Flash teve sucesso em mais tentativas1/2, 155.3 s, $0.2612/2, 285.0 s, $0.057
Calcular o custo de uma carga de trabalho de tickets de suporte em 6 páginas de preçosPesquisa e sínteseIgualou, mais lento1/2, 334.8 s, $0.5591/2, 399.2 s, $0.101
Examinar uma atualização do LiveBenchPesquisa e sínteseDeepSeek V4.1 Flash teve sucesso em mais tentativas0/2, 67.8 s, $0.1292/2, 215.3 s, $0.050
Rastrear uma tabela da Wikipedia até suas fontesPesquisa e sínteseGPT-6.1 Sol teve sucesso em mais tentativas2/2, 286.6 s, $0.2220/2, 514.5 s, $0.060
8 contratações de clubes: X em comparação com os sites dos clubesVerificação de publicações no X com outras fontesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 1099.5 s, $1.4850/2, 2198.8 s, $0.080
8 lançamentos de produtos: publicações no X em comparação com comunicados à imprensaVerificação de publicações no X com outras fontesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 583.1 s, $0.7250/2, 1451.6 s, $0.086
Publicações sobre o Nobel de 8 universidades no XVerificação de publicações no X com outras fontesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 790.7 s, $0.8351/2, 2557.1 s, $0.117
Versões de segurança de 8 projetos de código aberto: X em comparação com os avisos de segurançaVerificação de publicações no X com outras fontesIgualou, mais lento2/2, 426.5 s, $0.7242/2, 1306.2 s, $0.117
Conferir publicações de lançamentos da SpaceX no X com a WikipediaVerificação de publicações no X com outras fontesIgualou, mais lento2/2, 156.2 s, $0.1662/2, 841.3 s, $0.044
Comunicados sobre o clima de 2025 de 11 agências meteorológicasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas1/2, 616.5 s, $1.0760/2, 556.2 s, $0.120
Movimento de 2025 em 8 aeroportosColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento1/2, 609.4 s, $1.0151/2, 750.7 s, $0.127
Campeões de 2025-26 de 9 ligasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 577.7 s, $1.1930/2, 798.0 s, $0.110
8 câmeras em 8 sites de marcasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 381.1 s, $0.5111/2, 540.1 s, $0.083
8 pesquisas com desenvolvedoresColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 348.6 s, $0.5850/2, 537.0 s, $0.122
9 SUVs elétricosColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 557.3 s, $1.1110/2, 620.2 s, $0.104
9 modelos de pesos abertosColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento1/2, 448.1 s, $0.7031/2, 548.0 s, $0.110
Conformidade de 9 fornecedores de SaaSColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas1/2, 434.7 s, $0.5980/2, 452.0 s, $0.081
Edições vigentes de 9 normasColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento2/2, 282.9 s, $0.6752/2, 386.3 s, $0.059
Celulares topo de linha de 9 marcasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 439.4 s, $0.6200/2, 509.0 s, $0.077
Planos gratuitos de 9 serviços de CIColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 350.6 s, $0.5250/2, 617.3 s, $0.118
Planos gratuitos de 9 plataformas serverlessColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 209.9 s, $0.3191/2, 390.7 s, $0.077
Palestras principais de 9 conferências de desenvolvedoresColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 429.1 s, $0.5860/2, 949.7 s, $0.114
Eleição mais recente em 9 lugaresColeta dos mesmos campos em 8 ou mais sitesNenhum teve sucesso0/2, 582.7 s, $1.1140/2, 625.3 s, $0.120
Versão mais recente de 9 ambientes de execução de linguagensColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 326.9 s, $0.6380/2, 464.1 s, $0.090
Versão estável mais recente de 9 navegadores de desktopColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento2/2, 263.2 s, $0.5102/2, 552.6 s, $0.104
Versões estáveis mais recentes de 9 frameworks de frontendColeta dos mesmos campos em 8 ou mais sitesDeepSeek V4.1 Flash teve sucesso em mais tentativas0/2, 252.0 s, $0.3752/2, 425.9 s, $0.069
Salário mínimo em 9 jurisdiçõesColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 520.4 s, $0.8340/2, 630.3 s, $0.088
Um álbum em 9 serviços de músicaColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento2/2, 260.6 s, $0.6602/2, 485.6 s, $0.055
Edições de um livro em 10 fontesColeta dos mesmos campos em 8 ou mais sitesDeepSeek V4.1 Flash teve sucesso em mais tentativas1/2, 315.6 s, $0.4772/2, 498.5 s, $0.061
Um carro em 9 programas de testes de colisãoColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas1/2, 345.1 s, $0.5240/2, 609.2 s, $0.104
Um medicamento em 8 órgãos reguladoresColeta dos mesmos campos em 8 ou mais sitesNenhum teve sucesso0/2, 52.7 s, $0.0600/2, 614.5 s, $0.117
Um terremoto segundo 9 agênciasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 321.3 s, $0.7500/2, 694.1 s, $0.109
Um jogo segundo 8 órgãos de classificaçãoColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 496.2 s, $0.6590/2, 666.1 s, $0.092
Uma gravura em 10 coleções de museusColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 465.4 s, $0.7770/2, 693.7 s, $0.098
Um CVE do sudo em 9 avisos de distribuiçõesColeta dos mesmos campos em 8 ou mais sitesIgualou por menos2/2, 389.0 s, $0.4872/2, 280.1 s, $0.045
O número um de uma semana em 9 paradas nacionaisColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento2/2, 530.8 s, $0.7712/2, 631.1 s, $0.090
Primeiras estimativas do PIB do 2º trimestre de 9 agênciasColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 471.3 s, $0.9271/2, 616.9 s, $0.105
Decisões sobre juros de 12 bancos centraisColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 374.9 s, $0.6200/2, 496.5 s, $0.109
Datas de suporte de 9 versões de produtos de fornecedoresColeta dos mesmos campos em 8 ou mais sitesIgualou, mais lento2/2, 273.8 s, $0.3902/2, 327.4 s, $0.065
O ambiente de execução do protobuf em 9 registros de pacotesColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas1/2, 415.8 s, $0.5440/2, 566.7 s, $0.082
O prêmio principal de 9 festivais de cinemaColeta dos mesmos campos em 8 ou mais sitesGPT-6.1 Sol teve sucesso em mais tentativas2/2, 628.3 s, $0.9690/2, 665.1 s, $0.093

Registro de atualizações: publicado pela primeira vez em 9 de novembro de 2026 com as execuções de 7 de novembro de 2026, duas tentativas por tarefa para cada modelo em 72 tarefas.

Continue lendo