Avaliamos o uso do navegador pelo DeepSeek V4.1 Flash e pelo GPT-6.1 Sol em 72 tarefas web

O GPT-6.1 Sol seria nossa escolha para um agente que trabalha em muitos sites, e o DeepSeek V4.1 Flash, para fluxos dentro de um único aplicativo web. Cada modelo executou cada uma das nossas 72 tarefas duas vezes no ego-browser, totalizando 144 tentativas por modelo. O GPT-6.1 Sol teve sucesso em 121 das 144 tentativas (84.0%), e o DeepSeek V4.1 Flash, em 82 (56.9%). Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o GPT-6.1 Sol levou 219.7 segundos e custou $0.310 por tarefa, e o DeepSeek V4.1 Flash levou 321.7 segundos e custou $0.047.
Ao ler as execuções, observamos formas de trabalho diferentes. O GPT-6.1 Sol costuma lidar com vários sites em um único comando, enquanto o DeepSeek V4.1 Flash trabalha em uma página por vez e continua procurando. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash esgotou seus 100 passos em 23 tentativas. Em nossos aplicativos de teste, nos quais o trabalho acontece dentro de um único aplicativo web, ele quase igualou a taxa de sucesso e a velocidade do GPT-6.1 Sol por cerca de um sexto do custo.
Cada modelo também tem uma fraqueza que levaríamos em conta no planejamento. Às vezes, o GPT-6.1 Sol para de procurar cedo demais: em 3 tarefas, falhou nas duas tentativas, enquanto o DeepSeek V4.1 Flash continuou procurando e teve sucesso nas duas. O DeepSeek V4.1 Flash deu mais respostas erradas, apesar de ter respondido menos vezes: 34 de suas 144 tentativas terminaram com uma resposta errada, contra 23 do GPT-6.1 Sol.
Taxa de sucesso, velocidade e custo
O GPT-6.1 Sol lidera em taxa de sucesso e velocidade, e o DeepSeek V4.1 Flash custa cerca de 15% do que custa o outro modelo. Comparamos tempo e custo nas 29 tarefas em que ambos tiveram sucesso em todas as tentativas; assim, os números de nenhum dos modelos incluem tentativas malsucedidas nessa comparação. As linhas referentes às 72 tarefas incluem as tentativas malsucedidas.
| Métrica | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| Taxa de sucesso, todas as 72 tarefas | 84.0% (121 de 144 tentativas) | 56.9% (82 de 144 tentativas) |
| Tempo por tarefa, 29 tarefas em que ambos sempre tiveram sucesso | 219.7 s | 321.7 s |
| Tempo por tarefa, todas as 72 tarefas | 321.6 s | 511.4 s |
| Custo por tarefa, 29 tarefas em que ambos sempre tiveram sucesso | $0.310 | $0.047 |
| Custo por tarefa, todas as 72 tarefas | $0.483 | $0.071 |
| Custo por tentativa bem-sucedida, todas as 72 tarefas | $0.575 | $0.124 |
| Chamadas de ferramenta por tarefa, todas as 72 tarefas | 34.6 | 61.6 |
Execuções de 7 de novembro de 2026, com ambos os modelos no ego-browser. Cada modelo executou cada tarefa duas vezes. O tempo inclui a espera pelas respostas da API de cada modelo.
O DeepSeek V4.1 Flash custa menos porque suas tarifas são menores, não porque faz menos trabalho. Ele fez 61.6 chamadas de ferramenta por tarefa, e o GPT-6.1 Sol, 34.6. Mesmo por tentativa bem-sucedida, o DeepSeek V4.1 Flash custou $0.124, e o GPT-6.1 Sol, $0.575.
A maior parte da diferença na taxa de sucesso vem de um tipo de trabalho. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o GPT-6.1 Sol teve sucesso em 51 de 64 tentativas, e o DeepSeek V4.1 Flash, em 21. Nos fluxos de aplicativos web, os dois modelos tiveram sucesso em 29 e 28 de 30 tentativas.
| Tipo de trabalho | Tarefas | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| Fluxos de aplicativos web | 15 | 96.7% (29/30) | 93.3% (28/30) |
| Busca e comparação em poucos sites | 8 | 93.8% (15/16) | 81.3% (13/16) |
| Pesquisa e síntese | 12 | 66.7% (16/24) | 62.5% (15/24) |
| Verificação de publicações no X com outras fontes | 5 | 100% (10/10) | 50.0% (5/10) |
| Coleta dos mesmos campos em 8 ou mais sites | 32 | 79.7% (51/64) | 32.8% (21/64) |
| Todas as tarefas | 72 | 84.0% (121/144) | 56.9% (82/144) |
A taxa de sucesso é a proporção de tentativas bem-sucedidas, considerando duas tentativas por tarefa.
Nos fluxos de aplicativos web, a diferença na taxa de sucesso entre os modelos foi mínima; ali, o que os diferencia é o custo. Nas tarefas que envolvem muitos sites, o GPT-6.1 Sol teve sucesso com muito mais frequência.
Como o GPT-6.1 Sol trabalha
O GPT-6.1 Sol costuma lidar com vários sites em um único comando. Quando uma tarefa envolve muitos sites, ele os mantém abertos em abas separadas e avança em vários deles a cada comando do ego-browser. Os dois modelos receberam o mesmo arquivo de skill do ego-browser, que explica como manter várias abas abertas quando a tarefa exige. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, 56% dos comandos de navegador do GPT-6.1 Sol trabalharam em duas ou mais abas. O DeepSeek V4.1 Flash fez isso em menos de 1% de seus comandos.
A tarefa do terremoto ilustra esse comportamento. Ela pede o horário, a magnitude e a profundidade de um terremoto de 2025, conforme os registros de 9 agências. Em um único comando, o GPT-6.1 Sol leu a página do evento no USGS, abriu os dados científicos na página do evento no EMSC, abriu a página do evento no GFZ e direcionou uma quarta aba para o INGV. Ele teve sucesso nas duas tentativas, com 40 chamadas de ferramenta em uma e 32 na outra. O DeepSeek V4.1 Flash percorreu as 9 agências em sequência, em uma única aba, preenchendo o formulário de busca de cada uma, e esgotou os 100 passos nas duas tentativas.
Em nossas execuções, o GPT-6.1 Sol precisou de menos chamadas de ferramenta e terminou mais cedo. Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, ele fez 28.6 chamadas de ferramenta por tarefa, e o DeepSeek V4.1 Flash, 43.0. Nas 16 dessas tarefas fora de aplicativos web, o GPT-6.1 Sol foi mais rápido em 14. Nos fluxos de aplicativos web, ele trabalhou em duas ou mais abas em apenas 3% de seus comandos de navegador, e os dois modelos levaram aproximadamente o mesmo tempo.
A fraqueza do GPT-6.1 Sol é que, às vezes, ele para de procurar cedo demais. Em 3 tarefas, falhou nas duas tentativas, enquanto o DeepSeek V4.1 Flash teve sucesso nas duas. Na tarefa do LiveBench, ambos procuraram no ranking o GPT-5.4 com esforço High e encontraram apenas a linha xHigh. Após 12 chamadas de ferramenta, o GPT-6.1 Sol informou que a página não mostrava aquela pontuação. O DeepSeek V4.1 Flash continuou procurando e a encontrou, 75.1, em um seletor de modelos mais abaixo na mesma página, na seção Insights.
O mesmo ocorreu na tarefa de frameworks de frontend. Em uma tentativa, o GPT-6.1 Sol pesquisou por "16.3." na lista de versões do Next.js e informou o primeiro resultado: 16.3.2, de 21 de agosto. O DeepSeek V4.1 Flash percorreu as páginas da lista de versões, composta principalmente por builds canary, e encontrou a 16.3.8, publicada em 30 de setembro. Quando o GPT-6.1 Sol informa que um valor não está em um site ou usa o primeiro resultado de uma busca, conferiríamos esse valor por conta própria antes de usar a resposta.
Como o DeepSeek V4.1 Flash trabalha
O DeepSeek V4.1 Flash trabalha em uma página por vez e continua até encontrar o que procura. Ele fez 61.6 chamadas de ferramenta por tarefa, e o GPT-6.1 Sol, 34.6. Foi essa persistência que permitiu a ele concluir as tarefas do LiveBench e de frameworks de frontend nas quais o GPT-6.1 Sol falhou.
Dentro de um único aplicativo web, trabalhar em uma página por vez fez pouca diferença. Nossos 15 fluxos de aplicativos web são executados em aplicativos de teste preenchidos com dados novos, como um aplicativo de reserva de viagens e outro de despesas. O DeepSeek V4.1 Flash teve sucesso em 28 de suas 30 tentativas ali, e o GPT-6.1 Sol, em 29. Nos 13 fluxos em que ambos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash levou 173.0 segundos e custou $0.028 por tarefa, e o GPT-6.1 Sol levou 169.3 segundos e custou $0.170.
Reservar uma viagem em conformidade com a política é um exemplo típico. A tarefa pede ao agente que reserve voos de ida e volta dentro da política de viagens, escolha assentos no corredor e reserve um hotel a até uma milha do local do evento. Os dois modelos tiveram sucesso nas duas tentativas. O DeepSeek V4.1 Flash levou 189.2 segundos e custou $0.033 por tarefa, e o GPT-6.1 Sol levou 199.4 segundos e custou $0.253.
Em 8 ou mais sites, essa mesma forma de trabalhar esgota os passos. Nessas 32 tarefas, o DeepSeek V4.1 Flash teve sucesso em 21 de 64 tentativas, e o GPT-6.1 Sol, em 51. O primeiro fez 82.2 chamadas de ferramenta por tarefa ali, o dobro das 41.1 do GPT-6.1 Sol. Das 26 tentativas em que esgotou os 100 passos, 23 foram nessas tarefas.
Quando o DeepSeek V4.1 Flash dá uma resposta, conferiríamos suas conclusões com os próprios dados apresentados e com as páginas lidas. Ele falhou em 62 tentativas: 34 terminaram com uma resposta errada, e 28, sem resposta. Dessas 28, 26 esgotaram os 100 passos, e 1 terminou quando a API do DeepSeek retornou erros de servidor. Todas as 23 tentativas malsucedidas do GPT-6.1 Sol terminaram com uma resposta errada. Em uma tentativa da tarefa de celulares topo de linha, a própria tabela do DeepSeek V4.1 Flash indicava que o Galaxy S26 pesava 167 g. A linha abaixo da tabela, porém, apontava o motorola signature, de 186 g, como o celular mais leve.
Qual modelo usar
No ego-browser, use o GPT-6.1 Sol para um agente que trabalha em muitos sites. Ele teve sucesso em 84.0% de suas tentativas e nunca esgotou os passos. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, teve sucesso em 51 de 64 tentativas e concluiu mais cedo o trabalho que envolvia vários sites.
Use o DeepSeek V4.1 Flash para fluxos dentro de um único aplicativo web. Em nossos aplicativos de teste, ele teve sucesso em 28 de 30 tentativas, levou aproximadamente o mesmo tempo que o GPT-6.1 Sol e custou cerca de um sexto do custo do outro modelo. Não contaríamos com ele para trabalhos em 8 ou mais sites, nos quais teve sucesso em 21 de 64 tentativas.
Nas consultas em poucos sites e nas tarefas de pesquisa, a escolha envolve tempo e dinheiro. O DeepSeek V4.1 Flash teve sucesso em 13 de 16 tentativas de consulta e em 15 de 24 de pesquisa; o GPT-6.1 Sol, em 15 de 16 e em 16 de 24. O DeepSeek V4.1 Flash custou menos e demorou mais nos dois casos.

Seja qual for o modelo escolhido, confira os valores principais da resposta. Às vezes, ambos deram uma resposta aparentemente completa que continha um valor errado. Executamos os dois com esforço de raciocínio high no ego-browser, que é fornecido com o ego(lite) e o controla como navegador do agente.
Perguntas frequentes
O DeepSeek V4.1 Flash é tão bom quanto o GPT-6.1 Sol no uso do navegador?
Dentro de um único aplicativo web, quase; em muitos sites, não. Nos fluxos de aplicativos web, o DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas, e o GPT-6.1 Sol, em 29. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash teve sucesso em 21 de 64 tentativas, e o GPT-6.1 Sol, em 51. Considerando as 72 tarefas, as taxas de sucesso foram de 56.9% e 84.0% das tentativas, respectivamente.
Por que o GPT-6.1 Sol é mais rápido que o DeepSeek V4.1 Flash no navegador?
Em nossas execuções, o GPT-6.1 Sol precisou de menos chamadas de ferramenta, em parte porque costuma lidar com vários sites em um único comando. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, 56% de seus comandos de navegador trabalharam em duas ou mais abas, contra menos de 1% dos comandos do DeepSeek V4.1 Flash. Nas 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o GPT-6.1 Sol fez 28.6 chamadas de ferramenta e levou 219.7 segundos por tarefa, enquanto o DeepSeek V4.1 Flash fez 43.0 e levou 321.7. Nos fluxos de aplicativos web, levaram aproximadamente o mesmo tempo.
Quanto o DeepSeek V4.1 Flash é mais barato que o GPT-6.1 Sol em tarefas de navegação?
O DeepSeek V4.1 Flash custa cerca de 15% do que custa o GPT-6.1 Sol. Nas 29 tarefas em que ambos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash custou $0.047 por tarefa, e o GPT-6.1 Sol, $0.310. Considerando as 72 tarefas, o DeepSeek V4.1 Flash custou $0.071 por tarefa, e o GPT-6.1 Sol, $0.483. Por tentativa bem-sucedida, o DeepSeek V4.1 Flash custou $0.124, e o GPT-6.1 Sol, $0.575.
Por que o DeepSeek V4.1 Flash falha em tarefas que envolvem muitos sites?
Cerca de metade das falhas ali ocorre por esgotamento dos passos. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, ele trabalha em uma página por vez e fez 82.2 chamadas de ferramenta por tarefa, contra 41.1 do GPT-6.1 Sol. Das 43 tentativas malsucedidas nessas tarefas, 23 terminaram sem resposta após usar todos os 100 passos.
Por que o GPT-6.1 Sol erra algumas tarefas de navegação?
Nas tarefas do LiveBench e de frameworks de frontend, ele parou de procurar cedo demais. Na tarefa do LiveBench, após 12 chamadas de ferramenta, o GPT-6.1 Sol informou que a página não mostrava uma pontuação, enquanto o DeepSeek V4.1 Flash a encontrou mais abaixo na mesma página, na seção Insights. O DeepSeek V4.1 Flash teve sucesso nas duas tentativas de 3 tarefas nas quais o GPT-6.1 Sol falhou duas vezes.
O DeepSeek V4.1 Flash comete mais erros que o GPT-6.1 Sol?
Sim. Das 144 tentativas do DeepSeek V4.1 Flash, 34 terminaram com uma resposta errada, contra 23 do GPT-6.1 Sol. O DeepSeek V4.1 Flash também deu menos respostas, porque 28 de suas tentativas terminaram sem uma. Em uma tentativa da tarefa de celulares topo de linha, a própria tabela dele indicava o Galaxy S26 com 167 g, mas o resumo apontava um celular de 186 g como o mais leve.
O DeepSeek V4.1 Flash consegue preencher formulários e executar fluxos em um aplicativo web?
Sim. O DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas nos 15 fluxos de aplicativos web de nossos aplicativos de teste, e o GPT-6.1 Sol, em 29 de 30. As tarefas incluíam reservar uma viagem, aplicar pagamentos de lockbox e aprovar relatórios de despesas. Nas 13 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, o DeepSeek V4.1 Flash custou $0.028 por tarefa, e o GPT-6.1 Sol, $0.170.
Quais tarefas de navegação o DeepSeek V4.1 Flash consegue fazer por menos que o GPT-6.1 Sol?
Principalmente fluxos dentro de um único aplicativo web, nos quais 11 dos 15 fluxos atenderam a três condições. Nessas 11 tarefas, o DeepSeek V4.1 Flash teve sucesso com a mesma frequência que o GPT-6.1 Sol, demorou no máximo 10% a mais e custou menos de um terço do que custou o outro modelo. Outras três tarefas atenderam às mesmas condições: um informe de inflação com dados do FRED e do BLS, notas de estudo a partir de uma aula, código e um artigo científico, e a verificação de um CVE do sudo em nove avisos de distribuições Linux.
Quantas chamadas de ferramenta o DeepSeek V4.1 Flash faz em comparação com o GPT-6.1 Sol?
Considerando as 72 tarefas, o DeepSeek V4.1 Flash fez 61.6 chamadas de ferramenta por tarefa, cerca de 78% a mais que as 34.6 do GPT-6.1 Sol. Nas tarefas de coleta dos mesmos campos em 8 ou mais sites, o DeepSeek V4.1 Flash fez 82.2 por tarefa, o dobro das 41.1 do GPT-6.1 Sol. Nos fluxos de aplicativos web, o DeepSeek V4.1 Flash fez 33.3 por tarefa, e o GPT-6.1 Sol, 26.0.
Vale a pena usar o DeepSeek V4.1 Flash para agentes de navegação?
Sim, para fluxos dentro de um único aplicativo web: o DeepSeek V4.1 Flash teve sucesso em 28 de 30 tentativas ali por cerca de um sexto do custo do GPT-6.1 Sol. Para um agente que trabalha em muitos sites, o GPT-6.1 Sol é a melhor escolha, pois teve sucesso em 84.0% de suas tentativas, contra 56.9% do DeepSeek V4.1 Flash.
Como testamos
Executamos os dois modelos em 7 de novembro de 2026, no macOS, no ego-browser com ego(lite) 0.6.3.2. Ambos foram executados no ambiente de agentes pi com o arquivo de skill do ego-browser. Usamos os identificadores de modelo deepseek-flash e gpt-6.1-sol, com esforço de raciocínio high. Ambos tinham o mesmo limite de 100 passos por tentativa. Um passo é um turno do modelo e, em quase todos os passos, o modelo fez uma chamada de ferramenta. Cada modelo executou cada uma das 72 tarefas duas vezes, totalizando 144 tentativas por modelo.

As tarefas são 72 trabalhos complexos de automação web. Algumas são executadas em sites reais, e outras, em aplicativos de teste que preenchemos com dados novos. Agrupamos as tarefas pelo tipo de trabalho solicitado:
| Tipo de trabalho | Tarefas | Exemplo de tarefa |
|---|---|---|
| Fluxos de aplicativos web | 15 | Reservar uma viagem em conformidade com a política |
| Busca e comparação em poucos sites | 8 | Informe de inflação com dados do FRED, conferido com o BLS |
| Pesquisa e síntese | 12 | Rastrear uma tabela da Wikipedia até suas fontes |
| Verificação de publicações no X com outras fontes | 5 | Conferir publicações de lançamentos da SpaceX no X com a Wikipedia |
| Coleta dos mesmos campos em 8 ou mais sites | 32 | Decisões sobre juros de 12 bancos centrais |
Cada tarefa pertence a um único grupo. As 5 tarefas de verificação de publicações no X formam um grupo próprio, mesmo quando abrangem 8 contas.
Cada tarefa é avaliada em 3 a 10 critérios. Uma tentativa só é aprovada quando atende a todos eles.
Para entender como cada modelo trabalha, lemos os registros de sessão das tentativas dos dois modelos. Consideramos que um comando do navegador trabalha em duas ou mais abas quando o script enviado pelo modelo ao ego-browser nesse comando lê informações ou realiza ações em duas ou mais abas.
A taxa de sucesso é a proporção de tentativas bem-sucedidas. Todos os números por tarefa deste artigo, incluindo tempo, custo e chamadas de ferramenta, são a média das duas tentativas da tarefa. O tempo vai do início de uma tentativa até a resposta final ou, quando não houve resposta, até o último passo, e inclui a espera pelas respostas da API de cada modelo. O custo é o valor dos tokens de cada tentativa calculado pelas tarifas do provedor. O custo por tentativa bem-sucedida é o custo de todas as 144 tentativas dividido pelo número de tentativas bem-sucedidas. Ao comparar tempo e custo, usamos as 29 tarefas em que ambos os modelos tiveram sucesso em todas as tentativas, salvo indicação em contrário no texto.
Na coluna Resultado abaixo, “Igualou por menos” significa que o DeepSeek V4.1 Flash teve sucesso com a mesma frequência que o GPT-6.1 Sol, demorou no máximo 10% a mais e custou menos de um terço do que custou o outro modelo. “Igualou, mais lento” significa que os dois tiveram sucesso com a mesma frequência, mas a tarefa não atendeu a essas condições de tempo e custo.
Resultados completos
Cada célula mostra o número de tentativas bem-sucedidas de um total de 2, seguido do tempo por tarefa e do custo por tarefa. Tempo e custo são as médias das duas tentativas da tarefa, e o tempo inclui a espera pelas respostas da API de cada modelo.
| Tarefa | Tipo de trabalho | Resultado | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| Adicionar cobranças de cartão não conciliadas a um relatório de despesas | Fluxos de aplicativos web | Igualou por menos | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| Aplicar pagamentos de lockbox | Fluxos de aplicativos web | Igualou por menos | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| Aprovar um relatório de despesas de viagem | Fluxos de aplicativos web | Igualou por menos | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| Reservar uma viagem em conformidade com a política | Fluxos de aplicativos web | Igualou por menos | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| Adequar monitores de serviços a um padrão | Fluxos de aplicativos web | Igualou por menos | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| Revisão da pontualidade das transportadoras e regras de alerta | Fluxos de aplicativos web | Igualou por menos | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| Solicitar diárias de alimentação | Fluxos de aplicativos web | Igualou por menos | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| Solicitar reembolso diário por quilometragem | Fluxos de aplicativos web | Igualou, mais lento | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| Cobrir plantões levando em conta as folgas | Fluxos de aplicativos web | Igualou por menos | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| Criar pedidos de compra com base nos pontos de reposição | Fluxos de aplicativos web | Igualou, mais lento | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| Registrar devoluções de pedidos danificados | Fluxos de aplicativos web | Igualou, mais lento | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| Bloquear ou liberar deploys com base nos orçamentos de erro | Fluxos de aplicativos web | Igualou por menos | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| Conciliar faturas com pagamentos e abrir contestações | Fluxos de aplicativos web | Igualou por menos | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| Reverter versões publicadas durante um bloqueio de deploys | Fluxos de aplicativos web | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| Redigir e enviar uma análise pós-incidente | Fluxos de aplicativos web | Igualou por menos | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| Menores tarifas de voos sem escalas em um site de busca de passagens | Busca e comparação em poucos sites | Igualou, mais lento | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| Comparar três notebooks Mac | Busca e comparação em poucos sites | Igualou, mais lento | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| Informe de inflação com dados do FRED, conferido com o BLS | Busca e comparação em poucos sites | Igualou por menos | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| Retrato KYC de quatro empresas do Reino Unido | Busca e comparação em poucos sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| Conferir ensaios clínicos com as bulas dos medicamentos | Busca e comparação em poucos sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| Conciliar as bilheterias de seis filmes | Busca e comparação em poucos sites | Igualou, mais lento | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| Notas de estudo a partir de uma aula, código e um artigo científico | Busca e comparação em poucos sites | Igualou por menos | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| Recursos web no MDN e no Can I use | Busca e comparação em poucos sites | Igualou, mais lento | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Preços de API em capturas do Wayback | Pesquisa e síntese | DeepSeek V4.1 Flash teve sucesso em mais tentativas | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| Gráfico do ranking do ARC Prize | Pesquisa e síntese | Igualou, mais lento | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| Verificar 10 afirmações de um resumo semanal de IA | Pesquisa e síntese | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| Comparar cinco APIs de modelos chineses para calcular uma conta mensal | Pesquisa e síntese | Igualou, mais lento | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| Auditoria de divulgação de 8 modelos de fronteira conforme a Lei de IA da UE | Pesquisa e síntese | Nenhum teve sucesso | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| Listar lançamentos de modelos via API em setembro com base em seis registros de alterações | Pesquisa e síntese | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| Modelos acima dos limites de computação da UE | Pesquisa e síntese | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| Escolher endpoints do OpenRouter para o GLM 5.3 | Pesquisa e síntese | Igualou, mais lento | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| Escolher um modelo para sinistros de seguros alemães com seis requisitos | Pesquisa e síntese | DeepSeek V4.1 Flash teve sucesso em mais tentativas | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| Calcular o custo de uma carga de trabalho de tickets de suporte em 6 páginas de preços | Pesquisa e síntese | Igualou, mais lento | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| Examinar uma atualização do LiveBench | Pesquisa e síntese | DeepSeek V4.1 Flash teve sucesso em mais tentativas | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Rastrear uma tabela da Wikipedia até suas fontes | Pesquisa e síntese | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 8 contratações de clubes: X em comparação com os sites dos clubes | Verificação de publicações no X com outras fontes | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 8 lançamentos de produtos: publicações no X em comparação com comunicados à imprensa | Verificação de publicações no X com outras fontes | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| Publicações sobre o Nobel de 8 universidades no X | Verificação de publicações no X com outras fontes | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| Versões de segurança de 8 projetos de código aberto: X em comparação com os avisos de segurança | Verificação de publicações no X com outras fontes | Igualou, mais lento | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| Conferir publicações de lançamentos da SpaceX no X com a Wikipedia | Verificação de publicações no X com outras fontes | Igualou, mais lento | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| Comunicados sobre o clima de 2025 de 11 agências meteorológicas | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| Movimento de 2025 em 8 aeroportos | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| Campeões de 2025-26 de 9 ligas | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 câmeras em 8 sites de marcas | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 pesquisas com desenvolvedores | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 SUVs elétricos | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 modelos de pesos abertos | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| Conformidade de 9 fornecedores de SaaS | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| Edições vigentes de 9 normas | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| Celulares topo de linha de 9 marcas | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| Planos gratuitos de 9 serviços de CI | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| Planos gratuitos de 9 plataformas serverless | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| Palestras principais de 9 conferências de desenvolvedores | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| Eleição mais recente em 9 lugares | Coleta dos mesmos campos em 8 ou mais sites | Nenhum teve sucesso | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| Versão mais recente de 9 ambientes de execução de linguagens | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| Versão estável mais recente de 9 navegadores de desktop | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| Versões estáveis mais recentes de 9 frameworks de frontend | Coleta dos mesmos campos em 8 ou mais sites | DeepSeek V4.1 Flash teve sucesso em mais tentativas | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| Salário mínimo em 9 jurisdições | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| Um álbum em 9 serviços de música | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| Edições de um livro em 10 fontes | Coleta dos mesmos campos em 8 ou mais sites | DeepSeek V4.1 Flash teve sucesso em mais tentativas | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| Um carro em 9 programas de testes de colisão | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| Um medicamento em 8 órgãos reguladores | Coleta dos mesmos campos em 8 ou mais sites | Nenhum teve sucesso | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| Um terremoto segundo 9 agências | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| Um jogo segundo 8 órgãos de classificação | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| Uma gravura em 10 coleções de museus | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| Um CVE do sudo em 9 avisos de distribuições | Coleta dos mesmos campos em 8 ou mais sites | Igualou por menos | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| O número um de uma semana em 9 paradas nacionais | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| Primeiras estimativas do PIB do 2º trimestre de 9 agências | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| Decisões sobre juros de 12 bancos centrais | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| Datas de suporte de 9 versões de produtos de fornecedores | Coleta dos mesmos campos em 8 ou mais sites | Igualou, mais lento | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| O ambiente de execução do protobuf em 9 registros de pacotes | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| O prêmio principal de 9 festivais de cinema | Coleta dos mesmos campos em 8 ou mais sites | GPT-6.1 Sol teve sucesso em mais tentativas | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
Registro de atualizações: publicado pela primeira vez em 9 de novembro de 2026 com as execuções de 7 de novembro de 2026, duas tentativas por tarefa para cada modelo em 72 tarefas.


