Avaliamos Kimi K3.1 Pro contra Kimi K3 em 66 tarefas de navegador

Na nossa configuração de pi e ZenMux, escolheríamos Kimi K3.1 Pro em vez de Kimi K3 para concluir mais tarefas. Nas 26 tarefas em que ambos passaram, ele também teve menor tempo médio e menor custo médio estimado do modelo. Neste teste de Kimi K3.1 Pro vs. Kimi K3, contamos 66 tarefas, cada uma executada uma vez por modelo no ego-browser, totalizando 66 tentativas para cada modelo. Kimi K3.1 Pro passou em 38 das suas 66 tentativas (57.6%), e Kimi K3 passou em 27 (40.9%). Nas 26 tarefas em que ambos passaram, Kimi K3.1 Pro levou 400.6 segundos e custou $0.374 por tarefa, enquanto Kimi K3 levou 586.1 segundos e custou $0.578.
A maior diferença entre os modelos está em terminar o trabalho. Kimi K3 encerrou 27 das suas 66 tentativas sem resposta antes do limite de passos; 26 terminaram com uma nota de progresso como “SUSE done. Now Amazon Linux.” Isso aconteceu 0 vezes com Kimi K3.1 Pro. Nas 35 tarefas em que ambos deram uma resposta final, Kimi K3.1 Pro passou em 29 e Kimi K3 em 27.
O ponto fraco de Kimi K3.1 Pro são as tabelas longas que agora consegue terminar. Nas tarefas que coletam os mesmos campos de 8 sites ou mais, passou em 7 de 26 tentativas, contra 2 de Kimi K3. Dezessete das 24 respostas erradas de Kimi K3.1 Pro eram tabelas dessas tarefas, por isso conferiríamos as tabelas antes de usá-las. Em pesquisa exploratória, ambos passaram em 6 de 12; Kimi K3.1 Pro foi mais rápido e mais barato nas cinco tarefas em que ambos passaram.
O menor custo estimado do modelo vem dos preços de tabela mais baixos de Kimi K3.1 Pro. A Moonshot cobra por ele dois terços do preço de Kimi K3 em todos os tipos de token. Considerando as 66 tarefas, custou $0.772 por tarefa contra $0.871, embora tenha usado mais tokens nas tentativas que continuaram depois que as de Kimi K3 terminaram.
Taxa de sucesso
Kimi K3.1 Pro passa em mais tarefas. Passou em 12 nas quais Kimi K3 falhou e falhou em 1 na qual Kimi K3 passou. Em 9 das 12 tarefas que ganhou, Kimi K3 terminou sem resposta; nas outras 3 deu uma resposta errada. Cinco dessas 12 melhorias vieram de tarefas que coletam os mesmos campos de 8 sites ou mais.
Kimi K3.1 Pro passou em pelo menos tantas tentativas quanto Kimi K3 em todos os tipos de trabalho; pesquisa exploratória foi o único empate.
| Tipo de trabalho | Tarefas | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Os mesmos campos de 8 sites ou mais | 26 | 26.9% (7 de 26) | 7.7% (2 de 26) |
| Dentro de um aplicativo web | 15 | 100% (15 de 15) | 86.7% (13 de 15) |
| Pesquisa exploratória | 12 | 50.0% (6 de 12) | 50.0% (6 de 12) |
| Verificações cruzadas em um a três sites | 8 | 100% (8 de 8) | 62.5% (5 de 8) |
| Publicações no X | 5 | 40.0% (2 de 5) | 20.0% (1 de 5) |
| Todas as tarefas | 66 | 57.6% (38 de 66) | 40.9% (27 de 66) |
A taxa de sucesso é calculada com base no número de tentativas aprovadas nas execuções de 3 de novembro de 2026. Em nenhum desses tipos de trabalho Kimi K3 passou em mais tentativas que Kimi K3.1 Pro.
As execuções de Kimi K3 frequentemente terminavam no meio do trabalho. No agente pi que usamos, o modelo trabalha por chamadas de ferramenta, principalmente scripts do ego-browser; uma resposta sem chamada de ferramenta encerra a execução. Kimi K3 enviava respostas que anunciavam o próximo passo sem executá-lo, como “Google done. Now Cloudflare Workers Free.” Fez isso em 26 das suas 66 tentativas, 16 delas entre as 26 tarefas que coletam os mesmos campos de 8 sites ou mais. Cada uma dessas 26 respostas terminou com o sinal normal de parada do modelo, não por um corte de comprimento. Kimi K3.1 Pro encerrou 0 tentativas dessa forma.
A tarefa de plataformas serverless mostra a diferença. Ela pede cinco limites dos planos gratuitos de nove plataformas serverless, de AWS Lambda a Oracle OCI Functions. Kimi K3 leu as páginas de AWS, Azure e Google e parou depois de 11 chamadas de ferramenta com “Google done. Now Cloudflare Workers Free.” Kimi K3.1 Pro seguiu para a página de preços do Workers da Cloudflare, percorreu as nove plataformas em 58 chamadas de ferramenta e passou na tarefa.

As outras 3 melhorias vieram de respostas finais erradas de Kimi K3. A tarefa de PIB pede a nove agências de estatística o crescimento do segundo trimestre nas estimativas iniciais e nas mais recentes, sem anualização. Ambos os modelos abriram a estimativa preliminar do Bureau de Análise Econômica dos Estados Unidos, a primeira. Kimi K3 escreveu o script para manter apenas os primeiros 2 500 caracteres do texto da página e anotou “not shown” para os dois valores de crescimento dos EUA à taxa trimestral. Kimi K3.1 Pro imprimiu a publicação completa e leu “0.4 percent at a quarterly rate” nas notas técnicas. Da mesma forma, encontrou 0.6 por cento na estimativa mais recente do BEA, publicada em 30 de setembro de 2026, e preencheu as duas células dos EUA.

Os dois modelos também falham de formas diferentes. Cada tentativa tem até 100 passos; um passo é um turno do modelo. Das 39 tentativas malsucedidas de Kimi K3, 27 terminaram sem resposta antes do limite de passos, 4 atingiram o limite e 8 deram uma resposta errada. Das 28 tentativas malsucedidas de Kimi K3.1 Pro, 24 deram uma resposta errada e 4 atingiram o limite. Dezoito dessas 24 respostas erradas ocorreram em tarefas nas quais Kimi K3 não deu resposta final alguma. Trocaríamos de modelo, mantendo a conferência das respostas que Kimi K3.1 Pro agora entrega em tarefas nas quais a execução de Kimi K3 terminou sem resposta final.
O que Kimi K3.1 Pro ainda erra
Kimi K3.1 Pro termina tabelas longas, mas nem sempre acerta todas as células, por isso trataríamos suas tabelas como rascunhos a conferir. Passou em 7 de 26 tentativas nas tarefas que coletam os mesmos campos de 8 sites ou mais. Dezessete das suas 24 respostas erradas vieram dessas tarefas: em todos os casos, uma tabela terminada com pelo menos um valor ou uma linha de resumo incorretos.
Na tarefa de bancos centrais, por exemplo, o erro está no resumo. A tarefa pergunta a doze bancos centrais qual foi sua primeira decisão de juros de 2026 e qual banco a anunciou por último. Kimi K3.1 Pro abriu o comunicado do Banco Nacional Suíço de 19 de março de 2026 e colocou essa data na própria tabela. Ainda assim, seu resumo apontou o Banco da Reserva da Índia, em 6 de fevereiro, como o último a anunciar.
| O que a tarefa pede | Resposta correta | Resposta de Kimi K3.1 Pro |
|---|---|---|
| Último banco a anunciar sua primeira decisão de 2026 | Banco Nacional Suíço, 2026-03-19 | Banco da Reserva da Índia, 2026-02-06 |
Kimi K3 identificou corretamente o Banco Nacional Suíço na mesma tarefa, mas errou ou deixou de fornecer outros valores e também não passou.

Antes de usar uma tabela de Kimi K3.1 Pro, compare suas linhas de resumo com as próprias linhas da tabela e confira uma amostra de células nas fontes. Kimi K3 passou em 2 de 26 dessas tarefas.
Velocidade
Kimi K3.1 Pro é mais rápido no mesmo trabalho, escrevendo menos e fazendo menos chamadas de ferramenta. Nas 26 tarefas em que ambos passaram, levou em média 400.6 segundos por tarefa contra 586.1 e foi mais rápido em 21 das 26. Kimi K3 foi mais rápido nas outras 5.
| Nas 26 tarefas em que ambos os modelos passaram | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Tempo por tarefa | 400.6 s | 586.1 s |
| Chamadas de ferramentas por tarefa | 25.8 | 33.5 |
| Tokens de saída por tarefa, incluindo raciocínio | 6 997 | 10 727 |
Médias por tarefa das execuções de 3 de novembro de 2026.
Para um agente pelo qual alguém precisa esperar, consideraríamos a espera mais curta um ganho real.
Custo
Kimi K3.1 Pro custa menos por tarefa, e a economia vem dos preços de tabela mais baixos. Nas 66 tarefas, custou $0.772 por tarefa contra $0.871 de Kimi K3. Incluindo também as tentativas malsucedidas, cada tentativa aprovada custou $1.340 contra $2.130. Nas 26 tarefas em que ambos passaram, custou $0.374 por tarefa contra $0.578 e foi mais barato em 24 delas.
A lista de preços da Moonshot define o preço de Kimi K3.1 Pro em $2.00 por milhão de tokens de entrada, $0.20 para entrada em cache, $2.00 para gravações em cache e $10.00 para saída. Para Kimi K3, lista $3.00, $0.30, $3.00 e $15.00. Portanto, o preço do novo modelo é dois terços do de Kimi K3 para cada tipo de token.
| Custo por tarefa | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Todas as 66 tarefas | $0.772 | $0.871 |
| Todas as 66 tarefas, com os tokens de Kimi K3.1 Pro aos preços de Kimi K3 | $1.158 | $0.871 |
| 26 tarefas em que ambos os modelos passaram | $0.374 | $0.578 |
| 26 tarefas em que ambos os modelos passaram, com os tokens de Kimi K3.1 Pro aos preços de Kimi K3 | $0.561 | $0.578 |
| Por tentativa aprovada, em todas as 66 tarefas | $1.340 | $2.130 |
Custo aos preços de tabela da Moonshot, calculado pelo uso de tokens de cada tentativa nas execuções de 3 de novembro de 2026.
No mesmo trabalho, os tokens dos dois modelos custam quase o mesmo a preços iguais: pelas tarifas de Kimi K3, os tokens de Kimi K3.1 Pro nas 26 tarefas compartilhadas somam $0.561 contra $0.578. Nas 66 tarefas, somam $1.158 contra $0.871, porque Kimi K3.1 Pro continuou trabalhando nas execuções em que Kimi K3 parou. Faríamos o orçamento pelo custo por tarefa, e não pelo preço do token, já que um modelo que termina mais execuções também gasta tokens para terminá-las.
Pesquisa exploratória
Em pesquisa exploratória, trocar para Kimi K3.1 Pro traz ganhos de velocidade e custo, mas não mais tarefas aprovadas. Essas 12 tarefas dão um objetivo e algumas fontes iniciais e deixam o caminho por conta do agente. Ambos passaram em 6 de 12, e Kimi K3.1 Pro ganhou uma tarefa e perdeu outra. Nas 5 em que ambos passaram, o novo modelo levou 354.9 segundos e custou $0.399 por tarefa, contra 795.0 segundos e $0.901 do anterior, e foi mais rápido nas 5.
A tarefa que perdeu mostra o que merece atenção. A tarefa do Azure pergunta quais de sete modelos candidatos podem rodar na região Germany West Central do Azure sob seis requisitos e por que cada um dos outros não os atende. Ambos escolheram GPT-6 Luna. Kimi K3 também abriu a página do Azure sobre modelos de parceiros e citou por que Claude Sonnet 5.5 não atendia aos requisitos: sua implantação Data Zone Standard estava disponível apenas nos EUA.

Kimi K3.1 Pro descartou Claude a partir da tabela de modelos vendidos diretamente pelo Azure e nunca abriu aquela página. Escreveu “not shown” como motivo, após 15 comandos de navegador contra 22 de Kimi K3. Com qualquer um dos modelos, conferiríamos o motivo apresentado para cada opção descartada pelo agente.
Qual modelo usar
Para a configuração testada de pi 1.5.0, ZenMux e ego-browser, escolheríamos Kimi K3.1 Pro. Passou em 38 de 66 tentativas contra 27 de Kimi K3 e foi mais rápido e mais barato nas 26 tarefas em que ambos passaram. Em nenhum tipo de trabalho testado Kimi K3 passou em mais tentativas.
Para os aplicativos web testados e as verificações cruzadas em um a três sites, escolheríamos Kimi K3.1 Pro: passou em todas as 15 tarefas do primeiro grupo e nas 8 do segundo. Quatro das 5 falhas de Kimi K3 nesses grupos foram execuções que terminaram sem resposta. Para tarefas semelhantes de vários sites nesta configuração de pi, também escolheríamos Kimi K3.1 Pro, porque passou em 7 de 26, contra 2 de Kimi K3. Confira essas tabelas antes de usá-las. Nas cinco tarefas de pesquisa exploratória em que ambos passaram, Kimi K3.1 Pro teve menor tempo e custo estimado; o número total de tarefas aprovadas ficou empatado.
Nossa configuração usou Kimi K3.1 Pro como moonshotai/kimi-k3.1-pro por meio do ZenMux, com esforço de raciocínio alto, no agente pi com sua ferramenta bash e o arquivo de skill do ego-browser. ego-browser é fornecido junto com ego(lite), que o agente controla como navegador.
O papel do ego(lite) nesta comparação
ego(lite) forneceu o navegador controlado pelo ego-browser; pi forneceu o ciclo do agente, e ZenMux, o acesso aos dois modelos. O guia de integração do ego-browser descreve como esse navegador se conecta a um agente.
A regra de parada do pi faz parte dessa escolha de modelo: uma resposta sem chamada de ferramenta encerra a tentativa. Considere essa regra ao aplicar a comparação de conclusão a trabalhos semelhantes. As médias de tempo e custo do modelo cobrem as vinte e seis tarefas em que ambos passaram, não todas as tarefas nem o comportamento de parada de outro agente.
Perguntas frequentes
Kimi K3.1 Pro é melhor que Kimi K3 para agentes de navegador?
Sim, no nosso teste de 66 tarefas no ego-browser. Kimi K3.1 Pro passou em 38 das suas 66 tentativas (57.6%), e Kimi K3 em 27 (40.9%). Passou em 12 tarefas nas quais Kimi K3 falhou e falhou em 1 na qual Kimi K3 passou.
Kimi K3.1 Pro é mais barato que Kimi K3?
Sim, por tarefa. Nas nossas 66 tarefas de navegador, Kimi K3.1 Pro custou $0.772 por tarefa e Kimi K3, $0.871. Por tentativa aprovada, a diferença é maior: $1.340 contra $2.130.
Kimi K3.1 Pro é mais rápido que Kimi K3?
Sim, no trabalho que ambos terminaram. Nas 26 tarefas de navegador em que ambos passaram, Kimi K3.1 Pro levou 400.6 segundos por tarefa e Kimi K3, 586.1. O novo modelo fez 25.8 chamadas de ferramenta por tarefa contra 33.5 e gerou 6 997 tokens de saída contra 10 727.
Quanto custa Kimi K3.1 Pro por milhão de tokens?
A Moonshot lista Kimi K3.1 Pro a $2.00 por milhão de tokens de entrada, $0.20 para entrada em cache, $2.00 para gravações em cache e $10.00 para saída. Kimi K3 é listado a $3.00, $0.30, $3.00 e $15.00; portanto, o preço do novo modelo é dois terços do de Kimi K3 para cada tipo de token.
Por que Kimi K3 para no meio de uma tarefa de navegador?
Kimi K3 encerrou 26 das suas 66 tentativas com uma resposta que anunciava o próximo passo, mas não fazia chamada de ferramenta, o que termina a execução no agente pi. Suas últimas palavras eram notas como “SUSE done. Now Amazon Linux.” Dezesseis das 26 ocorreram em tarefas que coletam os mesmos campos de 8 sites ou mais; isso aconteceu 0 vezes com Kimi K3.1 Pro.
Quais tarefas de navegador melhoraram mais com Kimi K3.1 Pro?
Kimi K3.1 Pro ganhou mais tarefas, 5, entre as que coletam os mesmos campos de 8 sites ou mais e não perdeu nenhuma nesse grupo. Também ganhou 3 verificações cruzadas em um a três sites, 2 tarefas dentro de um aplicativo web, 1 de pesquisa exploratória e 1 de publicações no X.
Kimi K3.1 Pro piorou em alguma tarefa de navegador?
Em 1 de 66 tarefas. Falhou em uma tarefa de seleção de modelos do Azure na qual Kimi K3 passou, porque descartou um candidato sem abrir a página que explica o motivo. Passou em 12 tarefas nas quais Kimi K3 falhou.
O que Kimi K3.1 Pro ainda erra no navegador?
Principalmente valores em tabelas longas: 17 das suas 24 respostas erradas vieram de tarefas que coletam os mesmos campos de 8 sites ou mais. Em uma tarefa, seu resumo apontou o banco errado mesmo com a data correta na própria tabela. Também atingiu o limite de 100 passos em 4 tentativas, o mesmo número que Kimi K3.
Como Kimi K3.1 Pro se sai na automação de aplicativos web?
Kimi K3.1 Pro passou em todas as nossas 15 tarefas dentro de um aplicativo web, e Kimi K3 em 13. As tarefas rodam nos nossos aplicativos de teste de operações, despesas de viagem e console de nuvem, com novos dados para cada tentativa. Nas 13 em que ambos passaram, o novo modelo levou 327.0 segundos e custou $0.240 por tarefa, contra 454.7 segundos e $0.383 do anterior.
Devo trocar meu agente de navegador de Kimi K3 para Kimi K3.1 Pro?
Na configuração testada de pi e ZenMux, sim. Kimi K3.1 Pro passou em 38 de 66 tentativas contra 27, com menor tempo médio e menor custo médio estimado nas 26 tarefas em que ambos passaram. Mantenha uma etapa de revisão nas tabelas coletadas de 8 sites ou mais, pois 17 das suas 24 respostas erradas vieram dessas tarefas.
Como testamos
Executamos os dois modelos em 3 de novembro de 2026 em um mesmo Mac com chip Apple e macOS 26.5. Ambos usaram o mesmo agente, pi 1.5.0, com ego-browser como ferramenta de navegador, o mesmo arquivo de skill do ego-browser e as mesmas versões de ego(lite) e ego-browser. Os modelos eram Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) e Kimi K3 (moonshotai/kimi-k3), ambos com esforço de raciocínio alto e acessados pelo mesmo provedor de API, ZenMux.
O modelo controla o ego-browser escrevendo programas curtos em JavaScript que carregam páginas, clicam, preenchem formulários e imprimem o texto da página ou um snapshot de acessibilidade. Cada tentativa tinha um máximo de 100 passos e 60 minutos. Um passo é um turno do modelo: uma solicitação ao modelo e sua resposta. A tarefa orienta o modelo a terminar com uma mensagem que comece com FINAL ANSWER.
Contamos 66 tarefas, cada uma pertencente a exatamente um tipo de trabalho. A categoria “Os mesmos campos de 8 sites ou mais” (26 tarefas) coleta um conjunto de campos de 8 sites ou mais, como as publicações de PIB de nove agências de estatística. As tarefas de “Dentro de um aplicativo web” (15) rodam em aplicativos de teste de operações, despesas de viagem e console de nuvem; por exemplo, corrigir as regras de alerta de uma transportadora. “Pesquisa exploratória” (12) dá um objetivo e algumas fontes, como escolher um modelo oferecido em uma região do Azure. As “Verificações cruzadas em um a três sites” (8) comparam números de poucos sites, como registros de ensaios clínicos com documentos de bula de medicamentos. As tarefas de “Publicações no X” (5) confrontam publicações no X com outros registros, como publicações sobre lançamentos da SpaceX com listas de lançamentos da Wikipedia, e são contadas apenas como publicações no X.
Cada tarefa tem uma lista de itens avaliados: 443 nas 66 tarefas. Um item por tarefa verifica se todos os valores solicitados estão na resposta final. Os outros 377 verificam os valores solicitados: 309 fixados previamente a partir dos sites oficiais, 49 dos dados gerados pelos aplicativos de teste para cada tentativa e 19 conferidos na página ao vivo. Uma tentativa só passa se sua resposta final atender a todos os itens; ambos os modelos foram avaliados pelos mesmos itens.
Uma tarefa é uma das 66 incluídas na contagem; uma tentativa é a execução de uma tarefa uma vez por um modelo, portanto cada modelo tem 66 tentativas. A taxa de sucesso é o número de tentativas aprovadas de um total de 66. Os resultados completos listam seis tarefas adicionais como “Não contabilizada”. Em cada uma, a tentativa original de um modelo foi substituída por uma nova execução específica ou não havia uma primeira tentativa arquivada válida. Excluímos as mesmas seis tarefas para ambos os modelos. Uma chamada de ferramenta é um comando executado pelo modelo: principalmente scripts do ego-browser e, nos demais casos, comandos de shell ou arquivo, como buscar no texto salvo de uma página. Um comando de navegador é um script do ego-browser; as legendas de capturas de tela contam comandos de navegador.
O tempo por tarefa é o tempo decorrido do início ao fim de uma tentativa, incluindo a espera pela API do modelo, com o raciocínio, e a execução das chamadas de ferramenta do modelo. A velocidade é comparada nas 26 tarefas em que ambos passaram, pois o tempo gasto em uma tarefa malsucedida não pode ser comparado. As estimativas de custo aplicam as tarifas indicadas da Moonshot aos tokens registrados de entrada, entrada em cache, gravação em cache e saída de cada tentativa; não são totais de assinaturas ou faturas do ZenMux. O custo por tentativa aprovada é o custo de todas as 66 tentativas dividido pelo número de tentativas aprovadas.
Uma tentativa atingiu o limite de passos quando usou todos os 100 passos sem resposta final. Terminou com uma nota de progresso quando a última resposta do modelo tinha texto, mas nenhuma chamada de ferramenta nem FINAL ANSWER, antes do limite de passos. Uma resposta errada é uma resposta final que não passou na avaliação.
Resultados completos
Cada célula apresenta o resultado do modelo na tarefa, o tempo da tentativa em segundos e seu custo. Os resultados são Aprovado, Resposta errada, Sem resposta (a execução terminou sem resposta final antes do limite de passos) ou Limite de passos atingido. O tempo inclui a espera pela API do modelo. As seis tarefas “Não contabilizada” não têm registros comparáveis de primeiras tentativas após novas execuções específicas de substituição; todas as seis são excluídas para ambos os modelos.
| Tarefa | Tipo de trabalho | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Balanço climático de 2025 de onze serviços meteorológicos | Os mesmos campos de 8 sites ou mais | Resposta errada · 633.7 s · $1.235 | Limite de passos atingido · 2010.1 s · $3.368 |
| Movimentação de 2025 em oito aeroportos de conexão | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Números da temporada 2025-26 de nove ligas de futebol | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Principais prêmios de 2026 em nove festivais de cinema | Os mesmos campos de 8 sites ou mais | Resposta errada · 1399.6 s · $2.591 | Sem resposta · 1306.1 s · $1.418 |
| Ficha de aprovação de nove modelos de pesos abertos no Hugging Face | Os mesmos campos de 8 sites ou mais | Resposta errada · 598.6 s · $0.716 | Sem resposta · 1217.4 s · $1.284 |
| Matriz de conformidade com base em nove centros de confiança de SaaS | Os mesmos campos de 8 sites ou mais | Resposta errada · 590.3 s · $0.637 | Sem resposta · 1138.5 s · $0.844 |
| Classificações de testes de colisão de um SUV em nove programas | Os mesmos campos de 8 sites ou mais | Resposta errada · 1242.3 s · $1.312 | Limite de passos atingido · 1576.6 s · $1.765 |
| Edições em vigor de nove normas técnicas | Os mesmos campos de 8 sites ou mais | Resposta errada · 592.9 s · $0.658 | Sem resposta · 320.4 s · $0.250 |
| Primeira decisão de juros de 2026 em doze bancos centrais | Os mesmos campos de 8 sites ou mais | Resposta errada · 617.0 s · $1.023 | Resposta errada · 1256.3 s · $1.986 |
| Primeiros e mais recentes números do PIB do segundo trimestre de 2026 de nove agências | Os mesmos campos de 8 sites ou mais | Aprovado · 1001.2 s · $1.181 | Resposta errada · 1294.2 s · $1.363 |
| Planos gratuitos de CI para repositórios privados em nove serviços | Os mesmos campos de 8 sites ou mais | Resposta errada · 1033.5 s · $1.187 | Sem resposta · 963.4 s · $1.068 |
| Planos gratuitos de nove plataformas serverless | Os mesmos campos de 8 sites ou mais | Aprovado · 924.5 s · $1.283 | Sem resposta · 248.4 s · $0.173 |
| Como nove serviços de música apresentam um mesmo álbum | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Resultados eleitorais mais recentes de nove autoridades eleitorais | Os mesmos campos de 8 sites ou mais | Limite de passos atingido · 1256.5 s · $2.222 | Limite de passos atingido · 1789.7 s · $2.389 |
| Linha de versões mais recente de nove ambientes de execução de linguagens | Os mesmos campos de 8 sites ou mais | Resposta errada · 810.3 s · $1.106 | Resposta errada · 1024.2 s · $1.171 |
| Versão estável mais recente de nove frameworks de JavaScript | Os mesmos campos de 8 sites ou mais | Aprovado · 515.4 s · $0.523 | Aprovado · 957.6 s · $0.722 |
| Versão estável mais recente de nove navegadores de desktop | Os mesmos campos de 8 sites ou mais | Aprovado · 471.8 s · $0.913 | Sem resposta · 903.0 s · $0.765 |
| Medições do terremoto de Kamchatka de 2025 segundo nove agências | Os mesmos campos de 8 sites ou mais | Resposta errada · 789.4 s · $1.128 | Sem resposta · 971.8 s · $1.335 |
| Especificações oficiais para o Reino Unido de nove celulares topo de linha | Os mesmos campos de 8 sites ou mais | Aprovado · 564.8 s · $0.865 | Sem resposta · 1331.7 s · $1.161 |
| Especificações oficiais de oito câmeras | Os mesmos campos de 8 sites ou mais | Aprovado · 953.2 s · $1.521 | Aprovado · 1479.8 s · $1.730 |
| Detalhes da edição de um livro em dez sites de editoras e bibliotecas | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Classificações etárias de um jogo em oito órgãos de classificação | Os mesmos campos de 8 sites ou mais | Resposta errada · 1385.2 s · $1.905 | Sem resposta · 1355.8 s · $1.592 |
| Status da correção de um CVE do sudo em nove avisos de fornecedores | Os mesmos campos de 8 sites ou mais | Resposta errada · 539.4 s · $0.521 | Sem resposta · 158.9 s · $0.133 |
| Singles no primeiro lugar em uma mesma semana em nove paradas nacionais | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Palestras de abertura de nove conferências de desenvolvedores | Os mesmos campos de 8 sites ou mais | Resposta errada · 1198.7 s · $1.457 | Sem resposta · 1450.3 s · $1.485 |
| Versões do Protocol Buffers em nove registros de pacotes | Os mesmos campos de 8 sites ou mais | Resposta errada · 472.9 s · $0.732 | Sem resposta · 582.4 s · $0.296 |
| Resultados de oito pesquisas de 2025 com desenvolvedores | Os mesmos campos de 8 sites ou mais | Resposta errada · 599.1 s · $1.255 | Resposta errada · 1587.4 s · $1.785 |
| Salário mínimo legal em nove lugares | Os mesmos campos de 8 sites ou mais | Não contabilizada | Não contabilizada |
| Datas de fim de suporte de nove produtos para servidores | Os mesmos campos de 8 sites ou mais | Aprovado · 690.2 s · $0.781 | Sem resposta · 370.0 s · $0.292 |
| Registros de dez museus sobre A Grande Onda, de Hokusai | Os mesmos campos de 8 sites ou mais | Resposta errada · 824.7 s · $1.025 | Sem resposta · 1644.2 s · $1.124 |
| Aprovações da tirzepatida para controle de peso em oito órgãos reguladores | Os mesmos campos de 8 sites ou mais | Limite de passos atingido · 1475.9 s · $2.742 | Sem resposta · 1171.2 s · $1.414 |
| Números de autonomia e recarga nos EUA de nove SUVs elétricos | Os mesmos campos de 8 sites ou mais | Resposta errada · 1027.4 s · $1.707 | Limite de passos atingido · 1711.3 s · $1.685 |
| Aplicar um depósito de um serviço de cobrança lockbox a faturas em aberto | Dentro de um aplicativo web | Aprovado · 286.4 s · $0.208 | Aprovado · 404.7 s · $0.402 |
| Auditar e reverter alterações feitas durante um congelamento de mudanças | Dentro de um aplicativo web | Aprovado · 160.4 s · $0.140 | Aprovado · 545.1 s · $0.394 |
| Reservar a viagem de um colega em um aplicativo de viagens | Dentro de um aplicativo web | Aprovado · 438.2 s · $0.409 | Aprovado · 433.4 s · $0.474 |
| Adequar monitores de nível 1 a um padrão escrito | Dentro de um aplicativo web | Aprovado · 248.5 s · $0.253 | Sem resposta · 105.0 s · $0.094 |
| Solicitar o reembolso da quilometragem de uma semana de visitas a clientes | Dentro de um aplicativo web | Aprovado · 458.1 s · $0.333 | Aprovado · 521.6 s · $0.418 |
| Fechar as contas a receber de fevereiro e abrir disputas em um aplicativo de operações | Dentro de um aplicativo web | Aprovado · 469.9 s · $0.403 | Aprovado · 774.2 s · $0.698 |
| Enviar uma solicitação de diárias para duas cidades | Dentro de um aplicativo web | Aprovado · 256.7 s · $0.127 | Aprovado · 282.5 s · $0.225 |
| Registrar em um console de nuvem a linha do tempo de um incidente para sua análise posterior | Dentro de um aplicativo web | Aprovado · 216.3 s · $0.195 | Aprovado · 264.8 s · $0.306 |
| Registrar pedidos de indenização por danos nas entregas de dois clientes | Dentro de um aplicativo web | Aprovado · 445.9 s · $0.319 | Aprovado · 1058.7 s · $0.726 |
| Corrigir a escala de plantão da próxima semana | Dentro de um aplicativo web | Aprovado · 169.0 s · $0.125 | Aprovado · 193.3 s · $0.147 |
| Conciliar transações de cartão com um rascunho de relatório de despesas | Dentro de um aplicativo web | Aprovado · 457.1 s · $0.383 | Aprovado · 535.9 s · $0.394 |
| Fazer os pedidos de reposição de um armazém | Dentro de um aplicativo web | Aprovado · 337.3 s · $0.182 | Aprovado · 205.3 s · $0.240 |
| Revisar o relatório de despesas de um funcionário | Dentro de um aplicativo web | Aprovado · 387.7 s · $0.189 | Aprovado · 450.6 s · $0.364 |
| Definir congelamentos de implantação a partir do consumo do orçamento de erros | Dentro de um aplicativo web | Aprovado · 167.8 s · $0.106 | Aprovado · 240.6 s · $0.193 |
| Conciliar os números de pontualidade de uma transportadora e corrigir as regras de alerta | Dentro de um aplicativo web | Aprovado · 382.5 s · $0.261 | Sem resposta · 934.2 s · $0.971 |
| Configurações de raciocínio de baixo custo nos rankings do ARC Prize | Pesquisa exploratória | Aprovado · 372.4 s · $0.296 | Aprovado · 716.2 s · $0.723 |
| Contar modelos acima dos valores de referência de computação da UE nos dados da Epoch AI | Pesquisa exploratória | Aprovado · 165.8 s · $0.143 | Aprovado · 252.0 s · $0.186 |
| Informações divulgadas sobre oito modelos de fronteira em relação à Lei de IA da UE | Pesquisa exploratória | Limite de passos atingido · 1388.1 s · $3.008 | Sem resposta · 1748.6 s · $2.621 |
| Todos os modelos lançados em setembro de 2026, a partir de seis registros de alterações de API | Pesquisa exploratória | Aprovado · 273.4 s · $0.374 | Aprovado · 595.0 s · $0.721 |
| Verificar dez afirmações sobre lançamentos de modelos em setembro de 2026 | Pesquisa exploratória | Resposta errada · 228.8 s · $0.299 | Resposta errada · 507.6 s · $0.574 |
| Escolher uma API principal e outra de reserva entre cinco modelos chineses | Pesquisa exploratória | Aprovado · 412.3 s · $0.471 | Aprovado · 769.1 s · $0.696 |
| Escolher um modelo oferecido em uma região alemã do Azure | Pesquisa exploratória | Resposta errada · 297.1 s · $0.280 | Aprovado · 787.2 s · $0.871 |
| Escolher o endpoint de provedor de GLM 5.3 mais rápido no OpenRouter | Pesquisa exploratória | Aprovado · 774.9 s · $0.717 | Resposta errada · 960.2 s · $0.694 |
| Calcular o custo de uma carga de trabalho de API em seis modelos | Pesquisa exploratória | Aprovado · 550.4 s · $0.711 | Aprovado · 1642.9 s · $2.177 |
| Preços de API de seis provedores conforme os registros do Wayback Machine | Pesquisa exploratória | Resposta errada · 1214.3 s · $0.552 | Sem resposta · 350.4 s · $0.181 |
| Rastrear as fontes de uma tabela de LLMs da Wikipedia | Pesquisa exploratória | Resposta errada · 458.7 s · $0.350 | Sem resposta · 383.3 s · $0.301 |
| O que uma versão do LiveBench mostrava | Pesquisa exploratória | Resposta errada · 296.8 s · $0.267 | Resposta errada · 330.8 s · $0.329 |
| Montar uma tabela de inflação com dados do FRED e conferir no BLS | Verificações cruzadas em um a três sites | Aprovado · 274.1 s · $0.224 | Aprovado · 308.6 s · $0.312 |
| Conferir os números de uma aula sobre GPT no vídeo, no código e no artigo científico | Verificações cruzadas em um a três sites | Aprovado · 619.4 s · $0.387 | Aprovado · 237.2 s · $0.277 |
| Comparar três configurações de MacBook na loja da Apple dos EUA | Verificações cruzadas em um a três sites | Aprovado · 786.1 s · $1.226 | Aprovado · 654.4 s · $1.110 |
| Conferir ensaios de fase 3 do ClinicalTrials.gov com documentos de bula do DailyMed | Verificações cruzadas em um a três sites | Aprovado · 294.2 s · $0.401 | Sem resposta · 591.2 s · $0.872 |
| Lista de viabilidade de seis recursos web com base no MDN e no Can I use | Verificações cruzadas em um a três sites | Aprovado · 269.9 s · $0.262 | Aprovado · 751.4 s · $0.796 |
| Calcular o preço dos voos para Denver, para um encontro da equipe fora do escritório | Verificações cruzadas em um a três sites | Aprovado · 526.6 s · $0.962 | Sem resposta · 963.3 s · $1.037 |
| Conciliar as bilheterias de seis filmes de Wes Anderson entre uma base de dados de bilheteria e a Wikipedia | Verificações cruzadas em um a três sites | Aprovado · 221.1 s · $0.250 | Aprovado · 324.7 s · $0.303 |
| Retrato do registro de quatro empresas britânicas no Companies House em um dado momento | Verificações cruzadas em um a três sites | Aprovado · 320.3 s · $0.223 | Resposta errada · 1005.0 s · $0.591 |
| Anúncios de oito marcas sobre produtos, publicados em 2026 no X e em suas salas de imprensa | Publicações no X | Resposta errada · 667.1 s · $0.536 | Sem resposta · 847.0 s · $0.417 |
| Contratações de verão de oito clubes de futebol no X e nos sites dos clubes | Publicações no X | Limite de passos atingido · 1815.4 s · $1.805 | Sem resposta · 2343.4 s · $1.008 |
| Publicações de segurança de oito projetos de código aberto no X e nos seus sites | Publicações no X | Aprovado · 625.6 s · $0.627 | Sem resposta · 2248.5 s · $1.524 |
| Quanto tempo oito universidades levaram para publicar no X suas notícias sobre o Nobel de 2025 | Publicações no X | Resposta errada · 1314.1 s · $0.487 | Sem resposta · 528.9 s · $0.237 |
| Conferir as publicações sobre lançamentos da SpaceX no X com as listas de lançamentos da Wikipedia | Publicações no X | Aprovado · 751.6 s · $0.220 | Aprovado · 638.9 s · $0.300 |
Os preços dos modelos são os preços de tabela publicados pela Moonshot. Todos os outros números vêm das nossas próprias execuções.
