Мы сравнили Kimi K3.1 Pro и Kimi K3 на 66 задачах в браузере

В нашей конфигурации с pi и ZenMux мы выбрали бы Kimi K3.1 Pro вместо Kimi K3, чтобы выполнять больше задач. На 26 задачах, успешно выполненных обеими моделями, она также тратила в среднем меньше времени, а средние расчётные затраты на модель были ниже. В этом сравнении Kimi K3.1 Pro и Kimi K3 мы учитываем 66 задач: каждая модель выполняла каждую задачу один раз с ego-browser, то есть на модель приходится 66 попыток. У Kimi K3.1 Pro успешными оказались 38 из 66 попыток (57.6%), а у Kimi K3 — 27 (40.9%). На 26 задачах, успешно выполненных обеими моделями, Kimi K3.1 Pro тратила на задачу 400.6 секунды и $0.374, а Kimi K3 — 586.1 секунды и $0.578.
Главное различие между моделями — в том, доводят ли они работу до конца. Kimi K3 завершила 27 из 66 попыток без ответа ещё до достижения лимита шагов; 26 из них закончились сообщением о ходе работы вроде "SUSE done. Now Amazon Linux." У Kimi K3.1 Pro таких случаев было 0. На 35 задачах, где обе модели дали окончательный ответ, Kimi K3.1 Pro успешно выполнила 29, а Kimi K3 — 27.
Слабое место Kimi K3.1 Pro — длинные таблицы, которые она теперь доводит до конца. В задачах на сбор одних и тех же полей с 8 и более сайтов она успешно выполнила 7 из 26 попыток, а Kimi K3 — 2. Семнадцать из 24 неверных ответов Kimi K3.1 Pro представляли собой таблицы из таких задач, поэтому перед использованием мы проверяли бы её таблицы. В исследовательских задачах без жёстких рамок обе модели успешно выполнили 6 из 12; на пяти задачах, с которыми справились обе, Kimi K3.1 Pro была быстрее и дешевле.
Более низкие расчётные затраты на модель объясняются более низкими официальными тарифами Kimi K3.1 Pro. Moonshot устанавливает для неё цену на уровне двух третей от цены Kimi K3 для каждого вида токенов. По всем 66 задачам стоимость составила $0.772 на задачу против $0.871, хотя в попытках, которые продолжались после завершения попыток Kimi K3, она использовала больше токенов.
Доля успешных попыток
Kimi K3.1 Pro успешно выполняет больше задач. Она справилась с 12 задачами, которые провалила Kimi K3, и провалила 1 задачу, с которой Kimi K3 справилась. В 9 из этих 12 дополнительно выполненных задач Kimi K3 закончила без ответа, а в остальных 3 дала неверный ответ. Пять из 12 дополнительных успехов пришлись на задачи по сбору одних и тех же полей с 8 и более сайтов.
В каждом виде работы Kimi K3.1 Pro успешно выполнила не меньше попыток, чем Kimi K3; единственная ничья была в исследовании без жёстких рамок.
| Вид работы | Задачи | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Одни и те же поля с 8 и более сайтов | 26 | 26.9% (7 из 26) | 7.7% (2 из 26) |
| Работа внутри веб-приложения | 15 | 100% (15 из 15) | 86.7% (13 из 15) |
| Исследование без жёстких рамок | 12 | 50.0% (6 из 12) | 50.0% (6 из 12) |
| Перекрёстные проверки на одном–трёх сайтах | 8 | 100% (8 из 8) | 62.5% (5 из 8) |
| Публикации в X | 5 | 40.0% (2 из 5) | 20.0% (1 из 5) |
| Все задачи | 66 | 57.6% (38 из 66) | 40.9% (27 из 66) |
Доля успешных попыток учитывает число попыток, прошедших проверку; данные получены в запусках 3 ноября 2026 года. Ни в одном из этих видов работы Kimi K3 не выполнила успешно больше попыток, чем Kimi K3.1 Pro.
Запуски Kimi K3 часто заканчивались посреди работы. В использованном нами агенте pi модель работает через вызовы инструментов, преимущественно скрипты ego-browser, а ответ без вызова инструмента завершает запуск. Kimi K3 отправляла ответы, в которых называла следующий шаг, но не выполняла его, например "Google done. Now Cloudflare Workers Free." Так произошло в 26 из 66 попыток, причём 16 из них пришлись на 26 задач по сбору одних и тех же полей с 8 и более сайтов. Все эти 26 ответов завершились обычным сигналом остановки модели, а не обрезанием по лимиту длины. Kimi K3.1 Pro завершила таким образом 0 попыток.
Разницу показывает задача по бессерверным платформам. Нужно найти пять ограничений бесплатного тарифа на девяти платформах — от AWS Lambda до Oracle OCI Functions. Kimi K3 прочитала страницы AWS, Azure и Google, а затем остановилась после 11 вызовов инструментов со словами "Google done. Now Cloudflare Workers Free." Kimi K3.1 Pro продолжила работу и открыла страницу цен на Workers у Cloudflare, обработала все девять платформ за 58 вызовов инструментов и прошла проверку.

Остальные 3 дополнительных успеха пришлись на задачи, где Kimi K3 дала неверный окончательный ответ. Наша задача по ВВП требует найти у девяти статистических ведомств рост за второй квартал в первой и последней оценках, без пересчёта в годовой темп. Обе модели открыли предварительную оценку Бюро экономического анализа США, то есть его первую оценку. Kimi K3 написала скрипт, который сохранял только первые 2 500 символов текста страницы, и указала "not shown" для обоих показателей роста США в квартальном выражении. Kimi K3.1 Pro вывела весь релиз и прочитала "0.4 percent at a quarterly rate" в разделе Technical Notes. Таким же способом она нашла 0.6 процента в последней оценке BEA, опубликованной 30 сентября 2026 года, и заполнила обе ячейки по США.

Модели также ошибаются по-разному. Каждой попытке отводится до 100 шагов; шаг — одно обращение к модели и её ответ. Из 39 неудачных попыток Kimi K3 27 завершились без ответа до лимита шагов, 4 достигли лимита и 8 дали неверный ответ. Из 28 неудачных попыток Kimi K3.1 Pro 24 дали неверный ответ, а 4 достигли лимита шагов. Восемнадцать из этих 24 неверных ответов пришлись на задачи, где Kimi K3 вообще не дала окончательного ответа. Мы перешли бы на новую модель, продолжая проверять ответы Kimi K3.1 Pro на тех задачах, где запуск Kimi K3 заканчивался без окончательного ответа.
В чём Kimi K3.1 Pro всё ещё ошибается
Kimi K3.1 Pro доводит длинные таблицы до конца, но не всегда заполняет все ячейки правильно, поэтому мы считали бы её таблицы черновиками, требующими проверки. Она успешно выполнила 7 из 26 попыток по сбору одних и тех же полей с 8 и более сайтов. Семнадцать из 24 неверных ответов пришлись на такие задачи: каждый представлял собой готовую таблицу хотя бы с одним неверным значением или хотя бы с одной неверной строкой выводов.
В задаче по центральным банкам, например, ошибка оказалась в выводе. Нужно найти первое решение по ставке за 2026 год у двенадцати центральных банков и определить, какой банк объявил его последним. Kimi K3.1 Pro открыла релиз Швейцарского национального банка от 19 марта 2026 года и внесла эту дату в свою таблицу. Но в выводе она всё равно назвала последним Резервный банк Индии с датой 6 февраля.
| Что требуется в задаче | Правильный ответ | Ответ Kimi K3.1 Pro |
|---|---|---|
| Банк, последним объявивший своё первое решение за 2026 год | Швейцарский национальный банк, 2026-03-19 | Резервный банк Индии, 2026-02-06 |
В той же задаче Kimi K3 правильно назвала Швейцарский национальный банк, но не дала верных ответов по другим пунктам и тоже не прошла проверку.

Прежде чем использовать таблицу Kimi K3.1 Pro, сверьте её выводы с её же строками, а часть ячеек выборочно проверьте по источникам. Kimi K3 успешно выполнила 2 из 26 таких задач.
Скорость
Kimi K3.1 Pro быстрее на одной и той же работе, причём пишет меньше текста и реже вызывает инструменты. На 26 задачах, успешно выполненных обеими моделями, она тратила в среднем 400.6 секунды на задачу против 586.1 и была быстрее в 21 из 26 случаев. В остальных 5 быстрее была Kimi K3.
| На 26 задачах, успешно выполненных обеими моделями | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Время на задачу | 400.6 s | 586.1 s |
| Вызовы инструментов на задачу | 25.8 | 33.5 |
| Выходные токены на задачу, включая рассуждения | 6 997 | 10 727 |
Средние значения на задачу по запускам 3 ноября 2026 года.
Для агента, результата которого ждёт человек, сокращение ожидания мы считали бы ощутимым преимуществом.
Стоимость
Kimi K3.1 Pro обходится дешевле на задачу благодаря более низким официальным тарифам. По всем 66 задачам стоимость составила $0.772 на задачу против $0.871 у Kimi K3. С учётом затрат на неудачные попытки один успешный результат стоил $1.340 против $2.130. На 26 задачах, успешно выполненных обеими моделями, стоимость составила $0.374 на задачу против $0.578, причём на 24 из них она была дешевле.
В прайс-листе Moonshot указаны следующие цены Kimi K3.1 Pro за миллион токенов: $2.00 за входные, $0.20 за кешированный ввод, $2.00 за запись в кеш и $10.00 за выходные. Для Kimi K3 указаны $3.00, $0.30, $3.00 и $15.00. Таким образом, новая модель стоит две трети от цены прежней для каждого вида токенов.
| Стоимость на задачу | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Все 66 задач | $0.772 | $0.871 |
| Все 66 задач, токены Kimi K3.1 Pro по ценам Kimi K3 | $1.158 | $0.871 |
| 26 задач, успешно выполненных обеими моделями | $0.374 | $0.578 |
| 26 задач, успешно выполненных обеими моделями; токены Kimi K3.1 Pro по ценам Kimi K3 | $0.561 | $0.578 |
| На успешную попытку, по всем 66 задачам | $1.340 | $2.130 |
Стоимость по официальным тарифам Moonshot на основе расхода токенов в каждой попытке в запусках 3 ноября 2026 года.
На одной и той же работе токены двух моделей при одинаковых тарифах стоят примерно одинаково: по тарифам Kimi K3 токены Kimi K3.1 Pro на 26 общих задачах обходятся в $0.561 против $0.578. По всем 66 задачам получается $1.158 против $0.871, поскольку Kimi K3.1 Pro продолжала работу в запусках, где Kimi K3 останавливалась. Мы планировали бы бюджет по стоимости задачи, а не по цене токена: модель, доводящая больше запусков до конца, тратит токены и на их завершение.
Исследование без жёстких рамок
В исследовании без жёстких рамок переход на Kimi K3.1 Pro даёт выигрыш во времени и стоимости, но не в числе успехов. В этих 12 задачах задаются цель и несколько исходных источников, а путь выбирает агент. Обе модели успешно выполнили 6 из 12, причём Kimi K3.1 Pro выиграла на одной задаче и уступила на другой. На 5 задачах, успешно выполненных обеими моделями, она тратила 354.9 секунды и $0.399 на задачу против 795.0 секунды и $0.901 и была быстрее во всех 5 случаях.
Проигранная задача показывает, за чем стоит следить. В задаче по Azure нужно определить, какие из семи моделей-кандидатов могут работать в регионе Germany West Central при шести требованиях, и объяснить, почему не подходит каждый из остальных кандидатов. Обе модели выбрали GPT-6 Luna. Kimi K3 также открыла страницу Azure о моделях партнёров и процитировала причину, по которой Claude Sonnet 5.5 не подошла: развёртывание Data Zone Standard для неё было доступно только в США.

Kimi K3.1 Pro исключила Claude по таблице моделей, которые Azure продаёт напрямую, и так и не открыла эту страницу. В качестве причины она написала "not shown", выполнив 15 команд браузера против 22 у Kimi K3. С любой из моделей мы проверяли бы причину, указанную для каждого исключённого агентом варианта.
Какую модель выбрать
Для протестированной конфигурации с pi 1.5.0, ZenMux и ego-browser мы выбрали бы Kimi K3.1 Pro. Она успешно выполнила 38 из 66 попыток против 27 у Kimi K3, а на 26 задачах, с которыми справились обе модели, была быстрее и дешевле. Ни в одном из протестированных видов работы Kimi K3 не выполнила успешно больше попыток.
Для протестированных веб-приложений и перекрёстных проверок на одном–трёх сайтах мы выбрали бы Kimi K3.1 Pro: Kimi K3.1 Pro успешно выполнила все 15 и все 8 задач соответственно. Четыре из 5 неудач Kimi K3 в этих категориях — запуски, закончившиеся без ответа. Для похожих задач по нескольким сайтам в этой конфигурации pi мы также выбрали бы Kimi K3.1 Pro: Kimi K3.1 Pro успешно выполнила 7 из 26, а Kimi K3 — 2. Проверяйте такие таблицы перед использованием. На пяти исследовательских задачах без жёстких рамок, с которыми справились обе модели, Kimi K3.1 Pro тратила меньше времени, а расчётная стоимость её использования была ниже; общее число успехов в этой категории совпало.
В нашей конфигурации Kimi K3.1 Pro подключалась как moonshotai/kimi-k3.1-pro через ZenMux с высоким значением параметра усилий на рассуждения в агенте pi с инструментом bash и файлом навыка ego-browser. ego-browser предоставляется вместе с ego(lite), которым агент управляет как своим браузером.
Роль ego(lite) в этом сравнении
ego(lite) предоставлял браузер, управляемый через ego-browser; pi — цикл работы агента, а ZenMux — доступ к двум моделям. В руководстве по интеграции ego-browser описано, как этот браузер подключается к агенту.
Правило остановки pi тоже влияет на выбор модели: ответ без вызова инструмента завершает попытку. Учитывайте это правило, применяя сравнение завершённых задач к похожей работе. Средние время и затраты на модель относятся к двадцати шести задачам, успешно выполненным обеими моделями, а не ко всем задачам или к работе другого агента с иным правилом остановки.
Частые вопросы
Лучше ли Kimi K3.1 Pro, чем Kimi K3, для браузерных агентов?
Да, в нашем тесте на 66 задачах с ego-browser. Kimi K3.1 Pro успешно выполнила 38 из 66 попыток (57.6%), а Kimi K3 — 27 (40.9%). Она справилась с 12 задачами, которые провалила Kimi K3, и провалила 1 задачу, с которой Kimi K3 справилась.
Дешевле ли Kimi K3.1 Pro, чем Kimi K3?
Да, в расчёте на задачу. В наших 66 браузерных задачах Kimi K3.1 Pro стоила $0.772 на задачу, а Kimi K3 — $0.871. На успешную попытку разница ещё больше: $1.340 против $2.130.
Быстрее ли Kimi K3.1 Pro, чем Kimi K3?
Да, на работе, которую завершили обе модели. На 26 браузерных задачах, успешно выполненных обеими, Kimi K3.1 Pro тратила 400.6 секунды на задачу, а Kimi K3 — 586.1. На задачу новая модель делала 25.8 вызова инструментов против 33.5 и генерировала 6 997 выходных токенов против 10 727.
Сколько стоит Kimi K3.1 Pro за миллион токенов?
Официальные тарифы Moonshot для Kimi K3.1 Pro за миллион токенов: $2.00 за входные, $0.20 за кешированный ввод, $2.00 за запись в кеш и $10.00 за выходные. Для Kimi K3 указаны $3.00, $0.30, $3.00 и $15.00, поэтому новая модель стоит две трети от цены прежней для каждого вида токенов.
Почему Kimi K3 останавливается посреди браузерной задачи?
В 26 из 66 попыток Kimi K3 закончила ответом, который называл следующий шаг, но не содержал вызова инструмента, а в агенте pi это завершает запуск. Последними словами были сообщения вроде "SUSE done. Now Amazon Linux." Шестнадцать из 26 таких случаев пришлись на задачи по сбору одних и тех же полей с 8 и более сайтов; у Kimi K3.1 Pro таких случаев было 0.
Какие браузерные задачи больше всего выиграли от Kimi K3.1 Pro?
Больше всего дополнительных успехов Kimi K3.1 Pro получила в задачах по сбору одних и тех же полей с 8 и более сайтов — 5, без единой потери в этой категории. Также она получила 3 дополнительных успеха в перекрёстных проверках на одном–трёх сайтах, 2 в задачах внутри веб-приложения, 1 в исследовании без жёстких рамок и 1 в задачах с публикациями в X.
Стала ли Kimi K3.1 Pro хуже в какой-либо браузерной задаче?
В 1 из 66 задач. Она провалила задачу по выбору модели в Azure, с которой Kimi K3 справилась: исключила одного кандидата, не открыв страницу с объяснением причины. При этом она успешно выполнила 12 задач, которые провалила Kimi K3.
В чём Kimi K3.1 Pro всё ещё ошибается при работе в браузере?
В основном — в значениях длинных таблиц: 17 из 24 неверных ответов пришлись на задачи по сбору одних и тех же полей с 8 и более сайтов. В одной задаче она назвала в выводе не тот банк, хотя в её же таблице стояла правильная дата. Она также достигла лимита в 100 шагов в 4 попытках — столько же, сколько Kimi K3.
Как Kimi K3.1 Pro справляется с автоматизацией веб-приложений?
Kimi K3.1 Pro успешно выполнила все 15 наших задач внутри веб-приложения, а Kimi K3 — 13. Задачи выполняются в наших тестовых приложениях для операционной работы, расходов на поездки и облачной консоли; для каждой попытки создаются новые данные. На 13 задачах, успешно выполненных обеими моделями, новая модель тратила 327.0 секунды и $0.240 на задачу против 454.7 секунды и $0.383.
Стоит ли перевести браузерного агента с Kimi K3 на Kimi K3.1 Pro?
В протестированной конфигурации с pi и ZenMux — да. Kimi K3.1 Pro успешно выполнила 38 из 66 попыток против 27, с меньшим средним временем и меньшей средней расчётной стоимостью на 26 задачах, с которыми справились обе модели. Для таблиц, собранных с 8 и более сайтов, сохраните этап проверки: 17 из 24 неверных ответов пришлись на такие задачи.
Как мы проводили тестирование
Мы запускали обе модели 3 ноября 2026 года на одном Mac с Apple silicon под macOS 26.5. Обе использовали одного и того же агента pi 1.5.0 с ego-browser в качестве браузерного инструмента, один и тот же файл навыка ego-browser и одинаковые версии ego(lite) и ego-browser. Моделями были Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) и Kimi K3 (moonshotai/kimi-k3); у обеих параметр усилий на рассуждения был установлен на высокий уровень, и обе подключались через одного API-провайдера — ZenMux.
Модель управляет ego-browser, записывая короткие программы на JavaScript, которые загружают страницы, нажимают элементы, заполняют формы и выводят текст страницы или снимок дерева доступности. Каждой попытке отводилось до 100 шагов и не более 60 минут. Шаг — одно обращение к модели и её ответ. Задача предписывает модели завершить работу сообщением, начинающимся с FINAL ANSWER.
Мы учитываем 66 задач, и каждая относится ровно к одному виду работы. «Одни и те же поля с 8 и более сайтов» (26 задач) — сбор одного набора полей с 8 и более сайтов, например релизов о ВВП девяти статистических ведомств. «Работа внутри веб-приложения» (15) — задачи в тестовых приложениях для операционной работы, расходов на поездки и облачной консоли, например исправление правил оповещений перевозчика. «Исследование без жёстких рамок» (12) задаёт цель и несколько источников, например выбор модели, доступной в одном регионе Azure. «Перекрёстные проверки на одном–трёх сайтах» (8) сопоставляют данные нескольких сайтов, например записи клинических испытаний с инструкциями к лекарствам. «Публикации в X» (5) сопоставляют публикации в X с другими записями, например публикации о запусках SpaceX со списками запусков в Wikipedia; такие задачи учитываются только в категории публикаций в X.
У каждой задачи есть список критериев оценки: всего 443 на 66 задач. Один критерий в каждой задаче проверяет, есть ли в окончательном ответе все запрошенные значения. Остальные 377 проверяют конкретные запрошенные значения: 309 заранее зафиксированы по официальным сайтам, 49 основаны на данных, которые тестовые приложения генерируют для каждой попытки, а 19 проверяются по текущей странице. Попытка считается успешной, только если её окончательный ответ удовлетворяет всем критериям; обе модели оценивались по одним и тем же критериям.
Задача — одна из 66 учитываемых задач, а попытка — однократное выполнение одной задачи одной моделью, то есть у каждой модели 66 попыток. Доля успешных попыток — число успешных попыток из 66. В полных результатах ещё шесть задач отмечены как «Не учитывается». В каждой исходная попытка одной модели была заменена целевым повторным запуском либо отсутствовала корректная архивная запись первой попытки. Для обеих моделей исключены одни и те же шесть задач. Вызов инструмента — одна выполненная моделью команда: чаще всего скрипт ego-browser, а в других случаях — команда оболочки или файловая операция, например поиск в сохранённом тексте страницы. Команда браузера — один скрипт ego-browser; в подписях к снимкам экрана счёт ведётся по командам браузера.
Время на задачу — фактически прошедшее время от начала до конца попытки, включая ожидание API модели с учётом рассуждений и выполнение вызовов её инструментов. Скорость сравнивается на 26 задачах, успешно выполненных обеими моделями: затраты времени на проваленную задачу сопоставлять нельзя. При расчёте стоимости записанный расход входных токенов, кешированного ввода, токенов записи в кеш и выходных токенов каждой попытки оценивается по указанным тарифам Moonshot; это не сумма подписки ZenMux и не итог счёта. Стоимость на успешную попытку — стоимость всех 66 попыток, делённая на число успешных.
Попытка достигла лимита шагов, если использовала все 100 шагов без окончательного ответа. Попытка закончилась сообщением о ходе работы, если последняя реплика модели содержала текст, но не вызов инструмента и не FINAL ANSWER, и завершилась до лимита шагов. Неверный ответ — окончательный ответ, который не прошёл проверку.
Полные результаты
Каждая ячейка показывает результат модели на задаче, время попытки в секундах и её стоимость. Результат — «Успех», «Неверный ответ», «Нет ответа» (запуск завершился без окончательного ответа до лимита шагов) или «Лимит шагов». Время включает ожидание API модели. Для шести задач «Не учитывается» после целевых заменяющих запусков нет сопоставимых записей первых попыток; все шесть исключены для обеих моделей.
| Задача | Вид работы | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Климатическая сводка за 2025 год от одиннадцати метеослужб | Одни и те же поля с 8 и более сайтов | Неверный ответ · 633.7 с · $1.235 | Лимит шагов · 2010.1 с · $3.368 |
| Трафик восьми узловых аэропортов за 2025 год | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Показатели сезона 2025-26 девяти футбольных лиг | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Главные награды девяти кинофестивалей в 2026 году | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1399.6 с · $2.591 | Нет ответа · 1306.1 с · $1.418 |
| Лист допуска для девяти моделей с открытыми весами на Hugging Face | Одни и те же поля с 8 и более сайтов | Неверный ответ · 598.6 с · $0.716 | Нет ответа · 1217.4 с · $1.284 |
| Матрица соответствия по девяти центрам доверия SaaS | Одни и те же поля с 8 и более сайтов | Неверный ответ · 590.3 с · $0.637 | Нет ответа · 1138.5 с · $0.844 |
| Рейтинги краш-тестов одного SUV по девяти программам | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1242.3 с · $1.312 | Лимит шагов · 1576.6 с · $1.765 |
| Действующие редакции девяти технических стандартов | Одни и те же поля с 8 и более сайтов | Неверный ответ · 592.9 с · $0.658 | Нет ответа · 320.4 с · $0.250 |
| Первое решение по ставке за 2026 год у двенадцати центральных банков | Одни и те же поля с 8 и более сайтов | Неверный ответ · 617.0 с · $1.023 | Неверный ответ · 1256.3 с · $1.986 |
| Первая и последняя оценки ВВП за Q2 2026 у девяти ведомств | Одни и те же поля с 8 и более сайтов | Успех · 1001.2 с · $1.181 | Неверный ответ · 1294.2 с · $1.363 |
| Бесплатные тарифы CI для закрытых репозиториев у девяти сервисов | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1033.5 с · $1.187 | Нет ответа · 963.4 с · $1.068 |
| Бесплатные тарифы девяти бессерверных платформ | Одни и те же поля с 8 и более сайтов | Успех · 924.5 с · $1.283 | Нет ответа · 248.4 с · $0.173 |
| Как девять музыкальных сервисов представляют один альбом | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Последние итоги выборов по данным девяти избирательных органов | Одни и те же поля с 8 и более сайтов | Лимит шагов · 1256.5 с · $2.222 | Лимит шагов · 1789.7 с · $2.389 |
| Новейшие ветки выпусков девяти сред выполнения языков программирования | Одни и те же поля с 8 и более сайтов | Неверный ответ · 810.3 с · $1.106 | Неверный ответ · 1024.2 с · $1.171 |
| Новейшие стабильные версии девяти фреймворков JavaScript | Одни и те же поля с 8 и более сайтов | Успех · 515.4 с · $0.523 | Успех · 957.6 с · $0.722 |
| Новейшие стабильные версии девяти настольных браузеров | Одни и те же поля с 8 и более сайтов | Успех · 471.8 с · $0.913 | Нет ответа · 903.0 с · $0.765 |
| Данные девяти ведомств о землетрясении на Камчатке в 2025 году | Одни и те же поля с 8 и более сайтов | Неверный ответ · 789.4 с · $1.128 | Нет ответа · 971.8 с · $1.335 |
| Официальные характеристики девяти флагманских телефонов для Великобритании | Одни и те же поля с 8 и более сайтов | Успех · 564.8 с · $0.865 | Нет ответа · 1331.7 с · $1.161 |
| Официальные характеристики восьми камер | Одни и те же поля с 8 и более сайтов | Успех · 953.2 с · $1.521 | Успех · 1479.8 с · $1.730 |
| Данные об изданиях одной книги на десяти сайтах издательств и библиотек | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Возрастные рейтинги одной игры у восьми рейтинговых организаций | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1385.2 с · $1.905 | Нет ответа · 1355.8 с · $1.592 |
| Статус исправления одной уязвимости sudo CVE в девяти бюллетенях поставщиков | Одни и те же поля с 8 и более сайтов | Неверный ответ · 539.4 с · $0.521 | Нет ответа · 158.9 с · $0.133 |
| Синглы на первом месте за одну неделю в девяти национальных чартах | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Вступительные ключевые доклады девяти конференций разработчиков | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1198.7 с · $1.457 | Нет ответа · 1450.3 с · $1.485 |
| Выпуски Protocol Buffers в девяти реестрах пакетов | Одни и те же поля с 8 и более сайтов | Неверный ответ · 472.9 с · $0.732 | Нет ответа · 582.4 с · $0.296 |
| Результаты восьми опросов разработчиков за 2025 год | Одни и те же поля с 8 и более сайтов | Неверный ответ · 599.1 с · $1.255 | Неверный ответ · 1587.4 с · $1.785 |
| Установленная законом минимальная зарплата на девяти территориях | Одни и те же поля с 8 и более сайтов | Не учитывается | Не учитывается |
| Даты окончания поддержки девяти серверных продуктов | Одни и те же поля с 8 и более сайтов | Успех · 690.2 с · $0.781 | Нет ответа · 370.0 с · $0.292 |
| Записи десяти музеев о «Большой волне» Хокусая | Одни и те же поля с 8 и более сайтов | Неверный ответ · 824.7 с · $1.025 | Нет ответа · 1644.2 с · $1.124 |
| Одобрения тирзепатида (Tirzepatide) для контроля веса у восьми регуляторов | Одни и те же поля с 8 и более сайтов | Лимит шагов · 1475.9 с · $2.742 | Нет ответа · 1171.2 с · $1.414 |
| Данные о запасе хода и зарядке девяти электрических SUV для США | Одни и те же поля с 8 и более сайтов | Неверный ответ · 1027.4 с · $1.707 | Лимит шагов · 1711.3 с · $1.685 |
| Зачесть поступление через lockbox в счёт неоплаченных счетов | Работа внутри веб-приложения | Успех · 286.4 с · $0.208 | Успех · 404.7 с · $0.402 |
| Проверить и откатить изменения, сделанные во время запрета изменений | Работа внутри веб-приложения | Успех · 160.4 с · $0.140 | Успех · 545.1 с · $0.394 |
| Забронировать поездку коллеге в приложении для путешествий | Работа внутри веб-приложения | Успех · 438.2 с · $0.409 | Успех · 433.4 с · $0.474 |
| Привести объекты мониторинга уровня 1 в соответствие с письменным стандартом | Работа внутри веб-приложения | Успех · 248.5 с · $0.253 | Нет ответа · 105.0 с · $0.094 |
| Заявить к возмещению пробег за неделю визитов к клиентам | Работа внутри веб-приложения | Успех · 458.1 с · $0.333 | Успех · 521.6 с · $0.418 |
| Закрыть дебиторскую задолженность за февраль и открыть споры в операционном приложении | Работа внутри веб-приложения | Успех · 469.9 с · $0.403 | Успех · 774.2 с · $0.698 |
| Подать заявку на суточные для двух городов | Работа внутри веб-приложения | Успех · 256.7 с · $0.127 | Успех · 282.5 с · $0.225 |
| Зарегистрировать в облачной консоли хронологию инцидента для его последующего разбора | Работа внутри веб-приложения | Успех · 216.3 с · $0.195 | Успех · 264.8 с · $0.306 |
| Подать претензии по поводу повреждений при доставке двум клиентам | Работа внутри веб-приложения | Успех · 445.9 с · $0.319 | Успех · 1058.7 с · $0.726 |
| Исправить график дежурств на следующую неделю | Работа внутри веб-приложения | Успех · 169.0 с · $0.125 | Успех · 193.3 с · $0.147 |
| Сопоставить карточные операции с черновиком авансового отчёта | Работа внутри веб-приложения | Успех · 457.1 с · $0.383 | Успех · 535.9 с · $0.394 |
| Разместить заказы на пополнение склада | Работа внутри веб-приложения | Успех · 337.3 с · $0.182 | Успех · 205.3 с · $0.240 |
| Проверить авансовый отчёт сотрудника | Работа внутри веб-приложения | Успех · 387.7 с · $0.189 | Успех · 450.6 с · $0.364 |
| Установить запреты на развёртывание по расходу бюджета ошибок | Работа внутри веб-приложения | Успех · 167.8 с · $0.106 | Успех · 240.6 с · $0.193 |
| Сверить показатели пунктуальности перевозчика и исправить правила оповещений | Работа внутри веб-приложения | Успех · 382.5 с · $0.261 | Нет ответа · 934.2 с · $0.971 |
| Недорогие настройки рассуждений в рейтингах ARC Prize | Исследование без жёстких рамок | Успех · 372.4 с · $0.296 | Успех · 716.2 с · $0.723 |
| Подсчитать по данным Epoch AI модели, превышающие пороговые значения объёма вычислений ЕС | Исследование без жёстких рамок | Успех · 165.8 с · $0.143 | Успех · 252.0 с · $0.186 |
| Информация о восьми передовых моделях, раскрываемая по Закону ЕС об искусственном интеллекте (EU AI Act) | Исследование без жёстких рамок | Лимит шагов · 1388.1 с · $3.008 | Нет ответа · 1748.6 с · $2.621 |
| Все модели, выпущенные в сентябре 2026 года, по шести журналам изменений API | Исследование без жёстких рамок | Успех · 273.4 с · $0.374 | Успех · 595.0 с · $0.721 |
| Проверить десять утверждений о выпусках моделей в сентябре 2026 года | Исследование без жёстких рамок | Неверный ответ · 228.8 с · $0.299 | Неверный ответ · 507.6 с · $0.574 |
| Выбрать основной и резервный API среди пяти китайских моделей | Исследование без жёстких рамок | Успех · 412.3 с · $0.471 | Успех · 769.1 с · $0.696 |
| Выбрать модель, доступную в одном немецком регионе Azure | Исследование без жёстких рамок | Неверный ответ · 297.1 с · $0.280 | Успех · 787.2 с · $0.871 |
| Выбрать самый быстрый эндпоинт провайдера GLM 5.3 в OpenRouter | Исследование без жёстких рамок | Успех · 774.9 с · $0.717 | Неверный ответ · 960.2 с · $0.694 |
| Рассчитать стоимость одной нагрузки API на шести моделях | Исследование без жёстких рамок | Успех · 550.4 с · $0.711 | Успех · 1642.9 с · $2.177 |
| Цены API шести провайдеров в архиве Wayback Machine | Исследование без жёстких рамок | Неверный ответ · 1214.3 с · $0.552 | Нет ответа · 350.4 с · $0.181 |
| Проследить источники таблицы LLM в Wikipedia | Исследование без жёстких рамок | Неверный ответ · 458.7 с · $0.350 | Нет ответа · 383.3 с · $0.301 |
| Что показал один выпуск LiveBench | Исследование без жёстких рамок | Неверный ответ · 296.8 с · $0.267 | Неверный ответ · 330.8 с · $0.329 |
| Составить таблицу инфляции по FRED и сверить её с BLS | Перекрёстные проверки на одном–трёх сайтах | Успех · 274.1 с · $0.224 | Успех · 308.6 с · $0.312 |
| Сверить числа из лекции о GPT с видео, кодом и статьёй | Перекрёстные проверки на одном–трёх сайтах | Успех · 619.4 с · $0.387 | Успех · 237.2 с · $0.277 |
| Сравнить три конфигурации MacBook в американском магазине Apple | Перекрёстные проверки на одном–трёх сайтах | Успех · 786.1 с · $1.226 | Успех · 654.4 с · $1.110 |
| Сопоставить испытания фазы 3 на ClinicalTrials.gov с инструкциями к препаратам в DailyMed | Перекрёстные проверки на одном–трёх сайтах | Успех · 294.2 с · $0.401 | Нет ответа · 591.2 с · $0.872 |
| Список допустимости шести веб-функций по MDN и Can I use | Перекрёстные проверки на одном–трёх сайтах | Успех · 269.9 с · $0.262 | Успех · 751.4 с · $0.796 |
| Рассчитать стоимость перелётов в Денвер для выездного мероприятия команды | Перекрёстные проверки на одном–трёх сайтах | Успех · 526.6 с · $0.962 | Нет ответа · 963.3 с · $1.037 |
| Сверить сборы шести фильмов Уэса Андерсона (Wes Anderson) в базе кассовых сборов и Wikipedia | Перекрёстные проверки на одном–трёх сайтах | Успех · 221.1 с · $0.250 | Успех · 324.7 с · $0.303 |
| Снимок реестровых данных четырёх британских компаний в Companies House | Перекрёстные проверки на одном–трёх сайтах | Успех · 320.3 с · $0.223 | Неверный ответ · 1005.0 с · $0.591 |
| Объявления о продуктах восьми брендов за 2026 год в X и пресс-центрах | Публикации в X | Неверный ответ · 667.1 с · $0.536 | Нет ответа · 847.0 с · $0.417 |
| Летние трансферы восьми футбольных клубов в X и на клубных сайтах | Публикации в X | Лимит шагов · 1815.4 с · $1.805 | Нет ответа · 2343.4 с · $1.008 |
| Публикации по безопасности восьми проектов с открытым исходным кодом в X и на их сайтах | Публикации в X | Успех · 625.6 с · $0.627 | Нет ответа · 2248.5 с · $1.524 |
| Как быстро восемь университетов опубликовали в X свои новости о Нобелевской премии 2025 года | Публикации в X | Неверный ответ · 1314.1 с · $0.487 | Нет ответа · 528.9 с · $0.237 |
| Сопоставить публикации о запусках SpaceX в X со списками запусков в Wikipedia | Публикации в X | Успех · 751.6 с · $0.220 | Успех · 638.9 с · $0.300 |
Цены моделей взяты из опубликованного прайс-листа Moonshot. Все остальные числа получены в наших собственных запусках.
