Сравнение работы DeepSeek V4.1 Flash и GPT-6.1 Sol в браузере на 72 веб-задачах

22 мин чтения
Две оранжевые формы цитрусовых и зелёные листья на синем фоне для сравнения DeepSeek V4.1 Flash и GPT-6.1 Sol

Для агента, работающего со многими сайтами, мы выбрали бы GPT-6.1 Sol, а для процессов внутри одного веб-приложения — DeepSeek V4.1 Flash. Каждая модель запускала каждую из наших 72 задач дважды в ego-browser, то есть по 144 попытки на модель. GPT-6.1 Sol успешно завершил 121 из 144 попыток (84.0%), а DeepSeek V4.1 Flash — 82 (56.9%). На 29 задачах, с которыми обе модели справились в каждой попытке, GPT-6.1 Sol затратил в среднем 219.7 секунды и $0.310 на задачу, а DeepSeek V4.1 Flash — 321.7 секунды и $0.047.

Изучая запуски, мы увидели разные способы работы моделей. GPT-6.1 Sol часто обрабатывает несколько сайтов одной командой, а DeepSeek V4.1 Flash работает с одной страницей за раз и продолжает поиск. На задачах, где нужно собрать одинаковые поля с 8 или более сайтов, DeepSeek V4.1 Flash использовал все 100 шагов в 23 попытках. В наших тестовых приложениях, где работа выполняется внутри одного веб-приложения, он почти сравнялся с GPT-6.1 Sol по доле успешных попыток и скорости при стоимости примерно в одну шестую от его стоимости.

У каждой модели есть и слабость, которую мы учитывали бы в планировании. GPT-6.1 Sol иногда слишком рано прекращает поиск: на 3 задачах он провалил обе попытки, а DeepSeek V4.1 Flash, продолжавший искать, успешно завершил обе. DeepSeek V4.1 Flash дал больше неверных ответов, хотя всего ответов у него было меньше: 34 из 144 его попыток закончились неверным ответом против 23 у GPT-6.1 Sol.

Доля успешных попыток, скорость и стоимость

GPT-6.1 Sol лидирует по доле успешных попыток и скорости, а DeepSeek V4.1 Flash обходится примерно в 15% его стоимости. Время и стоимость мы сравниваем на 29 задачах, с которыми обе модели справились в каждой попытке, поэтому показатели ни одной модели не включают неудачную работу. Строки по всем 72 задачам включают неудачные попытки.

ПоказательGPT-6.1 SolDeepSeek V4.1 Flash
Доля успешных попыток: все 72 задачи84.0% (121 из 144 попыток)56.9% (82 из 144 попыток)
Время на задачу: 29 задач, выполненных обеими моделями в каждой попытке219.7 s321.7 s
Время на задачу: все 72 задачи321.6 s511.4 s
Стоимость на задачу: 29 задач, выполненных обеими моделями в каждой попытке$0.310$0.047
Стоимость на задачу: все 72 задачи$0.483$0.071
Стоимость на успешную попытку: все 72 задачи$0.575$0.124
Вызовы инструментов на задачу: все 72 задачи34.661.6

Запуски от 7 ноября 2026 года: обе модели в ego-browser. Каждая модель запускала каждую задачу дважды. Время включает ожидание ответов API каждой модели.

DeepSeek V4.1 Flash стоит меньше благодаря более низким тарифам, а не меньшему объёму работы. Он сделал 61.6 вызова инструментов на задачу, а GPT-6.1 Sol — 34.6. Даже в расчёте на успешную попытку DeepSeek V4.1 Flash стоил $0.124, а GPT-6.1 Sol — $0.575.

Основная разница в доле успешных попыток приходится на один вид работы. В задачах, где нужно собрать одинаковые поля с 8 или более сайтов, GPT-6.1 Sol успешно выполнил 51 из 64 попыток, а DeepSeek V4.1 Flash — 21. В рабочих процессах внутри веб-приложений модели успешно выполнили соответственно 29 и 28 из 30 попыток.

Вид работыЗадачиGPT-6.1 SolDeepSeek V4.1 Flash
Рабочие процессы в веб-приложениях1596.7% (29/30)93.3% (28/30)
Поиск и сравнение на нескольких сайтах893.8% (15/16)81.3% (13/16)
Исследование и обобщение1266.7% (16/24)62.5% (15/24)
Проверка публикаций в X по другим источникам5100% (10/10)50.0% (5/10)
Сбор одинаковых полей с 8 или более сайтов3279.7% (51/64)32.8% (21/64)
Все задачи7284.0% (121/144)56.9% (82/144)

Доля успешных попыток рассчитывается по результатам двух попыток на каждую задачу.

В рабочих процессах внутри веб-приложений доля успешных попыток у двух моделей почти одинакова, поэтому здесь их различает стоимость. В задачах, охватывающих много сайтов, GPT-6.1 Sol добивался успеха значительно чаще.

Как работает GPT-6.1 Sol

GPT-6.1 Sol часто работает с несколькими сайтами за одну команду. Когда задача охватывает много сайтов, он держит их открытыми в отдельных вкладках и за каждую команду ego-browser продвигает работу сразу в нескольких из них. Обе модели получили один и тот же файл навыка ego-browser, в котором объясняется, как держать открытыми несколько вкладок, если это нужно для задачи. В задачах по сбору одинаковых полей с 8 или более сайтов 56% браузерных команд GPT-6.1 Sol работали в двух или более вкладках. У DeepSeek V4.1 Flash доля таких браузерных команд была меньше 1%.

Задача о землетрясении показывает, как это выглядит. В ней нужно найти время, магнитуду и глубину одного землетрясения 2025 года по данным 9 агентств. За одну команду GPT-6.1 Sol прочитал страницу события USGS, открыл научные данные на странице события EMSC, открыл страницу события GFZ и направил четвёртую вкладку на INGV. Он успешно выполнил обе попытки: в одной потребовалось 40 вызовов инструментов, в другой — 32. DeepSeek V4.1 Flash последовательно прошёл 9 агентств в одной вкладке, по очереди заполняя поисковую форму каждого, и в обеих попытках израсходовал все 100 шагов.

В наших запусках GPT-6.1 Sol требовалось меньше вызовов инструментов, и он завершал работу быстрее. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, он делал 28.6 вызова инструментов на задачу, а DeepSeek V4.1 Flash — 43.0. Из 16 задач этой группы, не связанных с веб-приложениями, GPT-6.1 Sol был быстрее в 14. В рабочих процессах внутри веб-приложений только 3% его браузерных команд работали в двух или более вкладках, и двум моделям требовалось примерно одинаковое время.

Слабость GPT-6.1 Sol в том, что иногда он прекращает поиск слишком рано. На 3 задачах он провалил обе попытки, а DeepSeek V4.1 Flash успешно выполнил обе. В задаче LiveBench обе модели искали в таблице результатов GPT-5.4 с уровнем усилий High и нашли только строку xHigh. После 12 вызовов инструментов GPT-6.1 Sol сообщил, что на странице нет нужного результата. DeepSeek V4.1 Flash продолжил поиск и нашёл его — 75.1 — в средстве выбора модели ниже на той же странице, в разделе Insights.

С задачей о фронтенд-фреймворках произошло то же самое. В одной попытке GPT-6.1 Sol поискал «16.3.» в списке релизов Next.js и сообщил верхний результат — 16.3.2 от 21 августа. DeepSeek V4.1 Flash пролистал список релизов, состоящий в основном из canary-сборок, и нашёл 16.3.8, опубликованный 30 сентября. Если GPT-6.1 Sol сообщает, что значения на сайте нет, или берёт верхний результат поиска, мы бы сами проверили это значение, прежде чем пользоваться ответом.

Как работает DeepSeek V4.1 Flash

DeepSeek V4.1 Flash работает с одной страницей за раз и продолжает искать, пока не найдёт нужное. Он делал 61.6 вызова инструментов на задачу, а GPT-6.1 Sol — 34.6. Именно эта настойчивость помогла ему успешно выполнить задачи LiveBench и о фронтенд-фреймворках, с которыми GPT-6.1 Sol не справился.

Внутри одного веб-приложения работа с одной страницей за раз почти ничего не меняла. Наши 15 рабочих процессов выполняются в тестовых веб-приложениях, которые мы наполнили свежими данными, например в приложении для бронирования поездок и приложении для учёта расходов. Здесь DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток, а GPT-6.1 Sol — 29. На 13 рабочих процессах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash требовалось 173.0 секунды и $0.028 на задачу, а GPT-6.1 Sol — 169.3 секунды и $0.170.

Типичный пример — бронирование поездки по правилам компании. Агент должен забронировать перелёты туда и обратно с соблюдением правил командировок, выбрать места у прохода и забронировать гостиницу в пределах мили от места проведения мероприятия. Обе модели успешно выполнили обе попытки. DeepSeek V4.1 Flash потребовалось 189.2 секунды и $0.033 на задачу, а GPT-6.1 Sol — 199.4 секунды и $0.253.

При работе с 8 или более сайтами тот же подход расходует шаги. На этих 32 задачах DeepSeek V4.1 Flash успешно выполнил 21 из 64 попыток, а GPT-6.1 Sol — 51. DeepSeek здесь делал 82.2 вызова инструментов на задачу — вдвое больше, чем 41.1 у GPT-6.1 Sol. Из 26 попыток DeepSeek, в которых были использованы все 100 шагов, 23 приходились на эти задачи.

Когда DeepSeek V4.1 Flash всё же даёт ответ, мы бы сверили его выводы с его же данными и прочитанными страницами. Он провалил 62 попытки: 34 закончились неправильным ответом, а 28 — без ответа. Из этих 28 в 26 были использованы все 100 шагов, а 1 завершилась после того, как API DeepSeek вернул ошибки сервера. Все 23 неудачные попытки GPT-6.1 Sol закончились неправильным ответом. В одной попытке задачи о флагманских телефонах DeepSeek V4.1 Flash указал в своей таблице массу Galaxy S26 — 167 g. Но строкой ниже он назвал самым лёгким телефоном motorola signature массой 186 g.

Какую модель выбрать

Для агента, работающего с большим числом сайтов в ego-browser, выбирайте GPT-6.1 Sol. Он успешно выполнил 84.0% попыток и ни разу не израсходовал все шаги. В задачах по сбору одинаковых полей с 8 или более сайтов он успешно выполнил 51 из 64 попыток и быстрее завершал работу на нескольких сайтах.

Для рабочих процессов внутри одного веб-приложения используйте DeepSeek V4.1 Flash. В наших тестовых приложениях он успешно выполнил 28 из 30 попыток, затратил примерно столько же времени, сколько GPT-6.1 Sol, и обошёлся примерно в шестую часть его стоимости. Мы бы не рассчитывали на него в работе с 8 или более сайтами, где он успешно выполнил 21 из 64 попыток.

Для поиска на нескольких сайтах и исследовательских задач приходится выбирать между временем и деньгами. DeepSeek V4.1 Flash успешно выполнил 13 из 16 попыток поиска и 15 из 24 исследовательских попыток, а GPT-6.1 Sol — 15 из 16 и 16 из 24. В обоих случаях DeepSeek V4.1 Flash стоил меньше и работал дольше.

Поиск CPI BLS в ego(lite) с диапазоном 2023–2025 и включёнными среднегодовыми значениями
Поиск CPI BLS в ego(lite) с включёнными среднегодовыми значениями. Демонстрация интерфейса предоставлена для этой редакции и не относится к тестовым запускам 7 ноября. Открыть изображение в полном размере

Какую бы модель вы ни выбрали, проверяйте ключевые значения в её ответе. Обе модели иногда давали внешне полный ответ с неправильным значением. Мы запускали обе модели с высоким уровнем усилий рассуждения в ego-browser, который поставляется вместе с ego(lite) и управляет им как браузером агента.

Частые вопросы

Так же ли хорошо DeepSeek V4.1 Flash работает с браузером, как GPT-6.1 Sol?

Внутри одного веб-приложения — почти; на большом числе сайтов — нет. В рабочих процессах внутри веб-приложений DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток, а GPT-6.1 Sol — 29. В задачах по сбору одинаковых полей с 8 или более сайтов DeepSeek V4.1 Flash успешно выполнил 21 из 64 попыток, а GPT-6.1 Sol — 51. По всем 72 задачам доля успешных попыток составила соответственно 56.9% и 84.0%.

Почему GPT-6.1 Sol работает в браузере быстрее DeepSeek V4.1 Flash?

В наших запусках GPT-6.1 Sol требовалось меньше вызовов инструментов, отчасти потому, что он часто работает с несколькими сайтами за одну команду. В задачах по сбору одинаковых полей с 8 или более сайтов 56% его браузерных команд работали в двух или более вкладках, а у DeepSeek V4.1 Flash — меньше 1%. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, GPT-6.1 Sol делал 28.6 вызова инструментов и тратил 219.7 секунды на задачу, а DeepSeek V4.1 Flash — 43.0 вызова и 321.7 секунды. В рабочих процессах внутри веб-приложений они затрачивали примерно одинаковое время.

Насколько DeepSeek V4.1 Flash дешевле GPT-6.1 Sol в браузерных задачах?

Стоимость DeepSeek V4.1 Flash составляет примерно 15% стоимости GPT-6.1 Sol. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash стоил $0.047 на задачу, а GPT-6.1 Sol — $0.310. По всем 72 задачам DeepSeek V4.1 Flash стоил $0.071 на задачу, а GPT-6.1 Sol — $0.483. В расчёте на успешную попытку стоимость DeepSeek V4.1 Flash составляла $0.124, а GPT-6.1 Sol — $0.575.

Почему DeepSeek V4.1 Flash не справляется с задачами на большом числе сайтов?

Примерно половина его неудач в этой группе связана с исчерпанием шагов. В задачах по сбору одинаковых полей с 8 или более сайтов он работает с одной страницей за раз и делал 82.2 вызова инструментов на задачу против 41.1 у GPT-6.1 Sol. Из его 43 неудачных попыток на этих задачах 23 завершились без ответа после всех 100 шагов.

Почему GPT-6.1 Sol ошибается в некоторых браузерных задачах?

В задачах LiveBench и о фронтенд-фреймворках он прекращал поиск слишком рано. В задаче LiveBench после 12 вызовов инструментов GPT-6.1 Sol сообщил, что на странице нет результата, а DeepSeek V4.1 Flash нашёл его ниже на той же странице, в разделе Insights. DeepSeek V4.1 Flash успешно выполнил обе попытки на 3 задачах, которые GPT-6.1 Sol провалил дважды.

Делает ли DeepSeek V4.1 Flash больше ошибок, чем GPT-6.1 Sol?

Да. Из 144 попыток DeepSeek V4.1 Flash 34 закончились неправильным ответом, а у GPT-6.1 Sol — 23. DeepSeek V4.1 Flash также давал меньше ответов: 28 его попыток завершились без ответа. В одной попытке задачи о флагманских телефонах его собственная таблица указывала массу Galaxy S26 — 167 g, а в итоговом выводе самым лёгким был назван телефон массой 186 g.

Может ли DeepSeek V4.1 Flash заполнять формы и выполнять рабочие процессы в веб-приложении?

Да. DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток на 15 рабочих процессах в наших тестовых веб-приложениях, а GPT-6.1 Sol — 29 из 30. Задачи включали бронирование поездки, зачисление платежей lockbox и утверждение отчётов о расходах. На 13 задачах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash стоил $0.028 на задачу, а GPT-6.1 Sol — $0.170.

Какие браузерные задачи DeepSeek V4.1 Flash может выполнять дешевле GPT-6.1 Sol?

В основном это рабочие процессы внутри одного веб-приложения: 11 из 15 таких процессов удовлетворяли трём условиям. На этих 11 задачах DeepSeek V4.1 Flash добивался успеха так же часто, как GPT-6.1 Sol, тратил не более чем на 10% больше времени и стоил меньше трети его стоимости. Ещё три задачи удовлетворяли тем же условиям: сводка об инфляции по данным FRED и BLS, учебные заметки по лекции, коду и статье и проверка одного CVE sudo по девяти бюллетеням безопасности дистрибутивов Linux.

Сколько вызовов инструментов делает DeepSeek V4.1 Flash по сравнению с GPT-6.1 Sol?

По всем 72 задачам DeepSeek V4.1 Flash делал 61.6 вызова инструментов на задачу — примерно на 78% больше, чем 34.6 у GPT-6.1 Sol. В задачах по сбору одинаковых полей с 8 или более сайтов DeepSeek V4.1 Flash делал 82.2 вызова на задачу — вдвое больше, чем 41.1 у GPT-6.1 Sol. В рабочих процессах внутри веб-приложений DeepSeek V4.1 Flash делал 33.3 вызова на задачу, а GPT-6.1 Sol — 26.0.

Стоит ли использовать DeepSeek V4.1 Flash для браузерных агентов?

Да, для рабочих процессов внутри одного веб-приложения: здесь DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток при стоимости примерно в шестую часть стоимости GPT-6.1 Sol. Для агента, работающего с большим числом сайтов, лучше выбрать GPT-6.1 Sol: он успешно выполнил 84.0% попыток, а DeepSeek V4.1 Flash — 56.9%.

Как мы проводили тестирование

Мы запустили обе модели 7 ноября 2026 года на macOS в ego-browser с ego(lite) 0.6.3.2. Обе модели работали в агентной среде pi с файлом навыка ego-browser. Мы обращались к ним по идентификаторам моделей deepseek-flash и gpt-6.1-sol с высоким уровнем усилий при рассуждении. Для обеих моделей действовал одинаковый лимит: 100 шагов на попытку. Шаг — это один ход модели; почти на каждом шаге модель делала один вызов инструмента. Каждая модель выполнила каждую из 72 задач дважды, то есть совершила 144 попытки.

Обзор Spaces в ego(lite): поиск CPI BLS в процессе выполнения рядом с другим Space
Обзор Spaces в ego(lite) во время демонстрации поиска BLS. Демонстрация интерфейса предоставлена для этой редакции и не относится к тестовым запускам 7 ноября. Открыть изображение в полном размере

Набор включает 72 сложные задачи веб-автоматизации. Часть задач выполняется на действующих сайтах, часть — в тестовых приложениях, которые мы наполнили свежими данными. Мы сгруппировали задачи по виду требуемой работы:

Вид работыЗадачиПример задачи
Рабочие процессы в веб-приложениях15Забронировать поездку по правилам компании
Поиск и сравнение на нескольких сайтах8Сводка об инфляции по данным FRED с проверкой по BLS
Исследование и обобщение12Проследить источники таблицы Wikipedia
Проверка публикаций в X по другим источникам5Проверить публикации SpaceX о запусках в X по Wikipedia
Сбор одинаковых полей с 8 или более сайтов32Решения по ставкам 12 центральных банков

Каждая задача относится только к одной группе. 5 задач по проверке публикаций в X образуют отдельную группу, даже если охватывают 8 аккаунтов.

Каждая задача оценивается по 3–10 проверкам. Попытка считается успешной только в том случае, если пройдены все проверки.

Чтобы понять, как работает каждая модель, мы прочитали журналы сессий попыток обеих моделей. Мы считаем, что браузерная команда работает в двух или более вкладках, если скрипт, переданный моделью в ego-browser в этой команде, считывал данные из двух или более вкладок либо выполнял в них действия.

Доля успешных попыток — это доля попыток, прошедших все проверки. Все показатели на задачу в этой статье, включая время, стоимость и вызовы инструментов, представляют собой среднее по двум попыткам этой задачи. Время отсчитывается от начала попытки до окончательного ответа или, если ответа не было, до последнего шага и включает ожидание ответов API каждой модели. Стоимость — это цена токенов каждой попытки по расценкам провайдера. Стоимость на успешную попытку рассчитывается делением стоимости всех 144 попыток на число успешных. При сравнении времени и стоимости мы используем 29 задач, которые обе модели успешно выполнили в каждой попытке, если в предложении не указано иное.

В столбце «Результат» ниже «Столько же успехов, дешевле» означает, что DeepSeek V4.1 Flash добивался успеха так же часто, как GPT-6.1 Sol, тратил не более чем на 10% больше времени и стоил меньше трети его стоимости. «Столько же успехов, медленнее» означает, что обе модели добивались успеха одинаково часто, но задача не удовлетворяла этим условиям по времени и стоимости.

Полные результаты

В каждой ячейке указано число успешных попыток из 2, затем время и стоимость на задачу. Время и стоимость — средние по двум попыткам задачи; время включает ожидание ответов API каждой модели.

ЗадачаВид работыРезультатGPT-6.1 SolDeepSeek V4.1 Flash
Добавить несопоставленные карточные операции в отчёт о расходахРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 169.6 s, $0.1932/2, 157.1 s, $0.026
Зачислить платежи lockboxРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 185.2 s, $0.1412/2, 184.3 s, $0.025
Утвердить отчёт о командировочных расходахРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 156.3 s, $0.1202/2, 144.6 s, $0.020
Забронировать поездку по правилам компанииРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 199.4 s, $0.2532/2, 189.2 s, $0.033
Привести средства мониторинга сервисов в соответствие со стандартомРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 133.9 s, $0.1312/2, 119.3 s, $0.024
Проверка своевременности перевозок и правила оповещенийРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 198.1 s, $0.1402/2, 213.7 s, $0.042
Заявить суточные расходы на питаниеРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 123.4 s, $0.1092/2, 93.2 s, $0.018
Заявить дневной пробег для возмещенияРабочие процессы в веб-приложенияхСтолько же успехов, медленнее2/2, 246.6 s, $0.2282/2, 282.4 s, $0.036
Обеспечить подмену дежурных на время отсутствияРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 85.6 s, $0.1082/2, 69.0 s, $0.013
Создать заказы на закупку по точкам повторного заказаРабочие процессы в веб-приложенияхСтолько же успехов, медленнее2/2, 116.7 s, $0.1232/2, 146.9 s, $0.019
Оформить возвраты повреждённых заказовРабочие процессы в веб-приложенияхСтолько же успехов, медленнее2/2, 238.5 s, $0.2932/2, 297.5 s, $0.045
Заморозить или разрешить развёртывания на основе бюджетов ошибокРабочие процессы в веб-приложенияхСтолько же успехов, дешевле1/2, 90.1 s, $0.0861/2, 74.1 s, $0.013
Сопоставить счета с платежами и открыть спорыРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 212.0 s, $0.2142/2, 224.6 s, $0.042
Откатить релизы, выпущенные во время заморозкиРабочие процессы в веб-приложенияхGPT-6.1 Sol успешно выполнил больше попыток2/2, 115.4 s, $0.1111/2, 241.3 s, $0.040
Написать и отправить разбор инцидентаРабочие процессы в веб-приложенияхСтолько же успехов, дешевле2/2, 135.5 s, $0.1582/2, 126.7 s, $0.026
Самые низкие тарифы на беспосадочные рейсы на сайте поиска авиабилетовПоиск и сравнение на нескольких сайтахСтолько же успехов, медленнее1/2, 380.6 s, $0.4921/2, 1058.9 s, $0.096
Сравнить три ноутбука MacПоиск и сравнение на нескольких сайтахСтолько же успехов, медленнее2/2, 278.5 s, $0.5292/2, 320.4 s, $0.065
Сводка об инфляции по данным FRED с проверкой по BLSПоиск и сравнение на нескольких сайтахСтолько же успехов, дешевле2/2, 117.8 s, $0.1582/2, 93.6 s, $0.019
Снимок данных KYC четырёх британских компанийПоиск и сравнение на нескольких сайтахGPT-6.1 Sol успешно выполнил больше попыток2/2, 181.1 s, $0.2691/2, 170.1 s, $0.034
Сопоставить клинические исследования с инструкциями к препаратамПоиск и сравнение на нескольких сайтахGPT-6.1 Sol успешно выполнил больше попыток2/2, 338.8 s, $0.4871/2, 293.6 s, $0.052
Сверить кассовые сборы шести фильмовПоиск и сравнение на нескольких сайтахСтолько же успехов, медленнее2/2, 189.2 s, $0.2092/2, 210.5 s, $0.028
Учебные заметки по лекции, коду и статьеПоиск и сравнение на нескольких сайтахСтолько же успехов, дешевле2/2, 215.6 s, $0.4222/2, 232.5 s, $0.041
Веб-функции на MDN и Can I useПоиск и сравнение на нескольких сайтахСтолько же успехов, медленнее2/2, 161.8 s, $0.1972/2, 430.5 s, $0.049
Цены API по снимкам WaybackИсследование и обобщениеDeepSeek V4.1 Flash успешно выполнил больше попыток0/2, 410.4 s, $0.3002/2, 1111.2 s, $0.065
Диаграмма таблицы результатов ARC PrizeИсследование и обобщениеСтолько же успехов, медленнее2/2, 197.0 s, $0.2472/2, 341.1 s, $0.081
Проверить 10 утверждений из еженедельного обзора ИИИсследование и обобщениеGPT-6.1 Sol успешно выполнил больше попыток2/2, 184.3 s, $0.3310/2, 307.3 s, $0.059
Сравнить пять API китайских моделей по месячному счётуИсследование и обобщениеСтолько же успехов, медленнее2/2, 205.8 s, $0.3442/2, 278.6 s, $0.055
Аудит раскрытия информации о 8 передовых моделях по Закону ЕС об ИИИсследование и обобщениеОбе модели не справились0/2, 555.1 s, $1.0070/2, 530.4 s, $0.126
Составить список сентябрьских запусков моделей через API по шести журналам измененийИсследование и обобщениеGPT-6.1 Sol успешно выполнил больше попыток2/2, 148.2 s, $0.2601/2, 378.5 s, $0.078
Модели, превышающие пороги объёма вычислений ЕСИсследование и обобщениеGPT-6.1 Sol успешно выполнил больше попыток2/2, 94.0 s, $0.0951/2, 170.2 s, $0.034
Выбрать эндпоинты OpenRouter для GLM 5.3Исследование и обобщениеСтолько же успехов, медленнее2/2, 222.2 s, $0.3052/2, 363.4 s, $0.067
Выбрать модель для обработки немецких страховых заявлений по шести требованиямИсследование и обобщениеDeepSeek V4.1 Flash успешно выполнил больше попыток1/2, 155.3 s, $0.2612/2, 285.0 s, $0.057
Рассчитать стоимость обработки обращений в поддержку по 6 страницам с ценамиИсследование и обобщениеСтолько же успехов, медленнее1/2, 334.8 s, $0.5591/2, 399.2 s, $0.101
Прочитать один релиз LiveBenchИсследование и обобщениеDeepSeek V4.1 Flash успешно выполнил больше попыток0/2, 67.8 s, $0.1292/2, 215.3 s, $0.050
Проследить источники таблицы WikipediaИсследование и обобщениеGPT-6.1 Sol успешно выполнил больше попыток2/2, 286.6 s, $0.2220/2, 514.5 s, $0.060
8 клубных подписаний: проверить X по сайтам клубовПроверка публикаций в X по другим источникамGPT-6.1 Sol успешно выполнил больше попыток2/2, 1099.5 s, $1.4850/2, 2198.8 s, $0.080
8 запусков продуктов: проверить публикации в X по пресс-релизамПроверка публикаций в X по другим источникамGPT-6.1 Sol успешно выполнил больше попыток2/2, 583.1 s, $0.7250/2, 1451.6 s, $0.086
Публикации 8 университетов о Нобелевской премии в XПроверка публикаций в X по другим источникамGPT-6.1 Sol успешно выполнил больше попыток2/2, 790.7 s, $0.8351/2, 2557.1 s, $0.117
Релизы безопасности 8 проектов с открытым кодом: проверить X по бюллетеням безопасностиПроверка публикаций в X по другим источникамСтолько же успехов, медленнее2/2, 426.5 s, $0.7242/2, 1306.2 s, $0.117
Проверить публикации SpaceX о запусках в X по WikipediaПроверка публикаций в X по другим источникамСтолько же успехов, медленнее2/2, 156.2 s, $0.1662/2, 841.3 s, $0.044
Заявления о климате за 2025 год от 11 метеорологических агентствСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток1/2, 616.5 s, $1.0760/2, 556.2 s, $0.120
Показатели трафика 8 аэропортов за 2025 годСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее1/2, 609.4 s, $1.0151/2, 750.7 s, $0.127
Чемпионы 9 лиг в сезоне 2025-26Сбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 577.7 s, $1.1930/2, 798.0 s, $0.110
8 камер с 8 сайтов брендовСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 381.1 s, $0.5111/2, 540.1 s, $0.083
8 опросов разработчиковСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 348.6 s, $0.5850/2, 537.0 s, $0.122
9 электрических SUVСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 557.3 s, $1.1110/2, 620.2 s, $0.104
9 моделей с открытыми весамиСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее1/2, 448.1 s, $0.7031/2, 548.0 s, $0.110
Соблюдение требований 9 поставщиками SaaSСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток1/2, 434.7 s, $0.5980/2, 452.0 s, $0.081
Действующие редакции 9 стандартовСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее2/2, 282.9 s, $0.6752/2, 386.3 s, $0.059
Флагманские телефоны 9 брендовСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 439.4 s, $0.6200/2, 509.0 s, $0.077
Бесплатные тарифы 9 сервисов CIСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 350.6 s, $0.5250/2, 617.3 s, $0.118
Бесплатные тарифы 9 бессерверных платформСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 209.9 s, $0.3191/2, 390.7 s, $0.077
Основные доклады 9 конференций для разработчиковСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 429.1 s, $0.5860/2, 949.7 s, $0.114
Последние выборы в 9 местахСбор одинаковых полей с 8 или более сайтовОбе модели не справились0/2, 582.7 s, $1.1140/2, 625.3 s, $0.120
Последний релиз 9 сред исполнения языков программированияСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 326.9 s, $0.6380/2, 464.1 s, $0.090
Последний стабильный релиз 9 настольных браузеровСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее2/2, 263.2 s, $0.5102/2, 552.6 s, $0.104
Последние стабильные версии 9 фронтенд-фреймворковСбор одинаковых полей с 8 или более сайтовDeepSeek V4.1 Flash успешно выполнил больше попыток0/2, 252.0 s, $0.3752/2, 425.9 s, $0.069
Минимальная зарплата в 9 юрисдикцияхСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 520.4 s, $0.8340/2, 630.3 s, $0.088
Один альбом в 9 музыкальных сервисахСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее2/2, 260.6 s, $0.6602/2, 485.6 s, $0.055
Издания одной книги по 10 источникамСбор одинаковых полей с 8 или более сайтовDeepSeek V4.1 Flash успешно выполнил больше попыток1/2, 315.6 s, $0.4772/2, 498.5 s, $0.061
Один автомобиль в 9 программах краш-тестовСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток1/2, 345.1 s, $0.5240/2, 609.2 s, $0.104
Один препарат по данным 8 регуляторовСбор одинаковых полей с 8 или более сайтовОбе модели не справились0/2, 52.7 s, $0.0600/2, 614.5 s, $0.117
Одно землетрясение по данным 9 агентствСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 321.3 s, $0.7500/2, 694.1 s, $0.109
Одна игра по данным 8 рейтинговых организацийСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 496.2 s, $0.6590/2, 666.1 s, $0.092
Один эстамп в 10 музейных коллекцияхСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 465.4 s, $0.7770/2, 693.7 s, $0.098
Один CVE sudo по 9 бюллетеням дистрибутивовСбор одинаковых полей с 8 или более сайтовСтолько же успехов, дешевле2/2, 389.0 s, $0.4872/2, 280.1 s, $0.045
Первое место за одну неделю в 9 национальных чартахСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее2/2, 530.8 s, $0.7712/2, 631.1 s, $0.090
Первые оценки ВВП за второй квартал от 9 агентствСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 471.3 s, $0.9271/2, 616.9 s, $0.105
Решения по ставкам 12 центральных банковСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 374.9 s, $0.6200/2, 496.5 s, $0.109
Сроки поддержки 9 версий продуктовСбор одинаковых полей с 8 или более сайтовСтолько же успехов, медленнее2/2, 273.8 s, $0.3902/2, 327.4 s, $0.065
Среда исполнения protobuf в 9 реестрах пакетовСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток1/2, 415.8 s, $0.5440/2, 566.7 s, $0.082
Главный приз 9 кинофестивалейСбор одинаковых полей с 8 или более сайтовGPT-6.1 Sol успешно выполнил больше попыток2/2, 628.3 s, $0.9690/2, 665.1 s, $0.093

Журнал обновлений: 9 ноября 2026 года; впервые опубликовано с результатами запусков 7 ноября 2026 года — по две попытки на каждую из 72 задач для каждой модели.

Читать дальше