Сравнение работы DeepSeek V4.1 Flash и GPT-6.1 Sol в браузере на 72 веб-задачах

Для агента, работающего со многими сайтами, мы выбрали бы GPT-6.1 Sol, а для процессов внутри одного веб-приложения — DeepSeek V4.1 Flash. Каждая модель запускала каждую из наших 72 задач дважды в ego-browser, то есть по 144 попытки на модель. GPT-6.1 Sol успешно завершил 121 из 144 попыток (84.0%), а DeepSeek V4.1 Flash — 82 (56.9%). На 29 задачах, с которыми обе модели справились в каждой попытке, GPT-6.1 Sol затратил в среднем 219.7 секунды и $0.310 на задачу, а DeepSeek V4.1 Flash — 321.7 секунды и $0.047.
Изучая запуски, мы увидели разные способы работы моделей. GPT-6.1 Sol часто обрабатывает несколько сайтов одной командой, а DeepSeek V4.1 Flash работает с одной страницей за раз и продолжает поиск. На задачах, где нужно собрать одинаковые поля с 8 или более сайтов, DeepSeek V4.1 Flash использовал все 100 шагов в 23 попытках. В наших тестовых приложениях, где работа выполняется внутри одного веб-приложения, он почти сравнялся с GPT-6.1 Sol по доле успешных попыток и скорости при стоимости примерно в одну шестую от его стоимости.
У каждой модели есть и слабость, которую мы учитывали бы в планировании. GPT-6.1 Sol иногда слишком рано прекращает поиск: на 3 задачах он провалил обе попытки, а DeepSeek V4.1 Flash, продолжавший искать, успешно завершил обе. DeepSeek V4.1 Flash дал больше неверных ответов, хотя всего ответов у него было меньше: 34 из 144 его попыток закончились неверным ответом против 23 у GPT-6.1 Sol.
Доля успешных попыток, скорость и стоимость
GPT-6.1 Sol лидирует по доле успешных попыток и скорости, а DeepSeek V4.1 Flash обходится примерно в 15% его стоимости. Время и стоимость мы сравниваем на 29 задачах, с которыми обе модели справились в каждой попытке, поэтому показатели ни одной модели не включают неудачную работу. Строки по всем 72 задачам включают неудачные попытки.
| Показатель | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| Доля успешных попыток: все 72 задачи | 84.0% (121 из 144 попыток) | 56.9% (82 из 144 попыток) |
| Время на задачу: 29 задач, выполненных обеими моделями в каждой попытке | 219.7 s | 321.7 s |
| Время на задачу: все 72 задачи | 321.6 s | 511.4 s |
| Стоимость на задачу: 29 задач, выполненных обеими моделями в каждой попытке | $0.310 | $0.047 |
| Стоимость на задачу: все 72 задачи | $0.483 | $0.071 |
| Стоимость на успешную попытку: все 72 задачи | $0.575 | $0.124 |
| Вызовы инструментов на задачу: все 72 задачи | 34.6 | 61.6 |
Запуски от 7 ноября 2026 года: обе модели в ego-browser. Каждая модель запускала каждую задачу дважды. Время включает ожидание ответов API каждой модели.
DeepSeek V4.1 Flash стоит меньше благодаря более низким тарифам, а не меньшему объёму работы. Он сделал 61.6 вызова инструментов на задачу, а GPT-6.1 Sol — 34.6. Даже в расчёте на успешную попытку DeepSeek V4.1 Flash стоил $0.124, а GPT-6.1 Sol — $0.575.
Основная разница в доле успешных попыток приходится на один вид работы. В задачах, где нужно собрать одинаковые поля с 8 или более сайтов, GPT-6.1 Sol успешно выполнил 51 из 64 попыток, а DeepSeek V4.1 Flash — 21. В рабочих процессах внутри веб-приложений модели успешно выполнили соответственно 29 и 28 из 30 попыток.
| Вид работы | Задачи | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| Рабочие процессы в веб-приложениях | 15 | 96.7% (29/30) | 93.3% (28/30) |
| Поиск и сравнение на нескольких сайтах | 8 | 93.8% (15/16) | 81.3% (13/16) |
| Исследование и обобщение | 12 | 66.7% (16/24) | 62.5% (15/24) |
| Проверка публикаций в X по другим источникам | 5 | 100% (10/10) | 50.0% (5/10) |
| Сбор одинаковых полей с 8 или более сайтов | 32 | 79.7% (51/64) | 32.8% (21/64) |
| Все задачи | 72 | 84.0% (121/144) | 56.9% (82/144) |
Доля успешных попыток рассчитывается по результатам двух попыток на каждую задачу.
В рабочих процессах внутри веб-приложений доля успешных попыток у двух моделей почти одинакова, поэтому здесь их различает стоимость. В задачах, охватывающих много сайтов, GPT-6.1 Sol добивался успеха значительно чаще.
Как работает GPT-6.1 Sol
GPT-6.1 Sol часто работает с несколькими сайтами за одну команду. Когда задача охватывает много сайтов, он держит их открытыми в отдельных вкладках и за каждую команду ego-browser продвигает работу сразу в нескольких из них. Обе модели получили один и тот же файл навыка ego-browser, в котором объясняется, как держать открытыми несколько вкладок, если это нужно для задачи. В задачах по сбору одинаковых полей с 8 или более сайтов 56% браузерных команд GPT-6.1 Sol работали в двух или более вкладках. У DeepSeek V4.1 Flash доля таких браузерных команд была меньше 1%.
Задача о землетрясении показывает, как это выглядит. В ней нужно найти время, магнитуду и глубину одного землетрясения 2025 года по данным 9 агентств. За одну команду GPT-6.1 Sol прочитал страницу события USGS, открыл научные данные на странице события EMSC, открыл страницу события GFZ и направил четвёртую вкладку на INGV. Он успешно выполнил обе попытки: в одной потребовалось 40 вызовов инструментов, в другой — 32. DeepSeek V4.1 Flash последовательно прошёл 9 агентств в одной вкладке, по очереди заполняя поисковую форму каждого, и в обеих попытках израсходовал все 100 шагов.
В наших запусках GPT-6.1 Sol требовалось меньше вызовов инструментов, и он завершал работу быстрее. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, он делал 28.6 вызова инструментов на задачу, а DeepSeek V4.1 Flash — 43.0. Из 16 задач этой группы, не связанных с веб-приложениями, GPT-6.1 Sol был быстрее в 14. В рабочих процессах внутри веб-приложений только 3% его браузерных команд работали в двух или более вкладках, и двум моделям требовалось примерно одинаковое время.
Слабость GPT-6.1 Sol в том, что иногда он прекращает поиск слишком рано. На 3 задачах он провалил обе попытки, а DeepSeek V4.1 Flash успешно выполнил обе. В задаче LiveBench обе модели искали в таблице результатов GPT-5.4 с уровнем усилий High и нашли только строку xHigh. После 12 вызовов инструментов GPT-6.1 Sol сообщил, что на странице нет нужного результата. DeepSeek V4.1 Flash продолжил поиск и нашёл его — 75.1 — в средстве выбора модели ниже на той же странице, в разделе Insights.
С задачей о фронтенд-фреймворках произошло то же самое. В одной попытке GPT-6.1 Sol поискал «16.3.» в списке релизов Next.js и сообщил верхний результат — 16.3.2 от 21 августа. DeepSeek V4.1 Flash пролистал список релизов, состоящий в основном из canary-сборок, и нашёл 16.3.8, опубликованный 30 сентября. Если GPT-6.1 Sol сообщает, что значения на сайте нет, или берёт верхний результат поиска, мы бы сами проверили это значение, прежде чем пользоваться ответом.
Как работает DeepSeek V4.1 Flash
DeepSeek V4.1 Flash работает с одной страницей за раз и продолжает искать, пока не найдёт нужное. Он делал 61.6 вызова инструментов на задачу, а GPT-6.1 Sol — 34.6. Именно эта настойчивость помогла ему успешно выполнить задачи LiveBench и о фронтенд-фреймворках, с которыми GPT-6.1 Sol не справился.
Внутри одного веб-приложения работа с одной страницей за раз почти ничего не меняла. Наши 15 рабочих процессов выполняются в тестовых веб-приложениях, которые мы наполнили свежими данными, например в приложении для бронирования поездок и приложении для учёта расходов. Здесь DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток, а GPT-6.1 Sol — 29. На 13 рабочих процессах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash требовалось 173.0 секунды и $0.028 на задачу, а GPT-6.1 Sol — 169.3 секунды и $0.170.
Типичный пример — бронирование поездки по правилам компании. Агент должен забронировать перелёты туда и обратно с соблюдением правил командировок, выбрать места у прохода и забронировать гостиницу в пределах мили от места проведения мероприятия. Обе модели успешно выполнили обе попытки. DeepSeek V4.1 Flash потребовалось 189.2 секунды и $0.033 на задачу, а GPT-6.1 Sol — 199.4 секунды и $0.253.
При работе с 8 или более сайтами тот же подход расходует шаги. На этих 32 задачах DeepSeek V4.1 Flash успешно выполнил 21 из 64 попыток, а GPT-6.1 Sol — 51. DeepSeek здесь делал 82.2 вызова инструментов на задачу — вдвое больше, чем 41.1 у GPT-6.1 Sol. Из 26 попыток DeepSeek, в которых были использованы все 100 шагов, 23 приходились на эти задачи.
Когда DeepSeek V4.1 Flash всё же даёт ответ, мы бы сверили его выводы с его же данными и прочитанными страницами. Он провалил 62 попытки: 34 закончились неправильным ответом, а 28 — без ответа. Из этих 28 в 26 были использованы все 100 шагов, а 1 завершилась после того, как API DeepSeek вернул ошибки сервера. Все 23 неудачные попытки GPT-6.1 Sol закончились неправильным ответом. В одной попытке задачи о флагманских телефонах DeepSeek V4.1 Flash указал в своей таблице массу Galaxy S26 — 167 g. Но строкой ниже он назвал самым лёгким телефоном motorola signature массой 186 g.
Какую модель выбрать
Для агента, работающего с большим числом сайтов в ego-browser, выбирайте GPT-6.1 Sol. Он успешно выполнил 84.0% попыток и ни разу не израсходовал все шаги. В задачах по сбору одинаковых полей с 8 или более сайтов он успешно выполнил 51 из 64 попыток и быстрее завершал работу на нескольких сайтах.
Для рабочих процессов внутри одного веб-приложения используйте DeepSeek V4.1 Flash. В наших тестовых приложениях он успешно выполнил 28 из 30 попыток, затратил примерно столько же времени, сколько GPT-6.1 Sol, и обошёлся примерно в шестую часть его стоимости. Мы бы не рассчитывали на него в работе с 8 или более сайтами, где он успешно выполнил 21 из 64 попыток.
Для поиска на нескольких сайтах и исследовательских задач приходится выбирать между временем и деньгами. DeepSeek V4.1 Flash успешно выполнил 13 из 16 попыток поиска и 15 из 24 исследовательских попыток, а GPT-6.1 Sol — 15 из 16 и 16 из 24. В обоих случаях DeepSeek V4.1 Flash стоил меньше и работал дольше.

Какую бы модель вы ни выбрали, проверяйте ключевые значения в её ответе. Обе модели иногда давали внешне полный ответ с неправильным значением. Мы запускали обе модели с высоким уровнем усилий рассуждения в ego-browser, который поставляется вместе с ego(lite) и управляет им как браузером агента.
Частые вопросы
Так же ли хорошо DeepSeek V4.1 Flash работает с браузером, как GPT-6.1 Sol?
Внутри одного веб-приложения — почти; на большом числе сайтов — нет. В рабочих процессах внутри веб-приложений DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток, а GPT-6.1 Sol — 29. В задачах по сбору одинаковых полей с 8 или более сайтов DeepSeek V4.1 Flash успешно выполнил 21 из 64 попыток, а GPT-6.1 Sol — 51. По всем 72 задачам доля успешных попыток составила соответственно 56.9% и 84.0%.
Почему GPT-6.1 Sol работает в браузере быстрее DeepSeek V4.1 Flash?
В наших запусках GPT-6.1 Sol требовалось меньше вызовов инструментов, отчасти потому, что он часто работает с несколькими сайтами за одну команду. В задачах по сбору одинаковых полей с 8 или более сайтов 56% его браузерных команд работали в двух или более вкладках, а у DeepSeek V4.1 Flash — меньше 1%. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, GPT-6.1 Sol делал 28.6 вызова инструментов и тратил 219.7 секунды на задачу, а DeepSeek V4.1 Flash — 43.0 вызова и 321.7 секунды. В рабочих процессах внутри веб-приложений они затрачивали примерно одинаковое время.
Насколько DeepSeek V4.1 Flash дешевле GPT-6.1 Sol в браузерных задачах?
Стоимость DeepSeek V4.1 Flash составляет примерно 15% стоимости GPT-6.1 Sol. На 29 задачах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash стоил $0.047 на задачу, а GPT-6.1 Sol — $0.310. По всем 72 задачам DeepSeek V4.1 Flash стоил $0.071 на задачу, а GPT-6.1 Sol — $0.483. В расчёте на успешную попытку стоимость DeepSeek V4.1 Flash составляла $0.124, а GPT-6.1 Sol — $0.575.
Почему DeepSeek V4.1 Flash не справляется с задачами на большом числе сайтов?
Примерно половина его неудач в этой группе связана с исчерпанием шагов. В задачах по сбору одинаковых полей с 8 или более сайтов он работает с одной страницей за раз и делал 82.2 вызова инструментов на задачу против 41.1 у GPT-6.1 Sol. Из его 43 неудачных попыток на этих задачах 23 завершились без ответа после всех 100 шагов.
Почему GPT-6.1 Sol ошибается в некоторых браузерных задачах?
В задачах LiveBench и о фронтенд-фреймворках он прекращал поиск слишком рано. В задаче LiveBench после 12 вызовов инструментов GPT-6.1 Sol сообщил, что на странице нет результата, а DeepSeek V4.1 Flash нашёл его ниже на той же странице, в разделе Insights. DeepSeek V4.1 Flash успешно выполнил обе попытки на 3 задачах, которые GPT-6.1 Sol провалил дважды.
Делает ли DeepSeek V4.1 Flash больше ошибок, чем GPT-6.1 Sol?
Да. Из 144 попыток DeepSeek V4.1 Flash 34 закончились неправильным ответом, а у GPT-6.1 Sol — 23. DeepSeek V4.1 Flash также давал меньше ответов: 28 его попыток завершились без ответа. В одной попытке задачи о флагманских телефонах его собственная таблица указывала массу Galaxy S26 — 167 g, а в итоговом выводе самым лёгким был назван телефон массой 186 g.
Может ли DeepSeek V4.1 Flash заполнять формы и выполнять рабочие процессы в веб-приложении?
Да. DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток на 15 рабочих процессах в наших тестовых веб-приложениях, а GPT-6.1 Sol — 29 из 30. Задачи включали бронирование поездки, зачисление платежей lockbox и утверждение отчётов о расходах. На 13 задачах, которые обе модели успешно выполнили в каждой попытке, DeepSeek V4.1 Flash стоил $0.028 на задачу, а GPT-6.1 Sol — $0.170.
Какие браузерные задачи DeepSeek V4.1 Flash может выполнять дешевле GPT-6.1 Sol?
В основном это рабочие процессы внутри одного веб-приложения: 11 из 15 таких процессов удовлетворяли трём условиям. На этих 11 задачах DeepSeek V4.1 Flash добивался успеха так же часто, как GPT-6.1 Sol, тратил не более чем на 10% больше времени и стоил меньше трети его стоимости. Ещё три задачи удовлетворяли тем же условиям: сводка об инфляции по данным FRED и BLS, учебные заметки по лекции, коду и статье и проверка одного CVE sudo по девяти бюллетеням безопасности дистрибутивов Linux.
Сколько вызовов инструментов делает DeepSeek V4.1 Flash по сравнению с GPT-6.1 Sol?
По всем 72 задачам DeepSeek V4.1 Flash делал 61.6 вызова инструментов на задачу — примерно на 78% больше, чем 34.6 у GPT-6.1 Sol. В задачах по сбору одинаковых полей с 8 или более сайтов DeepSeek V4.1 Flash делал 82.2 вызова на задачу — вдвое больше, чем 41.1 у GPT-6.1 Sol. В рабочих процессах внутри веб-приложений DeepSeek V4.1 Flash делал 33.3 вызова на задачу, а GPT-6.1 Sol — 26.0.
Стоит ли использовать DeepSeek V4.1 Flash для браузерных агентов?
Да, для рабочих процессов внутри одного веб-приложения: здесь DeepSeek V4.1 Flash успешно выполнил 28 из 30 попыток при стоимости примерно в шестую часть стоимости GPT-6.1 Sol. Для агента, работающего с большим числом сайтов, лучше выбрать GPT-6.1 Sol: он успешно выполнил 84.0% попыток, а DeepSeek V4.1 Flash — 56.9%.
Как мы проводили тестирование
Мы запустили обе модели 7 ноября 2026 года на macOS в ego-browser с ego(lite) 0.6.3.2. Обе модели работали в агентной среде pi с файлом навыка ego-browser. Мы обращались к ним по идентификаторам моделей deepseek-flash и gpt-6.1-sol с высоким уровнем усилий при рассуждении. Для обеих моделей действовал одинаковый лимит: 100 шагов на попытку. Шаг — это один ход модели; почти на каждом шаге модель делала один вызов инструмента. Каждая модель выполнила каждую из 72 задач дважды, то есть совершила 144 попытки.

Набор включает 72 сложные задачи веб-автоматизации. Часть задач выполняется на действующих сайтах, часть — в тестовых приложениях, которые мы наполнили свежими данными. Мы сгруппировали задачи по виду требуемой работы:
| Вид работы | Задачи | Пример задачи |
|---|---|---|
| Рабочие процессы в веб-приложениях | 15 | Забронировать поездку по правилам компании |
| Поиск и сравнение на нескольких сайтах | 8 | Сводка об инфляции по данным FRED с проверкой по BLS |
| Исследование и обобщение | 12 | Проследить источники таблицы Wikipedia |
| Проверка публикаций в X по другим источникам | 5 | Проверить публикации SpaceX о запусках в X по Wikipedia |
| Сбор одинаковых полей с 8 или более сайтов | 32 | Решения по ставкам 12 центральных банков |
Каждая задача относится только к одной группе. 5 задач по проверке публикаций в X образуют отдельную группу, даже если охватывают 8 аккаунтов.
Каждая задача оценивается по 3–10 проверкам. Попытка считается успешной только в том случае, если пройдены все проверки.
Чтобы понять, как работает каждая модель, мы прочитали журналы сессий попыток обеих моделей. Мы считаем, что браузерная команда работает в двух или более вкладках, если скрипт, переданный моделью в ego-browser в этой команде, считывал данные из двух или более вкладок либо выполнял в них действия.
Доля успешных попыток — это доля попыток, прошедших все проверки. Все показатели на задачу в этой статье, включая время, стоимость и вызовы инструментов, представляют собой среднее по двум попыткам этой задачи. Время отсчитывается от начала попытки до окончательного ответа или, если ответа не было, до последнего шага и включает ожидание ответов API каждой модели. Стоимость — это цена токенов каждой попытки по расценкам провайдера. Стоимость на успешную попытку рассчитывается делением стоимости всех 144 попыток на число успешных. При сравнении времени и стоимости мы используем 29 задач, которые обе модели успешно выполнили в каждой попытке, если в предложении не указано иное.
В столбце «Результат» ниже «Столько же успехов, дешевле» означает, что DeepSeek V4.1 Flash добивался успеха так же часто, как GPT-6.1 Sol, тратил не более чем на 10% больше времени и стоил меньше трети его стоимости. «Столько же успехов, медленнее» означает, что обе модели добивались успеха одинаково часто, но задача не удовлетворяла этим условиям по времени и стоимости.
Полные результаты
В каждой ячейке указано число успешных попыток из 2, затем время и стоимость на задачу. Время и стоимость — средние по двум попыткам задачи; время включает ожидание ответов API каждой модели.
| Задача | Вид работы | Результат | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| Добавить несопоставленные карточные операции в отчёт о расходах | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| Зачислить платежи lockbox | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| Утвердить отчёт о командировочных расходах | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| Забронировать поездку по правилам компании | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| Привести средства мониторинга сервисов в соответствие со стандартом | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| Проверка своевременности перевозок и правила оповещений | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| Заявить суточные расходы на питание | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| Заявить дневной пробег для возмещения | Рабочие процессы в веб-приложениях | Столько же успехов, медленнее | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| Обеспечить подмену дежурных на время отсутствия | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| Создать заказы на закупку по точкам повторного заказа | Рабочие процессы в веб-приложениях | Столько же успехов, медленнее | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| Оформить возвраты повреждённых заказов | Рабочие процессы в веб-приложениях | Столько же успехов, медленнее | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| Заморозить или разрешить развёртывания на основе бюджетов ошибок | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| Сопоставить счета с платежами и открыть споры | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| Откатить релизы, выпущенные во время заморозки | Рабочие процессы в веб-приложениях | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| Написать и отправить разбор инцидента | Рабочие процессы в веб-приложениях | Столько же успехов, дешевле | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| Самые низкие тарифы на беспосадочные рейсы на сайте поиска авиабилетов | Поиск и сравнение на нескольких сайтах | Столько же успехов, медленнее | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| Сравнить три ноутбука Mac | Поиск и сравнение на нескольких сайтах | Столько же успехов, медленнее | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| Сводка об инфляции по данным FRED с проверкой по BLS | Поиск и сравнение на нескольких сайтах | Столько же успехов, дешевле | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| Снимок данных KYC четырёх британских компаний | Поиск и сравнение на нескольких сайтах | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| Сопоставить клинические исследования с инструкциями к препаратам | Поиск и сравнение на нескольких сайтах | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| Сверить кассовые сборы шести фильмов | Поиск и сравнение на нескольких сайтах | Столько же успехов, медленнее | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| Учебные заметки по лекции, коду и статье | Поиск и сравнение на нескольких сайтах | Столько же успехов, дешевле | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| Веб-функции на MDN и Can I use | Поиск и сравнение на нескольких сайтах | Столько же успехов, медленнее | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Цены API по снимкам Wayback | Исследование и обобщение | DeepSeek V4.1 Flash успешно выполнил больше попыток | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| Диаграмма таблицы результатов ARC Prize | Исследование и обобщение | Столько же успехов, медленнее | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| Проверить 10 утверждений из еженедельного обзора ИИ | Исследование и обобщение | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| Сравнить пять API китайских моделей по месячному счёту | Исследование и обобщение | Столько же успехов, медленнее | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| Аудит раскрытия информации о 8 передовых моделях по Закону ЕС об ИИ | Исследование и обобщение | Обе модели не справились | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| Составить список сентябрьских запусков моделей через API по шести журналам изменений | Исследование и обобщение | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| Модели, превышающие пороги объёма вычислений ЕС | Исследование и обобщение | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| Выбрать эндпоинты OpenRouter для GLM 5.3 | Исследование и обобщение | Столько же успехов, медленнее | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| Выбрать модель для обработки немецких страховых заявлений по шести требованиям | Исследование и обобщение | DeepSeek V4.1 Flash успешно выполнил больше попыток | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| Рассчитать стоимость обработки обращений в поддержку по 6 страницам с ценами | Исследование и обобщение | Столько же успехов, медленнее | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| Прочитать один релиз LiveBench | Исследование и обобщение | DeepSeek V4.1 Flash успешно выполнил больше попыток | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Проследить источники таблицы Wikipedia | Исследование и обобщение | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 8 клубных подписаний: проверить X по сайтам клубов | Проверка публикаций в X по другим источникам | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 8 запусков продуктов: проверить публикации в X по пресс-релизам | Проверка публикаций в X по другим источникам | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| Публикации 8 университетов о Нобелевской премии в X | Проверка публикаций в X по другим источникам | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| Релизы безопасности 8 проектов с открытым кодом: проверить X по бюллетеням безопасности | Проверка публикаций в X по другим источникам | Столько же успехов, медленнее | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| Проверить публикации SpaceX о запусках в X по Wikipedia | Проверка публикаций в X по другим источникам | Столько же успехов, медленнее | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| Заявления о климате за 2025 год от 11 метеорологических агентств | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| Показатели трафика 8 аэропортов за 2025 год | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| Чемпионы 9 лиг в сезоне 2025-26 | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 камер с 8 сайтов брендов | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 опросов разработчиков | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 электрических SUV | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 моделей с открытыми весами | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| Соблюдение требований 9 поставщиками SaaS | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| Действующие редакции 9 стандартов | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| Флагманские телефоны 9 брендов | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| Бесплатные тарифы 9 сервисов CI | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| Бесплатные тарифы 9 бессерверных платформ | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| Основные доклады 9 конференций для разработчиков | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| Последние выборы в 9 местах | Сбор одинаковых полей с 8 или более сайтов | Обе модели не справились | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| Последний релиз 9 сред исполнения языков программирования | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| Последний стабильный релиз 9 настольных браузеров | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| Последние стабильные версии 9 фронтенд-фреймворков | Сбор одинаковых полей с 8 или более сайтов | DeepSeek V4.1 Flash успешно выполнил больше попыток | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| Минимальная зарплата в 9 юрисдикциях | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| Один альбом в 9 музыкальных сервисах | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| Издания одной книги по 10 источникам | Сбор одинаковых полей с 8 или более сайтов | DeepSeek V4.1 Flash успешно выполнил больше попыток | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| Один автомобиль в 9 программах краш-тестов | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| Один препарат по данным 8 регуляторов | Сбор одинаковых полей с 8 или более сайтов | Обе модели не справились | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| Одно землетрясение по данным 9 агентств | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| Одна игра по данным 8 рейтинговых организаций | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| Один эстамп в 10 музейных коллекциях | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| Один CVE sudo по 9 бюллетеням дистрибутивов | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, дешевле | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| Первое место за одну неделю в 9 национальных чартах | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| Первые оценки ВВП за второй квартал от 9 агентств | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| Решения по ставкам 12 центральных банков | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| Сроки поддержки 9 версий продуктов | Сбор одинаковых полей с 8 или более сайтов | Столько же успехов, медленнее | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| Среда исполнения protobuf в 9 реестрах пакетов | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| Главный приз 9 кинофестивалей | Сбор одинаковых полей с 8 или более сайтов | GPT-6.1 Sol успешно выполнил больше попыток | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
Журнал обновлений: 9 ноября 2026 года; впервые опубликовано с результатами запусков 7 ноября 2026 года — по две попытки на каждую из 72 задач для каждой модели.


