Мы протестировали DeepSeek V4.1 Flash с ego-browser, agent-browser и Playwright CLI на 25 веб-задачах

Для автоматизации браузера с DeepSeek V4.1 Flash в протестированной нами конфигурации pi мы выбрали бы ego-browser: с ним удалось завершить больше задач. Средняя стоимость модели по всем попыткам была близкой у трёх инструментов. Каждый инструмент выполнил каждую из наших 25 задач один раз, то есть на каждый пришлось 25 попыток. DeepSeek V4.1 Flash успешно выполнил 17 из 25 попыток (68.0%) с ego-browser, 14 (56.0%) с Playwright CLI и 11 (44.0%) с agent-browser. На 10 задачах, успешно выполненных со всеми тремя инструментами, одна задача занимала 216.8 секунды и стоила $0.042 с ego-browser, 407.3 секунды и $0.050 с Playwright CLI и 399.4 секунды и $0.056 с agent-browser.
Преимущество ego-browser связано с попытками, в которых модель дошла до ответа. Шаг — это один ответ модели; попытка, в которой все 100 шагов были израсходованы без финального ответа, считалась неуспешной. DeepSeek V4.1 Flash исчерпал шаги 4 раза с ego-browser и 9 раз с каждым из двух других инструментов. Он дал 4 неверных ответа с ego-browser, 2 с Playwright CLI и 5 с agent-browser. Команды, которые читали текущую страницу без переходов, кликов или ввода текста, составляли 51.9% у agent-browser, 46.5% у Playwright CLI и 24.4% у ego-browser.
Не все результаты в пользу ego-browser. Playwright CLI сравнялся с ним на наших 4 рабочих процессах в веб-приложениях, успешно выполнив все 4. Ни один инструмент не устранил слабость модели в масштабных задачах: из 7 задач на сбор одинаковых полей с 9–12 сайтов она успешно выполнила 2 с ego-browser, 1 с Playwright CLI и ни одной с agent-browser. По всем 25 задачам, включая неудачи, стоимость одной задачи была примерно одинаковой с каждым инструментом: $0.066 с ego-browser, $0.066 с Playwright CLI и $0.067 с agent-browser.
| Браузерный инструмент | Доля успешных попыток | Среднее время на задачу | Средняя стоимость на задачу |
|---|---|---|---|
| ego-browser | 68.0% (17/25) | 216.8 s | $0.042 |
| Playwright CLI | 56.0% (14/25) | 407.3 s | $0.050 |
| agent-browser | 44.0% (11/25) | 399.4 s | $0.056 |
Каждый инструмент выполнил каждую из 25 задач один раз, поэтому доля успешных попыток рассчитывается по 25 попыткам на инструмент. Время и стоимость — средние по 10 задачам, успешно выполненным со всеми тремя инструментами. Время включает ожидание DeepSeek V4.1 Flash и выполнение вызовов инструментов агента, а стоимость рассчитывается по токенам каждой попытки по опубликованным тарифам DeepSeek.
Доля успешных попыток
С DeepSeek V4.1 Flash более высокая доля успешных попыток у ego-browser связана с тем, что модель успевала дойти до ответа в пределах 100 шагов. Шаги закончились у модели 4 раза с ego-browser и 9 раз с каждым из двух других инструментов.
| Результат попытки | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Успешно | 17 | 14 | 11 |
| Неверный ответ | 4 | 2 | 5 |
| Шаги исчерпаны, ответа нет | 4 | 9 | 9 |
| Все попытки | 25 | 25 | 25 |
По одной попытке на задачу с каждым инструментом, всего 25 задач. Попытки с ego-browser выполнялись 20 октября 2026 года, а с двумя другими инструментами — 5 ноября 2026 года. В запуске ego-browser был также второй проход, в котором успешно выполнены 18 из 25 задач.
Модель дошла до ответа в 21 из 25 попыток с ego-browser и в 16 с каждым из двух других инструментов. Эти ответы оказались верными в 17 случаях из 21 с ego-browser, в 14 из 16 с Playwright CLI и в 11 из 16 с agent-browser. Главное различие в завершении задач между протестированными конфигурациями состояло в том, успевала ли модель дать финальный ответ в пределах 100 шагов.
Задача о телефонах показывает, на что уходят шаги. Нужно было найти вес, ёмкость аккумулятора, размер экрана, коды водозащиты и срок обновлений безопасности девяти флагманских телефонов, для каждого — на британском сайте его бренда. Со всеми тремя инструментами модель посещала одни и те же девять сайтов в одном порядке. С ego-browser она открыла Fairphone, девятый сайт, на шаге 64 и сдала верную таблицу на шаге 70. С agent-browser она дошла до Fairphone на шаге 93, а с Playwright CLI — на шаге 100; в обеих попытках шаги закончились до написания ответа.

ego-browser выигрывал не в каждой задаче с разошедшимися результатами. Результаты трёх инструментов различались на 10 из 25 задач. С ego-browser успешно выполнены 7 из тех, с которыми не справился другой инструмент, но не выполнены 3, с которыми справился Playwright CLI: бесплатные тарифы serverless-платформ, отслеживание источников Wikipedia и проверка MDN. В первой из этих задач с ego-browser закончились шаги, а в двух других модель сдала неверный ответ.
По видам работы ego-browser лидировал в поиске на 1–3 сайтах и сопоставлении публикаций в X с другими источниками. Playwright CLI сравнялся с ним в рабочих процессах веб-приложений и успешно выполнил на одну задачу больше из 3 исследований открытого типа.
| Вид работы | Задачи | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| Рабочие процессы в веб-приложениях | 4 | 4/4 | 4/4 | 3/4 |
| Поиск на 1–3 сайтах | 8 | 7/8 | 5/8 | 5/8 |
| Исследования открытого типа | 3 | 2/3 | 3/3 | 2/3 |
| Публикации в X в сравнении с другими источниками | 3 | 2/3 | 1/3 | 1/3 |
| Одинаковые поля с 9–12 сайтов | 7 | 2/7 | 1/7 | 0/7 |
| Все задачи | 25 | 17/25 | 14/25 | 11/25 |
В каждой ячейке указано число успешных попыток, по одной попытке на задачу.
Самые масштабные задачи оставались сложными с любым инструментом. На 7 задачах по сбору одинаковых полей с 9–12 сайтов большинство неудач было связано с исчерпанием шагов: 4 из 5 неудач с ego-browser, 6 из 6 с Playwright CLI и 6 из 7 с agent-browser. Мы не стали бы поручать DeepSeek V4.1 Flash работу такого масштаба ни с одним из трёх инструментов.
Как DeepSeek V4.1 Flash работает с каждым инструментом
С ego-browser DeepSeek V4.1 Flash чаще объединял изменение страницы и чтение в одной команде. В двух других конфигурациях было больше команд, читавших текущую страницу без переходов, кликов или ввода текста. В документации agent-browser, в файле README, описано чтение страниц в виде дерева доступности с идентификатором ref для каждого элемента. В документации Playwright CLI, в файле README, указано, что инструмент предоставляет снимок страницы после каждой команды. Модель явно запрашивала снимок в 15.4% и 12.6% своих команд с этими инструментами. Эти подсчёты запросов не измеряют автоматически возвращаемые снимки и не позволяют установить, что именно читала модель.
| Команды браузера, все 25 попыток | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Команды браузера | 995 | 1 474 | 1 574 |
| Переход, клик или ввод текста и чтение результата в той же команде | 72.3% | 39.3% | 43.3% |
| Чтение текущей страницы без переходов, кликов или ввода текста | 24.4% | 46.5% | 51.9% |
| Выполнение JavaScript, написанного моделью, на странице | 86.2% | 73.3% | 43.9% |
| Явный запрос снимка страницы | 8.2% | 12.6% | 15.4% |
Одна команда может учитываться более чем в одной строке. Категория команд только для чтения выделяет чтение страницы без переходов, кликов или ввода текста; она не доказывает, что информация была избыточной.
Чтение текущей страницы без переходов, кликов или ввода текста составляло 51.9% команд agent-browser, 46.5% команд Playwright CLI и 24.4% команд ego-browser. Отдельное чтение всё же может извлекать информацию, необходимую модели.
Страница motorola signature в задаче о телефонах показывает, где возникает разница. Срок обновлений безопасности скрыт за элементом See all the specifications. С ego-browser один скрипт на шаге 54 загрузил страницу, нажал этот элемент и прочитал текст; на шаге 55 модель нашла «6+ лет (до 06/2032)». На этот сайт модель потратила 6 шагов. С Playwright CLI она извлекала панели характеристик повторными вызовами JavaScript на странице и потратила 12 шагов, из которых 9 — только на чтение. С agent-browser она искала данные характеристик в исходном HTML-коде страницы и потратила 21 шаг, из которых 12 — только на чтение.

Задача о телефонах показывает, что в той попытке с ego-browser потребовалось меньше шагов. Подсчёт команд описывает записанное поведение, но не выделяет причины, по которым конфигурации завершили разное количество задач.
Скорость
У ego-browser было наименьшее среднее время на десяти задачах, успешно выполненных во всех трёх конфигурациях. На этих 10 задачах одна задача занимала 216.8 секунды с ego-browser, 407.3 с Playwright CLI и 399.4 с agent-browser. ego-browser был самым быстрым из трёх на 8 из этих 10 задач и опережал каждый другой инструмент на 9 из них.
| Время на задачу, 10 задач, успешно выполненных со всеми тремя инструментами | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Ожидание модели | 39.2 s | 63.1 s | 79.8 s |
| Выполнение вызовов инструментов | 177.6 s | 344.2 s | 319.6 s |
| Итого | 216.8 s | 407.3 s | 399.4 s |
| Вызовы инструментов на задачу | 35.2 | 54.0 | 63.3 |
| Секунд на вызов инструмента | 5.0 | 6.4 | 5.0 |
Попытки с ego-browser от 20 октября 2026 года и с двумя другими инструментами от 5 ноября 2026 года.
Большая часть записанной разницы во времени приходится на выполнение вызовов инструментов. Конфигурации различались и числом вызовов, и, в случае Playwright CLI, средним временем на вызов. Один вызов с ego-browser и agent-browser занимал примерно одинаковое время — по 5.0 секунды, а с Playwright CLI — 6.4. С ego-browser требовалось 35.2 вызова инструмента на задачу против 54.0 и 63.3. Меньше вызовов означало и меньше ответов модели, поэтому время ожидания модели сократилось с 63.1 и 79.8 секунды до 39.2.
В наших запусках ego-browser экономил 190.5 секунды на задачу относительно Playwright CLI и 182.6 относительно agent-browser — ощутимая разница, когда кто-то ждёт агента. Два исключения — задача о кассовых сборах, где быстрее всех был Playwright CLI, и задача о конспекте лекции, где быстрее был agent-browser.
Стоимость
При указанных тарифах модели конфигурация с ego-browser имела меньшую среднюю стоимость на десяти задачах, успешно выполненных со всеми инструментами, а средняя стоимость по всем попыткам была близкой у трёх конфигураций. На этих 10 задачах одна задача стоила $0.042 с ego-browser, $0.050 с Playwright CLI и $0.056 с agent-browser. Если разделить общие затраты на число успешных попыток, стоимость успешной попытки составляла $0.097 с ego-browser, $0.117 с Playwright CLI и $0.153 с agent-browser.
Тариф одинаков для всех инструментов, поэтому вся разница определяется количеством токенов, использованных в каждом запуске. Каждый дополнительный шаг снова отправляет модели всю предшествующую беседу; DeepSeek тарифицирует её как чтение из кеша. На 10 задачах, успешно выполненных со всеми тремя инструментами, модель прочитала 1.13 миллиона кешированных токенов на задачу с ego-browser, 1.88 миллиона с Playwright CLI и 2.44 миллиона с agent-browser. Она сгенерировала соответственно 19 461, 21 562 и 22 957 выходных токенов.
При стоимости в несколько центов за задачу цена не станет определяющим фактором выбора инструмента для этой модели. Все 25 попыток вместе стоили $1.65 с ego-browser, $1.64 с Playwright CLI и $1.68 с agent-browser, поэтому дополнительные успешные попытки с ego-browser не были результатом больших расходов.
Какой браузерный инструмент выбрать для DeepSeek V4.1 Flash
Для протестированного здесь набора задач и конфигурации pi мы выбрали бы ego-browser. С ним успешно выполнено больше всего попыток — 17 из 25. На 10 задачах, успешно выполненных со всеми тремя инструментами, одна задача занимала 216.8 секунды против примерно 400 и стоила меньше всего.
Если ваш агент в основном работает внутри одного веб-приложения, Playwright CLI — достойная альтернатива: он успешно выполнил все 4 наших рабочих процесса в веб-приложениях, как и ego-browser. Если важнее всего стоимость, инструмент мало что изменит: по всем 25 задачам стоимость одной задачи составляла $0.066–$0.067 с каждым инструментом. Если ваша работа состоит в сборе одинаковых полей с 9 или более сайтов, ни один из трёх инструментов не сделал модель надёжной в таких задачах: успешно выполнены 2, 1 и 0 из 7.
В протестированной конфигурации использовались DeepSeek V4.1 Flash (deepseek-flash) с высокой интенсивностью рассуждений в агенте pi и загруженный skill-файл браузерного инструмента. ego-browser поставляется вместе с ego(lite), и агент управляет ego(lite) через него.
Как ego(lite) вписывается в это сравнение
ego(lite) был браузером в конфигурации ego-browser; две другие конфигурации использовали Chrome. DeepSeek V4.1 Flash и pi предоставляли модель и агента. В руководстве по интеграции ego-browser объясняется место браузерного инструмента в этой конфигурации.
Конфигурации различались браузерными инструментами, инструкциями и датами запусков. Учитывайте эти условия, выбирая инструмент по записанным результатам. Десять общих успешно выполненных задач позволяют сравнить время и стоимость; они не устанавливают стоимость выполнения остальных пятнадцати задач или результаты с непротестированным агентом.
Частые вопросы
Какой инструмент автоматизации браузера лучше всего подходит для DeepSeek V4.1 Flash?
В наших тестах — ego-browser: с ним DeepSeek V4.1 Flash успешно выполнил 17 из 25 попыток, с Playwright CLI — 14, с agent-browser — 11. На 10 задачах, успешно выполненных со всеми тремя инструментами, он также требовал меньше всего времени — 216.8 секунды на задачу против 407.3 и 399.4. Playwright CLI сравнялся с ним на наших 4 рабочих процессах в веб-приложениях.
Насколько хорошо DeepSeek V4.1 Flash работает с браузером?
DeepSeek V4.1 Flash успешно выполнил от 44.0% до 68.0% попыток на наших 25 веб-задачах в зависимости от браузерного инструмента. Лучше всего он справился внутри веб-приложений: 4 из 4 с ego-browser и с Playwright CLI. Хуже всего — с задачами по сбору одинаковых полей с 9–12 сайтов: от 0 до 2 из 7.
Что лучше для DeepSeek V4.1 Flash: agent-browser или Playwright CLI?
С Playwright CLI завершено больше задач: DeepSeek V4.1 Flash успешно выполнил с ним 14 из 25 попыток против 11 с agent-browser. На 10 задачах, успешно выполненных со всеми тремя инструментами, agent-browser требовал 399.4 секунды на задачу, а Playwright CLI — 407.3, при стоимости $0.056 и $0.050 соответственно. У обоих шаги закончились 9 раз, а с agent-browser модель дала 5 неверных ответов против 2 с Playwright CLI.
С каким браузерным инструментом DeepSeek V4.1 Flash работает быстрее всего?
С ego-browser: на 10 задачах, успешно выполненных со всеми тремя инструментами, одна задача занимала 216.8 секунды против 407.3 с Playwright CLI и 399.4 с agent-browser. Он опережал каждый другой инструмент на 9 из этих 10 задач. Модели требовалось 35.2 вызова инструмента на задачу с ego-browser, 54.0 с Playwright CLI и 63.3 с agent-browser.
Сколько стоит одна задача DeepSeek V4.1 Flash в браузере?
По опубликованным тарифам DeepSeek стоимость DeepSeek V4.1 Flash составляла $0.042–$0.056 на задачу на 10 задачах, успешно выполненных со всеми тремя инструментами. По всем 25 задачам, включая неудачи, она составляла $0.066–$0.067 на задачу с каждым инструментом. В расчёте на успешную попытку стоимость составляла $0.097 с ego-browser, $0.117 с Playwright CLI и $0.153 с agent-browser.
Почему DeepSeek V4.1 Flash не справляется с задачами в браузере?
В большинстве неудачных попыток DeepSeek V4.1 Flash в наших запусках модель израсходовала все 100 шагов без ответа: 4 из 8 с ego-browser, 9 из 11 с Playwright CLI и 9 из 14 с agent-browser. Остальные были неверными ответами — 4, 2 и 5. Чаще всего шаги заканчивались в задачах по сбору одинаковых полей с 9–12 сайтов.
Может ли DeepSeek V4.1 Flash заполнять формы и выполнять рабочие процессы в веб-приложениях?
Да: DeepSeek V4.1 Flash успешно выполнил все 4 наших рабочих процесса в веб-приложениях с ego-browser и с Playwright CLI и 3 из 4 с agent-browser. Среди них были бронирование поездки с соблюдением правил и создание заказов на закупку на основе порогов пополнения запасов. Неудачная попытка с agent-browser — бронирование поездки — исчерпала шаги.
Может ли DeepSeek V4.1 Flash собирать одинаковые данные со множества сайтов?
Ненадёжно: из 7 задач по сбору одинаковых полей с 9–12 сайтов DeepSeek V4.1 Flash успешно выполнил 2 с ego-browser, 1 с Playwright CLI и ни одной с agent-browser. Большинство неудач в этой группе было связано с тем, что шаги закончились до ответа. В поиске на 1–3 сайтах результат был лучше: 7 из 8 задач успешно выполнены с ego-browser.
Как часто DeepSeek V4.1 Flash явно запрашивал снимки страниц?
Явные запросы снимков встречались в 15.4% команд с agent-browser и в 12.6% с Playwright CLI. Playwright CLI также автоматически возвращает снимок после каждой команды, поэтому явные запросы не измеряют общее количество снимков, доступных модели.
Когда DeepSeek V4.1 Flash сдаёт ответ, как часто он верен?
Ответы DeepSeek V4.1 Flash оказались верными в 17 случаях из 21 с ego-browser, в 14 из 16 с Playwright CLI и в 11 из 16 с agent-browser. Инструменты сильнее различались тем, как часто модель успевала дойти до ответа в пределах 100 шагов. Это произошло в 21 из 25 попыток с ego-browser и в 16 с каждым из двух других инструментов.
Как мы проводили тестирование
Мы сравнили DeepSeek V4.1 Flash в трёх конфигурациях браузерных инструментов на одном и том же Mac под macOS. Попытки с ego-browser выполнялись 20 октября 2026 года, а с agent-browser и Playwright CLI — 5 ноября 2026 года.
Использовалась модель DeepSeek V4.1 Flash (идентификатор модели deepseek-flash) с высокой интенсивностью рассуждений в агенте pi с его инструментами read, write, edit и bash. Для агента был загружен собственный skill-файл каждого браузерного инструмента. На каждую попытку отводилось не более 100 шагов и 60 минут.
В сравнении использованы 25 задач, для которых во всех трёх конфигурациях есть записи первых попыток. В задачах об альбоме и минимальной зарплате есть более поздние замещающие попытки, а определения задачи о камерах различаются между архивными запусками. Эти три задачи исключены из всех конфигураций. Использовались ego-browser 2.1.0, agent-browser 0.39.1 и Playwright CLI 0.1.22. ego-browser управляет ego(lite): модель пишет скрипт JavaScript, запускает его через ego-browser и читает то, что скрипт выводит. agent-browser и Playwright CLI управляли Chrome, а модель запускала их команды через bash. agent-browser по запросу возвращает снимок страницы с идентификаторами ref элементов, а Playwright CLI записывает такой снимок после каждой команды.
Каждый инструмент выполнял по одной попытке на задачу, и каждый результат — первая попытка, записанная для этой задачи в запуске. В запуске ego-browser был также второй проход, в котором успешно выполнены 18 из 25 задач. Мы приводим результаты первого прохода, чтобы число попыток у всех инструментов было одинаковым.
Мы использовали 25 задач на действующих сайтах и в тестовых веб-приложениях, которые перед каждой попыткой наполнялись свежими данными. Каждая задача относится ровно к одному виду работы — по группе задач, в которой она была изначально составлена:
- Рабочие процессы в веб-приложениях (4 задачи), например бронирование поездки с соблюдением правил.
- Поиск на 1–3 сайтах (8), например сопоставление клинических испытаний ClinicalTrials.gov с инструкциями к лекарственным препаратам DailyMed.
- Исследования открытого типа (3), например считывание оценки и стоимости с графика рейтинга ARC Prize.
- Публикации в X в сравнении с другими источниками (3), например проверка публикаций о запусках SpaceX в X за неделю по Wikipedia.
- Одинаковые поля с 9–12 сайтов (7), например первое решение по ставкам в 2026 году у 12 центральных банков.
В каждой задаче от 4 до 11 оцениваемых пунктов. Большинство — фиксированные значения; в веб-приложениях они определяются данными, подготовленными для конкретной попытки, а в задаче поиска авиабилетов проверяются по действующему сайту. Попытка считается успешной только тогда, когда все пункты верны, а попытка без финального ответа не проходит ни по одному пункту.
Попытка — это один запуск задачи с нуля; для расчёта доли успешных попыток подсчитывают, сколько попыток завершилось успехом. Шаг — один ответ модели. Вызов инструмента — одна команда, выполняемая моделью, например запись файла или команда bash; почти всегда шаг содержит один такой вызов. Команда браузера — вызов инструмента, который управляет браузером: один скрипт ego-browser или одна командная строка bash, запускающая agent-browser либо Playwright CLI.
Мы подсчитали команды чтения страницы без переходов, кликов или ввода текста, команды, совмещающие изменения страницы и чтение, явные запросы снимков и команды, выполняющие JavaScript модели. Знаменатель — все команды браузера в 25 попытках данного инструмента. В задаче о телефонах число шагов на сайт считается от первого открытия этого сайта моделью до открытия следующего.
Время складывается из ожидания модели и выполнения вызовов инструментов, поэтому включает ожидание API DeepSeek. Скорость и стоимость сравниваются на 10 задачах, успешно выполненных со всеми тремя инструментами. Стоимость рассчитывается по токенам каждой попытки по опубликованным тарифам DeepSeek в часы пиковой нагрузки: $0.30 за миллион входных токенов, $0.006 за миллион токенов чтения из кеша и $1.20 за миллион выходных токенов. Вне пиковых часов DeepSeek взимает половину этой суммы. Стоимость успешной попытки — общая стоимость всех 25 попыток, делённая на число успешных попыток.
Полные результаты
Каждая ячейка показывает единственную попытку этого инструмента выполнить задачу: результат, время в секундах (ожидание ответов модели через API DeepSeek плюс выполнение вызовов инструментов) и стоимость в долларах США.
| Задача | Вид работы | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| Забронировать поездку с соблюдением правил | Рабочие процессы в веб-приложениях | Успешно, 168.5 с, $0.040 | Успешно, 172.0 с, $0.034 | Шаги исчерпаны, 516.6 с, $0.072 |
| Привести мониторы сервисов в соответствие со стандартом | Рабочие процессы в веб-приложениях | Успешно, 126.8 с, $0.035 | Успешно, 161.5 с, $0.032 | Успешно, 371.1 с, $0.060 |
| Сопоставить счета с платежами и открыть споры | Рабочие процессы в веб-приложениях | Успешно, 209.0 с, $0.052 | Успешно, 248.5 с, $0.048 | Успешно, 721.4 с, $0.061 |
| Создать заказы на закупку на основе порогов пополнения запасов | Рабочие процессы в веб-приложениях | Успешно, 126.6 с, $0.019 | Успешно, 130.5 с, $0.021 | Успешно, 333.5 с, $0.036 |
| Сравнить три ноутбука Mac | Поиск на 1–3 сайтах | Успешно, 246.6 с, $0.071 | Успешно, 464.0 с, $0.088 | Успешно, 295.1 с, $0.069 |
| Сопоставить кассовые сборы шести фильмов | Поиск на 1–3 сайтах | Успешно, 148.8 с, $0.040 | Успешно, 139.1 с, $0.024 | Успешно, 208.4 с, $0.029 |
| Срез данных KYC о четырёх британских компаниях | Поиск на 1–3 сайтах | Успешно, 67.0 с, $0.031 | Неверный ответ, 252.9 с, $0.048 | Неверный ответ, 170.2 с, $0.044 |
| Сопоставить клинические испытания с инструкциями к препаратам | Поиск на 1–3 сайтах | Успешно, 208.9 с, $0.056 | Неверный ответ, 242.6 с, $0.054 | Успешно, 284.7 с, $0.049 |
| Инфляция по данным FRED с проверкой по BLS | Поиск на 1–3 сайтах | Успешно, 79.6 с, $0.030 | Успешно, 238.5 с, $0.037 | Успешно, 198.6 с, $0.027 |
| Самые дешёвые тарифы на беспосадочные рейсы на сайте поиска авиабилетов | Поиск на 1–3 сайтах | Успешно, 525.4 с, $0.079 | Шаги исчерпаны, 2136.3 с, $0.076 | Шаги исчерпаны, 912.6 с, $0.080 |
| Веб-возможности в MDN и Can I use | Поиск на 1–3 сайтах | Неверный ответ, 196.7 с, $0.051 | Успешно, 181.9 с, $0.036 | Неверный ответ, 157.9 с, $0.036 |
| Конспект по лекции, коду и научной статье | Поиск на 1–3 сайтах | Успешно, 503.1 с, $0.043 | Успешно, 1289.0 с, $0.085 | Успешно, 423.1 с, $0.036 |
| Прочитать график рейтинга ARC Prize | Исследования открытого типа | Успешно, 125.4 с, $0.068 | Успешно, 227.0 с, $0.066 | Успешно, 390.5 с, $0.122 |
| Модели, превышающие пороги объёма вычислений ЕС | Исследования открытого типа | Успешно, 57.6 с, $0.036 | Успешно, 87.9 с, $0.027 | Успешно, 216.9 с, $0.063 |
| Проследить данные таблицы Wikipedia до её источников | Исследования открытого типа | Неверный ответ, 168.5 с, $0.053 | Успешно, 316.0 с, $0.064 | Неверный ответ, 435.7 с, $0.092 |
| Публикации о безопасности 8 проектов с открытым кодом в X в сопоставлении с бюллетенями безопасности | Публикации в X в сравнении с другими источниками | Успешно, 1128.3 с, $0.123 | Шаги исчерпаны, 1321.6 с, $0.102 | Шаги исчерпаны, 1467.7 с, $0.096 |
| 8 запусков продуктов: публикации в X в сравнении с пресс-релизами | Публикации в X в сравнении с другими источниками | Неверный ответ, 1011.8 с, $0.090 | Шаги исчерпаны, 778.1 с, $0.071 | Неверный ответ, 753.7 с, $0.092 |
| Публикации о запусках SpaceX в X в сравнении с Wikipedia | Публикации в X в сравнении с другими источниками | Успешно, 544.1 с, $0.029 | Успешно, 1086.8 с, $0.071 | Успешно, 835.3 с, $0.057 |
| Решения по ставкам в 12 центральных банках | Одинаковые поля с 9–12 сайтов | Неверный ответ, 339.0 с, $0.121 | Шаги исчерпаны, 397.0 с, $0.073 | Шаги исчерпаны, 423.1 с, $0.082 |
| Основные доклады 9 конференций разработчиков | Одинаковые поля с 9–12 сайтов | Шаги исчерпаны, 814.3 с, $0.142 | Шаги исчерпаны, 561.5 с, $0.098 | Шаги исчерпаны, 551.0 с, $0.071 |
| 9 электрических SUV | Одинаковые поля с 9–12 сайтов | Шаги исчерпаны, 478.8 с, $0.101 | Шаги исчерпаны, 522.8 с, $0.083 | Шаги исчерпаны, 737.8 с, $0.074 |
| 9 моделей с открытыми весами | Одинаковые поля с 9–12 сайтов | Успешно, 420.2 с, $0.108 | Шаги исчерпаны, 572.8 с, $0.109 | Шаги исчерпаны, 529.5 с, $0.109 |
| Флагманские телефоны 9 брендов | Одинаковые поля с 9–12 сайтов | Успешно, 354.4 с, $0.069 | Шаги исчерпаны, 552.4 с, $0.082 | Шаги исчерпаны, 521.6 с, $0.071 |
| Соблюдение требований 9 поставщиками SaaS | Одинаковые поля с 9–12 сайтов | Шаги исчерпаны, 411.8 с, $0.072 | Шаги исчерпаны, 863.8 с, $0.114 | Шаги исчерпаны, 661.6 с, $0.071 |
| Бесплатные тарифы 9 serverless-платформ | Одинаковые поля с 9–12 сайтов | Шаги исчерпаны, 396.3 с, $0.089 | Успешно, 337.3 с, $0.100 | Неверный ответ, 494.7 с, $0.081 |
