Мы сравнили работу GPT-6.1 Sol и GPT-6 Sol с браузером через три браузерных инструмента

Для проверенной нами конфигурации браузерного агента pi мы бы выбрали GPT-6.1 Sol вместо GPT-6 Sol ради большего числа выполненных задач и меньшей стоимости модели, а не стабильного прироста скорости. В этом тесте работы GPT-6.1 Sol с браузером каждая модель выполнила каждую из 25 веб-задач по одному разу в Playwright CLI, agent-browser и ego-browser, то есть совершила по 25 попыток с каждым инструментом. GPT-6.1 Sol успешно выполнил 19 из 25 попыток в Playwright CLI, 20 из 25 в agent-browser и 24 из 25 в ego-browser. GPT-6 Sol — соответственно 12, 14 и 18. На задачах, которые обе модели успешно выполнили с соответствующим инструментом, GPT-6.1 Sol тратил в среднем 275.6, 327.1 и 195.0 секунды, а стоимость на задачу составляла $0.287, $0.339 и $0.372. GPT-6 Sol тратил в среднем 291.3, 324.0 и 220.2 секунды при стоимости $0.640, $0.595 и $0.735.
Большинство дополнительных успехов пришлось на сбор данных с нескольких сайтов — задачи, где нужно собрать одинаковые поля с 9–16 сайтов. На десяти таких задачах в каждом инструменте GPT-6.1 Sol успешно выполнил 20 из 30 попыток, а GPT-6 Sol — 6. По всем трём инструментам в 19 случаях неудача GPT-6 Sol сменилась успехом GPT-6.1 Sol; обратных изменений не было.
GPT-6.1 Sol делал меньше вызовов инструментов на задачах, которые обе модели успешно выполнили. В ego-browser 43.7% его браузерных скриптов обращались к двум или более вкладкам либо открывали новую рядом с уже существующей; у GPT-6 Sol это происходило в 0.4%. Это описание наблюдавшихся скриптов, а не доказательство того, что именно вкладки обеспечили дополнительные успехи. GPT-6.1 Sol всё же провалил 12 из 75 попыток; десять неудач закончились ответом с неправильным или отсутствующим значением.
Преимущество в стоимости сохраняется, даже если оценить зафиксированный расход токенов GPT-6.1 Sol по расценкам GPT-6 Sol. Для задач, успешно выполненных обеими моделями, расчёт даёт $0.402, $0.477 и $0.523 на задачу в Playwright CLI, agent-browser и ego-browser — ниже стоимости GPT-6 Sol в каждом инструменте. Со скоростью картина неоднозначна: среднее время GPT-6.1 Sol ниже в двух инструментах и чуть выше в agent-browser, а в двух инструментах он быстрее менее чем на половине общих задач.
| Модель и браузерный инструмент | Доля успешных попыток | Среднее время на задачу | Средняя стоимость на задачу |
|---|---|---|---|
| GPT-6.1 Sol с Playwright CLI | 76.0% (19/25) | 275.6 s | $0.287 |
| GPT-6 Sol с Playwright CLI | 48.0% (12/25) | 291.3 s | $0.640 |
| GPT-6.1 Sol с agent-browser | 80.0% (20/25) | 327.1 s | $0.339 |
| GPT-6 Sol с agent-browser | 56.0% (14/25) | 324.0 s | $0.595 |
| GPT-6.1 Sol с ego-browser | 96.0% (24/25) | 195.0 s | $0.372 |
| GPT-6 Sol с ego-browser | 72.0% (18/25) | 220.2 s | $0.735 |
Доля успешных попыток учитывает все 25 попыток в каждой строке. Время и стоимость рассчитаны по задачам, которые обе модели успешно выполнили с соответствующим инструментом: 12 в Playwright CLI, 14 в agent-browser и 18 в ego-browser. Время складывается из ожидания модели и выполнения инструментов; оно не включает время, которое тестовая среда затрачивает между шагами. Каждая пара моделей внутри инструмента — отдельное сравнение, поэтому эти разные группы задач не позволяют ранжировать инструменты по времени или стоимости.
Доля успешных попыток
GPT-6.1 Sol успешно выполнил больше проверенных задач с каждым инструментом; наибольший прирост пришёлся на сбор данных с нескольких сайтов. В Playwright CLI добавилось семь успешных попыток, в agent-browser — шесть и в ego-browser — шесть. По трём инструментам 44 попытки были успешны у обеих моделей, 19 — только у GPT-6.1 Sol, а 12 были неудачными у обеих.
| Вид работы | Задачи на инструмент | Playwright CLI | agent-browser | ego-browser |
|---|---|---|---|---|
| Сбор данных с нескольких сайтов | 10 | 5 против 2 | 6 против 0 | 9 против 4 |
| Поиск информации на одном–трёх сайтах | 8 | 7 против 4 | 7 против 7 | 8 против 8 |
| Исследование без жёстких рамок | 3 | 3 против 2 | 3 против 3 | 3 против 2 |
| Рабочие процессы в бизнес-веб-приложениях | 4 | 4 против 4 | 4 против 4 | 4 против 4 |
В каждой ячейке сначала указано число успешных попыток GPT-6.1 Sol, затем GPT-6 Sol; на каждую задачу приходится одна попытка. Смена модели сильнее всего влияет на успешное выполнение работы с несколькими сайтами. На четырёх задачах в тестовых приложениях обе модели успешно выполнили все попытки с каждым инструментом, поэтому здесь повод для перехода — стоимость.
19 случаев, в которых GPT-6 Sol уступил GPT-6.1 Sol, делятся на шесть попыток, исчерпавших лимит шагов без ответа, и 13 с ответом, содержащим неправильное или отсутствующее значение. По всем 75 попыткам GPT-6 Sol исчерпал лимит девять раз, а GPT-6.1 Sol — дважды. Шаг — это один ответ модели; для каждой попытки действовал лимит в 100 шагов.
Задача по проверке соответствия поставщиков SaaS требованиям показывает неудачу из-за неправильного ответа. В ней запрашиваются сертификации девяти поставщиков по состоянию на 30 сентября 2026 года, включая наивысший уровень авторизации FedRAMP среди всех редакций продукта. В ego-browser GPT-6 Sol просмотрел ссылки на странице доверия Asana и указал для Asana «none» («нет»). GPT-6.1 Sol перешёл по ссылке Government, открыл Asana Gov и подтвердил его авторизацию FedRAMP Moderate по пресс-релизу.

За 38 шагов GPT-6.1 Sol выдал результат, удовлетворяющий всем заданным критериям проверки. GPT-6 Sol остановился после 22 шагов; неправильное значение для Asana также изменило подсчитанное им число авторизованных поставщиков.
| Поле в итоговой таблице | Правильное значение | Что написал GPT-6 Sol |
|---|---|---|
| Asana: высший уровень авторизации FedRAMP | Moderate, через Asana Gov | none («нет») |
| Поставщики с FedRAMP Moderate или выше | 6, включая Asana | 5, без Asana |
Неудачи самого GPT-6.1 Sol тоже нужно проверять: десять из его 12 неудач закончились ответом с неправильным или отсутствующим значением. Готовой таблицы недостаточно, чтобы доверять результату, на основе которого принимается решение.
Как работает каждая модель
GPT-6.1 Sol использовал меньше вызовов инструментов для одной и той же успешно выполненной работы. На общих задачах в Playwright CLI он делал в среднем 32.6 вызова на задачу против 42.3 у GPT-6 Sol, в agent-browser — 34.1 против 50.5, а в ego-browser — 29.8 против 40.1. Вызов инструмента — это одно обращение к инструменту агента, например bash или средству чтения файлов.
В ego-browser 321 из 735 скриптов GPT-6.1 Sol задействовал несколько вкладок или создавал новую; у GPT-6 Sol так работали четыре из 1044 скриптов. В Playwright CLI и agent-browser GPT-6.1 Sol выполнял команды для вкладок в 15.8% и 9.3% вызовов bash против 2.5% и 2.2% у GPT-6 Sol. Проценты описывают разные интерфейсы, поэтому сравнивать по ним следует модели внутри каждого инструмента.
Задача о центральных банках показывает разницу в долгой работе. В ней нужно найти первое решение по ставке в 2026 году для двенадцати центральных банков, включая результаты голосования и дату следующего объявления. GPT-6 Sol проходил по одному банку на скрипт, дошёл до двенадцатого на шаге 90 и исчерпал лимит, так и не составив таблицу. GPT-6.1 Sol использовал две вкладки в 30 из 38 браузерных скриптов, дошёл до этого банка на шаге 35 и завершил таблицу на шаге 42.

Это полезное свидетельство того, как проходили две эти попытки, а не отдельный эксперимент со стратегией вкладок. Более общий результат успешного выполнения задач с несколькими сайтами — 20 из 30 попыток у GPT-6.1 Sol и 6 из 30 у GPT-6 Sol.
Скорость
Скорость не была бы для нас причиной сменить модель. На общих успешно выполненных задачах GPT-6.1 Sol тратил в среднем 275.6 секунды против 291.3 у GPT-6 Sol в Playwright CLI, 327.1 против 324.0 в agent-browser и 195.0 против 220.2 в ego-browser. Эти средние учитывают ожидание модели и выполнение инструментов на одних и тех же задачах внутри каждого инструмента.
Число задач яснее показывает компромисс. GPT-6.1 Sol был быстрее на пяти из 12 общих задач в Playwright CLI, семи из 14 в agent-browser и семи из 18 в ego-browser. Более низкое среднее время в двух инструментах не означает, что большинство отдельных задач завершалось быстрее. Более веские причины выбрать его в этой конфигурации — успешное выполнение и стоимость.
Стоимость
GPT-6.1 Sol стоил меньше при выполнении задач, с которыми обе модели справились в соответствующем инструменте. Он был дешевле на всех 12 общих задачах в Playwright CLI, на 13 из 14 в agent-browser и на 17 из 18 в ego-browser. Таблица отделяет изменение зафиксированного расхода токенов от изменения расценок модели.
| Браузерный инструмент | GPT-6.1 Sol | Токены GPT-6.1 Sol по расценкам GPT-6 Sol | GPT-6 Sol |
|---|---|---|---|
| Playwright CLI | $0.287 | $0.402 | $0.640 |
| agent-browser | $0.339 | $0.477 | $0.595 |
| ego-browser | $0.372 | $0.523 | $0.735 |
Это средняя стоимость модели на задачу для общих успешно выполненных задач каждого инструмента. Мы используем стандартные тарифы API OpenAI: $2.00 за миллион некэшированных входных токенов и $10.00 за миллион выходных токенов для обеих моделей. Кэшированный ввод стоит $0.10 за миллион токенов у GPT-6.1 Sol и $0.20 у GPT-6 Sol. Это затраты на токены, рассчитанные по тарифам API, а не стоимость подписки на агента.
С учётом неудачных попыток средняя стоимость модели на задачу составляла $0.410 против $0.752 в Playwright CLI, $0.586 против $0.833 в agent-browser и $0.430 против $0.842 в ego-browser. По всем попыткам и по собственным расценкам каждой модели GPT-6.1 Sol стоил меньше. На общих успешно выполненных задачах он также стоил меньше при пересчёте по расценкам GPT-6 Sol.
Какую модель выбрать
Для представленных здесь конфигурации pi и работы мы бы выбрали GPT-6.1 Sol с высоким уровнем усилий на рассуждение. Он успешно выполнил больше задач и стоил меньше в каждом инструменте; ни в одном из 75 сопоставлений успех GPT-6 Sol не сменился неудачей GPT-6.1 Sol. Мы не ожидали бы стабильного повышения скорости по этим результатам.
В сборе данных с нескольких сайтов улучшение составило 20 успешных попыток из 30 против 6 из 30. GPT-6.1 Sol всё же провалил десять, поэтому мы бы проверяли полученные таблицы перед использованием. На четырёх рабочих процессах в тестовых приложениях обе модели успешно выполнили все попытки, поэтому полезное различие здесь — стоимость модели.
Проверенная конфигурация включала агентную среду pi, высокий уровень усилий на рассуждение, bash и файл навыка браузерного инструмента. ego-browser управляет ego(lite), а Playwright CLI и agent-browser — Chrome. При сравнении моделей внутри каждой пары используются одна и та же версия инструмента и одни и те же инструкции.
Роль ego(lite) в этом сравнении
ego(lite) — это браузер под управлением ego-browser, а не сравниваемая модель. Руководство по интеграции ego-browser описывает эту связь; Playwright CLI и agent-browser в других конфигурациях управляли Chrome.
Прежде чем сравнивать инструменты, выбирайте между двумя моделями внутри одного инструмента. Средняя стоимость модели и время для каждого инструмента рассчитаны по его собственной группе общих успешно выполненных задач, поэтому эти средние не ранжируют инструменты между собой. Для похожей работы в pi полезен зафиксированный компромисс между успешным выполнением и стоимостью модели; результаты по скорости остаются неоднозначными.
Частые вопросы
Лучше ли GPT-6.1 Sol, чем GPT-6 Sol, для браузерных агентов?
В нашей конфигурации pi GPT-6.1 Sol успешно выполнил больше задач из 25 во всех трёх инструментах. Он успешно выполнил 19, 20 и 24 попытки в Playwright CLI, agent-browser и ego-browser, а GPT-6 Sol — 12, 14 и 18. Ни в одном сопоставлении успех старой модели не сменился неудачей новой.
Дешевле ли GPT-6.1 Sol, чем GPT-6 Sol?
Средняя стоимость модели GPT-6.1 Sol была ниже с каждым инструментом на задачах, успешно выполненных обеими моделями. Показатели на задачу составляли $0.287 против $0.640, $0.339 против $0.595 и $0.372 против $0.735. Его зафиксированный расход токенов всё равно стоил бы меньше по расценкам GPT-6 Sol.
Быстрее ли GPT-6.1 Sol, чем GPT-6 Sol?
По времени ожидания модели вместе с выполнением инструментов GPT-6.1 Sol имел более низкое среднее в двух инструментах и чуть более высокое в agent-browser. Он был быстрее на пяти из 12, семи из 14 и семи из 18 общих задач в Playwright CLI, agent-browser и ego-browser. Мы бы выбирали его ради успешного выполнения и стоимости, а не стабильной скорости.
Что изменилось в работе GPT-6.1 Sol с браузером?
GPT-6.1 Sol делал меньше вызовов инструментов на общих успешно выполненных задачах в каждом инструменте. В ego-browser 43.7% его скриптов задействовали несколько вкладок или создавали новую против 0.4% у GPT-6 Sol. GPT-6.1 Sol исчерпал лимит шагов без ответа дважды за 75 попыток, а GPT-6 Sol — девять раз.
Провалил ли GPT-6.1 Sol задачи, с которыми справился GPT-6 Sol?
Нет, в этих сравнениях на 25 задачах таких случаев не было. По трём инструментам в 19 случаях неудача GPT-6 Sol сменилась успехом GPT-6.1 Sol; обратных изменений не было. 44 попытки были успешны у обеих моделей, а 12 — неудачны у обеих.
В чём GPT-6.1 Sol по-прежнему ошибается в браузере?
GPT-6.1 Sol провалил 12 из 75 попыток по трём инструментам. Десять закончились ответом с неправильным или отсутствующим значением, а две — исчерпанием лимита шагов. Таблица, которая выглядит готовой, всё ещё может быть неправильной.
Как GPT-6.1 Sol справляется со сбором данных с нескольких сайтов?
GPT-6.1 Sol успешно выполнил 20 из 30 попыток на десяти задачах по сбору одинаковых полей с 9–16 сайтов, а GPT-6 Sol — 6 из 30. На эту группу приходится большинство дополнительных успехов. GPT-6.1 Sol всё же провалил в ней десять попыток.
Меняет ли браузерный инструмент то, какая модель выполняет больше задач?
GPT-6.1 Sol успешно выполнил больше задач во всех трёх проверенных инструментах. Прирост составил семь успешных попыток в Playwright CLI и по шесть в agent-browser и ego-browser. Компромисс по скорости различался в зависимости от инструмента.
Стоит ли использовать GPT-6.1 Sol внутри одного веб-приложения?
Обе модели успешно выполнили все четыре рабочих процесса в тестовых приложениях с каждым инструментом. Смена модели не повысила успешность выполнения в этих приложениях, но снизила среднюю стоимость модели. Это даёт основания выбирать GPT-6.1 Sol ради стоимости в проверенной конфигурации.
Как мы проводили тестирование
Мы запускали gpt-6.1-sol и gpt-6-sol с высоким уровнем усилий на рассуждение через агентную среду pi, с bash и файлом навыка для каждого браузерного инструмента. Запуски ego-browser начались 22 октября 2026 года, Playwright CLI и agent-browser — 5 ноября 2026 года. Все шесть основных запусков использовали один и тот же Mac на Apple silicon; одновременно выполнялось десять задач.
Основное сравнение охватывает 25 задач с записями первых попыток для всех шести сочетаний моделей и инструментов. Мы исключили задачи о минимальной зарплате и совместимости MDN из всех сочетаний, потому что как минимум одна архивная попытка была заменена более поздним целевым повторным запуском. Учтённые попытки относятся к 22 октября и 5 ноября 2026 года.
Инструменты: Playwright CLI 0.1.22, agent-browser 0.39.1 и ego-browser v2.1.0. Внутри каждой пары обе модели использовали одну и ту же версию инструмента, файл навыка, лимит шагов и проверки задач. В попытке модель могла дать 100 ответов, после чего тестовая среда её завершала.
25 задач включают десять задач по сбору данных с нескольких сайтов, восемь поисков информации на одном–трёх сайтах, три исследовательские задачи без жёстких рамок и четыре рабочих процесса в тестовых веб-приложениях. Каждая задача относится к одной группе согласно своему определению. Примеры и полные результаты охватывают те же 25 задач.
Попытка — это выполнение одной задачи одной моделью с одним инструментом. Вызов инструмента обращается к инструменту агента; в 7200 из 7202 ответов, содержащих вызовы инструментов, содержался ровно один вызов. Скрипт ego-browser — это один вызов ego-browser nodejs. Успех означает, что окончательный ответ прошёл все предусмотренные для задачи проверки, включая проверку полноты результата.
Время складывается из зафиксированного времени ожидания API модели и времени выполнения инструментов; время тестовой среды между шагами исключено. Скорость и стоимость сравниваются по задачам, которые обе модели успешно выполнили внутри одного инструмента. Стоимость модели рассчитывается по указанным тарифам токенов и зафиксированному расходу токенов, включая неудачные попытки там, где это прямо сказано. При пересчёте расход токенов GPT-6.1 Sol остаётся неизменным, а к нему применяются расценки GPT-6 Sol.
Для оценки вкладок ego-browser мы считали скрипты, обращавшиеся к нескольким меткам страниц или создававшие ещё одну страницу, по всем 25 попыткам каждой модели. Для других инструментов мы считали вызовы bash, содержащие команды вкладок. Эти наблюдения зависят от интерфейса: открытие вкладок или обращение к ним само по себе не доказывает параллельное выполнение.
Полные результаты
В каждой ячейке указаны результат одной попытки, ожидание модели вместе с выполнением инструментов в секундах и стоимость токенов модели в долларах США. Показатели времени и стоимости включают неудачи; средние в обзоре рассчитаны только по определённым выше общим успешно выполненным задачам. Перечислены все учтённые задачи и все шесть сочетаний.
| Задача | Вид работы | Playwright CLI с GPT-6.1 Sol | Playwright CLI с GPT-6 Sol | agent-browser с GPT-6.1 Sol | agent-browser с GPT-6 Sol | ego-browser с GPT-6.1 Sol | ego-browser с GPT-6 Sol |
|---|---|---|---|---|---|---|---|
| Бронирование поездки с соблюдением правил в тестовом приложении для путешествий | Рабочие процессы в бизнес-веб-приложениях | Успех, 197.4 s, $0.224 | Успех, 164.0 s, $0.528 | Успех, 286.8 s, $0.285 | Успех, 267.5 s, $0.427 | Успех, 177.9 s, $0.311 | Успех, 142.9 s, $0.387 |
| Приведение средств мониторинга сервисов tier-1 в соответствие со стандартом | Рабочие процессы в бизнес-веб-приложениях | Успех, 145.5 s, $0.153 | Успех, 124.1 s, $0.245 | Успех, 331.8 s, $0.414 | Успех, 283.0 s, $0.607 | Успех, 137.6 s, $0.125 | Успех, 91.3 s, $0.215 |
| Сопоставление счетов за февраль с платежами и открытие споров | Рабочие процессы в бизнес-веб-приложениях | Успех, 253.0 s, $0.309 | Успех, 154.0 s, $0.362 | Успех, 520.4 s, $0.433 | Успех, 501.4 s, $1.052 | Успех, 190.6 s, $0.239 | Успех, 184.3 s, $0.420 |
| Создание заказов на закупку по уровням запасов в разрезе поставщиков | Рабочие процессы в бизнес-веб-приложениях | Успех, 189.5 s, $0.164 | Успех, 116.4 s, $0.344 | Успех, 307.2 s, $0.244 | Успех, 367.2 s, $0.630 | Успех, 164.5 s, $0.172 | Успех, 125.2 s, $0.191 |
| Три конфигурации MacBook в магазине Apple для США | Поиск информации на одном–трёх сайтах | Успех, 314.1 s, $0.367 | Успех, 357.8 s, $0.651 | Успех, 348.5 s, $0.440 | Успех, 471.0 s, $0.620 | Успех, 223.1 s, $0.483 | Успех, 191.8 s, $1.160 |
| Кассовые сборы шести фильмов Уэса Андерсона на Box Office Mojo и Wikipedia | Поиск информации на одном–трёх сайтах | Успех, 180.9 s, $0.151 | Успех, 496.1 s, $0.594 | Успех, 334.7 s, $0.339 | Успех, 487.0 s, $0.570 | Успех, 142.0 s, $0.179 | Успех, 105.2 s, $0.237 |
| KYC-проверка четырёх британских компаний в Companies House | Поиск информации на одном–трёх сайтах | Успех, 185.8 s, $0.178 | Успех, 226.0 s, $0.583 | Успех, 579.3 s, $0.393 | Успех, 319.4 s, $0.708 | Успех, 177.9 s, $0.423 | Успех, 121.2 s, $0.529 |
| Сопоставление исследований атопического дерматита 2021 года с инструкциями к препаратам | Поиск информации на одном–трёх сайтах | Успех, 332.6 s, $0.352 | Неудача, 583.0 s, $0.744 | Успех, 317.1 s, $0.418 | Успех, 482.8 s, $0.857 | Успех, 234.4 s, $0.450 | Успех, 252.3 s, $0.796 |
| Три ряда CPI на FRED с проверкой по BLS | Поиск информации на одном–трёх сайтах | Успех, 441.5 s, $0.221 | Успех, 417.7 s, $0.262 | Успех, 429.0 s, $0.372 | Успех, 265.7 s, $0.922 | Успех, 97.4 s, $0.187 | Успех, 44.5 s, $0.164 |
| Самые низкие тарифы на беспосадочные рейсы в Денвер на сайте поиска авиабилетов | Поиск информации на одном–трёх сайтах | Успех, 411.5 s, $0.471 | Неудача, 616.3 s, $0.948 | Неудача, 872.9 s, $1.109 | Неудача, 690.9 s, $1.342 | Успех, 338.0 s, $0.609 | Успех, 385.3 s, $1.503 |
| Публикации о запусках SpaceX в X за одну неделю с проверкой по Wikipedia | Поиск информации на одном–трёх сайтах | Неудача, 118.0 s, $0.088 | Неудача, 363.3 s, $0.491 | Успех, 224.4 s, $0.151 | Успех, 239.4 s, $0.577 | Успех, 112.7 s, $0.183 | Успех, 499.8 s, $0.269 |
| Сопоставление лекции на YouTube с её скриптом на GitHub и статьёй на arXiv | Поиск информации на одном–трёх сайтах | Успех, 467.3 s, $0.700 | Неудача, 454.7 s, $0.922 | Успех, 221.6 s, $0.349 | Успех, 235.8 s, $0.395 | Успех, 94.7 s, $0.274 | Успех, 132.1 s, $0.574 |
| Как девять музыкальных сервисов представляют один альбом | Сбор данных с нескольких сайтов | Неудача, 440.3 s, $0.603 | Неудача, 419.9 s, $1.117 | Успех, 678.2 s, $0.995 | Неудача, 688.6 s, $1.068 | Неудача, 180.2 s, $0.489 | Неудача, 227.8 s, $1.179 |
| Первые решения по ставке в 2026 году двенадцати центральных банков | Сбор данных с нескольких сайтов | Успех, 686.3 s, $0.917 | Неудача, 713.3 s, $1.273 | Неудача, 694.0 s, $1.008 | Неудача, 674.2 s, $1.069 | Успех, 318.3 s, $0.643 | Неудача, 377.3 s, $2.641 |
| Основные доклады на открытии девяти конференций для разработчиков | Сбор данных с нескольких сайтов | Успех, 726.0 s, $0.960 | Успех, 701.9 s, $2.388 | Успех, 507.9 s, $0.949 | Неудача, 459.7 s, $1.606 | Успех, 488.4 s, $1.174 | Успех, 473.4 s, $1.495 |
| Характеристики девяти электрических SUV для США | Сбор данных с нескольких сайтов | Успех, 756.9 s, $0.771 | Неудача, 730.6 s, $0.964 | Неудача, 495.9 s, $0.801 | Неудача, 595.0 s, $1.071 | Успех, 413.6 s, $0.843 | Неудача, 316.8 s, $1.471 |
| Таблица для одобрения девяти моделей с открытыми весами на Hugging Face | Сбор данных с нескольких сайтов | Неудача, 537.6 s, $0.719 | Неудача, 616.2 s, $0.986 | Успех, 651.6 s, $1.020 | Неудача, 663.4 s, $1.194 | Успех, 352.8 s, $0.804 | Успех, 330.1 s, $1.198 |
| Официальные характеристики девяти флагманских телефонов для Великобритании | Сбор данных с нескольких сайтов | Успех, 575.9 s, $0.635 | Неудача, 642.9 s, $0.773 | Успех, 786.8 s, $0.942 | Неудача, 392.0 s, $0.743 | Успех, 348.1 s, $0.704 | Неудача, 270.2 s, $0.765 |
| Матрица соответствия требованиям по данным девяти центров доверия SaaS | Сбор данных с нескольких сайтов | Неудача, 683.8 s, $0.577 | Неудача, 560.0 s, $0.642 | Неудача, 704.3 s, $0.736 | Неудача, 464.7 s, $0.542 | Успех, 299.8 s, $0.592 | Неудача, 185.1 s, $0.451 |
| Бесплатные тарифы девяти бессерверных платформ | Сбор данных с нескольких сайтов | Успех, 369.2 s, $0.395 | Успех, 441.0 s, $0.491 | Неудача, 582.5 s, $0.529 | Неудача, 763.6 s, $1.241 | Успех, 199.4 s, $0.360 | Успех, 267.4 s, $1.331 |
| Релизы безопасности восьми проектов с открытым кодом в X и на их сайтах | Сбор данных с нескольких сайтов | Неудача, 318.5 s, $0.392 | Неудача, 334.8 s, $0.903 | Успех, 619.8 s, $0.892 | Неудача, 670.8 s, $1.468 | Успех, 231.5 s, $0.441 | Успех, 434.8 s, $2.405 |
| Восемь запусков потребительской электроники в X и пресс-релизах | Сбор данных с нескольких сайтов | Неудача, 404.1 s, $0.401 | Неудача, 397.8 s, $0.917 | Успех, 675.0 s, $0.924 | Неудача, 528.6 s, $1.139 | Успех, 389.1 s, $0.541 | Неудача, 567.1 s, $1.101 |
| Считывание стоимости и баллов с диаграммы рейтинга ARC Prize | Исследование без жёстких рамок | Успех, 171.3 s, $0.185 | Успех, 239.0 s, $1.092 | Успех, 361.3 s, $0.466 | Успех, 304.5 s, $0.357 | Успех, 84.9 s, $0.201 | Успех, 83.5 s, $0.257 |
| Подсчёт моделей, превышающих пороги объёма вычислений ЕС, по данным Epoch AI | Исследование без жёстких рамок | Успех, 132.7 s, $0.132 | Успех, 57.9 s, $0.139 | Успех, 106.5 s, $0.147 | Успех, 116.1 s, $0.159 | Успех, 62.2 s, $0.090 | Успех, 99.0 s, $0.105 |
| Проследить десять ссылок на источники в списке больших языковых моделей Wikipedia | Исследование без жёстких рамок | Успех, 340.0 s, $0.189 | Неудача, 654.3 s, $0.435 | Успех, 211.0 s, $0.300 | Успех, 194.6 s, $0.451 | Успех, 169.6 s, $0.244 | Неудача, 151.4 s, $0.202 |

