GPT-6.1 Sol은 세 가지 브라우저 도구로 어떤 성과를 냈을까

저희라면 기본 구성으로 ego-browser를 통해 ego(lite)에서 GPT-6.1 Sol을 실행하겠습니다. 저장된 작업 28개 중 27개를 완료했고, agent-browser는 23개, playwright-cli는 22개를 완료했습니다. 세 도구가 모두 완료한 18개 작업에서도 가장 빨랐습니다. 다만 모든 지표에서 가장 저렴하지는 않았습니다. playwright-cli는 실행당 비용이 더 적었고, ego-browser가 실패한 항공편 검색 작업 하나도 통과했습니다.
GPT-6.1 Sol 브라우저 도구 사이에서 가장 큰 격차가 드러난 유형은 여러 공식 출처에서 동일한 필드를 가져오는 다중 사이트 데이터 수집입니다. ego-browser는 이 유형의 작업 열 개를 모두 통과했고, agent-browser는 여섯 개, playwright-cli는 일곱 개를 통과했습니다. 조사와 종합 작업 세 개, 테스트 앱 안에서 수행하는 웹 앱 자동화 작업 네 개에서는 세 도구의 결과가 같았으므로, 이 두 유형에서는 속도와 비용이 선택을 결정합니다.
이번 설정에서 ego-browser는 완료율과 속도에서 앞섰고, playwright-cli는 실행당 평균 비용이 $0.4182로 가장 낮았습니다. ego-browser는 통과율이 더 높아 통과한 작업당 비용이 $0.4646로 가장 낮았으며, 공통 작업 18개의 평균 비용은 playwright-cli의 평균 비용과 5.4% 차이였습니다.
이번 테스트에서는 나머지 조건을 모든 시도에서 동일하게 유지했으므로, 아래 차이는 브라우저 작업을 수행한 도구에서 비롯됩니다. 시도란 각 도구의 첫 번째 벤치마크에서 저장된 작업 하나의 실행 한 번을 뜻합니다.
| 브라우저 도구 | 성공률 | 작업당 평균 시간 | 작업당 평균 비용(기록값) |
|---|---|---|---|
| ego-browser | 96.4% (27/28) | 246.7 s | $0.3352 |
| agent-browser | 82.1% (23/28) | 452.5 s | $0.4702 |
| playwright-cli | 78.6% (22/28) | 399.9 s | $0.3542 |
성공률에는 도구별로 저장된 시도 28회를 사용합니다. 시간과 비용에는 세 도구가 모두 통과한 동일한 작업 18개를 사용합니다. 비용은 사용량에 따라 금액을 산정한 미국 달러 기준 실행 기록입니다. ego-browser 행은 2026년 11월 7일 테스트 빌드, 나머지 행은 2026년 11월 5일 실행을 사용합니다.
성공률

성공률이 가장 높은 도구는 ego-browser입니다. 필드 하나만 빠져도 다시 조사해야 하므로, 저희는 무엇보다 작업을 빠짐없이 완료하는 데 비용을 지불하고자 합니다. 28개 작업 중 27개를 통과해 agent-browser보다 네 개 많았고, agent-browser가 완료한 작업을 하나도 놓치지 않았습니다. ego-browser는 playwright-cli가 실패한 작업 여섯 개를 통과했고, playwright-cli는 ego-browser가 실패한 작업 하나를 통과했습니다. Playwright-cli는 검색과 비교 작업 여덟 개도 모두 통과한 반면, ego-browser는 일곱 개를 통과했습니다.
agent-browser의 실패는 두 가지였습니다. 답변 세 개에는 틀리거나 빠진 값이 있었고, 시도 두 번은 최종 답변 없이 끝났습니다. Playwright-cli는 실패 여섯 건 중 다섯 건에서 필수 값을 빠뜨렸습니다. 이 중 세 건은 X 게시물이었으며, 타임스탬프를 얻을 수 없다고 답했습니다. agent-browser는 해당 X 게시물 세 건을 모두 통과했습니다.
나머지 두 누락값은 ego-browser가 완료한 앨범 작업의 Qobuz 곡 수와, 공개 모델 비교의 Phi-4 학습 토큰 수였습니다.
항공편 검색 비교에서 ego-browser를 사용하는 GPT-6.1 Sol은 같은 조건에서 이미 확인한 더 낮은 가격보다 비싼 운임을 답했습니다. 따라서 이 답변은 작업의 통과 조건을 충족하지 못한 반면, playwright-cli의 시도는 통과했습니다. 모든 칸을 채운 표에도 결정을 바꾸는 값 하나가 들어 있을 수 있습니다.
속도
속도 면에서 ego-browser는 세 도구가 모두 통과한 작업 18개에서 대기 시간을 거의 절반으로 줄였습니다. 작업당 평균 246.7초로, agent-browser보다 45.5%, playwright-cli보다 38.3% 짧았습니다. 또한 18개 중 agent-browser와 비교해 15개, playwright-cli와 비교해 17개 작업에서 더 빨랐습니다.

GPT-6.1 Sol은 같은 작업을 더 적은 도구 호출로 수행했습니다. 도구 호출은 도구에 보내는 요청 한 번으로, 작업당 ego-browser는 28.1회, agent-browser는 44.1회, playwright-cli는 36.8회였습니다. 도구 실행에는 ego-browser가 84.4초, agent-browser가 210.0초, playwright-cli가 215.6초를 썼습니다.
카메라 작업은 세 도구 모두 여덟 개 카메라 브랜드의 비교를 완료한 일반적인 작업에서의 격차를 보여 줍니다. GPT-6.1 Sol의 소요 시간은 ego-browser가 330.2초, agent-browser가 597.2초, playwright-cli가 598.5초였고, 동일한 통과 결과를 얻는 데 각각 29회, 57회, 54회의 도구 호출을 사용했습니다.

비용
ego-browser는 완료율을 떨어뜨리지 않으면서 agent-browser보다 비용이 낮았습니다. 공통 작업 18개에서 28.7% 저렴했고, 그중 15개에서 더 저렴했습니다. 모델은 동일했고 작업당 도구 호출도 더 적었습니다.
공통 작업 비용에서 Playwright-cli는 ego-browser와 차이가 작아, 이 수치만으로 둘 중 하나를 고르지는 않겠습니다. 평균 비용 차이는 5.4%였으며, ego-browser가 더 저렴한 작업은 열 개, playwright-cli가 더 저렴한 작업은 여덟 개였습니다. 실패 비용까지 포함하면 ego-browser의 성공한 시도 한 건당 비용(기록값)은 $0.4646로, playwright-cli의 $0.5322보다 낮습니다.
전체 시도의 평균 비용과 통과한 작업당 비용은 서로 다른 질문에 답하므로 둘 다 제시합니다. 전자는 실행 한 번에 드는 비용을 보여 주고, 후자는 실패를 포함한 기록상 총지출을 통과 횟수로 나눕니다.
| 브라우저 도구 | 전체 28회 시도의 작업당 평균 비용(기록값) | 성공한 시도 한 건당 비용(기록값) |
|---|---|---|
| ego-browser | $0.4480 | $0.4646 |
| agent-browser | $0.5938 | $0.7229 |
| playwright-cli | $0.4182 | $0.5322 |
이 수치는 동일한 첫 번째 실행을 사용합니다. ego-browser는 2026년 11월 7일, 다른 도구들은 2026년 11월 5일 실행입니다. 사용량에 따라 산정한 기록으로, 평가 비용과 저장된 행에 없는 이전 재시도는 제외하며, 청구서를 대조해 확인한 금액은 아닙니다.
Playwright-cli는 실행당 $0.4182로 가장 저렴합니다. ego-browser는 모든 요구사항을 충족한 실행이 더 많아, 성공한 시도 한 건당 비용(기록값)이 $0.4646로 가장 낮습니다. 어느 수치도 ego-browser가 모든 작업에서 가장 저렴하다는 뜻은 아닙니다.
다중 사이트 데이터 수집
GPT-6.1 Sol이 여러 공식 출처에서 동일한 필드를 수집해야 한다면 ego-browser가 가장 분명한 선택입니다. 열 개 작업을 모두 통과했고, agent-browser는 여섯 개, playwright-cli는 일곱 개를 통과해 전체 비교보다 격차가 컸습니다.
| 브라우저 도구 | 다중 사이트 데이터 수집 성공률 |
|---|---|
| ego-browser | 100.0% (10/10) |
| agent-browser | 60.0% (6/10) |
| playwright-cli | 70.0% (7/10) |
이 유형은 개요와 동일한 첫 번째 실행을 사용합니다. ego-browser는 2026년 11월 7일, 다른 두 도구는 2026년 11월 5일 실행입니다.

모든 행을 채워야 할 때, 작업 세 개나 네 개의 차이는 그 표를 아예 사용할 수 있는지를 결정합니다. 이 열 개 작업은 중앙은행 결정, 제품 사양, SaaS 컴플라이언스 비교를 다뤘습니다.
SaaS 작업은 채워진 셀도 틀릴 수 있는 이유를 보여 줍니다. 이 작업은 2026년 9월 30일 기준 인증 상태를 요구했지만, agent-browser와 playwright-cli 모두 인증 진행 중이 맞는 Smartsheet를 인증 완료로 기록했습니다. ego-browser의 시도는 비교에 필요한 모든 필드를 정확히 맞췄습니다.
우리가 선택할 도구
완전한 조사 결과물이 필요한 경우, 특히 다중 사이트 데이터 수집에서는 저희라면 추론 강도를 high로 설정한 GPT-6.1 Sol과 ego-browser를 pi를 통해 함께 쓰겠습니다. 이 조합은 완료율이 가장 높고 공통 작업의 대기 시간이 가장 짧았으며, 비용은 agent-browser의 비용보다 낮고 playwright-cli의 비용과 비슷했습니다.
실행 비용이 가장 중요하거나 작업이 검색과 비교에 가깝다면 playwright-cli를 유지하겠습니다. 해당 작업 여덟 개를 모두 통과한 반면 ego-browser와 agent-browser는 각각 일곱 개를 통과했으므로, 이 여덟 개 결과에는 잘 작동하는 playwright-cli 구성을 바꿀 이유가 없습니다.
agent-browser는 playwright-cli보다 작업 하나를 더 통과했지만 기록된 비용도 높아, 전체 통과 수만으로 이를 선호할 강한 이유는 없습니다. playwright-cli가 하나도 통과하지 못한 X 게시물 세 건을 통과했고, 이것이 한 작업 차이를 설명하는 중요한 부분입니다.
자주 묻는 질문
GPT-6.1 Sol 브라우저 도구 중 가장 많은 시도를 완료한 것은 무엇인가요?
ego-browser가 저장된 시도 28회 중 27회를 통과해 가장 많이 완료했습니다. agent-browser는 23회, playwright-cli는 22회를 통과했습니다. 모델, pi 에이전트 실행 프레임워크, 작업은 동일하게 유지했고, 각 도구의 첫 번째 실행에서 작업별로 저장된 실행 하나씩을 사용했습니다. agent-browser와의 네 작업 격차는 다중 사이트 데이터 수집에서 생겼습니다.
GPT-6.1 Sol에서 가장 빠른 브라우저 도구는 무엇인가요?
ego-browser가 가장 빨랐으며, 세 도구 모두 통과한 작업 18개에서 작업당 평균 246.7초였습니다. 동일한 모델로 agent-browser는 평균 452.5초, playwright-cli는 평균 399.9초였습니다. 또한 ego-browser는 agent-browser와 비교해 15개, playwright-cli와 비교해 17개 작업에서 더 빨랐으므로, 이 평균은 여러 작업에 걸친 우위를 반영합니다.
GPT-6.1 Sol의 브라우저 작업당 비용은 얼마인가요?
공통 작업 18개에서 GPT-6.1 Sol의 기록된 평균 비용은 ego-browser가 $0.3352, agent-browser가 $0.4702, playwright-cli가 $0.3542였습니다. 전체 시도 28회에서는 각각 $0.4480, $0.5938, $0.4182였습니다. 사용량에 따라 산정한 실행 기록이며 청구서를 확인한 금액은 아니고, 평가 비용도 제외합니다.
평균 실행 비용이 가장 저렴한 도구가 통과당 비용도 가장 낮았나요?
Playwright-cli의 평균 실행 비용이 $0.4182로 가장 저렴했지만, 성공한 시도 한 건당 비용(기록값)은 ego-browser가 $0.4646로 가장 낮았습니다. agent-browser의 성공한 시도 한 건당 비용은 $0.7229, playwright-cli는 $0.5322였습니다. 실패를 포함한 28회 시도 전체에서 각 도구에 대해 기록된 총지출을 통과 횟수로 나눴습니다.
ego-browser는 모든 작업에서 playwright-cli를 이겼나요?
ego-browser는 playwright-cli가 실패한 작업 6개를 통과했지만, playwright-cli는 ego-browser가 실패한 작업 1개를 통과했습니다. 반례는 항공편 검색 비교로, ego-browser를 사용하는 GPT-6.1 Sol이 조건을 충족하는 더 낮은 운임보다 높은 운임을 답했습니다. 모델이 표를 반환했더라도 이 답변은 실패로 셉니다.
다중 사이트 데이터 수집에는 어떤 도구를 고를까요?
GPT-6.1 Sol의 다중 사이트 데이터 수집에는 시도 10회를 모두 통과한 ego-browser를 고르겠습니다. 동일한 작업에서 agent-browser는 여섯 개, playwright-cli는 일곱 개를 통과했습니다. SaaS 비교는 완료가 왜 중요한지 보여 줍니다. 두 대안 모두 요청된 기준일의 인증 상태를 잘못 기재했습니다.
검색과 비교 작업을 위해 playwright-cli를 바꿀까요?
이번 검색과 비교 작업 8개에서는 playwright-cli가 8개 모두를 통과했으므로 완료율을 이유로 바꾸지는 않겠습니다. ego-browser와 agent-browser는 각각 7개를 통과했습니다. 속도 비교는 ego-browser에 유리하므로, 이 유형에서는 대기 시간이 전환을 고려할 더 강한 이유입니다.
통과 하나가 더 많으면 agent-browser가 playwright-cli보다 나은 선택일까요?
agent-browser는 23개, playwright-cli는 22개를 통과했지만, 전자를 전반적으로 더 선호할 강한 이유는 되지 않습니다. agent-browser는 공통 작업의 평균 비용도 작업당 $0.4702로, playwright-cli의 $0.3542보다 높았습니다. agent-browser가 통과하고 playwright-cli는 하나도 통과하지 못한 X 게시물 세 건처럼 결과가 작업에 따라 갈리므로, 작업에 맞춰 선택하겠습니다.
세 브라우저 도구는 조사 및 웹 앱 작업에서 같은 결과를 냈나요?
세 도구 모두 조사와 종합 작업 3개, 테스트 앱의 웹 앱 자동화 작업 4개를 통과했습니다. 이 결과로는 어느 유형에서도 도구 간 순위를 매길 이유가 없습니다. 우리가 ego-browser를 선호하는 이유는 대기 시간과 기록된 비용이며, 이 작업 7개의 완료율 우위 때문은 아닙니다.
ego-browser의 두 번째 실행을 사용하면 전체적인 선택이 달라졌나요?
ego-browser는 두 번째 실행에서 같은 작업 28개 중 26개를 통과했고, agent-browser와 playwright-cli는 첫 실행의 23개와 22개를 유지했습니다. 공통 작업 18개의 평균 시간은 252.4초로, 다른 두 도구의 452.5초, 399.9초와 비교됩니다. ego-browser의 두 실행을 순위에 섞지 않고 첫 번째 실행을 주 결과로 유지합니다.
테스트 방법
macOS에서 pi 1.5.0을 통해 추론 강도 high로 실행한 GPT-6.1 Sol의 보관 기록을 분석했으며, 기록된 openai-codex 경로를 사용했습니다. 실행 설정에는 2026년 11월 5일 실행용 agent-browser 0.39.1과 playwright-cli 0.1.22가 명시되어 있고, ego-browser의 local-202611071027-ba90f1c 테스트 빌드는 2026년 11월 7일 실행되었습니다. 각 구성은 제공된 skill과 CLI로 페이지를 관찰하고 브라우저 동작을 수행했습니다.
28개 작업은 다른 두 도구가 이미 실행했던 것으로, 72개 작업으로 이루어진 efficiency-20261019 데이터셋에서 가져왔습니다. 각 작업은 다중 사이트 데이터 수집, 검색과 비교, 소셜 미디어 검증, 조사와 종합, 웹 앱 자동화 중 한 유형에 속합니다.
각 도구의 첫 번째 벤치마크에서 작업별로 저장된 실행 하나씩을 사용하므로, 도구마다 시도가 28회입니다. ego-browser는 두 번째 실행도 했으며 별도로 보고합니다. 단계 한도는 모델 응답 100턴이고, 3,600초의 최종 시간 제한을 뒀습니다. 도구 호출은 도구에 보내는 요청 한 번이며, 통과하려면 필수 결과와 최종 결과물 모두가 작업의 통과 조건을 충족해야 합니다.
시간과 비용에는 세 도구가 모두 통과한 작업 18개를 사용합니다. 시간에는 사고, 모델 요청, 도구 실행, 나머지 부대 시간이 포함됩니다. 비용은 기록된 미국 달러 기준 사용량 금액입니다. 도구마다 제공된 브라우저 상태가 달랐으므로 X 게시물 세 건을 제외한 결과도 확인했습니다. 같은 도구 순서로 24/25, 20/25, 22/25였습니다.
전체 결과
각 셀은 첫 번째 벤치마크에서 저장된 실행의 통과 횟수, 경과 시간(초), 기록된 미국 달러 비용을 보여 줍니다. 경과 시간에는 모델 API 응답을 기다리는 시간이 포함되며, 작업마다 도구별 시도 하나를 포함하므로 작업 평균은 해당 시도의 값과 같습니다. ego-browser 행은 2026년 11월 7일 실행, 다른 도구들은 2026년 11월 5일 실행을 사용합니다.
| 작업 | 작업 유형 | ego-browser | agent-browser | playwright-cli |
|---|---|---|---|---|
| 서비스 아홉 곳의 앨범 메타데이터 비교 | 다중 사이트 데이터 수집 | 1/1 · 307.7 s · $0.7724 | 1/1 · 740.8 s · $0.9950 | 0/1 · 524.0 s · $0.6029 |
| 카메라 브랜드 여덟 곳의 사양 수집 | 다중 사이트 데이터 수집 | 1/1 · 330.2 s · $0.4751 | 1/1 · 597.2 s · $0.6865 | 1/1 · 598.5 s · $0.5201 |
| 중앙은행 열두 곳의 결정 수집 | 다중 사이트 데이터 수집 | 1/1 · 382.8 s · $0.6578 | 0/1 · 760.3 s · $1.0079 | 1/1 · 816.4 s · $0.9166 |
| 컨퍼런스 기조연설과 녹화 영상 대조 | 다중 사이트 데이터 수집 | 1/1 · 385.6 s · $0.5659 | 1/1 · 672.0 s · $0.9489 | 1/1 · 884.2 s · $0.9596 |
| 전기 SUV 사양 비교 | 다중 사이트 데이터 수집 | 1/1 · 633.2 s · $1.2590 | 0/1 · 748.7 s · $0.8006 | 1/1 · 981.4 s · $0.7713 |
| 공개 모델 카드와 발표 비교 | 다중 사이트 데이터 수집 | 1/1 · 424.5 s · $0.6486 | 1/1 · 828.6 s · $1.0199 | 0/1 · 680.6 s · $0.7187 |
| 아홉 관할 지역의 최저임금 비교 | 다중 사이트 데이터 수집 | 1/1 · 451.9 s · $0.6108 | 1/1 · 762.6 s · $1.0761 | 1/1 · 763.2 s · $0.7392 |
| 플래그십 휴대전화 사양 비교 | 다중 사이트 데이터 수집 | 1/1 · 448.7 s · $0.6444 | 1/1 · 931.9 s · $0.9423 | 1/1 · 676.3 s · $0.6352 |
| 기준일 현재 SaaS 컴플라이언스 비교 | 다중 사이트 데이터 수집 | 1/1 · 472.3 s · $0.6257 | 0/1 · 895.0 s · $0.7363 | 0/1 · 848.0 s · $0.5770 |
| 서버리스 무료 이용 한도 비교 | 다중 사이트 데이터 수집 | 1/1 · 205.5 s · $0.3225 | 0/1 · 682.0 s · $0.5293 | 1/1 · 411.8 s · $0.3951 |
| 대화형 ARC 리더보드 읽기 | 조사와 종합 | 1/1 · 224.4 s · $0.2708 | 1/1 · 416.6 s · $0.4658 | 1/1 · 220.2 s · $0.1853 |
| 모델 학습 데이터셋 분석 | 조사와 종합 | 1/1 · 87.1 s · $0.0809 | 1/1 · 137.7 s · $0.1474 | 1/1 · 155.5 s · $0.1321 |
| 모델 표의 출처 추적 | 조사와 종합 | 1/1 · 285.6 s · $0.2288 | 1/1 · 245.5 s · $0.3004 | 1/1 · 377.5 s · $0.1890 |
| Mac 노트북 비교 및 구성 | 검색과 비교 | 1/1 · 301.3 s · $0.6119 | 1/1 · 383.0 s · $0.4399 | 1/1 · 337.2 s · $0.3669 |
| 영화 여섯 편의 박스오피스 수치 대조 | 검색과 비교 | 1/1 · 184.9 s · $0.2034 | 1/1 · 360.5 s · $0.3394 | 1/1 · 201.6 s · $0.1506 |
| 공개 등기부에서 회사 네 곳 심사 | 검색과 비교 | 1/1 · 182.5 s · $0.2883 | 1/1 · 626.9 s · $0.3927 | 1/1 · 230.2 s · $0.1784 |
| 임상시험과 의약품 표시사항 교차 확인 | 검색과 비교 | 1/1 · 372.8 s · $0.4787 | 1/1 · 368.7 s · $0.4176 | 1/1 · 383.1 s · $0.3515 |
| 인플레이션 시계열과 통계 대조 | 검색과 비교 | 1/1 · 132.8 s · $0.1957 | 1/1 · 507.1 s · $0.3723 | 1/1 · 548.9 s · $0.2209 |
| 조건을 충족하는 항공편과 운임 비교 | 검색과 비교 | 0/1 · 341.5 s · $0.4464 | 0/1 · 986.7 s · $1.1087 | 1/1 · 504.3 s · $0.4713 |
| 브라우저 호환성 표 대조 | 검색과 비교 | 1/1 · 175.1 s · $0.1916 | 1/1 · 147.8 s · $0.2092 | 1/1 · 294.6 s · $0.1973 |
| 강의, 코드, 논문 교차 확인 | 검색과 비교 | 1/1 · 202.3 s · $0.4243 | 1/1 · 274.3 s · $0.3491 | 1/1 · 666.0 s · $0.7001 |
| X 보안 게시물을 릴리스와 대조 검증 | 소셜 미디어 검증 | 1/1 · 535.7 s · $0.8979 | 1/1 · 780.7 s · $0.8923 | 0/1 · 405.8 s · $0.3921 |
| X 제품 게시물을 발표와 대조 검증 | 소셜 미디어 검증 | 1/1 · 710.3 s · $0.7155 | 1/1 · 851.2 s · $0.9236 | 0/1 · 466.5 s · $0.4007 |
| X 발사 게시물과 참조 목록 대조 | 소셜 미디어 검증 | 1/1 · 168.9 s · $0.1650 | 1/1 · 263.9 s · $0.1505 | 0/1 · 172.0 s · $0.0880 |
| 테스트 앱의 규정에 맞춰 여행 예약 | 웹 앱 자동화 | 1/1 · 194.1 s · $0.2570 | 1/1 · 303.2 s · $0.2853 | 1/1 · 208.4 s · $0.2240 |
| 테스트 앱에서 서비스 모니터 업데이트 | 웹 앱 자동화 | 1/1 · 137.5 s · $0.1338 | 1/1 · 419.9 s · $0.4141 | 1/1 · 152.9 s · $0.1528 |
| 테스트 앱에서 매출채권 대사 | 웹 앱 자동화 | 1/1 · 227.7 s · $0.2312 | 1/1 · 628.3 s · $0.4329 | 1/1 · 291.9 s · $0.3085 |
| 테스트 앱에서 보충 발주 생성 | 웹 앱 자동화 | 1/1 · 116.8 s · $0.1415 | 1/1 · 361.8 s · $0.2437 | 1/1 · 208.4 s · $0.1640 |

