Claude Opus 5의 브라우저 사용을 다섯 브라우저 자동화 도구로 27개 웹 작업에서 평가했다

읽는 데 15분
Claude Opus 5 브라우저 사용 벤치마크를 표현한, 파란 배경 위 추상적인 태양과 겹겹의 풍경

이번에 테스트한 Claude Code 구성에서 Claude Opus 5로 브라우저를 사용한다면, 100단계 안에 더 많은 다중 사이트 작업을 완료한 ego-browser를 선택하겠습니다. 모든 도구가 통과한 13개 작업에서는 평균 시간과 비용도 가장 낮았습니다. 통과 수 우위의 대부분은 여러 사이트에서 같은 항목을 수집하는 작업에서 나왔으며, 나머지 작업에서는 Chrome DevTools CLI도 같은 수를 통과했습니다. 각 도구로 27개 작업을 각각 한 번씩 실행했으므로 도구별 시도 수는 27회였습니다. Opus 5는 ego-browser에서 27회 중 24회(88.9%), Chrome DevTools CLI와 Playwright CLI에서는 각각 18회(66.7%), Browser Use CLI에서는 17회(63.0%), agent-browser에서는 15회(55.6%) 통과했습니다. 다섯 도구가 모두 통과한 13개 작업에서 ego-browser는 작업당 평균 324.6초, $1.702였습니다. 다음은 Chrome DevTools CLI의 369.5초와 $1.845, Browser Use CLI의 407.7초와 $1.975, Playwright CLI의 495.8초와 $2.052, agent-browser의 543.6초와 $2.368 순이었습니다.

차이는 8~16개 사이트에서 같은 항목을 수집하는 11개 다중 사이트 작업에 있었습니다. Opus 5는 ego-browser에서 그중 8개를 통과했고, 다른 도구에서는 각각 1~3개를 통과했습니다. 다른 네 도구에서는 답변을 쓰기 전에 100단계를 모두 소진한 경우가 대부분으로, 도구별로 7~9회 발생했습니다. ego-browser에서는 한 번이었습니다. 나머지 16개 작업에서는 Chrome DevTools CLI도 16개를 모두 통과했고, Playwright CLI와 Browser Use CLI는 15개, agent-browser는 14개를 통과했습니다.

이번 실행에서 차이는 같은 작업에 필요한 도구 호출 수와 함께 나타났습니다. 다섯 도구가 모두 통과한 13개 작업에서 Opus 5의 작업당 평균 도구 호출은 ego-browser에서 30.3회, 다른 도구에서는 41.2~53.7회였습니다. 다른 각 도구와 비교하면 이 13개 작업 중 10~13개에서 ego-browser의 호출 수가 더 적었습니다. ego-browser에서는 호출 수가 적으면서 브라우저 실행 시간과 캐시 토큰 재읽기량도 줄었고, 100단계 한도 안에 더 많은 여유가 생겼습니다.

각 도구에는 약점도 있습니다. ego-browser에서 Opus 5는 11개 다중 사이트 작업 중 3개에 실패했습니다. Chrome DevTools CLI는 다섯 도구가 모두 통과한 13개 작업 중 5개에서 ego-browser보다 빨랐지만, 11개 다중 사이트 작업에서는 2개만 통과했습니다. Playwright CLI의 평균 시간에는 SpaceX 발사 게시물 작업에서 2,127초가 걸린 한 번의 실행이 포함됩니다. Browser Use CLI는 오답을 3회 냈으며, agent-browser는 100단계를 모두 소진한 경우가 11회였고 그중 두 번은 다중 사이트 작업이 아니었습니다.

브라우저 도구성공률작업당 평균 시간작업당 평균 비용
ego-browser88.9% (24/27)324.6 s$1.702
Chrome DevTools CLI66.7% (18/27)369.5 s$1.845
Playwright CLI66.7% (18/27)495.8 s$2.052
Browser Use CLI63.0% (17/27)407.7 s$1.975
agent-browser55.6% (15/27)543.6 s$2.368

각 도구로 27개 작업을 각각 한 번씩 실행했으므로 성공률은 도구별 27회 시도를 기준으로 합니다. 작업당 시간과 비용은 다섯 도구가 모두 통과한 13개 작업의 평균이며, 여기에 다중 사이트 작업은 없습니다. 시간에는 Opus 5 응답 대기와 브라우저 명령 실행이 포함되며, 비용은 Claude Code가 각 시도에 대해 보고한 값입니다.

성공률

ego-browser에서 Opus 5가 가장 많은 작업을 통과했고, 그 우위의 거의 전부는 11개 다중 사이트 작업에서 나왔습니다. 나머지 16개 작업에서는 브라우저 도구가 Opus 5의 통과 여부에 거의 영향을 주지 않았습니다.

작업 분류ego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
다중 사이트 작업(11개)11회 중 8회11회 중 2회11회 중 3회11회 중 2회11회 중 1회
기타 작업(16개)16회 중 16회16회 중 16회16회 중 15회16회 중 15회16회 중 14회
전체 작업(27개)27회 중 24회27회 중 18회27회 중 18회27회 중 17회27회 중 15회

분류별 통과 시도 수. 도구별로 각 작업을 한 번씩 시도했으며, 실행일은 2026년 11월 3일과 11월 5일입니다. 에이전트가 여러 사이트에서 같은 항목을 수집한다면, 도구 간 차이는 다중 사이트 작업 행에 나타납니다.

다른 네 도구에서는 실패의 대부분이 답변을 내기 전에 100단계를 모두 소진한 실행이었습니다. 오답은 모든 도구에서 적었으며 각각 1~3회였습니다. 11개 다중 사이트 작업에서 Opus 5의 시도당 평균 도구 호출은 ego-browser에서 73.4회, 다른 도구에서는 91.5~97.0회였습니다. 아래 각 행의 합은 27회 시도입니다.

브라우저 도구통과100단계 모두 소진오답
ego-browser2412
Chrome DevTools CLI1872
Playwright CLI1881
Browser Use CLI1773
agent-browser15111

ego-browser가 실패한 작업을 다른 도구가 통과한 사례는 없었습니다. 세 번의 실패는 오답 두 번과 100단계를 모두 소진한 실행 한 번이었으며, 모두 다른 네 도구도 각각 실패한 다중 사이트 작업이었습니다.

중앙은행 작업이 이런 양상을 보여 줍니다. Opus 5는 12개 중앙은행의 공식 사이트에서 2026년 첫 예정된 금리 결정의 날짜, 변동 폭, 정책금리, 반대 의견, 다음 결정일을 찾아야 했습니다. ego-browser에서는 Federal Reserve부터 Reserve Bank of India까지 조사해 12행을 모두 정확하게 반환했습니다. 다른 네 도구에서는 모두 답변을 쓰기 전에 100단계를 소진했습니다.

기록된 브라우저 명령 재실행: 중앙은행 작업에서 Claude Opus 5가 ego-browser로 Reserve Bank of India의 2026년 2월 정책 성명을 여는 모습
기록된 명령 재실행. 중앙은행 작업에서 Claude Opus 5가 ego-browser를 사용합니다. 총 86회 중 84번째 도구 호출로, 12개 은행 중 12번째인 Reserve Bank of India의 2026년 2월 정책 성명을 엽니다. 원래 실행: 2026년 11월 3일. 재실행 캡처: 2026년 11월 10일, ego(lite). 원본 크기로 이미지 보기

나머지 16개 작업에서는 Chrome DevTools CLI도 ego-browser와 같은 수를 통과했습니다. 다중 사이트 작업에서 Opus 5는 ego-browser로 11개 중 10개, 다른 도구로는 2~4개에서 100단계 안에 최종 답변을 냈습니다. 저희라면 이런 작업에서 도구 선택을 가장 중요하게 고려하겠습니다.

속도

ego-browser에서 Opus 5의 평균 시간이 가장 짧았습니다. 다섯 도구가 모두 통과한 13개 작업에서 작업당 평균 324.6초였고, 다른 도구는 369.5~543.6초였습니다. 그 13개 중 Chrome DevTools CLI보다 빠른 작업은 8개, Playwright CLI와 Browser Use CLI보다 빠른 작업은 각각 10개, agent-browser보다 빠른 작업은 11개였습니다. Playwright CLI의 평균에는 SpaceX 발사 게시물 작업에서 2,127초가 걸린 한 번의 실행이 포함되므로, 작업별 차이도 함께 확인합니다.

다른 모든 도구와 비교해 ego-browser는 브라우저 명령 실행 시간이 더 짧았고, 호출 수도 가장 적었습니다.

브라우저 도구작업당 도구 호출 수작업당 Opus 5 응답 대기 시간작업당 브라우저 명령 실행 시간
ego-browser30.3222.7 s100.3 s
Chrome DevTools CLI41.2222.4 s147.6 s
Playwright CLI46.0253.0 s243.7 s
Browser Use CLI42.0267.2 s139.4 s
agent-browser53.7298.9 s243.3 s

다섯 도구가 모두 통과한 13개 작업의 평균. 실행일은 2026년 11월 3일과 11월 5일입니다.

가장 근접한 Chrome DevTools CLI와 비교하면 모델 응답 대기 시간은 거의 같았고, 기록된 브라우저 명령 실행 시간은 ego-browser가 더 짧았습니다. Opus 5의 작업당 모델 대기 시간은 ego-browser에서 222.7초, Chrome DevTools CLI에서 222.4초였습니다. ego-browser에서 Opus 5는 41.2회 대신 30.3회를 호출했으며, 호출당 더 많이 출력했습니다. 사고 과정을 포함한 호출당 출력 토큰은 565개로, 비교 대상은 389개였습니다.

박스오피스 작업은 호출이 어디에 쓰이는지 보여 줍니다. Opus 5는 Wes Anderson 영화 여섯 편의 흥행 수입을 Box Office Mojo와 Wikipedia 사이에서 대조해야 했으며, 다섯 도구 모두 모든 값을 맞혔습니다. ego-browser에서는 도구 호출 15회와 167초로 통과했고, 다른 네 도구는 20~26회, 249~290초가 필요했습니다. 차이는 Box Office Mojo 조사 구간에서 벌어졌습니다. ego-browser는 호출 10회째까지 이 구간을 마쳤고, 다른 도구는 12~16회째까지 걸렸습니다. 10번째 호출에서는 한 스크립트가 영화 다섯 편의 개봉 페이지를 차례로 열고 각 영화의 흥행 수입을 출력했습니다.

기록된 브라우저 명령 재실행: 박스오피스 작업에서 Claude Opus 5가 ego-browser로 Box Office Mojo 개봉 페이지를 조사하는 모습
기록된 명령 재실행. 박스오피스 작업에서 Claude Opus 5가 ego-browser를 사용합니다. 총 15회 중 10번째 도구 호출로 영화 다섯 편의 국내 개봉 페이지를 차례로 열고 흥행 수입을 출력합니다. 원래 실행: 2026년 11월 3일. 재실행 캡처: 2026년 11월 10일, ego(lite). 원본 크기로 이미지 보기

비용

공통 성공 작업에서는 ego-browser의 평균 모델 비용도 가장 낮았습니다. 다섯 도구가 모두 통과한 13개 작업에서 Opus 5의 작업당 비용은 ego-browser에서 $1.702, 다른 도구에서는 $1.845~$2.368이었습니다. 이 13개 중 Chrome DevTools CLI와 Browser Use CLI보다 저렴한 작업은 각각 8개, Playwright CLI보다 저렴한 작업은 10개, agent-browser보다 저렴한 작업은 11개였습니다.

모든 도구에서 모델과 요금이 같으므로 차이는 전부 사용량에서 나오며, 캐시 읽기에 드러납니다. 도구를 호출할 때마다 모델 턴이 추가되고, 각 턴은 지금까지의 대화를 다시 Opus 5로 전송합니다. 이 중 대부분은 캐시 읽기로 과금됩니다. 호출 수가 적은 ego-browser에서 Opus 5가 작업당 다시 읽은 캐시 토큰은 132만 개였고, 다른 도구에서는 169만~242만 개였습니다.

브라우저 도구작업당 읽은 캐시 토큰 수캐시 읽기캐시 쓰기출력
ego-browser132만$0.661$0.613$0.428
Chrome DevTools CLI169만$0.846$0.597$0.401
Playwright CLI198만$0.991$0.607$0.454
Browser Use CLI175만$0.877$0.597$0.500
agent-browser242만$1.210$0.634$0.523

다섯 도구가 모두 통과한 13개 작업의 작업당 평균입니다. Claude Code는 모든 캐시 토큰을 유효 기간 1시간으로 기록했습니다. 각 항목에는 Anthropic이 공시한 Opus 5 가격을 적용했습니다. 캐시 읽기는 토큰 100만 개당 $0.50, 유효 기간 1시간인 캐시 쓰기는 토큰 100만 개당 $10, 출력은 토큰 100만 개당 $25입니다. 세 항목을 합하면 각 도구의 작업당 비용과 차이가 0.1센트 이내입니다.

출력 비용과 캐시 쓰기 비용은 다섯 도구에서 비슷했으므로 순위는 캐시 읽기 비용으로 갈렸습니다. 다섯 도구가 모두 통과한 13개 작업에서 ego-browser는 Chrome DevTools CLI보다 작업당 14.3센트를 절약했습니다.

Claude Opus 5와 함께 사용할 브라우저 도구 선택

저희라면 여기서 시험한 작업 구성, Claude Code 설정, 100단계 예산에서는 Claude Opus 5와 ego-browser를 조합하겠습니다. Opus 5는 이 도구를 쓸 때 가장 많은 작업을 통과했으며, 다섯 도구가 모두 통과한 13개 작업에서 평균 시간과 비용도 가장 낮았습니다.

이번 11개 작업과 비슷한 여러 사이트에 걸친 작업이라면, 이 100단계 예산 안에서는 ego-browser 구성을 선택하겠습니다. 100단계 예산 내에서 Opus 5는 ego-browser로 여러 사이트에 걸친 11개 작업 중 8개를 통과했고, 다른 도구로는 각각 1~3개를 통과했습니다. 소수 사이트에서의 조회, 한 페이지를 이용한 조사, 하나의 웹 앱 안에서 하는 일처럼 나머지 16개 작업과 비슷한 경우에는 통과 여부에 도구가 미치는 차이가 더 작습니다. Chrome DevTools CLI도 ego-browser처럼 16개를 모두 통과했습니다. 다섯 도구가 모두 통과한 13개 작업에서 ego-browser의 작업당 평균은 Chrome DevTools CLI보다 44.9초, 14.3센트 낮았습니다.

속도가 가장 중요하다면, 다섯 도구가 모두 통과한 13개 작업에서 ego-browser의 평균 시간이 가장 짧았고 Chrome DevTools CLI가 그다음이었습니다. 비용이 가장 중요해도 해당 작업들의 순위는 같았습니다. Playwright CLI, Browser Use CLI, agent-browser는 이 작업들에서 평균 시간과 비용 모두 앞의 두 도구보다 뒤처졌습니다.

설정은 Claude Code에서 추론 강도를 높음으로 지정한 Claude Opus 5(claude-opus-5), 각 브라우저 도구의 skill 파일, 시도당 100단계 예산이었습니다. ego-browser는 ego(lite)와 함께 제공되며 이를 에이전트의 브라우저로 제어합니다. 나머지 네 도구는 Google Chrome을 제어합니다.

이번 비교에서 ego(lite)의 역할

ego(lite)는 ego-browser가 제어하는 브라우저를 제공했고, Claude Code와 Claude Opus 5는 각각 에이전트와 모델을 담당했습니다. ego-browser 연동 가이드에서 그 연결 방식을 설명합니다. 보고된 비용은 모델 토큰 비용이며 별도의 브라우저 구독료가 아닙니다.

시험에 사용한 100단계 예산 아래에서 비슷한 작업에 쓸 구성을 선택할 때는 작업별 세부 결과를 참고하세요. 여러 사이트에 걸친 작업의 완료 비교는 11개 작업을, 시간과 비용 비교는 모든 도구가 통과한 13개 작업을 대상으로 합니다. 서로 다른 작업군이므로 공통 성공 작업의 비용으로 더 어려운 여러 사이트 작업을 완료하는 비용을 산정할 수는 없습니다.

자주 묻는 질문

Claude Code 브라우저 자동화에는 agent-browser와 Playwright CLI 중 어느 쪽이 더 나은가요?

Claude Opus 5를 사용한 이번 실행에서는 Playwright CLI가 27회 시도 중 18회를 통과해, 15회를 통과한 agent-browser보다 많았습니다. 다섯 도구가 모두 통과한 13개 작업에서 Playwright CLI의 작업당 평균은 495.8초와 $2.052였고, agent-browser는 543.6초와 $2.368이었습니다. Playwright CLI는 이 13개 작업 중 9개에서 더 빨랐지만, 2,127초가 걸린 한 번의 실행이 평균을 끌어올렸습니다. agent-browser는 11개 작업에서, Playwright CLI는 8개 작업에서 100단계를 모두 사용했습니다.

Chrome DevTools CLI와 Playwright CLI 중 Claude Opus 5에 더 잘 맞는 도구는 무엇인가요?

둘 다 27회 시도 중 18회를 통과했으며, 평균 시간과 비용은 Chrome DevTools CLI가 더 낮았습니다. 다섯 도구가 모두 통과한 13개 작업에서 Chrome DevTools CLI의 작업당 평균은 369.5초와 $1.845였고, Playwright CLI는 495.8초와 $2.052였습니다. 개별 작업을 보면 차이는 크지 않았습니다. Chrome DevTools CLI는 이 13개 중 7개에서 더 빠르고 8개에서 더 저렴했습니다. SpaceX 발사 게시물 작업에서 Playwright CLI가 한 번 실행하는 데 2,127초 걸린 것이 시간 차이의 거의 전부를 설명합니다.

Chrome DevTools CLI는 Claude Opus 5에 좋은 선택인가요?

여러 사이트에 걸친 작업을 제외하면 그렇습니다. Opus 5는 Chrome DevTools CLI로 나머지 16개 작업을 모두 통과했으며, ego-browser도 마찬가지였습니다. 다섯 도구가 모두 통과한 13개 작업에서 Chrome DevTools CLI는 작업당 평균 369.5초와 $1.845로 시간과 비용 모두 두 번째였습니다. 여러 사이트에 걸친 11개 작업에서는 2개를 통과했고, 7개에서 100단계를 모두 사용했습니다.

Claude Code용 다른 브라우저 도구와 비교하면 Browser Use CLI는 어떤가요?

Browser Use CLI로 Opus 5는 27회 시도 중 17회를 통과했습니다. 나머지 네 도구에서는 15~24회를 통과했습니다. 다섯 도구가 모두 통과한 13개 작업에서는 작업당 평균 407.7초와 $1.975로, 시간과 비용 모두 세 번째였습니다. 잘못된 답을 3회 내놓았으며, 여러 사이트에 걸친 11개 작업 중 7개에서 100단계를 모두 사용했습니다.

브라우저 에이전트는 왜 여러 사이트에 걸친 긴 작업에 실패하나요?

이번 100단계 예산에서는 Claude Opus 5가 주로 단계를 소진했습니다. 다섯 브라우저 도구 중 네 도구에서 여러 사이트에 걸친 11개 작업 중 7~9개에 100단계를 모두 사용했습니다. 이 네 도구는 Chrome DevTools CLI, Playwright CLI, Browser Use CLI, agent-browser였습니다. ego-browser에서는 이런 일이 한 번 발생했습니다. 해당 작업들의 시도당 평균 도구 호출은 ego-browser에서 73.4회였고 나머지 도구에서는 91.5~97.0회였습니다.

Claude Opus 5 브라우저 에이전트 작업에는 비용이 얼마나 드나요?

다섯 도구가 모두 통과한 13개 작업에서 Claude Opus 5 브라우저 작업의 비용은 브라우저 도구에 따라 약 $1.70~$2.37이었습니다. 비용에서 가장 큰 부분은 매 턴 다시 읽는 캐시 토큰이며, 도구 호출 횟수가 늘수록 이 토큰도 늘어납니다.

Claude Opus 5 브라우저 에이전트 작업에는 시간이 얼마나 걸리나요?

다섯 도구가 모두 통과한 13개 작업에서 작업당 소요 시간은 ego-browser의 324.6초부터 agent-browser의 543.6초까지였습니다. 여러 사이트에 걸친 작업은 실패를 포함한 모든 시도를 집계했을 때, 다섯 도구의 평균 소요 시간이 919.1~1,112.2초였습니다. 두 수치 모두 Opus 5를 기다리는 시간을 포함합니다.

Claude Opus 5는 브라우저 작업에서 도구를 몇 번 호출하나요?

다섯 도구가 모두 통과한 13개 작업에서는 브라우저 도구에 따라 작업당 30.3~53.7회였습니다. ego-browser가 가장 적게, agent-browser가 가장 많이 호출했습니다. 여러 사이트에 걸친 11개 작업에서는 시도당 평균 호출이 ego-browser에서 73.4회, 나머지 네 도구에서 91.5~97.0회였습니다.

시험한 구성에 따라 Claude Opus 5의 성공률은 어떻게 달랐나요?

이번 실행에서는 차이가 있었습니다. 같은 모델과 Claude Code 설정에서 브라우저 도구에 따라 Opus 5는 27회 시도 중 55.6%~88.9%를 통과했습니다. 차이의 대부분은 여러 사이트에 걸친 11개 작업에서 발생했습니다. 나머지 16개 작업에서는 모든 도구가 14~16개를 통과했습니다.

웹 앱 작업에서도 브라우저 도구에 따른 차이가 있나요?

통과 여부에는 차이가 없었습니다. Opus 5는 다섯 도구 각각으로 테스트 웹 앱의 4개 작업을 모두 통과했습니다. 4개 중 2개를 넘는 작업에서 가장 빨랐던 도구는 없었습니다. 도구 호출 횟수에는 차이가 있어, 작업당 ego-browser는 36.2회, 다른 도구는 47.8~77.2회였습니다.

테스트 방법

2026년 11월 3일에 ego-browser를, 2026년 11월 5일에 나머지 네 도구를 차례로 실행했습니다. 모두 macOS 26.5가 설치된 동일한 Apple silicon Mac mini를 사용했습니다. 모든 실행은 Claude Code 2.1.316에서 추론 강도를 높음으로 지정한 Claude Opus 5(claude-opus-5)와 Bash, Read, Write, Edit, Skill 도구를 사용했습니다. 모델, 에이전트, 추론 강도, 작업, 채점, 단계 예산은 모든 도구에서 같았습니다. 변경한 것은 브라우저 도구, 해당 skill 파일, 그리고 그 도구가 제어하는 브라우저였습니다.

브라우저 도구

Claude Code가 셸 명령으로 제어하는 다섯 브라우저 도구를 비교했습니다. ego-browser v2.2.0-beta.5는 ego(lite) 0.6.3.2를 제어했습니다. Opus 5가 JavaScript 스크립트를 작성하면 ego-browser가 페이지에서 이를 실행했고, 스크립트가 출력한 내용이 페이지 정보로 반환됐습니다. Chrome DevTools CLI 1.10.1, Playwright CLI 0.1.22, agent-browser 0.39.1은 페이지 열기, 페이지 요소의 스냅샷 찍기, JavaScript 실행 등의 명령으로 Google Chrome 156을 제어했습니다. Opus 5는 이 도구들을 사용한 셸 호출의 47.4%~56.7%에서 해당 명령을 두 개 이상 연결했습니다. Browser Use CLI 0.1.13은 페이지 로드와 JavaScript 실행을 위한 헬퍼 함수가 있는 Python 스크립트로 Google Chrome 156을 제어했습니다.

작업

실제 웹사이트와 테스트 웹 앱에서 27개 작업을 사용했습니다. 여러 사이트에 걸친 11개 작업은 12개 중앙은행의 2026년 첫 금리 결정처럼 8~16개 사이트에서 같은 항목을 수집합니다. 나머지 16개는 이름이 명시된 1~3개 사이트에서의 조회 9개, 한 페이지에서 시작하는 조사 작업 3개, 업무용 웹 앱 안에서 수행하는 작업 4개입니다. 여섯 영화의 흥행 수입을 Box Office Mojo와 Wikipedia 사이에서 대조하기, 마우스를 올려 차트의 점에서 값 읽기, 출장 규정에 맞게 여행 예약하기 등이 예입니다.

여러 사이트에 걸친 작업은 작업 모음 자체에 정의된 작업군으로, 8개 이상의 항목을 나열하고 각 항목에 별도의 사이트를 지정합니다. 각 작업은 하나의 작업군에만 속합니다.

통과 기준

각 작업에는 채점 항목이 있으며, 27개 작업 전체에 190개 항목이 있습니다. 시도는 최종 답변에서 모든 채점 항목을 맞혀야 통과하며, 최종 답변이 없는 시도는 실패입니다.

집계 방법

한 번의 시도는 하나의 도구로 하나의 작업을 한 번 실행하는 것입니다. 각 도구는 각 작업을 한 번씩 실행했으므로 27회 시도했으며, 성공률은 시도를 기준으로 계산합니다. 한 단계는 모델의 한 턴이며, 시도당 최대 100단계, 시간으로는 최대 60분까지 사용할 수 있었습니다. 도구를 호출한 8,607단계 중 5단계를 제외한 나머지는 정확히 한 번만 호출했습니다.

도구 호출은 Claude Code의 Bash, Read, Write, Edit, Skill 도구 중 하나를 한 번 호출하는 것입니다. 브라우저 스크립트 한 번, 여러 명령을 연결할 수 있는 셸 호출 한 번, 파일 읽기 한 번 등이 해당합니다. 최종 답변 없이 예산에 도달하면 100단계를 모두 사용한 시도로 집계하며, 이런 시도는 각각 도구를 99회 또는 100회 호출했습니다. 도구 호출 횟수는 각 시도의 Claude Code 세션 로그에서 가져왔습니다.

시간은 시도당 실제 경과 시간입니다. Opus 5 API를 기다리는 시간과 브라우저 명령을 실행하는 시간을 포함하며, 속도 표에서는 이 둘을 따로 측정했습니다. 비용은 Anthropic의 Opus 5 공시 가격을 기준으로 Claude Code가 각 시도에 대해 보고한 값이며, 캐시 토큰과 출력 토큰도 같은 기록에서 가져왔습니다. 호출당 출력 토큰 수는 추론을 포함한 각 도구의 작업당 출력 토큰 수를 작업당 도구 호출 횟수로 나눈 값입니다.

속도와 비용은 다섯 도구가 모두 통과한 13개 작업에서 비교했습니다. 도구마다 각 작업을 한 번만 실행했으므로 작업의 시간과 비용은 해당 한 번의 시도에 대한 값입니다. “13개 작업 중 8개에서 더 빠름” 같은 횟수는 작업을 하나씩 비교한 결과입니다. 셸 호출에서 같은 브라우저 도구의 명령을 두 개 이상 실행하면 명령을 연결한 것으로 집계합니다.

전체 결과

각 셀은 한 번의 시도에 대한 결과, 실제 경과 시간(초), 비용을 나타냅니다. 각 도구는 각 작업을 한 번씩 실행했습니다. 시간에는 Opus 5 API를 기다리는 시간이 포함됩니다. “모든 단계 사용”은 최종 답변 없이 100단계 예산에 도달한 시도를 뜻합니다.

여러 사이트에 걸친 작업

작업ego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
9개 음악 서비스에 나오는 한 앨범의 트랙 수, 재생 시간, 발매일, 참여자 정보통과, 415 초, $2.42오답, 781 초, $3.88통과, 809 초, $4.58통과, 633 초, $3.43모든 단계 소진, 728 초, $4.58
제조사 사이트에 나오는 카메라 8종의 무게, 배터리, 해상도, 연사 사양통과, 1112 초, $5.75모든 단계 소진, 990 초, $4.63모든 단계 소진, 823 초, $4.40모든 단계 소진, 936 초, $5.37모든 단계 소진, 799 초, $4.91
12개 중앙은행 자체 사이트에 나오는 2026년 첫 금리 결정통과, 899 초, $5.95모든 단계 소진, 780 초, $6.20모든 단계 소진, 604 초, $5.22모든 단계 소진, 539 초, $5.29모든 단계 소진, 766 초, $4.31
9개 개발자 콘퍼런스의 프로그램과 YouTube에 나오는 개막 기조연설모든 단계 소진, 1401 초, $7.37모든 단계 소진, 1126 초, $5.80모든 단계 소진, 945 초, $5.31모든 단계 소진, 1100 초, $6.14모든 단계 소진, 962 초, $5.58
자동차 제조사의 미국 사이트에 나오는 전기 SUV 9종의 주행 거리와 DC 충전 사양오답, 1020 초, $8.37모든 단계 소진, 1015 초, $5.92모든 단계 소진, 803 초, $5.31모든 단계 소진, 1084 초, $6.83모든 단계 소진, 1223 초, $6.02
공개 가중치 모델 9개의 규모, 컨텍스트, 라이선스, 학습 토큰 수오답, 749 초, $7.29모든 단계 소진, 943 초, $5.84모든 단계 소진, 741 초, $5.31모든 단계 소진, 886 초, $7.02모든 단계 소진, 1207 초, $6.46
노동부 사이트에 나오는 9개국의 법정 최저임금통과, 616 초, $4.39모든 단계 소진, 1075 초, $6.20통과, 687 초, $4.83모든 단계 소진, 724 초, $5.81모든 단계 소진, 1055 초, $5.02
브랜드의 영국용 사이트에 나오는 휴대전화 9종의 무게, 배터리, 디스플레이, IP 등급, 업데이트 정책통과, 745 초, $6.02모든 단계 소진, 908 초, $4.86모든 단계 소진, 778 초, $4.53모든 단계 소진, 898 초, $5.66모든 단계 소진, 786 초, $5.27
서버리스 함수 플랫폼 9개의 무료 요금제 한도통과, 515 초, $3.81통과, 958 초, $6.45통과, 565 초, $4.71오답, 580 초, $3.76모든 단계 소진, 1251 초, $5.97
오픈 소스 프로젝트 8개의 X상 보안 릴리스 게시물을 각 프로젝트 자체 보안 공지와 대조통과, 1058 초, $3.83통과, 1047 초, $4.99모든 단계 소진, 2128 초, $4.96통과, 1805 초, $6.16통과, 1908 초, $5.35
브랜드 8개의 X상 2026년 제품 게시물을 해당 보도자료와 대조통과, 1580 초, $4.56오답, 849 초, $4.62모든 단계 소진, 2024 초, $5.21오답, 1832 초, $5.39오답, 1548 초, $4.76

기타 작업

작업ego-browserChrome DevTools CLIPlaywright CLIBrowser Use CLIagent-browser
Apple 비교 페이지, 미국 스토어, 사양 페이지에서 32 GB / 1 TB 구성의 MacBook 3종 가격 확인통과, 367 초, $3.15통과, 374 초, $2.74통과, 481 초, $4.91통과, 438 초, $3.06통과, 568 초, $3.52
Box Office Mojo와 Wikipedia에서 Wes Anderson 영화 6편의 흥행 수입 대조통과, 167 초, $0.81통과, 290 초, $1.01통과, 249 초, $0.89통과, 265 초, $1.25통과, 270 초, $0.96
Companies House상의 영국 기업 4곳에 대한 초기 KYC 스냅샷통과, 359 초, $2.02통과, 333 초, $1.42통과, 319 초, $1.66통과, 321 초, $1.42통과, 356 초, $1.65
ClinicalTrials.gov의 2021년 3상 아토피 피부염 임상시험을 해당 DailyMed 의약품 허가사항과 연결통과, 391 초, $1.98통과, 338 초, $2.15통과, 468 초, $2.72통과, 541 초, $2.38통과, 475 초, $2.74
FRED에서 전년 12월 대비 12월 CPI, 근원 CPI, 달걀 가격 변동을 확인하고 BLS와 대조통과, 181 초, $1.09통과, 346 초, $1.90통과, 395 초, $1.35통과, 294 초, $1.48통과, 311 초, $1.59
항공편 검색 사이트에서 세 도시 출발 덴버행 최저가 논스톱 이코노미 항공권 확인통과, 766 초, $3.50통과, 1152 초, $3.83오답, 732 초, $4.03통과, 1008 초, $3.89모든 단계 소진, 1123 초, $5.25
MDN과 Can I use에서 웹 플랫폼 기능 6개의 사용 가능 여부 판단통과, 376 초, $1.74통과, 461 초, $2.41통과, 420 초, $1.82통과, 381 초, $1.51통과, 423 초, $2.11
X에 올라온 일주일간의 SpaceX 발사 게시물을 Wikipedia의 두 발사 목록과 대조통과, 472 초, $1.06통과, 558 초, $1.94통과, 2127 초, $2.15통과, 854 초, $1.58통과, 511 초, $1.55
YouTube, GitHub, arXiv를 대조해 Karpathy의 GPT 강의 학습 노트 작성통과, 245 초, $1.55통과, 426 초, $2.75통과, 696 초, $2.93통과, 466 초, $2.05모든 단계 소진, 1344 초, $4.49
ARC Prize 리더보드 차트에서 마우스를 올려 비용이 낮은 점 8개의 값 읽기통과, 294 초, $1.60통과, 360 초, $1.87통과, 354 초, $1.92오답, 387 초, $2.65통과, 679 초, $2.19
Epoch AI 모델 데이터베이스에서 EU 연산량 기준을 넘는 모델 수 집계통과, 211 초, $1.25통과, 210 초, $0.97통과, 273 초, $1.57통과, 150 초, $0.84통과, 882 초, $1.95
Wikipedia LLM 표의 셀 10개를 인용된 출처까지 추적통과, 444 초, $2.11통과, 474 초, $2.19통과, 427 초, $2.22통과, 335 초, $1.91통과, 349 초, $1.73
여행 및 경비 앱에서 규정에 맞게 항공편, 통로 좌석, 인근 호텔 예약통과, 281 초, $1.91통과, 221 초, $2.14통과, 452 초, $2.97통과, 403 초, $3.01통과, 409 초, $1.98
클라우드 콘솔에서 티어 1 서비스 모니터를 문서화된 표준에 맞게 조정통과, 230 초, $1.39통과, 202 초, $1.39통과, 252 초, $1.69통과, 264 초, $1.60통과, 543 초, $3.20
업무 운영 앱에서 2월 청구서를 결제 내역과 대조하고 이의 제기통과, 539 초, $2.53통과, 547 초, $2.36통과, 373 초, $1.73통과, 681 초, $3.74통과, 1008 초, $4.00
업무 운영 앱에서 CSV 가져오기로 공급업체별 구매 주문서 생성통과, 203 초, $1.08통과, 450 초, $1.37통과, 210 초, $1.01통과, 376 초, $1.87통과, 962 초, $3.81