25개 웹 작업에서 ego-browser, agent-browser, Playwright CLI로 DeepSeek V4.1 Flash를 평가했습니다

읽는 데 15분
옅은 파란색 배경에 반투명 잎 모양을 겹친 DeepSeek V4.1 Flash 브라우저 벤치마크 표지

시험한 pi 설정에서 DeepSeek V4.1 Flash로 브라우저를 자동화한다면, 완료한 작업 수가 더 많은 ego-browser를 선택하겠습니다. 모든 시도를 합산한 평균 모델 비용은 세 도구에서 비슷했습니다. 각 도구는 25개 작업을 한 번씩 실행했으므로 도구당 25회 시도했습니다. DeepSeek V4.1 Flash는 ego-browser로 25회 중 17회(68.0%), Playwright CLI로 14회(56.0%), agent-browser로 11회(44.0%) 통과했습니다. 세 도구가 모두 통과한 10개 작업에서 작업당 시간과 비용은 ego-browser가 216.8초와 $0.042, Playwright CLI가 407.3초와 $0.050, agent-browser가 399.4초와 $0.056이었습니다.

ego-browser의 우위는 답변을 내놓고 끝난 시도에서 나왔습니다. 한 단계는 모델의 응답 한 번이며, 답변 없이 100단계를 모두 사용한 시도는 실패입니다. DeepSeek V4.1 Flash가 단계를 소진한 횟수는 ego-browser에서 4회, 다른 두 도구에서 각각 9회였습니다. 잘못된 답은 ego-browser에서 4회, Playwright CLI에서 2회, agent-browser에서 5회였습니다. 탐색, 클릭, 입력 없이 현재 페이지만 읽는 명령의 비율은 agent-browser에서 51.9%, Playwright CLI에서 46.5%, ego-browser에서 24.4%였습니다.

모든 결과가 ego-browser에 유리한 것은 아닙니다. 4개 웹 앱 워크플로에서는 Playwright CLI도 4개를 모두 통과해 ego-browser와 같았습니다. 범위가 넓은 작업에서 모델의 약점은 어떤 도구로도 해결되지 않았습니다. 9~12개 사이트에서 같은 항목을 수집하는 7개 작업에서는 ego-browser로 2개, Playwright CLI로 1개를 통과했고 agent-browser로는 통과하지 못했습니다. 실패를 포함한 25개 전체 작업을 집계하면, 작업당 비용은 ego-browser $0.066, Playwright CLI $0.066, agent-browser $0.067로 어느 도구든 거의 같았습니다.

브라우저 도구성공률작업당 평균 시간작업당 평균 비용
ego-browser68.0% (17/25)216.8 s$0.042
Playwright CLI56.0% (14/25)407.3 s$0.050
agent-browser44.0% (11/25)399.4 s$0.056

각 도구는 25개 작업을 한 번씩 실행했으므로 성공률은 도구당 25회 시도를 기준으로 계산합니다. 시간과 비용은 세 도구가 모두 통과한 10개 작업의 평균입니다. 시간은 DeepSeek V4.1 Flash를 기다리는 시간과 에이전트의 도구 호출 실행 시간을 합한 값이며, 비용은 각 시도의 토큰 사용량에 DeepSeek의 공시 가격을 적용한 값입니다.

성공률

DeepSeek V4.1 Flash에서 ego-browser의 더 높은 성공률은 100단계 안에 답변까지 도달한 시도에서 나왔습니다. 모델이 단계를 소진한 횟수는 ego-browser에서 4회, 다른 두 도구에서 각각 9회였습니다.

시도 결과ego-browserPlaywright CLIagent-browser
통과171411
오답425
단계 소진, 답변 없음499
전체 시도252525

25개 작업에서 도구마다 각 작업을 한 번씩 시도했습니다. ego-browser 시도는 2026년 10월 20일에, 나머지 두 도구의 시도는 2026년 11월 5일에 실행했습니다. ego-browser 실행에는 두 번째 회차도 있었으며, 25회 중 18회 통과했습니다.

모델이 답변에 도달한 횟수는 ego-browser에서 25회 중 21회, 다른 두 도구에서 각각 16회였습니다. 그 답변 중 통과한 횟수는 ego-browser 21회 중 17회, Playwright CLI 16회 중 14회, agent-browser 16회 중 11회였습니다. 시험한 구성 사이에서 작업 완료에 관한 가장 큰 차이는 100단계 안에 최종 답변에 도달했는지 여부였습니다.

휴대전화 작업은 단계가 어디에 쓰이는지 보여줍니다. 플래그십 휴대전화 아홉 모델의 무게, 배터리, 화면 크기, 방수 등급 코드, 보안 업데이트 기간을 각 브랜드의 영국 사이트에서 찾는 작업입니다. 세 도구 모두에서 모델은 같은 아홉 사이트를 같은 순서로 방문했습니다. ego-browser에서는 64단계에 아홉 번째 사이트인 Fairphone을 열었고 70단계에 통과하는 표를 제출했습니다. agent-browser에서는 93단계, Playwright CLI에서는 100단계에 Fairphone에 도달했으며, 두 시도 모두 답변을 작성하기 전에 단계를 소진했습니다.

기록된 브라우저 명령 재실행: 휴대전화 작업에서 아홉 브랜드 사이트 중 아홉 번째인 Fairphone(Gen. 6) 페이지의 전체 기술 사양을 연 DeepSeek V4.1 Flash와 ego-browser
기록된 명령 재실행. DeepSeek V4.1 Flash와 ego-browser의 휴대전화 작업입니다. 원래 실행일은 2026년 10월 20일입니다. 아홉 브랜드 사이트 중 아홉 번째인 Fairphone에서 한 스크립트가 See all tech specs(전체 기술 사양 보기)를 클릭하고 전체 목록을 읽었습니다(전체 70단계 중 66단계). 재실행 화면은 2026년 11월 10일 ego(lite)에서 캡처했습니다. 원본 크기로 이미지 보기

결과가 갈린 모든 작업에서 ego-browser가 이긴 것은 아닙니다. 25개 중 10개 작업에서 세 도구의 결과가 달랐습니다. 그중 ego-browser는 다른 도구가 실패한 7개를 통과했지만, Playwright CLI가 통과한 3개에서는 실패했습니다. 서버리스 무료 요금제 작업, Wikipedia 인용 출처 추적, MDN 확인 작업입니다. ego-browser는 첫 작업에서 단계를 소진했고 나머지 두 작업에서는 잘못된 답을 제출했습니다.

작업 유형별로 보면 ego-browser는 1~3개 사이트에서의 조회와 X 게시물을 다른 출처와 대조하는 작업에서 앞섰습니다. Playwright CLI는 웹 앱 워크플로에서 ego-browser와 같았고, 개방형 조사 작업 3개에서는 하나 더 통과했습니다.

작업 유형작업 수ego-browserPlaywright CLIagent-browser
웹 앱 워크플로44/44/43/4
1~3개 사이트에서 조회87/85/85/8
탐색형 조사32/33/32/3
X 게시물을 다른 출처와 대조32/31/31/3
9~12개 사이트에서 같은 항목 수집72/71/70/7
전체 작업2517/2514/2511/25

각 셀은 통과한 시도 수를 나타내며, 작업마다 한 번씩 시도했습니다.

범위가 가장 넓은 작업은 모든 도구에서 여전히 어려웠습니다. 9~12개 사이트에서 같은 항목을 수집하는 7개 작업에서는 대부분의 실패가 단계 소진이었습니다. ego-browser는 실패 5회 중 4회, Playwright CLI는 6회 중 6회, agent-browser는 7회 중 6회가 여기에 해당했습니다. 세 도구 중 무엇을 쓰더라도 DeepSeek V4.1 Flash에 이 규모의 작업을 맡기지는 않겠습니다.

각 도구에서 DeepSeek V4.1 Flash가 작동하는 방식

ego-browser에서 DeepSeek V4.1 Flash는 페이지에 변화를 주는 동작과 읽기를 하나의 명령으로 묶는 경우가 더 많았습니다. 다른 두 구성에서는 탐색, 클릭, 입력 없이 현재 페이지를 읽는 명령이 더 많았습니다. agent-browser의 README는 각 요소에 ref가 붙은 접근성 트리로 페이지를 읽는다고 설명합니다. Playwright CLI의 README는 각 명령 뒤에 페이지 스냅샷을 제공한다고 설명합니다. 모델이 스냅샷을 명시적으로 요청한 명령의 비율은 이 두 도구에서 각각 15.4%와 12.6%였습니다. 이 요청 횟수는 자동 반환된 스냅샷을 측정하거나 모델이 무엇을 읽었는지 입증하지 않습니다.

브라우저 명령, 전체 25회 시도ego-browserPlaywright CLIagent-browser
브라우저 명령9951,4741,574
같은 명령에서 탐색, 클릭, 입력 중 하나를 수행하고 결과를 읽음72.3%39.3%43.3%
탐색, 클릭, 입력 없이 현재 페이지를 읽음24.4%46.5%51.9%
모델이 작성한 JavaScript를 페이지에서 실행86.2%73.3%43.9%
페이지 스냅샷을 명시적으로 요청8.2%12.6%15.4%

하나의 명령이 여러 행에 해당할 수 있습니다. 읽기 전용 범주는 탐색, 클릭, 입력 없이 페이지를 읽은 경우를 식별하며, 그 정보가 불필요했다는 점을 입증하는 것은 아닙니다.

탐색, 클릭, 입력 없이 현재 페이지를 읽는 명령은 agent-browser에서 51.9%, Playwright CLI에서 46.5%, ego-browser에서 24.4%를 차지했습니다. 별도의 읽기에서도 모델에 필요한 정보를 추출할 수 있습니다.

휴대전화 작업의 motorola signature 페이지는 차이가 벌어지는 지점을 보여줍니다. 보안 업데이트 기간은 See all the specifications(전체 사양 보기) 항목을 열어야 나옵니다. ego-browser에서는 54단계의 한 스크립트가 페이지를 로드하고 이 항목을 클릭한 뒤 텍스트를 읽었으며, 55단계에 “6년 이상(06/2032까지)”을 찾았습니다. 모델은 이 사이트에 6단계를 썼습니다. Playwright CLI에서는 페이지 JavaScript를 반복 실행해 사양 패널의 내용을 추출했으며 12단계를 썼고, 그중 9단계는 읽기만 했습니다. agent-browser에서는 사양 데이터를 찾기 위해 페이지 HTML 소스를 검색하며 21단계를 썼고, 그중 12단계는 읽기만 했습니다.

기록된 브라우저 명령 재실행: DeepSeek V4.1 Flash가 ego-browser에서 motorola signature 페이지의 See all the specifications를 클릭한 뒤 사양 목록을 연 모습
기록된 명령 재실행. DeepSeek V4.1 Flash와 ego-browser의 휴대전화 작업입니다. 원래 실행일은 2026년 10월 20일입니다. 한 스크립트가 motorola signature 페이지를 로드하고 See all the specifications(전체 사양 보기)를 클릭한 뒤 펼쳐진 목록을 읽었습니다(전체 70단계 중 54단계). 재실행 화면은 2026년 11월 10일 ego(lite)에서 캡처했습니다. 원본 크기로 이미지 보기

휴대전화 작업은 해당 시도에서 ego-browser가 더 적은 단계를 사용했음을 보여줍니다. 명령 수는 기록된 동작을 설명할 뿐, 구성마다 완료한 작업 수가 달랐던 원인을 따로 분리해 검증한 결과는 아닙니다.

속도

세 구성이 모두 통과한 열 개 작업에서 ego-browser의 평균 시간이 가장 짧았습니다. 세 도구가 모두 통과한 10개 작업의 작업당 시간은 ego-browser 216.8초, Playwright CLI 407.3초, agent-browser 399.4초였습니다. ego-browser는 이 10개 중 8개에서 세 도구 중 가장 빨랐고, 다른 도구와 각각 비교하면 9개씩 더 빨랐습니다.

작업당 시간, 세 도구가 모두 통과한 10개 작업ego-browserPlaywright CLIagent-browser
모델 대기 시간39.2 s63.1 s79.8 s
도구 호출 실행 시간177.6 s344.2 s319.6 s
합계216.8 s407.3 s399.4 s
작업당 도구 호출35.254.063.3
도구 호출당 소요 시간(초)5.06.45.0

ego-browser 시도는 2026년 10월 20일, 나머지 두 도구의 시도는 2026년 11월 5일에 실행했습니다.

기록된 시간 차이의 대부분은 도구 실행에서 발생했습니다. 구성마다 도구 호출 횟수가 달랐고, Playwright CLI의 경우 호출당 평균 시간도 달랐습니다. 도구 호출 한 번에 ego-browser와 agent-browser는 각각 약 5.0초로 비슷했고, Playwright CLI는 6.4초가 걸렸습니다. 작업당 필요한 호출은 ego-browser가 35.2회, 다른 도구가 54.0회와 63.3회였습니다. 도구 호출이 적었던 만큼 모델 응답도 적었고, 모델 대기 시간도 63.1초와 79.8초에서 39.2초로 줄었습니다.

이번 실행에서 ego-browser는 Playwright CLI보다 작업당 190.5초, agent-browser보다 182.6초를 절약했습니다. 누군가 에이전트의 결과를 기다리고 있다면 체감할 만한 차이입니다. 예외는 두 작업으로, 흥행 수입 작업에서는 Playwright CLI가, 강의 노트 작업에서는 agent-browser가 가장 빨랐습니다.

비용

명시한 모델 가격을 적용하면, ego-browser 구성은 세 도구가 공통으로 통과한 열 개 작업에서 평균 비용이 더 낮았습니다. 반면 모든 시도를 합산한 평균 비용은 세 구성에서 비슷했습니다. 이 10개 작업의 작업당 비용은 ego-browser $0.042, Playwright CLI $0.050, agent-browser $0.056이었습니다. 모든 시도의 총비용을 통과 횟수로 나눈 통과 시도당 비용은 ego-browser $0.097, Playwright CLI $0.117, agent-browser $0.153이었습니다.

가격은 모든 도구에서 같으므로 차이는 전부 각 실행이 사용한 토큰 수에서 나옵니다. 단계가 하나 늘 때마다 지금까지의 대화를 모델에 다시 보내며, DeepSeek는 이를 캐시 읽기로 과금합니다. 세 도구가 모두 통과한 10개 작업에서 모델이 작업당 읽은 캐시 토큰은 ego-browser 113만 개, Playwright CLI 188만 개, agent-browser 244만 개였습니다. 출력 토큰은 각각 19,461개, 21,562개, 22,957개였습니다.

작업당 몇 센트 수준이므로 이 모델에서는 비용이 도구 선택을 결정하지는 않을 것입니다. 25회 전체 시도의 합계 비용은 ego-browser $1.65, Playwright CLI $1.64, agent-browser $1.68이었습니다. 따라서 ego-browser가 더 많이 통과한 것은 지출을 늘려서 얻은 결과가 아니었습니다.

DeepSeek V4.1 Flash에 어떤 브라우저 도구를 사용할까

여기서 시험한 작업 구성과 pi 설정에는 ego-browser를 선택하겠습니다. 25회 중 17회로 가장 많이 통과했으며, 세 도구가 모두 통과한 10개 작업에서 작업당 216.8초로 다른 도구의 약 400초보다 빨랐고 비용도 가장 낮았습니다.

에이전트가 주로 하나의 웹 앱 안에서 일한다면 Playwright CLI도 적절한 대안입니다. ego-browser와 마찬가지로 4개 웹 앱 워크플로를 모두 통과했습니다. 비용을 가장 중요하게 본다면 도구에 따른 차이는 크지 않습니다. 25개 전체 작업의 작업당 비용은 모든 도구에서 $0.066~$0.067이었습니다. 9개 이상 사이트에서 같은 항목을 수집하는 일이라면, 7개 중 통과가 2개, 1개, 0개에 그쳐 세 도구 어느 것도 모델을 안정적으로 믿고 맡길 수준으로 만들지 못했습니다.

시험에서는 pi 에이전트에서 DeepSeek V4.1 Flash(deepseek-flash)의 추론 강도를 높음으로 설정하고, 브라우저 도구의 skill 파일을 불러왔습니다. ego-browser는 ego(lite)와 함께 제공되며, 에이전트는 ego-browser를 통해 ego(lite)를 제어합니다.

이번 비교에서 ego(lite)의 역할

ego-browser 구성에서 브라우저는 ego(lite)였고, 다른 두 구성은 Chrome을 사용했습니다. DeepSeek V4.1 Flash와 pi가 각각 모델과 에이전트를 담당했습니다. ego-browser 연동 가이드는 그 설정에서 브라우저 도구가 어떤 역할을 하는지 설명합니다.

구성마다 브라우저 도구, 지침, 실행 날짜가 달랐습니다. 기록된 결과를 바탕으로 선택할 때 이 조건들을 고려해야 합니다. 공통으로 통과한 열 개 작업은 시간과 비용 비교를 뒷받침하지만, 나머지 열다섯 작업을 완료하는 비용이나 시험하지 않은 에이전트의 결과를 입증하지는 않습니다.

자주 묻는 질문

DeepSeek V4.1 Flash에 가장 좋은 브라우저 자동화 도구는 무엇인가요?

이번 테스트에서는 ego-browser입니다. DeepSeek V4.1 Flash는 ego-browser로 25회 중 17회, Playwright CLI로 14회, agent-browser로 11회 통과했습니다. 세 도구가 모두 통과한 10개 작업에서도 작업당 216.8초로 다른 도구의 407.3초와 399.4초보다 짧았습니다. 4개 웹 앱 워크플로에서는 Playwright CLI도 ego-browser와 같았습니다.

DeepSeek V4.1 Flash의 브라우저 사용 능력은 어느 정도인가요?

25개 웹 작업에서 DeepSeek V4.1 Flash의 시도 성공률은 브라우저 도구에 따라 44.0%~68.0%였습니다. 웹 앱 안에서 가장 좋은 결과를 보여 ego-browser와 Playwright CLI로 4개 중 4개를 통과했습니다. 9~12개 사이트에서 같은 항목을 수집하는 작업에서는 7개 중 0~2개만 통과해 가장 약했습니다.

DeepSeek V4.1 Flash에는 agent-browser와 Playwright CLI 중 무엇이 더 나은가요?

Playwright CLI가 더 많은 작업을 성공적으로 완료했습니다. DeepSeek V4.1 Flash는 Playwright CLI로 25회 중 14회, agent-browser로 11회 통과했습니다. 세 도구가 모두 통과한 10개 작업에서 agent-browser는 작업당 399.4초와 $0.056, Playwright CLI는 407.3초와 $0.050이었습니다. 둘 다 9회 단계를 소진했고, agent-browser는 5회, Playwright CLI는 2회 잘못된 답을 내놓았습니다.

어떤 브라우저 도구에서 DeepSeek V4.1 Flash가 가장 빠른가요?

ego-browser입니다. 세 도구가 모두 통과한 10개 작업에서 작업당 216.8초로, Playwright CLI의 407.3초와 agent-browser의 399.4초보다 짧았습니다. 다른 도구와 각각 비교하면 이 10개 중 9개씩 더 빨랐습니다. 작업당 필요한 도구 호출은 ego-browser 35.2회, Playwright CLI 54.0회, agent-browser 63.3회였습니다.

DeepSeek V4.1 Flash의 브라우저 작업당 비용은 얼마인가요?

세 도구가 모두 통과한 10개 작업에서 DeepSeek 공시 가격을 적용한 DeepSeek V4.1 Flash의 작업당 비용은 $0.042~$0.056이었습니다. 실패를 포함한 25개 전체 작업에서는 모든 도구의 작업당 비용이 $0.066~$0.067이었습니다. 통과 시도당 비용은 ego-browser $0.097, Playwright CLI $0.117, agent-browser $0.153이었습니다.

DeepSeek V4.1 Flash는 왜 브라우저 작업에 실패하나요?

이번 실행에서 DeepSeek V4.1 Flash의 실패 대부분은 답변 없이 100단계를 모두 사용한 경우였습니다. ego-browser는 실패 8회 중 4회, Playwright CLI는 11회 중 9회, agent-browser는 14회 중 9회였습니다. 나머지는 잘못된 답으로, 각각 4회, 2회, 5회였습니다. 단계 소진은 9~12개 사이트에서 같은 항목을 수집하는 작업에서 가장 흔했습니다.

DeepSeek V4.1 Flash는 양식을 작성하고 웹 앱 워크플로를 완료할 수 있나요?

네. DeepSeek V4.1 Flash는 ego-browser와 Playwright CLI로 4개 웹 앱 워크플로를 모두 통과했고, agent-browser로는 4개 중 3개를 통과했습니다. 출장 규정에 맞는 여행 예약과 재주문점에 따른 구매 주문서 작성 등이 포함됐습니다. agent-browser가 실패한 여행 예약 시도는 단계를 소진했습니다.

DeepSeek V4.1 Flash는 여러 웹사이트에서 같은 데이터를 수집할 수 있나요?

안정적으로 하지는 못합니다. 9~12개 사이트에서 같은 항목을 수집하는 7개 작업에서 DeepSeek V4.1 Flash는 ego-browser로 2개, Playwright CLI로 1개를 통과했으며 agent-browser로는 통과하지 못했습니다. 그 작업들의 실패 대부분은 답변을 내놓기 전에 단계를 소진한 경우였습니다. 1~3개 사이트에서의 조회에서는 더 나은 결과를 보여, ego-browser로 8개 중 7개를 통과했습니다.

DeepSeek V4.1 Flash는 얼마나 자주 페이지 스냅샷을 명시적으로 요청했나요?

명시적인 스냅샷 요청은 agent-browser 명령의 15.4%, Playwright CLI 명령의 12.6%에 나타났습니다. Playwright CLI는 각 명령 뒤에 스냅샷을 자동으로 반환하기도 하므로 명시적 요청만으로는 모델이 접한 전체 스냅샷 양을 측정할 수 없습니다.

DeepSeek V4.1 Flash가 답변을 제출하면 얼마나 자주 맞나요?

DeepSeek V4.1 Flash의 답변은 ego-browser에서 21회 중 17회, Playwright CLI에서 16회 중 14회, agent-browser에서 16회 중 11회 통과했습니다. 도구 사이의 더 큰 차이는 모델이 100단계 안에 답변에 도달한 빈도였습니다. ego-browser에서는 25회 중 21회, 다른 두 도구에서는 각각 16회였습니다.

테스트 방법

macOS가 설치된 같은 Mac에서 세 가지 브라우저 도구 구성으로 DeepSeek V4.1 Flash를 비교했습니다. ego-browser 시도는 2026년 10월 20일에, agent-browser와 Playwright CLI 시도는 2026년 11월 5일에 실행했습니다.

모델은 DeepSeek V4.1 Flash(모델 ID deepseek-flash)였으며, 추론 강도를 높음으로 지정하고 read, write, edit, bash 도구가 있는 pi 에이전트에서 실행했습니다. 에이전트에는 각 브라우저 도구의 전용 skill 파일을 제공했습니다. 각 시도는 최대 100단계, 60분을 사용할 수 있었습니다.

비교에는 세 구성 모두에 첫 시도 기록이 있는 25개 작업을 사용했습니다. 앨범과 최저임금 작업에는 나중에 기존 시도를 대체한 시도가 있고, 카메라 작업은 보관된 실행 사이에 작업 정의가 다릅니다. 이 세 작업은 모든 구성에서 제외했습니다. 도구 버전은 ego-browser 2.1.0, agent-browser 0.39.1, Playwright CLI 0.1.22였습니다. ego-browser는 ego(lite)를 제어합니다. 모델이 JavaScript 스크립트를 작성하고 ego-browser로 실행한 다음 스크립트가 출력한 내용을 읽습니다. agent-browser와 Playwright CLI는 Chrome을 제어했으며, 모델은 bash로 해당 명령을 실행했습니다. agent-browser는 요청하면 요소 ref가 있는 페이지 스냅샷을 반환하고, Playwright CLI는 각 명령 뒤에 스냅샷을 기록합니다.

각 도구는 작업마다 한 번씩 시도했으며, 모든 결과는 해당 실행이 그 작업에 대해 기록한 첫 시도입니다. ego-browser 실행에는 두 번째 회차도 있었으며, 25회 중 18회 통과했습니다. 모든 도구의 시도 수를 같게 맞추기 위해 첫 번째 회차를 보고합니다.

실제 웹사이트와 시도마다 새 데이터를 넣은 테스트 웹 앱에서 25개 작업을 사용했습니다. 각 작업은 처음 작성된 작업군에 따라 다음 유형 중 정확히 하나에 속합니다.

  • 웹 앱 워크플로(4개 작업). 예: 출장 규정에 맞는 여행 예약.
  • 1~3개 사이트에서 조회(8개). 예: ClinicalTrials.gov 임상시험을 DailyMed 의약품 허가사항과 연결.
  • 개방형 조사(3개). 예: ARC Prize 리더보드 차트에서 점수와 비용 읽기.
  • X 게시물을 다른 출처와 대조(3개). 예: 일주일간 X에 올라온 SpaceX 발사에 관한 게시물을 Wikipedia와 대조.
  • 9~12개 사이트에서 같은 항목 수집(7개). 예: 12개 중앙은행의 2026년 첫 금리 결정.

각 작업에는 4~11개 채점 항목이 있습니다. 대부분은 고정된 값입니다. 웹 앱에서는 해당 시도에 넣은 데이터에서 값을 가져오고, 항공편 검색 작업에서는 실제 사이트와 대조합니다. 모든 항목이 맞아야 시도가 통과하며, 최종 답변이 없는 시도는 모든 항목에서 실패합니다.

한 번의 시도는 새로 시작한 상태에서 작업을 한 번 실행하는 것입니다. 성공률을 계산할 때는 통과한 시도 수를 셉니다. 한 단계는 모델의 응답 한 번입니다. 도구 호출은 파일 쓰기나 bash 명령처럼 모델이 실행하는 명령 한 번이며, 거의 모든 단계에 하나씩 포함됩니다. 브라우저 명령은 브라우저를 제어하는 도구 호출로, ego-browser 스크립트 하나 또는 agent-browser나 Playwright CLI를 실행하는 bash 명령줄 하나입니다.

탐색, 클릭, 입력 없이 페이지를 읽는 명령, 페이지 변경과 읽기를 결합한 명령, 명시적 스냅샷 요청, 모델이 작성한 JavaScript를 실행하는 명령을 집계했습니다. 분모는 해당 도구의 25회 시도에 포함된 모든 브라우저 명령입니다. 휴대전화 작업의 사이트당 단계 수는 모델이 해당 사이트를 처음 연 순간부터 다음 사이트를 열 때까지의 단계를 센 값입니다.

시간은 모델 대기 시간과 도구 호출 실행 시간의 합이므로 DeepSeek API를 기다리는 시간을 포함합니다. 속도와 비용은 세 도구가 모두 통과한 10개 작업에서 비교합니다. 비용은 각 시도의 토큰 사용량에 DeepSeek 피크 시간대의 정가를 적용한 값입니다. 입력은 토큰 100만 개당 $0.30, 캐시 읽기는 토큰 100만 개당 $0.006, 출력은 토큰 100만 개당 $1.20입니다. 비피크 시간대 요금은 그 절반입니다. 통과 시도당 비용은 25회 전체 시도의 비용을 통과한 시도 수로 나눈 값입니다.

전체 결과

각 셀은 해당 도구가 작업을 한 번 시도한 결과, 시간(DeepSeek API에서 모델 응답을 기다리는 시간과 도구 호출 실행 시간의 합, 초), 비용(미국 달러)을 나타냅니다.

작업작업 유형ego-browserPlaywright CLIagent-browser
규정에 맞는 여행 예약웹 앱 워크플로통과, 168.5 s, $0.040통과, 172.0 s, $0.034단계 소진, 516.6 s, $0.072
서비스 모니터를 기준에 맞게 조정웹 앱 워크플로통과, 126.8 s, $0.035통과, 161.5 s, $0.032통과, 371.1 s, $0.060
청구서와 결제 내역을 대조하고 이의 제기웹 앱 워크플로통과, 209.0 s, $0.052통과, 248.5 s, $0.048통과, 721.4 s, $0.061
재주문점에 따라 구매 주문서 생성웹 앱 워크플로통과, 126.6 s, $0.019통과, 130.5 s, $0.021통과, 333.5 s, $0.036
Mac 노트북 세 모델 비교1~3개 사이트에서 조회통과, 246.6 s, $0.071통과, 464.0 s, $0.088통과, 295.1 s, $0.069
여섯 영화의 흥행 수입 대조1~3개 사이트에서 조회통과, 148.8 s, $0.040통과, 139.1 s, $0.024통과, 208.4 s, $0.029
영국 회사 네 곳의 KYC 현황1~3개 사이트에서 조회통과, 67.0 s, $0.031오답, 252.9 s, $0.048오답, 170.2 s, $0.044
임상시험을 의약품 허가사항과 연결1~3개 사이트에서 조회통과, 208.9 s, $0.056오답, 242.6 s, $0.054통과, 284.7 s, $0.049
FRED의 물가상승 데이터를 BLS와 대조1~3개 사이트에서 조회통과, 79.6 s, $0.030통과, 238.5 s, $0.037통과, 198.6 s, $0.027
항공편 검색 사이트에서 최저가 논스톱 항공권 찾기1~3개 사이트에서 조회통과, 525.4 s, $0.079단계 소진, 2136.3 s, $0.076단계 소진, 912.6 s, $0.080
MDN과 Can I use의 웹 기능1~3개 사이트에서 조회오답, 196.7 s, $0.051통과, 181.9 s, $0.036오답, 157.9 s, $0.036
강의, 코드, 논문으로 학습 노트 작성1~3개 사이트에서 조회통과, 503.1 s, $0.043통과, 1289.0 s, $0.085통과, 423.1 s, $0.036
ARC Prize 리더보드 차트 읽기탐색형 조사통과, 125.4 s, $0.068통과, 227.0 s, $0.066통과, 390.5 s, $0.122
EU 연산량 기준을 넘는 모델탐색형 조사통과, 57.6 s, $0.036통과, 87.9 s, $0.027통과, 216.9 s, $0.063
위키백과 표의 원출처 추적탐색형 조사오답, 168.5 s, $0.053통과, 316.0 s, $0.064오답, 435.7 s, $0.092
오픈 소스 프로젝트 8개의 X 보안 게시물을 보안 공지와 대조X 게시물을 다른 출처와 대조통과, 1128.3 s, $0.123단계 소진, 1321.6 s, $0.102단계 소진, 1467.7 s, $0.096
제품 출시 8건: X 게시물과 보도자료 대조X 게시물을 다른 출처와 대조오답, 1011.8 s, $0.090단계 소진, 778.1 s, $0.071오답, 753.7 s, $0.092
X의 SpaceX 발사에 관한 게시물과 Wikipedia 대조X 게시물을 다른 출처와 대조통과, 544.1 s, $0.029통과, 1086.8 s, $0.071통과, 835.3 s, $0.057
중앙은행 12곳의 금리 결정9~12개 사이트에서 같은 항목 수집오답, 339.0 s, $0.121단계 소진, 397.0 s, $0.073단계 소진, 423.1 s, $0.082
개발자 콘퍼런스 9개의 기조연설9~12개 사이트에서 같은 항목 수집단계 소진, 814.3 s, $0.142단계 소진, 561.5 s, $0.098단계 소진, 551.0 s, $0.071
전기 SUV 9종9~12개 사이트에서 같은 항목 수집단계 소진, 478.8 s, $0.101단계 소진, 522.8 s, $0.083단계 소진, 737.8 s, $0.074
공개 가중치 모델 9개9~12개 사이트에서 같은 항목 수집통과, 420.2 s, $0.108단계 소진, 572.8 s, $0.109단계 소진, 529.5 s, $0.109
9개 브랜드의 플래그십 휴대전화9~12개 사이트에서 같은 항목 수집통과, 354.4 s, $0.069단계 소진, 552.4 s, $0.082단계 소진, 521.6 s, $0.071
SaaS 공급업체 9곳의 컴플라이언스9~12개 사이트에서 같은 항목 수집단계 소진, 411.8 s, $0.072단계 소진, 863.8 s, $0.114단계 소진, 661.6 s, $0.071
서버리스 플랫폼 9개의 무료 요금제9~12개 사이트에서 같은 항목 수집단계 소진, 396.3 s, $0.089통과, 337.3 s, $0.100오답, 494.7 s, $0.081