웹 작업 72개에서 DeepSeek V4.1 Flash와 GPT-6.1 Sol의 브라우저 조작 비교

저희라면 여러 사이트를 넘나들며 작업하는 에이전트에는 GPT-6.1 Sol을, 하나의 웹 앱 안에서 진행되는 워크플로에는 DeepSeek V4.1 Flash를 선택하겠습니다. 작업 72개를 ego-browser에서 각 모델로 두 번씩 실행했으므로 모델별 시도 횟수는 144회입니다. GPT-6.1 Sol은 144회 중 121회(84.0%), DeepSeek V4.1 Flash는 82회(56.9%)를 통과했습니다. 두 모델이 모든 시도에서 통과한 작업 29개에서 작업당 시간과 비용은 GPT-6.1 Sol이 219.7초와 $0.310, DeepSeek V4.1 Flash가 321.7초와 $0.047였습니다.
실행 기록을 읽어 보니 두 모델의 작업 방식이 달랐습니다. GPT-6.1 Sol은 명령 하나로 여러 사이트를 다루는 경우가 많았고, DeepSeek V4.1 Flash는 한 번에 한 페이지에서 작업하며 계속 탐색했습니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 DeepSeek V4.1 Flash는 23번의 시도에서 한도인 100단계를 모두 사용했습니다. 하나의 웹 앱 안에서 작업하는 테스트 앱에서는 GPT-6.1 Sol과 통과율 및 속도가 거의 같았고, 비용은 약 육분의 일이었습니다.
두 모델 모두 운영할 때 대비해야 할 약점이 있습니다. GPT-6.1 Sol은 때로 탐색을 너무 일찍 멈춥니다. 작업 3개에서 두 번 모두 실패했지만 계속 탐색한 DeepSeek V4.1 Flash는 두 번 모두 통과했습니다. 한편 DeepSeek V4.1 Flash는 답변한 횟수가 더 적었는데도 오답은 더 많았습니다. 144번의 시도 중 34번이 오답으로 끝났고, GPT-6.1 Sol은 23번이었습니다.
성공률, 속도와 비용
통과율과 속도는 GPT-6.1 Sol이 앞서며, DeepSeek V4.1 Flash의 비용은 그 약 15%입니다. 시간과 비용은 두 모델이 모든 시도에서 통과한 작업 29개로 비교하므로 어느 모델의 수치에도 실패한 작업은 포함되지 않습니다. 전체 작업 72개를 다루는 행에는 실패한 시도도 포함됩니다.
| 지표 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| 성공률, 전체 작업 72개 | 84.0%(시도 144회 중 121회) | 56.9%(시도 144회 중 82회) |
| 작업당 시간, 두 모델이 매번 통과한 작업 29개 | 219.7 s | 321.7 s |
| 작업당 시간, 전체 작업 72개 | 321.6 s | 511.4 s |
| 작업당 비용, 두 모델이 매번 통과한 작업 29개 | $0.310 | $0.047 |
| 작업당 비용, 전체 작업 72개 | $0.483 | $0.071 |
| 통과한 시도당 비용, 전체 작업 72개 | $0.575 | $0.124 |
| 작업당 도구 호출 수, 전체 작업 72개 | 34.6 | 61.6 |
2026년 11월 7일, 두 모델 모두 ego-browser에서 실행한 결과입니다. 각 모델로 각 작업을 두 번씩 실행했습니다. 시간에는 각 모델의 API 응답을 기다린 시간도 포함됩니다.
DeepSeek V4.1 Flash의 비용이 적게 드는 이유는 작업량이 적어서가 아니라 단가가 낮기 때문입니다. 작업당 도구 호출은 61.6회였고 GPT-6.1 Sol은 34.6회였습니다. 통과한 시도당으로 계산해도 DeepSeek V4.1 Flash는 $0.124, GPT-6.1 Sol은 $0.575였습니다.
통과율 차이의 대부분은 한 종류의 작업에서 나옵니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 GPT-6.1 Sol은 64회 중 51회, DeepSeek V4.1 Flash는 21회를 통과했습니다. 웹 앱 워크플로에서는 두 모델이 30회 중 각각 29회와 28회를 통과했습니다.
| 작업 종류 | 작업 수 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| 웹 앱 워크플로 | 15 | 96.7% (29/30) | 93.3% (28/30) |
| 소수 사이트에서 검색 및 비교 | 8 | 93.8% (15/16) | 81.3% (13/16) |
| 조사와 종합 | 12 | 66.7% (16/24) | 62.5% (15/24) |
| X 게시물과 다른 출처 대조 | 5 | 100% (10/10) | 50.0% (5/10) |
| 8개 이상 사이트에서 같은 필드 수집 | 32 | 79.7% (51/64) | 32.8% (21/64) |
| 전체 작업 | 72 | 84.0% (121/144) | 56.9% (82/144) |
성공률은 작업별 두 번의 시도 중 통과한 시도의 비율입니다.
웹 앱 워크플로에서는 두 모델의 통과율 차이가 거의 없어 비용이 선택을 가릅니다. 여러 사이트를 넘나드는 작업에서는 GPT-6.1 Sol이 훨씬 더 자주 통과했습니다.
GPT-6.1 Sol의 작업 방식
GPT-6.1 Sol은 명령 하나로 여러 사이트를 다루는 경우가 많습니다. 여러 사이트에 걸친 작업에서는 사이트를 각각 별도 탭에 열어 두고, ego-browser 명령마다 여러 탭의 작업을 진척시킵니다. 두 모델에는 같은 ego-browser 스킬 파일을 제공했으며, 이 파일은 작업에 필요할 때 여러 탭을 열어 두는 방법을 설명합니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 GPT-6.1 Sol의 브라우저 명령 중 56%가 두 개 이상의 탭에서 작업했습니다. DeepSeek V4.1 Flash에서는 이 비율이 1% 미만이었습니다.
지진 작업이 이를 보여 줍니다. 2025년에 발생한 지진 하나에 대해 기관 9곳이 보고한 시각, 규모, 깊이를 요구합니다. GPT-6.1 Sol은 명령 하나로 USGS의 지진 페이지를 읽고, EMSC의 지진 페이지에서 과학 데이터를 열고, GFZ의 지진 페이지를 연 뒤 네 번째 탭을 INGV로 이동시켰습니다. 두 번의 시도 모두 통과했고, 도구 호출은 각각 40회와 32회였습니다. DeepSeek V4.1 Flash는 단일 탭에서 기관 9곳을 하나씩 살피며 각 기관의 검색 양식을 차례로 채웠고, 두 시도 모두 100단계를 전부 사용했습니다.
이번 실행에서 GPT-6.1 Sol은 더 적은 도구 호출로 더 빨리 마쳤습니다. 두 모델이 모든 시도에서 통과한 작업 29개에서 작업당 도구 호출은 28.6회였고 DeepSeek V4.1 Flash는 43.0회였습니다. 이 중 웹 앱 밖에서 이루어지는 작업 16개에서는 GPT-6.1 Sol이 14개에서 더 빨랐습니다. 웹 앱 워크플로에서는 이 모델의 브라우저 명령 중 두 개 이상 탭에서 작업한 비율이 3%에 불과했고, 두 모델의 소요 시간은 거의 같았습니다.
GPT-6.1 Sol의 약점은 때로 탐색을 너무 일찍 멈춘다는 점입니다. 작업 3개에서 두 번 모두 실패했고 DeepSeek V4.1 Flash는 두 번 모두 통과했습니다. LiveBench 작업에서 두 모델은 리더보드에서 추론 강도 High인 GPT-5.4를 찾았지만 xHigh 행만 발견했습니다. 도구를 12회 호출한 뒤 GPT-6.1 Sol은 페이지에 해당 점수가 없다고 보고했습니다. DeepSeek V4.1 Flash는 계속 탐색해 같은 페이지 아래쪽의 Insights 섹션에 있는 모델 선택 컨트롤에서 점수 75.1을 찾았습니다.
프런트엔드 프레임워크 작업도 비슷했습니다. 한 시도에서 GPT-6.1 Sol은 Next.js 릴리스 목록에서 “16.3.”을 검색한 뒤 맨 위 결과인 8월 21일의 16.3.2를 보고했습니다. DeepSeek V4.1 Flash는 대부분 카나리 빌드인 릴리스 목록을 페이지를 넘겨 가며 살펴보고, 9월 30일에 공개된 16.3.8을 찾았습니다. GPT-6.1 Sol이 사이트에 값이 없다고 보고하거나 검색 결과 맨 위 항목을 채택한다면, 답변을 사용하기 전에 그 값을 직접 확인하겠습니다.
DeepSeek V4.1 Flash의 작업 방식
DeepSeek V4.1 Flash는 한 번에 한 페이지에서 작업하며 원하는 것을 찾을 때까지 계속 탐색합니다. 작업당 도구 호출은 61.6회였고 GPT-6.1 Sol은 34.6회였습니다. 이러한 끈기 덕분에 GPT-6.1 Sol이 실패한 LiveBench와 프런트엔드 프레임워크 작업을 통과했습니다.
하나의 웹 앱 안에서는 한 번에 한 페이지에서 작업해도 차이가 크지 않았습니다. 웹 앱 워크플로 15개는 여행 예약 앱이나 경비 앱처럼 새 데이터를 채워 넣은 테스트 앱에서 실행합니다. DeepSeek V4.1 Flash는 여기서 30회 중 28회, GPT-6.1 Sol은 29회를 통과했습니다. 두 모델이 모든 시도에서 통과한 워크플로 13개에서 작업당 시간과 비용은 DeepSeek V4.1 Flash가 173.0초와 $0.028, GPT-6.1 Sol이 169.3초와 $0.170이었습니다.
정책에 맞는 출장을 예약하는 작업이 대표적인 예입니다. 에이전트는 출장 정책에 맞는 왕복 항공편을 예약하고, 통로 쪽 좌석을 선택하고, 행사장에서 한 마일 이내의 호텔을 예약해야 합니다. 두 모델 모두 두 번의 시도를 통과했습니다. 작업당 시간과 비용은 DeepSeek V4.1 Flash가 189.2초와 $0.033, GPT-6.1 Sol이 199.4초와 $0.253이었습니다.
8개 이상 사이트를 넘나들면 같은 작업 방식으로는 단계를 모두 소진하게 됩니다. 이 작업 32개에서 DeepSeek V4.1 Flash는 64회 중 21회, GPT-6.1 Sol은 51회를 통과했습니다. 전자의 작업당 도구 호출은 82.2회로, GPT-6.1 Sol의 41.1회의 두 배였습니다. 100단계를 전부 사용한 시도 26회 중 23회가 이 작업들이었습니다.
DeepSeek V4.1 Flash가 답변을 내놓더라도 모델 자체 데이터와 읽은 페이지를 바탕으로 결론을 확인하겠습니다. 실패한 시도는 62회로, 34회는 오답으로, 28회는 답변 없이 끝났습니다. 답변이 없었던 28회 중 26회는 100단계를 전부 사용했고, 1회는 DeepSeek API가 서버 오류를 반환해 종료됐습니다. GPT-6.1 Sol의 실패한 시도 23회는 모두 오답으로 끝났습니다. 플래그십 휴대전화 작업의 한 시도에서 DeepSeek V4.1 Flash가 만든 표에는 Galaxy S26이 167 g으로 기재돼 있었습니다. 그런데 표 아래 문장은 186 g인 motorola signature를 가장 가벼운 휴대전화로 꼽았습니다.
어떤 모델을 쓸까
여러 사이트를 넘나들며 작업하는 에이전트에는 ego-browser에서 GPT-6.1 Sol을 사용하세요. 시도의 84.0%를 통과했고 단계를 소진한 적이 없었습니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 64회 중 51회를 통과했으며, 여러 사이트에 걸친 작업도 더 빨리 마쳤습니다.
하나의 웹 앱 안에서 진행되는 워크플로에는 DeepSeek V4.1 Flash를 사용하세요. 테스트 앱에서는 30회 중 28회를 통과했고, 소요 시간은 GPT-6.1 Sol과 거의 같으면서 비용은 약 육분의 일이었습니다. 8개 이상 사이트를 넘나드는 작업에서는 64회 중 21회만 통과했으므로 의지하지 않겠습니다.
소수 사이트에서의 정보 조회와 조사 작업에서는 시간과 비용 중 무엇을 우선할지 선택해야 합니다. DeepSeek V4.1 Flash는 정보 조회에서 16회 중 13회, 조사에서 24회 중 15회를 통과했고, GPT-6.1 Sol은 각각 16회 중 15회와 24회 중 16회를 통과했습니다. 두 종류 모두 DeepSeek V4.1 Flash가 더 저렴했지만 시간은 더 걸렸습니다.

어떤 모델을 선택하든 답변의 핵심 값을 확인하세요. 두 모델 모두 겉보기에는 완전하지만 잘못된 값이 들어 있는 답변을 내놓기도 했습니다. 두 모델을 추론 강도 high로 설정해 ego-browser에서 실행했습니다. ego-browser는 ego(lite)와 함께 제공되며 이를 에이전트의 브라우저로 제어합니다.
자주 묻는 질문
브라우저 조작에서 DeepSeek V4.1 Flash는 GPT-6.1 Sol만큼 잘하나요?
하나의 웹 앱 안에서는 거의 그렇지만, 여러 사이트를 넘나들 때는 그렇지 않습니다. 웹 앱 워크플로에서 DeepSeek V4.1 Flash는 30회 중 28회, GPT-6.1 Sol은 29회를 통과했습니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 DeepSeek V4.1 Flash는 64회 중 21회, GPT-6.1 Sol은 51회를 통과했습니다. 전체 작업 72개에서 통과한 시도의 비율은 각각 56.9%와 84.0%였습니다.
브라우저에서 GPT-6.1 Sol이 DeepSeek V4.1 Flash보다 빠른 이유는 무엇인가요?
이번 실행에서 GPT-6.1 Sol은 도구 호출이 더 적게 필요했는데, 명령 하나로 여러 사이트를 다루는 경우가 많은 것도 한 이유입니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서 브라우저 명령의 56%가 두 개 이상 탭에서 작업했고, DeepSeek V4.1 Flash는 1% 미만이었습니다. 두 모델이 모든 시도에서 통과한 작업 29개에서 작업당 호출 수와 시간은 GPT-6.1 Sol이 28.6회와 219.7초, DeepSeek V4.1 Flash가 43.0회와 321.7초였습니다. 웹 앱 워크플로에서는 두 모델의 소요 시간이 거의 같았습니다.
브라우저 작업에서 DeepSeek V4.1 Flash는 GPT-6.1 Sol보다 얼마나 저렴한가요?
DeepSeek V4.1 Flash의 비용은 GPT-6.1 Sol의 약 15%입니다. 두 모델이 모든 시도에서 통과한 작업 29개에서 작업당 비용은 DeepSeek V4.1 Flash가 $0.047, GPT-6.1 Sol이 $0.310이었습니다. 전체 작업 72개에서는 작업당 DeepSeek V4.1 Flash가 $0.071, GPT-6.1 Sol이 $0.483이었습니다. 통과한 시도당 비용은 DeepSeek V4.1 Flash가 $0.124, GPT-6.1 Sol이 $0.575였습니다.
DeepSeek V4.1 Flash는 여러 사이트를 넘나드는 작업에서 왜 실패하나요?
이 그룹에서 실패한 시도의 약 절반은 단계를 소진한 데서 비롯됩니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서는 한 번에 한 페이지에서 작업해 도구를 작업당 82.2회 호출했고, GPT-6.1 Sol은 41.1회였습니다. 이 작업들에서 실패한 시도 43회 중 23회는 100단계를 모두 사용한 뒤 답변 없이 끝났습니다.
GPT-6.1 Sol은 일부 브라우저 작업에서 왜 잘못된 결과를 내놓나요?
LiveBench와 프런트엔드 프레임워크 작업에서는 탐색을 너무 일찍 멈췄습니다. LiveBench 작업에서 GPT-6.1 Sol은 도구를 12회 호출한 뒤 페이지에 점수가 없다고 보고했습니다. DeepSeek V4.1 Flash는 같은 페이지 아래쪽의 Insights 섹션에서 그 점수를 찾았습니다. GPT-6.1 Sol이 두 번 모두 실패한 작업 3개에서 DeepSeek V4.1 Flash는 두 번 모두 통과했습니다.
DeepSeek V4.1 Flash는 GPT-6.1 Sol보다 실수가 더 많나요?
그렇습니다. DeepSeek V4.1 Flash는 시도 144회 중 34회가 오답으로 끝났고, GPT-6.1 Sol은 23회였습니다. DeepSeek V4.1 Flash는 시도 28회가 답변 없이 끝나 답변을 내놓은 횟수도 더 적었습니다. 플래그십 휴대전화 작업의 한 시도에서 자체 표에는 Galaxy S26을 167 g으로 기재했지만, 요약에서는 186 g인 휴대전화를 가장 가볍다고 꼽았습니다.
DeepSeek V4.1 Flash는 웹 앱에서 양식을 채우고 워크플로를 실행할 수 있나요?
그렇습니다. 테스트 앱의 웹 앱 워크플로 15개에서 DeepSeek V4.1 Flash는 30회 중 28회, GPT-6.1 Sol은 30회 중 29회를 통과했습니다. 작업에는 출장 예약, 록박스 입금 처리, 경비 보고서 승인이 포함됐습니다. 두 모델이 모든 시도에서 통과한 작업 13개에서 작업당 비용은 DeepSeek V4.1 Flash가 $0.028, GPT-6.1 Sol이 $0.170이었습니다.
DeepSeek V4.1 Flash가 GPT-6.1 Sol보다 저렴하게 처리할 수 있는 브라우저 작업은 무엇인가요?
주로 하나의 웹 앱 안에서 진행되는 워크플로입니다. 웹 앱 워크플로 15개 중 11개가 세 가지 조건을 충족했습니다. 이 작업 11개에서 DeepSeek V4.1 Flash는 GPT-6.1 Sol과 통과 횟수가 같았고, 소요 시간 증가는 최대 10%였으며 비용은 삼분의 일 미만이었습니다. 다른 세 작업도 같은 조건을 충족했습니다. FRED와 BLS 데이터로 인플레이션 브리핑을 만들기, 강의·코드·논문으로 학습 노트를 작성하기, Linux 배포판의 보안 권고문 아홉 건을 대조해 sudo CVE 하나를 확인하기였습니다.
DeepSeek V4.1 Flash의 도구 호출 수는 GPT-6.1 Sol과 비교해 어느 정도인가요?
전체 작업 72개에서 DeepSeek V4.1 Flash는 작업당 도구를 61.6회 호출해 GPT-6.1 Sol의 34.6회보다 약 78% 많았습니다. 8개 이상 사이트에서 같은 필드를 수집하는 작업에서는 DeepSeek V4.1 Flash가 작업당 82.2회로, GPT-6.1 Sol의 41.1회의 두 배였습니다. 웹 앱 워크플로에서는 DeepSeek V4.1 Flash가 작업당 33.3회, GPT-6.1 Sol이 26.0회였습니다.
브라우저 에이전트에 DeepSeek V4.1 Flash를 쓸 가치가 있나요?
하나의 웹 앱 안에서 진행되는 워크플로에는 있습니다. DeepSeek V4.1 Flash는 여기서 30회 중 28회를 통과했고, 비용은 GPT-6.1 Sol의 약 육분의 일이었습니다. 여러 사이트를 넘나들며 작업하는 에이전트라면 GPT-6.1 Sol이 더 나은 선택입니다. 시도의 84.0%를 통과한 반면 DeepSeek V4.1 Flash는 56.9%를 통과했기 때문입니다.
테스트 방법
2026년 11월 7일, macOS에서 ego(lite) 0.6.3.2와 ego-browser를 사용해 두 모델을 실행했습니다. 두 모델 모두 ego-browser 스킬 파일을 제공한 pi 에이전트 실행 프레임워크에서 실행했습니다. 모델 ID deepseek-flash와 gpt-6.1-sol로 호출했고 추론 강도는 high로 설정했습니다. 두 모델의 시도당 한도는 동일하게 100단계였습니다. 한 단계는 모델의 한 차례 응답이며, 거의 모든 단계에서 모델은 도구를 한 번 호출했습니다. 각 모델로 작업 72개를 두 번씩 실행했으므로 모델별 시도는 144회입니다.

작업은 복잡한 웹 자동화 작업 72개입니다. 일부는 실제 웹사이트에서 실행하고, 일부는 새 데이터를 채워 넣은 테스트 앱에서 실행합니다. 각 작업에서 요구하는 일의 종류에 따라 다음과 같이 분류했습니다.
| 작업 종류 | 작업 수 | 작업 예시 |
|---|---|---|
| 웹 앱 워크플로 | 15 | 규정에 맞는 출장 예약 |
| 소수 사이트에서 검색 및 비교 | 8 | FRED 데이터로 작성한 인플레이션 브리핑을 BLS와 대조 |
| 조사와 종합 | 12 | 위키백과 표의 출처 추적 |
| X 게시물과 다른 출처 대조 | 5 | X의 SpaceX 발사 게시물을 위키백과와 대조 |
| 8개 이상 사이트에서 같은 필드 수집 | 32 | 중앙은행 12곳의 금리 결정 |
각 작업은 한 그룹에만 속합니다. X 게시물을 확인하는 작업 5개는 계정 8개를 다루더라도 별도 그룹으로 분류합니다.
각 작업은 3~10개 검사 항목으로 채점합니다. 모든 검사 항목을 통과한 시도만 성공으로 처리합니다.
각 모델의 작업 방식을 살펴보기 위해 두 모델 시도의 세션 로그를 읽었습니다. 한 브라우저 명령에서 모델이 ego-browser에 전달한 스크립트가 두 개 이상의 탭을 읽거나 조작했다면, 그 명령이 두 개 이상 탭에서 작업한 것으로 셉니다.
성공률은 전체 시도 중 통과한 시도의 비율입니다. 시간, 비용, 도구 호출 수를 포함한 이 글의 모든 작업당 수치는 해당 작업의 두 시도 평균입니다. 시간은 시도 시작부터 최종 답변까지 측정하며, 답변이 없으면 마지막 단계까지 측정합니다. 각 모델의 API 응답을 기다린 시간도 포함합니다. 비용은 각 시도의 토큰을 제공업체 요금으로 계산한 값입니다. 통과한 시도당 비용은 시도 144회 전체 비용을 통과 횟수로 나눕니다. 시간과 비용을 비교할 때는 문장에서 달리 명시하지 않는 한 두 모델이 모든 시도에서 통과한 작업 29개를 사용합니다.
아래 결과 열의 “같은 통과 횟수, 더 저렴”은 DeepSeek V4.1 Flash가 GPT-6.1 Sol과 통과 횟수가 같고, 소요 시간 증가는 최대 10%이며, 비용은 삼분의 일 미만이라는 뜻입니다. “통과 횟수는 같지만 더 느림”은 두 모델의 통과 횟수는 같지만 해당 시간·비용 조건은 충족하지 못했다는 뜻입니다.
전체 결과
각 셀은 2회 중 통과 횟수, 작업당 시간, 작업당 비용을 차례로 보여 줍니다. 시간과 비용은 해당 작업의 두 시도 평균이며, 시간에는 각 모델의 API 응답을 기다린 시간도 포함됩니다.
| 작업 | 작업 종류 | 결과 | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| 매칭되지 않은 카드 결제 내역을 경비 보고서에 추가 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| 록박스 입금 처리 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| 출장 경비 보고서 승인 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| 규정에 맞는 출장 예약 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| 서비스 모니터를 기준에 맞게 조정 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| 운송업체 정시 운송 실적 검토와 알림 규칙 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| 일별 식대 청구 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| 일별 주행 거리 경비 청구 | 웹 앱 워크플로 | 통과 횟수는 같지만 더 느림 | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| 휴가 일정에 맞춰 온콜 근무 공백 메우기 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| 재주문 기준점에 따라 구매 주문서 생성 | 웹 앱 워크플로 | 통과 횟수는 같지만 더 느림 | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| 파손된 주문 상품의 반품 신청 | 웹 앱 워크플로 | 통과 횟수는 같지만 더 느림 | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| 오류 예산에 따라 배포 동결 또는 해제 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| 청구서와 결제를 대조하고 이의 제기 시작 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| 동결 기간에 이루어진 릴리스 롤백 | 웹 앱 워크플로 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| 인시던트 사후 분석 보고서 작성 및 제출 | 웹 앱 워크플로 | 같은 통과 횟수, 더 저렴 | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| 항공권 검색 사이트의 최저가 무경유 항공편 요금 | 소수 사이트에서 검색 및 비교 | 통과 횟수는 같지만 더 느림 | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| Mac 노트북 세 대 비교 | 소수 사이트에서 검색 및 비교 | 통과 횟수는 같지만 더 느림 | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| FRED 데이터로 작성한 인플레이션 브리핑을 BLS와 대조 | 소수 사이트에서 검색 및 비교 | 같은 통과 횟수, 더 저렴 | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| 영국 기업 네 곳의 KYC 정보 스냅샷 | 소수 사이트에서 검색 및 비교 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| 임상시험과 의약품 허가사항 대조 | 소수 사이트에서 검색 및 비교 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| 영화 여섯 편의 박스오피스 수치 대조 | 소수 사이트에서 검색 및 비교 | 통과 횟수는 같지만 더 느림 | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| 강의·코드·논문으로 학습 노트 작성 | 소수 사이트에서 검색 및 비교 | 같은 통과 횟수, 더 저렴 | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| MDN과 Can I use의 웹 기능 | 소수 사이트에서 검색 및 비교 | 통과 횟수는 같지만 더 느림 | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| Wayback 저장 페이지에서 API 가격 확인 | 조사와 종합 | DeepSeek V4.1 Flash의 통과 횟수가 더 많음 | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| ARC Prize 리더보드 차트 | 조사와 종합 | 통과 횟수는 같지만 더 느림 | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| 주간 AI 요약의 주장 10개 확인 | 조사와 종합 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| 월 청구액을 기준으로 중국 모델 API 다섯 개 비교 | 조사와 종합 | 통과 횟수는 같지만 더 느림 | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| 최첨단 모델 8개의 EU AI법 정보 공개 사항 점검 | 조사와 종합 | 둘 다 통과하지 못함 | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| 변경 기록 여섯 개에서 9월 API 모델 출시 목록 작성 | 조사와 종합 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| EU 연산량 기준을 초과하는 모델 | 조사와 종합 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| GLM 5.3용 OpenRouter 엔드포인트 선택 | 조사와 종합 | 통과 횟수는 같지만 더 느림 | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| 독일 보험금 청구 업무에 쓸 모델을 여섯 요건에 맞춰 선택 | 조사와 종합 | DeepSeek V4.1 Flash의 통과 횟수가 더 많음 | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| 6개 요금 페이지로 지원 티켓 업무량의 비용 산정 | 조사와 종합 | 통과 횟수는 같지만 더 느림 | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| LiveBench 릴리스 하나 확인 | 조사와 종합 | DeepSeek V4.1 Flash의 통과 횟수가 더 많음 | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| 위키백과 표의 출처 추적 | 조사와 종합 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 구단 영입 8건을 X와 구단 사이트로 대조 | X 게시물과 다른 출처 대조 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 제품 출시 8건의 X 게시물을 보도자료와 대조 | X 게시물과 다른 출처 대조 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| 대학교 8곳의 노벨상 관련 X 게시물 | X 게시물과 다른 출처 대조 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| 오픈 소스 프로젝트 8개의 보안 발표를 X와 보안 권고문으로 대조 | X 게시물과 다른 출처 대조 | 통과 횟수는 같지만 더 느림 | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| X의 SpaceX 발사 게시물을 위키백과와 대조 | X 게시물과 다른 출처 대조 | 통과 횟수는 같지만 더 느림 | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| 기상 기관 11곳의 2025년 기후 발표문 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| 공항 8곳의 2025년 이용 실적 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| 리그 9개의 2025-26 시즌 챔피언 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 브랜드 사이트 8곳의 카메라 8종 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 개발자 설문 조사 8개 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 전기 SUV 9종 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 공개 가중치 모델 9개 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| SaaS 공급업체 9곳의 규정 준수 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| 표준 9개의 현행 판 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| 브랜드 9곳의 플래그십 휴대전화 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| CI 서비스 9개의 무료 요금제 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| 서버리스 플랫폼 9개의 무료 요금제 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| 개발자 콘퍼런스 9곳의 기조연설 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| 지역 9곳의 가장 최근 선거 | 8개 이상 사이트에서 같은 필드 수집 | 둘 다 통과하지 못함 | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| 언어 런타임 9개의 최신 릴리스 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| 데스크톱 브라우저 9개의 최신 안정 버전 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| 프런트엔드 프레임워크 9개의 최신 안정 버전 | 8개 이상 사이트에서 같은 필드 수집 | DeepSeek V4.1 Flash의 통과 횟수가 더 많음 | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| 관할 지역 9곳의 최저임금 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| 음악 서비스 9곳의 앨범 하나 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| 같은 책의 판본: 출처 10곳 | 8개 이상 사이트에서 같은 필드 수집 | DeepSeek V4.1 Flash의 통과 횟수가 더 많음 | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| 충돌 시험 프로그램 9곳의 동일 차종 자료 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| 규제 기관 8곳의 의약품 하나에 관한 자료 | 8개 이상 사이트에서 같은 필드 수집 | 둘 다 통과하지 못함 | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| 기관 9곳의 지진 하나에 관한 자료 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| 등급 심의 기관 8곳의 게임 하나에 관한 자료 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| 같은 판화: 박물관 컬렉션 10개 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| 같은 sudo CVE: 배포판 보안 권고문 9건 | 8개 이상 사이트에서 같은 필드 수집 | 같은 통과 횟수, 더 저렴 | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| 국가별 차트 9개의 같은 주 1위 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| 기관 9곳의 2분기 GDP 최초 추정치 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| 중앙은행 12곳의 금리 결정 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| 공급업체 제품 버전 9개의 지원 일정 | 8개 이상 사이트에서 같은 필드 수집 | 통과 횟수는 같지만 더 느림 | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| 패키지 레지스트리 9곳의 protobuf 런타임 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| 영화제 9곳의 최고상 | 8개 이상 사이트에서 같은 필드 수집 | GPT-6.1 Sol의 통과 횟수가 더 많음 | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
업데이트 기록: 2026년 11월 9일 최초 게시했으며, 2026년 11월 7일 실행 결과를 담았습니다. 작업 72개를 모델별로 두 번씩 시도했습니다.


