66개 브라우저 작업에서 Kimi K3.1 Pro와 Kimi K3를 비교했습니다

테스트한 pi와 ZenMux 구성에서는 더 많은 작업을 완료할 수 있는 Kimi K3.1 Pro를 Kimi K3보다 우선 선택하겠습니다. 두 모델 모두 통과한 26개 작업에서는 평균 시간과 추정 모델 비용도 더 낮았습니다. 이번 Kimi K3.1 Pro와 Kimi K3 비교에서는 66개 작업을 집계했으며, 각 모델이 ego-browser에서 모든 작업을 한 번씩 실행해 모델마다 66회 시도했습니다. Kimi K3.1 Pro는 66회 중 38회(57.6%), Kimi K3는 27회(40.9%) 통과했습니다. 두 모델 모두 통과한 26개 작업에서 Kimi K3.1 Pro는 작업당 400.6초와 $0.374, Kimi K3는 586.1초와 $0.578이 들었습니다.
두 모델의 가장 큰 차이는 끝까지 수행하는지 여부였습니다. Kimi K3는 66회 중 27회 시도에서 단계 한도에 도달하기 전에 답변 없이 종료했습니다. 이 가운데 26회는 “SUSE done. Now Amazon Linux.”와 같은 진행 메모로 끝났습니다. Kimi K3.1 Pro에서는 이런 경우가 0회였습니다. 두 모델 모두 최종 답변을 제출한 35개 작업에서는 Kimi K3.1 Pro가 29개, Kimi K3가 27개를 통과했습니다.
Kimi K3.1 Pro의 약점은 이제 끝까지 작성하게 된 긴 표입니다. 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서는 26회 중 7회 통과했고, Kimi K3는 2회 통과했습니다. 이 새 모델의 오답 24개 중 17개는 이러한 작업에서 나온 표였으므로 사용 전에 표를 검토하겠습니다. 개방형 조사에서는 두 모델 모두 12개 중 6개를 통과했습니다. 두 모델 모두 통과한 다섯 작업에서는 Kimi K3.1 Pro가 더 빠르고 저렴했습니다.
추정 모델 비용이 더 낮은 이유는 Kimi K3.1 Pro의 정가가 더 낮기 때문입니다. Moonshot은 모든 토큰 유형에서 이 모델의 가격을 Kimi K3의 3분의 2로 책정합니다. 전체 66개 작업에서 Kimi K3의 시도가 끝난 뒤에도 계속된 시도에 더 많은 토큰을 사용했는데도, 작업당 비용은 $0.772로 Kimi K3의 $0.871보다 낮았습니다.
성공률
Kimi K3.1 Pro는 더 많은 작업을 통과했습니다. Kimi K3가 실패한 12개 작업을 통과했고, Kimi K3가 통과한 1개 작업에는 실패했습니다. 새로 통과한 12개 중 9개에서 Kimi K3는 답변 없이 종료했으며, 나머지 3개에서는 오답을 냈습니다. 추가로 통과한 12개 중 다섯 개는 8개 이상 사이트에서 동일한 항목을 수집하는 작업이었습니다.
모든 작업 유형에서 Kimi K3.1 Pro는 Kimi K3와 같거나 더 많은 시도를 통과했습니다. 동률인 유형은 개방형 조사뿐이었습니다.
| 작업 유형 | 작업 수 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 8개 이상 사이트에서 동일 항목 수집 | 26 | 26.9%(26회 중 7회) | 7.7%(26회 중 2회) |
| 웹 앱 내부 작업 | 15 | 100%(15회 중 15회) | 86.7%(15회 중 13회) |
| 개방형 조사 | 12 | 50.0%(12회 중 6회) | 50.0%(12회 중 6회) |
| 한 곳에서 세 곳의 사이트를 교차 확인 | 8 | 100%(8회 중 8회) | 62.5%(8회 중 5회) |
| X 게시물 | 5 | 40.0%(5회 중 2회) | 20.0%(5회 중 1회) |
| 전체 작업 | 66 | 57.6%(66회 중 38회) | 40.9%(66회 중 27회) |
성공률은 2026년 11월 3일 실행에서 통과한 시도를 집계한 것입니다. 어느 작업 유형에서도 Kimi K3가 Kimi K3.1 Pro보다 더 많은 시도를 통과하지는 못했습니다.
Kimi K3의 실행은 작업 도중 끝나는 경우가 잦았습니다. 테스트한 pi 에이전트에서 모델은 주로 ego-browser 스크립트 같은 도구 호출로 작업을 진행하며, 도구 호출이 없는 응답을 보내면 실행이 종료됩니다. Kimi K3는 “Google done. Now Cloudflare Workers Free.”처럼 다음 단계를 언급하면서 실제로 수행하지 않는 응답을 보냈습니다. 66회 시도 중 26회에서 이런 일이 발생했으며, 그중 16회는 8개 이상 사이트에서 동일한 항목을 수집하는 26개 작업에 속했습니다. 이 26개 응답은 모두 길이 제한으로 잘린 것이 아니라 모델의 정상적인 종료 신호로 끝났습니다. Kimi K3.1 Pro가 이런 방식으로 끝낸 시도는 0회였습니다.
서버리스 작업에서 차이를 볼 수 있습니다. AWS Lambda에서 Oracle OCI Functions까지 아홉 개 서버리스 플랫폼의 무료 요금제 한도 다섯 가지씩을 조사하는 작업입니다. Kimi K3는 AWS, Azure, Google 페이지를 읽은 뒤 도구 호출 11회 만에 “Google done. Now Cloudflare Workers Free.”라는 말로 멈췄습니다. Kimi K3.1 Pro는 이어 Cloudflare의 Workers 요금 페이지를 열고, 도구 호출 58회로 아홉 플랫폼을 모두 조사해 통과했습니다.

추가로 통과한 나머지 3개에서는 Kimi K3가 틀린 최종 답변을 냈습니다. GDP 작업은 아홉 통계 기관의 최초 추정치와 최신 추정치에서 연율로 환산하지 않은 2분기 성장률을 찾는 것입니다. 두 모델 모두 최초 추정치인 미국 경제분석국의 속보 추정치를 열었습니다. Kimi K3는 페이지 텍스트의 처음 2,500자만 남기는 스크립트를 작성했고, 미국의 두 분기 성장률 값을 모두 “not shown”(표시되지 않음)으로 적었습니다. Kimi K3.1 Pro는 발표문 전체를 출력하고 Technical Notes(기술 주석)의 분기 성장률 표기인 “0.4 percent at a quarterly rate”를 읽었습니다. 2026년 9월 30일 발표된 BEA의 최신 추정치에서도 같은 방식으로 0.6퍼센트를 찾아 미국의 두 셀을 채웠습니다.

두 모델은 실패하는 방식도 다릅니다. 각 시도에는 최대 100스텝이 주어지며, 스텝 하나는 모델이 한 번 응답하는 것을 뜻합니다. Kimi K3의 실패한 시도 39회 중 27회는 스텝 한도 전에 답변 없이 끝났고, 4회는 스텝 한도에 도달했으며, 8회는 오답을 냈습니다. Kimi K3.1 Pro의 실패한 시도 28회 중 24회는 오답, 4회는 스텝 한도 도달이었습니다. 그 오답 24개 중 18개는 Kimi K3가 최종 답변을 전혀 내지 못한 작업에서 나왔습니다. 저희라면 모델을 전환하되, Kimi K3가 최종 답변 없이 끝냈던 작업에서 새 모델이 이제 내놓는 답변을 계속 검토하겠습니다.
Kimi K3.1 Pro가 여전히 틀리는 부분
Kimi K3.1 Pro는 긴 표를 끝까지 작성하지만 모든 셀을 항상 정확하게 채우는 것은 아니므로, 표를 검토할 초안으로 취급하겠습니다. 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서는 26회 중 7회 통과했습니다. 오답 24개 중 17개가 이 작업들에서 나왔으며, 모두 표 자체는 완성했지만 적어도 하나의 값이나 요약 내용이 틀린 답변이었습니다.
예를 들어 중앙은행 작업에서는 요약이 틀렸습니다. 이 작업은 열두 중앙은행의 2026년 첫 금리 결정과 그중 가장 늦게 발표한 은행을 묻습니다. Kimi K3.1 Pro는 스위스국립은행의 2026년 3월 19일 발표문을 열고 자신의 표에 그 날짜를 적었습니다. 그런데도 요약에서는 2월 6일의 인도준비은행이 가장 늦게 발표했다고 썼습니다.
| 작업에서 묻는 내용 | 정답 | Kimi K3.1 Pro의 답변 |
|---|---|---|
| 2026년 첫 결정을 가장 늦게 발표한 은행 | 스위스국립은행, 2026-03-19 | 인도준비은행, 2026-02-06 |
Kimi K3는 같은 작업에서 스위스국립은행을 정확하게 지목했지만, 다른 값을 놓쳐 이 모델도 실패했습니다.

Kimi K3.1 Pro의 표를 사용하기 전에 요약 내용을 표의 각 행과 대조하고, 일부 셀을 뽑아 출처와 확인하세요. Kimi K3는 이 유형의 작업 26개 중 2개를 통과했습니다.
속도
같은 작업에서는 Kimi K3.1 Pro가 더 빠르며, 출력량과 도구 호출 수도 더 적었습니다. 두 모델 모두 통과한 26개 작업에서 작업당 평균 시간은 400.6초로, Kimi K3의 586.1초보다 짧았습니다. 26개 중 21개에서 더 빨랐고, 나머지 5개에서는 Kimi K3가 더 빨랐습니다.
| 두 모델 모두 통과한 26개 작업 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 작업당 시간 | 400.6 s | 586.1 s |
| 작업당 도구 호출 | 25.8 | 33.5 |
| 작업당 출력 토큰 수(추론 포함) | 6,997 | 10,727 |
2026년 11월 3일 실행에서 얻은 작업당 평균입니다.
누군가 결과를 기다리는 에이전트라면, 기다리는 시간이 짧아지는 것은 실질적인 이점이라고 봅니다.
비용
Kimi K3.1 Pro는 작업당 비용이 더 낮으며, 절감은 낮은 정가에서 나옵니다. 전체 66개 작업에서 작업당 $0.772로, Kimi K3의 $0.871보다 낮았습니다. 실패한 시도의 비용까지 포함하면 통과한 시도당 비용은 $1.340 대 $2.130입니다. 두 모델 모두 통과한 26개 작업에서는 작업당 $0.374 대 $0.578이었으며, 그중 24개에서 더 저렴했습니다.
Moonshot의 요금표는 Kimi K3.1 Pro의 100만 토큰당 가격을 입력 $2.00, 캐시된 입력 $0.20, 캐시 쓰기 $2.00, 출력 $10.00로 명시합니다. Kimi K3의 가격은 각각 $3.00, $0.30, $3.00, $15.00입니다. 따라서 새 모델의 가격은 모든 토큰 유형에서 3분의 2입니다.
| 작업당 비용 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| 전체 66개 작업 | $0.772 | $0.871 |
| 전체 66개 작업: Kimi K3.1 Pro의 토큰을 Kimi K3 가격으로 계산 | $1.158 | $0.871 |
| 두 모델 모두 통과한 26개 작업 | $0.374 | $0.578 |
| 두 모델 모두 통과한 26개 작업: Kimi K3.1 Pro의 토큰을 Kimi K3 가격으로 계산 | $0.561 | $0.578 |
| 통과한 시도당 비용, 전체 66개 작업 포함 | $1.340 | $2.130 |
2026년 11월 3일 실행에서 각 시도의 토큰 사용량을 Moonshot 정가로 계산한 비용입니다.
같은 작업의 토큰을 같은 가격으로 계산하면 두 모델의 비용은 비슷합니다. 공통 26개 작업에서 Kimi K3.1 Pro가 쓴 토큰을 Kimi K3 요금으로 계산하면 $0.561로, Kimi K3의 $0.578과 비슷합니다. 전체 66개 작업에서는 $1.158 대 $0.871입니다. Kimi K3가 멈춘 실행에서도 Kimi K3.1 Pro는 계속 작업했기 때문입니다. 더 많은 실행을 마무리하는 모델은 그 작업을 마치는 데에도 토큰을 쓰므로, 토큰 단가보다는 작업당 비용으로 예산을 잡겠습니다.
개방형 조사
개방형 조사에서 Kimi K3.1 Pro로 전환하면 속도와 비용은 개선되지만 통과 수는 늘어나지 않습니다. 이 12개 작업은 목표와 출발점이 될 출처 몇 개를 주고, 경로는 에이전트에 맡깁니다. 두 모델 모두 12개 중 6개를 통과했습니다. Kimi K3.1 Pro는 기존 모델이 실패한 작업 하나를 새로 통과했지만, 기존 모델이 통과한 작업 하나에는 실패했습니다. 두 모델 모두 통과한 5개 작업에서는 작업당 354.9초와 $0.399가 들어, Kimi K3의 795.0초와 $0.901보다 낮았으며, 5개 모두 더 빨랐습니다.
새로 실패한 작업은 무엇을 주의해야 하는지 보여 줍니다. Azure 작업은 후보 모델 일곱 개 중 여섯 가지 요구 사항을 충족하며 Azure의 Germany West Central 지역에서 실행할 수 있는 모델과, 다른 후보 각각이 조건을 충족하지 못하는 이유를 묻습니다. 두 모델 모두 GPT-6 Luna를 골랐습니다. Kimi K3는 Azure의 파트너 모델 페이지도 열고 Claude Sonnet 5.5가 탈락한 이유를 인용했습니다. 이 모델의 Data Zone Standard 배포는 미국에서만 가능했습니다.

Kimi K3.1 Pro는 Azure가 직접 판매하는 모델 표에서 Claude를 제외했고, 해당 페이지는 열지 않았습니다. 이유에는 “not shown”(표시되지 않음)이라고 적었으며 브라우저 명령은 15회로, Kimi K3의 22회보다 적었습니다. 어느 모델을 쓰든 에이전트가 제외한 각 선택지의 이유를 확인하겠습니다.
어떤 모델을 사용할까
테스트한 pi 1.5.0, ZenMux, ego-browser 구성에서는 Kimi K3.1 Pro를 선택하겠습니다. 66회 중 38회 통과해 Kimi K3의 27회보다 많았고, 두 모델 모두 통과한 26개 작업에서는 더 빠르고 저렴했습니다. 테스트한 어느 작업 유형에서도 Kimi K3가 더 많은 시도를 통과하지는 못했습니다.
테스트한 웹 앱과 한 곳에서 세 곳의 사이트를 교차 확인하는 작업에서는 Kimi K3.1 Pro를 선택하겠습니다. 각 유형에서 15개와 8개를 모두 통과했습니다. Kimi K3가 이 유형들에서 실패한 5회 중 네 번은 답변 없이 끝난 실행이었습니다. 이 pi 구성에서 비슷한 다중 사이트 작업을 한다면 역시 새 모델을 고르겠습니다. 26개 중 7개를 통과했고 Kimi K3는 2개를 통과했기 때문입니다. 표는 사용 전에 검토하세요. 두 모델 모두 통과한 다섯 개 개방형 조사 작업에서는 시간과 추정 비용이 더 낮았지만, 이 유형의 전체 통과 수는 같았습니다.
테스트 구성에서는 ZenMux를 통해 moonshotai/kimi-k3.1-pro로 Kimi K3.1 Pro를 사용했습니다. 추론 강도는 high로 설정했으며, pi 에이전트의 bash 도구와 ego-browser 스킬 파일을 썼습니다. ego-browser는 ego(lite)와 함께 제공되며, 에이전트는 ego(lite)를 자신의 브라우저로 조작합니다.
이번 비교에서 ego(lite)의 역할
ego(lite)는 ego-browser가 조작하는 브라우저를, pi는 에이전트 루프를, ZenMux는 두 모델에 대한 접근을 제공했습니다. ego-browser 연동 가이드에서는 이 브라우저가 에이전트에 연결되는 방식을 설명합니다.
pi의 종료 규칙도 모델 선택의 일부입니다. 도구 호출이 없는 응답을 보내면 시도가 끝납니다. 완료 결과의 비교를 비슷한 작업에 적용할 때 이 규칙을 고려하세요. 시간과 모델 비용의 평균은 두 모델 모두 통과한 스물여섯 작업을 대상으로 합니다. 모든 작업이나 다른 에이전트의 종료 동작을 대상으로 한 결과는 아닙니다.
자주 묻는 질문
브라우저 에이전트에는 Kimi K3.1 Pro가 Kimi K3보다 더 좋은가요?
이번 ego-browser의 66개 작업 테스트에서는 그렇습니다. Kimi K3.1 Pro는 66회 중 38회(57.6%), Kimi K3는 27회(40.9%) 통과했습니다. Kimi K3가 실패한 12개 작업을 통과했고, Kimi K3가 통과한 1개 작업에는 실패했습니다.
Kimi K3.1 Pro가 Kimi K3보다 더 저렴한가요?
작업당 비용은 더 저렴합니다. 66개 브라우저 작업에서 Kimi K3.1 Pro는 작업당 $0.772, Kimi K3는 $0.871이 들었습니다. 통과한 시도당 비용은 $1.340 대 $2.130으로 차이가 더 컸습니다.
Kimi K3.1 Pro가 Kimi K3보다 더 빠른가요?
두 모델 모두 마무리한 작업에서는 그렇습니다. 두 모델 모두 통과한 26개 브라우저 작업에서 Kimi K3.1 Pro는 작업당 400.6초, Kimi K3는 586.1초가 걸렸습니다. 작업당 도구 호출은 25.8회 대 33.5회, 출력 토큰은 6,997개 대 10,727개였습니다.
Kimi K3.1 Pro의 100만 토큰당 비용은 얼마인가요?
Moonshot은 Kimi K3.1 Pro의 100만 토큰당 가격을 입력 $2.00, 캐시된 입력 $0.20, 캐시 쓰기 $2.00, 출력 $10.00로 명시합니다. Kimi K3는 각각 $3.00, $0.30, $3.00, $15.00로, 새 모델의 가격은 모든 토큰 유형에서 3분의 2입니다.
Kimi K3는 왜 브라우저 작업 도중 멈추나요?
Kimi K3는 66회 시도 중 26회에서 다음 단계를 말하면서 도구 호출은 하지 않는 응답으로 끝났습니다. pi 에이전트에서는 이 응답이 실행을 종료합니다. 마지막 말은 “SUSE done. Now Amazon Linux.”와 같은 메모였습니다. 이 26회 중 16회는 8개 이상 사이트에서 동일한 항목을 수집하는 작업이었고, Kimi K3.1 Pro에서는 이런 일이 0회였습니다.
Kimi K3.1 Pro에서 가장 많이 개선된 브라우저 작업은 무엇인가요?
Kimi K3.1 Pro가 가장 많은 작업을 추가로 통과한 유형은 8개 이상 사이트에서 동일한 항목을 수집하는 작업으로, 5개를 새로 통과했고 이 유형에서 기존 모델이 통과한 작업을 잃지는 않았습니다. 한 곳에서 세 곳의 사이트를 교차 확인하는 작업 3개, 웹 앱 내부 작업 2개, 개방형 조사 작업 1개, X 게시물 작업 1개도 추가로 통과했습니다.
Kimi K3.1 Pro가 오히려 나빠진 브라우저 작업도 있나요?
66개 중 1개 작업입니다. Kimi K3가 통과한 Azure 모델 선택 작업에서 실패했는데, 이유를 제시하는 페이지를 열지 않고 후보 하나를 제외했기 때문입니다. 반면 Kimi K3가 실패한 12개 작업을 통과했습니다.
Kimi K3.1 Pro는 브라우저에서 여전히 무엇을 틀리나요?
주로 긴 표의 값입니다. 오답 24개 중 17개는 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서 나왔습니다. 한 작업에서는 자신의 표에 정확한 날짜가 있었는데도 요약에서 잘못된 은행을 지목했습니다. 또한 Kimi K3와 마찬가지로 4회 시도에서 100스텝 한도에 도달했습니다.
Kimi K3.1 Pro는 웹 앱 자동화를 얼마나 잘 수행하나요?
Kimi K3.1 Pro는 웹 앱 내부 작업 15개를 모두 통과했고, Kimi K3는 13개를 통과했습니다. 이 작업은 운영 업무, 출장비, 클라우드 콘솔용 테스트 앱에서 실행하며 시도마다 새 데이터를 사용합니다. 두 모델 모두 통과한 13개에서는 작업당 327.0초와 $0.240이 들어, Kimi K3의 454.7초와 $0.383보다 낮았습니다.
브라우저 에이전트를 Kimi K3에서 Kimi K3.1 Pro로 바꿔야 하나요?
테스트한 pi와 ZenMux 구성에서는 전환을 권합니다. Kimi K3.1 Pro는 66회 중 38회, Kimi K3는 27회 통과했으며 두 모델 모두 통과한 26개 작업에서는 평균 시간과 추정 비용도 더 낮았습니다. 8개 이상 사이트에서 수집한 표에는 검토 단계를 유지하세요. 오답 24개 중 17개가 이 작업들에서 나왔기 때문입니다.
테스트 방법
두 모델은 2026년 11월 3일 macOS 26.5를 실행하는 한 대의 Apple silicon Mac에서 실행했습니다. 두 모델 모두 동일한 pi 1.5.0 에이전트를 사용했으며 브라우저 도구는 ego-browser, 스킬 파일도 같은 ego-browser 파일이었습니다. ego(lite)와 ego-browser 버전도 같았습니다. 모델은 Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)와 Kimi K3(moonshotai/kimi-k3)였고, 모두 추론 강도를 high로 설정했으며 동일한 API 제공자인 ZenMux를 통해 접근했습니다.
모델은 짧은 JavaScript 프로그램을 작성해 ego-browser를 조작합니다. 프로그램은 페이지를 불러오고 클릭하거나 양식을 채우며 페이지 텍스트 또는 접근성 스냅샷을 출력합니다. 각 시도의 한도는 최대 100스텝, 최장 60분이었습니다. 한 스텝은 모델의 한 턴, 즉 모델에 대한 요청과 그 응답입니다. 작업 지침은 FINAL ANSWER로 시작하는 메시지로 마무리하라고 모델에 지시합니다.
66개 작업을 집계하며 각 작업은 정확히 하나의 유형에만 속합니다. “8개 이상 사이트에서 동일 항목 수집”(26개)은 아홉 통계 기관의 GDP 발표문처럼 8개 이상 사이트에서 같은 항목 묶음을 수집합니다. “웹 앱 내부 작업”(15개)은 운송사의 알림 규칙 수정처럼 운영 업무, 출장비, 클라우드 콘솔용 테스트 앱에서 실행합니다. “개방형 조사”(12개)는 Azure의 한 지역에서 제공되는 모델 선택처럼 목표와 출처 몇 개를 제시합니다. “한 곳에서 세 곳의 사이트를 교차 확인”(8개)은 임상시험 기록과 의약품 라벨 문서 대조처럼 몇몇 사이트 간의 수치를 비교합니다. “X 게시물”(5개)은 SpaceX의 발사 게시물과 Wikipedia의 발사 목록처럼 X 게시물을 다른 기록과 대조하며, X 게시물 유형으로만 집계합니다.
각 작업에는 채점 항목 목록이 있으며, 66개 작업의 총 채점 항목은 443개입니다. 작업마다 항목 하나는 요청한 값이 모두 최종 답변에 포함됐는지 확인합니다. 나머지 377개는 개별 요청 값을 확인하며, 309개는 공식 사이트에서 미리 확정한 값, 49개는 테스트 앱이 시도마다 생성하는 데이터, 19개는 실제 페이지와 대조하는 값입니다. 최종 답변이 모든 항목을 충족해야만 통과하며, 두 모델은 동일한 항목으로 채점했습니다.
작업은 집계 대상인 66개 중 하나를 뜻하고, 시도는 한 모델이 한 작업을 한 번 실행하는 것이므로 모델마다 시도는 66회입니다. 성공률은 66회 중 통과한 시도의 비율입니다. 전체 결과에는 추가로 여섯 작업을 “집계 제외”로 표시했습니다. 각 작업에서 한 모델의 원래 시도가 해당 작업의 재실행으로 대체됐거나, 유효하게 보관된 첫 시도 기록이 없었습니다. 두 모델 모두 같은 여섯 작업을 제외했습니다. 도구 호출은 모델이 실행한 명령 하나로, 주로 ego-browser 스크립트이며 그 외에는 저장한 페이지 텍스트 검색 같은 셸 또는 파일 명령입니다. 브라우저 명령은 ego-browser 스크립트 하나이며, 스크린샷 설명에서는 브라우저 명령을 셉니다.
작업당 시간은 시도의 시작부터 끝까지 경과한 시간으로, 추론을 포함한 모델 API 대기 시간과 모델의 도구 호출 실행 시간을 포함합니다. 실패한 작업에 쓴 시간은 비교할 수 없으므로, 속도는 두 모델 모두 통과한 26개 작업에서 비교합니다. 비용 추정치는 각 시도에 기록된 입력, 캐시된 입력, 캐시 쓰기, 출력 토큰에 명시된 Moonshot 요금을 적용한 값이며 ZenMux 구독료나 청구서 총액이 아닙니다. 통과한 시도당 비용은 전체 66회 시도의 비용을 통과한 시도 수로 나눈 값입니다.
최종 답변 없이 100스텝을 모두 쓴 시도는 스텝 한도에 도달한 것으로 봅니다. 진행 메모로 끝난 시도는 스텝 한도 전에 모델의 마지막 응답에 텍스트는 있었지만 도구 호출과 FINAL ANSWER가 없었던 경우입니다. 오답은 최종 답변이 채점에서 통과하지 못한 경우입니다.
전체 결과
각 셀은 해당 작업에서 모델이 낸 결과, 시도 시간(초), 비용을 보여 줍니다. 결과는 “통과”, “오답”, “답변 없음”(스텝 한도 전에 최종 답변 없이 종료), “스텝 한도 도달” 중 하나입니다. 시간에는 모델 API 대기 시간이 포함됩니다. “집계 제외” 여섯 작업은 대체 목적의 재실행 이후 비교 가능한 첫 시도 기록이 없으며, 두 모델 모두에서 여섯 개 전부 제외했습니다.
| 작업 | 작업 유형 | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| 열한 기상 기관의 2025년 기후 평가표 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 633.7 s · $1.235 | 스텝 한도 도달 · 2010.1 s · $3.368 |
| 여덟 허브 공항의 2025년 교통량 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 아홉 축구 리그의 2025-26시즌 수치 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 아홉 영화제의 2026년 최고상 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1399.6 s · $2.591 | 답변 없음 · 1306.1 s · $1.418 |
| Hugging Face의 오픈웨이트 모델 아홉 개에 대한 승인 검토표 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 598.6 s · $0.716 | 답변 없음 · 1217.4 s · $1.284 |
| SaaS 신뢰 센터 아홉 곳의 규정 준수 현황표 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 590.3 s · $0.637 | 답변 없음 · 1138.5 s · $0.844 |
| SUV 한 대에 대한 아홉 평가 프로그램의 충돌 안전 등급 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1242.3 s · $1.312 | 스텝 한도 도달 · 1576.6 s · $1.765 |
| 아홉 기술 표준의 현행 판 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 592.9 s · $0.658 | 답변 없음 · 320.4 s · $0.250 |
| 열두 중앙은행의 2026년 첫 금리 결정 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 617.0 s · $1.023 | 오답 · 1256.3 s · $1.986 |
| 아홉 기관의 2026년 2분기 GDP 최초·최신 발표치 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 1001.2 s · $1.181 | 오답 · 1294.2 s · $1.363 |
| 아홉 서비스의 비공개 저장소용 무료 CI 요금제 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1033.5 s · $1.187 | 답변 없음 · 963.4 s · $1.068 |
| 서버리스 플랫폼 아홉 곳의 무료 요금제 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 924.5 s · $1.283 | 답변 없음 · 248.4 s · $0.173 |
| 음악 서비스 아홉 곳의 같은 앨범 표기 방식 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 아홉 선거 기관의 최신 선거 결과 | 8개 이상 사이트에서 동일 항목 수집 | 스텝 한도 도달 · 1256.5 s · $2.222 | 스텝 한도 도달 · 1789.7 s · $2.389 |
| 언어 런타임 아홉 개의 최신 릴리스 계열 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 810.3 s · $1.106 | 오답 · 1024.2 s · $1.171 |
| 아홉 JavaScript 프레임워크의 최신 안정 릴리스 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 515.4 s · $0.523 | 통과 · 957.6 s · $0.722 |
| 아홉 데스크톱 브라우저의 최신 안정 릴리스 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 471.8 s · $0.913 | 답변 없음 · 903.0 s · $0.765 |
| 아홉 기관이 측정한 2025년 캄차카 지진 수치 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 789.4 s · $1.128 | 답변 없음 · 971.8 s · $1.335 |
| 플래그십 휴대전화 아홉 종의 영국 공식 사양 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 564.8 s · $0.865 | 답변 없음 · 1331.7 s · $1.161 |
| 카메라 여덟 대의 공식 사양 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 953.2 s · $1.521 | 통과 · 1479.8 s · $1.730 |
| 출판사와 도서관 사이트 열 곳에 있는 책 한 권의 판 정보 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 등급 심의 기관 여덟 곳의 게임 하나에 대한 연령 등급 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1385.2 s · $1.905 | 답변 없음 · 1355.8 s · $1.592 |
| 공급업체 보안 권고문 아홉 건에 나타난 한 sudo CVE의 수정 상태 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 539.4 s · $0.521 | 답변 없음 · 158.9 s · $0.133 |
| 국가별 차트 아홉 개의 한 주 싱글 1위 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 개발자 컨퍼런스 아홉 개의 개막 키노트 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1198.7 s · $1.457 | 답변 없음 · 1450.3 s · $1.485 |
| 패키지 레지스트리 아홉 곳의 Protocol Buffers 릴리스 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 472.9 s · $0.732 | 답변 없음 · 582.4 s · $0.296 |
| 2025년 개발자 설문 여덟 건의 결과 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 599.1 s · $1.255 | 오답 · 1587.4 s · $1.785 |
| 아홉 지역의 법정 최저임금 | 8개 이상 사이트에서 동일 항목 수집 | 집계 제외 | 집계 제외 |
| 아홉 서버 제품의 지원 종료일 | 8개 이상 사이트에서 동일 항목 수집 | 통과 · 690.2 s · $0.781 | 답변 없음 · 370.0 s · $0.292 |
| 호쿠사이의 〈가나가와 해변의 높은 파도 아래〉에 관한 박물관 열 곳의 기록 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 824.7 s · $1.025 | 답변 없음 · 1644.2 s · $1.124 |
| 여덟 규제 기관의 티르제파타이드 체중 관리 용도 승인 | 8개 이상 사이트에서 동일 항목 수집 | 스텝 한도 도달 · 1475.9 s · $2.742 | 답변 없음 · 1171.2 s · $1.414 |
| 전기 SUV 아홉 대의 미국 주행거리 및 충전 수치 | 8개 이상 사이트에서 동일 항목 수집 | 오답 · 1027.4 s · $1.707 | 스텝 한도 도달 · 1711.3 s · $1.685 |
| 록박스 입금을 미결제 청구서에 적용 | 웹 앱 내부 작업 | 통과 · 286.4 s · $0.208 | 통과 · 404.7 s · $0.402 |
| 변경 동결 기간에 이루어진 변경을 감사하고 되돌리기 | 웹 앱 내부 작업 | 통과 · 160.4 s · $0.140 | 통과 · 545.1 s · $0.394 |
| 여행 앱에서 동료의 여행 예약 | 웹 앱 내부 작업 | 통과 · 438.2 s · $0.409 | 통과 · 433.4 s · $0.474 |
| Tier 1 모니터를 문서화된 기준에 맞게 조정 | 웹 앱 내부 작업 | 통과 · 248.5 s · $0.253 | 답변 없음 · 105.0 s · $0.094 |
| 한 주 동안의 고객 방문 주행거리 비용 청구 | 웹 앱 내부 작업 | 통과 · 458.1 s · $0.333 | 통과 · 521.6 s · $0.418 |
| 운영 업무 앱에서 2월 미수금 처리를 마무리하고 이의 제기 등록 | 웹 앱 내부 작업 | 통과 · 469.9 s · $0.403 | 통과 · 774.2 s · $0.698 |
| 두 도시의 일비 청구 제출 | 웹 앱 내부 작업 | 통과 · 256.7 s · $0.127 | 통과 · 282.5 s · $0.225 |
| 클라우드 콘솔에 사고 사후 분석 타임라인 등록 | 웹 앱 내부 작업 | 통과 · 216.3 s · $0.195 | 통과 · 264.8 s · $0.306 |
| 두 고객의 배송 건에 대한 파손 배상 청구 제출 | 웹 앱 내부 작업 | 통과 · 445.9 s · $0.319 | 통과 · 1058.7 s · $0.726 |
| 다음 주 온콜 일정 수정 | 웹 앱 내부 작업 | 통과 · 169.0 s · $0.125 | 통과 · 193.3 s · $0.147 |
| 카드 거래를 경비 보고서 초안과 대조 | 웹 앱 내부 작업 | 통과 · 457.1 s · $0.383 | 통과 · 535.9 s · $0.394 |
| 창고의 재고 보충 주문 | 웹 앱 내부 작업 | 통과 · 337.3 s · $0.182 | 통과 · 205.3 s · $0.240 |
| 직원의 경비 보고서 검토 | 웹 앱 내부 작업 | 통과 · 387.7 s · $0.189 | 통과 · 450.6 s · $0.364 |
| 오류 예산 소진에 따라 배포 동결 설정 | 웹 앱 내부 작업 | 통과 · 167.8 s · $0.106 | 통과 · 240.6 s · $0.193 |
| 운송사의 정시 실적을 확정하고 알림 규칙 수정 | 웹 앱 내부 작업 | 통과 · 382.5 s · $0.261 | 답변 없음 · 934.2 s · $0.971 |
| ARC Prize 리더보드의 저비용 추론 설정 | 개방형 조사 | 통과 · 372.4 s · $0.296 | 통과 · 716.2 s · $0.723 |
| Epoch AI 데이터에서 EU 계산량 기준을 넘는 모델 집계 | 개방형 조사 | 통과 · 165.8 s · $0.143 | 통과 · 252.0 s · $0.186 |
| 여덟 프런티어 모델의 EU AI Act 공개 정보 | 개방형 조사 | 스텝 한도 도달 · 1388.1 s · $3.008 | 답변 없음 · 1748.6 s · $2.621 |
| API 변경 기록 여섯 개에 담긴 2026년 9월 출시 모델 전체 | 개방형 조사 | 통과 · 273.4 s · $0.374 | 통과 · 595.0 s · $0.721 |
| 2026년 9월 모델 출시에 관한 주장 열 개 팩트 체크 | 개방형 조사 | 오답 · 228.8 s · $0.299 | 오답 · 507.6 s · $0.574 |
| 중국 모델 다섯 개 중 주력 및 예비 API 선택 | 개방형 조사 | 통과 · 412.3 s · $0.471 | 통과 · 769.1 s · $0.696 |
| Azure의 독일 내 한 지역에서 제공되는 모델 선택 | 개방형 조사 | 오답 · 297.1 s · $0.280 | 통과 · 787.2 s · $0.871 |
| OpenRouter에서 가장 빠른 GLM 5.3 제공자 엔드포인트 선택 | 개방형 조사 | 통과 · 774.9 s · $0.717 | 오답 · 960.2 s · $0.694 |
| API 워크로드 하나의 비용을 여섯 모델에서 계산 | 개방형 조사 | 통과 · 550.4 s · $0.711 | 통과 · 1642.9 s · $2.177 |
| Wayback Machine에 저장된 여섯 제공자의 API 요금 | 개방형 조사 | 오답 · 1214.3 s · $0.552 | 답변 없음 · 350.4 s · $0.181 |
| Wikipedia LLM 표의 근거 출처 추적 | 개방형 조사 | 오답 · 458.7 s · $0.350 | 답변 없음 · 383.3 s · $0.301 |
| LiveBench의 한 릴리스가 보여 준 결과 | 개방형 조사 | 오답 · 296.8 s · $0.267 | 오답 · 330.8 s · $0.329 |
| FRED로 인플레이션 표를 만들고 BLS와 교차 확인 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 274.1 s · $0.224 | 통과 · 308.6 s · $0.312 |
| GPT 강의의 수치를 영상·코드·논문과 대조 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 619.4 s · $0.387 | 통과 · 237.2 s · $0.277 |
| Apple 미국 스토어에서 MacBook 구성 세 가지 비교 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 786.1 s · $1.226 | 통과 · 654.4 s · $1.110 |
| ClinicalTrials.gov의 3상 임상시험을 DailyMed 의약품 라벨 문서와 교차 확인 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 294.2 s · $0.401 | 답변 없음 · 591.2 s · $0.872 |
| MDN과 Can I use에 근거한 웹 기능 여섯 가지의 사용 여부 목록 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 269.9 s · $0.262 | 통과 · 751.4 s · $0.796 |
| 팀 오프사이트 행사를 위한 Denver행 항공편 요금 조사 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 526.6 s · $0.962 | 답변 없음 · 963.3 s · $1.037 |
| Wes Anderson 영화 여섯 편의 흥행 수입을 흥행 데이터베이스와 Wikipedia에서 대조 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 221.1 s · $0.250 | 통과 · 324.7 s · $0.303 |
| Companies House에 있는 영국 기업 네 곳의 등기 정보 스냅샷 | 한 곳에서 세 곳의 사이트를 교차 확인 | 통과 · 320.3 s · $0.223 | 오답 · 1005.0 s · $0.591 |
| X와 뉴스룸에 게시된 여덟 브랜드의 2026년 제품 발표 | X 게시물 | 오답 · 667.1 s · $0.536 | 답변 없음 · 847.0 s · $0.417 |
| X와 클럽 사이트에 게시된 축구 클럽 여덟 곳의 여름 영입 | X 게시물 | 스텝 한도 도달 · 1815.4 s · $1.805 | 답변 없음 · 2343.4 s · $1.008 |
| 오픈소스 프로젝트 여덟 개의 X 및 자체 사이트 보안 릴리스 | X 게시물 | 통과 · 625.6 s · $0.627 | 답변 없음 · 2248.5 s · $1.524 |
| 여덟 대학이 2025년 노벨상 소식을 X에 게시하기까지 걸린 시간 | X 게시물 | 오답 · 1314.1 s · $0.487 | 답변 없음 · 528.9 s · $0.237 |
| SpaceX의 X 발사 게시물을 Wikipedia 발사 목록과 대조 | X 게시물 | 통과 · 751.6 s · $0.220 | 통과 · 638.9 s · $0.300 |
모델 가격은 Moonshot이 공개한 정가입니다. 그 밖의 모든 수치는 자체 실행에서 얻었습니다.
