66개 브라우저 작업에서 Kimi K3.1 Pro와 Kimi K3를 비교했습니다

읽는 데 15분
파란 하늘에 떠 있는 Kimi K3.1 Pro의 주황색 풍선과 Kimi K3의 노란색 풍선을 종이 오리기 기법으로 표현한 일러스트

테스트한 pi와 ZenMux 구성에서는 더 많은 작업을 완료할 수 있는 Kimi K3.1 Pro를 Kimi K3보다 우선 선택하겠습니다. 두 모델 모두 통과한 26개 작업에서는 평균 시간과 추정 모델 비용도 더 낮았습니다. 이번 Kimi K3.1 Pro와 Kimi K3 비교에서는 66개 작업을 집계했으며, 각 모델이 ego-browser에서 모든 작업을 한 번씩 실행해 모델마다 66회 시도했습니다. Kimi K3.1 Pro는 66회 중 38회(57.6%), Kimi K3는 27회(40.9%) 통과했습니다. 두 모델 모두 통과한 26개 작업에서 Kimi K3.1 Pro는 작업당 400.6초와 $0.374, Kimi K3는 586.1초와 $0.578이 들었습니다.

두 모델의 가장 큰 차이는 끝까지 수행하는지 여부였습니다. Kimi K3는 66회 중 27회 시도에서 단계 한도에 도달하기 전에 답변 없이 종료했습니다. 이 가운데 26회는 “SUSE done. Now Amazon Linux.”와 같은 진행 메모로 끝났습니다. Kimi K3.1 Pro에서는 이런 경우가 0회였습니다. 두 모델 모두 최종 답변을 제출한 35개 작업에서는 Kimi K3.1 Pro가 29개, Kimi K3가 27개를 통과했습니다.

Kimi K3.1 Pro의 약점은 이제 끝까지 작성하게 된 긴 표입니다. 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서는 26회 중 7회 통과했고, Kimi K3는 2회 통과했습니다. 이 새 모델의 오답 24개 중 17개는 이러한 작업에서 나온 표였으므로 사용 전에 표를 검토하겠습니다. 개방형 조사에서는 두 모델 모두 12개 중 6개를 통과했습니다. 두 모델 모두 통과한 다섯 작업에서는 Kimi K3.1 Pro가 더 빠르고 저렴했습니다.

추정 모델 비용이 더 낮은 이유는 Kimi K3.1 Pro의 정가가 더 낮기 때문입니다. Moonshot은 모든 토큰 유형에서 이 모델의 가격을 Kimi K3의 3분의 2로 책정합니다. 전체 66개 작업에서 Kimi K3의 시도가 끝난 뒤에도 계속된 시도에 더 많은 토큰을 사용했는데도, 작업당 비용은 $0.772로 Kimi K3의 $0.871보다 낮았습니다.

성공률

Kimi K3.1 Pro는 더 많은 작업을 통과했습니다. Kimi K3가 실패한 12개 작업을 통과했고, Kimi K3가 통과한 1개 작업에는 실패했습니다. 새로 통과한 12개 중 9개에서 Kimi K3는 답변 없이 종료했으며, 나머지 3개에서는 오답을 냈습니다. 추가로 통과한 12개 중 다섯 개는 8개 이상 사이트에서 동일한 항목을 수집하는 작업이었습니다.

모든 작업 유형에서 Kimi K3.1 Pro는 Kimi K3와 같거나 더 많은 시도를 통과했습니다. 동률인 유형은 개방형 조사뿐이었습니다.

작업 유형작업 수Kimi K3.1 ProKimi K3
8개 이상 사이트에서 동일 항목 수집2626.9%(26회 중 7회)7.7%(26회 중 2회)
웹 앱 내부 작업15100%(15회 중 15회)86.7%(15회 중 13회)
개방형 조사1250.0%(12회 중 6회)50.0%(12회 중 6회)
한 곳에서 세 곳의 사이트를 교차 확인8100%(8회 중 8회)62.5%(8회 중 5회)
X 게시물540.0%(5회 중 2회)20.0%(5회 중 1회)
전체 작업6657.6%(66회 중 38회)40.9%(66회 중 27회)

성공률은 2026년 11월 3일 실행에서 통과한 시도를 집계한 것입니다. 어느 작업 유형에서도 Kimi K3가 Kimi K3.1 Pro보다 더 많은 시도를 통과하지는 못했습니다.

Kimi K3의 실행은 작업 도중 끝나는 경우가 잦았습니다. 테스트한 pi 에이전트에서 모델은 주로 ego-browser 스크립트 같은 도구 호출로 작업을 진행하며, 도구 호출이 없는 응답을 보내면 실행이 종료됩니다. Kimi K3는 “Google done. Now Cloudflare Workers Free.”처럼 다음 단계를 언급하면서 실제로 수행하지 않는 응답을 보냈습니다. 66회 시도 중 26회에서 이런 일이 발생했으며, 그중 16회는 8개 이상 사이트에서 동일한 항목을 수집하는 26개 작업에 속했습니다. 이 26개 응답은 모두 길이 제한으로 잘린 것이 아니라 모델의 정상적인 종료 신호로 끝났습니다. Kimi K3.1 Pro가 이런 방식으로 끝낸 시도는 0회였습니다.

서버리스 작업에서 차이를 볼 수 있습니다. AWS Lambda에서 Oracle OCI Functions까지 아홉 개 서버리스 플랫폼의 무료 요금제 한도 다섯 가지씩을 조사하는 작업입니다. Kimi K3는 AWS, Azure, Google 페이지를 읽은 뒤 도구 호출 11회 만에 “Google done. Now Cloudflare Workers Free.”라는 말로 멈췄습니다. Kimi K3.1 Pro는 이어 Cloudflare의 Workers 요금 페이지를 열고, 도구 호출 58회로 아홉 플랫폼을 모두 조사해 통과했습니다.

기록된 브라우저 명령 재현: 서버리스 작업에서 Kimi K3.1 Pro가 ego-browser로 Cloudflare의 Workers 요금 페이지를 여는 장면
기록된 명령 재현. ego-browser를 사용하는 Kimi K3.1 Pro의 서버리스 무료 요금제 작업입니다. 아홉 플랫폼 중 네 번째이자 Kimi K3가 멈췄던 Cloudflare의 Workers 요금 페이지를 엽니다. 총 55회 중 10번째 브라우저 명령입니다. 원래 실행: 2026년 11월 3일. 재현 화면은 2026년 11월 10일 ego(lite)에서 캡처했습니다. 원본 크기로 이미지 보기

추가로 통과한 나머지 3개에서는 Kimi K3가 틀린 최종 답변을 냈습니다. GDP 작업은 아홉 통계 기관의 최초 추정치와 최신 추정치에서 연율로 환산하지 않은 2분기 성장률을 찾는 것입니다. 두 모델 모두 최초 추정치인 미국 경제분석국의 속보 추정치를 열었습니다. Kimi K3는 페이지 텍스트의 처음 2,500자만 남기는 스크립트를 작성했고, 미국의 두 분기 성장률 값을 모두 “not shown”(표시되지 않음)으로 적었습니다. Kimi K3.1 Pro는 발표문 전체를 출력하고 Technical Notes(기술 주석)의 분기 성장률 표기인 “0.4 percent at a quarterly rate”를 읽었습니다. 2026년 9월 30일 발표된 BEA의 최신 추정치에서도 같은 방식으로 0.6퍼센트를 찾아 미국의 두 셀을 채웠습니다.

기록된 브라우저 명령 재현: GDP 작업에서 Kimi K3.1 Pro가 ego-browser로 BEA의 속보 추정치 발표문을 여는 장면
기록된 명령 재현. ego-browser를 사용하는 Kimi K3.1 Pro의 2026년 2분기 GDP 작업입니다. BEA의 속보 추정치를 불러와 분기 성장률 0.4퍼센트가 적힌 Technical Notes(기술 주석)를 포함한 발표문 전체를 출력합니다. 총 61회 중 2번째 브라우저 명령입니다. 원래 실행: 2026년 11월 3일. 재현 화면은 2026년 11월 10일 ego(lite)에서 캡처했습니다. 원본 크기로 이미지 보기

두 모델은 실패하는 방식도 다릅니다. 각 시도에는 최대 100스텝이 주어지며, 스텝 하나는 모델이 한 번 응답하는 것을 뜻합니다. Kimi K3의 실패한 시도 39회 중 27회는 스텝 한도 전에 답변 없이 끝났고, 4회는 스텝 한도에 도달했으며, 8회는 오답을 냈습니다. Kimi K3.1 Pro의 실패한 시도 28회 중 24회는 오답, 4회는 스텝 한도 도달이었습니다. 그 오답 24개 중 18개는 Kimi K3가 최종 답변을 전혀 내지 못한 작업에서 나왔습니다. 저희라면 모델을 전환하되, Kimi K3가 최종 답변 없이 끝냈던 작업에서 새 모델이 이제 내놓는 답변을 계속 검토하겠습니다.

Kimi K3.1 Pro가 여전히 틀리는 부분

Kimi K3.1 Pro는 긴 표를 끝까지 작성하지만 모든 셀을 항상 정확하게 채우는 것은 아니므로, 표를 검토할 초안으로 취급하겠습니다. 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서는 26회 중 7회 통과했습니다. 오답 24개 중 17개가 이 작업들에서 나왔으며, 모두 표 자체는 완성했지만 적어도 하나의 값이나 요약 내용이 틀린 답변이었습니다.

예를 들어 중앙은행 작업에서는 요약이 틀렸습니다. 이 작업은 열두 중앙은행의 2026년 첫 금리 결정과 그중 가장 늦게 발표한 은행을 묻습니다. Kimi K3.1 Pro는 스위스국립은행의 2026년 3월 19일 발표문을 열고 자신의 표에 그 날짜를 적었습니다. 그런데도 요약에서는 2월 6일의 인도준비은행이 가장 늦게 발표했다고 썼습니다.

작업에서 묻는 내용정답Kimi K3.1 Pro의 답변
2026년 첫 결정을 가장 늦게 발표한 은행스위스국립은행, 2026-03-19인도준비은행, 2026-02-06

Kimi K3는 같은 작업에서 스위스국립은행을 정확하게 지목했지만, 다른 값을 놓쳐 이 모델도 실패했습니다.

기록된 브라우저 명령 재현: 중앙은행 작업에서 Kimi K3.1 Pro가 ego-browser로 스위스국립은행의 2026년 3월 19일 발표문을 여는 장면
기록된 명령 재현. ego-browser를 사용하는 Kimi K3.1 Pro의 중앙은행 작업입니다. 스위스국립은행의 2026년 3월 19일 통화정책 평가를 엽니다. 이후 요약에서 놓친 날짜입니다. 총 52회 중 18번째 브라우저 명령입니다. 원래 실행: 2026년 11월 3일. 재현 화면은 2026년 11월 10일 ego(lite)에서 캡처했습니다. 원본 크기로 이미지 보기

Kimi K3.1 Pro의 표를 사용하기 전에 요약 내용을 표의 각 행과 대조하고, 일부 셀을 뽑아 출처와 확인하세요. Kimi K3는 이 유형의 작업 26개 중 2개를 통과했습니다.

속도

같은 작업에서는 Kimi K3.1 Pro가 더 빠르며, 출력량과 도구 호출 수도 더 적었습니다. 두 모델 모두 통과한 26개 작업에서 작업당 평균 시간은 400.6초로, Kimi K3의 586.1초보다 짧았습니다. 26개 중 21개에서 더 빨랐고, 나머지 5개에서는 Kimi K3가 더 빨랐습니다.

두 모델 모두 통과한 26개 작업Kimi K3.1 ProKimi K3
작업당 시간400.6 s586.1 s
작업당 도구 호출25.833.5
작업당 출력 토큰 수(추론 포함)6,99710,727

2026년 11월 3일 실행에서 얻은 작업당 평균입니다.

누군가 결과를 기다리는 에이전트라면, 기다리는 시간이 짧아지는 것은 실질적인 이점이라고 봅니다.

비용

Kimi K3.1 Pro는 작업당 비용이 더 낮으며, 절감은 낮은 정가에서 나옵니다. 전체 66개 작업에서 작업당 $0.772로, Kimi K3의 $0.871보다 낮았습니다. 실패한 시도의 비용까지 포함하면 통과한 시도당 비용은 $1.340 대 $2.130입니다. 두 모델 모두 통과한 26개 작업에서는 작업당 $0.374 대 $0.578이었으며, 그중 24개에서 더 저렴했습니다.

Moonshot의 요금표는 Kimi K3.1 Pro의 100만 토큰당 가격을 입력 $2.00, 캐시된 입력 $0.20, 캐시 쓰기 $2.00, 출력 $10.00로 명시합니다. Kimi K3의 가격은 각각 $3.00, $0.30, $3.00, $15.00입니다. 따라서 새 모델의 가격은 모든 토큰 유형에서 3분의 2입니다.

작업당 비용Kimi K3.1 ProKimi K3
전체 66개 작업$0.772$0.871
전체 66개 작업: Kimi K3.1 Pro의 토큰을 Kimi K3 가격으로 계산$1.158$0.871
두 모델 모두 통과한 26개 작업$0.374$0.578
두 모델 모두 통과한 26개 작업: Kimi K3.1 Pro의 토큰을 Kimi K3 가격으로 계산$0.561$0.578
통과한 시도당 비용, 전체 66개 작업 포함$1.340$2.130

2026년 11월 3일 실행에서 각 시도의 토큰 사용량을 Moonshot 정가로 계산한 비용입니다.

같은 작업의 토큰을 같은 가격으로 계산하면 두 모델의 비용은 비슷합니다. 공통 26개 작업에서 Kimi K3.1 Pro가 쓴 토큰을 Kimi K3 요금으로 계산하면 $0.561로, Kimi K3의 $0.578과 비슷합니다. 전체 66개 작업에서는 $1.158 대 $0.871입니다. Kimi K3가 멈춘 실행에서도 Kimi K3.1 Pro는 계속 작업했기 때문입니다. 더 많은 실행을 마무리하는 모델은 그 작업을 마치는 데에도 토큰을 쓰므로, 토큰 단가보다는 작업당 비용으로 예산을 잡겠습니다.

개방형 조사

개방형 조사에서 Kimi K3.1 Pro로 전환하면 속도와 비용은 개선되지만 통과 수는 늘어나지 않습니다. 이 12개 작업은 목표와 출발점이 될 출처 몇 개를 주고, 경로는 에이전트에 맡깁니다. 두 모델 모두 12개 중 6개를 통과했습니다. Kimi K3.1 Pro는 기존 모델이 실패한 작업 하나를 새로 통과했지만, 기존 모델이 통과한 작업 하나에는 실패했습니다. 두 모델 모두 통과한 5개 작업에서는 작업당 354.9초와 $0.399가 들어, Kimi K3의 795.0초와 $0.901보다 낮았으며, 5개 모두 더 빨랐습니다.

새로 실패한 작업은 무엇을 주의해야 하는지 보여 줍니다. Azure 작업은 후보 모델 일곱 개 중 여섯 가지 요구 사항을 충족하며 Azure의 Germany West Central 지역에서 실행할 수 있는 모델과, 다른 후보 각각이 조건을 충족하지 못하는 이유를 묻습니다. 두 모델 모두 GPT-6 Luna를 골랐습니다. Kimi K3는 Azure의 파트너 모델 페이지도 열고 Claude Sonnet 5.5가 탈락한 이유를 인용했습니다. 이 모델의 Data Zone Standard 배포는 미국에서만 가능했습니다.

기록된 브라우저 명령 재현: Microsoft Learn에서 Data Zone Standard 미국 지역 표를 펼친 장면
Kimi K3의 Azure 모델 작업에서 총 22회 중 20번째 브라우저 명령을 재현한 화면입니다. 현재 Data Zone Standard 미국 지역 표를 읽기 위해 펼쳤습니다. 원래 가용성 판단은 11월 3일 실행 기록에 근거합니다. 원래 실행: 2026년 11월 3일. 재현 화면은 2026년 11월 10일 캡처했습니다. 원본 크기로 이미지 보기

Kimi K3.1 Pro는 Azure가 직접 판매하는 모델 표에서 Claude를 제외했고, 해당 페이지는 열지 않았습니다. 이유에는 “not shown”(표시되지 않음)이라고 적었으며 브라우저 명령은 15회로, Kimi K3의 22회보다 적었습니다. 어느 모델을 쓰든 에이전트가 제외한 각 선택지의 이유를 확인하겠습니다.

어떤 모델을 사용할까

테스트한 pi 1.5.0, ZenMux, ego-browser 구성에서는 Kimi K3.1 Pro를 선택하겠습니다. 66회 중 38회 통과해 Kimi K3의 27회보다 많았고, 두 모델 모두 통과한 26개 작업에서는 더 빠르고 저렴했습니다. 테스트한 어느 작업 유형에서도 Kimi K3가 더 많은 시도를 통과하지는 못했습니다.

테스트한 웹 앱과 한 곳에서 세 곳의 사이트를 교차 확인하는 작업에서는 Kimi K3.1 Pro를 선택하겠습니다. 각 유형에서 15개와 8개를 모두 통과했습니다. Kimi K3가 이 유형들에서 실패한 5회 중 네 번은 답변 없이 끝난 실행이었습니다. 이 pi 구성에서 비슷한 다중 사이트 작업을 한다면 역시 새 모델을 고르겠습니다. 26개 중 7개를 통과했고 Kimi K3는 2개를 통과했기 때문입니다. 표는 사용 전에 검토하세요. 두 모델 모두 통과한 다섯 개 개방형 조사 작업에서는 시간과 추정 비용이 더 낮았지만, 이 유형의 전체 통과 수는 같았습니다.

테스트 구성에서는 ZenMux를 통해 moonshotai/kimi-k3.1-pro로 Kimi K3.1 Pro를 사용했습니다. 추론 강도는 high로 설정했으며, pi 에이전트의 bash 도구와 ego-browser 스킬 파일을 썼습니다. ego-browser는 ego(lite)와 함께 제공되며, 에이전트는 ego(lite)를 자신의 브라우저로 조작합니다.

이번 비교에서 ego(lite)의 역할

ego(lite)는 ego-browser가 조작하는 브라우저를, pi는 에이전트 루프를, ZenMux는 두 모델에 대한 접근을 제공했습니다. ego-browser 연동 가이드에서는 이 브라우저가 에이전트에 연결되는 방식을 설명합니다.

pi의 종료 규칙도 모델 선택의 일부입니다. 도구 호출이 없는 응답을 보내면 시도가 끝납니다. 완료 결과의 비교를 비슷한 작업에 적용할 때 이 규칙을 고려하세요. 시간과 모델 비용의 평균은 두 모델 모두 통과한 스물여섯 작업을 대상으로 합니다. 모든 작업이나 다른 에이전트의 종료 동작을 대상으로 한 결과는 아닙니다.

자주 묻는 질문

브라우저 에이전트에는 Kimi K3.1 Pro가 Kimi K3보다 더 좋은가요?

이번 ego-browser의 66개 작업 테스트에서는 그렇습니다. Kimi K3.1 Pro는 66회 중 38회(57.6%), Kimi K3는 27회(40.9%) 통과했습니다. Kimi K3가 실패한 12개 작업을 통과했고, Kimi K3가 통과한 1개 작업에는 실패했습니다.

Kimi K3.1 Pro가 Kimi K3보다 더 저렴한가요?

작업당 비용은 더 저렴합니다. 66개 브라우저 작업에서 Kimi K3.1 Pro는 작업당 $0.772, Kimi K3는 $0.871이 들었습니다. 통과한 시도당 비용은 $1.340 대 $2.130으로 차이가 더 컸습니다.

Kimi K3.1 Pro가 Kimi K3보다 더 빠른가요?

두 모델 모두 마무리한 작업에서는 그렇습니다. 두 모델 모두 통과한 26개 브라우저 작업에서 Kimi K3.1 Pro는 작업당 400.6초, Kimi K3는 586.1초가 걸렸습니다. 작업당 도구 호출은 25.8회 대 33.5회, 출력 토큰은 6,997개 대 10,727개였습니다.

Kimi K3.1 Pro의 100만 토큰당 비용은 얼마인가요?

Moonshot은 Kimi K3.1 Pro의 100만 토큰당 가격을 입력 $2.00, 캐시된 입력 $0.20, 캐시 쓰기 $2.00, 출력 $10.00로 명시합니다. Kimi K3는 각각 $3.00, $0.30, $3.00, $15.00로, 새 모델의 가격은 모든 토큰 유형에서 3분의 2입니다.

Kimi K3는 왜 브라우저 작업 도중 멈추나요?

Kimi K3는 66회 시도 중 26회에서 다음 단계를 말하면서 도구 호출은 하지 않는 응답으로 끝났습니다. pi 에이전트에서는 이 응답이 실행을 종료합니다. 마지막 말은 “SUSE done. Now Amazon Linux.”와 같은 메모였습니다. 이 26회 중 16회는 8개 이상 사이트에서 동일한 항목을 수집하는 작업이었고, Kimi K3.1 Pro에서는 이런 일이 0회였습니다.

Kimi K3.1 Pro에서 가장 많이 개선된 브라우저 작업은 무엇인가요?

Kimi K3.1 Pro가 가장 많은 작업을 추가로 통과한 유형은 8개 이상 사이트에서 동일한 항목을 수집하는 작업으로, 5개를 새로 통과했고 이 유형에서 기존 모델이 통과한 작업을 잃지는 않았습니다. 한 곳에서 세 곳의 사이트를 교차 확인하는 작업 3개, 웹 앱 내부 작업 2개, 개방형 조사 작업 1개, X 게시물 작업 1개도 추가로 통과했습니다.

Kimi K3.1 Pro가 오히려 나빠진 브라우저 작업도 있나요?

66개 중 1개 작업입니다. Kimi K3가 통과한 Azure 모델 선택 작업에서 실패했는데, 이유를 제시하는 페이지를 열지 않고 후보 하나를 제외했기 때문입니다. 반면 Kimi K3가 실패한 12개 작업을 통과했습니다.

Kimi K3.1 Pro는 브라우저에서 여전히 무엇을 틀리나요?

주로 긴 표의 값입니다. 오답 24개 중 17개는 8개 이상 사이트에서 동일한 항목을 수집하는 작업에서 나왔습니다. 한 작업에서는 자신의 표에 정확한 날짜가 있었는데도 요약에서 잘못된 은행을 지목했습니다. 또한 Kimi K3와 마찬가지로 4회 시도에서 100스텝 한도에 도달했습니다.

Kimi K3.1 Pro는 웹 앱 자동화를 얼마나 잘 수행하나요?

Kimi K3.1 Pro는 웹 앱 내부 작업 15개를 모두 통과했고, Kimi K3는 13개를 통과했습니다. 이 작업은 운영 업무, 출장비, 클라우드 콘솔용 테스트 앱에서 실행하며 시도마다 새 데이터를 사용합니다. 두 모델 모두 통과한 13개에서는 작업당 327.0초와 $0.240이 들어, Kimi K3의 454.7초와 $0.383보다 낮았습니다.

브라우저 에이전트를 Kimi K3에서 Kimi K3.1 Pro로 바꿔야 하나요?

테스트한 pi와 ZenMux 구성에서는 전환을 권합니다. Kimi K3.1 Pro는 66회 중 38회, Kimi K3는 27회 통과했으며 두 모델 모두 통과한 26개 작업에서는 평균 시간과 추정 비용도 더 낮았습니다. 8개 이상 사이트에서 수집한 표에는 검토 단계를 유지하세요. 오답 24개 중 17개가 이 작업들에서 나왔기 때문입니다.

테스트 방법

두 모델은 2026년 11월 3일 macOS 26.5를 실행하는 한 대의 Apple silicon Mac에서 실행했습니다. 두 모델 모두 동일한 pi 1.5.0 에이전트를 사용했으며 브라우저 도구는 ego-browser, 스킬 파일도 같은 ego-browser 파일이었습니다. ego(lite)와 ego-browser 버전도 같았습니다. 모델은 Kimi K3.1 Pro(moonshotai/kimi-k3.1-pro)와 Kimi K3(moonshotai/kimi-k3)였고, 모두 추론 강도를 high로 설정했으며 동일한 API 제공자인 ZenMux를 통해 접근했습니다.

모델은 짧은 JavaScript 프로그램을 작성해 ego-browser를 조작합니다. 프로그램은 페이지를 불러오고 클릭하거나 양식을 채우며 페이지 텍스트 또는 접근성 스냅샷을 출력합니다. 각 시도의 한도는 최대 100스텝, 최장 60분이었습니다. 한 스텝은 모델의 한 턴, 즉 모델에 대한 요청과 그 응답입니다. 작업 지침은 FINAL ANSWER로 시작하는 메시지로 마무리하라고 모델에 지시합니다.

66개 작업을 집계하며 각 작업은 정확히 하나의 유형에만 속합니다. “8개 이상 사이트에서 동일 항목 수집”(26개)은 아홉 통계 기관의 GDP 발표문처럼 8개 이상 사이트에서 같은 항목 묶음을 수집합니다. “웹 앱 내부 작업”(15개)은 운송사의 알림 규칙 수정처럼 운영 업무, 출장비, 클라우드 콘솔용 테스트 앱에서 실행합니다. “개방형 조사”(12개)는 Azure의 한 지역에서 제공되는 모델 선택처럼 목표와 출처 몇 개를 제시합니다. “한 곳에서 세 곳의 사이트를 교차 확인”(8개)은 임상시험 기록과 의약품 라벨 문서 대조처럼 몇몇 사이트 간의 수치를 비교합니다. “X 게시물”(5개)은 SpaceX의 발사 게시물과 Wikipedia의 발사 목록처럼 X 게시물을 다른 기록과 대조하며, X 게시물 유형으로만 집계합니다.

각 작업에는 채점 항목 목록이 있으며, 66개 작업의 총 채점 항목은 443개입니다. 작업마다 항목 하나는 요청한 값이 모두 최종 답변에 포함됐는지 확인합니다. 나머지 377개는 개별 요청 값을 확인하며, 309개는 공식 사이트에서 미리 확정한 값, 49개는 테스트 앱이 시도마다 생성하는 데이터, 19개는 실제 페이지와 대조하는 값입니다. 최종 답변이 모든 항목을 충족해야만 통과하며, 두 모델은 동일한 항목으로 채점했습니다.

작업은 집계 대상인 66개 중 하나를 뜻하고, 시도는 한 모델이 한 작업을 한 번 실행하는 것이므로 모델마다 시도는 66회입니다. 성공률은 66회 중 통과한 시도의 비율입니다. 전체 결과에는 추가로 여섯 작업을 “집계 제외”로 표시했습니다. 각 작업에서 한 모델의 원래 시도가 해당 작업의 재실행으로 대체됐거나, 유효하게 보관된 첫 시도 기록이 없었습니다. 두 모델 모두 같은 여섯 작업을 제외했습니다. 도구 호출은 모델이 실행한 명령 하나로, 주로 ego-browser 스크립트이며 그 외에는 저장한 페이지 텍스트 검색 같은 셸 또는 파일 명령입니다. 브라우저 명령은 ego-browser 스크립트 하나이며, 스크린샷 설명에서는 브라우저 명령을 셉니다.

작업당 시간은 시도의 시작부터 끝까지 경과한 시간으로, 추론을 포함한 모델 API 대기 시간과 모델의 도구 호출 실행 시간을 포함합니다. 실패한 작업에 쓴 시간은 비교할 수 없으므로, 속도는 두 모델 모두 통과한 26개 작업에서 비교합니다. 비용 추정치는 각 시도에 기록된 입력, 캐시된 입력, 캐시 쓰기, 출력 토큰에 명시된 Moonshot 요금을 적용한 값이며 ZenMux 구독료나 청구서 총액이 아닙니다. 통과한 시도당 비용은 전체 66회 시도의 비용을 통과한 시도 수로 나눈 값입니다.

최종 답변 없이 100스텝을 모두 쓴 시도는 스텝 한도에 도달한 것으로 봅니다. 진행 메모로 끝난 시도는 스텝 한도 전에 모델의 마지막 응답에 텍스트는 있었지만 도구 호출과 FINAL ANSWER가 없었던 경우입니다. 오답은 최종 답변이 채점에서 통과하지 못한 경우입니다.

전체 결과

각 셀은 해당 작업에서 모델이 낸 결과, 시도 시간(초), 비용을 보여 줍니다. 결과는 “통과”, “오답”, “답변 없음”(스텝 한도 전에 최종 답변 없이 종료), “스텝 한도 도달” 중 하나입니다. 시간에는 모델 API 대기 시간이 포함됩니다. “집계 제외” 여섯 작업은 대체 목적의 재실행 이후 비교 가능한 첫 시도 기록이 없으며, 두 모델 모두에서 여섯 개 전부 제외했습니다.

작업작업 유형Kimi K3.1 ProKimi K3
열한 기상 기관의 2025년 기후 평가표8개 이상 사이트에서 동일 항목 수집오답 · 633.7 s · $1.235스텝 한도 도달 · 2010.1 s · $3.368
여덟 허브 공항의 2025년 교통량8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
아홉 축구 리그의 2025-26시즌 수치8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
아홉 영화제의 2026년 최고상8개 이상 사이트에서 동일 항목 수집오답 · 1399.6 s · $2.591답변 없음 · 1306.1 s · $1.418
Hugging Face의 오픈웨이트 모델 아홉 개에 대한 승인 검토표8개 이상 사이트에서 동일 항목 수집오답 · 598.6 s · $0.716답변 없음 · 1217.4 s · $1.284
SaaS 신뢰 센터 아홉 곳의 규정 준수 현황표8개 이상 사이트에서 동일 항목 수집오답 · 590.3 s · $0.637답변 없음 · 1138.5 s · $0.844
SUV 한 대에 대한 아홉 평가 프로그램의 충돌 안전 등급8개 이상 사이트에서 동일 항목 수집오답 · 1242.3 s · $1.312스텝 한도 도달 · 1576.6 s · $1.765
아홉 기술 표준의 현행 판8개 이상 사이트에서 동일 항목 수집오답 · 592.9 s · $0.658답변 없음 · 320.4 s · $0.250
열두 중앙은행의 2026년 첫 금리 결정8개 이상 사이트에서 동일 항목 수집오답 · 617.0 s · $1.023오답 · 1256.3 s · $1.986
아홉 기관의 2026년 2분기 GDP 최초·최신 발표치8개 이상 사이트에서 동일 항목 수집통과 · 1001.2 s · $1.181오답 · 1294.2 s · $1.363
아홉 서비스의 비공개 저장소용 무료 CI 요금제8개 이상 사이트에서 동일 항목 수집오답 · 1033.5 s · $1.187답변 없음 · 963.4 s · $1.068
서버리스 플랫폼 아홉 곳의 무료 요금제8개 이상 사이트에서 동일 항목 수집통과 · 924.5 s · $1.283답변 없음 · 248.4 s · $0.173
음악 서비스 아홉 곳의 같은 앨범 표기 방식8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
아홉 선거 기관의 최신 선거 결과8개 이상 사이트에서 동일 항목 수집스텝 한도 도달 · 1256.5 s · $2.222스텝 한도 도달 · 1789.7 s · $2.389
언어 런타임 아홉 개의 최신 릴리스 계열8개 이상 사이트에서 동일 항목 수집오답 · 810.3 s · $1.106오답 · 1024.2 s · $1.171
아홉 JavaScript 프레임워크의 최신 안정 릴리스8개 이상 사이트에서 동일 항목 수집통과 · 515.4 s · $0.523통과 · 957.6 s · $0.722
아홉 데스크톱 브라우저의 최신 안정 릴리스8개 이상 사이트에서 동일 항목 수집통과 · 471.8 s · $0.913답변 없음 · 903.0 s · $0.765
아홉 기관이 측정한 2025년 캄차카 지진 수치8개 이상 사이트에서 동일 항목 수집오답 · 789.4 s · $1.128답변 없음 · 971.8 s · $1.335
플래그십 휴대전화 아홉 종의 영국 공식 사양8개 이상 사이트에서 동일 항목 수집통과 · 564.8 s · $0.865답변 없음 · 1331.7 s · $1.161
카메라 여덟 대의 공식 사양8개 이상 사이트에서 동일 항목 수집통과 · 953.2 s · $1.521통과 · 1479.8 s · $1.730
출판사와 도서관 사이트 열 곳에 있는 책 한 권의 판 정보8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
등급 심의 기관 여덟 곳의 게임 하나에 대한 연령 등급8개 이상 사이트에서 동일 항목 수집오답 · 1385.2 s · $1.905답변 없음 · 1355.8 s · $1.592
공급업체 보안 권고문 아홉 건에 나타난 한 sudo CVE의 수정 상태8개 이상 사이트에서 동일 항목 수집오답 · 539.4 s · $0.521답변 없음 · 158.9 s · $0.133
국가별 차트 아홉 개의 한 주 싱글 1위8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
개발자 컨퍼런스 아홉 개의 개막 키노트8개 이상 사이트에서 동일 항목 수집오답 · 1198.7 s · $1.457답변 없음 · 1450.3 s · $1.485
패키지 레지스트리 아홉 곳의 Protocol Buffers 릴리스8개 이상 사이트에서 동일 항목 수집오답 · 472.9 s · $0.732답변 없음 · 582.4 s · $0.296
2025년 개발자 설문 여덟 건의 결과8개 이상 사이트에서 동일 항목 수집오답 · 599.1 s · $1.255오답 · 1587.4 s · $1.785
아홉 지역의 법정 최저임금8개 이상 사이트에서 동일 항목 수집집계 제외집계 제외
아홉 서버 제품의 지원 종료일8개 이상 사이트에서 동일 항목 수집통과 · 690.2 s · $0.781답변 없음 · 370.0 s · $0.292
호쿠사이의 〈가나가와 해변의 높은 파도 아래〉에 관한 박물관 열 곳의 기록8개 이상 사이트에서 동일 항목 수집오답 · 824.7 s · $1.025답변 없음 · 1644.2 s · $1.124
여덟 규제 기관의 티르제파타이드 체중 관리 용도 승인8개 이상 사이트에서 동일 항목 수집스텝 한도 도달 · 1475.9 s · $2.742답변 없음 · 1171.2 s · $1.414
전기 SUV 아홉 대의 미국 주행거리 및 충전 수치8개 이상 사이트에서 동일 항목 수집오답 · 1027.4 s · $1.707스텝 한도 도달 · 1711.3 s · $1.685
록박스 입금을 미결제 청구서에 적용웹 앱 내부 작업통과 · 286.4 s · $0.208통과 · 404.7 s · $0.402
변경 동결 기간에 이루어진 변경을 감사하고 되돌리기웹 앱 내부 작업통과 · 160.4 s · $0.140통과 · 545.1 s · $0.394
여행 앱에서 동료의 여행 예약웹 앱 내부 작업통과 · 438.2 s · $0.409통과 · 433.4 s · $0.474
Tier 1 모니터를 문서화된 기준에 맞게 조정웹 앱 내부 작업통과 · 248.5 s · $0.253답변 없음 · 105.0 s · $0.094
한 주 동안의 고객 방문 주행거리 비용 청구웹 앱 내부 작업통과 · 458.1 s · $0.333통과 · 521.6 s · $0.418
운영 업무 앱에서 2월 미수금 처리를 마무리하고 이의 제기 등록웹 앱 내부 작업통과 · 469.9 s · $0.403통과 · 774.2 s · $0.698
두 도시의 일비 청구 제출웹 앱 내부 작업통과 · 256.7 s · $0.127통과 · 282.5 s · $0.225
클라우드 콘솔에 사고 사후 분석 타임라인 등록웹 앱 내부 작업통과 · 216.3 s · $0.195통과 · 264.8 s · $0.306
두 고객의 배송 건에 대한 파손 배상 청구 제출웹 앱 내부 작업통과 · 445.9 s · $0.319통과 · 1058.7 s · $0.726
다음 주 온콜 일정 수정웹 앱 내부 작업통과 · 169.0 s · $0.125통과 · 193.3 s · $0.147
카드 거래를 경비 보고서 초안과 대조웹 앱 내부 작업통과 · 457.1 s · $0.383통과 · 535.9 s · $0.394
창고의 재고 보충 주문웹 앱 내부 작업통과 · 337.3 s · $0.182통과 · 205.3 s · $0.240
직원의 경비 보고서 검토웹 앱 내부 작업통과 · 387.7 s · $0.189통과 · 450.6 s · $0.364
오류 예산 소진에 따라 배포 동결 설정웹 앱 내부 작업통과 · 167.8 s · $0.106통과 · 240.6 s · $0.193
운송사의 정시 실적을 확정하고 알림 규칙 수정웹 앱 내부 작업통과 · 382.5 s · $0.261답변 없음 · 934.2 s · $0.971
ARC Prize 리더보드의 저비용 추론 설정개방형 조사통과 · 372.4 s · $0.296통과 · 716.2 s · $0.723
Epoch AI 데이터에서 EU 계산량 기준을 넘는 모델 집계개방형 조사통과 · 165.8 s · $0.143통과 · 252.0 s · $0.186
여덟 프런티어 모델의 EU AI Act 공개 정보개방형 조사스텝 한도 도달 · 1388.1 s · $3.008답변 없음 · 1748.6 s · $2.621
API 변경 기록 여섯 개에 담긴 2026년 9월 출시 모델 전체개방형 조사통과 · 273.4 s · $0.374통과 · 595.0 s · $0.721
2026년 9월 모델 출시에 관한 주장 열 개 팩트 체크개방형 조사오답 · 228.8 s · $0.299오답 · 507.6 s · $0.574
중국 모델 다섯 개 중 주력 및 예비 API 선택개방형 조사통과 · 412.3 s · $0.471통과 · 769.1 s · $0.696
Azure의 독일 내 한 지역에서 제공되는 모델 선택개방형 조사오답 · 297.1 s · $0.280통과 · 787.2 s · $0.871
OpenRouter에서 가장 빠른 GLM 5.3 제공자 엔드포인트 선택개방형 조사통과 · 774.9 s · $0.717오답 · 960.2 s · $0.694
API 워크로드 하나의 비용을 여섯 모델에서 계산개방형 조사통과 · 550.4 s · $0.711통과 · 1642.9 s · $2.177
Wayback Machine에 저장된 여섯 제공자의 API 요금개방형 조사오답 · 1214.3 s · $0.552답변 없음 · 350.4 s · $0.181
Wikipedia LLM 표의 근거 출처 추적개방형 조사오답 · 458.7 s · $0.350답변 없음 · 383.3 s · $0.301
LiveBench의 한 릴리스가 보여 준 결과개방형 조사오답 · 296.8 s · $0.267오답 · 330.8 s · $0.329
FRED로 인플레이션 표를 만들고 BLS와 교차 확인한 곳에서 세 곳의 사이트를 교차 확인통과 · 274.1 s · $0.224통과 · 308.6 s · $0.312
GPT 강의의 수치를 영상·코드·논문과 대조한 곳에서 세 곳의 사이트를 교차 확인통과 · 619.4 s · $0.387통과 · 237.2 s · $0.277
Apple 미국 스토어에서 MacBook 구성 세 가지 비교한 곳에서 세 곳의 사이트를 교차 확인통과 · 786.1 s · $1.226통과 · 654.4 s · $1.110
ClinicalTrials.gov의 3상 임상시험을 DailyMed 의약품 라벨 문서와 교차 확인한 곳에서 세 곳의 사이트를 교차 확인통과 · 294.2 s · $0.401답변 없음 · 591.2 s · $0.872
MDN과 Can I use에 근거한 웹 기능 여섯 가지의 사용 여부 목록한 곳에서 세 곳의 사이트를 교차 확인통과 · 269.9 s · $0.262통과 · 751.4 s · $0.796
팀 오프사이트 행사를 위한 Denver행 항공편 요금 조사한 곳에서 세 곳의 사이트를 교차 확인통과 · 526.6 s · $0.962답변 없음 · 963.3 s · $1.037
Wes Anderson 영화 여섯 편의 흥행 수입을 흥행 데이터베이스와 Wikipedia에서 대조한 곳에서 세 곳의 사이트를 교차 확인통과 · 221.1 s · $0.250통과 · 324.7 s · $0.303
Companies House에 있는 영국 기업 네 곳의 등기 정보 스냅샷한 곳에서 세 곳의 사이트를 교차 확인통과 · 320.3 s · $0.223오답 · 1005.0 s · $0.591
X와 뉴스룸에 게시된 여덟 브랜드의 2026년 제품 발표X 게시물오답 · 667.1 s · $0.536답변 없음 · 847.0 s · $0.417
X와 클럽 사이트에 게시된 축구 클럽 여덟 곳의 여름 영입X 게시물스텝 한도 도달 · 1815.4 s · $1.805답변 없음 · 2343.4 s · $1.008
오픈소스 프로젝트 여덟 개의 X 및 자체 사이트 보안 릴리스X 게시물통과 · 625.6 s · $0.627답변 없음 · 2248.5 s · $1.524
여덟 대학이 2025년 노벨상 소식을 X에 게시하기까지 걸린 시간X 게시물오답 · 1314.1 s · $0.487답변 없음 · 528.9 s · $0.237
SpaceX의 X 발사 게시물을 Wikipedia 발사 목록과 대조X 게시물통과 · 751.6 s · $0.220통과 · 638.9 s · $0.300

모델 가격은 Moonshot이 공개한 정가입니다. 그 밖의 모든 수치는 자체 실행에서 얻었습니다.