Wir haben Kimi K3.1 Pro und Kimi K3 bei 66 Browser-Aufgaben verglichen

15 Min. Lesezeit
Scherenschnittillustration: Ein orangefarbener Ballon für Kimi K3.1 Pro und ein gelber Ballon für Kimi K3 schweben am blauen Himmel.

In unserem pi- und ZenMux-Setup würden wir Kimi K3.1 Pro statt Kimi K3 wählen, um mehr Aufgaben abzuschließen. Bei den 26 Aufgaben, die beide bestanden, waren auch die mittlere Laufzeit und die mittleren geschätzten Modellkosten geringer. In diesem Vergleich von Kimi K3.1 Pro und Kimi K3 zählen wir 66 Aufgaben, die jedes Modell jeweils einmal in ego-browser ausführte. Damit hat jedes Modell 66 Versuche. Kimi K3.1 Pro bestand 38 seiner 66 Versuche (57.6%), Kimi K3 bestand 27 (40.9%). Bei den 26 Aufgaben, die beide Modelle bestanden, benötigte Kimi K3.1 Pro 400.6 Sekunden und verursachte Kosten von $0.374 pro Aufgabe; bei Kimi K3 waren es 586.1 Sekunden und $0.578.

Der größte Unterschied liegt darin, ob die Modelle die Arbeit abschließen. Kimi K3 beendete 27 seiner 66 Versuche schon vor dem Schrittlimit ohne Antwort. Davon endeten 26 mit einer Fortschrittsnotiz wie „SUSE done. Now Amazon Linux.“ Bei Kimi K3.1 Pro kam das 0 Mal vor. Bei den 35 Aufgaben, zu denen beide Modelle eine finale Antwort lieferten, bestand Kimi K3.1 Pro 29 und Kimi K3 27.

Die Schwachstelle von Kimi K3.1 Pro sind die langen Tabellen, die es jetzt fertigstellt. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen, bestand es 7 von 26 Versuchen, Kimi K3 dagegen 2. Siebzehn der 24 falschen Antworten von Kimi K3.1 Pro waren Tabellen aus diesen Aufgaben. Wir würden seine Tabellen daher vor der Verwendung prüfen. Bei explorativer Recherche bestanden beide Modelle 6 von 12 Aufgaben; bei den fünf Aufgaben, die beide bestanden, war Kimi K3.1 Pro schneller und günstiger.

Die geringeren geschätzten Modellkosten ergeben sich aus den niedrigeren Listenpreisen von Kimi K3.1 Pro. Moonshot setzt für jede Token-Art zwei Drittel des Preises von Kimi K3 an. Über alle 66 Aufgaben hinweg lagen die Kosten bei $0.772 pro Aufgabe gegenüber $0.871, obwohl es bei Versuchen, die nach dem Ende der Versuche von Kimi K3 weiterliefen, mehr Tokens verbrauchte.

Erfolgsquote

Kimi K3.1 Pro besteht mehr Aufgaben. Es bestand 12 Aufgaben, an denen Kimi K3 scheiterte, und scheiterte an 1 Aufgabe, die Kimi K3 bestand. Bei 9 dieser 12 hinzugewonnenen Aufgaben endete Kimi K3 ohne Antwort, bei den anderen 3 gab es eine falsche Antwort. Fünf der 12 Zugewinne entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen.

Kimi K3.1 Pro bestand in jeder Arbeitskategorie mindestens so viele Versuche wie Kimi K3. Nur bei explorativer Recherche gab es einen Gleichstand.

Art der AufgabeAufgabenKimi K3.1 ProKimi K3
Dieselben Felder von 8 oder mehr Websites2626.9% (7 von 26)7.7% (2 von 26)
Innerhalb einer Web-App15100% (15 von 15)86.7% (13 von 15)
Explorative Recherche1250.0% (6 von 12)50.0% (6 von 12)
Gegenprüfungen auf einer bis drei Websites8100% (8 von 8)62.5% (5 von 8)
Beiträge auf X540.0% (2 von 5)20.0% (1 von 5)
Alle Aufgaben6657.6% (38 von 66)40.9% (27 von 66)

Die Erfolgsquote beruht auf der Zahl bestandener Versuche aus den Läufen vom 3. November 2026. In keiner dieser Arbeitskategorien bestand Kimi K3 mehr Versuche als Kimi K3.1 Pro.

Die Läufe von Kimi K3 endeten häufig mitten in der Arbeit. Im verwendeten pi-Agenten arbeitet das Modell über Tool-Aufrufe, hauptsächlich ego-browser-Skripte. Eine Antwort ohne Tool-Aufruf beendet den Lauf. Kimi K3 sendete Antworten, die den nächsten Schritt ankündigten, ohne ihn auszuführen, etwa „Google done. Now Cloudflare Workers Free.“ Das geschah bei 26 seiner 66 Versuche, davon 16 bei den 26 Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Jede dieser 26 Antworten endete mit dem normalen Stoppsignal des Modells, nicht durch eine Längenbegrenzung. Kimi K3.1 Pro beendete 0 Versuche auf diese Weise.

Unsere Serverless-Aufgabe zeigt den Unterschied. Sie fragt fünf Limits der kostenlosen Tarife von neun Serverless-Plattformen ab, von AWS Lambda bis Oracle OCI Functions. Kimi K3 las die Seiten von AWS, Azure und Google und stoppte nach 11 Tool-Aufrufen mit „Google done. Now Cloudflare Workers Free.“ Kimi K3.1 Pro fuhr auf der Preisseite für Workers von Cloudflare fort, arbeitete sich mit 58 Tool-Aufrufen durch alle neun Plattformen und bestand die Aufgabe.

Wiedergabe aufgezeichneter Browser-Befehle: Kimi K3.1 Pro steuert ego-browser auf der Preisseite für Workers von Cloudflare während der Serverless-Aufgabe
Wiedergabe aufgezeichneter Befehle. Kimi K3.1 Pro in ego-browser, Aufgabe zu kostenlosen Serverless-Tarifen: Öffnet die Preisseite für Workers von Cloudflare, der vierten von neun Plattformen und derjenigen, bei der Kimi K3 stoppte. Browser-Befehl 10 von 55. Ursprünglicher Lauf: 3. November 2026. Wiedergabe am 10. November 2026 in ego(lite) aufgenommen. Bild in Originalgröße ansehen

Die anderen 3 Zugewinne gingen auf falsche finale Antworten von Kimi K3 zurück. Unsere BIP-Aufgabe fragt bei neun Statistikbehörden das Wachstum im zweiten Quartal in ihrer ersten und ihrer neuesten Schätzung ab, nicht annualisiert. Beide Modelle öffneten die erste Schätzung des US Bureau of Economic Analysis. Kimi K3 schrieb sein Skript so, dass es nur die ersten 2 500 Zeichen des Seitentexts behielt. Für beide US-Wachstumswerte auf Quartalsbasis schrieb es „not shown“. Kimi K3.1 Pro gab die gesamte Veröffentlichung aus und las in den technischen Hinweisen „0.4 percent at a quarterly rate“. Auf dieselbe Weise fand es 0.6 Prozent in der neuesten, am 30. September 2026 veröffentlichten BEA-Schätzung und füllte beide US-Zellen aus.

Wiedergabe aufgezeichneter Browser-Befehle: Kimi K3.1 Pro steuert ego-browser während der BIP-Aufgabe auf der Veröffentlichung der ersten BEA-Schätzung
Wiedergabe aufgezeichneter Befehle. Kimi K3.1 Pro in ego-browser, Aufgabe zum BIP im zweiten Quartal 2026: Lädt die erste BEA-Schätzung und gibt die gesamte Veröffentlichung aus, einschließlich der technischen Hinweise mit der Quartalsrate von 0.4 Prozent. Browser-Befehl 2 von 61. Ursprünglicher Lauf: 3. November 2026. Wiedergabe am 10. November 2026 in ego(lite) aufgenommen. Bild in Originalgröße ansehen

Die beiden Modelle scheitern auch auf unterschiedliche Weise. Jeder Versuch erhält bis zu 100 Schritte, wobei ein Schritt einer Modellrunde entspricht. Von den 39 gescheiterten Versuchen von Kimi K3 endeten 27 vor dem Schrittlimit ohne Antwort, 4 erreichten das Schrittlimit und 8 lieferten eine falsche Antwort. Von den 28 gescheiterten Versuchen von Kimi K3.1 Pro lieferten 24 eine falsche Antwort und 4 erreichten das Schrittlimit. Achtzehn dieser 24 falschen Antworten entfielen auf Aufgaben, bei denen Kimi K3 überhaupt keine finale Antwort gegeben hatte. Wir würden wechseln und dabei die Antworten prüfen, die Kimi K3.1 Pro nun bei Aufgaben liefert, bei denen der Lauf von Kimi K3 ohne finale Antwort endete.

Was Kimi K3.1 Pro noch falsch macht

Kimi K3.1 Pro stellt lange Tabellen fertig, füllt aber nicht immer jede Zelle korrekt aus. Wir würden seine Tabellen daher als zu prüfende Entwürfe behandeln. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen, bestand es 7 von 26 Versuchen. Siebzehn seiner 24 falschen Antworten entfielen auf diese Aufgaben: jeweils eine Antwort mit einer fertigen Tabelle und mindestens einem falschen Wert oder einer falschen Aussage in der Zusammenfassung.

Bei unserer Zentralbank-Aufgabe liegt der Fehler zum Beispiel in der Zusammenfassung. Die Aufgabe fragt zwölf Zentralbanken nach ihrer ersten Zinsentscheidung 2026 und danach, welche Bank diese zuletzt bekannt gab. Kimi K3.1 Pro öffnete die Veröffentlichung der Schweizerischen Nationalbank vom 19. März 2026 und trug dieses Datum in die eigene Tabelle ein. In seiner Zusammenfassung nannte es dennoch die Reservebank von Indien mit dem 6. Februar als letzte Bank.

Was die Aufgabe verlangtRichtige AntwortAntwort von Kimi K3.1 Pro
Letzte Bank, die ihre erste Entscheidung 2026 bekannt gabSchweizerische Nationalbank, 2026-03-19Reservebank von Indien, 2026-02-06

Kimi K3 nannte bei derselben Aufgabe richtigerweise die Schweizerische Nationalbank, verfehlte jedoch andere Werte und bestand ebenfalls nicht.

Wiedergabe aufgezeichneter Browser-Befehle: Kimi K3.1 Pro steuert ego-browser während der Zentralbank-Aufgabe auf der Veröffentlichung der Schweizerischen Nationalbank vom 19. März 2026
Wiedergabe aufgezeichneter Befehle. Kimi K3.1 Pro in ego-browser, Zentralbank-Aufgabe: Öffnet die geldpolitische Lagebeurteilung der Schweizerischen Nationalbank vom 19. März 2026, also dem Datum, das in seiner Zusammenfassung anschließend nicht korrekt wiedergegeben wurde. Browser-Befehl 18 von 52. Ursprünglicher Lauf: 3. November 2026. Wiedergabe am 10. November 2026 in ego(lite) aufgenommen. Bild in Originalgröße ansehen

Bevor Sie eine Tabelle von Kimi K3.1 Pro verwenden, gleichen Sie die Aussagen in der Zusammenfassung mit den eigenen Datenzeilen ab und prüfen Sie stichprobenartig Zellen anhand der Quellen. Kimi K3 bestand 2 von 26 dieser Aufgaben.

Geschwindigkeit

Kimi K3.1 Pro ist bei derselben Arbeit schneller, wobei es weniger Text erzeugt und weniger Tool-Aufrufe ausführt. Bei den 26 Aufgaben, die beide Modelle bestanden, lag seine mittlere Laufzeit bei 400.6 Sekunden pro Aufgabe gegenüber 586.1. Bei 21 der 26 war es schneller. Bei den anderen 5 war Kimi K3 schneller.

Bei den 26 Aufgaben, die beide Modelle bestandenKimi K3.1 ProKimi K3
Zeit pro Aufgabe400.6 s586.1 s
Tool-Aufrufe pro Aufgabe25.833.5
Ausgabe-Tokens pro Aufgabe, einschließlich Reasoning6 99710 727

Mittelwerte pro Aufgabe aus den Läufen vom 3. November 2026.

Bei einem Agenten, auf dessen Ergebnis jemand wartet, würden wir die kürzere Wartezeit als echten Gewinn werten.

Kosten

Kimi K3.1 Pro kostet pro Aufgabe weniger; die Ersparnis ergibt sich aus den niedrigeren Listenpreisen. Über alle 66 Aufgaben hinweg kostete es $0.772 pro Aufgabe gegenüber $0.871 für Kimi K3. Einschließlich der gescheiterten Versuche kostete jeder bestandene Versuch $1.340 gegenüber $2.130. Bei den 26 Aufgaben, die beide Modelle bestanden, waren es $0.374 pro Aufgabe gegenüber $0.578; bei 24 davon war es günstiger.

Moonshots Preisliste nennt für Kimi K3.1 Pro $2.00 pro Million Eingabe-Tokens, $0.20 für gecachte Eingaben, $2.00 für Cache-Schreibvorgänge und $10.00 für Ausgaben. Für Kimi K3 sind $3.00, $0.30, $3.00 und $15.00 angegeben. Damit beträgt der Preis des neuen Modells bei jeder Token-Art zwei Drittel des Preises von Kimi K3.

Kosten pro AufgabeKimi K3.1 ProKimi K3
Alle 66 Aufgaben$0.772$0.871
Alle 66 Aufgaben, Tokens von Kimi K3.1 Pro zu den Preisen von Kimi K3$1.158$0.871
26 Aufgaben, die beide Modelle bestanden$0.374$0.578
26 Aufgaben, die beide Modelle bestanden, Tokens von Kimi K3.1 Pro zu den Preisen von Kimi K3$0.561$0.578
Pro bestandenem Versuch, über alle 66 Aufgaben$1.340$2.130

Kosten zu Moonshots Listenpreisen, berechnet anhand des Token-Verbrauchs jedes Versuchs in den Läufen vom 3. November 2026.

Bei derselben Arbeit kosten die Tokens beider Modelle zu gleichen Preisen ungefähr gleich viel: Zu den Tarifen von Kimi K3 ergeben die Tokens von Kimi K3.1 Pro bei den 26 gemeinsamen Aufgaben $0.561 gegenüber $0.578. Über alle 66 Aufgaben hinweg sind es $1.158 gegenüber $0.871, weil Kimi K3.1 Pro bei Läufen weiterarbeitete, bei denen Kimi K3 stoppte. Wir würden mit den Kosten pro Aufgabe statt dem Token-Preis planen, denn ein Modell, das mehr Läufe abschließt, verbraucht auch Tokens, um sie abzuschließen.

Explorative Recherche

Bei explorativer Recherche bringt der Wechsel zu Kimi K3.1 Pro Geschwindigkeits- und Kostenvorteile, aber nicht mehr bestandene Aufgaben. Diese 12 Aufgaben geben ein Ziel und wenige Ausgangsquellen vor und überlassen den Weg dem Agenten. Beide Modelle bestanden 6 von 12; Kimi K3.1 Pro gewann eine Aufgabe hinzu und verlor eine. Bei den 5 Aufgaben, die beide bestanden, benötigte es 354.9 Sekunden und verursachte Kosten von $0.399 pro Aufgabe gegenüber 795.0 Sekunden und $0.901. Bei allen 5 war es schneller.

Die verlorene Aufgabe zeigt, worauf es zu achten gilt. Die Azure-Aufgabe fragt, welche der sieben Kandidatenmodelle unter sechs Anforderungen in der Azure-Region Germany West Central eingesetzt werden können und weshalb die anderen Kandidaten jeweils ausscheiden. Beide Modelle wählten GPT-6 Luna. Kimi K3 öffnete außerdem Azures Seite zu Modellen von Partnern und zitierte den Grund, weshalb Claude Sonnet 5.5 ausschied: Sein Data Zone Standard-Deployment war nur in den USA verfügbar.

Wiedergabe aufgezeichneter Browser-Befehle auf Microsoft Learn mit ausgeklappter Tabelle der US-Regionen für Data Zone Standard
Wiedergabe von Browser-Befehl 20 von 22 in der Azure-Modellauswahl von Kimi K3, mit zum Lesen ausgeklappter aktueller Tabelle der US-Regionen für Data Zone Standard. Die ursprüngliche Feststellung zur Verfügbarkeit stammt aus der Aufzeichnung des Laufs vom 3. November. Ursprünglicher Lauf: 3. November 2026. Wiedergabe am 10. November 2026 aufgenommen. Bild in Originalgröße ansehen

Kimi K3.1 Pro schloss Claude anhand der Tabelle der direkt von Azure verkauften Modelle aus und öffnete diese Seite nie. Als Grund schrieb es „not shown“, nach 15 Browser-Befehlen gegenüber 22 bei Kimi K3. Bei beiden Modellen würden wir den angegebenen Grund für jede vom Agenten ausgeschlossene Option prüfen.

Welches Modell wählen?

Für das getestete Setup aus pi 1.5.0, ZenMux und ego-browser würden wir Kimi K3.1 Pro wählen. Es bestand 38 von 66 Versuchen gegenüber 27 bei Kimi K3 und war bei den 26 Aufgaben, die beide bestanden, schneller und günstiger. In keiner getesteten Arbeitskategorie bestand Kimi K3 mehr Versuche.

Für die getesteten Web-Apps und Gegenprüfungen auf einer bis drei Websites würden wir Kimi K3.1 Pro wählen: Es bestand alle 15 Aufgaben der ersten und alle 8 der zweiten Gruppe. Vier der 5 Fehlschläge von Kimi K3 in diesen Gruppen waren Läufe, die ohne Antwort endeten. Für ähnliche Aufgaben über mehrere Websites in diesem pi-Setup würden wir ebenfalls Kimi K3.1 Pro wählen, weil es 7 von 26 Aufgaben bestand, Kimi K3 dagegen 2. Prüfen Sie diese Tabellen vor der Verwendung. Bei den fünf explorativen Rechercheaufgaben, die beide Modelle bestanden, hatte Kimi K3.1 Pro geringere Laufzeiten und geschätzte Kosten; die Gesamtzahl bestandener Aufgaben war gleich.

Unser Setup nutzte Kimi K3.1 Pro als moonshotai/kimi-k3.1-pro über ZenMux mit hohem Reasoning-Aufwand im pi-Agenten mit dessen bash-Tool und der ego-browser-Skilldatei. ego-browser wird zusammen mit ego(lite) bereitgestellt, das der Agent als Browser steuert.

Die Rolle von ego(lite) in diesem Vergleich

ego(lite) stellte den von ego-browser gesteuerten Browser bereit; pi stellte die Agentenschleife und ZenMux den Zugriff auf beide Modelle bereit. Der Integrationsleitfaden für ego-browser beschreibt, wie dieser Browser mit einem Agenten verbunden wird.

Die Stoppregel von pi gehört zu dieser Modellentscheidung: Eine Antwort ohne Tool-Aufruf beendet den Versuch. Behalten Sie diese Regel im Blick, wenn Sie den Vergleich der Aufgabenabschlüsse auf ähnliche Arbeit übertragen. Die Mittelwerte für Zeit und Modellkosten beziehen sich auf die sechsundzwanzig Aufgaben, die beide Modelle bestanden, nicht auf jede Aufgabe oder das Stoppverhalten eines anderen Agenten.

Häufige Fragen

Ist Kimi K3.1 Pro für Browser-Agenten besser als Kimi K3?

Ja, in unserem Test mit 66 Aufgaben in ego-browser. Kimi K3.1 Pro bestand 38 seiner 66 Versuche (57.6%), Kimi K3 bestand 27 (40.9%). Es bestand 12 Aufgaben, an denen Kimi K3 scheiterte, und scheiterte an 1 Aufgabe, die Kimi K3 bestand.

Ist Kimi K3.1 Pro günstiger als Kimi K3?

Ja, pro Aufgabe. Über unsere 66 Browser-Aufgaben hinweg kostete Kimi K3.1 Pro $0.772 pro Aufgabe und Kimi K3 $0.871. Pro bestandenem Versuch ist der Unterschied größer: $1.340 gegenüber $2.130.

Ist Kimi K3.1 Pro schneller als Kimi K3?

Ja, bei der Arbeit, die beide Modelle abschlossen. Bei den 26 Browser-Aufgaben, die beide bestanden, benötigte Kimi K3.1 Pro 400.6 Sekunden pro Aufgabe und Kimi K3 586.1. Es tätigte 25.8 Tool-Aufrufe pro Aufgabe gegenüber 33.5 und erzeugte 6 997 Ausgabe-Tokens gegenüber 10 727.

Was kostet Kimi K3.1 Pro pro Million Tokens?

Moonshot nennt für Kimi K3.1 Pro $2.00 pro Million Eingabe-Tokens, $0.20 für gecachte Eingaben, $2.00 für Cache-Schreibvorgänge und $10.00 für Ausgaben. Für Kimi K3 sind $3.00, $0.30, $3.00 und $15.00 angegeben. Damit beträgt der Preis des neuen Modells bei jeder Token-Art zwei Drittel des Preises von Kimi K3.

Warum stoppt Kimi K3 mitten in einer Browser-Aufgabe?

Kimi K3 beendete 26 seiner 66 Versuche mit einer Antwort, die den nächsten Schritt ankündigte, aber keinen Tool-Aufruf ausführte. Im pi-Agenten beendet das den Lauf. Seine letzten Worte waren Notizen wie „SUSE done. Now Amazon Linux.“ Sechzehn der 26 entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Bei Kimi K3.1 Pro geschah das 0 Mal.

Welche Browser-Aufgaben verbesserten sich mit Kimi K3.1 Pro am stärksten?

Die meisten Aufgaben, 5, gewann Kimi K3.1 Pro bei Aufgaben hinzu, die dieselben Felder von 8 oder mehr Websites zusammentragen; dort verlor es keine. Es gewann außerdem 3 Gegenprüfungen auf einer bis drei Websites, 2 Aufgaben innerhalb einer Web-App, 1 explorative Rechercheaufgabe und 1 Aufgabe zu Beiträgen auf X hinzu.

Wurde Kimi K3.1 Pro bei einer Browser-Aufgabe schlechter?

Bei 1 von 66 Aufgaben. Das neue Modell scheiterte an einer Azure-Modellauswahl, weil es einen Kandidaten ausschloss, ohne die Seite mit der Begründung zu öffnen; Kimi K3 bestand diese Aufgabe. Das neue Modell bestand 12 Aufgaben, an denen Kimi K3 scheiterte.

Was macht Kimi K3.1 Pro im Browser noch falsch?

Vor allem Werte in langen Tabellen: 17 seiner 24 falschen Antworten entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Bei einer Aufgabe nannte seine Zusammenfassung die falsche Bank, obwohl die eigene Tabelle das richtige Datum enthielt. Es erreichte außerdem bei 4 Versuchen das Limit von 100 Schritten, genauso oft wie Kimi K3.

Wie schlägt sich Kimi K3.1 Pro bei der Automatisierung von Web-Apps?

Kimi K3.1 Pro bestand alle 15 unserer Aufgaben innerhalb einer Web-App, Kimi K3 bestand 13. Die Aufgaben laufen in unseren Test-Apps für operative Abläufe, Reisekosten und eine Cloud-Konsole, mit neuen Daten für jeden Versuch. Bei den 13 Aufgaben, die beide bestanden, benötigte es 327.0 Sekunden und verursachte Kosten von $0.240 pro Aufgabe gegenüber 454.7 Sekunden und $0.383.

Sollte ich meinen Browser-Agenten von Kimi K3 auf Kimi K3.1 Pro umstellen?

Im getesteten pi- und ZenMux-Setup ja. Kimi K3.1 Pro bestand 38 von 66 Versuchen gegenüber 27, bei geringerer mittlerer Laufzeit und geringeren mittleren geschätzten Kosten für die 26 Aufgaben, die beide bestanden. Behalten Sie bei Tabellen aus 8 oder mehr Websites einen Prüfschritt bei, denn 17 seiner 24 falschen Antworten stammten aus diesen Aufgaben.

Unser Testverfahren

Wir führten beide Modelle am 3. November 2026 auf demselben Mac mit Apple-Chip und macOS 26.5 aus. Beide nutzten denselben Agenten, pi 1.5.0, mit ego-browser als Browser-Tool, dieselbe ego-browser-Skilldatei und dieselben Versionen von ego(lite) und ego-browser. Die Modelle waren Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) und Kimi K3 (moonshotai/kimi-k3), beide mit hohem Reasoning-Aufwand und beide über denselben API-Anbieter, ZenMux.

Das Modell steuert ego-browser mit kurzen JavaScript-Programmen, die Seiten laden, klicken, Formulare ausfüllen und Seitentext oder einen Accessibility-Snapshot ausgeben. Jeder Versuch war auf höchstens 100 Schritte und 60 Minuten begrenzt. Ein Schritt ist eine Modellrunde: eine Anfrage an das Modell und dessen Antwort. Die Aufgabe weist das Modell an, mit einer Nachricht abzuschließen, die mit FINAL ANSWER beginnt.

Wir zählen 66 Aufgaben, die jeweils genau einer Arbeitskategorie angehören. „Dieselben Felder von 8 oder mehr Websites“ (26 Aufgaben) trägt einen Satz von Feldern von 8 oder mehr Websites zusammen, etwa BIP-Veröffentlichungen von neun Statistikbehörden. „Innerhalb einer Web-App“ (15) läuft in Test-Apps für operative Abläufe, Reisekosten und eine Cloud-Konsole, etwa zum Korrigieren der Warnregeln eines Transportdienstleisters. „Explorative Recherche“ (12) gibt ein Ziel und einige Quellen vor, etwa die Auswahl eines in einer Azure-Region angebotenen Modells. „Gegenprüfungen auf einer bis drei Websites“ (8) vergleicht Zahlen zwischen wenigen Websites, etwa Einträge klinischer Studien mit Arzneimittelinformationen. „Beiträge auf X“ (5) gleicht Beiträge auf X mit anderen Aufzeichnungen ab, etwa Beiträge zu SpaceX-Starts mit Wikipedias Listen zu Starts; diese Aufgaben zählen nur als Beiträge auf X.

Jede Aufgabe hat eine Liste bewerteter Kriterien, insgesamt 443 über die 66 Aufgaben. Ein Kriterium pro Aufgabe prüft, ob alle angeforderten Werte in der finalen Antwort enthalten sind. Die anderen 377 prüfen jeweils angeforderte Werte: 309 wurden vorab anhand offizieller Websites festgelegt, 49 stammen aus den Daten, die die Test-Apps für jeden Versuch erzeugen, und 19 werden anhand der aktuellen Seite geprüft. Ein Versuch besteht nur, wenn seine finale Antwort jedes Kriterium erfüllt. Beide Modelle wurden anhand derselben Kriterien bewertet.

Eine Aufgabe ist eine der 66 gezählten Aufgaben. Ein Versuch bedeutet, dass ein Modell eine Aufgabe einmal ausführt; jedes Modell hat daher 66 Versuche. Die Erfolgsquote ist die Zahl bestandener Versuche von insgesamt 66. Die vollständigen Ergebnisse führen sechs zusätzliche Aufgaben als „Nicht gezählt“ auf. Bei jeder wurde der ursprüngliche Versuch eines Modells durch einen gezielten Wiederholungslauf ersetzt oder es fehlte eine gültige archivierte Aufzeichnung des ersten Versuchs. Wir schließen dieselben sechs Aufgaben für beide Modelle aus. Ein Tool-Aufruf ist ein vom Modell ausgeführter Befehl: meist ego-browser-Skripte, ansonsten Shell- oder Dateibefehle wie das Durchsuchen gespeicherten Seitentexts. Ein Browser-Befehl ist ein ego-browser-Skript; die Bildunterschriften zählen Browser-Befehle.

Die Zeit pro Aufgabe ist die tatsächlich verstrichene Zeit vom Beginn bis zum Ende eines Versuchs. Sie umfasst das Warten auf die Modell-API einschließlich Reasoning und die Ausführung der Tool-Aufrufe des Modells. Die Geschwindigkeit wird bei den 26 Aufgaben verglichen, die beide Modelle bestanden, da die Zeit einer gescheiterten Aufgabe nicht vergleichbar ist. Die Kostenschätzungen bewerten die protokollierten Eingabe-, gecachten Eingabe-, Cache-Schreib- und Ausgabe-Tokens jedes Versuchs zu den angegebenen Moonshot-Tarifen. Es handelt sich nicht um ZenMux-Abonnementkosten oder Rechnungsbeträge. Die Kosten pro bestandenem Versuch sind die Kosten aller 66 Versuche geteilt durch die Zahl bestandener Versuche.

Ein Versuch erreichte das Schrittlimit, wenn er alle 100 Schritte ohne finale Antwort aufbrauchte. Ein Versuch endete mit einer Fortschrittsnotiz, wenn die letzte Antwort des Modells vor dem Schrittlimit Text, aber keinen Tool-Aufruf und kein FINAL ANSWER enthielt. Eine falsche Antwort ist eine finale Antwort, die nicht bestand.

Vollständige Ergebnisse

Jede Zelle zeigt das Ergebnis dieses Modells bei der Aufgabe, die Dauer des Versuchs in Sekunden und seine Kosten. Ein Ergebnis lautet „Bestanden“, „Falsche Antwort“, „Keine Antwort“ (der Lauf endete vor dem Schrittlimit ohne finale Antwort) oder „Schrittlimit erreicht“. Die Zeit umfasst das Warten auf die Modell-API. Bei den sechs als „Nicht gezählt“ markierten Aufgaben fehlen nach gezielten Ersatzläufen vergleichbare Aufzeichnungen des ersten Versuchs. Alle sechs werden für beide Modelle ausgeschlossen.

AufgabeArt der AufgabeKimi K3.1 ProKimi K3
Klimabilanz 2025 von elf WetterdienstenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 633.7 s · $1.235Schrittlimit erreicht · 2010.1 s · $3.368
Verkehrsaufkommen 2025 an acht DrehkreuzflughäfenDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Saisonzahlen 2025-26 aus neun FußballligenDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Hauptpreise 2026 bei neun FilmfestivalsDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1399.6 s · $2.591Keine Antwort · 1306.1 s · $1.418
Freigabebogen für neun Modelle mit offenen Gewichten auf Hugging FaceDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 598.6 s · $0.716Keine Antwort · 1217.4 s · $1.284
Compliance-Matrix aus neun SaaS-Trust-CenternDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 590.3 s · $0.637Keine Antwort · 1138.5 s · $0.844
Crashtest-Bewertungen eines SUV in neun ProgrammenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1242.3 s · $1.312Schrittlimit erreicht · 1576.6 s · $1.765
Geltende Ausgaben von neun technischen NormenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 592.9 s · $0.658Keine Antwort · 320.4 s · $0.250
Erste Zinsentscheidung 2026 bei zwölf ZentralbankenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 617.0 s · $1.023Falsche Antwort · 1256.3 s · $1.986
Erste und neueste BIP-Veröffentlichungen zum zweiten Quartal 2026 von neun BehördenDieselben Felder von 8 oder mehr WebsitesBestanden · 1001.2 s · $1.181Falsche Antwort · 1294.2 s · $1.363
Kostenlose CI-Tarife für private Repositories bei neun DienstenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1033.5 s · $1.187Keine Antwort · 963.4 s · $1.068
Kostenlose Tarife von neun Serverless-PlattformenDieselben Felder von 8 oder mehr WebsitesBestanden · 924.5 s · $1.283Keine Antwort · 248.4 s · $0.173
Darstellung desselben Albums bei neun MusikdienstenDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Neueste Wahlergebnisse von neun WahlbehördenDieselben Felder von 8 oder mehr WebsitesSchrittlimit erreicht · 1256.5 s · $2.222Schrittlimit erreicht · 1789.7 s · $2.389
Neuester Versionszweig von neun Laufzeitumgebungen für ProgrammiersprachenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 810.3 s · $1.106Falsche Antwort · 1024.2 s · $1.171
Neueste stabile Version von neun JavaScript-FrameworksDieselben Felder von 8 oder mehr WebsitesBestanden · 515.4 s · $0.523Bestanden · 957.6 s · $0.722
Neueste stabile Version von neun Desktop-BrowsernDieselben Felder von 8 oder mehr WebsitesBestanden · 471.8 s · $0.913Keine Antwort · 903.0 s · $0.765
Messwerte zum Erdbeben von Kamtschatka 2025 von neun BehördenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 789.4 s · $1.128Keine Antwort · 971.8 s · $1.335
Offizielle UK-Spezifikationen von neun Flaggschiff-SmartphonesDieselben Felder von 8 oder mehr WebsitesBestanden · 564.8 s · $0.865Keine Antwort · 1331.7 s · $1.161
Offizielle Spezifikationen von acht KamerasDieselben Felder von 8 oder mehr WebsitesBestanden · 953.2 s · $1.521Bestanden · 1479.8 s · $1.730
Ausgabedetails eines Buchs auf zehn Verlags- und BibliothekswebsitesDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Altersfreigaben eines Spiels bei acht PrüfstellenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1385.2 s · $1.905Keine Antwort · 1355.8 s · $1.592
Behebungsstatus einer sudo-CVE in neun HerstellerhinweisenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 539.4 s · $0.521Keine Antwort · 158.9 s · $0.133
Nummer-eins-Singles einer Woche in neun nationalen ChartsDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Eröffnungskeynotes von neun EntwicklerkonferenzenDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1198.7 s · $1.457Keine Antwort · 1450.3 s · $1.485
Versionen von Protocol Buffers in neun PaketregisternDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 472.9 s · $0.732Keine Antwort · 582.4 s · $0.296
Ergebnisse aus acht Entwicklerumfragen 2025Dieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 599.1 s · $1.255Falsche Antwort · 1587.4 s · $1.785
Gesetzlicher Mindestlohn an neun OrtenDieselben Felder von 8 oder mehr WebsitesNicht gezähltNicht gezählt
Support-Enddaten von neun ServerproduktenDieselben Felder von 8 oder mehr WebsitesBestanden · 690.2 s · $0.781Keine Antwort · 370.0 s · $0.292
Einträge von zehn Museen zu Hokusais Großer WelleDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 824.7 s · $1.025Keine Antwort · 1644.2 s · $1.124
Zulassungen von Tirzepatid zur Gewichtsregulierung bei acht AufsichtsbehördenDieselben Felder von 8 oder mehr WebsitesSchrittlimit erreicht · 1475.9 s · $2.742Keine Antwort · 1171.2 s · $1.414
US-Reichweiten- und Ladedaten von neun Elektro-SUVsDieselben Felder von 8 oder mehr WebsitesFalsche Antwort · 1027.4 s · $1.707Schrittlimit erreicht · 1711.3 s · $1.685
Eine Lockbox-Einzahlung offenen Rechnungen zuordnenInnerhalb einer Web-AppBestanden · 286.4 s · $0.208Bestanden · 404.7 s · $0.402
Während eines Änderungsstopps vorgenommene Änderungen prüfen und zurückrollenInnerhalb einer Web-AppBestanden · 160.4 s · $0.140Bestanden · 545.1 s · $0.394
Die Reise eines Kollegen in einer Reise-App buchenInnerhalb einer Web-AppBestanden · 438.2 s · $0.409Bestanden · 433.4 s · $0.474
Monitore der Stufe 1 an einen schriftlichen Standard anpassenInnerhalb einer Web-AppBestanden · 248.5 s · $0.253Keine Antwort · 105.0 s · $0.094
Kilometerkosten für eine Woche Kundenbesuche abrechnenInnerhalb einer Web-AppBestanden · 458.1 s · $0.333Bestanden · 521.6 s · $0.418
Februar-Forderungen abschließen und Streitfälle in einer Betriebs-App eröffnenInnerhalb einer Web-AppBestanden · 469.9 s · $0.403Bestanden · 774.2 s · $0.698
Einen Antrag auf Tagegeld für zwei Städte einreichenInnerhalb einer Web-AppBestanden · 256.7 s · $0.127Bestanden · 282.5 s · $0.225
Den Zeitablauf eines Vorfalls für dessen nachträgliche Analyse in einer Cloud-Konsole dokumentierenInnerhalb einer Web-AppBestanden · 216.3 s · $0.195Bestanden · 264.8 s · $0.306
Schadensansprüche für die Lieferungen von zwei Kunden anmeldenInnerhalb einer Web-AppBestanden · 445.9 s · $0.319Bestanden · 1058.7 s · $0.726
Den Bereitschaftsplan für nächste Woche korrigierenInnerhalb einer Web-AppBestanden · 169.0 s · $0.125Bestanden · 193.3 s · $0.147
Kartentransaktionen mit dem Entwurf einer Spesenabrechnung abgleichenInnerhalb einer Web-AppBestanden · 457.1 s · $0.383Bestanden · 535.9 s · $0.394
Nachbestellungen für ein Lager aufgebenInnerhalb einer Web-AppBestanden · 337.3 s · $0.182Bestanden · 205.3 s · $0.240
Die Spesenabrechnung eines Mitarbeiters prüfenInnerhalb einer Web-AppBestanden · 387.7 s · $0.189Bestanden · 450.6 s · $0.364
Deployment-Stopps anhand des Verbrauchs des Fehlerbudgets festlegenInnerhalb einer Web-AppBestanden · 167.8 s · $0.106Bestanden · 240.6 s · $0.193
Pünktlichkeitszahlen eines Transportdienstleisters abstimmen und Warnregeln korrigierenInnerhalb einer Web-AppBestanden · 382.5 s · $0.261Keine Antwort · 934.2 s · $0.971
Günstige Reasoning-Einstellungen in den Ranglisten von ARC PrizeExplorative RechercheBestanden · 372.4 s · $0.296Bestanden · 716.2 s · $0.723
Modelle oberhalb der EU-Referenzwerte für Rechenaufwand in den Daten von Epoch AI zählenExplorative RechercheBestanden · 165.8 s · $0.143Bestanden · 252.0 s · $0.186
Offenlegungen zum EU AI Act für acht SpitzenmodelleExplorative RechercheSchrittlimit erreicht · 1388.1 s · $3.008Keine Antwort · 1748.6 s · $2.621
Alle im September 2026 eingeführten Modelle aus sechs API-ÄnderungsprotokollenExplorative RechercheBestanden · 273.4 s · $0.374Bestanden · 595.0 s · $0.721
Zehn Aussagen zu Modelleinführungen im September 2026 überprüfenExplorative RechercheFalsche Antwort · 228.8 s · $0.299Falsche Antwort · 507.6 s · $0.574
Eine Haupt- und eine Ersatz-API aus fünf chinesischen Modellen auswählenExplorative RechercheBestanden · 412.3 s · $0.471Bestanden · 769.1 s · $0.696
Ein in einer deutschen Azure-Region angebotenes Modell auswählenExplorative RechercheFalsche Antwort · 297.1 s · $0.280Bestanden · 787.2 s · $0.871
Den schnellsten Anbieter-Endpunkt für GLM 5.3 auf OpenRouter auswählenExplorative RechercheBestanden · 774.9 s · $0.717Falsche Antwort · 960.2 s · $0.694
Die Kosten einer API-Arbeitslast über sechs Modelle berechnenExplorative RechercheBestanden · 550.4 s · $0.711Bestanden · 1642.9 s · $2.177
API-Preise von sechs Anbietern in den Archiven der Wayback MachineExplorative RechercheFalsche Antwort · 1214.3 s · $0.552Keine Antwort · 350.4 s · $0.181
Die Quellen hinter einer LLM-Tabelle auf Wikipedia nachvollziehenExplorative RechercheFalsche Antwort · 458.7 s · $0.350Keine Antwort · 383.3 s · $0.301
Was eine LiveBench-Version zeigteExplorative RechercheFalsche Antwort · 296.8 s · $0.267Falsche Antwort · 330.8 s · $0.329
Eine Inflationstabelle aus FRED erstellen und bei BLS gegenprüfenGegenprüfungen auf einer bis drei WebsitesBestanden · 274.1 s · $0.224Bestanden · 308.6 s · $0.312
Zahlen aus einer GPT-Vorlesung anhand von Video, Code und Paper überprüfenGegenprüfungen auf einer bis drei WebsitesBestanden · 619.4 s · $0.387Bestanden · 237.2 s · $0.277
Drei MacBook-Konfigurationen in Apples US-Store vergleichenGegenprüfungen auf einer bis drei WebsitesBestanden · 786.1 s · $1.226Bestanden · 654.4 s · $1.110
Phase-3-Studien auf ClinicalTrials.gov mit Arzneimittelinformationen von DailyMed gegenprüfenGegenprüfungen auf einer bis drei WebsitesBestanden · 294.2 s · $0.401Keine Antwort · 591.2 s · $0.872
Machbarkeitsliste für sechs Webfunktionen anhand von MDN und Can I useGegenprüfungen auf einer bis drei WebsitesBestanden · 269.9 s · $0.262Bestanden · 751.4 s · $0.796
Preise für Flüge nach Denver zu einem Teamtreffen außerhalb des Büros berechnenGegenprüfungen auf einer bis drei WebsitesBestanden · 526.6 s · $0.962Keine Antwort · 963.3 s · $1.037
Einspielergebnisse von sechs Filmen von Wes Anderson zwischen einer Kinokassen-Datenbank und Wikipedia abgleichenGegenprüfungen auf einer bis drei WebsitesBestanden · 221.1 s · $0.250Bestanden · 324.7 s · $0.303
Registerstand von vier britischen Unternehmen bei Companies House zu einem bestimmten ZeitpunktGegenprüfungen auf einer bis drei WebsitesBestanden · 320.3 s · $0.223Falsche Antwort · 1005.0 s · $0.591
Produktankündigungen von acht Marken im Jahr 2026 auf X und in ihren NewsroomsBeiträge auf XFalsche Antwort · 667.1 s · $0.536Keine Antwort · 847.0 s · $0.417
Sommertransfers von acht Fußballclubs auf X und den ClubwebsitesBeiträge auf XSchrittlimit erreicht · 1815.4 s · $1.805Keine Antwort · 2343.4 s · $1.008
Sicherheitsveröffentlichungen von acht Open-Source-Projekten auf X und ihren WebsitesBeiträge auf XBestanden · 625.6 s · $0.627Keine Antwort · 2248.5 s · $1.524
Wie schnell acht Universitäten ihre Nobelpreisnachrichten 2025 auf X veröffentlichtenBeiträge auf XFalsche Antwort · 1314.1 s · $0.487Keine Antwort · 528.9 s · $0.237
Beiträge zu SpaceX-Starts auf X mit Wikipedias Listen zu Starts abgleichenBeiträge auf XBestanden · 751.6 s · $0.220Bestanden · 638.9 s · $0.300

Die Modellpreise entsprechen Moonshots veröffentlichten Listenpreisen. Alle anderen Zahlen stammen aus unseren eigenen Läufen.