Wir haben Kimi K3.1 Pro und Kimi K3 bei 66 Browser-Aufgaben verglichen

In unserem pi- und ZenMux-Setup würden wir Kimi K3.1 Pro statt Kimi K3 wählen, um mehr Aufgaben abzuschließen. Bei den 26 Aufgaben, die beide bestanden, waren auch die mittlere Laufzeit und die mittleren geschätzten Modellkosten geringer. In diesem Vergleich von Kimi K3.1 Pro und Kimi K3 zählen wir 66 Aufgaben, die jedes Modell jeweils einmal in ego-browser ausführte. Damit hat jedes Modell 66 Versuche. Kimi K3.1 Pro bestand 38 seiner 66 Versuche (57.6%), Kimi K3 bestand 27 (40.9%). Bei den 26 Aufgaben, die beide Modelle bestanden, benötigte Kimi K3.1 Pro 400.6 Sekunden und verursachte Kosten von $0.374 pro Aufgabe; bei Kimi K3 waren es 586.1 Sekunden und $0.578.
Der größte Unterschied liegt darin, ob die Modelle die Arbeit abschließen. Kimi K3 beendete 27 seiner 66 Versuche schon vor dem Schrittlimit ohne Antwort. Davon endeten 26 mit einer Fortschrittsnotiz wie „SUSE done. Now Amazon Linux.“ Bei Kimi K3.1 Pro kam das 0 Mal vor. Bei den 35 Aufgaben, zu denen beide Modelle eine finale Antwort lieferten, bestand Kimi K3.1 Pro 29 und Kimi K3 27.
Die Schwachstelle von Kimi K3.1 Pro sind die langen Tabellen, die es jetzt fertigstellt. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen, bestand es 7 von 26 Versuchen, Kimi K3 dagegen 2. Siebzehn der 24 falschen Antworten von Kimi K3.1 Pro waren Tabellen aus diesen Aufgaben. Wir würden seine Tabellen daher vor der Verwendung prüfen. Bei explorativer Recherche bestanden beide Modelle 6 von 12 Aufgaben; bei den fünf Aufgaben, die beide bestanden, war Kimi K3.1 Pro schneller und günstiger.
Die geringeren geschätzten Modellkosten ergeben sich aus den niedrigeren Listenpreisen von Kimi K3.1 Pro. Moonshot setzt für jede Token-Art zwei Drittel des Preises von Kimi K3 an. Über alle 66 Aufgaben hinweg lagen die Kosten bei $0.772 pro Aufgabe gegenüber $0.871, obwohl es bei Versuchen, die nach dem Ende der Versuche von Kimi K3 weiterliefen, mehr Tokens verbrauchte.
Erfolgsquote
Kimi K3.1 Pro besteht mehr Aufgaben. Es bestand 12 Aufgaben, an denen Kimi K3 scheiterte, und scheiterte an 1 Aufgabe, die Kimi K3 bestand. Bei 9 dieser 12 hinzugewonnenen Aufgaben endete Kimi K3 ohne Antwort, bei den anderen 3 gab es eine falsche Antwort. Fünf der 12 Zugewinne entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen.
Kimi K3.1 Pro bestand in jeder Arbeitskategorie mindestens so viele Versuche wie Kimi K3. Nur bei explorativer Recherche gab es einen Gleichstand.
| Art der Aufgabe | Aufgaben | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Dieselben Felder von 8 oder mehr Websites | 26 | 26.9% (7 von 26) | 7.7% (2 von 26) |
| Innerhalb einer Web-App | 15 | 100% (15 von 15) | 86.7% (13 von 15) |
| Explorative Recherche | 12 | 50.0% (6 von 12) | 50.0% (6 von 12) |
| Gegenprüfungen auf einer bis drei Websites | 8 | 100% (8 von 8) | 62.5% (5 von 8) |
| Beiträge auf X | 5 | 40.0% (2 von 5) | 20.0% (1 von 5) |
| Alle Aufgaben | 66 | 57.6% (38 von 66) | 40.9% (27 von 66) |
Die Erfolgsquote beruht auf der Zahl bestandener Versuche aus den Läufen vom 3. November 2026. In keiner dieser Arbeitskategorien bestand Kimi K3 mehr Versuche als Kimi K3.1 Pro.
Die Läufe von Kimi K3 endeten häufig mitten in der Arbeit. Im verwendeten pi-Agenten arbeitet das Modell über Tool-Aufrufe, hauptsächlich ego-browser-Skripte. Eine Antwort ohne Tool-Aufruf beendet den Lauf. Kimi K3 sendete Antworten, die den nächsten Schritt ankündigten, ohne ihn auszuführen, etwa „Google done. Now Cloudflare Workers Free.“ Das geschah bei 26 seiner 66 Versuche, davon 16 bei den 26 Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Jede dieser 26 Antworten endete mit dem normalen Stoppsignal des Modells, nicht durch eine Längenbegrenzung. Kimi K3.1 Pro beendete 0 Versuche auf diese Weise.
Unsere Serverless-Aufgabe zeigt den Unterschied. Sie fragt fünf Limits der kostenlosen Tarife von neun Serverless-Plattformen ab, von AWS Lambda bis Oracle OCI Functions. Kimi K3 las die Seiten von AWS, Azure und Google und stoppte nach 11 Tool-Aufrufen mit „Google done. Now Cloudflare Workers Free.“ Kimi K3.1 Pro fuhr auf der Preisseite für Workers von Cloudflare fort, arbeitete sich mit 58 Tool-Aufrufen durch alle neun Plattformen und bestand die Aufgabe.

Die anderen 3 Zugewinne gingen auf falsche finale Antworten von Kimi K3 zurück. Unsere BIP-Aufgabe fragt bei neun Statistikbehörden das Wachstum im zweiten Quartal in ihrer ersten und ihrer neuesten Schätzung ab, nicht annualisiert. Beide Modelle öffneten die erste Schätzung des US Bureau of Economic Analysis. Kimi K3 schrieb sein Skript so, dass es nur die ersten 2 500 Zeichen des Seitentexts behielt. Für beide US-Wachstumswerte auf Quartalsbasis schrieb es „not shown“. Kimi K3.1 Pro gab die gesamte Veröffentlichung aus und las in den technischen Hinweisen „0.4 percent at a quarterly rate“. Auf dieselbe Weise fand es 0.6 Prozent in der neuesten, am 30. September 2026 veröffentlichten BEA-Schätzung und füllte beide US-Zellen aus.

Die beiden Modelle scheitern auch auf unterschiedliche Weise. Jeder Versuch erhält bis zu 100 Schritte, wobei ein Schritt einer Modellrunde entspricht. Von den 39 gescheiterten Versuchen von Kimi K3 endeten 27 vor dem Schrittlimit ohne Antwort, 4 erreichten das Schrittlimit und 8 lieferten eine falsche Antwort. Von den 28 gescheiterten Versuchen von Kimi K3.1 Pro lieferten 24 eine falsche Antwort und 4 erreichten das Schrittlimit. Achtzehn dieser 24 falschen Antworten entfielen auf Aufgaben, bei denen Kimi K3 überhaupt keine finale Antwort gegeben hatte. Wir würden wechseln und dabei die Antworten prüfen, die Kimi K3.1 Pro nun bei Aufgaben liefert, bei denen der Lauf von Kimi K3 ohne finale Antwort endete.
Was Kimi K3.1 Pro noch falsch macht
Kimi K3.1 Pro stellt lange Tabellen fertig, füllt aber nicht immer jede Zelle korrekt aus. Wir würden seine Tabellen daher als zu prüfende Entwürfe behandeln. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen, bestand es 7 von 26 Versuchen. Siebzehn seiner 24 falschen Antworten entfielen auf diese Aufgaben: jeweils eine Antwort mit einer fertigen Tabelle und mindestens einem falschen Wert oder einer falschen Aussage in der Zusammenfassung.
Bei unserer Zentralbank-Aufgabe liegt der Fehler zum Beispiel in der Zusammenfassung. Die Aufgabe fragt zwölf Zentralbanken nach ihrer ersten Zinsentscheidung 2026 und danach, welche Bank diese zuletzt bekannt gab. Kimi K3.1 Pro öffnete die Veröffentlichung der Schweizerischen Nationalbank vom 19. März 2026 und trug dieses Datum in die eigene Tabelle ein. In seiner Zusammenfassung nannte es dennoch die Reservebank von Indien mit dem 6. Februar als letzte Bank.
| Was die Aufgabe verlangt | Richtige Antwort | Antwort von Kimi K3.1 Pro |
|---|---|---|
| Letzte Bank, die ihre erste Entscheidung 2026 bekannt gab | Schweizerische Nationalbank, 2026-03-19 | Reservebank von Indien, 2026-02-06 |
Kimi K3 nannte bei derselben Aufgabe richtigerweise die Schweizerische Nationalbank, verfehlte jedoch andere Werte und bestand ebenfalls nicht.

Bevor Sie eine Tabelle von Kimi K3.1 Pro verwenden, gleichen Sie die Aussagen in der Zusammenfassung mit den eigenen Datenzeilen ab und prüfen Sie stichprobenartig Zellen anhand der Quellen. Kimi K3 bestand 2 von 26 dieser Aufgaben.
Geschwindigkeit
Kimi K3.1 Pro ist bei derselben Arbeit schneller, wobei es weniger Text erzeugt und weniger Tool-Aufrufe ausführt. Bei den 26 Aufgaben, die beide Modelle bestanden, lag seine mittlere Laufzeit bei 400.6 Sekunden pro Aufgabe gegenüber 586.1. Bei 21 der 26 war es schneller. Bei den anderen 5 war Kimi K3 schneller.
| Bei den 26 Aufgaben, die beide Modelle bestanden | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Zeit pro Aufgabe | 400.6 s | 586.1 s |
| Tool-Aufrufe pro Aufgabe | 25.8 | 33.5 |
| Ausgabe-Tokens pro Aufgabe, einschließlich Reasoning | 6 997 | 10 727 |
Mittelwerte pro Aufgabe aus den Läufen vom 3. November 2026.
Bei einem Agenten, auf dessen Ergebnis jemand wartet, würden wir die kürzere Wartezeit als echten Gewinn werten.
Kosten
Kimi K3.1 Pro kostet pro Aufgabe weniger; die Ersparnis ergibt sich aus den niedrigeren Listenpreisen. Über alle 66 Aufgaben hinweg kostete es $0.772 pro Aufgabe gegenüber $0.871 für Kimi K3. Einschließlich der gescheiterten Versuche kostete jeder bestandene Versuch $1.340 gegenüber $2.130. Bei den 26 Aufgaben, die beide Modelle bestanden, waren es $0.374 pro Aufgabe gegenüber $0.578; bei 24 davon war es günstiger.
Moonshots Preisliste nennt für Kimi K3.1 Pro $2.00 pro Million Eingabe-Tokens, $0.20 für gecachte Eingaben, $2.00 für Cache-Schreibvorgänge und $10.00 für Ausgaben. Für Kimi K3 sind $3.00, $0.30, $3.00 und $15.00 angegeben. Damit beträgt der Preis des neuen Modells bei jeder Token-Art zwei Drittel des Preises von Kimi K3.
| Kosten pro Aufgabe | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|
| Alle 66 Aufgaben | $0.772 | $0.871 |
| Alle 66 Aufgaben, Tokens von Kimi K3.1 Pro zu den Preisen von Kimi K3 | $1.158 | $0.871 |
| 26 Aufgaben, die beide Modelle bestanden | $0.374 | $0.578 |
| 26 Aufgaben, die beide Modelle bestanden, Tokens von Kimi K3.1 Pro zu den Preisen von Kimi K3 | $0.561 | $0.578 |
| Pro bestandenem Versuch, über alle 66 Aufgaben | $1.340 | $2.130 |
Kosten zu Moonshots Listenpreisen, berechnet anhand des Token-Verbrauchs jedes Versuchs in den Läufen vom 3. November 2026.
Bei derselben Arbeit kosten die Tokens beider Modelle zu gleichen Preisen ungefähr gleich viel: Zu den Tarifen von Kimi K3 ergeben die Tokens von Kimi K3.1 Pro bei den 26 gemeinsamen Aufgaben $0.561 gegenüber $0.578. Über alle 66 Aufgaben hinweg sind es $1.158 gegenüber $0.871, weil Kimi K3.1 Pro bei Läufen weiterarbeitete, bei denen Kimi K3 stoppte. Wir würden mit den Kosten pro Aufgabe statt dem Token-Preis planen, denn ein Modell, das mehr Läufe abschließt, verbraucht auch Tokens, um sie abzuschließen.
Explorative Recherche
Bei explorativer Recherche bringt der Wechsel zu Kimi K3.1 Pro Geschwindigkeits- und Kostenvorteile, aber nicht mehr bestandene Aufgaben. Diese 12 Aufgaben geben ein Ziel und wenige Ausgangsquellen vor und überlassen den Weg dem Agenten. Beide Modelle bestanden 6 von 12; Kimi K3.1 Pro gewann eine Aufgabe hinzu und verlor eine. Bei den 5 Aufgaben, die beide bestanden, benötigte es 354.9 Sekunden und verursachte Kosten von $0.399 pro Aufgabe gegenüber 795.0 Sekunden und $0.901. Bei allen 5 war es schneller.
Die verlorene Aufgabe zeigt, worauf es zu achten gilt. Die Azure-Aufgabe fragt, welche der sieben Kandidatenmodelle unter sechs Anforderungen in der Azure-Region Germany West Central eingesetzt werden können und weshalb die anderen Kandidaten jeweils ausscheiden. Beide Modelle wählten GPT-6 Luna. Kimi K3 öffnete außerdem Azures Seite zu Modellen von Partnern und zitierte den Grund, weshalb Claude Sonnet 5.5 ausschied: Sein Data Zone Standard-Deployment war nur in den USA verfügbar.

Kimi K3.1 Pro schloss Claude anhand der Tabelle der direkt von Azure verkauften Modelle aus und öffnete diese Seite nie. Als Grund schrieb es „not shown“, nach 15 Browser-Befehlen gegenüber 22 bei Kimi K3. Bei beiden Modellen würden wir den angegebenen Grund für jede vom Agenten ausgeschlossene Option prüfen.
Welches Modell wählen?
Für das getestete Setup aus pi 1.5.0, ZenMux und ego-browser würden wir Kimi K3.1 Pro wählen. Es bestand 38 von 66 Versuchen gegenüber 27 bei Kimi K3 und war bei den 26 Aufgaben, die beide bestanden, schneller und günstiger. In keiner getesteten Arbeitskategorie bestand Kimi K3 mehr Versuche.
Für die getesteten Web-Apps und Gegenprüfungen auf einer bis drei Websites würden wir Kimi K3.1 Pro wählen: Es bestand alle 15 Aufgaben der ersten und alle 8 der zweiten Gruppe. Vier der 5 Fehlschläge von Kimi K3 in diesen Gruppen waren Läufe, die ohne Antwort endeten. Für ähnliche Aufgaben über mehrere Websites in diesem pi-Setup würden wir ebenfalls Kimi K3.1 Pro wählen, weil es 7 von 26 Aufgaben bestand, Kimi K3 dagegen 2. Prüfen Sie diese Tabellen vor der Verwendung. Bei den fünf explorativen Rechercheaufgaben, die beide Modelle bestanden, hatte Kimi K3.1 Pro geringere Laufzeiten und geschätzte Kosten; die Gesamtzahl bestandener Aufgaben war gleich.
Unser Setup nutzte Kimi K3.1 Pro als moonshotai/kimi-k3.1-pro über ZenMux mit hohem Reasoning-Aufwand im pi-Agenten mit dessen bash-Tool und der ego-browser-Skilldatei. ego-browser wird zusammen mit ego(lite) bereitgestellt, das der Agent als Browser steuert.
Die Rolle von ego(lite) in diesem Vergleich
ego(lite) stellte den von ego-browser gesteuerten Browser bereit; pi stellte die Agentenschleife und ZenMux den Zugriff auf beide Modelle bereit. Der Integrationsleitfaden für ego-browser beschreibt, wie dieser Browser mit einem Agenten verbunden wird.
Die Stoppregel von pi gehört zu dieser Modellentscheidung: Eine Antwort ohne Tool-Aufruf beendet den Versuch. Behalten Sie diese Regel im Blick, wenn Sie den Vergleich der Aufgabenabschlüsse auf ähnliche Arbeit übertragen. Die Mittelwerte für Zeit und Modellkosten beziehen sich auf die sechsundzwanzig Aufgaben, die beide Modelle bestanden, nicht auf jede Aufgabe oder das Stoppverhalten eines anderen Agenten.
Häufige Fragen
Ist Kimi K3.1 Pro für Browser-Agenten besser als Kimi K3?
Ja, in unserem Test mit 66 Aufgaben in ego-browser. Kimi K3.1 Pro bestand 38 seiner 66 Versuche (57.6%), Kimi K3 bestand 27 (40.9%). Es bestand 12 Aufgaben, an denen Kimi K3 scheiterte, und scheiterte an 1 Aufgabe, die Kimi K3 bestand.
Ist Kimi K3.1 Pro günstiger als Kimi K3?
Ja, pro Aufgabe. Über unsere 66 Browser-Aufgaben hinweg kostete Kimi K3.1 Pro $0.772 pro Aufgabe und Kimi K3 $0.871. Pro bestandenem Versuch ist der Unterschied größer: $1.340 gegenüber $2.130.
Ist Kimi K3.1 Pro schneller als Kimi K3?
Ja, bei der Arbeit, die beide Modelle abschlossen. Bei den 26 Browser-Aufgaben, die beide bestanden, benötigte Kimi K3.1 Pro 400.6 Sekunden pro Aufgabe und Kimi K3 586.1. Es tätigte 25.8 Tool-Aufrufe pro Aufgabe gegenüber 33.5 und erzeugte 6 997 Ausgabe-Tokens gegenüber 10 727.
Was kostet Kimi K3.1 Pro pro Million Tokens?
Moonshot nennt für Kimi K3.1 Pro $2.00 pro Million Eingabe-Tokens, $0.20 für gecachte Eingaben, $2.00 für Cache-Schreibvorgänge und $10.00 für Ausgaben. Für Kimi K3 sind $3.00, $0.30, $3.00 und $15.00 angegeben. Damit beträgt der Preis des neuen Modells bei jeder Token-Art zwei Drittel des Preises von Kimi K3.
Warum stoppt Kimi K3 mitten in einer Browser-Aufgabe?
Kimi K3 beendete 26 seiner 66 Versuche mit einer Antwort, die den nächsten Schritt ankündigte, aber keinen Tool-Aufruf ausführte. Im pi-Agenten beendet das den Lauf. Seine letzten Worte waren Notizen wie „SUSE done. Now Amazon Linux.“ Sechzehn der 26 entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Bei Kimi K3.1 Pro geschah das 0 Mal.
Welche Browser-Aufgaben verbesserten sich mit Kimi K3.1 Pro am stärksten?
Die meisten Aufgaben, 5, gewann Kimi K3.1 Pro bei Aufgaben hinzu, die dieselben Felder von 8 oder mehr Websites zusammentragen; dort verlor es keine. Es gewann außerdem 3 Gegenprüfungen auf einer bis drei Websites, 2 Aufgaben innerhalb einer Web-App, 1 explorative Rechercheaufgabe und 1 Aufgabe zu Beiträgen auf X hinzu.
Wurde Kimi K3.1 Pro bei einer Browser-Aufgabe schlechter?
Bei 1 von 66 Aufgaben. Das neue Modell scheiterte an einer Azure-Modellauswahl, weil es einen Kandidaten ausschloss, ohne die Seite mit der Begründung zu öffnen; Kimi K3 bestand diese Aufgabe. Das neue Modell bestand 12 Aufgaben, an denen Kimi K3 scheiterte.
Was macht Kimi K3.1 Pro im Browser noch falsch?
Vor allem Werte in langen Tabellen: 17 seiner 24 falschen Antworten entfielen auf Aufgaben, die dieselben Felder von 8 oder mehr Websites zusammentragen. Bei einer Aufgabe nannte seine Zusammenfassung die falsche Bank, obwohl die eigene Tabelle das richtige Datum enthielt. Es erreichte außerdem bei 4 Versuchen das Limit von 100 Schritten, genauso oft wie Kimi K3.
Wie schlägt sich Kimi K3.1 Pro bei der Automatisierung von Web-Apps?
Kimi K3.1 Pro bestand alle 15 unserer Aufgaben innerhalb einer Web-App, Kimi K3 bestand 13. Die Aufgaben laufen in unseren Test-Apps für operative Abläufe, Reisekosten und eine Cloud-Konsole, mit neuen Daten für jeden Versuch. Bei den 13 Aufgaben, die beide bestanden, benötigte es 327.0 Sekunden und verursachte Kosten von $0.240 pro Aufgabe gegenüber 454.7 Sekunden und $0.383.
Sollte ich meinen Browser-Agenten von Kimi K3 auf Kimi K3.1 Pro umstellen?
Im getesteten pi- und ZenMux-Setup ja. Kimi K3.1 Pro bestand 38 von 66 Versuchen gegenüber 27, bei geringerer mittlerer Laufzeit und geringeren mittleren geschätzten Kosten für die 26 Aufgaben, die beide bestanden. Behalten Sie bei Tabellen aus 8 oder mehr Websites einen Prüfschritt bei, denn 17 seiner 24 falschen Antworten stammten aus diesen Aufgaben.
Unser Testverfahren
Wir führten beide Modelle am 3. November 2026 auf demselben Mac mit Apple-Chip und macOS 26.5 aus. Beide nutzten denselben Agenten, pi 1.5.0, mit ego-browser als Browser-Tool, dieselbe ego-browser-Skilldatei und dieselben Versionen von ego(lite) und ego-browser. Die Modelle waren Kimi K3.1 Pro (moonshotai/kimi-k3.1-pro) und Kimi K3 (moonshotai/kimi-k3), beide mit hohem Reasoning-Aufwand und beide über denselben API-Anbieter, ZenMux.
Das Modell steuert ego-browser mit kurzen JavaScript-Programmen, die Seiten laden, klicken, Formulare ausfüllen und Seitentext oder einen Accessibility-Snapshot ausgeben. Jeder Versuch war auf höchstens 100 Schritte und 60 Minuten begrenzt. Ein Schritt ist eine Modellrunde: eine Anfrage an das Modell und dessen Antwort. Die Aufgabe weist das Modell an, mit einer Nachricht abzuschließen, die mit FINAL ANSWER beginnt.
Wir zählen 66 Aufgaben, die jeweils genau einer Arbeitskategorie angehören. „Dieselben Felder von 8 oder mehr Websites“ (26 Aufgaben) trägt einen Satz von Feldern von 8 oder mehr Websites zusammen, etwa BIP-Veröffentlichungen von neun Statistikbehörden. „Innerhalb einer Web-App“ (15) läuft in Test-Apps für operative Abläufe, Reisekosten und eine Cloud-Konsole, etwa zum Korrigieren der Warnregeln eines Transportdienstleisters. „Explorative Recherche“ (12) gibt ein Ziel und einige Quellen vor, etwa die Auswahl eines in einer Azure-Region angebotenen Modells. „Gegenprüfungen auf einer bis drei Websites“ (8) vergleicht Zahlen zwischen wenigen Websites, etwa Einträge klinischer Studien mit Arzneimittelinformationen. „Beiträge auf X“ (5) gleicht Beiträge auf X mit anderen Aufzeichnungen ab, etwa Beiträge zu SpaceX-Starts mit Wikipedias Listen zu Starts; diese Aufgaben zählen nur als Beiträge auf X.
Jede Aufgabe hat eine Liste bewerteter Kriterien, insgesamt 443 über die 66 Aufgaben. Ein Kriterium pro Aufgabe prüft, ob alle angeforderten Werte in der finalen Antwort enthalten sind. Die anderen 377 prüfen jeweils angeforderte Werte: 309 wurden vorab anhand offizieller Websites festgelegt, 49 stammen aus den Daten, die die Test-Apps für jeden Versuch erzeugen, und 19 werden anhand der aktuellen Seite geprüft. Ein Versuch besteht nur, wenn seine finale Antwort jedes Kriterium erfüllt. Beide Modelle wurden anhand derselben Kriterien bewertet.
Eine Aufgabe ist eine der 66 gezählten Aufgaben. Ein Versuch bedeutet, dass ein Modell eine Aufgabe einmal ausführt; jedes Modell hat daher 66 Versuche. Die Erfolgsquote ist die Zahl bestandener Versuche von insgesamt 66. Die vollständigen Ergebnisse führen sechs zusätzliche Aufgaben als „Nicht gezählt“ auf. Bei jeder wurde der ursprüngliche Versuch eines Modells durch einen gezielten Wiederholungslauf ersetzt oder es fehlte eine gültige archivierte Aufzeichnung des ersten Versuchs. Wir schließen dieselben sechs Aufgaben für beide Modelle aus. Ein Tool-Aufruf ist ein vom Modell ausgeführter Befehl: meist ego-browser-Skripte, ansonsten Shell- oder Dateibefehle wie das Durchsuchen gespeicherten Seitentexts. Ein Browser-Befehl ist ein ego-browser-Skript; die Bildunterschriften zählen Browser-Befehle.
Die Zeit pro Aufgabe ist die tatsächlich verstrichene Zeit vom Beginn bis zum Ende eines Versuchs. Sie umfasst das Warten auf die Modell-API einschließlich Reasoning und die Ausführung der Tool-Aufrufe des Modells. Die Geschwindigkeit wird bei den 26 Aufgaben verglichen, die beide Modelle bestanden, da die Zeit einer gescheiterten Aufgabe nicht vergleichbar ist. Die Kostenschätzungen bewerten die protokollierten Eingabe-, gecachten Eingabe-, Cache-Schreib- und Ausgabe-Tokens jedes Versuchs zu den angegebenen Moonshot-Tarifen. Es handelt sich nicht um ZenMux-Abonnementkosten oder Rechnungsbeträge. Die Kosten pro bestandenem Versuch sind die Kosten aller 66 Versuche geteilt durch die Zahl bestandener Versuche.
Ein Versuch erreichte das Schrittlimit, wenn er alle 100 Schritte ohne finale Antwort aufbrauchte. Ein Versuch endete mit einer Fortschrittsnotiz, wenn die letzte Antwort des Modells vor dem Schrittlimit Text, aber keinen Tool-Aufruf und kein FINAL ANSWER enthielt. Eine falsche Antwort ist eine finale Antwort, die nicht bestand.
Vollständige Ergebnisse
Jede Zelle zeigt das Ergebnis dieses Modells bei der Aufgabe, die Dauer des Versuchs in Sekunden und seine Kosten. Ein Ergebnis lautet „Bestanden“, „Falsche Antwort“, „Keine Antwort“ (der Lauf endete vor dem Schrittlimit ohne finale Antwort) oder „Schrittlimit erreicht“. Die Zeit umfasst das Warten auf die Modell-API. Bei den sechs als „Nicht gezählt“ markierten Aufgaben fehlen nach gezielten Ersatzläufen vergleichbare Aufzeichnungen des ersten Versuchs. Alle sechs werden für beide Modelle ausgeschlossen.
| Aufgabe | Art der Aufgabe | Kimi K3.1 Pro | Kimi K3 |
|---|---|---|---|
| Klimabilanz 2025 von elf Wetterdiensten | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 633.7 s · $1.235 | Schrittlimit erreicht · 2010.1 s · $3.368 |
| Verkehrsaufkommen 2025 an acht Drehkreuzflughäfen | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Saisonzahlen 2025-26 aus neun Fußballligen | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Hauptpreise 2026 bei neun Filmfestivals | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1399.6 s · $2.591 | Keine Antwort · 1306.1 s · $1.418 |
| Freigabebogen für neun Modelle mit offenen Gewichten auf Hugging Face | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 598.6 s · $0.716 | Keine Antwort · 1217.4 s · $1.284 |
| Compliance-Matrix aus neun SaaS-Trust-Centern | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 590.3 s · $0.637 | Keine Antwort · 1138.5 s · $0.844 |
| Crashtest-Bewertungen eines SUV in neun Programmen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1242.3 s · $1.312 | Schrittlimit erreicht · 1576.6 s · $1.765 |
| Geltende Ausgaben von neun technischen Normen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 592.9 s · $0.658 | Keine Antwort · 320.4 s · $0.250 |
| Erste Zinsentscheidung 2026 bei zwölf Zentralbanken | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 617.0 s · $1.023 | Falsche Antwort · 1256.3 s · $1.986 |
| Erste und neueste BIP-Veröffentlichungen zum zweiten Quartal 2026 von neun Behörden | Dieselben Felder von 8 oder mehr Websites | Bestanden · 1001.2 s · $1.181 | Falsche Antwort · 1294.2 s · $1.363 |
| Kostenlose CI-Tarife für private Repositories bei neun Diensten | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1033.5 s · $1.187 | Keine Antwort · 963.4 s · $1.068 |
| Kostenlose Tarife von neun Serverless-Plattformen | Dieselben Felder von 8 oder mehr Websites | Bestanden · 924.5 s · $1.283 | Keine Antwort · 248.4 s · $0.173 |
| Darstellung desselben Albums bei neun Musikdiensten | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Neueste Wahlergebnisse von neun Wahlbehörden | Dieselben Felder von 8 oder mehr Websites | Schrittlimit erreicht · 1256.5 s · $2.222 | Schrittlimit erreicht · 1789.7 s · $2.389 |
| Neuester Versionszweig von neun Laufzeitumgebungen für Programmiersprachen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 810.3 s · $1.106 | Falsche Antwort · 1024.2 s · $1.171 |
| Neueste stabile Version von neun JavaScript-Frameworks | Dieselben Felder von 8 oder mehr Websites | Bestanden · 515.4 s · $0.523 | Bestanden · 957.6 s · $0.722 |
| Neueste stabile Version von neun Desktop-Browsern | Dieselben Felder von 8 oder mehr Websites | Bestanden · 471.8 s · $0.913 | Keine Antwort · 903.0 s · $0.765 |
| Messwerte zum Erdbeben von Kamtschatka 2025 von neun Behörden | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 789.4 s · $1.128 | Keine Antwort · 971.8 s · $1.335 |
| Offizielle UK-Spezifikationen von neun Flaggschiff-Smartphones | Dieselben Felder von 8 oder mehr Websites | Bestanden · 564.8 s · $0.865 | Keine Antwort · 1331.7 s · $1.161 |
| Offizielle Spezifikationen von acht Kameras | Dieselben Felder von 8 oder mehr Websites | Bestanden · 953.2 s · $1.521 | Bestanden · 1479.8 s · $1.730 |
| Ausgabedetails eines Buchs auf zehn Verlags- und Bibliothekswebsites | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Altersfreigaben eines Spiels bei acht Prüfstellen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1385.2 s · $1.905 | Keine Antwort · 1355.8 s · $1.592 |
| Behebungsstatus einer sudo-CVE in neun Herstellerhinweisen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 539.4 s · $0.521 | Keine Antwort · 158.9 s · $0.133 |
| Nummer-eins-Singles einer Woche in neun nationalen Charts | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Eröffnungskeynotes von neun Entwicklerkonferenzen | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1198.7 s · $1.457 | Keine Antwort · 1450.3 s · $1.485 |
| Versionen von Protocol Buffers in neun Paketregistern | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 472.9 s · $0.732 | Keine Antwort · 582.4 s · $0.296 |
| Ergebnisse aus acht Entwicklerumfragen 2025 | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 599.1 s · $1.255 | Falsche Antwort · 1587.4 s · $1.785 |
| Gesetzlicher Mindestlohn an neun Orten | Dieselben Felder von 8 oder mehr Websites | Nicht gezählt | Nicht gezählt |
| Support-Enddaten von neun Serverprodukten | Dieselben Felder von 8 oder mehr Websites | Bestanden · 690.2 s · $0.781 | Keine Antwort · 370.0 s · $0.292 |
| Einträge von zehn Museen zu Hokusais Großer Welle | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 824.7 s · $1.025 | Keine Antwort · 1644.2 s · $1.124 |
| Zulassungen von Tirzepatid zur Gewichtsregulierung bei acht Aufsichtsbehörden | Dieselben Felder von 8 oder mehr Websites | Schrittlimit erreicht · 1475.9 s · $2.742 | Keine Antwort · 1171.2 s · $1.414 |
| US-Reichweiten- und Ladedaten von neun Elektro-SUVs | Dieselben Felder von 8 oder mehr Websites | Falsche Antwort · 1027.4 s · $1.707 | Schrittlimit erreicht · 1711.3 s · $1.685 |
| Eine Lockbox-Einzahlung offenen Rechnungen zuordnen | Innerhalb einer Web-App | Bestanden · 286.4 s · $0.208 | Bestanden · 404.7 s · $0.402 |
| Während eines Änderungsstopps vorgenommene Änderungen prüfen und zurückrollen | Innerhalb einer Web-App | Bestanden · 160.4 s · $0.140 | Bestanden · 545.1 s · $0.394 |
| Die Reise eines Kollegen in einer Reise-App buchen | Innerhalb einer Web-App | Bestanden · 438.2 s · $0.409 | Bestanden · 433.4 s · $0.474 |
| Monitore der Stufe 1 an einen schriftlichen Standard anpassen | Innerhalb einer Web-App | Bestanden · 248.5 s · $0.253 | Keine Antwort · 105.0 s · $0.094 |
| Kilometerkosten für eine Woche Kundenbesuche abrechnen | Innerhalb einer Web-App | Bestanden · 458.1 s · $0.333 | Bestanden · 521.6 s · $0.418 |
| Februar-Forderungen abschließen und Streitfälle in einer Betriebs-App eröffnen | Innerhalb einer Web-App | Bestanden · 469.9 s · $0.403 | Bestanden · 774.2 s · $0.698 |
| Einen Antrag auf Tagegeld für zwei Städte einreichen | Innerhalb einer Web-App | Bestanden · 256.7 s · $0.127 | Bestanden · 282.5 s · $0.225 |
| Den Zeitablauf eines Vorfalls für dessen nachträgliche Analyse in einer Cloud-Konsole dokumentieren | Innerhalb einer Web-App | Bestanden · 216.3 s · $0.195 | Bestanden · 264.8 s · $0.306 |
| Schadensansprüche für die Lieferungen von zwei Kunden anmelden | Innerhalb einer Web-App | Bestanden · 445.9 s · $0.319 | Bestanden · 1058.7 s · $0.726 |
| Den Bereitschaftsplan für nächste Woche korrigieren | Innerhalb einer Web-App | Bestanden · 169.0 s · $0.125 | Bestanden · 193.3 s · $0.147 |
| Kartentransaktionen mit dem Entwurf einer Spesenabrechnung abgleichen | Innerhalb einer Web-App | Bestanden · 457.1 s · $0.383 | Bestanden · 535.9 s · $0.394 |
| Nachbestellungen für ein Lager aufgeben | Innerhalb einer Web-App | Bestanden · 337.3 s · $0.182 | Bestanden · 205.3 s · $0.240 |
| Die Spesenabrechnung eines Mitarbeiters prüfen | Innerhalb einer Web-App | Bestanden · 387.7 s · $0.189 | Bestanden · 450.6 s · $0.364 |
| Deployment-Stopps anhand des Verbrauchs des Fehlerbudgets festlegen | Innerhalb einer Web-App | Bestanden · 167.8 s · $0.106 | Bestanden · 240.6 s · $0.193 |
| Pünktlichkeitszahlen eines Transportdienstleisters abstimmen und Warnregeln korrigieren | Innerhalb einer Web-App | Bestanden · 382.5 s · $0.261 | Keine Antwort · 934.2 s · $0.971 |
| Günstige Reasoning-Einstellungen in den Ranglisten von ARC Prize | Explorative Recherche | Bestanden · 372.4 s · $0.296 | Bestanden · 716.2 s · $0.723 |
| Modelle oberhalb der EU-Referenzwerte für Rechenaufwand in den Daten von Epoch AI zählen | Explorative Recherche | Bestanden · 165.8 s · $0.143 | Bestanden · 252.0 s · $0.186 |
| Offenlegungen zum EU AI Act für acht Spitzenmodelle | Explorative Recherche | Schrittlimit erreicht · 1388.1 s · $3.008 | Keine Antwort · 1748.6 s · $2.621 |
| Alle im September 2026 eingeführten Modelle aus sechs API-Änderungsprotokollen | Explorative Recherche | Bestanden · 273.4 s · $0.374 | Bestanden · 595.0 s · $0.721 |
| Zehn Aussagen zu Modelleinführungen im September 2026 überprüfen | Explorative Recherche | Falsche Antwort · 228.8 s · $0.299 | Falsche Antwort · 507.6 s · $0.574 |
| Eine Haupt- und eine Ersatz-API aus fünf chinesischen Modellen auswählen | Explorative Recherche | Bestanden · 412.3 s · $0.471 | Bestanden · 769.1 s · $0.696 |
| Ein in einer deutschen Azure-Region angebotenes Modell auswählen | Explorative Recherche | Falsche Antwort · 297.1 s · $0.280 | Bestanden · 787.2 s · $0.871 |
| Den schnellsten Anbieter-Endpunkt für GLM 5.3 auf OpenRouter auswählen | Explorative Recherche | Bestanden · 774.9 s · $0.717 | Falsche Antwort · 960.2 s · $0.694 |
| Die Kosten einer API-Arbeitslast über sechs Modelle berechnen | Explorative Recherche | Bestanden · 550.4 s · $0.711 | Bestanden · 1642.9 s · $2.177 |
| API-Preise von sechs Anbietern in den Archiven der Wayback Machine | Explorative Recherche | Falsche Antwort · 1214.3 s · $0.552 | Keine Antwort · 350.4 s · $0.181 |
| Die Quellen hinter einer LLM-Tabelle auf Wikipedia nachvollziehen | Explorative Recherche | Falsche Antwort · 458.7 s · $0.350 | Keine Antwort · 383.3 s · $0.301 |
| Was eine LiveBench-Version zeigte | Explorative Recherche | Falsche Antwort · 296.8 s · $0.267 | Falsche Antwort · 330.8 s · $0.329 |
| Eine Inflationstabelle aus FRED erstellen und bei BLS gegenprüfen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 274.1 s · $0.224 | Bestanden · 308.6 s · $0.312 |
| Zahlen aus einer GPT-Vorlesung anhand von Video, Code und Paper überprüfen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 619.4 s · $0.387 | Bestanden · 237.2 s · $0.277 |
| Drei MacBook-Konfigurationen in Apples US-Store vergleichen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 786.1 s · $1.226 | Bestanden · 654.4 s · $1.110 |
| Phase-3-Studien auf ClinicalTrials.gov mit Arzneimittelinformationen von DailyMed gegenprüfen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 294.2 s · $0.401 | Keine Antwort · 591.2 s · $0.872 |
| Machbarkeitsliste für sechs Webfunktionen anhand von MDN und Can I use | Gegenprüfungen auf einer bis drei Websites | Bestanden · 269.9 s · $0.262 | Bestanden · 751.4 s · $0.796 |
| Preise für Flüge nach Denver zu einem Teamtreffen außerhalb des Büros berechnen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 526.6 s · $0.962 | Keine Antwort · 963.3 s · $1.037 |
| Einspielergebnisse von sechs Filmen von Wes Anderson zwischen einer Kinokassen-Datenbank und Wikipedia abgleichen | Gegenprüfungen auf einer bis drei Websites | Bestanden · 221.1 s · $0.250 | Bestanden · 324.7 s · $0.303 |
| Registerstand von vier britischen Unternehmen bei Companies House zu einem bestimmten Zeitpunkt | Gegenprüfungen auf einer bis drei Websites | Bestanden · 320.3 s · $0.223 | Falsche Antwort · 1005.0 s · $0.591 |
| Produktankündigungen von acht Marken im Jahr 2026 auf X und in ihren Newsrooms | Beiträge auf X | Falsche Antwort · 667.1 s · $0.536 | Keine Antwort · 847.0 s · $0.417 |
| Sommertransfers von acht Fußballclubs auf X und den Clubwebsites | Beiträge auf X | Schrittlimit erreicht · 1815.4 s · $1.805 | Keine Antwort · 2343.4 s · $1.008 |
| Sicherheitsveröffentlichungen von acht Open-Source-Projekten auf X und ihren Websites | Beiträge auf X | Bestanden · 625.6 s · $0.627 | Keine Antwort · 2248.5 s · $1.524 |
| Wie schnell acht Universitäten ihre Nobelpreisnachrichten 2025 auf X veröffentlichten | Beiträge auf X | Falsche Antwort · 1314.1 s · $0.487 | Keine Antwort · 528.9 s · $0.237 |
| Beiträge zu SpaceX-Starts auf X mit Wikipedias Listen zu Starts abgleichen | Beiträge auf X | Bestanden · 751.6 s · $0.220 | Bestanden · 638.9 s · $0.300 |
Die Modellpreise entsprechen Moonshots veröffentlichten Listenpreisen. Alle anderen Zahlen stammen aus unseren eigenen Läufen.
