DeepSeek V4.1 Flash im Browser-Benchmark gegen GPT-6.1 Sol mit 72 Webaufgaben

Für einen Agenten, der auf vielen Websites arbeitet, würden wir GPT-6.1 Sol wählen; für Abläufe innerhalb einer einzigen Webanwendung DeepSeek V4.1 Flash. Jedes Modell führte jede unserer 72 Aufgaben zweimal in ego-browser aus, also 144 Versuche pro Modell. GPT-6.1 Sol war in 121 seiner 144 Versuche erfolgreich (84.0%), DeepSeek V4.1 Flash in 82 (56.9%). Bei den 29 Aufgaben, die beide Modelle in jedem Versuch bestanden, benötigte GPT-6.1 Sol 219.7 Sekunden bei Kosten von $0.310 pro Aufgabe; bei DeepSeek V4.1 Flash waren es 321.7 Sekunden und $0.047.
Beim Lesen der Durchläufe sahen wir zwei unterschiedliche Arbeitsweisen. GPT-6.1 Sol bearbeitet oft mehrere Websites in einem Befehl, während DeepSeek V4.1 Flash jeweils eine Seite bearbeitet und weitersucht. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, verbrauchte DeepSeek V4.1 Flash in 23 Versuchen alle 100 Schritte. In unseren Testanwendungen, bei denen die Arbeit innerhalb einer einzigen Webanwendung stattfindet, erreichte es beinahe die Erfolgsquote und Geschwindigkeit von GPT-6.1 Sol bei etwa einem Sechstel der Kosten.
Jedes Modell hat auch eine Schwäche, die wir einplanen würden. GPT-6.1 Sol hört manchmal zu früh auf zu suchen: Bei 3 Aufgaben scheiterte es in beiden Versuchen, während DeepSeek V4.1 Flash weitersuchte und beide bestand. DeepSeek V4.1 Flash gab mehr falsche Antworten, obwohl es insgesamt weniger Antworten lieferte: 34 seiner 144 Versuche endeten mit einer falschen Antwort, bei GPT-6.1 Sol waren es 23.
Erfolgsquote, Geschwindigkeit und Kosten
GPT-6.1 Sol führt bei Erfolgsquote und Geschwindigkeit; DeepSeek V4.1 Flash kostet etwa 15% so viel wie das andere Modell. Wir vergleichen Zeit und Kosten anhand der 29 Aufgaben, die beide Modelle in jedem Versuch bestanden. Die Werte beider Modelle enthalten daher keine fehlgeschlagenen Versuche. Die Zeilen für alle 72 Aufgaben enthalten auch fehlgeschlagene Versuche.
| Kennzahl | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|
| Erfolgsquote, alle 72 Aufgaben | 84.0% (121 erfolgreiche Versuche von 144) | 56.9% (82 erfolgreiche Versuche von 144) |
| Zeit pro Aufgabe, 29 Aufgaben mit Erfolg in jedem Versuch beider Modelle | 219.7 s | 321.7 s |
| Zeit pro Aufgabe, alle 72 Aufgaben | 321.6 s | 511.4 s |
| Kosten pro Aufgabe, 29 Aufgaben mit Erfolg in jedem Versuch beider Modelle | $0.310 | $0.047 |
| Kosten pro Aufgabe, alle 72 Aufgaben | $0.483 | $0.071 |
| Kosten pro erfolgreichem Versuch, alle 72 Aufgaben | $0.575 | $0.124 |
| Toolaufrufe pro Aufgabe, alle 72 Aufgaben | 34.6 | 61.6 |
Durchläufe vom 7. November 2026 mit beiden Modellen in ego-browser. Jedes Modell führte jede Aufgabe zweimal aus. Die Zeit umfasst das Warten auf die API-Antworten des jeweiligen Modells.
DeepSeek V4.1 Flash kostet weniger, weil seine Preise niedriger sind, nicht weil es weniger Arbeit erledigt. Es machte 61.6 Toolaufrufe pro Aufgabe, GPT-6.1 Sol dagegen 34.6. Selbst pro erfolgreichem Versuch kostete DeepSeek V4.1 Flash $0.124 und GPT-6.1 Sol $0.575.
Der größte Teil des Unterschieds in der Erfolgsquote kommt von einer Arbeitsart. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, war GPT-6.1 Sol in 51 von 64 Versuchen erfolgreich, DeepSeek V4.1 Flash in 21. Bei Abläufen in Webanwendungen waren die beiden Modelle in 29 beziehungsweise 28 von 30 Versuchen erfolgreich.
| Art der Arbeit | Anzahl der Aufgaben | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|
| Abläufe in Webanwendungen | 15 | 96.7% (29/30) | 93.3% (28/30) |
| Auf wenigen Websites suchen und vergleichen | 8 | 93.8% (15/16) | 81.3% (13/16) |
| Recherche und Zusammenführung | 12 | 66.7% (16/24) | 62.5% (15/24) |
| X-Beiträge anhand anderer Quellen prüfen | 5 | 100% (10/10) | 50.0% (5/10) |
| Dieselben Felder von 8 oder mehr Websites sammeln | 32 | 79.7% (51/64) | 32.8% (21/64) |
| Alle Aufgaben | 72 | 84.0% (121/144) | 56.9% (82/144) |
Die Erfolgsquote ist der Anteil erfolgreicher Versuche bei zwei Versuchen pro Aufgabe.
Bei Abläufen in Webanwendungen lagen die Erfolgsquoten der beiden Modelle kaum auseinander. Dort unterscheiden sie sich daher durch die Kosten. Bei Aufgaben über viele Websites war GPT-6.1 Sol deutlich häufiger erfolgreich.
So arbeitet GPT-6.1 Sol
GPT-6.1 Sol bearbeitet oft mehrere Websites in einem Befehl. Wenn eine Aufgabe viele Websites umfasst, hält es sie in getrennten Tabs offen und bringt mehrere davon mit jedem ego-browser-Befehl voran. Beide Modelle hatten dieselbe ego-browser-Skilldatei. Sie erklärt, wie sich mehrere Tabs offen halten lassen, wenn eine Aufgabe sie benötigt. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, arbeiteten 56% der Browserbefehle von GPT-6.1 Sol in zwei oder mehr Tabs. Bei DeepSeek V4.1 Flash waren es unter 1%.
Die Erdbebenaufgabe zeigt diese Arbeitsweise. Gefragt sind Zeitpunkt, Magnitude und Tiefe desselben Erdbebens von 2025 nach den Angaben von 9 Fachstellen. In einem Befehl las GPT-6.1 Sol die USGS-Ereignisseite, öffnete die wissenschaftlichen Daten auf der EMSC-Ereignisseite, öffnete die GFZ-Ereignisseite und rief INGV in einem vierten Tab auf. Es war in beiden Versuchen erfolgreich, mit 40 Toolaufrufen im einen und 32 im anderen. DeepSeek V4.1 Flash arbeitete die 9 Fachstellen nacheinander in einem einzigen Tab ab, füllte jeweils deren Suchformular aus und verbrauchte in beiden Versuchen alle 100 Schritte.
GPT-6.1 Sol benötigte in unseren Durchläufen weniger Toolaufrufe und war früher fertig. Bei den 29 Aufgaben, die beide Modelle in jedem Versuch bestanden, machte es 28.6 Toolaufrufe pro Aufgabe, DeepSeek V4.1 Flash dagegen 43.0. Von den 16 Aufgaben dieser Gruppe außerhalb von Webanwendungen erledigte GPT-6.1 Sol 14 schneller. Bei Abläufen in Webanwendungen arbeitete es nur in 3% seiner Browserbefehle in zwei oder mehr Tabs, und die beiden Modelle benötigten ungefähr gleich viel Zeit.
Die Schwäche von GPT-6.1 Sol ist, dass es manchmal zu früh aufhört zu suchen. Bei 3 Aufgaben scheiterte es in beiden Versuchen, während DeepSeek V4.1 Flash beide bestand. Bei der LiveBench-Aufgabe suchten beide Modelle auf der Rangliste nach GPT-5.4 mit der Denkintensität High und fanden nur dessen xHigh-Zeile. Nach 12 Toolaufrufen meldete GPT-6.1 Sol, dass die Seite diesen Wert nicht zeige. DeepSeek V4.1 Flash suchte weiter und fand ihn, 75.1, in einer Modellauswahl weiter unten auf derselben Seite im Abschnitt Insights.
Bei der Aufgabe zu Frontend-Frameworks zeigte sich dasselbe Muster. In einem Versuch suchte GPT-6.1 Sol in der Next.js-Veröffentlichungsliste nach „16.3.“ und meldete den obersten Treffer, 16.3.2 vom 21. August. DeepSeek V4.1 Flash blätterte durch die Liste, die überwiegend aus Canary-Builds besteht, und fand 16.3.8, veröffentlicht am 30. September. Wenn GPT-6.1 Sol meldet, dass ein Wert auf einer Website fehlt, oder den obersten Suchtreffer übernimmt, würden wir den Wert selbst prüfen, bevor wir die Antwort verwenden.
So arbeitet DeepSeek V4.1 Flash
DeepSeek V4.1 Flash bearbeitet jeweils eine Seite und macht weiter, bis es findet, wonach es sucht. Es machte 61.6 Toolaufrufe pro Aufgabe, GPT-6.1 Sol dagegen 34.6. Dank dieser Ausdauer bestand es die Aufgaben zu LiveBench und Frontend-Frameworks, an denen GPT-6.1 Sol scheiterte.
Innerhalb einer einzigen Webanwendung machte die Bearbeitung einer Seite nach der anderen kaum einen Unterschied. Unsere 15 Abläufe in Webanwendungen laufen in Testanwendungen, die wir mit neuen Daten befüllt haben, etwa einer Reisebuchungs- und einer Ausgabenanwendung. DeepSeek V4.1 Flash war dort in 28 seiner 30 Versuche erfolgreich, GPT-6.1 Sol in 29. Bei den 13 Abläufen, die beide Modelle in jedem Versuch bestanden, benötigte DeepSeek V4.1 Flash 173.0 Sekunden bei Kosten von $0.028 pro Aufgabe; bei GPT-6.1 Sol waren es 169.3 Sekunden und $0.170.
Eine richtlinienkonforme Reisebuchung ist ein typisches Beispiel. Die Aufgabe verlangt vom Agenten, Hin- und Rückflüge im Rahmen der Reiserichtlinie zu buchen, Gangplätze auszuwählen und ein Hotel zu buchen, das höchstens eine Meile vom Veranstaltungsort entfernt liegt. Beide Modelle waren in beiden Versuchen erfolgreich. DeepSeek V4.1 Flash benötigte 189.2 Sekunden bei Kosten von $0.033 pro Aufgabe; bei GPT-6.1 Sol waren es 199.4 Sekunden und $0.253.
Über 8 oder mehr Websites hinweg verbraucht dieselbe Arbeitsweise die verfügbaren Schritte. Bei diesen 32 Aufgaben war DeepSeek V4.1 Flash in 21 von 64 Versuchen erfolgreich, GPT-6.1 Sol in 51. DeepSeek machte dort 82.2 Toolaufrufe pro Aufgabe, doppelt so viele wie die 41.1 von GPT-6.1 Sol. Von den 26 Versuchen, in denen DeepSeek alle 100 Schritte verbrauchte, entfielen 23 auf diese Aufgaben.
Wenn DeepSeek V4.1 Flash eine Antwort gibt, würden wir seine Schlussfolgerungen anhand seiner eigenen Daten und der gelesenen Seiten prüfen. Es scheiterte in 62 Versuchen: 34 endeten mit einer falschen Antwort, 28 ohne Antwort. Von diesen 28 verbrauchten 26 alle 100 Schritte, und 1 endete, als die API von DeepSeek Serverfehler zurückgab. Alle 23 fehlgeschlagenen Versuche von GPT-6.1 Sol endeten mit einer falschen Antwort. In einem Versuch der Aufgabe zu Flaggschiff-Smartphones führte die eigene Tabelle von DeepSeek V4.1 Flash das Galaxy S26 mit 167 g auf. Die Zeile unter der Tabelle bezeichnete dann das motorola signature mit 186 g als leichtestes Telefon.
Welches Modell wählen
Verwenden Sie in ego-browser GPT-6.1 Sol für einen Agenten, der auf vielen Websites arbeitet. Es war in 84.0% seiner Versuche erfolgreich und verbrauchte nie das gesamte Schrittkontingent. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, war es in 51 von 64 Versuchen erfolgreich und erledigte die Arbeit über mehrere Websites früher.
Verwenden Sie DeepSeek V4.1 Flash für Abläufe innerhalb einer einzigen Webanwendung. In unseren Testanwendungen war es in 28 von 30 Versuchen erfolgreich, benötigte ungefähr gleich viel Zeit wie GPT-6.1 Sol und kostete etwa ein Sechstel so viel. Für Aufgaben über 8 oder mehr Websites würden wir uns nicht darauf verlassen: Dort war es in 21 von 64 Versuchen erfolgreich.
Bei Abfragen auf wenigen Websites und bei Rechercheaufgaben wählen Sie zwischen Zeit und Geld. DeepSeek V4.1 Flash war bei Abfragen in 13 von 16 Versuchen erfolgreich und bei Recherchen in 15 von 24. GPT-6.1 Sol erreichte 15 von 16 beziehungsweise 16 von 24. DeepSeek V4.1 Flash kostete in beiden Kategorien weniger und benötigte mehr Zeit.

Unabhängig davon, welches Modell Sie wählen, prüfen Sie die Schlüsselwerte seiner Antwort. Beide Modelle gaben manchmal eine vollständig wirkende Antwort mit einem falschen Wert darin. Wir führten beide Modelle mit hoher Denkintensität in ego-browser aus, das mit ego(lite) ausgeliefert wird und es als Browser des Agenten steuert.
Häufige Fragen
Ist DeepSeek V4.1 Flash bei der Browsernutzung so gut wie GPT-6.1 Sol?
Innerhalb einer einzigen Webanwendung beinahe, über viele Websites hinweg nicht. Bei Abläufen in Webanwendungen war DeepSeek V4.1 Flash in 28 von 30 Versuchen erfolgreich, GPT-6.1 Sol in 29. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, war DeepSeek V4.1 Flash in 21 von 64 Versuchen erfolgreich, GPT-6.1 Sol in 51. Über alle 72 Aufgaben hinweg waren sie in 56.9% beziehungsweise 84.0% ihrer Versuche erfolgreich.
Warum ist GPT-6.1 Sol im Browser schneller als DeepSeek V4.1 Flash?
In unseren Durchläufen benötigte GPT-6.1 Sol weniger Toolaufrufe, zum Teil, weil es oft mehrere Websites in einem Befehl bearbeitet. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, arbeiteten 56% seiner Browserbefehle in zwei oder mehr Tabs; bei DeepSeek V4.1 Flash waren es unter 1%. Bei den 29 Aufgaben, die beide Modelle in jedem Versuch bestanden, machte GPT-6.1 Sol 28.6 Toolaufrufe und benötigte 219.7 Sekunden pro Aufgabe, DeepSeek V4.1 Flash 43.0 Aufrufe und 321.7 Sekunden. Bei Abläufen in Webanwendungen benötigten sie ungefähr gleich viel Zeit.
Wie viel günstiger ist DeepSeek V4.1 Flash bei Browseraufgaben als GPT-6.1 Sol?
Die Kosten von DeepSeek V4.1 Flash betragen ungefähr 15% der Kosten von GPT-6.1 Sol. Bei den 29 Aufgaben, die beide Modelle in jedem Versuch bestanden, kostete DeepSeek V4.1 Flash $0.047 pro Aufgabe und GPT-6.1 Sol $0.310. Über alle 72 Aufgaben hinweg kostete DeepSeek V4.1 Flash $0.071 pro Aufgabe und GPT-6.1 Sol $0.483. Pro erfolgreichem Versuch kostete DeepSeek V4.1 Flash $0.124 und GPT-6.1 Sol $0.575.
Warum scheitert DeepSeek V4.1 Flash an Aufgaben über viele Websites?
Etwa die Hälfte seiner Fehlschläge in dieser Kategorie entsteht durch aufgebrauchte Schritte. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, arbeitet es jeweils auf einer Seite und machte 82.2 Toolaufrufe pro Aufgabe, GPT-6.1 Sol dagegen 41.1. Von seinen 43 fehlgeschlagenen Versuchen bei diesen Aufgaben endeten 23 nach allen 100 Schritten ohne Antwort.
Warum beantwortet GPT-6.1 Sol manche Browseraufgaben falsch?
Bei LiveBench und der Aufgabe zu Frontend-Frameworks hörte es zu früh auf zu suchen. Bei der LiveBench-Aufgabe meldete GPT-6.1 Sol nach 12 Toolaufrufen, dass die Seite einen Wert nicht zeige. DeepSeek V4.1 Flash fand diesen Wert weiter unten auf derselben Seite im Abschnitt Insights. DeepSeek V4.1 Flash bestand beide Versuche bei 3 Aufgaben, an denen GPT-6.1 Sol zweimal scheiterte.
Macht DeepSeek V4.1 Flash mehr Fehler als GPT-6.1 Sol?
Ja. 34 der 144 Versuche von DeepSeek V4.1 Flash endeten mit einer falschen Antwort, bei GPT-6.1 Sol waren es 23. DeepSeek V4.1 Flash gab außerdem weniger Antworten, weil 28 seiner Versuche ohne Antwort endeten. In einem Versuch der Aufgabe zu Flaggschiff-Smartphones führte seine eigene Tabelle das Galaxy S26 mit 167 g auf, während die Zusammenfassung ein Telefon mit 186 g als leichtestes bezeichnete.
Kann DeepSeek V4.1 Flash Formulare ausfüllen und Abläufe in einer Webanwendung ausführen?
Ja. DeepSeek V4.1 Flash war bei 15 Abläufen in unseren Web-Testanwendungen in 28 von 30 Versuchen erfolgreich, GPT-6.1 Sol in 29 von 30. Zu den Aufgaben gehörten eine Reisebuchung, das Zuordnen von Lockbox-Zahlungen und das Genehmigen von Spesenabrechnungen. Bei den 13 Aufgaben, die beide Modelle in jedem Versuch bestanden, kostete DeepSeek V4.1 Flash $0.028 pro Aufgabe und GPT-6.1 Sol $0.170.
Welche Browseraufgaben kann DeepSeek V4.1 Flash günstiger erledigen als GPT-6.1 Sol?
Vor allem Abläufe innerhalb einer einzigen Webanwendung: 11 der 15 Abläufe erfüllten drei Bedingungen. Bei diesen 11 Aufgaben bestand DeepSeek V4.1 Flash genauso viele Versuche wie GPT-6.1 Sol, benötigte höchstens 10% mehr Zeit und kostete weniger als ein Drittel so viel. Drei weitere Aufgaben erfüllten dieselben Bedingungen: ein Inflationsbericht aus FRED- und BLS-Daten, Lernnotizen aus einer Vorlesung, Code und einer wissenschaftlichen Arbeit sowie eine sudo-CVE, geprüft anhand von neun Sicherheitshinweisen von Linux-Distributionen.
Wie viele Toolaufrufe macht DeepSeek V4.1 Flash im Vergleich zu GPT-6.1 Sol?
Über alle 72 Aufgaben hinweg machte DeepSeek V4.1 Flash 61.6 Toolaufrufe pro Aufgabe, etwa 78% mehr als die 34.6 von GPT-6.1 Sol. Bei Aufgaben, die dieselben Felder von 8 oder mehr Websites sammeln, machte DeepSeek V4.1 Flash 82.2 Aufrufe pro Aufgabe, doppelt so viele wie die 41.1 von GPT-6.1 Sol. Bei Abläufen in Webanwendungen machte DeepSeek V4.1 Flash 33.3 Aufrufe pro Aufgabe und GPT-6.1 Sol 26.0.
Lohnt sich DeepSeek V4.1 Flash für Browseragenten?
Für Abläufe innerhalb einer einzigen Webanwendung ja: DeepSeek V4.1 Flash war dort in 28 von 30 Versuchen erfolgreich und kostete etwa ein Sechstel so viel wie GPT-6.1 Sol. Für einen Agenten, der auf vielen Websites arbeitet, ist GPT-6.1 Sol die bessere Wahl. Es war in 84.0% seiner Versuche erfolgreich, DeepSeek V4.1 Flash in 56.9%.
So haben wir getestet
Wir führten beide Modelle am 7. November 2026 unter macOS in ego-browser mit ego(lite) 0.6.3.2 aus. Beide liefen im Agentenframework pi mit der ego-browser-Skilldatei. Wir riefen sie über die Modell-IDs deepseek-flash und gpt-6.1-sol mit hoher Denkintensität auf. Für beide Modelle galt dieselbe Grenze von 100 Schritten pro Versuch. Ein Schritt entspricht einer Antwort des Modells; in fast jedem Schritt machte das Modell einen Toolaufruf. Jedes Modell führte jede der 72 Aufgaben zweimal aus, also 144 Versuche pro Modell.

Die 72 Aufgaben sind komplexe Aufgaben zur Webautomatisierung. Manche laufen auf realen Websites, andere in Testanwendungen, die wir mit neuen Daten befüllt haben. Wir gruppierten sie nach der Art der Arbeit, die sie verlangen:
| Art der Arbeit | Anzahl der Aufgaben | Beispielaufgabe |
|---|---|---|
| Abläufe in Webanwendungen | 15 | Eine richtlinienkonforme Reise buchen |
| Auf wenigen Websites suchen und vergleichen | 8 | Inflationsbericht aus FRED, anhand von BLS geprüft |
| Recherche und Zusammenführung | 12 | Eine Wikipedia-Tabelle bis zu ihren Quellen zurückverfolgen |
| X-Beiträge anhand anderer Quellen prüfen | 5 | SpaceX-Beiträge zu Raketenstarts auf X anhand von Wikipedia prüfen |
| Dieselben Felder von 8 oder mehr Websites sammeln | 32 | Zinsentscheidungen von 12 Zentralbanken |
Jede Aufgabe gehört nur zu einer Gruppe. Die 5 Aufgaben zur Prüfung von X-Beiträgen bilden eine eigene Gruppe, auch wenn sie 8 Konten abdecken.
Jede Aufgabe wird anhand von 3 bis 10 Prüfkriterien bewertet. Ein Versuch ist nur erfolgreich, wenn alle Kriterien erfüllt sind.
Um die Arbeitsweise jedes Modells zu verstehen, lasen wir die Sitzungsprotokolle der Versuche beider Modelle. Wir zählen einen Browserbefehl als Arbeit in zwei oder mehr Tabs, wenn das Skript, das das Modell in diesem Befehl an ego-browser übergab, in zwei oder mehr Tabs Daten las oder Aktionen ausführte.
Die Erfolgsquote ist der Anteil erfolgreicher Versuche. Jeder Wert pro Aufgabe in diesem Artikel, einschließlich Zeit, Kosten und Toolaufrufen, ist der Mittelwert der zwei Versuche dieser Aufgabe. Die Zeit reicht vom Beginn eines Versuchs bis zur abschließenden Antwort oder, wenn keine Antwort kam, bis zum letzten Schritt. Sie umfasst das Warten auf die API-Antworten des jeweiligen Modells. Die Kosten ergeben sich aus den Tokens jedes Versuchs zu den Preisen des Anbieters. Die Kosten pro erfolgreichem Versuch sind die Kosten aller 144 Versuche, geteilt durch die Anzahl der erfolgreichen Versuche. Wenn wir Zeit und Kosten vergleichen, verwenden wir die 29 Aufgaben, die beide Modelle in jedem Versuch bestanden, sofern der jeweilige Satz nichts anderes angibt.
In der Spalte „Ergebnis“ unten bedeutet „Gleich viele Erfolge, günstiger“, dass DeepSeek V4.1 Flash genauso viele Versuche bestand wie GPT-6.1 Sol, höchstens 10% mehr Zeit benötigte und weniger als ein Drittel so viel kostete. „Gleich viele Erfolge, langsamer“ bedeutet, dass beide Modelle gleich häufig erfolgreich waren, die Aufgabe aber diese Zeit- und Kostenbedingungen nicht erfüllte.
Vollständige Ergebnisse
Jede Zelle zeigt zunächst die Anzahl erfolgreicher Versuche von 2, dann Zeit und Kosten pro Aufgabe. Zeit und Kosten sind Mittelwerte aus den zwei Versuchen der Aufgabe. Die Zeit umfasst das Warten auf die API-Antworten des jeweiligen Modells.
| Aufgabe | Art der Arbeit | Ergebnis | GPT-6.1 Sol | DeepSeek V4.1 Flash |
|---|---|---|---|---|
| Nicht zugeordnete Kartenbelastungen einer Spesenabrechnung hinzufügen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 169.6 s, $0.193 | 2/2, 157.1 s, $0.026 |
| Lockbox-Zahlungen zuordnen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 185.2 s, $0.141 | 2/2, 184.3 s, $0.025 |
| Eine Reisekostenabrechnung genehmigen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 156.3 s, $0.120 | 2/2, 144.6 s, $0.020 |
| Eine richtlinienkonforme Reise buchen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 199.4 s, $0.253 | 2/2, 189.2 s, $0.033 |
| Dienstüberwachungen an einen Standard anpassen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 133.9 s, $0.131 | 2/2, 119.3 s, $0.024 |
| Pünktlichkeitsprüfung und Warnregeln für Transportunternehmen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 198.1 s, $0.140 | 2/2, 213.7 s, $0.042 |
| Tägliche Verpflegungspauschalen beantragen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 123.4 s, $0.109 | 2/2, 93.2 s, $0.018 |
| Tägliche Fahrleistung abrechnen | Abläufe in Webanwendungen | Gleich viele Erfolge, langsamer | 2/2, 246.6 s, $0.228 | 2/2, 282.4 s, $0.036 |
| Bereitschaftsschichten unter Berücksichtigung von Abwesenheiten besetzen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 85.6 s, $0.108 | 2/2, 69.0 s, $0.013 |
| Bestellungen anhand von Meldebeständen erstellen | Abläufe in Webanwendungen | Gleich viele Erfolge, langsamer | 2/2, 116.7 s, $0.123 | 2/2, 146.9 s, $0.019 |
| Retouren für beschädigte Bestellungen anmelden | Abläufe in Webanwendungen | Gleich viele Erfolge, langsamer | 2/2, 238.5 s, $0.293 | 2/2, 297.5 s, $0.045 |
| Deployments anhand von Fehlerbudgets einfrieren oder wieder freigeben | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 1/2, 90.1 s, $0.086 | 1/2, 74.1 s, $0.013 |
| Rechnungen den Zahlungen zuordnen und Streitfälle eröffnen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 212.0 s, $0.214 | 2/2, 224.6 s, $0.042 |
| Während einer Releasesperre veröffentlichte Versionen zurücksetzen | Abläufe in Webanwendungen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 115.4 s, $0.111 | 1/2, 241.3 s, $0.040 |
| Eine Analyse nach einem Vorfall verfassen und einreichen | Abläufe in Webanwendungen | Gleich viele Erfolge, günstiger | 2/2, 135.5 s, $0.158 | 2/2, 126.7 s, $0.026 |
| Günstigste Preise für Nonstop-Flüge auf einer Flugsuchwebsite | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, langsamer | 1/2, 380.6 s, $0.492 | 1/2, 1058.9 s, $0.096 |
| Drei Mac-Laptops vergleichen | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, langsamer | 2/2, 278.5 s, $0.529 | 2/2, 320.4 s, $0.065 |
| Inflationsbericht aus FRED, anhand von BLS geprüft | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, günstiger | 2/2, 117.8 s, $0.158 | 2/2, 93.6 s, $0.019 |
| KYC-Momentaufnahme von vier britischen Unternehmen | Auf wenigen Websites suchen und vergleichen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 181.1 s, $0.269 | 1/2, 170.1 s, $0.034 |
| Klinische Studien den Arzneimittel-Fachinformationen zuordnen | Auf wenigen Websites suchen und vergleichen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 338.8 s, $0.487 | 1/2, 293.6 s, $0.052 |
| Einspielergebnisse von sechs Filmen abgleichen | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, langsamer | 2/2, 189.2 s, $0.209 | 2/2, 210.5 s, $0.028 |
| Lernnotizen aus einer Vorlesung, Code und einer wissenschaftlichen Arbeit | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, günstiger | 2/2, 215.6 s, $0.422 | 2/2, 232.5 s, $0.041 |
| Webfunktionen auf MDN und Can I use | Auf wenigen Websites suchen und vergleichen | Gleich viele Erfolge, langsamer | 2/2, 161.8 s, $0.197 | 2/2, 430.5 s, $0.049 |
| API-Preise aus Wayback-Aufnahmen | Recherche und Zusammenführung | Mehr Erfolge für DeepSeek V4.1 Flash | 0/2, 410.4 s, $0.300 | 2/2, 1111.2 s, $0.065 |
| Diagramm der ARC Prize-Rangliste | Recherche und Zusammenführung | Gleich viele Erfolge, langsamer | 2/2, 197.0 s, $0.247 | 2/2, 341.1 s, $0.081 |
| 10 Aussagen in einem wöchentlichen KI-Rückblick prüfen | Recherche und Zusammenführung | Mehr Erfolge für GPT-6.1 Sol | 2/2, 184.3 s, $0.331 | 0/2, 307.3 s, $0.059 |
| Fünf chinesische Modell-APIs für eine Monatsrechnung vergleichen | Recherche und Zusammenführung | Gleich viele Erfolge, langsamer | 2/2, 205.8 s, $0.344 | 2/2, 278.6 s, $0.055 |
| Offenlegungsaudit für 8 Spitzenmodelle nach der EU-KI-Verordnung | Recherche und Zusammenführung | Keines bestand | 0/2, 555.1 s, $1.007 | 0/2, 530.4 s, $0.126 |
| API-Modellveröffentlichungen im September aus sechs Änderungsprotokollen auflisten | Recherche und Zusammenführung | Mehr Erfolge für GPT-6.1 Sol | 2/2, 148.2 s, $0.260 | 1/2, 378.5 s, $0.078 |
| Modelle oberhalb der EU-Schwellenwerte für den Rechenaufwand | Recherche und Zusammenführung | Mehr Erfolge für GPT-6.1 Sol | 2/2, 94.0 s, $0.095 | 1/2, 170.2 s, $0.034 |
| OpenRouter-Endpunkte für GLM 5.3 auswählen | Recherche und Zusammenführung | Gleich viele Erfolge, langsamer | 2/2, 222.2 s, $0.305 | 2/2, 363.4 s, $0.067 |
| Ein Modell für deutsche Versicherungsansprüche anhand von sechs Anforderungen auswählen | Recherche und Zusammenführung | Mehr Erfolge für DeepSeek V4.1 Flash | 1/2, 155.3 s, $0.261 | 2/2, 285.0 s, $0.057 |
| Eine Arbeitslast aus Supporttickets anhand von 6 Preisseiten kalkulieren | Recherche und Zusammenführung | Gleich viele Erfolge, langsamer | 1/2, 334.8 s, $0.559 | 1/2, 399.2 s, $0.101 |
| Eine LiveBench-Veröffentlichung lesen | Recherche und Zusammenführung | Mehr Erfolge für DeepSeek V4.1 Flash | 0/2, 67.8 s, $0.129 | 2/2, 215.3 s, $0.050 |
| Eine Wikipedia-Tabelle bis zu ihren Quellen zurückverfolgen | Recherche und Zusammenführung | Mehr Erfolge für GPT-6.1 Sol | 2/2, 286.6 s, $0.222 | 0/2, 514.5 s, $0.060 |
| 8 Vereinsneuzugänge: X-Beiträge anhand der Vereinswebsites prüfen | X-Beiträge anhand anderer Quellen prüfen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 1099.5 s, $1.485 | 0/2, 2198.8 s, $0.080 |
| 8 Produkteinführungen: X-Beiträge anhand von Pressemitteilungen prüfen | X-Beiträge anhand anderer Quellen prüfen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 583.1 s, $0.725 | 0/2, 1451.6 s, $0.086 |
| Nobelpreis-Beiträge von 8 Universitäten auf X | X-Beiträge anhand anderer Quellen prüfen | Mehr Erfolge für GPT-6.1 Sol | 2/2, 790.7 s, $0.835 | 1/2, 2557.1 s, $0.117 |
| Sicherheitsveröffentlichungen von 8 Open-Source-Projekten: X-Beiträge anhand von Sicherheitshinweisen prüfen | X-Beiträge anhand anderer Quellen prüfen | Gleich viele Erfolge, langsamer | 2/2, 426.5 s, $0.724 | 2/2, 1306.2 s, $0.117 |
| SpaceX-Beiträge zu Raketenstarts auf X anhand von Wikipedia prüfen | X-Beiträge anhand anderer Quellen prüfen | Gleich viele Erfolge, langsamer | 2/2, 156.2 s, $0.166 | 2/2, 841.3 s, $0.044 |
| Klimaaussagen 2025 von 11 Wetterdiensten | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 1/2, 616.5 s, $1.076 | 0/2, 556.2 s, $0.120 |
| Verkehrsaufkommen von 8 Flughäfen im Jahr 2025 | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 1/2, 609.4 s, $1.015 | 1/2, 750.7 s, $0.127 |
| Meister der Saison 2025-26 aus 9 Ligen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 577.7 s, $1.193 | 0/2, 798.0 s, $0.110 |
| 8 Kameras von 8 Markenwebsites | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 381.1 s, $0.511 | 1/2, 540.1 s, $0.083 |
| 8 Entwicklerumfragen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 348.6 s, $0.585 | 0/2, 537.0 s, $0.122 |
| 9 Elektro-SUVs | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 557.3 s, $1.111 | 0/2, 620.2 s, $0.104 |
| 9 Modelle mit offenen Gewichten | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 1/2, 448.1 s, $0.703 | 1/2, 548.0 s, $0.110 |
| Compliance von 9 SaaS-Anbietern | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 1/2, 434.7 s, $0.598 | 0/2, 452.0 s, $0.081 |
| Aktuelle Ausgaben von 9 Standards | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 2/2, 282.9 s, $0.675 | 2/2, 386.3 s, $0.059 |
| Flaggschiff-Smartphones von 9 Marken | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 439.4 s, $0.620 | 0/2, 509.0 s, $0.077 |
| Kostenlose Tarife von 9 CI-Diensten | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 350.6 s, $0.525 | 0/2, 617.3 s, $0.118 |
| Kostenlose Tarife von 9 Serverless-Plattformen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 209.9 s, $0.319 | 1/2, 390.7 s, $0.077 |
| Keynotes von 9 Entwicklerkonferenzen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 429.1 s, $0.586 | 0/2, 949.7 s, $0.114 |
| Jüngste Wahl in 9 Gebieten | Dieselben Felder von 8 oder mehr Websites sammeln | Keines bestand | 0/2, 582.7 s, $1.114 | 0/2, 625.3 s, $0.120 |
| Neueste Versionen von 9 Laufzeitumgebungen für Programmiersprachen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 326.9 s, $0.638 | 0/2, 464.1 s, $0.090 |
| Neueste stabile Version von 9 Desktopbrowsern | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 2/2, 263.2 s, $0.510 | 2/2, 552.6 s, $0.104 |
| Neueste stabile Versionen von 9 Frontend-Frameworks | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für DeepSeek V4.1 Flash | 0/2, 252.0 s, $0.375 | 2/2, 425.9 s, $0.069 |
| Mindestlohn in 9 Rechtsordnungen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 520.4 s, $0.834 | 0/2, 630.3 s, $0.088 |
| Ein Album bei 9 Musikdiensten | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 2/2, 260.6 s, $0.660 | 2/2, 485.6 s, $0.055 |
| Ausgaben desselben Buchs aus 10 Quellen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für DeepSeek V4.1 Flash | 1/2, 315.6 s, $0.477 | 2/2, 498.5 s, $0.061 |
| Ein Auto in 9 Crashtestprogrammen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 1/2, 345.1 s, $0.524 | 0/2, 609.2 s, $0.104 |
| Ein Medikament bei 8 Regulierungsbehörden | Dieselben Felder von 8 oder mehr Websites sammeln | Keines bestand | 0/2, 52.7 s, $0.060 | 0/2, 614.5 s, $0.117 |
| Ein Erdbeben bei 9 Fachstellen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 321.3 s, $0.750 | 0/2, 694.1 s, $0.109 |
| Ein Spiel bei 8 Altersfreigabestellen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 496.2 s, $0.659 | 0/2, 666.1 s, $0.092 |
| Eine Druckgrafik in 10 Museumssammlungen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 465.4 s, $0.777 | 0/2, 693.7 s, $0.098 |
| Eine sudo-CVE in 9 Sicherheitshinweisen von Distributionen | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, günstiger | 2/2, 389.0 s, $0.487 | 2/2, 280.1 s, $0.045 |
| Die Nummer eins derselben Woche in 9 nationalen Charts | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 2/2, 530.8 s, $0.771 | 2/2, 631.1 s, $0.090 |
| BIP-Erstschätzungen für das 2. Quartal von 9 Fachstellen | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 471.3 s, $0.927 | 1/2, 616.9 s, $0.105 |
| Zinsentscheidungen von 12 Zentralbanken | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 374.9 s, $0.620 | 0/2, 496.5 s, $0.109 |
| Supporttermine für 9 Produktversionen von Anbietern | Dieselben Felder von 8 oder mehr Websites sammeln | Gleich viele Erfolge, langsamer | 2/2, 273.8 s, $0.390 | 2/2, 327.4 s, $0.065 |
| Die protobuf-Laufzeit in 9 Paketregistries | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 1/2, 415.8 s, $0.544 | 0/2, 566.7 s, $0.082 |
| Hauptpreis bei 9 Filmfestivals | Dieselben Felder von 8 oder mehr Websites sammeln | Mehr Erfolge für GPT-6.1 Sol | 2/2, 628.3 s, $0.969 | 0/2, 665.1 s, $0.093 |
Änderungsprotokoll: Erstveröffentlichung am 9. November 2026 mit den Durchläufen vom 7. November 2026, zwei Versuche pro Aufgabe und Modell bei 72 Aufgaben.


