Wir haben die Browser-Nutzung von GPT-6.1 Sol und GPT-6 Sol mit drei Browser-Tools verglichen

12 Min. Lesezeit
Drei zunehmend größere, mit Wolken gefüllte Kreise auf blauem Hintergrund für den Browser-Benchmark von GPT-6.1 Sol.

Für die von uns getestete pi-Konfiguration für Browser-Agenten würden wir GPT-6.1 Sol statt GPT-6 Sol wählen, weil es mehr Aufgaben erledigt und niedrigere Modellkosten hat – ein durchgängiger Geschwindigkeitsgewinn wäre nicht der Grund. In diesem Test der Browser-Nutzung mit GPT-6.1 Sol führte jedes Modell jede der 25 Web-Aufgaben einmal mit Playwright CLI, agent-browser und ego-browser aus. Damit hatte jedes Modell 25 Versuche pro Tool. GPT-6.1 Sol bestand mit Playwright CLI 19 von 25 Versuchen, mit agent-browser 20 von 25 und mit ego-browser 24 von 25. GPT-6 Sol bestand entsprechend 12, 14 und 18. Auf den Aufgaben, die beide Modelle mit dem jeweiligen Tool bestanden, benötigte GPT-6.1 Sol im Mittel 275.6, 327.1 und 195.0 Sekunden und kostete $0.287, $0.339 und $0.372 pro Aufgabe. GPT-6 Sol benötigte im Mittel 291.3, 324.0 und 220.2 Sekunden und kostete $0.640, $0.595 und $0.735.

Die meisten zusätzlichen Erfolge kamen aus der Datensammlung über mehrere Websites: Aufgaben, die dieselben Felder von 9 bis 16 Websites erfassen. Bei zehn solchen Aufgaben pro Tool bestand GPT-6.1 Sol über alle drei Tools hinweg 20 von 30 Versuchen, GPT-6 Sol dagegen 6. Über alle drei Tools hinweg wurden 19 Versuche von einem Fehlschlag mit GPT-6 Sol zu einem Erfolg mit GPT-6.1 Sol; kein Versuch wechselte in die andere Richtung.

GPT-6.1 Sol benötigte auf den von beiden Modellen bestandenen Aufgaben weniger Tool-Aufrufe. In ego-browser bezogen sich 43.7% seiner Browser-Skripte auf mindestens zwei Tabs oder öffneten neben einem vorhandenen Tab einen neuen; GPT-6 Sol tat dies in 0.4% der Fälle. Das beschreibt die beobachteten Skripte, beweist aber nicht, dass die Tab-Nutzung die zusätzlichen Erfolge verursacht hat. GPT-6.1 Sol scheiterte weiterhin bei 12 seiner 75 Versuche. Zehn Fehlschläge endeten mit einer Antwort, die einen falschen oder fehlenden Wert enthielt.

Der Kostenvorteil bleibt bestehen, wenn die aufgezeichnete Token-Nutzung von GPT-6.1 Sol mit den Tarifen von GPT-6 Sol berechnet wird. Für die von beiden bestandenen Aufgaben ergibt diese Rechnung $0.402, $0.477 und $0.523 pro Aufgabe mit Playwright CLI, agent-browser und ego-browser und liegt damit bei jedem Tool unter den jeweiligen Kosten von GPT-6 Sol. Bei der Geschwindigkeit ist das Bild gemischt: Der Durchschnitt von GPT-6.1 Sol ist mit zwei Tools niedriger und mit agent-browser etwas höher. Bei zwei Tools ist es auf weniger als der Hälfte der gemeinsamen Aufgaben schneller.

Modell und Browser-ToolErfolgsquoteDurchschnittliche Zeit pro AufgabeDurchschnittliche Kosten pro Aufgabe
GPT-6.1 Sol mit Playwright CLI76.0% (19/25)275.6 s$0.287
GPT-6 Sol mit Playwright CLI48.0% (12/25)291.3 s$0.640
GPT-6.1 Sol mit agent-browser80.0% (20/25)327.1 s$0.339
GPT-6 Sol mit agent-browser56.0% (14/25)324.0 s$0.595
GPT-6.1 Sol mit ego-browser96.0% (24/25)195.0 s$0.372
GPT-6 Sol mit ego-browser72.0% (18/25)220.2 s$0.735

Die Erfolgsquote bezieht sich auf alle 25 Versuche jeder Zeile. Zeit und Kosten beziehen sich auf die Aufgaben, die beide Modelle mit dem jeweiligen Tool bestanden: 12 mit Playwright CLI, 14 mit agent-browser und 18 mit ego-browser. Die Zeit addiert das Warten auf das Modell und die Tool-Ausführung; die Zeit, die das Testframework zwischen den Schritten benötigt, ist ausgeschlossen. Bei jedem Tool bilden die beiden Modelle einen eigenen Vergleich. Diese unterschiedlichen Aufgabengruppen begründen daher keine Zeit- oder Kostenrangfolge zwischen den Tools.

Erfolgsquote

GPT-6.1 Sol erledigte mit jedem Tool mehr der getesteten Arbeit. Die größten Zuwächse gab es bei der Datensammlung über mehrere Websites. Playwright CLI gewann sieben Erfolge hinzu, agent-browser sechs und ego-browser sechs. Über die drei Tools hinweg bestanden beide Modelle 44 Versuche, nur GPT-6.1 Sol bestand 19, und beide scheiterten bei 12.

Art der ArbeitAufgaben pro ToolPlaywright CLIagent-browserego-browser
Datensammlung über mehrere Websites105 gegenüber 26 gegenüber 09 gegenüber 4
Recherchen auf einer bis drei Websites87 gegenüber 47 gegenüber 78 gegenüber 8
Ergebnisoffene Recherche33 gegenüber 23 gegenüber 33 gegenüber 2
Abläufe in geschäftlichen Web-Apps44 gegenüber 44 gegenüber 44 gegenüber 4

Jede Zelle nennt zuerst die Erfolge von GPT-6.1 Sol, dann die von GPT-6 Sol, bei einem Versuch pro Aufgabe. Der Modellwechsel wirkt sich bei Arbeit über mehrere Websites am stärksten auf die Aufgabenerledigung aus. Bei den vier Test-App-Aufgaben bestanden beide Modelle jeden Versuch mit jedem Tool. Der Grund für einen Wechsel sind dort daher die Kosten.

Die 19 Versuche, in denen GPT-6 Sol gegen GPT-6.1 Sol verlor, teilen sich in sechs Versuche auf, die das Schrittbudget ohne Antwort ausschöpften, und 13, die eine Antwort mit einem falschen oder fehlenden Wert lieferten. Über alle 75 Versuche hinweg schöpfte GPT-6 Sol das Budget neunmal aus und GPT-6.1 Sol zweimal. Ein Schritt ist eine Antwort des Modells; jeder Versuch hatte ein Budget von 100 Schritten.

Die SaaS-Compliance-Aufgabe zeigt einen Fehlschlag durch eine falsche Antwort. Sie fragt nach den Zertifizierungen von neun Anbietern mit Stand vom 30. September 2026, einschließlich der höchsten FedRAMP-Autorisierung, die für irgendeine Edition verfügbar ist. Mit ego-browser ging GPT-6 Sol die Links auf Asanas Trust-Seite durch und schrieb für Asana „none“. GPT-6.1 Sol folgte dem Link Government, öffnete Asana Gov und bestätigte in einer Pressemitteilung dessen FedRAMP-Moderate-Autorisierung.

Wiedergabe aufgezeichneter Browser-Befehle auf der aktuellen Asana-Gov-Seite, die eine FedRAMP-Moderate-Zertifizierung anzeigt
Wiedergabe von Schritt 21 von 38 in der SaaS-Compliance-Aufgabe von GPT-6.1 Sol. Die aktuelle Seite weist eine FedRAMP-Moderate-Zertifizierung aus; im Lauf vom 22. Oktober wurde die Autorisierung erfasst. Ursprünglicher Lauf: 22. Oktober 2026. Wiedergabe aufgenommen am 10. November 2026. Bild in Originalgröße ansehen

GPT-6.1 Sol erfüllte in 38 Schritten alle geforderten Prüfkriterien. GPT-6 Sol hörte nach 22 Schritten auf. Der falsche Asana-Wert veränderte zudem die von ihm genannte Anzahl autorisierter Anbieter.

Feld in der ErgebnistabelleRichtiger WertAngabe von GPT-6 Sol
Asana, höchste FedRAMP-AutorisierungModerate, über Asana Govnone („keine“)
Anbieter mit FedRAMP Moderate oder höher6, einschließlich Asana5, ohne Asana

Auch die eigenen Fehlschläge von GPT-6.1 Sol müssen geprüft werden: Zehn der 12 fehlgeschlagenen Versuche endeten mit einer Antwort, die einen falschen oder fehlenden Wert enthielt. Eine fertige Tabelle reicht nicht aus, um einem Ergebnis zu vertrauen, das in eine Entscheidung einfließt.

Wie die einzelnen Modelle arbeiten

GPT-6.1 Sol benötigte für dieselbe erfolgreich erledigte Arbeit weniger Tool-Aufrufe. Auf den gemeinsamen Aufgaben waren es im Mittel 32.6 Aufrufe pro Aufgabe gegenüber 42.3 bei GPT-6 Sol mit Playwright CLI, 34.1 gegenüber 50.5 mit agent-browser und 29.8 gegenüber 40.1 mit ego-browser. Ein Tool-Aufruf ist ein Aufruf eines Agenten-Tools, etwa bash oder eines Dateilesers.

In ego-browser bezogen 321 der 735 Skripte von GPT-6.1 Sol mehrere Tabs ein oder erstellten einen neuen; bei GPT-6 Sol taten dies vier von 1 044 Skripten. Mit Playwright CLI und agent-browser führte GPT-6.1 Sol Tab-Befehle in 15.8% beziehungsweise 9.3% der bash-Aufrufe aus, gegenüber 2.5% und 2.2% bei GPT-6 Sol. Die Prozentsätze beschreiben unterschiedliche Schnittstellen. Es sind daher Vergleiche zwischen Modellen innerhalb eines Tools.

Die Zentralbank-Aufgabe zeigt den Unterschied bei einer langen Arbeit. Gefragt ist die erste Zinsentscheidung des Jahres 2026 bei zwölf Zentralbanken, einschließlich Abstimmungsergebnis und nächstem Ankündigungstermin. GPT-6 Sol bearbeitete eine Bank pro Skript, erreichte die zwölfte Bank bei Schritt 90 und schöpfte sein Budget aus, ohne die Tabelle zu schreiben. GPT-6.1 Sol nutzte in 30 von 38 Browser-Skripten zwei Tabs, erreichte diese Bank bei Schritt 35 und stellte die Tabelle bei Schritt 42 fertig.

Wiedergabe aufgezeichneter Browser-Befehle: ein vom Agenten gesteuertes Browserfenster mit dem FOMC-Kalender der Federal Reserve und den geldpolitischen Entscheidungen der EZB in zwei Tabs
Wiedergabe aufgezeichneter Befehle. GPT-6.1 Sol in ego-browser bei der Zentralbank-Aufgabe: lädt den FOMC-Kalender der Federal Reserve und die Entscheidungen der EZB in zwei Tabs. Schritt 6 von 42. Ursprünglicher Lauf: 22. Oktober 2026. Wiedergabe am 10. November 2026 in ego(lite) aufgenommen. Bild in Originalgröße ansehen

Das sind nützliche Hinweise darauf, wie diese beiden Versuche abliefen, aber kein separater Test einer Tab-Strategie. Das übergreifende Ergebnis bei Aufgaben über mehrere Websites lautet: 20 von 30 Versuchen bestanden mit GPT-6.1 Sol, gegenüber 6 von 30 mit GPT-6 Sol.

Geschwindigkeit

Die Geschwindigkeit wäre für uns kein Grund für einen Modellwechsel. Auf den gemeinsam erfolgreich erledigten Aufgaben benötigte GPT-6.1 Sol im Mittel 275.6 Sekunden gegenüber 291.3 bei GPT-6 Sol mit Playwright CLI, 327.1 gegenüber 324.0 mit agent-browser und 195.0 gegenüber 220.2 mit ego-browser. Diese Mittelwerte enthalten Modellwartezeit und Tool-Ausführung auf denselben Aufgaben innerhalb eines Tools.

Die Aufgabenanzahl verdeutlicht den Kompromiss. GPT-6.1 Sol war bei fünf von 12 gemeinsamen Aufgaben mit Playwright CLI schneller, bei sieben von 14 mit agent-browser und bei sieben von 18 mit ego-browser. Der niedrigere Durchschnitt bei zwei Tools bedeutet nicht, dass die meisten einzelnen Arbeiten früher fertig wurden. Mehr erledigte Aufgaben und niedrigere Kosten sind in dieser Konfiguration die stärkeren Gründe für die Wahl.

Kosten

GPT-6.1 Sol kostete bei jedem Tool auf der von beiden Modellen erledigten Arbeit weniger. Es war auf allen 12 gemeinsamen Aufgaben mit Playwright CLI, auf 13 von 14 mit agent-browser und auf 17 von 18 mit ego-browser günstiger. Die Tabelle trennt die Veränderung der aufgezeichneten Token-Nutzung von der Veränderung des Modellpreises.

Browser-ToolGPT-6.1 SolToken von GPT-6.1 Sol zu den Tarifen von GPT-6 SolGPT-6 Sol
Playwright CLI$0.287$0.402$0.640
agent-browser$0.339$0.477$0.595
ego-browser$0.372$0.523$0.735

Dies sind durchschnittliche Modellkosten pro Aufgabe für die innerhalb des jeweiligen Tools gemeinsam erfolgreich erledigten Aufgaben. Wir verwenden die Standard-API-Tarife von OpenAI: $2.00 pro Million nicht zwischengespeicherter Eingabe-Token und $10.00 pro Million Ausgabe-Token bei beiden Modellen. Für zwischengespeicherte Eingaben gelten $0.10 pro Million Token bei GPT-6.1 Sol und $0.20 bei GPT-6 Sol. Das sind API-äquivalente Token-Kosten und keine Preise für ein Agenten-Abonnement.

Einschließlich fehlgeschlagener Versuche lagen die durchschnittlichen Modellkosten pro Aufgabe bei $0.410 gegenüber $0.752 mit Playwright CLI, $0.586 gegenüber $0.833 mit agent-browser und $0.430 gegenüber $0.842 mit ego-browser. Über alle Versuche hinweg kostete GPT-6.1 Sol zu den jeweils eigenen Modelltarifen weniger. Auf gemeinsam erfolgreich erledigten Aufgaben war es auch bei Berechnung zu den Tarifen von GPT-6 Sol günstiger.

Welches Modell verwenden?

Für die hier dargestellte pi-Konfiguration und Arbeit würden wir GPT-6.1 Sol mit hohem Denkaufwand wählen. Es bestand mit jedem Tool mehr Aufgaben und kostete weniger. Keiner der 75 Vergleiche wechselte von einem Erfolg mit GPT-6 Sol zu einem Fehlschlag mit GPT-6.1 Sol. Eine durchgängige Beschleunigung würden wir aus diesen Ergebnissen nicht erwarten.

Bei der Datensammlung über mehrere Websites bestand die Verbesserung in 20 von 30 bestandenen Versuchen gegenüber 6 von 30. GPT-6.1 Sol scheiterte weiterhin bei zehn Versuchen. Wir würden daher die zurückgegebenen Tabellen vor der Verwendung prüfen. Bei den vier Test-App-Abläufen bestanden beide Modelle jeden Versuch; die Modellkosten sind somit der nützliche Unterschied.

Die getestete Konfiguration nutzte die pi-Agentenumgebung, hohen Denkaufwand, bash und die Skill-Datei des Browser-Tools. ego-browser steuert ego(lite), während Playwright CLI und agent-browser Chrome steuern. Der Modellvergleich verwendet beim Vergleich der beiden Modelle mit dem jeweiligen Tool dieselbe Tool-Version und dieselben Anleitungen.

Wie ego(lite) in diesen Vergleich passt

ego(lite) war der von ego-browser gesteuerte Browser und nicht das verglichene Modell. Der Integrationsleitfaden für ego-browser beschreibt diese Verbindung. Playwright CLI und agent-browser steuerten in den anderen Konfigurationen dagegen Chrome.

Wählen Sie zunächst zwischen den beiden Modellen innerhalb eines Tools, bevor Sie Tools vergleichen. Die durchschnittlichen Modellkosten und Zeiten jedes Tools beziehen sich auf dessen eigene gemeinsam erfolgreich erledigte Aufgaben. Diese Durchschnittswerte ordnen die Tools daher nicht in eine Rangfolge ein. Auf ähnliche pi-Arbeit übertragbar ist der aufgezeichnete Zusammenhang zwischen Aufgabenerledigung und Modellkosten; die Geschwindigkeitsbefunde bleiben gemischt.

Häufige Fragen

Ist GPT-6.1 Sol besser als GPT-6 Sol für Browser-Agenten?

In unserer pi-Konfiguration bestand GPT-6.1 Sol mit allen drei Tools mehr der 25 Aufgaben. Es bestand 19, 20 und 24 Versuche mit Playwright CLI, agent-browser und ego-browser; GPT-6 Sol bestand 12, 14 und 18. Keiner dieser Vergleiche wechselte von einem Erfolg des alten Modells zu einem Fehlschlag des neuen.

Ist GPT-6.1 Sol günstiger als GPT-6 Sol?

Die durchschnittlichen Modellkosten von GPT-6.1 Sol waren bei jedem Tool auf den von beiden bestandenen Aufgaben niedriger. Pro Aufgabe waren es $0.287 gegenüber $0.640, $0.339 gegenüber $0.595 und $0.372 gegenüber $0.735. Seine aufgezeichneten Token hätten auch zu den Tarifen von GPT-6 Sol weniger gekostet.

Ist GPT-6.1 Sol schneller als GPT-6 Sol?

GPT-6.1 Sol hatte bei zwei Tools einen niedrigeren Durchschnitt und bei agent-browser einen etwas höheren, berechnet aus Modellwartezeit plus Tool-Ausführung. Es war auf fünf von 12 gemeinsamen Aufgaben mit Playwright CLI, sieben von 14 mit agent-browser und sieben von 18 mit ego-browser schneller. Wir würden es wegen Aufgabenerledigung und Kosten wählen, nicht wegen einer durchgängig höheren Geschwindigkeit.

Was hat sich an der Browser-Nutzung von GPT-6.1 Sol geändert?

GPT-6.1 Sol benötigte bei jedem Tool auf gemeinsam erfolgreich erledigten Aufgaben weniger Tool-Aufrufe. In ego-browser bezogen 43.7% seiner Skripte mehrere Tabs ein oder erstellten einen neuen, gegenüber 0.4% bei GPT-6 Sol. GPT-6.1 Sol schöpfte in 75 Versuchen zweimal das Schrittbudget ohne Antwort aus, GPT-6 Sol dagegen neunmal.

Scheiterte GPT-6.1 Sol bei Aufgaben, die GPT-6 Sol bestand?

Nein, in diesen Vergleichen mit 25 Aufgaben gab es keinen solchen Fall. Über drei Tools hinweg wechselten 19 Ergebnisse von einem Fehlschlag mit GPT-6 Sol zu einem Erfolg mit GPT-6.1 Sol, keines in die andere Richtung. Beide Modelle bestanden 44 Versuche, und beide scheiterten bei 12.

Was macht GPT-6.1 Sol im Browser weiterhin falsch?

GPT-6.1 Sol scheiterte über die drei Tools hinweg bei 12 von 75 Versuchen. Zehn endeten mit einer Antwort, die einen falschen oder fehlenden Wert enthielt; zwei schöpften das Schrittbudget aus. Eine fertig wirkende Tabelle kann trotzdem falsch sein.

Wie schlägt sich GPT-6.1 Sol bei der Datensammlung über mehrere Websites?

GPT-6.1 Sol bestand 20 von 30 Versuchen auf zehn Aufgaben, die dieselben Felder von 9 bis 16 Websites erfassen, gegenüber 6 von 30 bei GPT-6 Sol. Diese Gruppe liefert die meisten zusätzlichen Erfolge. GPT-6.1 Sol scheiterte darin weiterhin bei zehn Versuchen.

Verändert das Browser-Tool, welches Modell mehr Arbeit erledigt?

GPT-6.1 Sol bestand mit allen drei getesteten Tools mehr Aufgaben. Die Verbesserung betrug sieben Erfolge mit Playwright CLI und jeweils sechs mit agent-browser und ego-browser. Die Abwägung bei der Geschwindigkeit unterschied sich je nach Tool.

Lohnt sich GPT-6.1 Sol für die Arbeit innerhalb einer einzigen Web-App?

Beide Modelle bestanden alle vier Test-App-Abläufe mit jedem Tool. Der Modellwechsel verbesserte die Aufgabenerledigung in diesen Apps nicht, senkte aber die durchschnittlichen Modellkosten. Das spricht in der getesteten Konfiguration aus Kostengründen für GPT-6.1 Sol.

So haben wir getestet

Wir führten gpt-6.1-sol und gpt-6-sol mit hohem Denkaufwand in der pi-Agentenumgebung aus, mit bash und einer Skill-Datei für jedes Browser-Tool. Die ego-browser-Läufe begannen am 22. Oktober 2026; Playwright CLI und agent-browser begannen am 5. November 2026. Alle sechs Hauptläufe nutzten denselben Mac mit Apple-Chip, auf dem zehn Aufgaben gleichzeitig liefen.

Der Hauptvergleich verwendet 25 Aufgaben mit Aufzeichnungen des ersten Versuchs für alle sechs Modell-Tool-Kombinationen. Wir schlossen die Mindestlohn- und MDN-Kompatibilitätsaufgaben aus jeder Kombination aus, weil mindestens ein archivierter Versuch durch einen späteren gezielten Wiederholungslauf ersetzt worden war. Die gezählten Versuche stammen vom 22. Oktober und 5. November 2026.

Die Tools waren Playwright CLI 0.1.22, agent-browser 0.39.1 und ego-browser v2.1.0. Beim Vergleich mit dem jeweiligen Tool nutzten beide Modelle dieselbe Tool-Version, Skill-Datei, dasselbe Schrittbudget und dieselben Aufgabenprüfungen. Ein Versuch konnte 100 Modellantworten verwenden, bevor das Framework ihn beendete.

Die 25 Aufgaben umfassen zehn Aufgaben zur Datensammlung über mehrere Websites, acht Recherchen auf einer bis drei Websites, drei ergebnisoffene Recherchen und vier Abläufe in Test-Web-Apps. Jede Aufgabe gehört anhand ihrer Aufgabendefinition zu genau einer Gruppe. Die Beispiele und vollständigen Ergebnisse verwenden denselben Umfang von 25 Aufgaben.

Ein Versuch ist die Ausführung einer Aufgabe durch ein Modell mit einem Tool. Ein Tool-Aufruf ruft ein Agenten-Tool auf. Bei 7 200 der 7 202 Antworten mit Tool-Aufrufen enthielt die Antwort genau einen Aufruf. Ein ego-browser-Skript ist ein Aufruf von ego-browser nodejs. Bestanden bedeutet, dass die endgültige Antwort alle für die Aufgabe festgelegten Prüfkriterien erfüllte, einschließlich des Kriteriums eines vollständigen Arbeitsergebnisses.

Die Zeit addiert die aufgezeichnete Modell-API-Wartezeit zur Tool-Ausführungszeit; Framework-Zeit zwischen den Schritten ist ausgeschlossen. Geschwindigkeits- und Kostenvergleiche verwenden die Aufgaben, die beide Modelle innerhalb eines Tools bestanden. Die Modellkosten werden berechnet, indem die angegebenen Token-Tarife auf die aufgezeichnete Nutzung angewendet werden; fehlgeschlagene Versuche sind dort eingeschlossen, wo der Text dies angibt. Bei der Neuberechnung bleibt die Nutzung von GPT-6.1 Sol unverändert; die Tarife von GPT-6 Sol werden darauf angewendet.

Für die Tab-Nutzung in ego-browser zählten wir Skripte, die sich auf mehrere Seitenbezeichnungen bezogen oder eine weitere Seite erstellten, über alle 25 Versuche pro Modell. Bei den anderen Tools zählten wir bash-Aufrufe mit Tab-Befehlen. Das sind schnittstellenspezifische Beobachtungen. Das Öffnen von Tabs oder der Bezug auf sie beweist für sich genommen keine gleichzeitige Ausführung.

Vollständige Ergebnisse

Jede Zelle zeigt das Ergebnis eines Versuchs, Modellwartezeit plus Tool-Ausführung in Sekunden und die Modell-Token-Kosten in US-Dollar. Diese Zeit- und Kostenangaben schließen Fehlschläge ein; die Durchschnittswerte der Übersicht verwenden nur die oben definierten gemeinsam erfolgreich erledigten Aufgaben. Jede gezählte Aufgabe und alle sechs Kombinationen sind aufgeführt.

AufgabeArt der ArbeitPlaywright CLI mit GPT-6.1 SolPlaywright CLI mit GPT-6 Solagent-browser mit GPT-6.1 Solagent-browser mit GPT-6 Solego-browser mit GPT-6.1 Solego-browser mit GPT-6 Sol
Eine richtlinienkonforme Reise in einer Test-Reise-App buchenAbläufe in geschäftlichen Web-AppsBestanden, 197.4 s, $0.224Bestanden, 164.0 s, $0.528Bestanden, 286.8 s, $0.285Bestanden, 267.5 s, $0.427Bestanden, 177.9 s, $0.311Bestanden, 142.9 s, $0.387
Monitore für Tier-1-Services an einen Standard anpassenAbläufe in geschäftlichen Web-AppsBestanden, 145.5 s, $0.153Bestanden, 124.1 s, $0.245Bestanden, 331.8 s, $0.414Bestanden, 283.0 s, $0.607Bestanden, 137.6 s, $0.125Bestanden, 91.3 s, $0.215
Februarrechnungen mit Zahlungen abgleichen und Streitfälle eröffnenAbläufe in geschäftlichen Web-AppsBestanden, 253.0 s, $0.309Bestanden, 154.0 s, $0.362Bestanden, 520.4 s, $0.433Bestanden, 501.4 s, $1.052Bestanden, 190.6 s, $0.239Bestanden, 184.3 s, $0.420
Bestellungen anhand der Lagerbestände je Lieferant erstellenAbläufe in geschäftlichen Web-AppsBestanden, 189.5 s, $0.164Bestanden, 116.4 s, $0.344Bestanden, 307.2 s, $0.244Bestanden, 367.2 s, $0.630Bestanden, 164.5 s, $0.172Bestanden, 125.2 s, $0.191
Drei MacBook-Konfigurationen im US-Store von AppleRecherchen auf einer bis drei WebsitesBestanden, 314.1 s, $0.367Bestanden, 357.8 s, $0.651Bestanden, 348.5 s, $0.440Bestanden, 471.0 s, $0.620Bestanden, 223.1 s, $0.483Bestanden, 191.8 s, $1.160
Einspielergebnisse von sechs Filmen von Wes Anderson auf Box Office Mojo und WikipediaRecherchen auf einer bis drei WebsitesBestanden, 180.9 s, $0.151Bestanden, 496.1 s, $0.594Bestanden, 334.7 s, $0.339Bestanden, 487.0 s, $0.570Bestanden, 142.0 s, $0.179Bestanden, 105.2 s, $0.237
KYC-Prüfung von vier britischen Unternehmen bei Companies HouseRecherchen auf einer bis drei WebsitesBestanden, 185.8 s, $0.178Bestanden, 226.0 s, $0.583Bestanden, 579.3 s, $0.393Bestanden, 319.4 s, $0.708Bestanden, 177.9 s, $0.423Bestanden, 121.2 s, $0.529
Studien zu atopischer Dermatitis aus dem Jahr 2021 im Abgleich mit den Fachinformationen der jeweiligen ArzneimittelRecherchen auf einer bis drei WebsitesBestanden, 332.6 s, $0.352Nicht bestanden, 583.0 s, $0.744Bestanden, 317.1 s, $0.418Bestanden, 482.8 s, $0.857Bestanden, 234.4 s, $0.450Bestanden, 252.3 s, $0.796
Drei VPI-Reihen auf FRED, mit BLS abgeglichenRecherchen auf einer bis drei WebsitesBestanden, 441.5 s, $0.221Bestanden, 417.7 s, $0.262Bestanden, 429.0 s, $0.372Bestanden, 265.7 s, $0.922Bestanden, 97.4 s, $0.187Bestanden, 44.5 s, $0.164
Günstigste Nonstop-Tarife nach Denver auf einer FlugsuchseiteRecherchen auf einer bis drei WebsitesBestanden, 411.5 s, $0.471Nicht bestanden, 616.3 s, $0.948Nicht bestanden, 872.9 s, $1.109Nicht bestanden, 690.9 s, $1.342Bestanden, 338.0 s, $0.609Bestanden, 385.3 s, $1.503
Beiträge einer Woche über SpaceX-Starts auf X, mit Wikipedia abgeglichenRecherchen auf einer bis drei WebsitesNicht bestanden, 118.0 s, $0.088Nicht bestanden, 363.3 s, $0.491Bestanden, 224.4 s, $0.151Bestanden, 239.4 s, $0.577Bestanden, 112.7 s, $0.183Bestanden, 499.8 s, $0.269
Ein YouTube-Vortrag im Abgleich mit dem zugehörigen GitHub-Skript und arXiv-PaperRecherchen auf einer bis drei WebsitesBestanden, 467.3 s, $0.700Nicht bestanden, 454.7 s, $0.922Bestanden, 221.6 s, $0.349Bestanden, 235.8 s, $0.395Bestanden, 94.7 s, $0.274Bestanden, 132.1 s, $0.574
Wie neun Musikdienste dasselbe Album aufführenDatensammlung über mehrere WebsitesNicht bestanden, 440.3 s, $0.603Nicht bestanden, 419.9 s, $1.117Bestanden, 678.2 s, $0.995Nicht bestanden, 688.6 s, $1.068Nicht bestanden, 180.2 s, $0.489Nicht bestanden, 227.8 s, $1.179
Erste Zinsentscheidung 2026 bei zwölf ZentralbankenDatensammlung über mehrere WebsitesBestanden, 686.3 s, $0.917Nicht bestanden, 713.3 s, $1.273Nicht bestanden, 694.0 s, $1.008Nicht bestanden, 674.2 s, $1.069Bestanden, 318.3 s, $0.643Nicht bestanden, 377.3 s, $2.641
Eröffnungskeynotes von neun EntwicklerkonferenzenDatensammlung über mehrere WebsitesBestanden, 726.0 s, $0.960Bestanden, 701.9 s, $2.388Bestanden, 507.9 s, $0.949Nicht bestanden, 459.7 s, $1.606Bestanden, 488.4 s, $1.174Bestanden, 473.4 s, $1.495
US-Spezifikationen von neun Elektro-SUVsDatensammlung über mehrere WebsitesBestanden, 756.9 s, $0.771Nicht bestanden, 730.6 s, $0.964Nicht bestanden, 495.9 s, $0.801Nicht bestanden, 595.0 s, $1.071Bestanden, 413.6 s, $0.843Nicht bestanden, 316.8 s, $1.471
Freigabeblatt für neun Modelle mit offenen Gewichten auf Hugging FaceDatensammlung über mehrere WebsitesNicht bestanden, 537.6 s, $0.719Nicht bestanden, 616.2 s, $0.986Bestanden, 651.6 s, $1.020Nicht bestanden, 663.4 s, $1.194Bestanden, 352.8 s, $0.804Bestanden, 330.1 s, $1.198
Offizielle UK-Spezifikationen von neun Flaggschiff-SmartphonesDatensammlung über mehrere WebsitesBestanden, 575.9 s, $0.635Nicht bestanden, 642.9 s, $0.773Bestanden, 786.8 s, $0.942Nicht bestanden, 392.0 s, $0.743Bestanden, 348.1 s, $0.704Nicht bestanden, 270.2 s, $0.765
Compliance-Matrix aus neun SaaS-Trust-CenternDatensammlung über mehrere WebsitesNicht bestanden, 683.8 s, $0.577Nicht bestanden, 560.0 s, $0.642Nicht bestanden, 704.3 s, $0.736Nicht bestanden, 464.7 s, $0.542Bestanden, 299.8 s, $0.592Nicht bestanden, 185.1 s, $0.451
Kostenlose Tarife von neun Serverless-PlattformenDatensammlung über mehrere WebsitesBestanden, 369.2 s, $0.395Bestanden, 441.0 s, $0.491Nicht bestanden, 582.5 s, $0.529Nicht bestanden, 763.6 s, $1.241Bestanden, 199.4 s, $0.360Bestanden, 267.4 s, $1.331
Sicherheitsreleases von acht Open-Source-Projekten auf X und ihren WebsitesDatensammlung über mehrere WebsitesNicht bestanden, 318.5 s, $0.392Nicht bestanden, 334.8 s, $0.903Bestanden, 619.8 s, $0.892Nicht bestanden, 670.8 s, $1.468Bestanden, 231.5 s, $0.441Bestanden, 434.8 s, $2.405
Acht Markteinführungen von Unterhaltungselektronik auf X und in PressemitteilungenDatensammlung über mehrere WebsitesNicht bestanden, 404.1 s, $0.401Nicht bestanden, 397.8 s, $0.917Bestanden, 675.0 s, $0.924Nicht bestanden, 528.6 s, $1.139Bestanden, 389.1 s, $0.541Nicht bestanden, 567.1 s, $1.101
Kosten und Punktzahlen aus dem Diagramm der ARC Prize-Bestenliste ablesenErgebnisoffene RechercheBestanden, 171.3 s, $0.185Bestanden, 239.0 s, $1.092Bestanden, 361.3 s, $0.466Bestanden, 304.5 s, $0.357Bestanden, 84.9 s, $0.201Bestanden, 83.5 s, $0.257
Modelle über den EU-Schwellenwerten für Rechenaufwand in den Daten von Epoch AI zählenErgebnisoffene RechercheBestanden, 132.7 s, $0.132Bestanden, 57.9 s, $0.139Bestanden, 106.5 s, $0.147Bestanden, 116.1 s, $0.159Bestanden, 62.2 s, $0.090Bestanden, 99.0 s, $0.105
Zehn Quellenverweise in der Liste großer Sprachmodelle von Wikipedia zurückverfolgenErgebnisoffene RechercheBestanden, 340.0 s, $0.189Nicht bestanden, 654.3 s, $0.435Bestanden, 211.0 s, $0.300Bestanden, 194.6 s, $0.451Bestanden, 169.6 s, $0.244Nicht bestanden, 151.4 s, $0.202

Weiterlesen