Wir haben die Browsernutzung von Claude Opus 5 mit fünf Tools zur Browserautomatisierung an 27 Webaufgaben getestet

Für die Browsernutzung von Claude Opus 5 in unserem Setup mit Claude Code würden wir ego-browser wählen, um innerhalb von 100 Schritten mehr Aufgaben auf mehreren Websites abzuschließen. Auch bei den 13 mit allen Tools bestandenen Aufgaben hatte es die niedrigste durchschnittliche Zeit und die niedrigsten durchschnittlichen Kosten. Sein Vorsprung bei den bestandenen Aufgaben stammt größtenteils aus Aufgaben, die dieselben Felder von vielen Websites zusammentragen. Bei unseren anderen Aufgaben bestand Chrome DevTools CLI genauso viele. Jedes Tool führte jede unserer 27 Aufgaben einmal aus, also 27 Versuche pro Tool. Opus 5 bestand mit ego-browser 24 von 27 Versuchen (88.9%), mit Chrome DevTools CLI und Playwright CLI jeweils 18 (66.7%), mit Browser Use CLI 17 (63.0%) und mit agent-browser 15 (55.6%). Bei den 13 mit allen fünf Tools bestandenen Aufgaben lag ego-browser im Mittel bei 324.6 Sekunden und $1.702 pro Aufgabe. Es folgten Chrome DevTools CLI mit 369.5 Sekunden und $1.845, Browser Use CLI mit 407.7 Sekunden und $1.975, Playwright CLI mit 495.8 Sekunden und $2.052 sowie agent-browser mit 543.6 Sekunden und $2.368.
Der Unterschied liegt bei den Aufgaben auf mehreren Websites: den 11 Aufgaben, die dieselben Felder von 8 bis 16 Websites zusammentragen. Opus 5 bestand davon 8 mit ego-browser und jeweils 1 bis 3 mit den anderen Tools. Mit diesen vier Tools verbrauchte es meist alle 100 Schritte, bevor es eine Antwort schrieb: jeweils 7- bis 9-mal, gegenüber einmal mit ego-browser. Von den anderen 16 Aufgaben bestand auch Chrome DevTools CLI alle 16, Playwright CLI und Browser Use CLI jeweils 15 und agent-browser 14.
In unseren Läufen hing der Unterschied damit zusammen, wie viele Toolaufrufe dieselbe Arbeit erforderte. Bei den 13 mit allen fünf Tools bestandenen Aufgaben benötigte Opus 5 mit ego-browser im Mittel 30.3 Toolaufrufe pro Aufgabe, gegenüber 41.2 bis 53.7 mit den anderen. Mit ego-browser brauchte es bei 10 bis 13 dieser 13 Aufgaben weniger Aufrufe. Weniger Aufrufe gingen mit ego-browser mit weniger Browserzeit, weniger erneut gelesenen Cache-Tokens und mehr Spielraum im Budget von 100 Schritten einher.
Jedes Tool hat eine Schwachstelle. Mit ego-browser scheiterte Opus 5 an 3 der 11 Aufgaben auf mehreren Websites. Chrome DevTools CLI war bei 5 der 13 mit allen fünf Tools bestandenen Aufgaben schneller als ego-browser, bestand aber nur 2 der 11 Aufgaben auf mehreren Websites. Die durchschnittliche Zeit von Playwright CLI enthält einen Lauf von 2 127 Sekunden bei der Aufgabe zu Posts über SpaceX-Starts. Browser Use CLI lieferte 3 falsche Antworten, und agent-browser verbrauchte 11-mal alle 100 Schritte, davon zweimal außerhalb der Aufgaben auf mehreren Websites.
| Browsertool | Erfolgsquote | Durchschnittliche Zeit pro Aufgabe | Durchschnittliche Kosten pro Aufgabe |
|---|---|---|---|
| ego-browser | 88.9% (24/27) | 324.6 s | $1.702 |
| Chrome DevTools CLI | 66.7% (18/27) | 369.5 s | $1.845 |
| Playwright CLI | 66.7% (18/27) | 495.8 s | $2.052 |
| Browser Use CLI | 63.0% (17/27) | 407.7 s | $1.975 |
| agent-browser | 55.6% (15/27) | 543.6 s | $2.368 |
Jedes Tool führte jede der 27 Aufgaben einmal aus; die Erfolgsquote zählt daher 27 Versuche pro Tool. Zeit und Kosten pro Aufgabe sind Mittelwerte über die 13 mit allen fünf Tools bestandenen Aufgaben, von denen keine zu den Aufgaben auf mehreren Websites gehört. Die Zeit umfasst das Warten auf Opus 5 und das Ausführen von Browserbefehlen. Die Kosten sind die von Claude Code für den jeweiligen Versuch gemeldeten Kosten.
Erfolgsquote
Mit ego-browser bestand Opus 5 die meisten Aufgaben. Dieser Vorsprung stammt fast vollständig aus den 11 Aufgaben auf mehreren Websites. Bei den anderen 16 Aufgaben änderte das Browsertool kaum etwas daran, ob Opus 5 bestand.
| Aufgabengruppe | ego-browser | Chrome DevTools CLI | Playwright CLI | Browser Use CLI | agent-browser |
|---|---|---|---|---|---|
| Aufgaben auf mehreren Websites (11) | 8 von 11 | 2 von 11 | 3 von 11 | 2 von 11 | 1 von 11 |
| Andere Aufgaben (16) | 16 von 16 | 16 von 16 | 15 von 16 | 15 von 16 | 14 von 16 |
| Alle Aufgaben (27) | 24 von 27 | 18 von 27 | 18 von 27 | 17 von 27 | 15 von 27 |
Bestandene Versuche je Gruppe, ein Versuch pro Aufgabe und Tool, aus den Läufen vom 3. und 5. November 2026. Wenn Ihr Agent dieselben Felder von vielen Websites zusammenträgt, zeigt die Zeile zu den Aufgaben auf mehreren Websites die Unterschiede zwischen den Tools.
Mit den anderen vier Tools waren die meisten Fehlschläge Läufe, die vor einer Antwort alle 100 Schritte verbraucht hatten. Falsche Antworten waren mit jedem Tool selten: jeweils 1 bis 3. Bei den 11 Aufgaben auf mehreren Websites benötigte Opus 5 mit ego-browser im Mittel 73.4 Toolaufrufe pro Versuch, gegenüber 91.5 bis 97.0 mit den anderen. Jede Zeile unten ergibt insgesamt 27 Versuche.
| Browsertool | Bestanden | Alle 100 Schritte verbraucht | Falsche Antwort |
|---|---|---|---|
| ego-browser | 24 | 1 | 2 |
| Chrome DevTools CLI | 18 | 7 | 2 |
| Playwright CLI | 18 | 8 | 1 |
| Browser Use CLI | 17 | 7 | 3 |
| agent-browser | 15 | 11 | 1 |
Kein anderes Tool bestand eine Aufgabe, an der ego-browser scheiterte. Seine drei Fehlschläge — zwei falsche Antworten und ein Lauf mit allen 100 verbrauchten Schritten — betrafen ausschließlich Aufgaben auf mehreren Websites, an denen auch jedes der anderen vier Tools scheiterte.
Die Zentralbankaufgabe zeigt das Muster. Opus 5 musste auf den jeweiligen Websites von 12 Zentralbanken deren erste planmäßige Zinsentscheidungen für 2026 finden: mit Datum, Zinsänderung, Leitzins, abweichenden Stimmen und dem nächsten Entscheidungstermin. Mit ego-browser arbeitete es sich von der Federal Reserve bis zur Reserve Bank of India durch und gab alle 12 Zeilen korrekt zurück. Mit jedem der anderen vier Tools verbrauchte es alle 100 Schritte, bevor es eine Antwort schrieb.

Bei den anderen 16 Aufgaben bestand Chrome DevTools CLI genauso viele wie ego-browser. Bei den Aufgaben auf mehreren Websites lieferte Opus 5 mit ego-browser bei 10 von 11 innerhalb des Budgets von 100 Schritten eine endgültige Antwort, mit den anderen bei 2 bis 4. Für diese Arbeit würden wir die Toolwahl am stärksten gewichten.
Geschwindigkeit
Mit ego-browser hatte Opus 5 die niedrigste durchschnittliche Zeit. Bei den 13 mit allen fünf Tools bestandenen Aufgaben benötigte es im Mittel 324.6 Sekunden pro Aufgabe, gegenüber 369.5 bis 543.6 mit den anderen. Es war bei 8 dieser 13 Aufgaben schneller als Chrome DevTools CLI, bei 10 schneller als Playwright CLI und Browser Use CLI und bei 11 schneller als agent-browser. Der Mittelwert von Playwright CLI enthält einen Lauf von 2 127 Sekunden bei der Aufgabe zu Posts über SpaceX-Starts. Deshalb betrachten wir den Unterschied auch Aufgabe für Aufgabe.
Im Vergleich zu jedem anderen Tool brauchte ego-browser weniger Zeit für die Ausführung von Browserbefehlen und benötigte die wenigsten Aufrufe.
| Browsertool | Toolaufrufe pro Aufgabe | Wartezeit auf Opus 5 pro Aufgabe | Ausführung von Browserbefehlen pro Aufgabe |
|---|---|---|---|
| ego-browser | 30.3 | 222.7 s | 100.3 s |
| Chrome DevTools CLI | 41.2 | 222.4 s | 147.6 s |
| Playwright CLI | 46.0 | 253.0 s | 243.7 s |
| Browser Use CLI | 42.0 | 267.2 s | 139.4 s |
| agent-browser | 53.7 | 298.9 s | 243.3 s |
Mittelwerte über die 13 mit allen fünf Tools bestandenen Aufgaben, aus den Läufen vom 3. und 5. November 2026.
Gegenüber Chrome DevTools CLI, dem nächstplatzierten Tool, war die Wartezeit auf das Modell nahezu gleich, während die aufgezeichnete Ausführungszeit der Browserbefehle mit ego-browser niedriger war. Opus 5 wartete mit ego-browser pro Aufgabe 222.7 Sekunden auf das Modell, mit Chrome DevTools CLI 222.4. Mit ego-browser benötigte Opus 5 30.3 statt 41.2 Aufrufe und schrieb mehr pro Aufruf: 565 Ausgabetokens einschließlich Denktokens, gegenüber 389.
Die Aufgabe zu den Einspielergebnissen zeigt, wofür die Aufrufe nötig sind. Opus 5 musste die Einspielergebnisse von sechs Filmen von Wes Anderson zwischen Box Office Mojo und Wikipedia abgleichen. Alle fünf Tools lieferten sämtliche Werte korrekt. Mit ego-browser bestand es in 15 Toolaufrufen und 167 Sekunden; die anderen vier brauchten 20 bis 26 Aufrufe und 249 bis 290 Sekunden. Der Unterschied entstand beim Teil zu Box Office Mojo: ego-browser war damit bei Aufruf 10 fertig, die anderen bei den Aufrufen 12 bis 16. In Aufruf 10 öffnete ein Skript nacheinander die Veröffentlichungsseiten von fünf Filmen und gab die Einspielergebnisse jedes Films aus.

Kosten
ego-browser hatte auch die niedrigsten durchschnittlichen Modellkosten bei den gemeinsam bestandenen Aufgaben. Bei den 13 mit allen fünf Tools bestandenen Aufgaben kostete Opus 5 mit ego-browser $1.702 pro Aufgabe, gegenüber $1.845 bis $2.368 mit den anderen. ego-browser war bei 8 dieser 13 Aufgaben günstiger als Chrome DevTools CLI und Browser Use CLI, bei 10 günstiger als Playwright CLI und bei 11 günstiger als agent-browser.
Das Modell und sein Preis sind bei jedem Tool gleich; der gesamte Unterschied liegt daher im Verbrauch und zeigt sich beim Lesen aus dem Cache. Jeder Toolaufruf fügt einen Turn hinzu. Jeder Turn sendet den bisherigen Gesprächsverlauf erneut an Opus 5, was überwiegend als Lesen aus dem Cache berechnet wird. Mit weniger Aufrufen las Opus 5 mit ego-browser pro Aufgabe erneut 1.32 Millionen Cache-Tokens, gegenüber 1.69 Millionen bis 2.42 Millionen mit den anderen.
| Browsertool | Aus dem Cache gelesene Tokens pro Aufgabe | Lesen aus dem Cache | Schreiben in den Cache | Ausgabe |
|---|---|---|---|---|
| ego-browser | 1.32 Millionen | $0.661 | $0.613 | $0.428 |
| Chrome DevTools CLI | 1.69 Millionen | $0.846 | $0.597 | $0.401 |
| Playwright CLI | 1.98 Millionen | $0.991 | $0.607 | $0.454 |
| Browser Use CLI | 1.75 Millionen | $0.877 | $0.597 | $0.500 |
| agent-browser | 2.42 Millionen | $1.210 | $0.634 | $0.523 |
Mittelwerte pro Aufgabe über die 13 mit allen fünf Tools bestandenen Aufgaben. Claude Code schrieb jedes zwischengespeicherte Token mit einer Lebensdauer von einer Stunde. Die Aufschlüsselung verwendet die von Anthropic veröffentlichten Preise für Opus 5: $0.50 pro Million aus dem Cache gelesener Tokens, $10 pro Million in den Cache geschriebener Tokens mit einer Lebensdauer von einer Stunde und $25 pro Million Ausgabetokens. Die drei Bestandteile ergeben zusammen die Kosten pro Aufgabe des jeweiligen Tools, mit einer Abweichung von höchstens einem Zehntel Cent.
Die Kosten für Ausgabe und Schreibvorgänge in den Cache lagen bei den fünf Tools nah beieinander. Daher bestimmten die Cache-Lesekosten die Kostenrangfolge der Tools. Bei den 13 mit allen fünf Tools bestandenen Aufgaben sparte ego-browser pro Aufgabe 14.3 Cent gegenüber Chrome DevTools CLI.
Welches Browsertool für Claude Opus 5?
Für die hier getestete Aufgabenmischung, das Setup mit Claude Code und das Budget von 100 Schritten würden wir Claude Opus 5 mit ego-browser kombinieren. Damit bestand Opus 5 die meisten Aufgaben und hatte bei den 13 mit allen fünf Tools bestandenen Aufgaben die niedrigste durchschnittliche Zeit und die niedrigsten durchschnittlichen Kosten.
Für Arbeit auf mehreren Websites wie bei unseren elf Aufgaben würden wir innerhalb dieses Budgets von 100 Schritten ego-browser wählen. Innerhalb des Budgets von 100 Schritten bestand Opus 5 damit 8 unserer 11 Aufgaben auf mehreren Websites und mit den anderen jeweils 1 bis 3. Wenn Ihre Aufgaben eher unseren anderen 16 ähneln — Nachschlagen auf wenigen Websites, Recherche ausgehend von einer Seite oder Arbeit innerhalb einer Webanwendung — spielt das Tool für das Bestehen eine geringere Rolle. Chrome DevTools CLI bestand wie ego-browser alle 16. Bei den 13 mit allen fünf Tools bestandenen Aufgaben benötigte ego-browser im Mittel 44.9 Sekunden weniger und kostete 14.3 Cent weniger pro Aufgabe.
Wenn Geschwindigkeit am wichtigsten ist, hatte ego-browser bei den 13 mit allen fünf Tools bestandenen Aufgaben die niedrigste durchschnittliche Zeit, gefolgt von Chrome DevTools CLI. Wenn Kosten am wichtigsten sind, war die Reihenfolge auf diesen Aufgaben dieselbe. Playwright CLI, Browser Use CLI und agent-browser lagen dort sowohl bei der durchschnittlichen Zeit als auch bei den durchschnittlichen Kosten hinter diesen beiden.
Unser Setup verwendete Claude Opus 5 (claude-opus-5) mit hohem Denkaufwand in Claude Code, eine Skill-Datei pro Browsertool und ein Budget von 100 Schritten pro Versuch. ego-browser wird zusammen mit ego(lite) bereitgestellt und steuert es als Browser des Agenten; die anderen vier Tools steuern Google Chrome.
Die Rolle von ego(lite) in diesem Vergleich
ego(lite) stellte den von ego-browser gesteuerten Browser bereit, während Claude Code und Claude Opus 5 den Agenten und das Modell bereitstellten. Der Integrationsleitfaden für ego-browser beschreibt diese Verbindung. Die angegebenen Kosten sind Kosten für Modelltokens, kein gesonderter Abonnementpreis für den Browser.
Nutzen Sie die Aufschlüsselung nach Aufgaben, um eine Konfiguration für ähnliche Arbeit innerhalb des getesteten Budgets von 100 Schritten zu wählen. Der Vergleich der bestandenen Aufgaben auf mehreren Websites umfasst elf Aufgaben; der Zeit- und Kostenvergleich umfasst hingegen die dreizehn mit jedem Tool bestandenen Aufgaben. Das sind unterschiedliche Gruppen. Die Kosten der gemeinsam bestandenen Aufgaben beziffern daher nicht, was das Abschließen der schwierigeren Aufgaben auf mehreren Websites kostet.
Häufige Fragen
Ist agent-browser oder Playwright CLI besser für die Browserautomatisierung mit Claude Code?
Mit Claude Opus 5 bestand Playwright CLI in unseren Läufen mehr Versuche: 18 von 27, gegenüber 15 mit agent-browser. Bei den 13 mit allen fünf Tools bestandenen Aufgaben lag Playwright CLI im Mittel bei 495.8 Sekunden und $2.052 pro Aufgabe, agent-browser bei 543.6 Sekunden und $2.368. Playwright CLI war bei 9 dieser 13 Aufgaben schneller, obwohl ein Lauf von 2 127 Sekunden seinen Mittelwert erhöhte. agent-browser verbrauchte bei 11 Aufgaben alle 100 Schritte, Playwright CLI bei 8.
Chrome DevTools CLI oder Playwright CLI: Welches funktioniert besser mit Claude Opus 5?
Bei der Erfolgsquote lagen sie mit jeweils 18 von 27 Versuchen gleichauf. Chrome DevTools CLI hatte die niedrigere durchschnittliche Zeit und die niedrigeren durchschnittlichen Kosten. Bei den 13 mit allen fünf Tools bestandenen Aufgaben lag es im Mittel bei 369.5 Sekunden und $1.845 pro Aufgabe, Playwright CLI bei 495.8 Sekunden und $2.052. Aufgabe für Aufgabe lagen sie nah beieinander: Chrome DevTools CLI war bei 7 dieser 13 Aufgaben schneller und bei 8 günstiger. Ein Lauf von 2 127 Sekunden mit Playwright CLI bei der Aufgabe zu Posts über SpaceX-Starts erklärt fast den gesamten Zeitunterschied.
Ist Chrome DevTools CLI eine gute Wahl für Claude Opus 5?
Außerhalb der Aufgaben auf mehreren Websites ja: Mit Chrome DevTools CLI bestand Opus 5 alle unsere anderen 16 Aufgaben, genauso wie mit ego-browser. Bei den 13 mit allen fünf Tools bestandenen Aufgaben lag es mit durchschnittlich 369.5 Sekunden und $1.845 pro Aufgabe bei Zeit und Kosten auf dem zweiten Platz. Von den 11 Aufgaben auf mehreren Websites bestand es 2 und verbrauchte bei 7 alle 100 Schritte.
Wie schneidet Browser Use CLI im Vergleich zu anderen Browsertools für Claude Code ab?
Mit Browser Use CLI bestand Opus 5 17 von 27 Versuchen, gegenüber 15 bis 24 mit den anderen vier Tools. Bei den 13 mit allen fünf Tools bestandenen Aufgaben lag es bei durchschnittlicher Zeit und durchschnittlichen Kosten auf dem dritten Platz, mit 407.7 Sekunden und $1.975 pro Aufgabe. Es lieferte 3 falsche Antworten und verbrauchte bei 7 der 11 Aufgaben auf mehreren Websites alle 100 Schritte.
Warum scheitern Browseragenten an langen Aufgaben auf mehreren Websites?
Innerhalb unseres Budgets von 100 Schritten gingen Claude Opus 5 vor allem die Schritte aus: Mit vier der fünf Browsertools verbrauchte es bei 7 bis 9 der 11 Aufgaben auf mehreren Websites alle 100 Schritte. Diese vier waren Chrome DevTools CLI, Playwright CLI, Browser Use CLI und agent-browser. Mit ego-browser geschah das einmal. Bei diesen Aufgaben waren mit ego-browser im Mittel 73.4 Toolaufrufe pro Versuch nötig, gegenüber 91.5 bis 97.0 mit den anderen.
Wie viel kostet eine Aufgabe mit einem Browseragenten auf Basis von Claude Opus 5?
Bei den 13 unserer Aufgaben, die mit allen fünf Tools bestanden wurden, kostete eine Browseraufgabe mit Claude Opus 5 je nach Browsertool etwa $1.70 bis $2.37. Den größten Teil des Betrags machten zwischengespeicherte Tokens aus, die bei jedem Turn erneut gelesen werden und deren Menge mit der Anzahl der Toolaufrufe wächst.
Wie lange dauert eine Aufgabe mit einem Browseragenten auf Basis von Claude Opus 5?
Bei den 13 unserer Aufgaben, die mit allen fünf Tools bestanden wurden, dauerte eine Aufgabe zwischen 324.6 Sekunden mit ego-browser und 543.6 Sekunden mit agent-browser. Bei den Aufgaben auf mehreren Websites lagen die Mittelwerte über alle fünf Tools zwischen 919.1 und 1112.2 Sekunden, unter Einbeziehung sämtlicher Versuche. Beide Angaben enthalten die Wartezeit auf Opus 5.
Wie viele Toolaufrufe benötigt Claude Opus 5 für eine Browseraufgabe?
Je nach Browsertool zwischen 30.3 und 53.7 pro Aufgabe bei den 13 mit allen fünf Tools bestandenen Aufgaben. ego-browser benötigte die wenigsten, agent-browser die meisten. Bei den 11 Aufgaben auf mehreren Websites waren im Mittel 73.4 Aufrufe pro Versuch mit ego-browser nötig, gegenüber 91.5 bis 97.0 mit den anderen vier Tools.
Wie unterschied sich die Erfolgsquote von Claude Opus 5 zwischen den getesteten Konfigurationen?
In unseren Läufen bestand Opus 5 bei gleichem Modell und demselben Setup in Claude Code je nach Browsertool 55.6% bis 88.9% seiner 27 Versuche. Der größte Teil der Streuung stammte aus den 11 Aufgaben auf mehreren Websites. Von den anderen 16 Aufgaben bestand jedes Tool 14 bis 16.
Unterscheiden sich Browsertools bei Aufgaben in Webanwendungen?
Nicht darin, ob die Aufgaben erfolgreich abgeschlossen wurden: Opus 5 bestand mit jedem der fünf Tools alle 4 Aufgaben in unseren Test-Webanwendungen. Kein Tool war bei mehr als 2 der 4 Aufgaben am schnellsten. Die Tools unterschieden sich darin, wie viele Aufrufe die Arbeit erforderte: 36.2 pro Aufgabe mit ego-browser, gegenüber 47.8 bis 77.2 mit den anderen.
So haben wir getestet
Wir führten ego-browser am 3. November 2026 und die anderen vier Tools am 5. November 2026 nacheinander aus, alle auf demselben Mac mini mit Apple silicon unter macOS 26.5. Jeder Lauf verwendete Claude Opus 5 (claude-opus-5) mit hohem Denkaufwand in Claude Code 2.1.316 und die Tools Bash, Read, Write, Edit und Skill. Modell, Agent, Denkaufwand, Aufgaben, Bewertung und Schrittbudget waren bei jedem Tool gleich. Geändert haben wir das Browsertool, seine Skill-Datei und den von ihm gesteuerten Browser.
Browsertools
Wir verglichen fünf Browsertools, die Claude Code über Shellbefehle steuert. ego-browser v2.2.0-beta.5 steuerte ego(lite) 0.6.3.2: Opus 5 schrieb JavaScript-Skripte, ego-browser führte sie auf der Seite aus, und als Seiteninhalt kam zurück, was das Skript ausgab. Chrome DevTools CLI 1.10.1, Playwright CLI 0.1.22 und agent-browser 0.39.1 steuerten Google Chrome 156 über Befehle für Aktionen wie das Öffnen einer Seite, das Erstellen einer Momentaufnahme ihrer Elemente oder das Ausführen von JavaScript. Opus 5 verkettete zwei oder mehr dieser Befehle in 47.4% bis 56.7% der Shellaufrufe, die sie verwendeten. Browser Use CLI 0.1.13 steuerte Google Chrome 156 über Python-Skripte mit Hilfsfunktionen zum Laden von Seiten und Ausführen von JavaScript.
Aufgaben
Wir verwendeten 27 Aufgaben auf echten Websites und in Test-Webanwendungen. Die 11 Aufgaben auf mehreren Websites tragen dieselben Felder von 8 bis 16 Websites zusammen, etwa die erste Zinsentscheidung 2026 bei 12 Zentralbanken. Die anderen 16 bestehen aus 9 Nachschlageaufgaben auf einer bis drei namentlich genannten Websites, 3 Rechercheaufgaben, die von einer Seite ausgehen, und 4 Aufgaben innerhalb geschäftlicher Webanwendungen. Beispiele sind das Abgleichen der Einspielergebnisse von sechs Filmen zwischen Box Office Mojo und Wikipedia, das Ablesen von Punkten auf einem Diagramm durch Darüberfahren mit dem Mauszeiger sowie die Buchung einer Reise innerhalb einer Reiserichtlinie.
Die Aufgaben auf mehreren Websites bilden eine eigene Gruppe innerhalb des Aufgabensatzes: Sie listen 8 oder mehr Elemente auf und nennen für jedes eine eigene Website. Jede Aufgabe gehört nur zu einer Gruppe.
Was als bestanden zählt
Jede Aufgabe hat bewertete Einzelpunkte, insgesamt 190 über die 27 Aufgaben. Ein Versuch besteht nur, wenn seine endgültige Antwort jeden bewerteten Einzelpunkt richtig beantwortet. Ein Versuch ohne endgültige Antwort gilt als nicht bestanden.
So haben wir gezählt
Ein Versuch ist ein Lauf einer Aufgabe mit einem Tool. Jedes Tool führte jede Aufgabe einmal aus, also 27 Versuche. Die Erfolgsquote zählt Versuche. Ein Schritt ist ein Turn des Modells. Jeder Versuch konnte bis zu 100 Schritte und höchstens 60 Minuten nutzen. Von den 8 607 Schritten mit einem Toolaufruf führten alle bis auf 5 genau einen Aufruf aus.
Ein Toolaufruf ist ein Aufruf von Bash, Read, Write, Edit oder Skill in Claude Code, etwa ein Browserskript, ein Shellaufruf, der mehrere Befehle verketten kann, oder ein Lesezugriff auf eine Datei. Ein Versuch zählt als Lauf mit allen 100 verbrauchten Schritten, wenn er das Budget ohne endgültige Antwort erreichte. Jeder solche Versuch hatte 99 oder 100 Toolaufrufe ausgeführt. Die Anzahl der Toolaufrufe stammt aus dem Sitzungsprotokoll von Claude Code für den jeweiligen Versuch.
Die Zeit ist die verstrichene Zeit pro Versuch. Sie umfasst das Warten auf die API von Opus 5 und die Ausführung von Browserbefehlen, die für die Geschwindigkeitstabelle getrennt gemessen werden. Die Kosten sind die von Claude Code für jeden Versuch zu den Listenpreisen von Anthropic für Opus 5 gemeldeten Kosten. Cache-Tokens und Ausgabetokens stammen aus demselben Datensatz. Die Ausgabetokens einschließlich Denktokens pro Aufruf ergeben sich, indem die Ausgabetokens pro Aufgabe des jeweiligen Tools durch seine Toolaufrufe pro Aufgabe geteilt werden.
Geschwindigkeit und Kosten werden anhand der 13 mit allen fünf Tools bestandenen Aufgaben verglichen. Weil jede Aufgabe pro Tool einmal lief, entsprechen Zeit und Kosten einer Aufgabe den Werten dieses einzelnen Versuchs. Angaben wie „bei 8 von 13 Aufgaben schneller“ vergleichen die Tools Aufgabe für Aufgabe. Shellaufrufe gelten als verkettet, wenn sie zwei oder mehr Befehle desselben Browsertools ausführten.
Vollständige Ergebnisse
Jede Zelle zeigt einen Versuch: sein Ergebnis, seine verstrichene Zeit in Sekunden und seine Kosten. Jedes Tool führte jede Aufgabe einmal aus. Die Zeit enthält das Warten auf die API von Opus 5. „Alle Schritte verbraucht“ bedeutet, dass der Versuch sein Budget von 100 Schritten ohne endgültige Antwort erreichte.
Aufgaben auf mehreren Websites
| Aufgabe | ego-browser | Chrome DevTools CLI | Playwright CLI | Browser Use CLI | agent-browser |
|---|---|---|---|---|---|
| Titelanzahl, Laufzeit, Veröffentlichungsdatum und Mitwirkende eines Albums bei neun Musikdiensten | Bestanden, 415 s, $2.42 | Falsche Antwort, 781 s, $3.88 | Bestanden, 809 s, $4.58 | Bestanden, 633 s, $3.43 | Alle Schritte verbraucht, 728 s, $4.58 |
| Gewicht, Akku, Auflösung und Serienbilddaten von acht Kameras auf den Websites ihrer Hersteller | Bestanden, 1112 s, $5.75 | Alle Schritte verbraucht, 990 s, $4.63 | Alle Schritte verbraucht, 823 s, $4.40 | Alle Schritte verbraucht, 936 s, $5.37 | Alle Schritte verbraucht, 799 s, $4.91 |
| Erste Zinsentscheidung 2026 bei 12 Zentralbanken, von der jeweiligen eigenen Website | Bestanden, 899 s, $5.95 | Alle Schritte verbraucht, 780 s, $6.20 | Alle Schritte verbraucht, 604 s, $5.22 | Alle Schritte verbraucht, 539 s, $5.29 | Alle Schritte verbraucht, 766 s, $4.31 |
| Eröffnungskeynotes von neun Entwicklerkonferenzen anhand ihrer Programme und YouTube | Alle Schritte verbraucht, 1401 s, $7.37 | Alle Schritte verbraucht, 1126 s, $5.80 | Alle Schritte verbraucht, 945 s, $5.31 | Alle Schritte verbraucht, 1100 s, $6.14 | Alle Schritte verbraucht, 962 s, $5.58 |
| Reichweite und Gleichstrom-Ladedaten von neun elektrischen SUVs auf den US-Websites der Autohersteller | Falsche Antwort, 1020 s, $8.37 | Alle Schritte verbraucht, 1015 s, $5.92 | Alle Schritte verbraucht, 803 s, $5.31 | Alle Schritte verbraucht, 1084 s, $6.83 | Alle Schritte verbraucht, 1223 s, $6.02 |
| Größe, Kontext, Lizenz und Trainingstokens von neun Modellen mit offenen Gewichten | Falsche Antwort, 749 s, $7.29 | Alle Schritte verbraucht, 943 s, $5.84 | Alle Schritte verbraucht, 741 s, $5.31 | Alle Schritte verbraucht, 886 s, $7.02 | Alle Schritte verbraucht, 1207 s, $6.46 |
| Gesetzlicher Mindestlohn in neun Ländern anhand der Websites der Arbeitsministerien | Bestanden, 616 s, $4.39 | Alle Schritte verbraucht, 1075 s, $6.20 | Bestanden, 687 s, $4.83 | Alle Schritte verbraucht, 724 s, $5.81 | Alle Schritte verbraucht, 1055 s, $5.02 |
| Gewicht, Akku, Display, IP-Schutzklasse und Updatepolitik von neun Telefonen auf den britischen Websites der Marken | Bestanden, 745 s, $6.02 | Alle Schritte verbraucht, 908 s, $4.86 | Alle Schritte verbraucht, 778 s, $4.53 | Alle Schritte verbraucht, 898 s, $5.66 | Alle Schritte verbraucht, 786 s, $5.27 |
| Grenzen der kostenlosen Tarife von neun Plattformen für Serverless-Funktionen | Bestanden, 515 s, $3.81 | Bestanden, 958 s, $6.45 | Bestanden, 565 s, $4.71 | Falsche Antwort, 580 s, $3.76 | Alle Schritte verbraucht, 1251 s, $5.97 |
| Posts zu Sicherheitsveröffentlichungen von acht Open-Source-Projekten auf X, abgeglichen mit ihren eigenen Sicherheitshinweisen | Bestanden, 1058 s, $3.83 | Bestanden, 1047 s, $4.99 | Alle Schritte verbraucht, 2128 s, $4.96 | Bestanden, 1805 s, $6.16 | Bestanden, 1908 s, $5.35 |
| Produktposts aus dem Jahr 2026 von acht Marken auf X, abgeglichen mit ihren Pressemitteilungen | Bestanden, 1580 s, $4.56 | Falsche Antwort, 849 s, $4.62 | Alle Schritte verbraucht, 2024 s, $5.21 | Falsche Antwort, 1832 s, $5.39 | Falsche Antwort, 1548 s, $4.76 |
Andere Aufgaben
| Aufgabe | ego-browser | Chrome DevTools CLI | Playwright CLI | Browser Use CLI | agent-browser |
|---|---|---|---|---|---|
| Preise von drei MacBook-Modellen mit 32 GB / 1 TB auf Apples Vergleichsseite, im US-Store und auf den technischen Datenseiten ermitteln | Bestanden, 367 s, $3.15 | Bestanden, 374 s, $2.74 | Bestanden, 481 s, $4.91 | Bestanden, 438 s, $3.06 | Bestanden, 568 s, $3.52 |
| Einspielergebnisse von sechs Filmen von Wes Anderson zwischen Box Office Mojo und Wikipedia abgleichen | Bestanden, 167 s, $0.81 | Bestanden, 290 s, $1.01 | Bestanden, 249 s, $0.89 | Bestanden, 265 s, $1.25 | Bestanden, 270 s, $0.96 |
| Erste KYC-Momentaufnahme von vier britischen Unternehmen auf Companies House | Bestanden, 359 s, $2.02 | Bestanden, 333 s, $1.42 | Bestanden, 319 s, $1.66 | Bestanden, 321 s, $1.42 | Bestanden, 356 s, $1.65 |
| Phase-3-Studien zu atopischer Dermatitis aus 2021 auf ClinicalTrials.gov ihren Arzneimittelinformationen bei DailyMed zuordnen | Bestanden, 391 s, $1.98 | Bestanden, 338 s, $2.15 | Bestanden, 468 s, $2.72 | Bestanden, 541 s, $2.38 | Bestanden, 475 s, $2.74 |
| Veränderungen von CPI, Kern-CPI und Eierpreisen im Dezember gegenüber dem Dezember des Vorjahres anhand von FRED, mit BLS abgeglichen | Bestanden, 181 s, $1.09 | Bestanden, 346 s, $1.90 | Bestanden, 395 s, $1.35 | Bestanden, 294 s, $1.48 | Bestanden, 311 s, $1.59 |
| Günstigste Nonstop-Economy-Tarife nach Denver ab drei Städten auf einer Flugsuchseite | Bestanden, 766 s, $3.50 | Bestanden, 1152 s, $3.83 | Falsche Antwort, 732 s, $4.03 | Bestanden, 1008 s, $3.89 | Alle Schritte verbraucht, 1123 s, $5.25 |
| Entscheidung über die Nutzbarkeit von sechs Webplattform-Funktionen anhand von MDN und Can I use | Bestanden, 376 s, $1.74 | Bestanden, 461 s, $2.41 | Bestanden, 420 s, $1.82 | Bestanden, 381 s, $1.51 | Bestanden, 423 s, $2.11 |
| Eine Woche Posts über SpaceX-Starts auf X, mit zwei Listen zu Starts auf Wikipedia abgeglichen | Bestanden, 472 s, $1.06 | Bestanden, 558 s, $1.94 | Bestanden, 2127 s, $2.15 | Bestanden, 854 s, $1.58 | Bestanden, 511 s, $1.55 |
| Lernnotizen zu Karpathys GPT-Vorlesung, über YouTube, GitHub und arXiv abgeglichen | Bestanden, 245 s, $1.55 | Bestanden, 426 s, $2.75 | Bestanden, 696 s, $2.93 | Bestanden, 466 s, $2.05 | Alle Schritte verbraucht, 1344 s, $4.49 |
| Acht Punkte mit niedrigen Kosten im Ranglistendiagramm von ARC Prize durch Darüberfahren mit dem Mauszeiger ablesen | Bestanden, 294 s, $1.60 | Bestanden, 360 s, $1.87 | Bestanden, 354 s, $1.92 | Falsche Antwort, 387 s, $2.65 | Bestanden, 679 s, $2.19 |
| Modelle über den EU-Schwellen für Rechenaufwand in der Modelldatenbank von Epoch AI zählen | Bestanden, 211 s, $1.25 | Bestanden, 210 s, $0.97 | Bestanden, 273 s, $1.57 | Bestanden, 150 s, $0.84 | Bestanden, 882 s, $1.95 |
| Zehn Zellen einer LLM-Tabelle auf Wikipedia zu den jeweils zitierten Quellen zurückverfolgen | Bestanden, 444 s, $2.11 | Bestanden, 474 s, $2.19 | Bestanden, 427 s, $2.22 | Bestanden, 335 s, $1.91 | Bestanden, 349 s, $1.73 |
| Flüge, einen Gangplatz und ein nahe gelegenes Hotel richtlinienkonform in einer Reise- und Spesenanwendung buchen | Bestanden, 281 s, $1.91 | Bestanden, 221 s, $2.14 | Bestanden, 452 s, $2.97 | Bestanden, 403 s, $3.01 | Bestanden, 409 s, $1.98 |
| Monitore für Tier-1-Dienste in einer Cloudkonsole an einen schriftlichen Standard anpassen | Bestanden, 230 s, $1.39 | Bestanden, 202 s, $1.39 | Bestanden, 252 s, $1.69 | Bestanden, 264 s, $1.60 | Bestanden, 543 s, $3.20 |
| Februarrechnungen mit Zahlungen abgleichen und Streitfälle in einer Betriebsanwendung eröffnen | Bestanden, 539 s, $2.53 | Bestanden, 547 s, $2.36 | Bestanden, 373 s, $1.73 | Bestanden, 681 s, $3.74 | Bestanden, 1008 s, $4.00 |
| Bestellungen nach Lieferant per CSV-Import in einer Betriebsanwendung erstellen | Bestanden, 203 s, $1.08 | Bestanden, 450 s, $1.37 | Bestanden, 210 s, $1.01 | Bestanden, 376 s, $1.87 | Bestanden, 962 s, $3.81 |
