Wir haben DeepSeek V4.1 Flash mit ego-browser, agent-browser und Playwright CLI an 25 Webaufgaben getestet

Für die Browserautomatisierung mit DeepSeek V4.1 Flash würden wir in unserem getesteten pi-Setup ego-browser wählen, weil damit mehr Aufgaben erfolgreich abgeschlossen wurden. Die durchschnittlichen Modellkosten über alle Versuche lagen bei den drei Tools nahe beieinander. Jedes Tool führte jede unserer 25 Aufgaben einmal aus, also 25 Versuche pro Tool. DeepSeek V4.1 Flash bestand mit ego-browser 17 seiner 25 Versuche (68.0%), mit Playwright CLI 14 (56.0%) und mit agent-browser 11 (44.0%). Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, dauerte eine Aufgabe mit ego-browser 216.8 Sekunden und kostete $0.042, mit Playwright CLI 407.3 Sekunden und $0.050 sowie mit agent-browser 399.4 Sekunden und $0.056.
Der Vorsprung von ego-browser entsteht bei Versuchen, die mit einer Antwort endeten. Ein Schritt ist eine Antwort des Modells; ein Versuch, der alle 100 Schritte ohne Antwort verbrauchte, scheiterte. Mit ego-browser gingen DeepSeek V4.1 Flash 4-mal die Schritte aus, mit jedem der beiden anderen Tools 9-mal. Es lieferte mit ego-browser 4 falsche Antworten, mit Playwright CLI 2 und mit agent-browser 5. Befehle, die die aktuelle Seite ohne Navigation, Klicks oder Texteingaben lasen, machten bei agent-browser 51.9% aus, bei Playwright CLI 46.5% und bei ego-browser 24.4%.
Nicht jedes Ergebnis spricht für ego-browser. Playwright CLI zog bei unseren 4 Abläufen in Web-Apps gleich und bestand alle 4. Kein Tool behob die Schwäche des Modells bei umfangreichen Aufgaben: Von 7 Aufgaben, die dieselben Felder auf 9 bis 12 Websites sammeln, bestand es mit ego-browser 2, mit Playwright CLI 1 und mit agent-browser keine. Über alle 25 Aufgaben einschließlich der Fehlschläge gerechnet kostete eine Aufgabe bei jedem Tool ungefähr gleich viel: $0.066 mit ego-browser, $0.066 mit Playwright CLI und $0.067 mit agent-browser.
| Browser-Tool | Erfolgsquote | Durchschnittliche Zeit pro Aufgabe | Durchschnittliche Kosten pro Aufgabe |
|---|---|---|---|
| ego-browser | 68.0% (17/25) | 216.8 s | $0.042 |
| Playwright CLI | 56.0% (14/25) | 407.3 s | $0.050 |
| agent-browser | 44.0% (11/25) | 399.4 s | $0.056 |
Jedes Tool führte jede der 25 Aufgaben einmal aus. Die Erfolgsquote beruht daher auf 25 Versuchen pro Tool. Zeit und Kosten sind Durchschnittswerte für die 10 Aufgaben, die mit allen drei Tools bestanden wurden. Die Zeit umfasst das Warten auf DeepSeek V4.1 Flash und die Ausführung der Tool-Aufrufe des Agenten; die Kosten ergeben sich aus den Tokens jedes Versuchs zu den Listenpreisen von DeepSeek.
Erfolgsquote
Bei DeepSeek V4.1 Flash entsteht die höhere Erfolgsquote von ego-browser durch Versuche, die innerhalb von 100 Schritten zu einer Antwort kamen. Mit ego-browser gingen dem Modell 4-mal die Schritte aus, mit jedem der beiden anderen Tools 9-mal.
| Ergebnis des Versuchs | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Bestanden | 17 | 14 | 11 |
| Falsche Antwort | 4 | 2 | 5 |
| Schritte aufgebraucht, keine Antwort | 4 | 9 | 9 |
| Alle Versuche | 25 | 25 | 25 |
Ein Versuch pro Aufgabe und Tool bei 25 Aufgaben. Die Versuche mit ego-browser liefen am 20. Oktober 2026, die der beiden anderen Tools am 5. November 2026. Bei ego-browser gab es zusätzlich einen zweiten Durchgang, in dem 18 von 25 Aufgaben bestanden wurden.
Das Modell kam mit ego-browser in 21 von 25 Versuchen zu einer Antwort und mit jedem der beiden anderen Tools in 16. Diese Antworten bestanden die Prüfung mit ego-browser in 17 von 21 Fällen, mit Playwright CLI in 14 von 16 und mit agent-browser in 11 von 16. Der größte Unterschied beim Abschließen der Aufgaben zwischen den getesteten Konfigurationen lag darin, innerhalb von 100 Schritten eine endgültige Antwort zu erreichen.
Die Aufgabe zu Smartphones zeigt, wofür die Schritte eingesetzt werden. Gefragt sind Gewicht, Akku, Bildschirmgröße, Wasserschutzklassen und Dauer der Sicherheitsupdates von neun Flaggschiff-Smartphones, jeweils auf der britischen Website ihrer Marke. Mit allen drei Tools besuchte das Modell dieselben neun Websites in derselben Reihenfolge. Mit ego-browser öffnete es Fairphone, die neunte Website, bei Schritt 64 und gab bei Schritt 70 eine Tabelle ab, die die Prüfung bestand. Mit agent-browser erreichte es Fairphone bei Schritt 93, mit Playwright CLI bei Schritt 100. Bei beiden Versuchen gingen die Schritte aus, bevor eine Antwort geschrieben wurde.

ego-browser gewann nicht jede Aufgabe mit unterschiedlichen Ergebnissen. Bei 10 der 25 Aufgaben unterschieden sich die Ergebnisse der drei Tools. ego-browser bestand 7 davon, bei denen ein anderes Tool scheiterte, und scheiterte bei 3, die Playwright CLI bestand: der Aufgabe zu kostenlosen Serverless-Angeboten, der Quellenverfolgung auf Wikipedia und der MDN-Prüfung. Bei der ersten gingen ego-browser die Schritte aus; bei den anderen beiden gab es eine falsche Antwort ab.
Nach Art der Arbeit führte ego-browser bei Nachschlageaufgaben auf 1 bis 3 Websites und beim Abgleich von X-Beiträgen mit anderen Quellen. Playwright CLI zog bei Abläufen in Web-Apps gleich und bestand eine Aufgabe mehr unter den 3 offenen Rechercheaufgaben.
| Art der Arbeit | Aufgaben | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| Abläufe in Web-Apps | 4 | 4/4 | 4/4 | 3/4 |
| Nachschlagen auf 1 bis 3 Websites | 8 | 7/8 | 5/8 | 5/8 |
| Offene Recherche | 3 | 2/3 | 3/3 | 2/3 |
| X-Beiträge im Abgleich mit anderen Quellen | 3 | 2/3 | 1/3 | 1/3 |
| Dieselben Felder auf 9 bis 12 Websites | 7 | 2/7 | 1/7 | 0/7 |
| Alle Aufgaben | 25 | 17/25 | 14/25 | 11/25 |
Jede Zelle zählt die bestandenen Versuche, bei einem Versuch pro Aufgabe.
Die umfangreichsten Aufgaben blieben mit jedem Tool schwierig. Bei den 7 Aufgaben, die dieselben Felder auf 9 bis 12 Websites sammeln, gingen in den meisten gescheiterten Versuchen die Schritte aus: bei ego-browser in 4 von 5 Fehlschlägen, bei Playwright CLI in 6 von 6 und bei agent-browser in 6 von 7. Eine Aufgabe dieser Größenordnung würden wir DeepSeek V4.1 Flash mit keinem der drei Tools überlassen.
Wie DeepSeek V4.1 Flash mit den einzelnen Tools arbeitet
Mit ego-browser kombinierte DeepSeek V4.1 Flash häufiger Änderungen an der Seite und Lesevorgänge in einem Befehl. Die beiden anderen Konfigurationen hatten mehr Befehle, die die aktuelle Seite ohne Navigation, Klicks oder Texteingaben lasen. agent-browser beschreibt in seiner README das Lesen von Seiten als Barrierefreiheitsbaum mit einer Referenz für jedes Element. Playwright CLI erklärt in seiner README, dass es nach jedem Befehl einen Snapshot der Seite bereitstellt. Das Modell forderte bei diesen Tools in 15.4% beziehungsweise 12.6% seiner Befehle ausdrücklich einen Snapshot an. Diese Anforderungszahlen erfassen keine automatisch zurückgegebenen Snapshots und belegen auch nicht, was das Modell gelesen hat.
| Browserbefehle, alle 25 Versuche | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Browserbefehle | 995 | 1 474 | 1 574 |
| Navigiert, geklickt oder Text eingegeben und das Ergebnis im selben Befehl gelesen | 72.3% | 39.3% | 43.3% |
| Aktuelle Seite ohne Navigation, Klicks oder Texteingaben gelesen | 24.4% | 46.5% | 51.9% |
| Eigenes JavaScript des Modells in der Seite ausgeführt | 86.2% | 73.3% | 43.9% |
| Snapshot der Seite ausdrücklich angefordert | 8.2% | 12.6% | 15.4% |
Ein Befehl kann mehr als einer Zeile zugeordnet werden. Die Kategorie mit reinen Lesevorgängen erfasst Seitenzugriffe ohne Navigation, Klicks oder Texteingaben; sie belegt nicht, dass die Informationen redundant waren.
Lesevorgänge auf der aktuellen Seite ohne Navigation, Klicks oder Texteingaben machten 51.9% der Befehle von agent-browser aus, 46.5% bei Playwright CLI und 24.4% bei ego-browser. Auch ein separater Lesevorgang kann Informationen liefern, die das Modell benötigt.
Die Seite zu motorola signature in der Smartphone-Aufgabe zeigt, wo der Abstand entsteht. Die Dauer der Sicherheitsupdates ist hinter der Schaltfläche See all the specifications verborgen. Mit ego-browser lud ein Skript bei Schritt 54 die Seite, klickte auf diese Schaltfläche und las den Text; bei Schritt 55 fand das Modell „6 oder mehr Jahre (bis 06/2032)“. Das Modell verbrauchte auf dieser Website 6 Schritte. Mit Playwright CLI extrahierte es die Datenblöcke durch wiederholtes Ausführen von JavaScript in der Seite und benötigte dort 12 Schritte, davon 9 nur zum Lesen. Mit agent-browser suchte es im HTML-Quelltext der Seite nach den technischen Daten und benötigte 21 Schritte, davon 12 nur zum Lesen.

Die Smartphone-Aufgabe zeigt bei diesem Versuch weniger Schritte mit ego-browser. Die Befehlszahlen beschreiben das aufgezeichnete Verhalten; sie zeigen für sich genommen nicht, warum die Konfigurationen unterschiedlich viele Aufgaben erfolgreich abschlossen.
Geschwindigkeit
ego-browser hatte bei den zehn Aufgaben, die mit allen drei Konfigurationen bestanden wurden, die niedrigste Durchschnittszeit. Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, dauerte eine Aufgabe mit ego-browser 216.8 Sekunden, mit Playwright CLI 407.3 und mit agent-browser 399.4. ego-browser war auf 8 dieser 10 Aufgaben das schnellste der drei Tools und schlug jedes andere Tool für sich betrachtet auf 9 Aufgaben.
| Zeit pro Aufgabe, 10 mit allen drei Tools bestandene Aufgaben | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|
| Warten auf das Modell | 39.2 s | 63.1 s | 79.8 s |
| Ausführung von Tool-Aufrufen | 177.6 s | 344.2 s | 319.6 s |
| Gesamt | 216.8 s | 407.3 s | 399.4 s |
| Tool-Aufrufe pro Aufgabe | 35.2 | 54.0 | 63.3 |
| Sekunden pro Tool-Aufruf | 5.0 | 6.4 | 5.0 |
Versuche mit ego-browser vom 20. Oktober 2026 und mit den beiden anderen Tools vom 5. November 2026.
Der größte Teil des aufgezeichneten Zeitunterschieds liegt in der Tool-Ausführung. Die Konfigurationen unterschieden sich sowohl bei der Zahl der Tool-Aufrufe als auch, bei Playwright CLI, bei der durchschnittlichen Zeit pro Aufruf. Pro Tool-Aufruf brauchten ego-browser und agent-browser ungefähr gleich lang, jeweils 5.0 Sekunden, während Playwright CLI 6.4 benötigte. ego-browser brauchte 35.2 Tool-Aufrufe pro Aufgabe, gegenüber 54.0 und 63.3. Weniger Aufrufe bedeuteten auch weniger Antworten des Modells. Die Wartezeit auf das Modell sank deshalb von 63.1 beziehungsweise 79.8 Sekunden auf 39.2.
In unseren Läufen sparte ego-browser pro Aufgabe 190.5 Sekunden gegenüber Playwright CLI und 182.6 gegenüber agent-browser. Das ist spürbar, wenn jemand auf den Agenten wartet. Die beiden Ausnahmen waren die Aufgabe zu Kinoeinnahmen, bei der Playwright CLI am schnellsten war, und die Aufgabe zu Vorlesungsnotizen, bei der agent-browser vorn lag.
Kosten
Zu den angegebenen Modellpreisen hatte die ego-browser-Konfiguration bei den zehn gemeinsam bestandenen Aufgaben niedrigere Durchschnittskosten. Die Durchschnittskosten über alle Versuche lagen dagegen bei den drei Konfigurationen nahe beieinander. Auf diesen 10 Aufgaben kostete eine Aufgabe mit ego-browser $0.042, mit Playwright CLI $0.050 und mit agent-browser $0.056. Teilt man die Kosten aller Versuche durch die Zahl der bestandenen Versuche, kostete ein bestandener Versuch mit ego-browser $0.097, mit Playwright CLI $0.117 und mit agent-browser $0.153.
Der Preis ist bei jedem Tool gleich. Der gesamte Unterschied liegt daher in der Zahl der Tokens, die jeder Lauf verbrauchte. Jeder weitere Schritt sendet den bisherigen Gesprächsverlauf erneut an das Modell; DeepSeek rechnet dies als Cache-Lesezugriffe ab. Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, las das Modell pro Aufgabe mit ego-browser 1.13 Millionen gecachte Tokens, mit Playwright CLI 1.88 Millionen und mit agent-browser 2.44 Millionen. Es erzeugte 19 461, 21 562 und 22 957 Ausgabe-Tokens.
Bei wenigen Cent pro Aufgabe werden die Kosten für dieses Modell nicht über die Tool-Wahl entscheiden. Alle 25 Versuche zusammen kosteten mit ego-browser $1.65, mit Playwright CLI $1.64 und mit agent-browser $1.68. Die zusätzlichen Erfolge mit ego-browser entstanden also nicht durch höhere Ausgaben.
Welches Browser-Tool für DeepSeek V4.1 Flash?
Für die hier getestete Aufgabenmischung und pi-Konfiguration würden wir ego-browser wählen. Es bestand die meisten Versuche, 17 von 25, und benötigte auf den 10 mit allen drei Tools bestandenen Aufgaben 216.8 Sekunden pro Aufgabe statt ungefähr 400 und verursachte die geringsten Kosten.
Wenn Ihr Agent hauptsächlich in einer einzelnen Web-App arbeitet, ist Playwright CLI eine gute Alternative: Es bestand wie ego-browser alle 4 Abläufe in Web-Apps. Wenn Ihnen die Kosten am wichtigsten sind, macht das Tool wenig Unterschied: Über alle 25 Aufgaben gerechnet kostete eine Aufgabe mit jedem Tool $0.066 bis $0.067. Wenn Ihre Aufgabe dieselben Felder auf 9 oder mehr Websites sammelt, machte keines der drei Tools das Modell dort zuverlässig: Bestanden wurden 2, 1 beziehungsweise 0 von 7 Aufgaben.
Unser getestetes Setup verwendete DeepSeek V4.1 Flash (deepseek-flash) mit hohem Reasoning-Aufwand im pi-Agenten und geladener Skill-Datei des Browser-Tools. ego-browser wird zusammen mit ego(lite) bereitgestellt, und der Agent steuert ego(lite) darüber.
Welche Rolle ego(lite) in diesem Vergleich spielt
ego(lite) war der Browser in der ego-browser-Konfiguration; die beiden anderen Konfigurationen verwendeten Chrome. DeepSeek V4.1 Flash und pi stellten das Modell beziehungsweise den Agenten bereit. Der Integrationsleitfaden für ego-browser erklärt, welche Rolle das Browser-Tool in diesem Setup spielt.
Die Konfigurationen verwendeten unterschiedliche Browser-Tools, Anleitungen und Ausführungsdaten. Berücksichtigen Sie diese Bedingungen, wenn Sie anhand der aufgezeichneten Ergebnisse wählen. Die zehn gemeinsam bestandenen Aufgaben stützen den Zeit- und Kostenvergleich; sie belegen weder die Kosten für das erfolgreiche Abschließen der fünfzehn anderen Aufgaben noch Ergebnisse mit einem ungetesteten Agenten.
Häufige Fragen
Welches ist das beste Tool zur Browserautomatisierung mit DeepSeek V4.1 Flash?
In unseren Tests ego-browser: DeepSeek V4.1 Flash bestand damit 17 von 25 Versuchen, mit Playwright CLI 14 und mit agent-browser 11. Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, war auch die Zeit mit ego-browser am geringsten: 216.8 Sekunden pro Aufgabe statt 407.3 und 399.4. Playwright CLI zog bei unseren 4 Abläufen in Web-Apps gleich.
Wie gut ist DeepSeek V4.1 Flash bei der Browsernutzung?
DeepSeek V4.1 Flash bestand bei unseren 25 Webaufgaben je nach Browser-Tool 44.0% bis 68.0% seiner Versuche. Am besten schnitt es in Web-Apps ab, wo es sowohl mit ego-browser als auch mit Playwright CLI 4 von 4 Aufgaben bestand. Am schlechtesten war es bei Aufgaben, die dieselben Felder auf 9 bis 12 Websites sammeln: Dort bestand es 0 bis 2 von 7.
Ist agent-browser oder Playwright CLI besser für DeepSeek V4.1 Flash?
Playwright CLI schloss mehr Aufgaben erfolgreich ab: DeepSeek V4.1 Flash bestand damit 14 von 25 Versuchen, mit agent-browser 11. Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, benötigte agent-browser 399.4 Sekunden pro Aufgabe und Playwright CLI 407.3, bei Kosten von $0.056 beziehungsweise $0.050. Bei beiden gingen 9-mal die Schritte aus; agent-browser lieferte 5 falsche Antworten, Playwright CLI 2.
Mit welchem Browser-Tool ist DeepSeek V4.1 Flash am schnellsten?
Mit ego-browser: Auf den 10 Aufgaben, die mit allen drei Tools bestanden wurden, dauerte eine Aufgabe 216.8 Sekunden, gegenüber 407.3 mit Playwright CLI und 399.4 mit agent-browser. Es war auf 9 dieser 10 Aufgaben schneller als jedes andere Tool für sich betrachtet. Das Modell benötigte mit ego-browser 35.2 Tool-Aufrufe pro Aufgabe, mit Playwright CLI 54.0 und mit agent-browser 63.3.
Was kostet DeepSeek V4.1 Flash pro Browseraufgabe?
DeepSeek V4.1 Flash kostete zu den Listenpreisen von DeepSeek auf den 10 mit allen drei Tools bestandenen Aufgaben $0.042 bis $0.056 pro Aufgabe. Über alle 25 Aufgaben einschließlich der Fehlschläge kostete es mit jedem Tool $0.066 bis $0.067 pro Aufgabe. Pro bestandenem Versuch kostete es mit ego-browser $0.097, mit Playwright CLI $0.117 und mit agent-browser $0.153.
Warum scheitert DeepSeek V4.1 Flash bei Browseraufgaben?
Bei den meisten Fehlschlägen von DeepSeek V4.1 Flash in unseren Läufen wurden alle 100 Schritte ohne Antwort verbraucht: bei ego-browser in 4 von 8 Fällen, bei Playwright CLI in 9 von 11 und bei agent-browser in 9 von 14. Die übrigen waren falsche Antworten: 4, 2 beziehungsweise 5. Am häufigsten gingen die Schritte bei Aufgaben aus, die dieselben Felder auf 9 bis 12 Websites sammeln.
Kann DeepSeek V4.1 Flash Formulare ausfüllen und Abläufe in Web-Apps erfolgreich abschließen?
Ja: DeepSeek V4.1 Flash bestand mit ego-browser und mit Playwright CLI alle 4 Abläufe in Web-Apps, mit agent-browser 3 von 4. Dazu gehörten das Buchen einer Reise gemäß Reiserichtlinie und das Erstellen von Bestellungen anhand von Meldebeständen. Der gescheiterte Versuch mit agent-browser war die Reisebuchung; dabei gingen die Schritte aus.
Kann DeepSeek V4.1 Flash dieselben Daten auf vielen Websites sammeln?
Nicht zuverlässig: Auf den 7 Aufgaben, die dieselben Felder auf 9 bis 12 Websites sammeln, bestand DeepSeek V4.1 Flash mit ego-browser 2, mit Playwright CLI 1 und mit agent-browser keine. Bei den meisten Fehlschlägen in dieser Gruppe gingen die Schritte vor einer Antwort aus. Bei Nachschlageaufgaben auf 1 bis 3 Websites schnitt es besser ab und bestand mit ego-browser 7 von 8.
Wie oft forderte DeepSeek V4.1 Flash ausdrücklich Snapshots von Seiten an?
Ausdrückliche Snapshot-Anforderungen kamen bei agent-browser in 15.4% der Befehle vor und bei Playwright CLI in 12.6%. Playwright CLI gibt außerdem nach jedem Befehl automatisch einen Snapshot zurück. Die ausdrücklichen Anforderungen messen daher nicht alle Snapshots, die dem Modell zur Verfügung standen.
Wenn DeepSeek V4.1 Flash eine Antwort abgibt, wie oft ist sie richtig?
Die Antworten von DeepSeek V4.1 Flash bestanden die Prüfung mit ego-browser in 17 von 21 Fällen, mit Playwright CLI in 14 von 16 und mit agent-browser in 11 von 16. Stärker unterschieden sich die Tools darin, wie oft das Modell innerhalb von 100 Schritten zu einer Antwort kam: Mit ego-browser geschah dies in 21 von 25 Versuchen, mit jedem der beiden anderen Tools in 16.
So haben wir getestet
Wir verglichen DeepSeek V4.1 Flash in drei Browser-Tool-Konfigurationen auf demselben Mac mit macOS. Die Versuche mit ego-browser liefen am 20. Oktober 2026, die mit agent-browser und Playwright CLI am 5. November 2026.
Als Modell verwendeten wir DeepSeek V4.1 Flash (Modell-ID deepseek-flash) mit hohem Reasoning-Aufwand im pi-Agenten mit dessen Tools read, write, edit und bash. Der Agent erhielt die eigene Skill-Datei jedes Browser-Tools. Jeder Versuch hatte höchstens 100 Schritte und 60 Minuten.
Der Vergleich verwendet die 25 Aufgaben, für die bei allen drei Konfigurationen Aufzeichnungen des ersten Versuchs vorliegen. Bei den Aufgaben zum Album und zum Mindestlohn gibt es spätere Ersatzversuche; die Definitionen der Kamera-Aufgabe unterscheiden sich zwischen den archivierten Läufen. Diese drei Aufgaben sind bei jeder Konfiguration ausgeschlossen. Die Tools waren ego-browser 2.1.0, agent-browser 0.39.1 und Playwright CLI 0.1.22. ego-browser steuert ego(lite): Das Modell schreibt ein JavaScript-Skript, führt es mit ego-browser aus und liest dessen Ausgabe. agent-browser und Playwright CLI steuerten Chrome; das Modell führte ihre Befehle über bash aus. agent-browser liefert auf Anfrage einen Seiten-Snapshot mit Elementreferenzen zurück, und Playwright CLI schreibt nach jedem Befehl einen.
Jedes Tool unternahm einen Versuch pro Aufgabe; jedes Ergebnis ist der erste Versuch, den der Lauf für diese Aufgabe aufzeichnete. Bei ego-browser gab es zusätzlich einen zweiten Durchgang, in dem 18 von 25 Aufgaben bestanden wurden. Wir berichten den ersten Durchgang, damit jedes Tool dieselbe Zahl an Versuchen hat.
Wir verwendeten 25 Aufgaben auf live erreichbaren Websites und in Test-Web-Apps, die für jeden Versuch mit neuen Daten befüllt wurden. Jede Aufgabe gehört genau einer Art von Arbeit an, bestimmt durch die Aufgabengruppe, in der sie geschrieben wurde:
- Abläufe in Web-Apps (4 Aufgaben), zum Beispiel eine Reise gemäß Reiserichtlinie buchen.
- Nachschlagen auf 1 bis 3 Websites (8), zum Beispiel Studien auf ClinicalTrials.gov den Arzneimitteldokumenten auf DailyMed zuordnen.
- Offene Recherche (3), zum Beispiel Punktzahl und Kosten aus dem Diagramm der ARC Prize-Rangliste ablesen.
- X-Beiträge im Abgleich mit anderen Quellen (3), zum Beispiel eine Woche X-Beiträge über SpaceX-Starts mit Wikipedia abgleichen.
- Dieselben Felder auf 9 bis 12 Websites (7), zum Beispiel die jeweils erste Zinsentscheidung im Jahr 2026 bei 12 Zentralbanken.
Jede Aufgabe hat 4 bis 11 bewertete Einzelpunkte. Die meisten sind feste Werte; in den Web-Apps stammen sie aus den für diesen Versuch bereitgestellten Daten, und bei der Flugsuche werden sie anhand der live erreichbaren Website geprüft. Ein Versuch besteht nur, wenn jeder Punkt richtig ist. Ein Versuch ohne endgültige Antwort scheitert bei jedem Punkt.
Ein Versuch ist ein Lauf einer Aufgabe mit einem neuen Ausgangszustand. Für die Erfolgsquote wird die Zahl der bestandenen Versuche gezählt. Ein Schritt ist eine Antwort des Modells. Ein Tool-Aufruf ist ein Befehl, den das Modell ausführt, etwa das Schreiben einer Datei oder ein bash-Befehl. Ein Schritt enthält fast immer einen solchen Aufruf. Ein Browserbefehl ist ein Tool-Aufruf, der den Browser steuert: ein ego-browser-Skript oder eine bash-Befehlszeile, die agent-browser oder Playwright CLI ausführt.
Wir zählten Befehle, die Seiten ohne Navigation, Klicks oder Texteingaben lesen, Befehle, die Änderungen und Lesevorgänge kombinieren, ausdrückliche Snapshot-Anforderungen und Befehle, die das JavaScript des Modells ausführen. Der Nenner ist die Gesamtzahl aller Browserbefehle in den 25 Versuchen dieses Tools. Die Schritte pro Website in der Smartphone-Aufgabe werden vom ersten Öffnen dieser Website durch das Modell bis zum Öffnen der nächsten gezählt.
Die Zeit umfasst das Warten auf das Modell und die Ausführung von Tool-Aufrufen, also auch das Warten auf die API von DeepSeek. Geschwindigkeit und Kosten werden auf den 10 Aufgaben verglichen, die mit allen drei Tools bestanden wurden. Die Kosten ergeben sich aus den Tokens jedes Versuchs zu den Listenpreisen von DeepSeek zur Hauptlastzeit: $0.30 pro Million Eingabe-Tokens, $0.006 pro Million aus dem Cache gelesener Tokens und $1.20 pro Million Ausgabe-Tokens. Außerhalb der Hauptlastzeit berechnet DeepSeek die Hälfte. Für die Kosten pro bestandenem Versuch werden die Kosten aller 25 Versuche durch die Zahl der bestandenen Versuche geteilt.
Vollständige Ergebnisse
Jede Zelle zeigt den einen Versuch dieses Tools bei der Aufgabe: das Ergebnis, die Zeit in Sekunden (Warten auf Modellantworten über die API von DeepSeek und Ausführen der Tool-Aufrufe) sowie die Kosten in US-Dollar.
| Aufgabe | Art der Arbeit | ego-browser | Playwright CLI | agent-browser |
|---|---|---|---|---|
| Eine Reise gemäß Reiserichtlinie buchen | Abläufe in Web-Apps | Bestanden, 168.5 s, $0.040 | Bestanden, 172.0 s, $0.034 | Schritte aufgebraucht, 516.6 s, $0.072 |
| Service-Monitore an einen Standard anpassen | Abläufe in Web-Apps | Bestanden, 126.8 s, $0.035 | Bestanden, 161.5 s, $0.032 | Bestanden, 371.1 s, $0.060 |
| Rechnungen Zahlungen zuordnen und Streitfälle eröffnen | Abläufe in Web-Apps | Bestanden, 209.0 s, $0.052 | Bestanden, 248.5 s, $0.048 | Bestanden, 721.4 s, $0.061 |
| Bestellungen anhand von Meldebeständen erstellen | Abläufe in Web-Apps | Bestanden, 126.6 s, $0.019 | Bestanden, 130.5 s, $0.021 | Bestanden, 333.5 s, $0.036 |
| Drei Mac-Laptops vergleichen | Nachschlagen auf 1 bis 3 Websites | Bestanden, 246.6 s, $0.071 | Bestanden, 464.0 s, $0.088 | Bestanden, 295.1 s, $0.069 |
| Kinoeinnahmen von sechs Filmen abgleichen | Nachschlagen auf 1 bis 3 Websites | Bestanden, 148.8 s, $0.040 | Bestanden, 139.1 s, $0.024 | Bestanden, 208.4 s, $0.029 |
| KYC-Momentaufnahme von vier britischen Unternehmen | Nachschlagen auf 1 bis 3 Websites | Bestanden, 67.0 s, $0.031 | Falsche Antwort, 252.9 s, $0.048 | Falsche Antwort, 170.2 s, $0.044 |
| Klinische Studien Arzneimitteldokumenten zuordnen | Nachschlagen auf 1 bis 3 Websites | Bestanden, 208.9 s, $0.056 | Falsche Antwort, 242.6 s, $0.054 | Bestanden, 284.7 s, $0.049 |
| Inflation aus FRED, mit BLS abgeglichen | Nachschlagen auf 1 bis 3 Websites | Bestanden, 79.6 s, $0.030 | Bestanden, 238.5 s, $0.037 | Bestanden, 198.6 s, $0.027 |
| Günstigste Nonstop-Tarife auf einer Flugsuchseite | Nachschlagen auf 1 bis 3 Websites | Bestanden, 525.4 s, $0.079 | Schritte aufgebraucht, 2136.3 s, $0.076 | Schritte aufgebraucht, 912.6 s, $0.080 |
| Web-Funktionen auf MDN und Can I use | Nachschlagen auf 1 bis 3 Websites | Falsche Antwort, 196.7 s, $0.051 | Bestanden, 181.9 s, $0.036 | Falsche Antwort, 157.9 s, $0.036 |
| Lernnotizen aus einer Vorlesung, Code und einer Forschungsarbeit | Nachschlagen auf 1 bis 3 Websites | Bestanden, 503.1 s, $0.043 | Bestanden, 1289.0 s, $0.085 | Bestanden, 423.1 s, $0.036 |
| Diagramm der ARC Prize-Rangliste ablesen | Offene Recherche | Bestanden, 125.4 s, $0.068 | Bestanden, 227.0 s, $0.066 | Bestanden, 390.5 s, $0.122 |
| Modelle über den EU-Schwellenwerten für Rechenaufwand | Offene Recherche | Bestanden, 57.6 s, $0.036 | Bestanden, 87.9 s, $0.027 | Bestanden, 216.9 s, $0.063 |
| Eine Wikipedia-Tabelle zu ihren Quellen zurückverfolgen | Offene Recherche | Falsche Antwort, 168.5 s, $0.053 | Bestanden, 316.0 s, $0.064 | Falsche Antwort, 435.7 s, $0.092 |
| Sicherheitsbeiträge von 8 Open-Source-Projekten auf X im Abgleich mit Sicherheitsmeldungen | X-Beiträge im Abgleich mit anderen Quellen | Bestanden, 1128.3 s, $0.123 | Schritte aufgebraucht, 1321.6 s, $0.102 | Schritte aufgebraucht, 1467.7 s, $0.096 |
| 8 Produkteinführungen: X-Beiträge im Abgleich mit Pressemitteilungen | X-Beiträge im Abgleich mit anderen Quellen | Falsche Antwort, 1011.8 s, $0.090 | Schritte aufgebraucht, 778.1 s, $0.071 | Falsche Antwort, 753.7 s, $0.092 |
| X-Beiträge zu SpaceX-Starts im Abgleich mit Wikipedia | X-Beiträge im Abgleich mit anderen Quellen | Bestanden, 544.1 s, $0.029 | Bestanden, 1086.8 s, $0.071 | Bestanden, 835.3 s, $0.057 |
| Zinsentscheidungen bei 12 Zentralbanken | Dieselben Felder auf 9 bis 12 Websites | Falsche Antwort, 339.0 s, $0.121 | Schritte aufgebraucht, 397.0 s, $0.073 | Schritte aufgebraucht, 423.1 s, $0.082 |
| Keynotes von 9 Entwicklerkonferenzen | Dieselben Felder auf 9 bis 12 Websites | Schritte aufgebraucht, 814.3 s, $0.142 | Schritte aufgebraucht, 561.5 s, $0.098 | Schritte aufgebraucht, 551.0 s, $0.071 |
| 9 Elektro-SUVs | Dieselben Felder auf 9 bis 12 Websites | Schritte aufgebraucht, 478.8 s, $0.101 | Schritte aufgebraucht, 522.8 s, $0.083 | Schritte aufgebraucht, 737.8 s, $0.074 |
| 9 Modelle mit offenen Gewichten | Dieselben Felder auf 9 bis 12 Websites | Bestanden, 420.2 s, $0.108 | Schritte aufgebraucht, 572.8 s, $0.109 | Schritte aufgebraucht, 529.5 s, $0.109 |
| Flaggschiff-Smartphones von 9 Marken | Dieselben Felder auf 9 bis 12 Websites | Bestanden, 354.4 s, $0.069 | Schritte aufgebraucht, 552.4 s, $0.082 | Schritte aufgebraucht, 521.6 s, $0.071 |
| Compliance von 9 SaaS-Anbietern | Dieselben Felder auf 9 bis 12 Websites | Schritte aufgebraucht, 411.8 s, $0.072 | Schritte aufgebraucht, 863.8 s, $0.114 | Schritte aufgebraucht, 661.6 s, $0.071 |
| Kostenlose Angebote von 9 Serverless-Plattformen | Dieselben Felder auf 9 bis 12 Websites | Schritte aufgebraucht, 396.3 s, $0.089 | Bestanden, 337.3 s, $0.100 | Falsche Antwort, 494.7 s, $0.081 |
