Zum Inhalt springen
Ben Dangelmayr

Alle Arbeiten

Laufzeitanalyse von Coding-Agenten-Läufen

Lange Läufe von Coding-Agenten fühlten sich langsam an, und der naheliegende Verdacht war das Modell. Im August habe ich gemessen, wohin die Zeit in 255 eigenen Agentenläufen geht, und daraus Regeln und Hooks gebaut. Elf Wochen später habe ich mit angepasstem Verfahren erneut gemessen und 340 Läufe aus der Zeit vor den Regeln mit 708 Läufen aus dem Oktober verglichen, um zu sehen, welche Änderungen gehalten haben.

Rolle
Messung, Werkzeuge und Auswertung
Daten
255 Läufe im August, 2.818 Subagenten-Läufe vom 15. Juni bis 26. Oktober 2026, alle aus eigenen Sitzungsprotokollen
Datum
7. August und 26. Oktober 2026
Grenzen
Läufe einer Person. Vorher und nachher, ohne Kontrollgruppe.

Wohin 36,7 Stunden Agentenlauf gingen

Zeitbasis
Sitzungsstillstand
19,8 h · 54 %nicht gezählt
Werkzeugausführung
9,2 h · 25 %54 %
Modellzeit
5,7 h · 16 %34 %
Rest
2,0 h · 5 %12 %
Acht lange Läufe aus meinen eigenen Sitzungsprotokollen, gemessen am 7. August 2026; die Laufzeiten stimmen auf 0,1 % mit den Transkripten überein. Läufe einer Person, ohne Kontrollgruppe.

Methode: Start und Ende jedes Laufs zuordnen

Die Laufzeit ergibt sich aus der Paarung des Starts im Hauptstrang mit der letzten Fertigmeldung jedes Agenten. Ein erster Ansatz nahm die erste Fertigmeldung und lag um bis zu 75 Prozent daneben, weil eine Fertigmeldung bei jedem Anhalten kommt, nicht nur am Ende.

Gegenprobe: Gegen die unabhängigen Zeitstempel der acht Volltranskripte weicht das Verfahren bei allen acht um 0,1 Prozent ab. Ein Lauf mit 703 Stunden war eine Fehlpaarung und ist ausgeschlossen.

Befund 1: Der größte Block war eine Nacht

  • Von 36,7 Stunden Gesamtlaufzeit standen 19,8 still.
  • Die beiden größten Lücken lagen zwischen 23:15 und 08:34 Uhr: Niemand war da. (Meine erste Deutung, fertige Agenten, die auf Abholung warten, war falsch.)
  • Sechs der acht Läufe hatten keinen Stillstand und arbeiteten 1,1 bis 2,5 Stunden am Stück: Langsame Läufe betreffen die Arbeitszeit.

Befund 2: Die Hälfte der Werkzeugzeit war Warten in Schleifen

  • Werkzeuge 9,2 Stunden, Modell 5,7; Lücke je Modellzug im Median 7 Sekunden.
  • 4,47 Stunden in 67 Aufrufen, rund die Hälfte der Werkzeugzeit, waren Warteschleifen im Vordergrund.
  • Wiederholung einer 120-Sekunden-Aufgabe: Der Vordergrund blockierte 130,2 Sekunden, der Hintergrund gab in unter einer Sekunde frei.
  • Danach kam ein Hook in meine Umgebung, der Fristen über der Werkzeuggrenze blockiert; wegen einer fehlerhaften Einstellung wirkte er erst ab dem 20. August. Warteschleifen im Vordergrund protokollierte er, seit dem 26. Oktober weist er den Agenten auch darauf hin.

Elf Wochen später

Für die zweite Messung lagen die älteren Subagenten-Protokolle noch vor, die älteren Protokolle der Hauptsitzung nicht mehr. Die zweite Messung liest deshalb jeden Subagenten-Lauf vom ersten bis zum letzten Zeitstempel. Zur Gegenprobe habe ich die beiden längsten Läufe aus dem Juli mit dem neuen Verfahren nachgerechnet und wieder 24,6 Stunden Gesamtlaufzeit erhalten, wie im August. Von den 2.818 Läufen sind 1.393 kurze Workflow-Agenten, die ich aus dem Vergleich herauslasse. Die Tabelle vergleicht die 340 direkten Subagenten-Läufe vor der Augustmessung mit den 708 im Oktober. Die 255 Läufe der ersten Messung stammen aus Protokollen der Hauptsitzung, die es nicht mehr gibt; sie sind in diesem Vergleich nicht enthalten.

Selbst erkunden können Sie die Läufe bis zum 27. Oktober auf einer eigenen Seite: einen echten Lauf abspielen, abbrechen oder in den Hintergrund schicken.

Vor der Augustmessung und im Oktober

KennzahlBis 7. AugustOktober
Befehle, die an der Werkzeuggrenze abgebrochen wurden, je 10.000 Werkzeugaufrufe7,70
Werkzeuge je Zug mit Werkzeug1,181,63
Dem Modell zugerechnete Lücken, Anteil an der Arbeitszeit, acht Läufe mit der meisten Arbeit28 %14 %
Erkannte Warteschleifenmuster je 100 Werkzeugaufrufe1,160,82
340 Subagenten-Läufe bis 7. August, 708 im Oktober 2026. Zwischen den Zeiträumen haben sich Regeln, Hooks, Modell (Opus 5 auf Opus 5.5) und Projektmix gleichzeitig geändert. Die Tabelle erlaubt keine Zuordnung der Veränderungen zu einzelnen Ursachen. Alle Werte stammen aus dem Messskript in agent-guard-hook, unten verlinkt, das Werkzeuge je Nachricht zählt; der weiter unten beschriebene Zählfehler steckte in einer älteren Prüfung meiner Umgebung. Der Modellanteil von 28 % weicht von den 34 % im Augustdiagramm oben ab, weil es andere acht Läufe sind, gelesen aus den Subagenten-Protokollen.

Wohin die Gesamtzeit der acht Läufe mit der meisten Arbeitszeit ging

Zeitraum
Sitzungsstillstand
18,6 h 1,1 h
Werkzeugausführung
16,7 h · 66 % der Arbeit 26,5 h · 78 % der Arbeit
Modellzeit
7,0 h · 28 % der Arbeit 4,7 h · 14 % der Arbeit
Rest
1,4 h 2,8 h
Je Zeitraum die acht Läufe mit der meisten Arbeitszeit, aus meinen eigenen Subagenten-Protokollen. Die Auswahl unterscheidet sich von den acht Läufen der Augustmessung (36,7 h), die aus einem inzwischen gelöschten Temp-Ordner stammten. Die Daten stammen aus den Läufen einer Person, ohne Kontrollgruppe. Der Stillstand vor dem 7. August ist zum größten Teil eine Nacht, in der die ganze Sitzung stand (Befund 1); über die Regeln sagt er nichts. Die Werkzeugausführung umfasst Builds, Prüfketten und Warten; weiter aufgeteilt habe ich sie nicht.

Was gehalten hat

Der Hook, der Fristen über der Werkzeuggrenze sperrt, hat jeden solchen Aufruf gestoppt, den er gesehen hat. Bis zum 19. August lief er wegen einer fehlerhaften Einstellung nicht, und keiner der 1.483 solchen Befehle vom 15. Juni bis dahin wurde gesperrt. Ab dem 20. August wurden alle 84 Versuche gesperrt. Seit dem 5. Oktober kam in 55.972 Werkzeugaufrufen keiner mehr vor.

Versuche, eine Frist über der Werkzeuggrenze zu setzen

0 1 2 3 4 Messung 7.8. Hook wirkt ab 20.8. 13.7. 3,6 3,7 27.7. 3,6 10.8. 24.8. 7.9. 21.9. 5.10. 19.10.
Je 100 Werkzeugaufrufe, direkte Subagenten-Läufe, Wochen vom 13. Juli bis 19. Oktober 2026; graue Säulen sind Wochen mit weniger als 1.000 Aufrufen. Der größte Teil des Rückgangs lag in den zwölf Tagen nach der Messung, als die Regel nur als Text galt. Dem Hook allein lässt er sich deshalb nicht zuschreiben.

Im Oktober wurde kein Befehl an der Werkzeuggrenze abgebrochen, in den 340 Subagenten-Läufen vor der Messung waren es 28. Züge mit Werkzeugen enthalten im Schnitt 1,63 Aufrufe, vorher 1,18. Wie viel Zeit das spart, habe ich nicht gemessen.

Was nicht gehalten hat

Warteschleifen im Vordergrund sind zurück. Je 100 Werkzeugaufrufe fielen sie von 1,16 vor der Messung auf 0,26 in den zwölf Tagen danach, lagen vom 20. August bis Ende September wieder bei 0,86 und im Oktober bei 0,82, rund sieben Zehnteln des früheren Werts. Meine eigenen Vorgaben verlangten von Subagenten weiterhin, fertige Hintergrundjobs in derselben Runde abzuholen, und der Hook protokollierte die Schleifen nur, ohne dem Agenten etwas zu sagen. Seit dem 26. Oktober verlangen die Vorgaben das nicht mehr, und der Hook sagt dem Agenten Bescheid; ob die Schleifen seltener werden, zeigt erst die nächste Messung.

Das Dashboard, das all das überwachen sollte, hat seine eigene Nutzung protokolliert. Das Protokoll enthält 27 Abrufe am 18. und 19. August, den beiden Tagen, an denen ich es gebaut habe, und danach keinen. Ich habe es nicht weiterentwickelt. Der Prüfstatus steht jetzt am Ende jedes Prüflaufs, wo ich ohnehin lese.

Auch Modell und Claude Code haben sich geändert

Bis zum 7. August kamen 92 Prozent der Antworten aus direkten Subagenten-Läufen von Opus 5, im Oktober 99,5 Prozent von Opus 5.5. Mein Arbeitsprotokoll verzeichnet zwischen dem 9. August (2.1.222) und dem 26. Oktober (2.1.308) 28 Versionen von Claude Code.

Mehrere Veränderungen in der Tabelle fallen mit dem neuen Modell zusammen. Der Median der Lücke zwischen einem Werkzeugergebnis und der nächsten Antwort fiel von 7,1 auf 4,8 Sekunden. Bei den acht Läufen mit der meisten Arbeitszeit fielen die dem Modell zugerechneten Lücken von 28 auf rund 14 Prozent der geschätzten Arbeitszeit, und Werkzeuge wie Builds, Prüfketten und Warten beanspruchten 78 Prozent. Die Zahl der Werkzeuge je Zug stieg zur selben Zeit, zu der eine schriftliche Regel das verlangte. Die Daten können diese Ursachen nicht trennen.

Eine Änderung in Claude Code betrifft meine eigenen Regeln. Im August blieb ein Subagent, der einen Hintergrundjob startete und seinen Zug beendete, liegen, und meine Vorgaben waren darauf ausgelegt. Der Wecktest am 26. Oktober lief mit Version 2.1.308. Wann sich das Verhalten geändert hat, lässt sich aus meinen Protokollen nicht ablesen.

Fehler in einem Messwerkzeug und in zwei Sabotagetests

Die Tests meiner eigenen Umgebung neu zu fahren, brachte zwei Probleme zutage. Eine Prüfung, die Werkzeuge je Zug zählt, meldete für alle 26 neueren Läufe genau 1,00. In den Subagenten-Protokollen seit Juni enthält fast jede Zeile mit einem Werkzeugaufruf genau einen, und die Prüfung zählte Zeilen. Seit ihrem Bau am 7. August meldete sie deshalb bei jedem längeren Lauf zu wenig Bündelung, ob der Agent bündelte oder nicht, und ihr eigener Test hatte keinen Fall dafür. Sie zählt jetzt je Nachricht, und ein neuer Testfall schlägt gegen die alte Fassung an.

Zwei Sabotagetests, die eine Regel absichtlich brechen, um zu zeigen, dass ihr Test das bemerkt, schrieben den Bruch in die laufenden Hook-Dateien. Jede Sitzung, die den Hook während eines solchen Laufs aufrief, bekam die absichtlich veränderte Fassung. Sie arbeiten jetzt an einer Kopie, enden mit einem Fehler, wenn eine Sabotage unbemerkt bleibt, und die Hook-Dateien sind vor und nach einem Lauf byte-gleich.

In meiner eigenen Umgebung liefen am 26. Oktober 2026 842 Testfälle und 382 Sabotagen; 105 langsame Sabotagen einer Prüfung blieben aus Zeitgründen aus.

Der Hook mit dem neuen Hinweis-Modus, das Messskript hinter diesen Zahlen und die Tests für beide sind offen verfügbar in agent-guard-hook auf GitHub.