Was geprüft ist, bevor etwas ausgeliefert wird

Diese Seite nennt auch die Fehler, die ich in der eigenen Arbeit gefunden habe, und die Punkte, die offen sind. Ein Beleg ist mehr wert als ein Versprechen, und eine Lücke, die benannt ist, richtet weniger Schaden an als eine, die jemand später selbst findet.

Die Apps für Jira in Zahlen

Alle Zahlen unten stammen aus einem Messlauf am 31. August 2026 über alle zehn Apps, nicht aus einer Schätzung. Sie beschreiben den Stand an diesem Tag.

• 158 automatisierte Testfälle in 18 Testdateien, verteilt über alle zehn Apps. Beim Nachmessen liefen zehn von zehn Testläufen grün durch, keiner scheiterte. Geprüft wird die Kernlogik getrennt von der Oberfläche: Die Rechenlogik jeder App ist eine eigene, seiteneffektfreie Einheit, die ohne Jira testbar ist. Fünf Apps testen zusätzlich die Anwendungsschicht gegen nachgebaute Forge-Schnittstellen.
• Neun von zehn Apps fordern kein einziges Schreibrecht auf Ihre Jira-Daten. Die eine Ausnahme ist Tree Clone, bei der das Anlegen von Vorgängen der Zweck ist. Keine App fordert mehr als zwei Berechtigungen, und in keinem der zehn Forge-Manifeste ist eine externe Domain oder ein Datenabfluss deklariert.
• Ein zentrales Prüfmodul mit dreizehn Stufen begleitet jede App von der Marktrecherche bis nach der Veröffentlichung. Dieses Modul hat 83 eigene Tests, prüft also sich selbst.
• Kein Sprachmodell gibt eine App frei. Die Freigabestufe weist Agenten-Kennungen aktiv zurück, samt getarnter Schreibweisen mit kyrillischen Buchstaben. Und den unabhängigen Zweitreview darf nicht dieselbe Modellfamilie machen, die den Code geschrieben hat.

Was bei den Apps ausdrücklich offen ist

Zu jeder App führe ich eine Matrix von Fehlerklassen, von fehlenden Berechtigungen bis zum Netzwerkabbruch. Jede Zelle trägt einen Status, und offene Zellen bleiben sichtbar offen, statt stillschweigend zu verschwinden. Aktuell sind von 120 Pflichtzellen 22 geprüft, 26 nicht anwendbar und 72 offen. Offen sind vor allem die selteneren Fehlerpfade wie Rate-Limits, API-Fehler und Netzwerkabbrüche; die Kernlogik deckt die Testreihe oben ab.

Zwei weitere offene Punkte: Die späten Stufen des Prüfmodells (Marketplace-Release, Doku-Vollständigkeit, Freigabe, Nachlauf) haben für die aktuellen Apps noch keine hinterlegten Ergebnisse. Und eine App ist an der Stufe zur Implementierungsqualität blockiert, weil ihre Abhängigkeiten fünf hoch bewertete Schwachstellen tragen. Beides steht so in den Prüfprotokollen und wird abgearbeitet.

Wie nötig diese Skepsis ist, zeigt ein Fund aus der eigenen Arbeit: Bei Tree Clone blieb eine absichtlich eingebaute Sabotage zunächst grün, weil die Testdaten schon vorsortiert waren. Die Messung war blind. Nach der Härtung schlug dieselbe Sabotage an drei Stellen an. Ein grüner Test beweist erst dann etwas, wenn man ihn einmal hat scheitern sehen.

Grenzen

„Getestet“ ist eine Ingenieurs-Aussage, keine Rechtsberatung und kein Zertifikat. Die Zahlen auf dieser Seite beschreiben den Stand des Prüflaufs vom 31. August 2026; nach größeren Änderungen wird erneut gemessen.