Eine Regressions-Testsuite ist eine Aussage über das, was Sie bereits wissen. Jedes Szenario darin existiert, weil jemand einmal daran gedacht, es aufgeschrieben und für wichtig befunden hat. Das ist ihre Stärke: Sie ist ein Vertrag, sie läuft unbeaufsichtigt, und sie hält vor einem Audit stand. Das ist zugleich ihre Grenze. Die Suite findet nie das, woran niemand gedacht hat, und genau von dort kommt ein hartnäckiger Teil der Störungen im Betrieb.
Die Testsuite bleibt, wo sie ist
Unsere Haltung zur Testautomatisierung hat sich nicht geändert und wird sich nicht ändern. Eine Testsuite mit Framework-Unterstützung, Szenarien in Gherkin, damit das Business denselben Satz liest, den die Entwicklung automatisiert, unbeaufsichtigt auf jeder Stufe Richtung Release. Über den Unterschied zwischen dieser Suite und einem Häkchen in einer Tabelle haben wir bereits geschrieben, und er bleibt der grösste einzelne Hebel dafür, ob Software ihren Wert über fünf Jahre hält.
Was folgt, richtet sich an alle, die bereits eine Regressionssuite besitzen und sich fragen, was Modelle daran ändern. Ohne diese systematische Basis findet Exploration zwar trotzdem etwas. Es gibt nur keinen Ort, an dem es landen kann. Ein Fund wird einmal behoben, nichts hält ihn davon ab wiederzukommen, und Testen wird zu etwas, das man berichtet, statt zu etwas, das man besitzt.
Aufzuschreiben, was ein Feature kann, ist eine Schreibaufgabe
Bevor irgendetwas getestet werden kann, muss jemand sagen, wozu ein Feature überhaupt in der Lage ist. Welche Eingaben es annimmt und wo deren Grenzen liegen, welche Rolle was darf, jede Sprache und jeder Steuersatz, die stimmen müssen. Die Zustände, in denen eine Bestellung oder ein Patientendossier sein kann, und die Sprünge dazwischen, die eigentlich unmöglich sein sollten. Sauber gemacht ist das langsame Arbeit, und in vielen Teams passiert sie am Ende eines Sprints, also schlecht.
Dieser Teil ist Schreiben, und kleine schnelle Modelle können das gut. Wir setzen sie heute routinemässig dafür ein: die Dimensionen eines Features auflisten, die Grenzfälle erzeugen, die Rechtematrix gegen den Zustandsautomaten kreuzen und einem Menschen eine Liste zum Streichen hinlegen statt ein leeres Blatt. Das Modell ist grosszügig und gelegentlich albern, die Entwicklerin streicht zwei Drittel davon, und was übrig bleibt, deckt mehr ab als dieselbe Person in derselben Stunde ohne Hilfe geschrieben hätte. Für den Unterhalt der Suite gilt dasselbe: Selektoren über ein Redesign hinweg am Leben halten, ein Szenario in drei Sprachen übertragen, oder sagen, welche der vierzig Fehlschläge einer roten Pipeline eine gemeinsame Ursache haben.
Das ist im Wesentlichen gemeint, wenn wir sagen, KI kauft Tempo, keine Erlaubnis. Die Suite wurde grösser und günstiger im Unterhalt, und die Karte wurde besser gezeichnet. Keines von beidem läuft das Gelände ab.
Jeden Weg abzulaufen ist eine Urteilsaufgabe
Exploratives Testen ist die Disziplin, gezielt nach dem Nichtspezifizierten zu suchen: jemand mit Produktwissen bedient die Anwendung, bildet eine Vermutung, geht dem Seltsamen nach und erkennt einen falschen Bildschirm, obwohl keine Prüfung das sagt. Nach unserer Erfahrung bringt es eine Fehlerklasse hervor, nach der die Suite nicht sucht, aus einem einfachen Grund: Die Suite kennt nur, was bereits aufgeschrieben wurde.
Wir setzen dafür bereits kleine Modelle ein, und es funktioniert. Ein günstiges Modell lässt sich fragen, ob ein Bildschirm kaputt aussieht, ob ein Weg schon abgedeckt ist, ob eine Fehlermeldung ein echter Defekt ist oder die Validierung, die ihre Arbeit tut. Es wird nach neunzig Minuten nicht müde, und es überspringt die langweilige Ecke der Matrix nicht.
Umsonst ist es deswegen nicht. Jede dieser Fragen ist eine geschriebene Antwort: Tokens hinaus, eine Sekunde Wartezeit, und eine Position auf der Rechnung. Die günstige Klasse ist heute wirklich günstig, und sie umfasst mehr als einen Anbieter:
- Die Claude-Haiku-Familie: das kleine, schnelle Ende des Anthropic-Angebots.
- Die Gemini-Flash-Lite-Familie: Googles Klasse für hohe Volumen.
- Offene Modelle, selbst gehostet in der Schweiz: Llama, Mistral, Qwen, Gemma. Der stärkste Schutz, den Ihr geistiges Eigentum bekommen kann, weil überhaupt nichts Ihre eigene Infrastruktur verlässt.
Jede davon ist bei ein paar hundert Entscheidungen pro Lauf bequem. Bei ein paar hunderttausend, und so sieht das ernsthafte Ablaufen einer grossen Anwendung aus, wird die Wartezeit lange vor der Rechnung zum Engpass. Also bleibt Exploration rationiert: breiter als früher, aber rationiert.
Ein Modell, das aufs Schreiben verzichtet
Im September 2026 hat TypeSafe AI Jev veröffentlicht, das erste einer Gattung, die das Unternehmen System-One-Modelle nennt, angelehnt an Kahnemans schnelle, intuitive Art zu denken. Der Tausch ist ungewöhnlich: Es verzichtet vollständig aufs Schreiben und kann weder Satz noch Test noch Begründung erzeugen. Zurück kommt stattdessen ein typisierter Wert mit kalibrierter Konfidenz, in einem einzigen Durchgang.
Drei Formen decken das meiste ab: eine Wahrscheinlichkeit für eine Ja-Nein-Frage, eine Verteilung über vorab definierte Optionen, bis zu 255 davon, für eine Auswahlfrage, und ein gewichteter Wert auf einer Skala, die Sie festlegen, für eine Bewertung. Weil nichts geschrieben wird, landet das Ganze in 70 bis 500 Millisekunden, und die Kosten der erzeugten Tokens fallen vollständig weg. Gegenüber der günstigen Schreibklasse ist das eine andere Grössenordnung, kein Rabatt.
Jev steht mit dieser Form nicht allein: Laya hat dieselbe Idee 2025 als offenes Modell erkundet und ist noch schneller, und seither sind einige offene Verwandte dazugekommen. Die Gattung zählt mehr als der Anbieter, und das trifft sich gut, denn Jev selbst steht hinter einer Warteliste.
Wo ein Entscheidungsmodell sitzt
Ein Entscheidungsmodell kann von sich aus gar nichts erkunden. Was es kann, ist die Urteilsfragen beantworten, die ein Explorationslauf auswirft, und die Struktur dieses Laufs bleibt dieselbe, ob das Urteil einem kleinen Schreibmodell oder einem Entscheidungsmodell zufällt.
- 1 Regressionssuite Was bereits spezifiziert ist, läuft unbeaufsichtigt bei jedem Schritt Richtung Produktion. Das ist der Ausgangspunkt, und er bewegt sich nicht. deterministisch
- 2 Exploration Ein Crawler zählt die vom aktuellen Zustand aus erreichbaren Aktionen auf. Kein Modell handelt an seiner Stelle: es kann weder klicken noch tippen noch navigieren. deterministisch
- 3 Entscheidungsmodell Welcher Kandidat sich lohnt, ob dieser Bildschirm schon gesehen wurde, ob darauf etwas falsch aussieht. Ein typisierter Wert als Antwort, kein Satz. Entscheidungsmodell
- 4 Deterministische oder menschliche Bestätigung Eine deterministische Prüfung oder ein Mensch bestätigt den Fund, bevor er zum Fehlerbericht wird. Das Modell schlägt vor, wo zu schauen ist. Es entscheidet nie, was wahr ist. deterministisch oder Mensch
- 5 Neuer Regressionstest Ein Schreibmodell formuliert die Reproduktionsschritte und das Gherkin-Szenario, sobald tatsächlich etwas gefunden wurde. Schreibmodell
Das ist die Schleife, die wir heute fahren. Dieses Urteil einem Entscheidungsmodell zu übergeben ändert ihre Form nicht. Es ändert, was ein Schritt kostet, und die Kosten pro Schritt entscheiden über zwei Dinge. Das erste ist, wie viel der Anwendung ein Lauf ablaufen kann. Das zweite ist, wie schnell das Urteil zurückkommt, und das ist die Hälfte, die der Betrieb tatsächlich spürt. Bei einem Kunden läuft eine schnelle Prüfung die zehn Benutzerwege ab, die eine Änderung berührt haben könnte, auf der Testumgebung, und kommt zurück, solange die Entwicklerin ihre Änderung noch im Kopf hat. Was sie am häufigsten fängt, sind Features, die als Nebenwirkung kaputtgegangen sind: etwas neben der Änderung, an dessen Wiederöffnen niemand gedacht hat. Die vollständige Suite läuft weiterhin und bestätigt es später, oft wenn die Korrektur schon drin ist. Eine aktuelle Arbeit verdrahtet Jev und Laya an genau vier solchen Stellen in ein quelloffenes Penetrationstest-Gerüst und berichtet Entscheidungslatenzen von rund 250 Millisekunden für Jev und 35 für Laya. Die Autoren sagen deutlich, dass es ein einzelner Lauf gegen ein einzelnes Ziel war: ein Entwurfsvorschlag mit motivierenden Beobachtungen, und so lesen wir ihn.
Eine Technik lohnt sich unabhängig vom Modell: Diese Modelle sind bei relativen Urteilen deutlich besser als bei absoluten. Verlangen Sie keine Bewertung für jede einzelne Kandidatenaktion. Geben Sie sie in Stapeln hinein und lassen Sie einen zweiten Durchgang über die Gewinner laufen.
Was das Haus tatsächlich verlässt
Etwas an ein Modell zu schicken, das man nicht selbst betreibt, ist eine Frage, die man laut stellen sollte, besonders für Kunden, die einem Regulator Rechenschaft schulden. Für diese Schleife fällt die Antwort bequem aus.
Was hinausgeht, ist klein und langweilig. Ein Fingerabdruck des aktuellen Bildschirms, eine Liste möglicher nächster Aktionen und eine eng gefasste Frage dazu. Kein Dokument, kein Datensatz, keine Historie. Und es zielt auf eine Testumgebung: erfundene Patientinnen, erfundene Bestellungen, erfundene Menschen. Die Produktionsdatenbank ist nie im Spiel, denn der ganze Sinn ist, gegen einen Build zu laufen, bevor echte Menschen darauf sind. Was ein Entscheidungsmodell zurückgibt, ist eine Zahl, und eine Zahl kann nichts ausplaudern, was sie nicht bekommen hat.
Wo ein Kunde mehr braucht, sind die Möglichkeiten heute gut: ein offenes Modell, selbst gehostet in der Schweiz, zu dem wir greifen, wenn es um geistiges Eigentum geht, oder ein Schweizer Endpunkt wie Infomaniak, der dieselben offenen Modelle aus Rechenzentren hier liefert, keine Aufzeichnung der Anfragen hält und unter DSG und DSGVO arbeitet. Es ist dieselbe Frage der Rechtsordnung, die schon entscheidet, wo wir Kundenplattformen betreiben, angewendet auf ein weiteres Stück des Stapels: keine Kundendaten in öffentlichen Modellen ohne ausdrückliche Zustimmung, und ein Schweizer oder EU-Endpunkt, wenn die Arbeit es verlangt.
Worauf wir uns freuen
Das Urteil war der teure Anteil, und genau das ändert ein Entscheidungsmodell: eine Grössenordnung, keine Spanne.
Wir haben Jev nicht laufen lassen. Es ist Tage alt, steht hinter einer Warteliste und nimmt noch keine Bilder, ein Lauf muss also mit der Seitenstruktur arbeiten statt mit einem Screenshot. Die eigene Dokumentation führt Zahlen, Daten und feindselige Eingaben in der Schwächespalte. Das dämpft das Interesse kaum. Jev ist die erste glaubwürdige Antwort auf die Hälfte des Testens, die nie günstiger wurde, und wir werden es zuerst auf unsere eigenen Anwendungen richten, neben eine Suite, die bereits grün ist. Die Messlatte ist keine beeindruckende Demo. Sie ist, zweimal etwas zu finden, das die Suite übersehen hat, ohne uns unter Fehlalarmen zu begraben. Wir berichten, was dabei herauskommt, so oder so.
Zwei Probleme, zwei Arten von Modell
Die Testsuite bleibt das Kapital. Nichts hiervon holt ein Szenario aus Gherkin heraus, und nichts hiervon ändert, was vor einem Release grün sein muss.
Neu ist, dass Aufschreiben und Ablaufen zwei verschiedene Probleme sind. Aufschreiben ist Schreibarbeit, und kleine schnelle Modelle erledigen das heute gut genug, dass wir nicht mehr bei einem leeren Blatt anfangen. Ablaufen ist Urteilsarbeit, ein Aufruf nach dem anderen, tausendfach. Das Urteil ist der Anteil, der teuer geblieben ist.
Die Suite aktuell zu halten und die Explorationsläufe günstig zu halten, ist bei uns eine Daueraufgabe, kein Projekt. Entscheidungsmodelle sind das Interessanteste, was der zweiten Hälfte davon seit Jahren passiert ist, und wir schauen genau hin.
