Automatisierte Softwaretests: Was sie leisten und was KI ändert
Automatisierte Softwaretests senken Risiko und Folgekosten Ihrer Software. Was sie leisten, wo KI beim Testen hilft und was Sie mit Ihrem Dienstleister klären sollten.
Automatisierte Softwaretests sind kleine Prüfprogramme, die bei jeder Änderung kontrollieren, ob Ihre Software noch tut, was sie soll. Sie machen Fehler sichtbar, bevor Ihre Mitarbeiter:innen oder Kund:innen sie bemerken, und sie sind die Voraussetzung dafür, dass Änderungen auch nach Jahren noch schnell und gefahrlos möglich sind. KI-Werkzeuge schreiben solche Tests inzwischen in Sekunden. Ob ein Test das Richtige prüft, müssen aber weiterhin Menschen entscheiden.
Was automatisierte Softwaretests sind
Bei einem manuellen Test klickt sich jemand durch die Anwendung und vergleicht das Ergebnis mit der Erwartung. Ein automatisierter Test macht dasselbe als Programm: Er ruft eine Funktion auf oder bedient die Oberfläche und prüft, ob das Ergebnis stimmt. Ein Beispiel aus einer Preisberechnung: „Bei einer Bestellung von zehn Stück mit Mengenrabatt muss der Gesamtpreis 450 Euro betragen.“ Ändert später jemand die Rabattlogik und das Ergebnis stimmt nicht mehr, schlägt der Test fehl, und zwar Minuten nach der Änderung und nicht erst bei der nächsten Rechnung.
Üblich sind drei Ebenen:
| Testart | Was geprüft wird | Tempo | Typischer Anteil |
|---|---|---|---|
| Unit-Test | Ein einzelner Baustein, etwa eine Berechnung | Millisekunden | sehr viele |
| Integrationstest | Das Zusammenspiel mit Datenbank oder Schnittstellen | Sekunden | einige |
| End-to-End-Test | Ein ganzer Ablauf aus Sicht der Nutzer:innen | Sekunden bis Minuten | wenige |
Diese Verteilung ist als Testpyramide bekannt. Der viel zitierte Fachartikel „The Practical Test Pyramid“ fasst sie in zwei Regeln zusammen: Tests in unterschiedlicher Granularität schreiben, und je umfassender die Ebene, desto weniger Tests. Der Grund ist praktisch: Umfassende Tests geben viel Sicherheit, sind aber langsam und störanfällig.
Warum sich Tests für Auftraggeber:innen rechnen
Tests sieht man in keiner Präsentation. Ihren Wert merken Sie an vier Stellen:
- Risiko: Jede Änderung kann an anderer Stelle etwas kaputt machen. Tests fangen solche Seiteneffekte ab, bevor sie im Betrieb auffallen.
- Kosten: Ein Fehler, der wenige Minuten nach dem Programmieren auffällt, ist schnell behoben. Derselbe Fehler im Echtbetrieb bedeutet Suche, Korrektur, erneute Auslieferung und oft Ärger bei den Anwender:innen.
- Zeit: Ohne automatisierte Tests muss vor jeder Auslieferung von Hand geprüft werden. Das dauert mit jeder neuen Funktion länger, und irgendwann werden Updates aus Vorsicht aufgeschoben.
- Unabhängigkeit: Tests dokumentieren, wie sich die Software verhalten soll. Das hilft, wenn Jahre später neue Entwickler:innen oder ein anderer Dienstleister daran arbeiten.
Das Forschungsprogramm DORA, das seit Jahren untersucht, was leistungsfähige Softwareteams ausmacht, kommt zu einem klaren Befund: Laufen Tests bei jeder Änderung automatisch mit, verbessert das die Stabilität der Software und entlastet das Team. Als Richtwert nennt DORA in seinem Leitfaden zur Testautomatisierung, dass Entwickler:innen die Rückmeldung der Tests in weniger als zehn Minuten erhalten sollten.
Wie wichtig eine solche eingespielte Routine im Ernstfall ist, hat zuletzt die PHP-Sicherheitslücke php2shell gezeigt: Wer ein Sicherheitsupdate automatisch testen und ausrollen kann, reagiert in kurzer Zeit statt in Tagen.
Was KI beim Testen heute übernimmt
KI-Assistenten und KI-Coding-Agenten sind beim Testen besonders nützlich, weil das Ergebnis sofort ausführbar ist. Typische Einsatzfelder:
- Testfälle für bestehenden Code vorschlagen, inklusive Randfällen wie leeren Eingaben oder Grenzwerten
- Testdaten erzeugen
- fehlgeschlagene Tests erklären und Ursachen eingrenzen
- bestehende Tests nach einem Umbau anpassen
Das spart Tipparbeit und senkt die Hürde, auch ältere Software nachträglich abzusichern. Die Hersteller selbst mahnen jedoch zur Kontrolle. GitHub schreibt in seiner Anleitung zum Testen mit Copilot, dass die erzeugten Tests möglicherweise nicht alle Szenarien abdecken und der generierte Code immer geprüft werden sollte.
Wo KI-generierte Tests an Grenzen stoßen
Ein Test ist nur so gut wie die Erwartung, die in ihm steckt. Genau dort liegt die Schwäche von KI-generierten Tests:
- Der Test bestätigt, was der Code tut, nicht was er tun soll. Eine KI leitet die Erwartung meist aus dem vorhandenen Code ab. Rechnet der Code falsch, schreibt sie den falschen Wert als „richtig“ fest. Der Test ist grün, der Fehler bleibt.
- Fachregeln kennt die KI nicht. Welche Rabatte gelten, welche Fristen einzuhalten sind oder wann eine Buchung ungültig ist, steht in Ihrem Unternehmen und nicht im Code.
- Tests können erfunden oder oberflächlich sein. Eine groß angelegte Studie, die 2026 von der Fachzeitschrift Empirical Software Engineering angenommen wurde, hat 216.300 von Sprachmodellen erzeugte Testfälle ausgewertet. Die Tests waren meist besser lesbar als jene klassischer Testgeneratoren, doch Fehler durch „halluzinierte“, also erfundene Programmteile blieben hartnäckig: Je nach Konstellation scheiterten bis zu 86 Prozent der Tests bereits beim Übersetzen in ein lauffähiges Programm. Untersucht wurden ältere Modelle wie GPT-4, die Zahlen lassen sich also nicht eins zu eins auf heutige Werkzeuge übertragen. Die Schlussfolgerung der Autor:innen bleibt dennoch bedenkenswert: Generierte Tests brauchen eine zusätzliche, automatisierte Prüfung.
- Viele Tests sind nicht automatisch gute Tests. Eine hohe Testabdeckung sagt nur, welcher Code durchlaufen wurde, nicht, ob die Ergebnisse geprüft wurden.
Dazu kommt das Thema Daten: Echte Daten von Kund:innen oder Mitarbeiter:innen gehören weder in Testfälle noch ungeprüft in ein KI-Werkzeug. Bei personenbezogenen Daten ist das eine Frage der DSGVO und sollte vertraglich geregelt sein.
So entsteht eine sinnvolle Teststrategie
Eine gute Teststrategie beginnt nicht beim Werkzeug, sondern bei der Frage: Was darf in dieser Software auf keinen Fall schiefgehen?
- Kritische Abläufe benennen. Gemeinsam mit dem Entwicklungsteam legen Sie fest, welche Funktionen geschäftskritisch sind, etwa Preisberechnung, Abrechnung, Berechtigungen oder Schnittstellen.
- Beispiele liefern. Konkrete Fälle aus Ihrem Alltag („Kundin bestellt A und B, erwartet wird C“) sind die beste Grundlage für Tests. Hier ist Ihr Fachwissen gefragt.
- Tests in die Auslieferung einbauen. Tests laufen automatisch bei jeder Änderung. Ist einer rot, wird nicht ausgeliefert.
- KI gezielt einsetzen. Die KI schreibt Entwürfe und ergänzt Randfälle, Entwickler:innen prüfen im Code-Review, ob die Erwartungen fachlich stimmen.
- Tests pflegen. Unzuverlässige Tests, die einmal grün und einmal rot sind, untergraben das Vertrauen. DORA rät, solche Tests nicht zu dulden, und hält wenige verlässliche Tests für wertvoller als viele, denen niemand traut.
In agilen Projekten passt das gut zusammen: Sie sehen regelmäßig lauffähige Zwischenstände, und Ihre Rückmeldungen fließen als neue Testfälle in die Software ein. So arbeiten wir bei gecko-flow in der individuellen Softwareentwicklung. Beim Aquarium-Konfigurator sichern zum Beispiel rund 75 automatisierte Testklassen die Preislogik ab, bei der TAF-App laufen automatisierte Tests bei jeder Änderung in der Auslieferungspipeline.
Typische Fehler
- Tests werden „später“ geschrieben und fallen dem Termindruck zum Opfer.
- Es gibt nur Tests über die Oberfläche. Sie sind langsam und brechen bei jeder Designänderung.
- Eine Prozentzahl zur Testabdeckung wird zum Ziel erklärt, statt die kritischen Abläufe abzusichern.
- KI-generierte Tests werden ungelesen übernommen.
Fragen, die Sie Ihrem Dienstleister stellen sollten
- Welche Abläufe sind durch automatisierte Tests abgesichert, welche nicht?
- Laufen die Tests bei jeder Änderung automatisch, und was passiert, wenn einer fehlschlägt?
- Wie lange dauert ein Testlauf?
- Wie setzen Sie KI beim Testen ein, und wer prüft die erzeugten Tests?
- Mit welchen Daten wird getestet?
- Bekomme ich die Tests gemeinsam mit dem Quellcode übergeben?
Weitere Kriterien für die Auswahl finden Sie im Beitrag Software entwickeln lassen in Salzburg.
Häufige Fragen
Machen automatisierte Tests die Entwicklung teurer?
Am Anfang ja, denn Tests zu schreiben kostet Zeit. Über die Lebensdauer einer Software sparen sie in der Regel Aufwand, weil Fehler früher auffallen und Änderungen ohne langes manuelles Nachprüfen möglich sind. Je länger eine Software im Einsatz ist und je öfter sie geändert wird, desto deutlicher wird dieser Effekt.
Ersetzen automatisierte Tests die Abnahme durch uns als Auftraggeber:innen?
Nein. Tests prüfen, ob die Software sich so verhält wie festgelegt. Ob das Festgelegte im Alltag passt, zeigt sich erst, wenn Sie die Software mit echten Abläufen ausprobieren. Beides gehört zusammen.
Kann KI die Tests nicht komplett alleine schreiben?
Sie kann Entwürfe liefern und viel Routinearbeit abnehmen. Was fachlich richtig ist, weiß sie aber nicht von selbst. Darum braucht es Beispiele von Ihnen und Entwickler:innen, die jeden Test lesen und verantworten.
Nächster Schritt
Sie planen eine neue Software oder möchten eine bestehende Anwendung besser absichern? Wir sehen uns gemeinsam mit Ihnen an, welche Abläufe kritisch sind und wie eine passende Teststrategie aussieht. Nehmen Sie Kontakt auf, das Erstgespräch ist unverbindlich.