Agentische KI steuern: Governance für autonome Systeme

Über Jahrzehnte hinweg führten Softwaresysteme Anweisungen aus, die von Menschen geschrieben wurden. Wenn sie scheiterten, war der Grund meist nachvollziehbar: Ein Fehler ließ sich auf eine Codezeile, eine Regel oder eine fehlende Bedingung zurückführen und damit prinzipiell auch die Verantwortlichkeit.

KI hat diesen Ansatz still und leise verändert.

Immer häufiger treffen Softwaresysteme eigenständige Entscheidungen und handeln entsprechend. So planen KI-Agenten heute Meetings, verhandeln Preise, genehmigen Kredite und rufen Tools auf, ohne auf eine menschliche Überprüfung zu warten. Der entscheidende Unterschied ist nicht die technische Komplexität sondern die Autonomie dieser Systeme.

Von deterministischen Programmen zu autonomen Systemen

Klassische Softwareentwicklung ist deterministisch: Gleiche Eingabe, gleiche Ausgabe. Maschinelles Lernen hat dieses Prinzip durch probabilistisches Verhalten aufgebrochen. Agentische KI verschiebt die Grenze noch weiter, weil sie Autonomie und langfristiges Schlussfolgern (Long horizon reasoning) einführt.

Ein KI-Agent interpretiert Ziele, plant und führt Aktionen aus, ruft Schnittstellen dynamisch auf, verwaltet seinen eigenen Systemzustand und Erfahrungen (eine Art KI-Gedächtnis), passt Strategien anhand von Ergebnissen an und koordiniert sich mit anderen Agenten.

Verhalten basiert damit nicht mehr auf einem einzelnen Modell, sondern aus dem Zusammenspiel von Modellen, Tools, KI-Gedächtnis, Richtlinien und Umgebungen. Informelle Governance reicht nicht mehr aus. Ohne explizite Kontrolle verlieren Organisationen die Möglichkeit, Verhalten einzuschätzen, Risiken einzugrenzen oder die Ursache eines Fehlers nachvollziehbar zu rekonstruieren.

Von deterministischen Programmen zu autonomen Systemen

Um diesen Umbruch zu verstehen, hilft ein Blick auf die Evolution von Software und wie sie sich hinsichtlich Verhaltensregeln, Zurechenbarkeit und Steuerung verändert hat.

Hier reicht informelle Governance nicht mehr aus. Ohne explizite Steuerung verlieren Organisationen die Möglichkeit, Verhalten einzuschätzen, Risiken einzugrenzen oder die Ursache eines Fehlers nachvollziehbar zu rekonstruieren.

Warum Governance jetzt mehr denn je zählt

Damit verschiebt sich auch das Risikoprofil. Risiken entstehen nicht nur durch einzelne Entscheidungen und Einschätzungen, sondern durch Planungsfehler, den unsachgemäßen Einsatz von Tools und damit einhergehende Folgen, durch ein „kontaminiertes“ KI-Gedächtnis, dass zu Fehleinschätzungen führt, sowie durch externe Angriffsvektoren wie Prompt Injection und Instruction Hijacking. Diese Fehler können sich zusätzlich über Agentennetzwerke fortpflanzen und unerwartetes Systemverhalten auslösen, dass nicht auf eine einzelne Komponente zurückführbar ist.

Traditionelle Governance-Frameworks sind daher nicht ausreichend. Governance muss auch Orchestrierung, Tool-Richtlinien, die Kommunikation zwischen Agenten und klare Ausführungsgrenzen beinhalten.

Sobald ein Agent Aktionen über mehrere Systeme hinweg verknüpft, wird Verantwortlichkeit daher zur Architekturfrage.

Fünf zentrale Säulen für die KI-Governance

Die klassischen Säulen von English bleiben grundsätzlich auch im KI-Kontext bestehen, sie müssen jedoch weiterentwickelt werden, um Autonomie, Orchestrierung und multimodales Schlussfolgern abzudecken.

1. Verantwortlichkeit und Zuständigkeit

In agentischen Systemen muss Governance Verantwortung über die gesamte Aktionskette hinweg zuweisen: von der Zieldefinition und Richtlinien bis hin zu Monitoring und Rollback. Für jede Aktion muss nachvollziehbar sein, wer sie autorisiert hat, welche Richtlinie sie erlaubt, welcher Agent sie entschieden hat und welcher Kontext sie beeinflusst hat.

Dafür braucht es belastbare Prüfprotokolle über Schlussfolgerungsschritte, Tool-Aufrufe und Zustandsübergänge. Ohne diese Nachvollziehbarkeit ist ein Systemvorfall praktisch nicht aufklärbar.

2. Transparenz und Erklärbarkeit

Stakeholder fragen zunehmend: Warum wurde dieses Ziel gewählt? Warum dieser Plan? Warum wurden genau diese Tools aufgerufen? Eine Governance muss deshalb sicherstellen, dass sich Entscheidungen über den gesamten Handlungsverlauf nachvollziehen lassen – inklusive Schlussfolgerungsketten, Zwischenannahmen und Planungsalternativen.

Ohne diese Transparenz werden regulatorische Prüfungen, Vorfallanalysen, Sicherheitsvalidierungen und die Zuordnung von Verantwortung massiv erschwert während gleichzeitig das Vertrauen der Nutzer in eine Lösung sinkt.

3. Fairness und Auswirkungen auf Menschen

Agentische Systeme erzeugen Rückkopplungseffekte: Entscheidungen beeinflussen künftige Daten, diese trainieren das nächste Modell, und das Modell prägt wiederum den nächsten Agenten. So können sich kleine Unregelmäßigkeiten über die Zeit zu strukturellen Abweichungen ausbilden.

Eine Governance muss Fairness daher nicht nur pro Entscheidung bewerten, sondern über Handlungsstränge hinweg, für unterschiedliche Nutzergruppen und im Zeitverlauf.

Bei der Bewertung der Auswirkungen auf den Menschen, müssen kumulative Ausgrenzungen oder Benachteiligungen genauso berücksichtigt werden wie die menschliche Neigung, automatisierten Systemen übermäßig zu vertrauen (Automation Bias) oder den Abbau menschlicher Fähigkeiten durch Routineautomatisierung. Hinzu kommen psychologische Effekte bei der Interaktion mit Agenten, neue Machtsymmetrien zwischen Nutzern und autonomen Systemen sowie die wachsende institutionelle Abhängigkeit von intransparenter Automatisierung. Fairness wird damit zu einer langfristigen Systemeigenschaft und nicht zu etwas, das sich allein über statische Evaluationsdatensätze erfassen lässt.

4. Zuverlässigkeit und Sicherheit

Agentische Systeme scheitern anders als klassische Software. Sie können Pläne erfinden, falsche Teilziele hartnäckig verfolgen, unbeabsichtigte Schlupflöcher ausnutzen, Stellvertreterziele überoptimieren oder unerwartet zusammenwirken – mit dem Effekt, dass Schaden verstärkt, statt begrenzt wird.

Governance muss Autonomie deshalb gezielt begrenzen: durch klare Ausführungslimits, definierte Kontrollpunkte, Schwellenwerte für Aktionen unter Berücksichtigung von Unsicherheit sowie Rollback- und Kompensationsmechanismen – unterstützt durch simulationsbasierte Sicherheitstests.

5. Datenschutz und IT-Sicherheit

Agentische Systeme bauen ein KI-Gedächtnis auf. Sie beobachten Nutzer. Sie integrieren Informationen über Systemgrenzen hinweg. Sie handeln mit delegierter Autorität. Dadurch entstehen neue Risiken für Datenschutz und IT-Sicherheit, darunter langfristiges Profiling, der Verlust von gespeichertem Wissen über Sitzungen hinweg, systemübergreifende Inferenzangriffe, „Prompt Injection“ in die Planungslogik und die Ausweitung von Tool-Berechtigungen.

„Privacy-by-Design“ muss daher über Datenerhebung und Speicherung hinausgehen. Governance umfasst auch das Management des Gedächtnis-Lebenszyklus, strikte Kontexttrennung, robuste Berechtigungsmodelle für Tools, präzise Abgrenzung von Fähigkeiten sowie kontinuierliche Angreifer-Tests, um neue Risiken frühzeitig zu erkennen und zu reduzieren.

Teststrategien und Methodiken

Wenn wir von agentischer KI sprechen, ist Testing der wichtigste Sicherheitsmechanismus, um Autonomie zu begrenzen, Risiken sichtbar zu machen und nachzuweisen, dass Systeme mit rechtlichen, ethischen und organisatorischen Erwartungen übereinstimmen. Weil agentische Systeme lernen, planen, erinnern und kontinuierlich interagieren, muss Testing nicht nur die Korrektheit in einem Moment prüfen. Entscheidend ist Verhalten über Zeit, über Kontexte hinweg und bei absichtlicher Fehlanwendung.

Die folgenden Testdimensionen bilden die Grundlage wirksamer Governance für agentische KI-Systeme:

1. Datentests und Datenvalidierung

Daten bleiben der erste Treiber für Systemverhalten. Organisationen müssen prüfen, ob Trainings- und Betriebsdaten relevante Nutzergruppen, Kontexte und Modalitäten angemessen abbilden, und zugleich Proxy-Variablen, latente Verzerrungen, inkonsistente Labels sowie unbeabsichtigte Datenleckagen zwischen Training, Validierung und Produktion erkennen.

In Systemen mit KI-Gedächtnis und Tool-Integration reicht Data Governance zudem in den Laufzeitbetrieb hinein: Eine mögliche Kontamination des KI-Gedächtnisses über Sitzungen hinweg muss überwacht werden, kontextübergreifender Datenabfluss muss verhindert werden, und extern generierte Daten müssen validiert werden, bevor sie wieder in den Schlussfolgerungskreislauf zurückfließen.

2. Bias- und Fairness-Tests

Bias-Tests entwickeln sich von punktuellen Messungen hin zu kontinuierlicher Beobachtung. Governance bewertet, wie Subgruppen über komplette Entscheidungsketten behandelt werden, wie sich Unterschiede aufbauen, und wie alternative Pläne Ergebnisse unter kontrafaktischen Bedingungen verändert hätten. Bei dialogbasierten und generativen Agenten prüfen Fairness-Tests außerdem toxische Inhalte, Stereotypisierung und unterschiedliche Ablehnungsraten. Fairness wird damit zur einer wichtigen Eigenschaft in einer langfristigen Interaktion und erfordert eine laufende Messung statt gelegentlicher Zertifizierung.

3. Absicherung agentischer Systeme

In Systemen, die eigenständig planen und handeln, sind sogenannte "Red Teaming" Tests unverzichtbar. Diese Tests (auch Adversarial Testing genannt) untersuchen, wie Systeme auf Manipulation von Eingaben und Anweisungen, den Missbrauch von Tools und Berechtigungen oder die Umgehung von Richtlinien reagieren. Betrachtet werden dabei Risiken wie Datenabfluss, Modellinversion und das Einprägen von Trainingsinhalten.

In agentischen Umgebungen zielen Angriffe zunehmend auf den Planungsprozess: Ziele werden umgeschrieben, das KI-Gedächtnis manipuliert oder Aktionen über autorisierte Grenzen hinaus erzwungen. Durch Red Teaming und Adversarial Testing transformieren wir den Umgang mit solchen Risiken – weg von einer rein reaktiven Problembehebung, hin zur präventiven Analyse. Das Ziel ist, Sicherheitslücken frühzeitig zu entdecken und zu schließen, bevor es zu einem kritischen Zwischenfall kommt.

4. Validierung generativer KI und von Planungsverhalten

Generative Komponenten benötigen eine eigene Bewertung. Zentrale Risiken sind Halluzinationen, faktische Konsistenz, korrekte Attribution und Zitation, Datenabfluss aus dem Training sowie toxische oder schädliche Inhalte. Bei generativen Agenten umfasst Testing zusätzlich das Planungsverhalten: erfundene Pläne, unbegründete Tool-Aufrufe und Überkonfidenz müssen erkannt werden. In Bereichen mit direktem Einfluss auf Rechte, Sicherheit oder finanzielle Ergebnisse reichen automatisierte Metriken nicht aus. Strukturierte menschliche Reviews bleiben essenziell.

5. System- und End-to-End-Tests

Systemtests verschieben den Fokus von Komponenten auf Arbeitsabläufe. Szenariobasierte Simulationen bilden realistische Betriebsbedingungen ab, während Studien zur Interaktion zwischen Mensch und Agent Bedienbarkeit, Automation Bias und Eskalationsdynamiken untersuchen. Governance verlangt außerdem eine explizite Validierung von Überschreibungs-Mechanismen, Wiederherstellungsprozessen, Rollback-Pfaden und Prüfprotokollen.

6. Monitoring-Architekturen und kontinuierliche Governance

Nach dem Ausrollen wird Monitoring zum wichtigsten Governance-Instrument. Moderne Architekturen kombinieren Telemetrie, Analysen und Governance-Dashboards, um Abweichungen in Daten, Modellen und Verhalten zu erkennen, entstehende Verzerrungen zu beobachten, ungewöhnliche Tool-Nutzung zu identifizieren und das Wachstum des KI-Gedächtnisses zu kontrollieren. Überwachung unterstützt regulatorisches Reporting, Nachtrainingsprozesse, automatisches Drosseln und Notabschaltung. Kontinuierliches Monitoring ist damit der praktikabelste Weg, agentische Systeme dauerhaft zu steuern.

Fazit

KI wird zunehmend zu einem autonomen Akteur in wirtschaftlichen und gesellschaftlichen Systemen. Mit wachsender Autonomie steigt auch die Verantwortung.

Governance liefert die Struktur. Testing liefert Evidenz. Monitoring sorgt für Wachsamkeit. Zusammen ermöglichen sie es Organisationen, Agenten nicht als unkontrollierte Experimente auszurollen, sondern als verantwortbare Akteure in menschlichen Systemen.

Dieser Artikel erschien ursprünglich im ASQF Blog.