Der Cybersecurity Month im Oktober rückt jedes Jahr die Frage in den Mittelpunkt, wie Unternehmen ihre Systeme, Daten und digitalen Prozesse wirksam schützen können. Mit dem zunehmenden Einsatz von KI-Agenten gewinnt diese Debatte eine neue Dimension: Anders als klassische Assistenzsysteme können Agents selbstständig Arbeitsschritte planen, auf Anwendungen und Dateien zugreifen und Aktionen ausführen. Eine punktuelle menschliche Freigabe allein genügt daher nicht. Entscheidend sind risikobasierte Kontrollen und technische Schutzmechanismen, die unerwünschte oder folgenschwere Handlungen von vornherein verhindern oder deren Auswirkungen begrenzen.
Eine menschliche Kontrollinstanz macht den Einsatz von KI-Agenten nicht automatisch sicher. Darauf weist Greg Qualls, Senior Director bei Upsun, mit Blick auf aktuelle Vorfälle hin. Entscheidend sei nicht allein, ob ein Mensch in den Prozess eingebunden ist, sondern an welcher Stelle und abhängig von welchem Risiko eine Freigabe erforderlich wird.
Denn nicht jede Aktion eines KI-Agenten hat dieselben möglichen Folgen. Während sich kleinere Änderungen wie die Korrektur eines Tippfehlers leicht überprüfen und rückgängig machen lassen, können Eingriffe in große Datenbestände erheblichen Schaden verursachen. Kontrollmechanismen sollten sich deshalb an der Tragweite und Reversibilität einer Handlung orientieren.
Besonders problematisch ist laut Qualls die Annahme, dass eine Anweisung im Prompt bereits als verlässliche Schutzmaßnahme ausreicht. KI-Agenten arbeiten nicht nach einem starren Skript, sondern leiten ihre nächsten Schritte dynamisch aus den erhaltenen Vorgaben und dem jeweiligen Kontext ab. Selbst eine ausdrückliche Aufforderung, bestimmte Dateien nicht zu verändern, bildet daher noch keine technische Barriere.
Soll ein Agent eine bestimmte Handlung unter keinen Umständen ausführen, muss die zugrunde liegende Infrastruktur dies technisch verhindern oder zumindest gewährleisten, dass sich die Auswirkungen zuverlässig rückgängig machen lassen. Die Sicherheit von KI-Agenten ist damit nicht nur eine Frage der Modelle und Prompts, sondern ebenso der technischen Umgebung, in der sie agieren.
Qualls plädiert daher für einen risikobasierten Ansatz: Menschliches Urteilsvermögen sollte insbesondere bei weitreichenden oder schwer umkehrbaren Entscheidungen eingebunden werden. Gleichzeitig braucht es technische Grenzen, die mögliche Schäden begrenzen. Mehr Autonomie sollten Agenten erst schrittweise erhalten, wenn sie ihre Zuverlässigkeit in klar definierten Aufgabenbereichen nachgewiesen haben.