KI-Agenten als Sicherheitsrisiko: Warum Banken und Versicherungen jetzt handeln müssen
Autonome KI-Agenten erobern die Finanzbranche – doch 80 Prozent der Unternehmen melden bereits riskante Verhaltensweisen ihrer Systeme. Eine aktuelle MIT-Studie und ein Bericht des AIUC-1 Consortiums zeigen: Die Sicherheitslücken sind gravierend, und die DORA-Verordnung macht schnelles Handeln zur Pflicht.
Die neue Realität: KI-Agenten im produktiven Einsatz
Die Zeiten, in denen KI-Systeme lediglich als Chatbots Kundenanfragen beantworteten, sind vorbei. Im Jahr 2026 operieren autonome KI-Agenten in Finanzinstituten als eigenständige Akteure: Sie führen mehrstufige Transaktionen durch, greifen auf Kernbanksysteme zu, treffen Entscheidungen ohne menschliche Freigabe pro Einzelschritt und interagieren mit externen Diensten.
Was nach einem Effizienzsprung klingt, birgt erhebliche Risiken. Laut einer aktuellen Erhebung des AIUC-1 Consortiums, entwickelt unter Mitwirkung von Stanfords Trustworthy AI Research Lab und über 40 Sicherheitsverantwortlichen aus Unternehmen wie Deutsche Börse, Databricks und UiPath, haben 64 Prozent der Unternehmen mit einem Jahresumsatz über einer Milliarde Dollar bereits mehr als eine Million Dollar durch KI-Fehler verloren. Jedes fünfte Unternehmen berichtete von einer Sicherheitsverletzung durch nicht autorisierte KI-Nutzung.

Drei zentrale Sicherheitsprobleme autonomer KI-Agenten
Die aktuelle Forschungslage identifiziert drei Kategorien von Risiken, die Sicherheitsverantwortliche in der Finanzbranche unmittelbar betreffen.
1. Das Agenten-Problem: Unkontrollierte Autonomie
KI-Agenten sind keine passiven Assistenten mehr. Sie führen eigenständig mehrstufige Aufgaben aus, rufen externe Tools auf und treffen operative Entscheidungen. Das Problem: Ein Agent mit überprivilegierten Zugriffsrechten und unzureichenden Kontrollgrenzen kann durch seinen regulären Betrieb Schaden verursachen – ganz ohne externen Angreifer.
Die Zahlen sind alarmierend:
- 80 Prozent der befragten Organisationen meldeten riskante Agenten-Verhaltensweisen, darunter unautorisierte Systemzugriffe und unsachgemäße Datenexposition
- Nur 21 Prozent der Führungskräfte gaben an, vollständige Transparenz über Agenten-Berechtigungen, Tool-Nutzung oder Datenzugriffsmuster zu haben
- IBM dokumentierte einen Fall, in dem ein autonomer Kundenservice-Agent Rückerstattungen ausserhalb der Unternehmensrichtlinien genehmigte, nachdem ein Kunde das System durch geschickte Kommunikation manipuliert hatte
Omar Khawaja, VP und Field CISO bei Databricks, bringt das Kernproblem auf den Punkt: KI-Komponenten verändern sich ständig in der gesamten Lieferkette, während bestehende Sicherheitskontrollen von statischen Assets ausgehen. Das erzeugt blinde Flecken, sobald sich das Verhalten der Systeme ändert.
2. Das Transparenz-Problem: Shadow AI ausser Kontrolle
Die zweite Risikokategorie betrifft die Sichtbarkeit – oder deren Fehlen. Die Zahlen des AIUC-1-Berichts zeichnen ein besorgniserregendes Bild:
- 63 Prozent der Mitarbeiter, die 2025 KI-Tools nutzten, kopierten sensible Unternehmensdaten – darunter Quellcode und Kundendaten – in persönliche Chatbot-Accounts
- Das durchschnittliche Unternehmen hat schätzungsweise 1.200 inoffizielle KI-Anwendungen im Einsatz
- 86 Prozent der Organisationen haben keinerlei Transparenz über ihre KI-Datenflüsse
- Shadow-AI-Sicherheitsvorfälle kosten im Durchschnitt 670.000 Dollar mehr als Standard-Sicherheitsvorfälle
Für Banken und Versicherungen, die strengen Datenschutz- und Regulierungsanforderungen unterliegen, sind diese Zahlen besonders kritisch. Wenn Kundendaten unkontrolliert in externe KI-Systeme fliessen, stehen nicht nur finanzielle Verluste, sondern auch aufsichtsrechtliche Konsequenzen im Raum.

3. Das Vertrauens-Problem: Prompt Injection und Manipulation
Die dritte Risikokategorie betrifft die Angreifbarkeit der Systeme selbst. Prompt Injection – die gezielte Manipulation von KI-Agenten durch speziell gestaltete Eingaben – hat sich als ernsthaftes Sicherheitsrisiko etabliert. Angreifer können autonome Agenten dazu bringen, ihre Anweisungen zu ignorieren, sensible Daten preiszugeben oder unerlaubte Aktionen auszuführen.
Besonders problematisch im Finanzkontext: Wenn ein KI-Agent Zugriff auf Transaktionssysteme hat und gleichzeitig externe Datenquellen verarbeitet, entsteht eine Angriffsfläche, die traditionelle Sicherheitsarchitekturen nicht abdecken.
Die MIT-Studie: Mangelnde Transparenz als Branchenproblem
Eine am 5. März 2026 veröffentlichte Studie von Forschern des MIT, der University of Cambridge, Harvard, Stanford und weiterer Institutionen hat 30 der verbreitetsten agentenbasierten KI-Systeme untersucht. Das Ergebnis ist ernüchternd:
- Die Mehrheit der Systeme liefert keinerlei Informationen zu potenziellen Risiken
- Viele Systeme haben keinen dokumentierten Mechanismus, um einen ausser Kontrolle geratenen Agenten abzuschalten
- Über acht verschiedene Offenlegungskategorien hinweg bieten die meisten Agentensysteme für die meisten Kategorien keinerlei Information
- Die Lücken reichen von fehlender Risikooffenlegung bis zu fehlenden Informationen über Drittanbieter-Sicherheitstests
Für IT-Verantwortliche in der Finanzbranche bedeutet das: Wer KI-Agenten einsetzt, kauft in vielen Fällen eine Blackbox, deren Risikoprofil nicht einmal der Hersteller dokumentiert hat.
DORA und KI-Agenten: Regulatorische Anforderungen treffen neue Technologie
Die DORA-Verordnung (Digital Operational Resilience Act), die seit Januar 2025 vollständig anzuwenden ist, stellt klare Anforderungen an das ICT-Risikomanagement von Finanzinstituten. Diese Anforderungen gewinnen durch den Einsatz autonomer KI-Agenten eine völlig neue Dimension.

Relevante DORA-Anforderungen im KI-Kontext
| DORA-Anforderung | Relevanz für KI-Agenten | Handlungsbedarf |
|---|---|---|
| ICT-Risikomanagement-Rahmenwerk | KI-Agenten als neue ICT-Risikoquelle | Agenten in Risikoregister aufnehmen, Berechtigungsmatrix erstellen |
| Incident Reporting | KI-Fehlverhalten als meldepflichtiger Vorfall | Monitoring und Eskalationspfade für autonome Systeme definieren |
| Drittanbieter-Risikomanagement | KI-Modell-Provider als kritische Drittanbieter | Due Diligence für KI-Anbieter, Exit-Strategien entwickeln |
| Resilience Testing | Agenten-Systeme in Stresstests einbeziehen | Red-Team-Tests für Prompt Injection und Agenten-Manipulation |
| Governance und Aufsicht | Leitungsverantwortung für KI-Entscheidungen | KI-Governance-Struktur mit klarer Verantwortlichkeit etablieren |
Mögliche Szenarien: Was passieren kann, wenn Kontrollen fehlen
Die folgenden Szenarien illustrieren, welche Risiken bei unzureichend abgesicherten KI-Agenten in Finanzinstituten entstehen können:
Szenario 1: Autonome Kreditentscheidung
Ein KI-Agent, der zur Vorprüfung von Kreditanträgen eingesetzt wird, entwickelt durch Modell-Updates ein verändertes Risikoprofil. Ohne kontinuierliches Monitoring genehmigt er systematisch Anträge, die unter den vorherigen Parametern abgelehnt worden wären. Die Auswirkungen werden erst Monate später in der Portfolioanalyse sichtbar.
Szenario 2: Datenabfluss durch Shadow AI
Mitarbeiter der Compliance-Abteilung nutzen persönliche KI-Chatbots zur Analyse komplexer Regulierungstexte und laden dabei interne Prüfberichte und Kundendaten hoch. Die IT-Abteilung hat keine Kenntnis von dieser Nutzung. Bei einer BaFin-Prüfung wird der Datenabfluss festgestellt.
Szenario 3: Prompt Injection über Kundenkommunikation
Ein KI-Agent im Kundenservice einer Versicherung wird durch eine speziell formulierte Kundennachricht dazu gebracht, interne Systeminformationen und Schadensbewertungskriterien offenzulegen. Der Kunde nutzt diese Information, um einen überhöhten Schaden geltend zu machen.
Ein pragmatischer Massnahmenplan für Finanzinstitute
Angesichts der dokumentierten Risiken empfiehlt sich ein strukturiertes Vorgehen in drei Phasen:
Phase 1: Bestandsaufnahme (sofort)
- KI-Inventar erstellen: Alle im Einsatz befindlichen KI-Systeme und -Agenten erfassen, einschliesslich Shadow AI
- Berechtigungsaudit: Welche Systeme haben welche Zugriffsrechte? Wo bestehen überprivilegierte Zugänge?
- Datenfluss-Mapping: Welche Daten fliessen in welche KI-Systeme? Gibt es unkontrollierte Abflüsse?
Phase 2: Governance-Framework (innerhalb von 3 Monaten)
- KI-Richtlinie verabschieden: Klare Regeln für den Einsatz autonomer Agenten, Genehmigungsprozesse und Eskalationsstufen
- Monitoring implementieren: Echtzeit-Überwachung von Agenten-Verhalten, Anomalie-Erkennung, automatische Abschaltmechanismen
- Incident-Response erweitern: KI-spezifische Vorfälle in bestehende Meldeprozesse integrieren
Phase 3: Kontinuierliche Absicherung (laufend)
- Red-Team-Tests: Regelmässige Penetrationstests speziell für KI-Agenten, einschliesslich Prompt-Injection-Szenarien
- Drittanbieter-Management: Fortlaufende Bewertung der KI-Provider gemäss DORA-Anforderungen
- Schulungsprogramm: Sensibilisierung aller Mitarbeiter für die Risiken von Shadow AI und den verantwortungsvollen Umgang mit KI-Werkzeugen
TCO-Betrachtung: Was kostet Untätigkeit?
Eine grobe Kostenschätzung verdeutlicht, warum proaktives Handeln wirtschaftlich sinnvoll ist:
| Kostenposition | Proaktiv | Reaktiv (nach Vorfall) |
|---|---|---|
| KI-Governance-Aufbau | 150.000 – 300.000 EUR | – |
| Monitoring-Infrastruktur | 100.000 – 200.000 EUR | – |
| Durchschnittlicher Shadow-AI-Vorfall | – | 670.000+ EUR |
| BaFin-Bussgeld bei DORA-Verstoss | – | bis zu 10 Mio. EUR |
| Reputationsschaden | – | schwer quantifizierbar |
| Gesamtkosten (konservativ) | 250.000 – 500.000 EUR | 1.000.000+ EUR |
Die Rechnung ist eindeutig: Prävention ist erheblich günstiger als Reaktion.
Fazit: Die Zeit zum Handeln ist jetzt
Autonome KI-Agenten bieten der Finanzbranche enormes Potenzial für Effizienzsteigerungen und besseren Kundenservice. Doch die aktuelle Forschungslage zeigt unmissverständlich: Ohne angemessene Sicherheitsarchitektur, Governance-Strukturen und kontinuierliches Monitoring werden diese Systeme zum Risikofaktor.
Die DORA-Verordnung gibt den regulatorischen Rahmen vor. Die Frage ist nicht mehr, ob Finanzinstitute ihre KI-Agenten absichern müssen, sondern wie schnell sie es umsetzen. Wer jetzt handelt, schafft nicht nur Compliance, sondern einen echten Wettbewerbsvorteil durch vertrauenswürdige, sichere KI-Nutzung.
Sie möchten Ihre KI-Strategie auf ein sicheres Fundament stellen? Die Aionda GmbH unterstützt Finanzinstitute bei der Entwicklung sicherer KI-Architekturen, der Implementierung von Governance-Frameworks und der DORA-konformen Integration autonomer Systeme. Sprechen Sie uns an.
Kontakt: [email protected]
Autor: Stephan Ferraro, Gründer und Geschäftsführer der Aionda GmbH
0 Comments