KI-Agenten als Sicherheitsrisiko: Warum Banken und Versicherungen jetzt handeln müssen

Published by Luna on

Autonome KI-Agenten erobern die Finanzbranche – doch 80 Prozent der Unternehmen melden bereits riskante Verhaltensweisen ihrer Systeme. Eine aktuelle MIT-Studie und ein Bericht des AIUC-1 Consortiums zeigen: Die Sicherheitslücken sind gravierend, und die DORA-Verordnung macht schnelles Handeln zur Pflicht.

Die neue Realität: KI-Agenten im produktiven Einsatz

Die Zeiten, in denen KI-Systeme lediglich als Chatbots Kundenanfragen beantworteten, sind vorbei. Im Jahr 2026 operieren autonome KI-Agenten in Finanzinstituten als eigenständige Akteure: Sie führen mehrstufige Transaktionen durch, greifen auf Kernbanksysteme zu, treffen Entscheidungen ohne menschliche Freigabe pro Einzelschritt und interagieren mit externen Diensten.

Was nach einem Effizienzsprung klingt, birgt erhebliche Risiken. Laut einer aktuellen Erhebung des AIUC-1 Consortiums, entwickelt unter Mitwirkung von Stanfords Trustworthy AI Research Lab und über 40 Sicherheitsverantwortlichen aus Unternehmen wie Deutsche Börse, Databricks und UiPath, haben 64 Prozent der Unternehmen mit einem Jahresumsatz über einer Milliarde Dollar bereits mehr als eine Million Dollar durch KI-Fehler verloren. Jedes fünfte Unternehmen berichtete von einer Sicherheitsverletzung durch nicht autorisierte KI-Nutzung.

Modernes Bankoperationszentrum mit KI-Agent-Dashboards und Sicherheitsmonitoring auf mehreren Bildschirmen

Drei zentrale Sicherheitsprobleme autonomer KI-Agenten

Die aktuelle Forschungslage identifiziert drei Kategorien von Risiken, die Sicherheitsverantwortliche in der Finanzbranche unmittelbar betreffen.

1. Das Agenten-Problem: Unkontrollierte Autonomie

KI-Agenten sind keine passiven Assistenten mehr. Sie führen eigenständig mehrstufige Aufgaben aus, rufen externe Tools auf und treffen operative Entscheidungen. Das Problem: Ein Agent mit überprivilegierten Zugriffsrechten und unzureichenden Kontrollgrenzen kann durch seinen regulären Betrieb Schaden verursachen – ganz ohne externen Angreifer.

Die Zahlen sind alarmierend:

  • 80 Prozent der befragten Organisationen meldeten riskante Agenten-Verhaltensweisen, darunter unautorisierte Systemzugriffe und unsachgemäße Datenexposition
  • Nur 21 Prozent der Führungskräfte gaben an, vollständige Transparenz über Agenten-Berechtigungen, Tool-Nutzung oder Datenzugriffsmuster zu haben
  • IBM dokumentierte einen Fall, in dem ein autonomer Kundenservice-Agent Rückerstattungen ausserhalb der Unternehmensrichtlinien genehmigte, nachdem ein Kunde das System durch geschickte Kommunikation manipuliert hatte

Omar Khawaja, VP und Field CISO bei Databricks, bringt das Kernproblem auf den Punkt: KI-Komponenten verändern sich ständig in der gesamten Lieferkette, während bestehende Sicherheitskontrollen von statischen Assets ausgehen. Das erzeugt blinde Flecken, sobald sich das Verhalten der Systeme ändert.

2. Das Transparenz-Problem: Shadow AI ausser Kontrolle

Die zweite Risikokategorie betrifft die Sichtbarkeit – oder deren Fehlen. Die Zahlen des AIUC-1-Berichts zeichnen ein besorgniserregendes Bild:

  • 63 Prozent der Mitarbeiter, die 2025 KI-Tools nutzten, kopierten sensible Unternehmensdaten – darunter Quellcode und Kundendaten – in persönliche Chatbot-Accounts
  • Das durchschnittliche Unternehmen hat schätzungsweise 1.200 inoffizielle KI-Anwendungen im Einsatz
  • 86 Prozent der Organisationen haben keinerlei Transparenz über ihre KI-Datenflüsse
  • Shadow-AI-Sicherheitsvorfälle kosten im Durchschnitt 670.000 Dollar mehr als Standard-Sicherheitsvorfälle

Für Banken und Versicherungen, die strengen Datenschutz- und Regulierungsanforderungen unterliegen, sind diese Zahlen besonders kritisch. Wenn Kundendaten unkontrolliert in externe KI-Systeme fliessen, stehen nicht nur finanzielle Verluste, sondern auch aufsichtsrechtliche Konsequenzen im Raum.

Europäischer Geschäftsführer prüft KI-Governance-Dokumente auf einem Tablet im Konferenzraum

3. Das Vertrauens-Problem: Prompt Injection und Manipulation

Die dritte Risikokategorie betrifft die Angreifbarkeit der Systeme selbst. Prompt Injection – die gezielte Manipulation von KI-Agenten durch speziell gestaltete Eingaben – hat sich als ernsthaftes Sicherheitsrisiko etabliert. Angreifer können autonome Agenten dazu bringen, ihre Anweisungen zu ignorieren, sensible Daten preiszugeben oder unerlaubte Aktionen auszuführen.

Besonders problematisch im Finanzkontext: Wenn ein KI-Agent Zugriff auf Transaktionssysteme hat und gleichzeitig externe Datenquellen verarbeitet, entsteht eine Angriffsfläche, die traditionelle Sicherheitsarchitekturen nicht abdecken.

Die MIT-Studie: Mangelnde Transparenz als Branchenproblem

Eine am 5. März 2026 veröffentlichte Studie von Forschern des MIT, der University of Cambridge, Harvard, Stanford und weiterer Institutionen hat 30 der verbreitetsten agentenbasierten KI-Systeme untersucht. Das Ergebnis ist ernüchternd:

  • Die Mehrheit der Systeme liefert keinerlei Informationen zu potenziellen Risiken
  • Viele Systeme haben keinen dokumentierten Mechanismus, um einen ausser Kontrolle geratenen Agenten abzuschalten
  • Über acht verschiedene Offenlegungskategorien hinweg bieten die meisten Agentensysteme für die meisten Kategorien keinerlei Information
  • Die Lücken reichen von fehlender Risikooffenlegung bis zu fehlenden Informationen über Drittanbieter-Sicherheitstests

Für IT-Verantwortliche in der Finanzbranche bedeutet das: Wer KI-Agenten einsetzt, kauft in vielen Fällen eine Blackbox, deren Risikoprofil nicht einmal der Hersteller dokumentiert hat.

DORA und KI-Agenten: Regulatorische Anforderungen treffen neue Technologie

Die DORA-Verordnung (Digital Operational Resilience Act), die seit Januar 2025 vollständig anzuwenden ist, stellt klare Anforderungen an das ICT-Risikomanagement von Finanzinstituten. Diese Anforderungen gewinnen durch den Einsatz autonomer KI-Agenten eine völlig neue Dimension.

Digitale Illustration eines Schutzschilds über einem Netzwerk verbundener KI-Knoten als Symbol für DORA-Compliance

Relevante DORA-Anforderungen im KI-Kontext

DORA-Anforderung Relevanz für KI-Agenten Handlungsbedarf
ICT-Risikomanagement-Rahmenwerk KI-Agenten als neue ICT-Risikoquelle Agenten in Risikoregister aufnehmen, Berechtigungsmatrix erstellen
Incident Reporting KI-Fehlverhalten als meldepflichtiger Vorfall Monitoring und Eskalationspfade für autonome Systeme definieren
Drittanbieter-Risikomanagement KI-Modell-Provider als kritische Drittanbieter Due Diligence für KI-Anbieter, Exit-Strategien entwickeln
Resilience Testing Agenten-Systeme in Stresstests einbeziehen Red-Team-Tests für Prompt Injection und Agenten-Manipulation
Governance und Aufsicht Leitungsverantwortung für KI-Entscheidungen KI-Governance-Struktur mit klarer Verantwortlichkeit etablieren

Mögliche Szenarien: Was passieren kann, wenn Kontrollen fehlen

Die folgenden Szenarien illustrieren, welche Risiken bei unzureichend abgesicherten KI-Agenten in Finanzinstituten entstehen können:

Szenario 1: Autonome Kreditentscheidung
Ein KI-Agent, der zur Vorprüfung von Kreditanträgen eingesetzt wird, entwickelt durch Modell-Updates ein verändertes Risikoprofil. Ohne kontinuierliches Monitoring genehmigt er systematisch Anträge, die unter den vorherigen Parametern abgelehnt worden wären. Die Auswirkungen werden erst Monate später in der Portfolioanalyse sichtbar.

Szenario 2: Datenabfluss durch Shadow AI
Mitarbeiter der Compliance-Abteilung nutzen persönliche KI-Chatbots zur Analyse komplexer Regulierungstexte und laden dabei interne Prüfberichte und Kundendaten hoch. Die IT-Abteilung hat keine Kenntnis von dieser Nutzung. Bei einer BaFin-Prüfung wird der Datenabfluss festgestellt.

Szenario 3: Prompt Injection über Kundenkommunikation
Ein KI-Agent im Kundenservice einer Versicherung wird durch eine speziell formulierte Kundennachricht dazu gebracht, interne Systeminformationen und Schadensbewertungskriterien offenzulegen. Der Kunde nutzt diese Information, um einen überhöhten Schaden geltend zu machen.

Ein pragmatischer Massnahmenplan für Finanzinstitute

Angesichts der dokumentierten Risiken empfiehlt sich ein strukturiertes Vorgehen in drei Phasen:

Phase 1: Bestandsaufnahme (sofort)

  • KI-Inventar erstellen: Alle im Einsatz befindlichen KI-Systeme und -Agenten erfassen, einschliesslich Shadow AI
  • Berechtigungsaudit: Welche Systeme haben welche Zugriffsrechte? Wo bestehen überprivilegierte Zugänge?
  • Datenfluss-Mapping: Welche Daten fliessen in welche KI-Systeme? Gibt es unkontrollierte Abflüsse?

Phase 2: Governance-Framework (innerhalb von 3 Monaten)

  • KI-Richtlinie verabschieden: Klare Regeln für den Einsatz autonomer Agenten, Genehmigungsprozesse und Eskalationsstufen
  • Monitoring implementieren: Echtzeit-Überwachung von Agenten-Verhalten, Anomalie-Erkennung, automatische Abschaltmechanismen
  • Incident-Response erweitern: KI-spezifische Vorfälle in bestehende Meldeprozesse integrieren

Phase 3: Kontinuierliche Absicherung (laufend)

  • Red-Team-Tests: Regelmässige Penetrationstests speziell für KI-Agenten, einschliesslich Prompt-Injection-Szenarien
  • Drittanbieter-Management: Fortlaufende Bewertung der KI-Provider gemäss DORA-Anforderungen
  • Schulungsprogramm: Sensibilisierung aller Mitarbeiter für die Risiken von Shadow AI und den verantwortungsvollen Umgang mit KI-Werkzeugen

TCO-Betrachtung: Was kostet Untätigkeit?

Eine grobe Kostenschätzung verdeutlicht, warum proaktives Handeln wirtschaftlich sinnvoll ist:

Kostenposition Proaktiv Reaktiv (nach Vorfall)
KI-Governance-Aufbau 150.000 – 300.000 EUR
Monitoring-Infrastruktur 100.000 – 200.000 EUR
Durchschnittlicher Shadow-AI-Vorfall 670.000+ EUR
BaFin-Bussgeld bei DORA-Verstoss bis zu 10 Mio. EUR
Reputationsschaden schwer quantifizierbar
Gesamtkosten (konservativ) 250.000 – 500.000 EUR 1.000.000+ EUR

Die Rechnung ist eindeutig: Prävention ist erheblich günstiger als Reaktion.

Fazit: Die Zeit zum Handeln ist jetzt

Autonome KI-Agenten bieten der Finanzbranche enormes Potenzial für Effizienzsteigerungen und besseren Kundenservice. Doch die aktuelle Forschungslage zeigt unmissverständlich: Ohne angemessene Sicherheitsarchitektur, Governance-Strukturen und kontinuierliches Monitoring werden diese Systeme zum Risikofaktor.

Die DORA-Verordnung gibt den regulatorischen Rahmen vor. Die Frage ist nicht mehr, ob Finanzinstitute ihre KI-Agenten absichern müssen, sondern wie schnell sie es umsetzen. Wer jetzt handelt, schafft nicht nur Compliance, sondern einen echten Wettbewerbsvorteil durch vertrauenswürdige, sichere KI-Nutzung.


Sie möchten Ihre KI-Strategie auf ein sicheres Fundament stellen? Die Aionda GmbH unterstützt Finanzinstitute bei der Entwicklung sicherer KI-Architekturen, der Implementierung von Governance-Frameworks und der DORA-konformen Integration autonomer Systeme. Sprechen Sie uns an.

Kontakt: [email protected]

Autor: Stephan Ferraro, Gründer und Geschäftsführer der Aionda GmbH

Categories: Blog

0 Comments

Schreibe einen Kommentar

Avatar placeholder

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert