Schnell handeln, Vertrauen zerstören: Die realen Kosten unverantwortlicher KI-Einführungen

Die Geschichte von 2025 in der Unternehmens-KI war nicht die Fähigkeitskurve. Es war die Governance-Lücke. Modelle wurden nützlicher, Agenten autonomer, und Organisationen brachten sie schneller in Produktion, als sie „akzeptables Verhalten” überhaupt definieren konnten.

Dies ist ein kurzer Praxisbericht — fünf Fehlermuster, die wir in den letzten zwölf Monaten wiederholt gesehen haben, jeweils mit der Kontrolle, die sie verhindert hätte. Nichts davon ist hypothetisch. Die Details sind anonymisiert, die Muster sind real.

1. Halluzinierte fachliche Beratung

Ein regionales Unternehmen bringt einen kundenseitigen Assistenten live. Er beantwortet Produktfragen gut. Als ein Kunde ihn nach Rechten fragt, erfindet er selbstbewusst eine Klausel lokalen Rechts und sagt dem Kunden eine Rückerstattung zu, auf die kein Anspruch besteht. Der Kunde zitiert das in einer Beschwerde. Das Unternehmen zahlt, um den Streit zu vermeiden, und muss dann den Bot entweder umtrainieren oder abschalten.

Was es verhindert hätte: Ein eng gefasster System-Prompt, der Rechts-, Medizin- und Finanzberatung explizit ablehnt und an einen Menschen verweist. Ein Red-Team-Durchlauf vor dem Launch, der genau das versucht. Eine Logging- und Review-Pipeline, bei der wöchentlich eine Stichprobe der Antworten zu Policy-Fragen gesichtet wird.

Die Kosten der Kontrolle: eine Woche sorgfältiges Prompt-Design und Evaluation. Die Kosten ohne die Kontrolle wachsen mit jedem Kundengespräch.

2. Geleakte System-Prompts und Daten

Ein Startup liefert einen Coding-Assistenten aus. Innerhalb einer Woche postet ein Nutzer den vollständigen System-Prompt — inklusive interner URL und der groben Form einer Lieferanten-Integration — in einem öffentlichen Forum. Innerhalb von zwei Wochen hat ein Wettbewerber ein verdächtig ähnliches Produkt. Der Prompt war nicht geheim — aber niemand hatte je festgehalten, dass er es nicht sein durfte.

Was es verhindert hätte: Jeden System-Prompt als letztlich öffentlich behandeln. Keine Geheimnisse, keine internen URLs, keine „Sag das dem Nutzer nicht”-Instruktionen, die einem als Screenshot peinlich wären. Geheimnisse gehören in Tool-Antworten hinter einer authentifizierten Grenze, nicht in Prompt-Text.

Die Kontrolle ist kulturell, nicht technisch. Und sie muss ab Tag eins explizit sein.

3. Autonome Agenten, die echtes Geld ausgeben

Ein Kunde pilotiert einen Agenten, der Spesenabrechnungen einreichen kann. Der Scope wächst zu „auch kleine wiederkehrende Lieferanten bezahlen”. Eine Prompt-Injection in einer Rechnungs-PDF — klassisch, gut dokumentiert, absolut vermeidbar — überzeugt den Agenten, die Bankverbindung eines Lieferanten zu ändern. Zwei Rechnungen gehen raus, bevor jemand aufmerksam wird.

Was es verhindert hätte: Trennung der Autoritäten. Ein Agent kann Zahlungen vorschlagen; ein Mensch oder ein zweites System mit anderer Angriffsfläche genehmigt sie. Alles, was Geld bewegt, hat ein Limit pro Transaktion, ein Limit pro Tag und eine Anomalie-Prüfung. Rechnungen aus nicht-vertrauenswürdigen Quellen werden als nicht vertrauenswürdige Eingabe behandelt — weil sie es sind.

Das richtige Mentalmodell: Jedes LLM ist ein leichtgläubiger Neuzugang am ersten Arbeitstag. Diese Person würden Sie nicht mit der Firmenkreditkarte losschicken.

4. RAG-Pipelines, die private Daten leaken

Ein Support-Assistent ist an eine interne Wissensbasis angebunden. Ein Kunde stellt eine geschickt formulierte Frage. Die Retrieval-Schicht, die keine Vorstellung davon hat, wer fragt, liefert ein Snippet aus einem HR-Dokument zurück. Das Modell integriert das Snippet pflichtbewusst in eine hilfreiche Antwort.

Was es verhindert hätte: Zugriffskontrollierter Retrieval. Jedes Dokument im Index ist mit einer Zugriffsberechtigung markiert. Die Retrieval-Anfrage wird nach der Identität des Anfragenden gefiltert, bevor das LLM die Ergebnisse überhaupt sieht. „Dem LLM zu vertrauen, dass es redigiert” ist keine Strategie; das ist ein Wunsch.

Wenn Ihr RAG-Architekturdiagramm den Vector Store als eine Wolke ohne Zugriffskontrolle im Inneren zeigt, haben Sie diesen Fehler. Sie sind ihm nur noch nicht begegnet.

5. Autonome Deployments ohne Rollback

Ein Team integriert einen KI-Agenten in die CI/CD-Pipeline. Der Agent kann Pull Requests öffnen, Tests ausführen und — weil es praktisch war — sie bei grünen Tests mergen. Ein Wochenend-Incident produziert eine Kaskade wohlmeinender, aber subtil falscher Merges. Am Montag ist der Main-Branch in einem Zustand, den kein Mensch vollständig versteht.

Was es verhindert hätte: Dieselben Regeln wie für Junior-Engineers. Agenten dürfen PRs öffnen; sie dürfen keine geschützten Branches mergen. Jede Agenten-Aktion ist im Audit-Log zuordenbar. Es gibt einen Not-Aus, und jemand hat getestet, dass er funktioniert.

KI-Agenten in Produktion sind keine neue Art von Ding. Sie sind eine neue Art von Mitarbeiter. Behandeln Sie sie so.

Eine kurze Checkliste verantwortungsvoller Einführung

Wenn Sie nichts anderes mitnehmen, dann die Liste:

• System-Prompts sind geschrieben in der Annahme, dass sie öffentlich werden.
• Der Scope ist explizit: Der Agent lehnt Off-Scope-Anfragen ab und begründet es.
• Retrieval ist zugriffskontrolliert, nicht „per Prompt gefiltert”.
• Jede Aktion, die Geld bewegt, extern kommuniziert oder Daten ändert, braucht eine zweite Autorität.
• Nicht-vertrauenswürdige Eingaben (PDFs, E-Mails, gescrapte Seiten) werden durch den gesamten Stack klar als solche markiert.
• Jede Aktion des Agenten ist geloggt, mit genug Kontext, um die Entscheidung zu rekonstruieren.
• Es gibt einen Not-Aus. Sie haben ihn getestet.
• Ein Mensch sichtet wöchentlich eine Stichprobe der Ausgaben und notiert Beobachtungen.
• Ein Red-Team-Durchlauf wurde vor dem Launch gemacht und wird bei substanziellen Änderungen wiederholt.

Das Muster hinter den Mustern

Jeder Fehler auf dieser Liste hat dieselbe Form: Ein Team behandelte ein LLM als eine sichere, begrenzte Funktion statt als ein probabilistisches, adversarisch angreifbares System. Die Kontrollen, die solche Probleme abfangen, sind nicht exotisch. Es sind dieselben Kontrollen, die Sie auf einen neuen Mitarbeiter mit unbekanntem Urteilsvermögen anwenden würden — Scope, Aufsicht, Autoritätsgrenzen, Logging und die Möglichkeit, den Stecker zu ziehen.

Wir haben mehreren Kunden geholfen, genau solche Vorfälle zu entwirren und die Governance aufzusetzen, die sie künftig verhindert. Wenn Sie kurz davor sind, etwas Agentisches live zu schalten, und vor dem Go-live eine zweite Meinung wollen — gut investierte Stunde.