Eine KI-Halluzination ist eine überzeugend klingende Ausgabe eines Sprachmodells, die falsch oder nicht belegt ist, etwa ein erfundenes Zitat, eine falsche Zahl oder eine Quelle, die es nicht gibt. Sie lassen sich nicht ausschließen, aber begrenzen: durch Antworten aus geprüften Dokumenten, Quellenangaben, Prüfschritte und Freigaben. Dieser Beitrag zeigt, wie Ihr Unternehmen sich schützt.
Warum halluziniert eine KI?
Ein Sprachmodell sagt Text Stück für Stück voraus und erzeugt, was sprachlich wahrscheinlich folgt. Es hat keine Faktendatenbank und prüft Aussagen nicht gegen die Wirklichkeit. Fehlt ihm Wissen, füllt es die Lücke oft mit etwas, das passt. Weitere Auslöser sind unklare Anweisungen, veraltetes Wissen, sehr lange Texte und der Eindruck, unbedingt antworten zu müssen. Wie Sprachmodelle arbeiten, steht in unserer Erklärung zu großen Sprachmodellen. Eine Übersicht über die Forschung bieten Ji et al. und der Artikel zu Halluzinationen in der KI.
Was können Halluzinationen im Unternehmen anrichten?
Zwei bekannte Fälle zeigen die Folgen. In einem kanadischen Verfahren (Moffatt gegen Air Canada, 2024) entschied ein Schiedsgericht, dass die Fluggesellschaft für falsche Auskünfte ihres Website-Chatbots zu Sondertarifen einstehen muss. In den USA sanktionierte ein Gericht 2023 Anwälte, die einen Schriftsatz mit Gerichtsentscheidungen eingereicht hatten, die ein Sprachmodell erfunden hatte (Mata gegen Avianca).
| Einsatz | Risiko | Schutzmaßnahme |
|---|---|---|
| Interner Textentwurf | Gering, wenn eine Person prüft | Autor prüft Fakten, Zahlen und Namen |
| Kundenkommunikation | Mittel: falsche Zusagen, Zahlen | Freigabe durch Menschen vor dem Versand |
| Kundenchatbot mit Auskünften | Hoch: Preise, Bedingungen, Fristen | Antworten nur aus geprüften Dokumenten, Quellen nennen, Übergabe an Menschen |
| Rechts-, Steuer-, Gesundheitsauskünfte | Sehr hoch | Nicht automatisieren; Fachleute einbinden |
Wie schützen Sie Ihr Unternehmen?
Der wirksamste Hebel ist, das Modell aus geprüften Quellen antworten zu lassen. Beim Verfahren Retrieval-Augmented Generation (RAG) sucht das System zuerst passende Stellen in Ihren Dokumenten und formuliert dann die Antwort daraus (Lewis et al.). Es verlangt Quellenangaben, sodass Sie nachprüfen können. Wie das aufgebaut ist, erklärt Was ist RAG?.
Ergänzen Sie Regeln in der Anweisung: Antworte nur aus den gelieferten Unterlagen, nenne die Fundstelle, sage „Das weiß ich nicht“, wenn Angaben fehlen. Begrenzen Sie den Themenbereich eines Chatbots und richten Sie eine Übergabe an Menschen ein. Prüfen Sie Zahlen, Namen, Zitate und Gesetzesverweise an Originalquellen, bevor Sie etwas veröffentlichen. Bei Kundenchats lohnt die regelmäßige Durchsicht von Gesprächsprotokollen. Mehr zum Chatbot auf der Website lesen Sie in KI-Chatbot für Ihre Website.
Wie behalten Menschen die Kontrolle?
Legen Sie nach Risiko fest, wer was prüft. Interne Entwürfe prüft die verfassende Person, Kundenkommunikation eine zweite Person, sensible Auskünfte Fachleute. Dokumentieren Sie, wer wann freigegeben hat. Wie das Zusammenspiel von Mensch und KI aussieht, beschreibt Was ist Human in the Loop?.
- Einsätze nach Risiko eingestuft: intern, Kundenkommunikation, Auskünfte
- Antworten aus geprüften Dokumenten mit Quellenangabe eingerichtet
- Anweisung enthält die Regel „Bei fehlenden Angaben Rückfrage oder Hinweis“
- Zahlen, Namen, Zitate und Gesetzesverweise vor Veröffentlichung geprüft
- Freigabe und Übergabe an Menschen festgelegt und dokumentiert
- Gesprächsprotokolle von Kundenchats regelmäßig durchgesehen
- Beschäftigte über die Grenzen der Werkzeuge informiert
Fazit: Nutzen mit Kontrolle
Halluzinationen gehören zur Technik und lassen sich nicht abschalten, aber beherrschen. Lassen Sie Modelle aus geprüften Quellen antworten, verlangen Sie Belege und prüfen Sie, was nach außen geht. Wenn Sie einen Assistenten mit Quellen und Freigaben aufbauen möchten, sehen Sie sich unsere KI-Automatisierung an oder schildern Sie uns Ihr Vorhaben.
Quellen
- Ji et al.: Survey of Hallucination in Natural Language Generation (arXiv)
- Lewis et al.: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv)
- Wikipedia: Hallucination (artificial intelligence)
- Civil Resolution Tribunal of British Columbia: Moffatt v. Air Canada, 2024 BCCRT 149
