Wenn der Chatbot sich irrt: Warum bei der Nutzung von Künstlicher Intelligenz Fehler passieren und was Nutzer*innen beachten müssen

Sprachmodelle und Halluzinationen

Unser KI-Chatbot-Prototyp basiert auf einem Sprachmodell. Ein Sprachmodell ist ein mathematisches und statistisches Modell („künstliche Intelligenz“), das darauf trainiert ist, natürliche Sprache zu verstehen, zu erzeugen oder zu bearbeiten. Sprachmodelle sind Computerprogramme mit der Fähigkeit, die Wahrscheinlichkeit einer Wortfolge vorherzusagen. Daher können sie gut Texte vervollständigen, übersetzen, Sprache erkennen und Text erzeugen [1]. Im Kern funktioniert das System ähnlich wie eine sehr fortgeschrittene Textergänzung: Es analysiert die Worte Ihrer Frage und berechnet, welche Wörter als Antwort am wahrscheinlichsten zusammenpassen.

Da Sprachmodelle also keine Wahrheiten, sondern nur Wahrscheinlichkeiten berechnen können, besteht immer die Gefahr von falschen Antworten. Wenn die „künstliche Intelligenz“ falsche, unlogische oder frei erfundene Antworten generiert und sie als Fakten präsentiert, spricht man von Halluzinationen (siehe auch Absatz unten).

Was unser System besonders macht:

Im Gegensatz zu allgemeinen Chatbots wie „ChatGPT“, „Le Chat“ oder „Chat AI“, welche früher hauptsächlich auf ihr antrainiertes, internes Wissen vertraut haben, besitzt der InNoWest-KI-Chatbot einen zusätzlichen Schutzmechanismus, um Halluzinationen zu vermeiden. Bevor eine Antwort generiert wird, durchsucht das Sprachmodell gezielt die Webseite einer Kommune (z.B. Landkreis Uckermark, Landkreis Oder-Spree, Stadt Velten) nach relevanten Inhalten. Dieses Verfahren nennt sich „Retrieval-Augmented Generation” (RAG). Das bedeutet vereinfacht gesagt: Der KI-Chatbot schlägt gezielt Informationen nach, anstatt sich nur auf sein „Gedächtnis”, also das allgemeine Sprachmodell zu verlassen.

Zusätzlich wird das InNoWest-System auf vertrauenswürdige Domains beschränkt. Das Sprachmodell bezieht seine Informationen ausschließlich aus offiziellen kommunalen Quellen, die die jeweilige Kommune selbst ausgewählt hat. Der KI-Chatbot kann somit nicht auf alle beliebige Internetseiten zugreifen. Wichtig zu verstehen: Trotz dieser Schutzmaßnahmen kann auch der InNoWest-KI-Chatbot Fehler machen. Kein KI-System ist unfehlbar. Im Folgenden erklären wir, welche Fehler auftreten können und wie Sie damit umgehen können.

Welche Fehler kann ein Sprachmodell machen?

1. Halluzinationen – erfundene Fakten

Der häufigste Sprachmodell-Fehler trägt einen ungewöhnlichen Namen: Halluzination. Dabei erzeugt das Sprachmodell Informationen, die überzeugend klingen, aber sachlich falsch sind. Das Tückische: Das Sprachmodell formuliert diese erfundenen Fakten mit derselben Überzeugung wie korrekte Informationen. Es ist daher für eine Nutzer*in kaum ersichtlich, ob es sich um einen Fakt oder eine Halluzination handelt.

Bekanntes Beispiel: 2023 reichte ein Anwalt in New York einen Antrag ein, der auf ChatGPT-Recherche basierte. Die genannten Gerichtsurteile und Aktenzeichen waren vollständig erfunden – das Sprachmodell hatte sie „halluziniert”.

2. Veraltete oder unvollständige Informationen

 Sprachmodelle werden zu einem bestimmten Zeitpunkt trainiert. Informationen, die nach diesem Zeitpunkt entstanden sind, kennt es daher zunächst nicht. Öffnungszeiten, Ansprechpartner oder Regelungen können sich aber geändert haben. Auch Chatbots, die wie der InNoWest-KI-Chatbot, über Webseiten auf stets aktuelle Informationen zugreifen können, machen manchmal diesen Fehler. Zum Beispiel wenn er unterschiedliche Informationen zu Öffnungszeiten oder Ansprechpartner*innen auf der Webseite findet. Das Modell kann dann nur „raten“, welche Information aktuell ist.

3. Übergeneralisierung

Manchmal fasst das Sprachmodell Informationen zu stark zusammen und lässt dabei wichtige Einschränkungen oder Details weg. Was für einen Spezialfall gilt, wird dann fälschlich als allgemeine Regel dargestellt. Dies ist insbesondere schwierig, wenn es um rechtliche Einschätzungen geht. Recht ist komplex und kennt viele Ausnahmen und Bedingungen, die Sprachmodelle nicht oder nur schlecht erfassen können.

4. Verzerrungen (Bias)

Die Trainingsdaten eines Sprachmodells spiegeln die Inhalte wider, aus denen es gelernt hat. Sind diese Daten unausgewogen, kann auch das Sprachmodell unausgewogene Antworten geben.

Warum passieren diese Fehler?

Die KI „versteht” nicht wirklich

Ein Sprachmodell besitzt kein Wissen im menschlichen Sinne. Es erkennt Muster in Texten und berechnet, welche Wortfolgen statistisch wahrscheinlich sind. Wenn Sie eine Frage stellen, sucht die KI nicht in einer Datenbank nach der Antwort, sondern sie erzeugt eine neue Textfolge, die (wahrscheinlich) zu Ihrer Frage passt. Stellen Sie sich das so vor: Die KI spielt ständig das Spiel „Vervollständige den Satz” – nur auf einem extrem hohen Niveau. Sie weiß aber nicht, ob das Ergebnis tatsächlich stimmt.

Das „Ich weiß es nicht”-Problem

Sprachmodelle wurden so trainiert, dass sie möglichst hilfreiche Antworten geben. Leider führt das dazu, dass sie selten „Ich weiß es nicht” sagen, auch wenn das die ehrliche Antwort wäre. Forschende bei OpenAI haben festgestellt [2], dass die Art, wie KI-Systeme während des Trainingsprozesses bewertet werden, das Raten belohnt und Zurückhaltung bestraft. Um das zu vermeiden, haben wir dem InNoWest-KI-Chatbot die Anweisung gegeben, dass er im Zweifelsfall sagt, dass er an dieser Stelle nicht weiterhelfen kann. Anweisungen dieser Art kann man über den allgemeinen Systemprompt geben, wobei auch Fehler weiter nicht zu 100 % ausgeschlossen werden können.

Lücken in den Trainingsdaten

Kein Trainingsdatensatz ist vollständig. Wo Informationen fehlen oder widersprüchlich sind, kann die KI falsche Schlüsse ziehen. Das „Misinformation Review“ der Harvard Kennedy School [3] beschreibt diese Datenlücken als eine Hauptquelle für KI-Ungenauigkeiten und Halluzinationen.

Wie können Sie KI-Antworten prüfen?

1. Laterales Lesen

Verlassen Sie sich nie allein auf die KI-Antwort. Prüfen Sie wichtige Informationen bei offiziellen Quellen nach wie etwa der Gemeindewebsite, dem Landratsamt oder Fachbehörden [4, 5]. Der InNoWest-KI-Chatbot gibt nach Möglichkeit Links zu seinen Quellen an. Folgen Sie diesen Links und prüfen Sie, ob die Originalquelle tatsächlich das aussagt, was der Chatbot für Sie zusammengefasst hat.

2. Konkrete Details hinterfragen

Seien Sie besonders aufmerksam bei konkreten Zahlen und Statistiken, Namen von Ansprechpersonen, Öffnungszeiten und Fristen sowie rechtlichen Aussagen und prüfen Sie diese auf der Originalwebseite noch einmal nach.

3. Bei wichtigen Entscheidungen: Offizielle Stellen kontaktieren

Der Chatbot ist ein nutzer*innenfreundliches Informationsangebot, jedoch leider kein Ersatz für offizielle Auskünfte. Bei rechtlichen, finanziellen oder gesundheitlichen Fragen wenden Sie sich bitte immer an die offiziell zuständige Stelle.

Wann sollte ich einen KI-Chatbot nutzen?

Im Laufe der Zeit werden Anwender*innen und Betreiber*innen immer besser herausfinden, in welchen Szenarien die Nutzung von KI-Chatbots die meisten Vorteile bringt. In besonders wichtigen und dringenden Fällen, wird es jedoch weiterhin die beste Option sein, sich an menschliche Ansprechpartner*innen in Ihrer Kommune zu wenden. Auch im Hinblick auf den Ressourcenverbrauch der Sprachmodelle ist es ratsam, nicht jedes allgemeine Problem und jede Frage mit einem KI-Chatbot zu diskutieren. Er kann jedoch unterstützen, relevante Informationen auf der kommunalen Webseite schneller zu finden und Ihnen somit einen Anruf oder auch einen Weg zum Amt zu sparen.

Fazit

KI-Chatbots sind nützliche Werkzeuge, aber keine unfehlbaren Experten. Sie können schnell Orientierung bieten und auf relevante Informationen hinweisen, die finale Verifizierung und somit auch Verantwortung liegt jedoch bei Ihnen als Nutzer*innen. Mit einer gesunden Portion Skepsis und der Bereitschaft, wichtige Aussagen zu prüfen, können Sie die Vorteile der Technologie nutzen und das Risiko von Halluzinationen zu mindern.

Quellen

1.   Helmholtz-Gemeinschaft Deutscher Forschungszentren (2026). https://www.helmholtz.de/glossar/begriff/sprachmodell/)
2. Open AI (2025). Warum Sprachmodelle halluzinieren. https://openai.com/de-DE/index/why-language-models-hallucinate/
3. Harvard Kennedy School (2025). Misinformation Review New sources of inaccuracy? A conceptual framework for studying AI hallucinations. https://misinforeview.hks.harvard.edu/article/new-sources-of-inaccuracy-a-conceptual-framework-for-studying-ai-hallucinations/
4. Microsoft (2024) How to fact-check AI. https://www.microsoft.com/en-us/microsoft-365-life-hacks/everyday-ai/how-to-fact-check-ai
5. University of Maryland (2026): Artificial Intelligence (AI) and Information Literacy: Fact-checking AI with Lateral Reading. https://lib.guides.umd.edu/c.php?g=1340355&p=9880575

Hinweis

Bei der Erstellung dieses Beitrags kamen - insbesondere im Hinblick auf Lesbarkeit und Verständlichkeit - sowohl künstliche als auch menschliche Intelligenz zum Einsatz.