KI-Chatbot für Kommunen: Vom RAG-Prototyp über den Bürger*innen-Chatbot bis zum RAG-Prototyp 2.0

Unser Ansatz: Co-Creation & Lokale Datenhoheit

Die Entwicklung des RAG-KI-Chatbots begann im April 2024 im Rahmen eines Ideenwettbewerbs unseres Teams für Akteur*innen in Nordwestbrandenburg. Ein Amtsleiter der Stadt Brandenburg an der Havel reichte die Idee „KI-Chatbot für die kommunale Verwaltung“ ein. Prof. Dr. André Nitze und Marvin Prigenitz übernahmen die Bedarfserfassung von Kommunen in Form von Workshops, die technische Konzeption und die Softwareentwicklung in diesem Transferprojekt.

Die Projektdurchführung umfasste die Beratung von interessierten Kommunalverwaltungen zum Testen des Prototyps, die Analyse ihrer Datenstrukturen sowie die Übersetzung kommunaler Anforderungen in eine datenschutzkonforme Systemarchitektur. Ein Schwerpunkt lag darin, durch praxisnahe Vermittlung Berührungsängste gegenüber Künstlicher Intelligenz abzubauen und die digitale Souveränität der Kommunen zu stärken.

Technischer Ansatz: Lokale Intelligenz durch RAG

Unser Prototyp basiert auf dem Prinzip: „Retrieval-Augmented Generation“ (kurz RAG). Es kombiniert ein lokales Sprachmodell (LLM) mit einer Vektordatenbank, um präzisere, nachvollziehbare und quellenbezogene Antworten zu generieren und Halluzinationen zu reduzieren. Weitere Merkmale sind:

• Datenhoheit: Die Kommune befüllt die Vektordatenbank selbst mit ihren Dokumenten (PDFs, Satzungen, Webseiten).
• Reduziertes Risiko von Halluzinationen: Der Chatbot antwortet vorrangig auf Basis der ihm bereitgestellten Dokumente. Die Antworten werden zur besseren Nachvollziehbarkeit eindeutigen Quellenangaben aus den zugrunde liegenden Dokumenten zugeordnet.
• Open-Source-Basis: Durch den Einsatz frei verfügbarer Komponenten wie Milvus, Ollama und offener Sprachmodelle wie LLaMA oder Gemma kann die Software jederzeit an die jeweiligen Anforderungen angepasst werden.

Lokale Suche in großen Datenbeständen: Mit dem RAG-System können große Datenbestände wie z.B. alle Dienstanweisungen einer Kommune oder auch ein ganzes Intranet oder Organisationshandbuch durchsucht werden, ohne die Dokumente jedes Mal neu laden zu müssen. Die rein lokale Suche und Verarbeitung ermöglicht das höchste Maß an Datenschutz für die internen Daten.

Technische Architektur des RAG-KI-Chatbots

Bisheriger Projektverlauf, Entscheidungen und Meilensteine

• April 2024: InNoWest-Ideenwettbewerb & Projektstart durch Einreichung der Idee für einen KI-Chatbot durch die Stadt Brandenburg an der Havel. Prof. Dr. André Nitze und Marvin Prigenitz starten die Entwicklung.
• Juni 2024: Workshop zu KI-Chatbots (1. Runde) — Identifizierung gemeinsamer Anwendungsfälle für KI-Chatbots mit Landkreisen und Kommunen aus Brandenburg: Bürger*innenanfragen und verwaltungsinterne Suchen, beispielsweise in Dienstanweisungen. Der RAG-Chatbot 1.0 soll beide Anwendungsfälle können
• Oktober 2024: Smart Country Convention 2024 — Prof. Dr. André Nitze und Marvin Prigenitz stellen das Konzept „Kommunale KI – Chatbots und Co. in der öffentlichen Verwaltung" auf dem Brandenburg-Stand in Berlin vor.
• Dezember 2024: Workshop KI-Chatbot (2. Runde) — Vertiefung der Anforderungen an KI-Chatbots im kommunalen Kontext und erstmalige Präsentation des RAG-Prototyps 1.0
• 16. Januar 2025: Morning Call & Transferkaffee — Marvin Prigenitz präsentierte den Prototyp im Online-Format von InNoWest und der Präsenzstelle Prignitz
• 23. Januar 2025: Teaminterner Deep Dive Workshop — interne Entscheidung zu weiterem Vorgehen: Der Fokus soll auf technischer Beratung und Begleitung von Kommunen (v.a. Testbetrieb) und Machbarkeitsstudien („Technology Readiness Level“ 5–6)  liegen statt auf dauerhaftem Eigenbetrieb über InNoWest
• 21. Mai 2025: TUIV-AG Jahrestagung — Vorstellung der beiden Anwendungsfälle und des technischen Ansatzes vor ca. 90 IT-Mitarbeitenden in Werder (Havel). Unser kommunaler Praxispartner aus dem LK Ostprignitz-Ruppin berichtete dort sehr positiv über die interne Nutzung des RAG-Chatbots im Intranet
• Juni 2025: Live-Betrieb InNoWest-Webseite — Der RAG-Chatbot 1.0 wird für die Öffentlichkeit auf der InNoWest-Plattform zum Testen freigeschaltet.
• Juli 2025: Gespräche zur Verstetigung des Prototyps: Gespräch u.a. mit dem Zweckverband DIKOM und ZIT-BB über Möglichkeiten der Verstetigung im Land Brandenburg
• Juli/August 2025: Testphase für den RAG-Prototyp: Mehrere Kommunen aus Brandenburg testen den RAG-KI-Chatbot per online-Demo, überwiegend für den Anwendungsfall kommunale Webseite (für Bürger*innen). Feedback führt zu neuer Schwerpunktsetzung – statt einer Lösung für beide Anwendungsfälle, soll zunächst eine leichtgewichtige KI-Chatbotlösung für Bürger*innenanfragen auf kommunalen Webseiten entwickelt werden, die im Vergleich zum RAG-Prototypen sehr wartungsarm und leicht extern zu betreiben ist.
• Dezember 2025: Ende der Entwicklung des RAG-Prototyps 1 und Vorstellung Bürger*innen-Chatbot für Kommunen auf den Demo Days  (siehe Video unten): Vorstellung der bisherigen Arbeiten am RAG-KI-Chatbot 1.0 sowie des neu entwickelten Prototyps für Bürger*innenanfragen, für den Testkommunen gesucht wurden.
• 11. Dezember 2025: Vorstellung des Bürger*innen-Chatbot auf dem 1. Brandenburger Digitaltag in Königs Wusterhausen
• 29. Januar 2026: Vorstellung des Bürger*innen-Chatbots auf dem Fachforum am InNoWest-Transferort in Wittenberge

TIPP: Sehen Sie sich den Mitschnitt  zu unseren "Demo Days" an, in dem wir die Hintergründe und die Funktionsweise des RAG- und des Bürger*innen-Chatbots näher erläutern. Im Video wird auch noch einmal grob auf die Projekthistorie eingegangen. Das Video wurde Ende 2025 aufgezeichnet, um über das Projekt zu informieren und Testkommunen für den Bürger*innen-Chatbot zu finden.

Video Demo Days (Stand Dezember 2025)

Sie können den RAG-KI-Prototyp 1.0 auch selbst testen - er beantwortet  hier Fragen zu InNoWest auf Basis der Webseiteninhalte (www.innowest-brandenburg.de)

Testen Sie den RAG-KI-Chatbot 1.0 selbst

Aktueller Status RAG-Chatbot 1.0: Erfolgreiche Evaluation & Pause

Nach einer intensiven Entwicklungs- und Testphase wurde der erste RAG-Prototyp im Sommer 2025 durch qualitatives Feedback und Interviews mit Praxispartnern erfolgreich evaluiert. Die Erprobung zeigte, dass ein vollständig lokaler Betrieb in kommunalen Rechenzentren technisch umsetzbar ist und unter geeigneten Rahmenbedingungen datenschutzkonform gestaltet werden kann („Technology Readiness Level“ 5–6). Seit Anfang 2026 wird der erste Prototyp planmäßig pausiert und der Fokus auf der Weiterentwicklung und Praxistest des wartungsarmen Perplexity-Bürger*innen-Chatbots gelegt.

Ausblick: Geplante Weiterentwicklung – wird es einen RAG-Prototyp 2.0 geben?

Die im Rahmen des ersten Prototyps gesammelten Erfahrungen und Rückmeldungen der Praxispartner*innen bilden die Grundlage für mögliche Weiterentwicklungen. In diesem Rahmen verfasste Marvin Prigenitz die Masterarbeit „Zentrale Herausforderungen bei der datenschutzkonformen Umsetzung eines RAG-KI-Chatbots für öffentliche Stellen" zu den rechtlichen Rahmenbedingungen für einen datenschutzkonformen Einsatz.

Als mögliche Weiterentwicklung „RAG 2.0“ wird aktuell ein interner Betrieb in einer in Deutschland betriebenen Cloud-Umgebung geprüft. Voraussetzung wären geeignete technische, organisatorische und vertragliche Datenschutzvorkehrungen. Damit könnte die Lösung nicht nur lokal, sondern auch innerhalb einer kontrollierten Cloud-Umgebung betrieben werden. Gleichzeitig soll sie weiterhin große Dokumentbestände und seitenstarke Dokumente verarbeiten können und eine hohe Skalierbarkeit bieten.

Die bereits im ersten Prototyp erprobte semantische Suche könnte in einem Prototyp 2.0 weitergeführt und für große Dokumentbestände ausgebaut werden. Dadurch lassen sich Inhalte nach ihrer Bedeutung und nicht nur anhand einzelner Stichworte auffinden. Ergänzend wären KI-Agentenfunktionen denkbar, die bei der automatisierten Recherche, Strukturierung und Bearbeitung von Informationen unterstützen. So könnte der Prototyp 2.0 die Vorteile einer skalierbaren Cloud-Infrastruktur mit den Anforderungen an interne Nutzung, Datenhoheit und moderne KI-gestützte Arbeitsabläufe verbinden.

Die finale Entscheidung zur Weiterentwicklung des RAG-Prototyps wird im Herbst/Winter 2026 getroffen.