Wenn ich mit IT-Führungskräften aus Regierungsbehörden spreche, sagen sie mir oft, dass das erste Tool, das sie für generative KI (GenAI) implementiert haben, ein KI-Chatbot ist. Tatsächlich betrafen mit Stand Januar 2025 80 % aller dokumentierten GenAI-Anwendungsfälle in der US-Bundesregierung Chatbots und KI-gestützte virtuelle Assistenten. Die meisten Behörden haben mit internen, mitarbeiterorientierten Chatbots begonnen, um sicherzustellen, dass sie mit der Technologie vertraut und mit den Ergebnissen zufrieden sind, bevor sie externe, kundenorientierte Chatbots erstellen.

Auch staatliche und kommunale Behörden möchten nun ihre ersten KI-gestützten Chatbots einführen. Bundesbehörden, die interne Implementierungen abgeschlossen haben, planen unterdessen externe Chatbots.

Diese KI-Chatbots unterscheiden sich von den traditionellen Chatbots, die seit Jahren im Einsatz sind. Traditionelle (regelbasierte) Chatbots folgen festen Skripten und eignen sich hervorragend für einfache Aufgaben, aber sie versagen bei Fragen, die außerhalb des Skripts liegen. (Konversationelle) KI-Chatbots verwenden Natural Language Processing (NLP), Machine Learning (ML) und Large Language Models (LLMs), um Absichten zu verstehen, den Kontext zu verarbeiten, zu lernen, sich zu verbessern und Daten zu integrieren, um umfassende Antworten auf komplexe Anfragen zu geben.

KI-Chatbots können schnelle, konsistente und regelkonforme Antworten bereitstellen – ohne menschliches Zutun. Sie können jedoch schwierig zu erstellen, zu sichern und zu verwalten sein. Bevor ein Chatbot entstehen kann, müssen sie einen Use Case identifizieren, der rasch Ergebnisse bringt und wichtige Lernschritte ermöglicht. Im Anschluss optimieren sie das Design, wählen das richtige LLM und integrieren es zuverlässig mit gut aufbereiteten Datenquellen.

Sie müssen den Chatbot außerdem vor Angriffen und böswilligem Verhalten schützen. Gleichzeitig ist eine wirksame Governance nötig, damit das Modell keine unrichtigen oder unangemessenen Antworten liefert – etwas, das zu fehlerhaften Entscheidungen führen, Betrug begünstigen, die Compliance gefährden und letztlich das Vertrauen der Nutzer untergraben kann.

Trotz der Herausforderungen steht außer Frage, dass Bundes-, Landes- und Kommunalbehörden die Implementierung von KI-Chatbots vorantreiben. Die Befolgung von vier Best Practices kann Ihrem Unternehmen helfen, den Wert dieser KI-gestützten Services zu maximieren und gleichzeitig die potenziell schwerwiegenden Risiken zu minimieren.

1. Den richtigen Anwendungsfall finden

Die Entwicklung von KI-Chatbots beginnt mit den gleichen Prinzipien wie andere Anwendungen: Verstehen des Problems, benutzerorientiertes Design und Iteration basierend auf Feedback. Konzentrieren Sie sich bei Ihrem ersten KI-Chatbot-Einsatz auf die Lösung eines spezifischen, klar definierten Problems mit hohem Volumen, wie z. B. die Beantwortung häufig gestellter Fragen. Prüfen Sie bei der Planung Ihres ersten Projekts sowohl externe als auch interne Verwendungsmöglichkeiten. Ziehen Sie in Betracht, für die Ersteinschätzung (Triage) einen Chatbot einzusetzen – eine erste Anlaufstelle für die Interaktion mit Nutzern, die bestimmt, wie ein Problem am besten gelöst werden kann.

Im Laufe der Zeit können Sie zusätzliche Funktionen integrieren, um komplexere Probleme zu unterstützen. Sie könnten beispielsweise Übersetzungsfunktionen integrieren, sowohl Sprache als auch Text unterstützen und eine Verbindung zu mehreren Systemen herstellen.

Externe Anwendungsfälle

Externe Chatbots, die sich an Kunden oder Bürger richten, können ein breites Spektrum an Funktionen abdecken. Hier sind nur ein paar Beispiele:

• Die US-amerikanischen Behörden für Staatsbürgerschaft und Einwanderung (US Citizenship and Immigration Services) haben „EMMA“ implementiert, einen Chatbot, der bei öffentlichen Anfragen zu Einwanderungsdiensten, Green Cards, Reisepässen usw. hilft.

• Die Stadt Atlanta verbesserte die Dienste der 311, indem sie rund um die Uhr Zugang zu Nicht-Notfallhilfen bot. Anwohner können Schlaglöcher jederzeit melden oder sich nach den Abfuhrplänen erkundigen.

• Der Bundesstaat South Carolina führt einen neuen KI-gestützten „Resident Assistant“ mit dem Spitznamen „Bradley“ ein, der es Nutzern ermöglicht, Antworten auf häufig gestellte Fragen zu finden und Unterstützung bei der Zahlung von Steuern, der Navigation durch Wasserrechnungen und vielem mehr zu erhalten.

Externe Chatbots können so konzipiert sein, dass sie anonyme Anfragen unterstützen oder personalisierte Informationen bereitstellen. Der Chatbot einer städtischen Webseite kann anonym allgemeine Informationen zu Baugenehmigungen für Wohnhäuser oder bevorstehenden Veranstaltungen bereitstellen. Aber die Website einer Arbeits-, Steuer- oder Kfz-Behörde könnte personalisierte Antworten mit Informationen über die spezifischen Ansprüche, Steuererklärungen oder Fahrzeuge einer Person bereitstellen.

Interne Anwendungsbereiche

Die meisten IT-Leiter im öffentlichen Sektor, mit denen ich spreche, konzentrieren sich auf interne Chatbots für Mitarbeitende. Interne Chatbots nutzen Retrieval-Augmented Generation (RAG), um interne Daten zu nutzen. Sie können einzelnen Mitarbeitenden helfen, Informationen zu finden und potenziell komplexe Prozesse schnell zu durchlaufen, ohne auf Kollegen angewiesen zu sein.

Wie bei externen Chatbots können diese internen Tools so konzipiert sein, dass sie personalisierte Antworten oder allgemeinere Informationen bereitstellen. Zum Beispiel:

• Ein HR-Chatbot könnte Mitarbeitende durch das Onboarding führen, wie z. B. der „Mrs. Landingham“, ein Slackbot, der 2015 von der General Services Administration (GSA) eingeführt wurde. Ein HR-Chatbot könnte auch Informationen zu Leistungen, Vergütung und Urlaubsanspruch bereitstellen, die auf die jeweilige Person zugeschnitten sind.

• Ein IT-Chatbot könnte technischen Support bereitstellen und Mitarbeitenden bei der Lösung häufiger Supportanfragen helfen, wie z. B. Anfragen zum Zurücksetzen von Passwörtern oder zur Installation neuer Software.

• Ein Case-Management-Chatbot könnte Mitarbeitenden in der Fallbearbeitung und Leistungsbewertung helfen, Regeln schnell nachzuschlagen, Fallhistorien zusammenzufassen und gezielte Informationen aus internen Systemen abzurufen.

Chatbots eignen sich hervorragend für die Ersteinschätzung (Triage) – sie bearbeiten häufig gestellte Fragen und entscheiden, ob Probleme an menschliche Mitarbeitende weitergeleitet werden sollten. Sie können die Produktivität eines jeden Kundenservicecenters steigern, wenn sie richtig konzipiert sind, und sie können die Reaktionszeiten für Benutzer erheblich verkürzen, was besonders wichtig ist, wenn der Chatbot einen IT-Servicedesk oder eine andere kritische Funktion unterstützt. Menschliche Agenten können sich dann auf komplexere, differenziertere und nicht routinemäßige Aufgaben konzentrieren.

2. Basistechnologien bündeln

LLM

Die meisten Organisationen des öffentlichen Sektors entscheiden sich für ein bestehendes LLM, anstatt den teuren und zeitaufwendigen Prozess des Eigenbaus eines solchen Modells zu durchlaufen. Sie können ein kommerzielles LLM, wie ChatGPT von OpenAI, oder ein Open-Source-LLM, wie Llama von Meta, auswählen.

Wenn Sie verschiedene Modelle bewerten, sollten Sie Funktionalität, Sicherheit und Kosten berücksichtigen. Beispielsweise könnte ein Chatbot benötigt werden, der multimodale Eingaben und Ausgaben (wie Text, Bilder und Audio) anstelle von reinem Text verarbeiten kann. Sie können ein Open-Source-Modell auswählen, sodass Sie das Modell in Ihrer eigenen kontrollierten Umgebung hosten können, um die Sicherheit zu maximieren. Mit einem Open-Source-Modell können Sie auch Abonnementgebühren und die potenziell hohen Kosten pro Token kommerzieller Anbieter vermeiden.

Datensatz

Wenn Sie versuchen, den Chatbot mit spezifischem Wissen zu unterfüttern, benötigen Sie einen Datensatz, aus dem das LLM schöpfen kann. Je nach Anwendungsfall können diese Daten Kfz-Zulassungsinformationen für alle Einwohner des Bundesstaates, die Personalrichtlinien Ihrer Behörde oder ein Dokumentenarchiv mit den wichtigen Dokumenten eines Landkreises umfassen. Um einen Chatbot zu unterstützen, sollten die Daten in einer Vektordatenbank gespeichert werden, die so strukturiert ist, dass LLMs sich frühere Eingaben merken können.

RAG

Schließlich benötigen Sie eine Möglichkeit, das LLM in diese Datenquelle zu integrieren, damit Ihr Chatbot den Nutzern relevante Informationen bereitstellen kann. RAG ergänzt Nutzer-Prompts mit Informationen aus dieser Datenquelle und fragt dann das LLM ab. Das LLM erstellt dann eine Antwort unter Verwendung des neuen Kontexts, anstatt sich auf seine allgemeinen Trainingsdaten zu verlassen.

3. Keine Eile beim Design

Die sorgfältige Gestaltung der Chatbot-Schnittstelle, der Plattformunterstützung und der Beziehung zu anderen Inhalten ist entscheidend für die erfolgreiche Einführung. Beginnen Sie mit der Nutzerforschung. Definieren Sie anschließend einen begrenzten Umfang für den Chatbot, beispielsweise spezifische Themen oder eine bestimmte Art von Frage-Antwort-Modell. Sammeln Sie Daten und Feedback, um die Performance und Wissensdatenbank des Bots kontinuierlich zu verbessern.

Um den Nutzen und die Inklusivität zu maximieren, sollten Sie den Einsatz von Chatbots über verschiedene Kanäle in Betracht ziehen, darunter Ihre Website, Ihre mobile Anwendung und eine Textplattform. Unterstützen Sie mehrere Sprachen (Englisch und Spanisch sind gängige Prioritäten in US-Behörden), um die Barrierefreiheit zu erhöhen.

Denken Sie auch daran, dass die Inhalte des Chatbots mit anderen Website- und FAQ-Inhalten zusammenspielen müssen. Der Chatbot ist ein Werkzeug, um Informationen auf eine Weise bereitzustellen, die menschliche Interaktionen annähert – aber kein Ersatz für andere Formen der Informationsvermittlung.

4. Sicherheit und Governance stärken

Das Design und die Entwicklung eines Chatbots sind nur ein Teil des Weges. Sie benötigen auch wirksame Möglichkeiten, um diese zu schützen und zu steuern – und das beinhaltet die Kontrolle der Daten, die in den Chatbot hinein- und aus ihm herausfließen.

Eingabe steuern

Es ist wichtig, Guardrails für Benutzer-Prompts festzulegen, um eine Manipulation des KI-Systems zu verhindern. Insbesondere müssen Teams das Modell schützen und die Prompts auf wichtige Bedrohungen überwachen, wie z. B.:

• Prompt-Injection und Jailbreaking: Nutzer könnten versuchen, die Regeln des Chatbots außer Kraft zu setzen oder das Modell dazu zu bringen, die Sicherheitseinstellungen durch Eingabe von bösartigem Code zu umgehen.

• Unangemessene Prompts: Einige Nutzer geben möglicherweise absichtlich Hassreden oder eindeutige Inhalte ein, um das Modell zur Interaktion mit ungeeignetem Material zu bewegen. Dadurch werden Computing-Ressourcen verschwendet, was letztendlich dem Ruf der Organisation schaden könnte, falls der Chatbot mit ähnlich unangemessenen Inhalten antwortet.

Überwachen Sie die Ausgabe

Sie müssen sich auch auf fehlerhafte Ausgaben vorbereiten, einschließlich ungenauer Antworten. So wurde beispielsweise der MyCity-Chatbot von New York City für Kleinunternehmer gefragt, ob es für ein Restaurant in Ordnung ist, Käse zu servieren, der von einem Nagetier angeknabbert wurde. Die Antwort – offensichtlich falsch – war, dass ein Restaurant den Käse weiterhin servieren darf, solange es das Ausmaß des durch das Nagetier verursachten Schadens beurteilt und die Kunden informiert.

Chatbots können auch unangemessene und voreingenommene Antworten geben, die den Ruf der Behörde schädigen und das öffentliche Vertrauen mindern. In einem vielbeachteten Beispiel aus dem Jahr 2025 veröffentlichte Grok von xAI antisemitische Rhetorik.

Eine KI-Firewall kann dabei helfen, Inputs und Outputs zu schützen, indem sie Prompt-Injection, Modellvergiftung, übermäßige Nutzung und andere Bedrohungen blockiert, denen herkömmliche Sicherheitslösungen nicht begegnen können. Die Firewall befindet sich am Netzwerkrand, zwischen dem Benutzer und dem Modell, und kann verhindern, dass schädliche Eingaben das Modell und ungeeignete oder nicht-konforme Ausgaben den Benutzer erreichen. Die Firewall kann vollständig von der Regierungsbehörde kontrolliert werden, wobei von der Behörde festgelegte Richtlinien zur Anwendung kommen.

Jetzt entwickeln, sichern und verwalten

Cloudflare bietet verschiedene Tools, die den Prozess der Bereitstellung von KI-Chatbots vereinfachen können – alles über eine einzige, einheitliche Plattform. Cloudflare ermöglicht es Ihren Teams beispielsweise, das Backend für Chatbots mit einer Vektordatenbank, einem globalen Objektspeicher ohne Egress-Gebühren und einem Service zur Aktivierung von RAG-Mustern zu erstellen, ohne die Infrastruktur verwalten zu müssen.

Anschließend können Sie KI-gestützte Chatbots im globalen Netzwerk von Cloudflare erstellen und bereitstellen. AI Gateway-Dienste ermöglichen es Entwicklern, mehrere LLMs in ihre Chatbots zu integrieren und gleichzeitig einen zentralen Kontroll- und Überwachungspunkt für den KI-App-Traffic zu erhalten. Die Implementierung einer Inline-Firewall for AI-Services, die in das globale Netzwerk von Cloudflare integriert ist, kann dann dazu beitragen, sowohl Prompts als auch Outputs zu schützen.

Es besteht kein Zweifel, dass Chatbots dazu beitragen können, die Erwartungen der Benutzer an einen sofortigen Service zu erfüllen und gleichzeitig dem heutigen verstärkten Streben nach Effizienz in der Verwaltung gerecht zu werden. Dennoch ist es entscheidend für das Erreichen Ihrer Ziele, sich die Zeit für eine sorgfältige Entwicklung Ihres Chatbots sowie die Implementierung ausreichender Sicherheitsvorkehrungen und Governance zu nehmen.

Dieser Beitrag ist Teil einer Serie zu den neuesten Trends und Themen, die für Entscheidungsträger aus der Tech-Branche heute von Bedeutung sind.

Autor

Dan Kent — @danielkent1
Field CTO for Public Sector, Cloudflare

Wichtigste Eckpunkte

Folgende Informationen werden in diesem Artikel vermittelt:

• Wie Sie die besten Anwendungsfälle für Chatbots in Ihrem Unternehmen identifizieren

• Welche Schlüsseltechnologien Sie auswählen und integrieren müssen

• Strategien zur Verbesserung der Sicherheit und Steuerung von Chatbots

Verwandte Ressourcen

• Sicherer Umgang mit KI: Ein Leitfaden zur Entwicklung einer skalierbaren KI-Strategie für CISO

• Sichere KI-Implementierung für staatliche und kommunale Behörden

• KI-generierte Fehlinformationen bekämpfen