Welche Herausforderungen entstehen beim Einsatz eines internen KI-Chatbots in komplexen, hochspezialisierten Fachabteilungen?

Host: Willkommen zu einer neuen Ausgabe von A.I.S. Insights — powered by Living Knowledge. Mein Name ist Anna Ivy Summers.
Expert: Und ich bin Alex Ian Sutherland. Schön, dass Sie wieder dabei sind.
Host: Heute sprechen wir über eine aktuelle Studie mit dem Titel: „Heterogenität der Ground Truth: Untersuchung der Entwicklung und nicht-klinischen Nutzung eines Retrieval-Augmented-Generation-Chatbots im Gesundheitswesen“. Die Autoren der Studie sind Parisima Alaie, Erik Johannes Vallgren und Johan Sandberg, vorgestellt auf der European Conference on Information Systems 2026. Alex, worum geht es in dieser Untersuchung?
Expert: Die Studie untersucht die Entwicklung, den laufenden Betrieb und die Nutzung eines KI-Chatbots bei einem regionalen Gesundheitsdienstleister in Schweden. Das System sollte das Personal administrativ bei der Einführung eines neuen elektronischen Patientendatensystems unterstützen. Technologisch basiert die Anwendung auf Retrieval-Augmented Generation, kurz RAG.
Host: Viele Organisationen setzen RAG ein, um Antworten großer Sprachmodelle verlässlicher zu machen. Welches grundlegende Problem stand hier im Mittelpunkt?
Expert: In der Praxis wird oft angenommen, dass die Einbindung interner Dokumente fehlerhafte Antworten weitgehend verhindert. Doch in komplexen Organisationen gibt es selten eine vollkommen einheitliche Faktenbasis. Verschiedene Abteilungen pflegen historisch gewachsene, abweichende oder teils widersprüchliche Arbeitsroutinen. Das führt zu einer heterogenen Datenbasis: Für den Chatbot ist es schwierig, gleichzeitig allgemeine Richtlinien und spezifische lokale Praktiken korrekt abzubilden.
Host: Welchen methodischen Ansatz hat das Forschungsteam gewählt, um dieses Phänomen zu analysieren?
Expert: Es handelt sich um eine qualitative Einzelfallstudie. Die Datenbasis umfasst 15 leitfadengestützte Interviews mit Entwicklern und Nutzenden, 93 Fragebogenrückläufe, interne Dokumente sowie die quantitative Auswertung von 37.706 Interaktionsprotokollen des Chatbots.
Host: Welche zentralen Ergebnisse liefert die Studie?
Expert: Ein zentrales Resultat ist, dass eine RAG-Architektur Halluzinationen nicht prinzipiell verhindert. Sie verlagert das Problem vielmehr vom Training des Sprachmodells auf die kontinuierliche Pflege und Harmonisierung der internen Daten. Als das Projektteam versuchte, widersprüchliche Abteilungsanleitungen aus der Wissensbasis zu entfernen, sanken zwar formale Fehler. Gleichzeitig sank jedoch der wahrgenommene Nutzen für das klinische Personal vor Ort, da genau die spezifischen Handlungsanweisungen fehlten.
Host: Das bedeutet, ein technisch präziserer Datenbestand führte zu praktischen Nachteilen im Arbeitsalltag. Gab es weitere Unterschiede bei der Nutzung?
Expert: Ja, die Akzeptanz hing stark von der jeweiligen Rolle ab. Führungskräfte bewerteten den Chatbot positiv, da er zentrale Vorgaben verlässlich vermittelte. Das Stationspersonal hingegen empfand verallgemeinerte Antworten als unzureichend für konkrete Arbeitsabläufe. Zudem blieben 18,7 Prozent aller Anfragen im untersuchten Datensatz gänzlich unbeantwortet. Das zeigt, dass die Formulierung von Prompts in natürlicher Sprache eine reale Hürde darstellt, die mit der digitalen Kompetenz der Mitarbeitenden zusammenhängt.
Host: Welche praktischen Konsequenzen ergeben sich daraus für Unternehmen, die ähnliche Systeme planen?
Expert: Der wichtigste geschäftliche Aspekt ist, dass RAG kein reines IT-Setup ist, das nach der Implementierung abgeschlossen ist. Die Pflege interner Wissensbestände ist ein kontinuierlicher soziotechnischer Prozess. Unternehmen müssen feste Verantwortlichkeiten und Governance-Strukturen schaffen. Fachexperten aus den operativen Einheiten müssen dauerhaft eingebunden werden, um zu entscheiden, wie lokale Routinen und übergeordnete Richtlinien in der Wissensbasis ausbalanciert werden.
Host: Die organisatorische Klärung lässt sich also nicht an das Sprachmodell delegieren. Zudem zeigt die Quote unbeantworteter Anfragen, dass begleitende Trainings für die Belegschaft notwendig sind.
Expert: Genau. Ohne gezielte Schulungen zur Formulierung von Anfragen und ohne klare Prozesse zur Pflege der Datenbasis bleibt das System hinter den Erwartungen der operativen Anwender zurück.
Host: Zusammenfassend zeigt die Studie, dass der Erfolg von RAG-Systemen vor allem von der kontinuierlichen Datenpflege und der Abstimmung organisatorischer Prozesse abhängt. Alex, vielen Dank für diese Erläuterungen.
Expert: Sehr gerne, Anna.
Host: Vielen Dank fürs Zuhören bei A.I.S. Insights — powered by Living Knowledge. Bis zum nächsten Mal.