Kernfrage Neu
KI-aufbereitet · Von Autoren geprüft
Wie können Führungskräfte messen, ob Mitarbeitende kritisch und effektiv mit generativen KI-Tools arbeiten?
Lädt den Spotify-Player; Spotify kann Cookies setzen. Dieses Gerät merkt sich Ihre Auswahl.
Zentrale Ergebnisse
- Konzipierte die kritische Auseinandersetzung mit generativer KI als reflektives Konstrukt mit zwei Unterdimensionen: durchdachte Strukturierung der Eingabe und skeptische Prüfung der Ausgabe.
- Reduzierte einen anfänglichen Pool von 34 Items durch formale Inhaltsvaliditätsprüfungen mit 34 Gutachtenden auf 18 Items und wies Korrespondenz sowie Trennschärfe nach.
- Bestätigte die Zwei-Faktoren-Struktur durch eine explorative Faktorenanalyse mit 153 Befragten (KMO = 0,860) und etablierte ein verfeinertes Messmodell mit 15 Items.
- Zeigte, dass Skepsis gegenüber KI-Ergebnissen bei Wissensarbeitenden direkt zu kontrollierteren, schrittweisen Eingaben und Schutzvorkehrungen führt.
Bedeutung für die Praxis
CIO / IT-Leitung
Allocate Q3 budget to transition enterprise AI training away from basic prompt-writing tutorials and fund programs focused on cognitive oversight, specifically teaching staff how to conduct systematic skeptical reviews of AI-generated code and text.
IT-Management
Update your team's code-review and document-drafting checklists to explicitly require a documented 'skeptical review' step, ensuring engineers do not blindly copy-paste probabilistic AI outputs without testing edge cases.
Unternehmensstrategie
Audit your department's current AI-driven workflows to identify where deterministic assumptions are being made, and mandate a step-by-step 'thoughtful structuring of input' protocol for any high-stakes market analysis or forecasting tasks.
Forschung
Use the validated 15-item measurement scale from this study to design a survey measuring baseline critical engagement levels across a cohort of enterprise knowledge workers before rolling out a new generative AI tool.
Politische Entscheidungsträger
Draft internal corporate governance guidelines specifying that high-impact AI use cases (such as compliance or HR) require human-in-the-loop verification steps to counter non-deterministic hallucinations and probabilistic errors.
Zusammenfassung
Diese Studie entwickelt und validiert eine Messskala, um zu bewerten, wie sich Wissensarbeitende kritisch mit Werkzeugen der generativen künstlichen Intelligenz auseinandersetzen. Basierend auf der Fachliteratur zu kritischem Denken und Problemlösung führten die Autoren Fokusgruppen mit erfahrenen Fachkräften durch, prüften die Inhaltsvalidität mit 34 Gutachtenden und führten eine explorative Faktorenanalyse anhand der Daten von 153 Befragten durch.
Problemstellung
Generative KI liefert probabilistische, nicht-deterministische Ergebnisse, die subtile Fehler und Halluzinationen enthalten können und daher kognitive Kontrolle statt oberflächlicher Prompting-Fähigkeiten erfordern. Bisherige Forschungen der Wirtschaftsinformatik konzentrieren sich vor allem auf deterministische Werkzeuge und beobachtbares Verhalten, wodurch eine Lücke bei der Messung der kognitiven Fähigkeiten für eine kompetente Interaktion mit generativer KI besteht.
Transkript
Expert: Hallo Anna. Die Studie wurde von Anjali Tripathi, Soumyakanti Chakraborty, Abhipsa Pal, Rajiv Kumar und Tejaswini Herath verfasst und auf der ICIS 2026 vorgestellt. Die Autoren entwickeln darin ein Messinstrument, um systematisch zu erfassen, wie Wissensarbeitende kognitiv und kritisch mit Werkzeugen der generativen künstlichen Intelligenz umgehen.
Host: Das betrifft derzeit viele Unternehmen. Welches konkrete Problem greift die Studie auf?
Expert: Generative KI liefert probabilistische, also nicht-deterministische Antworten. Das bedeutet, dass die Ausgaben zwar sprachlich überzeugend klingen, aber dennoch subtile Fehler oder Halluzinationen enthalten können. Bisherige Arbeiten in der Wirtschaftsinformatik haben vor allem beobachtbares Verhalten bei deterministischen IT-Werkzeugen untersucht. Es fehlte bislang an validierten Messverfahren für die kognitiven Fähigkeiten, die notwendig sind, um generative Systeme fundiert zu kontrollieren. Reine Prompting-Fähigkeiten reichen dafür nicht aus.
Host: Es geht also nicht bloß um Textbausteine für Prompts, sondern um die Denkprozesse dahinter. Wie sind die Forschenden methodisch vorgegangen?
Expert: Auf Basis der Fachliteratur zu kritischem Denken und Problemlösung führten die Autoren zunächst Fokusgruppen mit erfahrenen Fachkräften durch. Daraus entstand ein Pool von 34 Items. Anschließend prüften 34 Fachexperten die Inhaltsvalidität, was den Satz auf 18 Items reduzierte. Diese Version wurde dann mittels einer explorativen Faktorenanalyse an einer Stichprobe von 153 Befragten getestet. Mit einem Kaiser-Meyer-Olkin-Wert von 0,860 wiesen die Daten eine solide Eignung auf, woraus ein finales Modell mit 15 Items hervorging.
Host: Welche Dimensionen umfasst dieses finale Messmodell?
Expert: Die Studie identifiziert zwei miteinander verbundene Unterdimensionen: erstens die durchdachte Strukturierung der Eingabe und zweitens die skeptische Prüfung der Ausgabe. Wissensarbeitende zerlegen Aufgaben demnach vorab in logische Schritte und setzen Kontextvorgaben. Gleichzeitig überprüfen sie die Resultate systematisch auf Plausibilität und Konsistenz. Die Daten belegen zudem, dass eine skeptische Grundhaltung gegenüber den KI-Ergebnissen direkt zu einer kontrollierteren, schrittweisen Eingabe führt.
Host: Kommen wir zur Relevanz für Unternehmen. Was fangen Führungskräfte und Praktiker mit diesen Ergebnissen an?
Expert: Unternehmen erhalten damit eine operationalisierbare Basis, um den tatsächlichen Reifegrad ihrer Belegschaft im Umgang mit KI zu messen. Statt allgemeiner Prompt-Engineering-Schulungen können Organisationen gezielte Trainings aufsetzen, die das kognitive Hinterfragen und strukturierte Vorbereiten von Aufgaben fördern. Auf diese Weise lassen sich operationelle Risiken durch fehlerhafte KI-Ausgaben in Geschäftsprozessen systematisch reduzieren.
Host: Ein wichtiger Schritt, um den Einsatz generativer Systeme im Unternehmen verlässlicher zu gestalten. Vielen Dank für diese Einordnung, Alex, und herzlichen Dank an unsere Zuhörenden bei A.I.S. Insights — powered by Living Knowledge. Bis zur nächsten Folge.
Generative AI, Critical Engagement, Scale Development, Human-AI Interaction, Knowledge Work, Large Language Models