Kernfrage
KI-aufbereitet · Von Autoren geprüft
Wie gut schneidet ChatGPT bei Fragen zu Kursen über Informationssysteme und beruflichen Zertifizierungsprüfungen ab?
Lädt den Spotify-Player; Spotify kann Cookies setzen. Dieses Gerät merkt sich Ihre Auswahl.
Zentrale Ergebnisse
- ChatGPT beantwortete 65 % bis 85 % der Anfragen zu Informationssystemen in allen Kernbereichen des Rahmenwerks korrekt und schnitt etwa auf dem Niveau eines durchschnittlichen Studierenden ab.
- Das Modell schnitt bei universitären Kursprüfungen deutlich besser ab als bei beruflichen Zertifizierungsprüfungen und erreichte bei den Tests zum PMP und Microsoft Azure Administrator keine ausreichende Punktzahl zum Bestehen.
- ChatGPT erzielte bei Prüfungen ohne Hilfsmittel (Closed-Book) eine höhere relative Genauigkeit gegenüber dem Klassendurchschnitt im Vergleich zu Open-Book- oder Online-Prüfungsumgebungen, bei denen Studierende Zugang zu externen Ressourcen hatten.
- Während ChatGPT eine breite Abdeckung verschiedener IS-Themen zeigte, bevorzugten seine Antworten das Auflisten strukturierter Informationen gegenüber dem Nachweis von kritischem Denken auf Expertenniveau oder komplexer Problemlösung.
Bedeutung für die Praxis
CIO / IT-Leitung
Task your IT training lead to pilot a small internal workshop for a select group of IT professionals focusing on the PMP and Microsoft Azure Administrator certifications, using ChatGPT as a supplementary learning tool to identify specific knowledge gaps and assess its effectiveness in preparing for these professional exams.
IT-Management
Instruct your team members responsible for generating internal documentation or knowledge base articles to compare the accuracy and completeness of ChatGPT's initial drafts on at least two core Information Systems topics (e.g., database management, network security) against your existing, verified internal resources.
Unternehmensstrategie
Task a market analyst to explore potential use cases for ChatGPT in rapidly generating initial drafts of business process documentation or competitive analysis reports within your IS domain, noting its tendency to provide structured information over deep critical thinking.
Forschung
Design a controlled experiment to compare ChatGPT's performance on retrieving specific, factual information about IS concepts in a closed-book scenario versus an open-book scenario using publicly available academic papers, to validate the finding about its performance in different exam environments.
Politische Entscheidungsträger
Request a briefing from your education and technology policy advisors on the implications of AI tools like ChatGPT achieving 'average student' performance in IS education, and explore potential guidelines for incorporating such tools responsibly in curriculum development and assessment.
Zusammenfassung
Diese Studie bewertet die Tiefe und Qualität des domänenspezifischen Wissens von ChatGPT (GPT-3.5) im Bereich der Informationssysteme (IS). Unter Verwendung eines etablierten IS-Kompetenzrahmens analysierten die Forscher die Leistung von ChatGPT bei über 3.000 Fragen aus universitären IS-Kursen und beruflichen Zertifizierungsprüfungen.
Problemstellung
Während Werkzeuge der generativen KI beeindruckende allgemeine akademische Fähigkeiten zeigen, bleibt ihre spezifische Wissensgenauigkeit in spezialisierten Fachgebieten wie den Informationssystemen ungewiss. Lehrenden und Branchenexperten fehlen klare Maßstäbe dafür, ob ChatGPT zuverlässig genaue IS-Inhalte erstellen, professionelle Zertifizierungen bestehen oder komplexe technische Anfragen ohne Halluzinationen beantworten kann.
Transkript
Expert: Hallo Anna. Schön, wieder hier zu sein. Genau darum geht es in der aktuellen Studie, die wir heute unter die Lupe nehmen. Die Forscher haben die Tiefe und Qualität des Fachwissens von ChatGPT im Bereich der Informationssysteme anhand eines etablierten Kompetenzrahmens untersucht. Dafür wurden über 3.000 Fragen aus universitären Kursen und beruflichen Zertifizierungsprüfungen analysiert.
Host: Das klingt nach einem sehr umfassenden Ansatz. Aber warum ist das Thema gerade für die Praxis so extrem wichtig?
Expert: Generative KI ist zwar in aller Munde und glänzt oft bei allgemeinen Aufgaben. Aber in hochspezialisierten Fachbereichen wie den Informationssystemen herrschte bisher große Unsicherheit. Entscheidungsträger und Lehrende hatten schlicht keine verlässlichen Benchmarks. Sie mussten sich fragen: Kann ChatGPT zuverlässig technische Inhalte erstellen? Besteht das Modell professionelle Zertifizierungen? Oder neigt es bei komplexen Anfragen zu Halluzinationen und Fehlern?
Host: Das ist in der Tat ein hohes Risiko für Unternehmen. Wie genau sind die Forscher in dieser Studie vorgegangen, um das herauszufinden?
Expert: Die Methodik war sehr praxisnah aufgebaut. Das Forschungsteam hat einen riesigen Datensatz von mehr als 3.000 echten Prüfungsfragen zusammengestellt. Diese stammten sowohl aus universitären Informationssystem-Studiengängen als auch aus anerkannten Industrie-Zertifizierungen. ChatGPT musste diese Fragen beantworten, und die Ergebnisse wurden dann systematisch mit den menschlichen Leistungen verglichen.
Host: Und zu welchen Ergebnissen ist die Studie gekommen? Wie gut hat sich die KI geschlagen?
Expert: Die Leistung lag über alle Kernbereiche hinweg zwischen 65 und 85 Prozent korrekter Antworten. Damit schneidet ChatGPT ungefähr auf dem Niveau eines durchschnittlichen Studierenden ab.
Host: Das ist ein solides Ergebnis. Gab es denn deutliche Unterschiede je nach Art der Prüfung?
Expert: Ja, absolut. Und das ist ein entscheidender Punkt: Bei universitären Kursprüfungen hat ChatGPT deutlich besser abgeschnitten als bei professionellen Zertifizierungsprüfungen. Bei anspruchsvollen Tests wie dem Project Management Professional, also PMP, oder dem Microsoft Azure Administrator hat das Modell die Mindestpunktezahl zum Bestehen schlicht nicht erreicht.
Host: Interessant! Gab es noch weitere auffällige Muster bei den Tests?
Expert: Ja. In Prüfungen, die für Studierende ohne Hilfsmittel stattfanden, schnitt ChatGPT im Vergleich zum Klassendurchschnitt relativ besser ab als in Open-Book- oder Online-Formaten, in denen auch die Studierenden Zugang zu externen Ressourcen hatten. Außerdem zeigte die Studie, dass ChatGPT zwar ein breites Themenfeld abdeckt, aber Antworten bevorzugt, die strukturierte Informationen auflisten. Es fehlt dem Modell an tiefem kritischen Denken und an der Fähigkeit zur komplexen Problemlösung auf Expertenniveau.
Host: Das bringt uns direkt zu der Frage, was diese Erkenntnisse für Unternehmen bedeuten. Welches Fazit können Führungskräfte daraus ziehen?
Expert: Für die Praxis ergeben sich drei wichtige Lehren. Erstens: ChatGPT ist hervorragend geeignet als Assistenzsystem auf Einsteigerniveau – etwa um Informationen zu strukturieren, Entwürfe zu schreiben oder Routinefragen zu beantworten. Zweitens: Die KI ersetzt keinesfalls menschliche Experten oder zertifizierte Fachkräfte. Wenn es um komplexe IT-Architekturen oder strategisches Projektmanagement geht, reicht die Leistung noch nicht aus. Und drittens: Menschliche Kontrolle bleibt unverzichtbar. Unternehmen müssen Ergebnisse nach wie vor prüfen, um Halluzinationen zu vermeiden.
Host: Zusammenfassend lässt sich also sagen: ChatGPT ist ein starker Sparringspartner für den Arbeitsalltag, aber noch lange kein IT-Spezialist für kritische Unternehmensentscheidungen. Lieber Alex, vielen Dank für diese klaren Einblicke in die Studie.
Expert: Sehr gerne, Anna.
Host: Und ein herzliches Dankeschön an Sie, liebe Hörerinnen und Hörer, fürs Einschalten. Das war A.I.S. Insights — powered by Living Knowledge. Bis zum nächsten Mal!
ChatGPT, Large Language Models, Generative AI, Information Systems Competency, Artificial Intelligence in Education, Knowledge Assessment