Kernfrage Neu
KI-aufbereitet · Von Autoren geprüft
Können eingereichte Studienleistungen noch eigenständige Kompetenz belegen, wenn Studierende Zugang zu generativen KI-Werkzeugen haben?
Lädt den Spotify-Player; Spotify kann Cookies setzen. Dieses Gerät merkt sich Ihre Auswahl.
Zentrale Ergebnisse
- In einem der Programmierkurse erzielten 45 % der Studierenden mit Bestnoten bei wöchentlichen Aufgaben null Punkte in einer beaufsichtigten Abschlussprüfung, was eine schwache Korrelation zwischen Aufgaben und Prüfungsleistung belegt (r = 0,18).
- Die Einführung einer Prüfungsaufsicht bei einem identischen Programmiertest an einer anderen Hochschule führte zu einem deutlichen Rückgang der Bestnoten von 73 % auf 24 %.
- Quellcode-Vergleiche zeigten bei studentischen Abgaben Code-Inflation und verfrühte, noch nicht gelehrte Programmierkonstrukte, wobei KI-typische Stilmerkmale in etwa 18 % des Codes festgestellt wurden.
- Umfrageergebnisse zeigten, dass internationale und einheimische Studierendenkohorten unterschiedliche Nutzungsmuster und wahrgenommene Nützlichkeiten von KI berichteten, was abweichende soziale und institutionelle Zwänge widerspiegelt.
- Reine KI-Verbote erwiesen sich als unzureichend zur Sicherung der Bewertungsgültigkeit, was die Notwendigkeit verdeutlicht, zu beaufsichtigten Prüfungen und Aufgaben mit sichtbarem kognitiven Aufwand überzugehen.
Bedeutung für die Praxis
CIO / IT-Leitung
Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.
IT-Management
Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.
Unternehmensstrategie
Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.
Forschung
Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.
Politische Entscheidungsträger
Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.
Zusammenfassung
Anhand von drei finnischen Hochschulen und über 1.000 Studierenden untersuchen die Autoren Prüfungsnoten, analysieren 883 gepaarte Quellcode-Einreichungen von Studierenden und KI und werten Umfrageantworten von 602 Studierenden zu Semesterbeginn aus.
Problemstellung
Leistungsbewertungen an Hochschulen beruhen auf der Annahme, dass das Einreichen einer gelösten Aufgabe die kognitiven Fähigkeiten belegt, die sie vermitteln und prüfen soll. Generative KI untergräbt diesen Zusammenhang, da Studierende funktionale Lösungen erzeugen können, ohne die erforderlichen Problemlösungsprozesse zu durchlaufen. Institutionelle KI-Verbote stellen die Validität von Bewertungen nicht wieder her, da Regeln allein die durch die Technologie geschaffenen Handlungsmöglichkeiten nicht beseitigen.
Transkript
Expert: Hallo Anna. Die Studie stützt sich auf Daten von drei finnischen Hochschulen mit über eintausend Studierenden. Die Autoren analysieren Notenverläufe, vergleichen achthundertdreiundachtzig Quellcode-Einreichungen von Studierenden und KI und werten Umfrageergebnisse von über sechshundert Teilnehmenden aus.
Host: Das Problem betrifft Bildungseinrichtungen ebenso wie Unternehmen: Wenn jemand eine fertige Lösung einreicht, galt das bisher als Nachweis für die zugrunde liegende Kompetenz. Warum funktioniert dieser Rückschluss durch generative KI nicht mehr?
Expert: Leistungsüberprüfungen basieren historisch auf der Annahme, dass das korrekte Arbeitsergebnis den kognitiven Problemlösungsprozess belegt. Generative KI entkoppelt diesen Zusammenhang. Nutzende können funktionale Ergebnisse generieren, ohne die erforderlichen kognitiven Schritte selbst durchlaufen zu haben. Die Studie zeigt zudem, dass formale Verbote diese Verbindung nicht wiederherstellen, weil Verbote die tatsächlichen Handlungsmöglichkeiten der Technologie im Alltag nicht beseitigen.
Host: Wie sind die Autoren vorgegangen, um dieses Phänomen empirisch zu untersuchen?
Expert: Der methodische Ansatz kombiniert drei Perspektiven. Zunächst untersuchten sie die Korrelation zwischen unüberwachten wöchentlichen Aufgaben und beaufsichtigten Abschlussprüfungen. Zweitens führten sie automatisierte und stilistische Code-Analysen durch, um Abweichungen und KI-Merkmale zu identifizieren. Drittens erfassten sie über eine Befragung zu Semesterbeginn die tatsächlichen Nutzungsmuster und Einstellungen der Studierenden.
Host: Welche zentralen Ergebnisse liefert die Auswertung?
Expert: Die Daten zeigen eine erhebliche Diskrepanz zwischen unüberwachten Aufgaben und überwachten Prüfungen. In einem Programmierkurs erzielten fünfundvierzig Prozent der Studierenden, die in den wöchentlichen Aufgaben Bestnoten hatten, in der beaufsichtigten Abschlussprüfung null Punkte. Die Korrelation zwischen Aufgaben und Prüfungsleistung lag bei lediglich r gleich null Komma eins acht. An einer anderen Hochschule führte die Einführung einer Prüfungsaufsicht bei einem ansonsten identischen Programmiertest dazu, dass der Anteil der Bestnoten von dreiundsiebzig Prozent auf vierundzwanzig Prozent sank.
Host: Gab es auch direkte Belege für den KI-Einsatz im Code?
Expert: Ja. Quellcode-Vergleiche belegten eine Code-Inflation und den Einsatz fortgeschrittener Konstrukte, die im Curriculum noch gar nicht behandelt worden waren. Stilmerkmale, die typisch für KI-Code sind, wurden in etwa achtzehn Prozent der studentischen Einreichungen nachgewiesen. Die Umfrage zeigte zudem signifikante Unterschiede: Internationale Studierende berichteten über andere Nutzungsmuster und eine höhere wahrgenommene Nützlichkeit von KI als einheimische Studierende, was auf unterschiedliche Rahmenbedingungen und sozialen Druck hinweist.
Host: Warum sind diese Erkenntnisse für Führungskräfte und Organisationen relevant?
Expert: Die Implikationen betreffen unmittelbar das betriebliche Kompetenzmanagement und Einstellungsverfahren. Wenn Bewerber technische Aufgaben zu Hause bearbeiten oder Mitarbeitende im Fernunterricht geschult werden, belegt das Endergebnis allein keine eigenständige Problemlösungskompetenz mehr. Institutionelle Verbote greifen in der Praxis zu kurz. Organisationen müssen Bewertungsverfahren etablieren, die den Denkprozess sichtbar machen — etwa durch beaufsichtigte Praxistests, mündliche Prüfungen oder fallbasierte Live-Interviews.
Host: Das bedeutet, dass Governance über reine Richtlinien hinausgehen und Prüfprozesse direkt an die veränderten technologischen Rahmenbedingungen anpassen muss. Vielen Dank für diese Einordnung, Alex. Und vielen Dank an Sie fürs Zuhören bei A.I.S. Insights — powered by Living Knowledge. Bis zur nächsten Folge.
Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education