Retour à la bibliothèque

Question clé Nouveau

Traité par IA · Validé par l'auteur

Les devoirs rendus peuvent-ils encore prouver des compétences autonomes lorsque les étudiants ont accès à l'IA générative ?

CS1 in the Age of GenAI: Affordance Dissolution and Assessment Governance
Janne Parkkila, Mika Matveinen, Uolevi Nikula · International Conference on Information Systems (ICIS) · 2026

43 vues · 6 écoutes

Illustration pour : Les devoirs rendus peuvent-ils encore prouver des compétences autonomes lorsque les étudiants ont accès à l'IA générative ?

Charge le lecteur Spotify ; Spotify peut déposer des cookies. Cet appareil mémorise votre choix.

Principaux résultats

  • Dans l'un des cours de programmation, 45 % des étudiants ayant obtenu les meilleures notes aux travaux hebdomadaires ont obtenu zéro à l'examen final surveillé, révélant une faible corrélation entre devoirs et examen (r = 0,18).
  • L'ajout d'une surveillance lors d'une épreuve identique dans un autre établissement a fait chuter la proportion de notes maximales de 73 % à 24 %.
  • L'analyse du code source montre une inflation du code et l'emploi de structures non encore enseignées, avec des marqueurs stylistiques d'IA détectés dans environ 18 % du code étudiant.
  • Les enquêtes révèlent que les étudiants internationaux et nationaux rapportent des usages et une utilité perçue de l'IA distincts, sous l'effet de pressions sociales et institutionnelles différentes.
  • Interdire l'IA par le règlement s'avère insuffisant pour préserver la validité des évaluations, soulignant l'importance d'examens surveillés et d'activités exigeant un effort cognitif visible.

Ce que cela implique pour vous

DSI / Dirigeant IT

Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.

Responsable informatique

Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.

Stratège d'entreprise

Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.

Chercheur

Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.

Décideur public

Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.

Résumé

Dans trois établissements d'enseignement supérieur finlandais regroupant plus de 1 000 étudiants, les auteurs examinent les notes d'évaluation, analysent 883 soumissions appariées de code source d'étudiants et d'IA, et évaluent les réponses de 602 étudiants à un questionnaire de début de semestre.

Problématique

L'évaluation dans l'enseignement supérieur repose sur l'hypothèse que rendre un travail terminé démontre les compétences cognitives sous-jacentes visées par l'apprentissage. L'IA générative compromet ce lien en permettant de produire des solutions fonctionnelles sans mobiliser les processus de résolution de problèmes requis. Les interdictions institutionnelles ne rétablissent pas la validité des évaluations, car les règles ne suppriment pas les capacités offertes par la technologie.

Transcription
Host: Bonjour et bienvenue dans A.I.S. Insights — powered by Living Knowledge. Je suis Anna Ivy Summers. Aujourd'hui, nous analysons une étude intitulée « CS1 à l'ère de l'IA générative : dissolution des affordances et gouvernance de l'évaluation », menée par Janne Parkkila, Mika Matveinen et Uolevi Nikula, et présentée à l'International Conference on Information Systems en 2026. Cette étude se penche sur trois établissements d'enseignement supérieur finlandais regroupant plus de mille étudiants, en examinant les notes d'évaluation, près de neuf cents soumissions de code et les réponses de six cents étudiants. Alex Ian Sutherland est avec nous pour décrypter ce travail. Bonjour Alex.
Expert: Bonjour Anna.
Host: Alex, pour commencer, quel est le problème fondamental abordé par cette étude ?
Expert: Le point central concerne l'évaluation des compétences. Dans l'enseignement comme dans les organisations, l'évaluation repose traditionnellement sur l'hypothèse qu'un travail achevé prouve la maîtrise des compétences cognitives nécessaires pour le réaliser. L'IA générative modifie cette équation en permettant de produire des livrables fonctionnels sans mobiliser ces processus de réflexion. L'étude met en évidence que les simples interdictions institutionnelles ne suffisent pas à restaurer la validité des évaluations, car fixer une règle n'annule pas les capacités techniques offertes par l'outil.
Host: Comment les auteurs ont-ils abordé l'analyse de ce phénomène ?
Expert: Les chercheurs ont adopté une approche empirique au sein de trois établissements finlandais. Ils ont comparé les performances aux devoirs réguliers et aux examens surveillés. Ils ont aussi analysé huit cent quatre-vingt-trois soumissions appariées de code source d'étudiants et de modèles d'IA, et recueilli les réponses de six cent deux étudiants à un questionnaire administré au début du semestre afin de cerner leurs perceptions et usages.
Host: Quels sont les constats majeurs issus de ces observations ?
Expert: Les résultats révèlent une divergence nette entre le travail à distance et les épreuves surveillées. Dans l'un des cours, quarante-cinq pour cent des étudiants ayant obtenu les meilleures notes aux devoirs hebdomadaires ont obtenu un score de zéro à l'examen final surveillé, montrant une corrélation très faible entre ces deux étapes, avec un coefficient r de zéro virgule dix-huit. Dans un autre établissement, l'introduction de la surveillance lors d'une épreuve identique a fait chuter la proportion de notes maximales de soixante-treize pour cent à vingt-quatre pour cent.
Host: Et qu'a révélé l'analyse textuelle du code source ?
Expert: L'examen du code montre une inflation de la longueur des programmes et l'utilisation de structures syntaxiques qui n'avaient pas encore été introduites dans le cursus. Des marqueurs stylistiques caractéristiques de l'IA ont été relevés dans environ dix-huit pour cent du code soumis. Enfin, les données de l'enquête montrent que les étudiants internationaux et nationaux rapportent des usages et une valeur perçue de l'IA différents, ce qui reflète des pressions sociales et institutionnelles variables.
Host: C'est le point clé pour notre public : pourquoi ces résultats sont-ils importants pour le monde de l'entreprise ?
Expert: Ces données s'appliquent directement au recrutement et à la gestion des talents techniques. Si un livrable informatique achevé ne garantit plus la compréhension réelle de son auteur, les tests techniques à distance sans contrôle perdent leur pertinence. Dans un contexte professionnel, embaucher ou promouvoir sur la seule base de projets réalisés sans supervision présente le risque d'intégrer des collaborateurs incapables de maintenir, déboguer ou faire évoluer des systèmes complexes sans assistance automatisée.
Host: Quelles mesures concrètes les dirigeants et responsables des ressources humaines peuvent-ils en tirer ?
Expert: La gouvernance de l'évaluation doit évoluer. D'abord, en réintroduisant des vérifications synchrones ou sous surveillance pour évaluer le raisonnement en temps réel. Ensuite, en modifiant l'objet même de l'évaluation : au lieu de noter uniquement le produit fini, il s'agit d'examiner le processus cognitif visible. Par exemple, demander à un candidat d'expliquer l'architecture d'un code, d'identifier des erreurs dans une proposition générée par une machine, ou de justifier ses choix techniques.
Host: En résumé, l'étude indique qu'interdire les outils ne garantit pas la validité des acquis et qu'un résultat fini ne prouve plus la compétence. Les organisations doivent désormais évaluer la réflexion directe plutôt que le livrable brut. Merci beaucoup Alex pour ces éclairages.
Expert: Merci Anna.
Host: Merci à toutes et à tous de nous avoir suivis sur A.I.S. Insights — powered by Living Knowledge. À très bientôt pour un nouvel épisode.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education