Pregunta clave Nuevo
Procesado con IA · Aprobado por los autores
¿Pueden las tareas completadas seguir demostrando competencia independiente cuando los estudiantes tienen acceso a herramientas de IA generativa?
Carga el reproductor de Spotify; Spotify puede utilizar cookies. Este dispositivo recuerda su elección.
Hallazgos clave
- En uno de los cursos de programación, el 45% de los estudiantes que obtuvieron las mejores calificaciones en las tareas semanales obtuvieron un cero en un examen final supervisado, lo que muestra una correlación débil entre el desempeño en las tareas y en el examen (r = 0,18).
- La incorporación de supervisión de exámenes a una prueba de programación idéntica en otra institución de educación superior provocó que las calificaciones más altas cayeran significativamente del 73% al 24%.
- Las comparaciones de código fuente mostraron que las entregas de los estudiantes presentaban inflación de código y estructuras de programación prematuras aún no enseñadas, detectándose marcadores estilísticos de IA en aproximadamente el 18% del código escrito por estudiantes.
- Los resultados de las encuestas revelaron que las cohortes de estudiantes internacionales y nacionales reportaron diferentes modalidades de uso de la IA y de utilidad percibida, reflejando diversas presiones sociales e institucionales.
- Prohibir la IA mediante normas de conducta resultó insuficiente para preservar la validez de la evaluación, lo que resalta la necesidad de cambiar hacia exámenes supervisados y tareas que requieran un esfuerzo cognitivo visible.
Qué significa para usted
CIO / Ejecutivo de TI
Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.
Director de TI
Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.
Estratega empresarial
Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.
Investigador
Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.
Responsable de políticas
Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.
Resumen
A lo largo de tres instituciones de educación superior finlandesas y más de 1.000 estudiantes, los autores examinan las calificaciones de evaluación, analizan 883 entregas de código fuente emparejadas de estudiantes y de IA, y evalúan las respuestas a una encuesta de inicio de semestre de 602 estudiantes.
Problema
La evaluación en la educación superior se basa en el supuesto de que entregar una tarea completada demuestra las habilidades cognitivas subyacentes que dicha tarea debía enseñar y evaluar. La IA generativa debilita este vínculo al permitir que los estudiantes produzcan soluciones funcionales sin involucrarse en los procesos de resolución de problemas requeridos. Las políticas institucionales que prohíben la IA no logran restaurar la validez de la evaluación porque las normas por sí solas no pueden cambiar las capacidades prácticas que la tecnología pone a disposición.
Transcripción
Expert: Hola, Anna. El problema central se encuentra en la validez de las evaluaciones. Tradicionalmente, se asumía que la entrega exitosa de una tarea demostraba que el individuo poseía las habilidades cognitivas requeridas para resolverla. La inteligencia artificial generativa debilita este vínculo, ya que permite producir soluciones funcionales sin ejecutar los procesos de razonamiento subyacentes. El estudio muestra que las normas que prohíben la IA resultan ineficaces, ya que una política formal no elimina la disponibilidad práctica de la tecnología.
Host: De modo que completar una tarea técnica ya no garantiza competencia. ¿Qué enfoque metodológico utilizó el equipo de investigación para examinar esto?
Expert: Los autores implementaron un diseño empírico mixto. Primero, midieron la correlación entre el rendimiento en tareas semanales no supervisadas y los resultados en exámenes finales supervisados. Luego, compararon pares de código fuente entregados por estudiantes frente a soluciones generadas por IA para identificar patrones estilísticos. Por último, evaluaron respuestas a encuestas iniciales aplicadas a seiscientos dos estudiantes para analizar modalidades de uso y utilidad percibida.
Host: Los resultados cuantitativos muestran discrepancias notables. ¿Cuáles son los hallazgos clave?
Expert: El hallazgo más directo muestra que en uno de los cursos, el cuarenta y cinco por ciento de los estudiantes con las calificaciones más altas en las tareas semanales obtuvieron una calificación de cero en el examen final supervisado. La correlación entre ambas evaluaciones fue baja, con un coeficiente r de cero coma dieciocho. Además, en otra institución que introdujo supervisión a una prueba idéntica, la proporción de calificaciones máximas se redujo del setenta y tres por ciento al veinticuatro por ciento.
Host: Es una diferencia significativa entre el entorno supervisado y el no supervisado. ¿Qué reveló el análisis del código fuente?
Expert: Se detectaron marcadores estilísticos asociados a IA en aproximadamente el dieciocho por ciento de las entregas de los estudiantes. Estas soluciones presentaban código redundante y estructuras avanzadas que aún no habían sido enseñadas en el curso. Por otro lado, la encuesta reflejó que las cohortes internacionales y locales reportaron patrones de uso diferentes, condicionados por diversas presiones institucionales y de adaptación.
Host: Llegamos a la parte crucial para nuestros oyentes en el sector corporativo. ¿Por qué importan estos hallazgos para las empresas y los líderes de talento?
Expert: Afecta directamente los procesos de contratación, formación interna y certificación de competencias. Muchas organizaciones evalúan a candidatos mediante pruebas técnicas remotas no supervisadas. Si la finalización de una tarea ya no valida la habilidad analítica independiente, las empresas corren el riesgo de validar competencias inexistentes. La lección práctica es clara: prohibir el uso de IA mediante políticas de conducta es insuficiente. Las organizaciones deben migrar hacia modelos de evaluación presencial o tareas donde el proceso de razonamiento y el esfuerzo cognitivo sean directamente observables.
Host: En conclusión, verificar resultados finales ya no basta; es indispensable rediseñar la evaluación del desempeño profesional. Muchas gracias, Alex, y gracias a todos por acompañarnos en A.I.S. Insights — powered by Living Knowledge. Hasta la próxima.
Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education