加载 Spotify 播放器;Spotify 可能会设置 Cookie。本设备将记住您的选择。
主要发现
- 在其中一门编程课程中,平时作业获得满分的学生中有45%在有监考的期末考试中得零分,平时成绩与考试表现呈弱相关(r = 0.18)。
- 在另一所高校针对完全相同的编程测试加入监考后,获得优秀成绩的比例从73%大幅降至24%。
- 源代码比对显示,学生提交的作业中存在代码膨胀以及尚未教授的超前编程结构,约18%的学生编写代码中检测到了AI风格特征。
- 问卷调查结果表明,国际学生与本土学生群体在AI的使用模式和感知效用上存在差异,反映出不同的社会与制度压力。
- 事实证明,仅通过行为准则禁止AI不足以维持考核有效性,这凸显了转向受监督考试和需要展现可见认知努力任务的必要性。
实践启示
CIO / IT 高管
Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.
IT 经理
Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.
商业战略师
Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.
研究人员
Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.
政策制定者
Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.
摘要
作者对芬兰三所高校的1000多名学生进行了研究,审查了考核成绩,分析了883份匹配的学生与AI源代码提交记录,并评估了602名学生在开学初的问卷调查反馈。
核心问题
高等教育评估依赖于一个基本假设,即提交完成的任务能够证明学生具备该任务旨在培养和评估的底层认知技能。生成式AI打破了这种关联,使学生无需经历必要的问题解决过程即可产出可运行的解决方案。各院校禁止AI的政策未能恢复考核的有效性,因为仅靠规章制度无法改变这项技术所带来的实际功能。
文稿
Expert: 谢谢 Anna。这项研究探讨了一个非常现实的问题:传统考核一直依赖一个基本假设,即一个人能够提交完成的任务,就证明他掌握了完成该任务所需的底层认知能力。但在基础编程教学中,生成式 AI 打破了这种关联。使用者无需经历分析与试错的问题解决过程,就能直接获取可运行的解决方案。
Host: 很多机构最初试图通过制定禁止使用 AI 的规则来解决这个问题,但研究指出这种方式效果有限。
Expert: 是的。制度层面的禁令无法改变这项技术在实际操作中所提供的功能支持。只要工具可用且易于获取,单纯依靠行为守则就难以阻止其使用。
Host: 那么,这项研究在数据层面发现了什么?
Expert: 研究团队对比了无监考环境和有监考环境下的实际表现,发现平时成绩与受控状态下的独立表现存在显著脱节。在其中一所高校的编程课程中,平时作业获得满分的学生里,有 45% 在有监考的期末考试中得了零分;平时作业成绩与最终考试成绩之间的相关系数仅为弱相关的 r = 0.18。
Host: 这意味着平时的作业完成度已经无法有效预测受监督下的实际能力。其他院校的测试也是类似的情况吗?
Expert: 是的。在另一所高校,研究人员对完全相同的编程测试引入了监考机制,结果优秀成绩的比例从无监考时的 73% 大幅下降至 24%。与此同时,对 883 份代码提交记录的分析显示,作业中普遍出现了代码冗长膨胀以及尚未教授的高级语法结构,约 18% 的代码呈现出明显的 AI 生成特征。
Host: 问卷调查部分还提到了学生群体之间的差异,这反映了什么?
Expert: 对 602 名学生的调查显示,国际学生与本土学生在 AI 工具的使用频率和感知效用上存在统计学差异。这表明使用 AI 的驱动力不仅关乎技术本身,还受到学术适应与制度环境等外部压力的影响。
Host: 这项研究对于企业管理者和技术决策者来说,有哪些具体的实践启示?
Expert: 核心启示在于,企业的人才招聘、技术考核和内部培训体系面临着完全相同的冲击。传统的非现场技术测试或代码作业,已经无法准确验证应聘者是否具备独立排错、系统架构和逻辑推理的能力。如果员工只是利用 AI 产出代码,却缺乏对底层逻辑的理解,在系统出现复杂故障或安全漏洞时,企业将面临极大的技术风险。
Host: 那么企业在评估和人才培养方面应当做出哪些调整?
Expert: 实践层面上,企业需要将考核重点从“最终交付结果”转向“可见的认知过程”。例如,在招聘中增加现场白板演练、口头代码答辩,要求候选人解释设计决策与权衡逻辑;在内部培训中,重点培养员工对 AI 生成内容的审查、验证与安全评估能力,而不仅仅是工具的使用。
Host: 也就是说,考核的核心必须回归到对真实专业判断力的验证上。非常感谢 Alex 的分享,也感谢大家的收听。这里是由 Living Knowledge 支持的 A.I.S. Insights,我们下期再见。
Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education