Pertanyaan kunci Baru
Diproses AI · Disetujui penulis
Apakah tugas kuliah yang selesai masih dapat membuktikan kompetensi mandiri ketika mahasiswa memiliki akses ke alat AI generatif?
Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.
Temuan utama
- Pada salah satu mata kuliah pemrograman, 45% mahasiswa yang memperoleh nilai tertinggi pada tugas mingguan mendapatkan nilai nol pada ujian akhir yang diawasi, menunjukkan korelasi yang lemah antara tugas dan kinerja ujian (r = 0,18).
- Penambahan pengawasan ujian pada tes pemrograman yang identik di institusi pendidikan tinggi lain menyebabkan nilai tertinggi turun secara signifikan dari 73% menjadi 24%.
- Perbandingan kode sumber menunjukkan bahwa pengajuan mahasiswa memperlihatkan inflasi kode dan konstruksi pemrograman prematur yang belum diajarkan, dengan penanda gaya AI terdeteksi pada sekitar 18% kode buatan mahasiswa.
- Hasil survei mengungkapkan bahwa kelompok mahasiswa internasional dan domestik melaporkan cara penggunaan AI dan persepsi manfaat yang berbeda, mencerminkan variasi tekanan sosial dan institusional.
- Pelarangan AI melalui aturan perilaku terbukti tidak cukup untuk mempertahankan validitas penilaian, menyoroti perlunya beralih ke ujian yang diawasi dan tugas yang memerlukan upaya kognitif yang terlihat.
Maknanya bagi Anda
CIO / Eksekutif TI
Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.
Manajer TI
Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.
Ahli Strategi Bisnis
Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.
Peneliti
Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.
Pembuat Kebijakan
Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.
Ringkasan
Di tiga institusi pendidikan tinggi Finlandia dan melibatkan lebih dari 1.000 mahasiswa, para penulis memeriksa nilai penilaian, menganalisis 883 pasangan pengajuan kode sumber mahasiswa dan AI, serta mengevaluasi tanggapan survei awal semester dari 602 mahasiswa.
Masalah
Penilaian pendidikan tinggi bergantung pada asumsi bahwa pengumpulan tugas yang selesai menunjukkan keterampilan kognitif mendasar yang dirancang untuk diajarkan dan dievaluasi oleh tugas tersebut. AI generatif merusak keterkaitan ini dengan memungkinkan mahasiswa menghasilkan solusi fungsional tanpa terlibat dalam proses pemecahan masalah yang diperlukan. Kebijakan institusional yang melarang AI gagal memulihkan validitas penilaian karena aturan semata tidak dapat mengubah kapabilitas praktis yang dihadirkan oleh teknologi tersebut.
Transkrip
Expert: Terima kasih, Anna. Senang berada di sini untuk mendiskusikan implikasi praktis dari studi ini.
Host: Alex, apa permasalahan mendasar yang diangkat dalam studi ini?
Expert: Masalah utamanya berkaitan dengan asumsi dasar dalam penilaian kompetensi. Selama ini, institusi mengasumsikan bahwa pengumpulan tugas yang selesai dan berfungsi membuktikan bahwa seseorang menguasai proses kognitif serta keterampilan pemecahan masalah yang mendasarinya. Kehadiran AI generatif merusak keterkaitan tersebut. Individu kini dapat menghasilkan luaran teknis yang fungsional tanpa harus melalui proses berpikir analitis yang seharusnya diuji. Selain itu, studi ini menunjukkan bahwa regulasi atau aturan institusional yang sekadar melarang AI terbukti tidak efektif, karena larangan normatif tidak mengubah kapabilitas praktis yang disediakan teknologi tersebut.
Host: Bagaimana para peneliti menguji kondisi ini secara empiris dalam studi mereka?
Expert: Peneliti menggunakan pendekatan multi-metode di tiga perguruan tinggi. Mereka menganalisis korelasi antara nilai tugas mandiri dan nilai ujian akhir yang diawasi langsung. Mereka juga membandingkan hasil ujian teknis dengan materi identik dalam kondisi diawasi dan tidak diawasi. Lebih lanjut, mereka memeriksa kode sumber untuk mendeteksi penanda gaya AI dan struktur kode prematur yang belum diajarkan di kelas, serta mengumpulkan data survei mahasiswa di awal semester untuk memahami konteks penggunaan AI.
Host: Apa temuan utama yang dihasilkan dari analisis data tersebut?
Expert: Ada beberapa temuan penting. Pertama, pada satu mata kuliah pemrograman, empat puluh lima persen mahasiswa yang meraih nilai tertinggi pada tugas mingguan ternyata mendapatkan nilai nol pada ujian akhir yang diawasi. Korelasi antara nilai tugas dan kinerja ujian tercatat sangat lemah, dengan koefisien korelasi r sebesar nol koma satu delapan.
Host: Itu kesenjangan kinerja yang cukup signifikan. Bagaimana dengan perbandingan tes yang diawasi dan tidak diawasi?
Expert: Pada pengujian dengan soal identik di institusi lain, penambahan pengawasan langsung menurunkan proporsi perolehan nilai tertinggi secara signifikan, dari tujuh puluh tiga persen menjadi dua puluh empat persen. Dalam analisis kode sumber, peneliti mengidentifikasi adanya inflasi kode dan penggunaan konstruksi pemrograman lanjutan yang belum diajarkan, dengan penanda gaya AI terdeteksi pada sekitar delapan belas persen kode buatan mahasiswa. Selain itu, data survei menunjukkan adanya perbedaan pola penggunaan dan persepsi manfaat AI antara mahasiswa domestik dan internasional, yang dipengaruhi oleh variasi tekanan institusional dan sosial.
Host: Sekarang mari kita bahas bagian paling krusial. Mengapa temuan ini penting bagi para profesional dan pengambil keputusan bisnis?
Expert: Relevansi bisnisnya sangat langsung, terutama dalam hal rekrutmen teknis, evaluasi talenta, dan pelatihan internal. Banyak perusahaan masih mengandalkan uji kemampuan teknis yang dikerjakan dari rumah atau peninjauan portofolio kode untuk menyaring kandidat. Hasil studi ini mengonfirmasi bahwa penyerahan artefak kerja mandiri tidak lagi menjadi bukti valid dari kompetensi analitis individu. Jika proses penilaian tidak diawasi atau tidak dirancang untuk menangkap alur penalaran, organisasi berisiko merekrut atau mempromosikan talenta berdasarkan hasil kerja AI, bukan kapabilitas individu yang sebenarnya.
Host: Jadi, respons kebijakan seperti larangan formal penggunaan AI di tempat kerja atau saat asesmen rekrutmen juga tidak memadai?
Expert: Benar. Kebijakan larangan semata tidak memulihkan validitas penilaian. Pelaku bisnis perlu merancang ulang tata kelola evaluasi kompetensi mereka. Pendekatannya mencakup verifikasi langsung, wawancara teknis berbasis observasi, atau penugasan yang mewajibkan kandidat mendemonstrasikan proses kognitif secara langsung, bukan hanya menyerahkan hasil akhir.
Host: Kesimpulannya, studi ini menunjukkan perlunya perubahan struktural dalam cara kita memvalidasi keterampilan teknis di tengah adopsi AI generatif. Terima kasih atas analisisnya, Alex.
Expert: Sama-sama, Anna.
Host: Dan terima kasih kepada para pendengar yang telah bergabung di A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya.
Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education