Kembali ke pustaka

Pertanyaan kunci Baru

Diproses AI · Disetujui penulis

Apakah tugas kuliah yang selesai masih dapat membuktikan kompetensi mandiri ketika mahasiswa memiliki akses ke alat AI generatif?

CS1 in the Age of GenAI: Affordance Dissolution and Assessment Governance
Janne Parkkila, Mika Matveinen, Uolevi Nikula · International Conference on Information Systems (ICIS) · 2026

43 kali dilihat · 6 kali didengarkan

Ilustrasi untuk: Apakah tugas kuliah yang selesai masih dapat membuktikan kompetensi mandiri ketika mahasiswa memiliki akses ke alat AI generatif?

Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.

Temuan utama

  • Pada salah satu mata kuliah pemrograman, 45% mahasiswa yang memperoleh nilai tertinggi pada tugas mingguan mendapatkan nilai nol pada ujian akhir yang diawasi, menunjukkan korelasi yang lemah antara tugas dan kinerja ujian (r = 0,18).
  • Penambahan pengawasan ujian pada tes pemrograman yang identik di institusi pendidikan tinggi lain menyebabkan nilai tertinggi turun secara signifikan dari 73% menjadi 24%.
  • Perbandingan kode sumber menunjukkan bahwa pengajuan mahasiswa memperlihatkan inflasi kode dan konstruksi pemrograman prematur yang belum diajarkan, dengan penanda gaya AI terdeteksi pada sekitar 18% kode buatan mahasiswa.
  • Hasil survei mengungkapkan bahwa kelompok mahasiswa internasional dan domestik melaporkan cara penggunaan AI dan persepsi manfaat yang berbeda, mencerminkan variasi tekanan sosial dan institusional.
  • Pelarangan AI melalui aturan perilaku terbukti tidak cukup untuk mempertahankan validitas penilaian, menyoroti perlunya beralih ke ujian yang diawasi dan tugas yang memerlukan upaya kognitif yang terlihat.

Maknanya bagi Anda

CIO / Eksekutif TI

Monitor digital exam environments because unproctored take-home assignments cannot be trusted anymore during the age of AI since it is easy to skip them.

Manajer TI

Deploy secure, proctored digital testing platforms across institution-wide coursework to ensure assessment integrity.

Ahli Strategi Bisnis

Reallocate institutional resources away from futile AI-ban enforcement toward scalable, supervised assessment infrastructure.

Peneliti

Start evaluating how students perceive their own skills when using AI, and design new learning pathways that accept AI usage while ensuring students still learn.

Pembuat Kebijakan

Prohibiting AI tools is impossible, as we cannot monitor what students are doing at home and what kind of assignments they return, and thus, we should think how to make more supervised assessments possible and scalable as just plain oral exams in large student groups are not a feasible method.

Ringkasan

Di tiga institusi pendidikan tinggi Finlandia dan melibatkan lebih dari 1.000 mahasiswa, para penulis memeriksa nilai penilaian, menganalisis 883 pasangan pengajuan kode sumber mahasiswa dan AI, serta mengevaluasi tanggapan survei awal semester dari 602 mahasiswa.

Masalah

Penilaian pendidikan tinggi bergantung pada asumsi bahwa pengumpulan tugas yang selesai menunjukkan keterampilan kognitif mendasar yang dirancang untuk diajarkan dan dievaluasi oleh tugas tersebut. AI generatif merusak keterkaitan ini dengan memungkinkan mahasiswa menghasilkan solusi fungsional tanpa terlibat dalam proses pemecahan masalah yang diperlukan. Kebijakan institusional yang melarang AI gagal memulihkan validitas penilaian karena aturan semata tidak dapat mengubah kapabilitas praktis yang dihadirkan oleh teknologi tersebut.

Transkrip
Host: Selamat datang di A.I.S. Insights — powered by Living Knowledge. Saya Anna Ivy Summers. Hari ini kita membahas sebuah studi berjudul "CS1 di Era GenAI: Disolusi Afordansi dan Tata Kelola Penilaian" yang ditulis oleh Janne Parkkila, Mika Matveinen, dan Uolevi Nikula, yang dipresentasikan pada International Conference on Information Systems 2026. Studi ini meneliti data dari tiga institusi pendidikan tinggi di Finlandia yang melibatkan lebih dari seribu mahasiswa, menganalisis delapan ratus delapan puluh tiga pasangan pengajuan kode sumber mahasiswa dan AI, serta mengevaluasi tanggapan survei dari enam ratus dua mahasiswa. Bersama saya ada analis kita, Alex Ian Sutherland. Selamat datang, Alex.
Expert: Terima kasih, Anna. Senang berada di sini untuk mendiskusikan implikasi praktis dari studi ini.
Host: Alex, apa permasalahan mendasar yang diangkat dalam studi ini?
Expert: Masalah utamanya berkaitan dengan asumsi dasar dalam penilaian kompetensi. Selama ini, institusi mengasumsikan bahwa pengumpulan tugas yang selesai dan berfungsi membuktikan bahwa seseorang menguasai proses kognitif serta keterampilan pemecahan masalah yang mendasarinya. Kehadiran AI generatif merusak keterkaitan tersebut. Individu kini dapat menghasilkan luaran teknis yang fungsional tanpa harus melalui proses berpikir analitis yang seharusnya diuji. Selain itu, studi ini menunjukkan bahwa regulasi atau aturan institusional yang sekadar melarang AI terbukti tidak efektif, karena larangan normatif tidak mengubah kapabilitas praktis yang disediakan teknologi tersebut.
Host: Bagaimana para peneliti menguji kondisi ini secara empiris dalam studi mereka?
Expert: Peneliti menggunakan pendekatan multi-metode di tiga perguruan tinggi. Mereka menganalisis korelasi antara nilai tugas mandiri dan nilai ujian akhir yang diawasi langsung. Mereka juga membandingkan hasil ujian teknis dengan materi identik dalam kondisi diawasi dan tidak diawasi. Lebih lanjut, mereka memeriksa kode sumber untuk mendeteksi penanda gaya AI dan struktur kode prematur yang belum diajarkan di kelas, serta mengumpulkan data survei mahasiswa di awal semester untuk memahami konteks penggunaan AI.
Host: Apa temuan utama yang dihasilkan dari analisis data tersebut?
Expert: Ada beberapa temuan penting. Pertama, pada satu mata kuliah pemrograman, empat puluh lima persen mahasiswa yang meraih nilai tertinggi pada tugas mingguan ternyata mendapatkan nilai nol pada ujian akhir yang diawasi. Korelasi antara nilai tugas dan kinerja ujian tercatat sangat lemah, dengan koefisien korelasi r sebesar nol koma satu delapan.
Host: Itu kesenjangan kinerja yang cukup signifikan. Bagaimana dengan perbandingan tes yang diawasi dan tidak diawasi?
Expert: Pada pengujian dengan soal identik di institusi lain, penambahan pengawasan langsung menurunkan proporsi perolehan nilai tertinggi secara signifikan, dari tujuh puluh tiga persen menjadi dua puluh empat persen. Dalam analisis kode sumber, peneliti mengidentifikasi adanya inflasi kode dan penggunaan konstruksi pemrograman lanjutan yang belum diajarkan, dengan penanda gaya AI terdeteksi pada sekitar delapan belas persen kode buatan mahasiswa. Selain itu, data survei menunjukkan adanya perbedaan pola penggunaan dan persepsi manfaat AI antara mahasiswa domestik dan internasional, yang dipengaruhi oleh variasi tekanan institusional dan sosial.
Host: Sekarang mari kita bahas bagian paling krusial. Mengapa temuan ini penting bagi para profesional dan pengambil keputusan bisnis?
Expert: Relevansi bisnisnya sangat langsung, terutama dalam hal rekrutmen teknis, evaluasi talenta, dan pelatihan internal. Banyak perusahaan masih mengandalkan uji kemampuan teknis yang dikerjakan dari rumah atau peninjauan portofolio kode untuk menyaring kandidat. Hasil studi ini mengonfirmasi bahwa penyerahan artefak kerja mandiri tidak lagi menjadi bukti valid dari kompetensi analitis individu. Jika proses penilaian tidak diawasi atau tidak dirancang untuk menangkap alur penalaran, organisasi berisiko merekrut atau mempromosikan talenta berdasarkan hasil kerja AI, bukan kapabilitas individu yang sebenarnya.
Host: Jadi, respons kebijakan seperti larangan formal penggunaan AI di tempat kerja atau saat asesmen rekrutmen juga tidak memadai?
Expert: Benar. Kebijakan larangan semata tidak memulihkan validitas penilaian. Pelaku bisnis perlu merancang ulang tata kelola evaluasi kompetensi mereka. Pendekatannya mencakup verifikasi langsung, wawancara teknis berbasis observasi, atau penugasan yang mewajibkan kandidat mendemonstrasikan proses kognitif secara langsung, bukan hanya menyerahkan hasil akhir.
Host: Kesimpulannya, studi ini menunjukkan perlunya perubahan struktural dalam cara kita memvalidasi keterampilan teknis di tengah adopsi AI generatif. Terima kasih atas analisisnya, Alex.
Expert: Sama-sama, Anna.
Host: Dan terima kasih kepada para pendengar yang telah bergabung di A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Generative AI, Assessment validity, Affordance theory, Introductory programming, Assessment governance, Higher education