Pertanyaan kunci Baru
Diproses AI · Disetujui penulis
Bagaimana manajer dapat mengukur apakah karyawan bekerja secara kritis dan efektif menggunakan alat AI generatif?
Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.
Temuan utama
- Mengonseptualisasikan keterlibatan kritis dengan AI generatif sebagai konstruk reflektif yang memiliki dua subdimensi: Penataan Input yang Matang dan Peninjauan Output yang Skeptis.
- Mereduksi daftar awal 34 butir pernyataan menjadi 18 butir melalui pengujian validitas isi formal bersama 34 evaluator, menetapkan korespondensi serta keunikan butir.
- Menunjukkan dukungan terhadap struktur dua faktor melalui analisis faktor eksploratori dengan 153 responden (KMO = 0,860), menghasilkan model pengukuran akhir yang disempurnakan menjadi 15 butir.
- Menemukan bahwa skeptisisme terhadap luaran AI secara langsung mendorong perilaku penyusunan input yang lebih terkontrol dan bertahap serta penerapan batasan pengaman di kalangan pekerja pengetahuan.
Maknanya bagi Anda
CIO / Eksekutif TI
Allocate Q3 budget to transition enterprise AI training away from basic prompt-writing tutorials and fund programs focused on cognitive oversight, specifically teaching staff how to conduct systematic skeptical reviews of AI-generated code and text.
Manajer TI
Update your team's code-review and document-drafting checklists to explicitly require a documented 'skeptical review' step, ensuring engineers do not blindly copy-paste probabilistic AI outputs without testing edge cases.
Ahli Strategi Bisnis
Audit your department's current AI-driven workflows to identify where deterministic assumptions are being made, and mandate a step-by-step 'thoughtful structuring of input' protocol for any high-stakes market analysis or forecasting tasks.
Peneliti
Use the validated 15-item measurement scale from this study to design a survey measuring baseline critical engagement levels across a cohort of enterprise knowledge workers before rolling out a new generative AI tool.
Pembuat Kebijakan
Draft internal corporate governance guidelines specifying that high-impact AI use cases (such as compliance or HR) require human-in-the-loop verification steps to counter non-deterministic hallucinations and probabilistic errors.
Ringkasan
Penelitian ini mengembangkan dan memvalidasi skala pengukuran untuk mengevaluasi bagaimana pekerja pengetahuan terlibat secara kritis dengan alat kecerdasan buatan generatif. Berlandaskan pada literatur berpikir kritis dan pemecahan masalah, para penulis melakukan diskusi kelompok terarah dengan para profesional berpengalaman, mengevaluasi validitas isi bersama 34 penilai, serta melakukan analisis faktor eksploratori menggunakan data dari 153 responden.
Masalah
AI generatif menghasilkan luaran probabilistik dan non-deterministik yang dapat menimbulkan kesalahan terselubung dan halusinasi, sehingga memerlukan pengawasan kognitif alih-alih sekadar keahlian menyusun instruksi yang dangkal. Penelitian sistem informasi sebelumnya terutama berfokus pada alat deterministik dan perilaku yang dapat diamati secara kasat mata, menyisakan celah dalam mengukur kemampuan kognitif mendasar yang dibutuhkan untuk berinteraksi secara terampil dengan AI generatif.
Transkrip
Expert: Dan saya Alex Ian Sutherland. Senang bisa kembali berbagi analisis bersama Anda.
Host: Hari ini kita membahas sebuah studi berjudul "Keterlibatan Kritis dengan AI Generatif: Pengembangan dan Validasi Skala", yang disusun oleh Anjali Tripathi, Soumyakanti Chakraborty, Abhipsa Pal, Rajiv Kumar, dan Tejaswini Herath untuk ICIS 2026. Studi ini berfokus pada pengembangan dan validasi instrumen pengukuran untuk mengevaluasi bagaimana pekerja pengetahuan berinteraksi secara kritis dengan alat kecerdasan buatan generatif.
Expert: Benar, Anna. Studi ini berangkat dari tantangan nyata yang dihadapi organisasi saat ini. Berbeda dengan sistem perangkat lunak terdahulu yang bersifat deterministik, AI generatif menghasilkan luaran yang probabilistik dan non-deterministik.
Host: Artinya, sistem dapat menghasilkan respons yang bervariasi dan berpotensi memuat kesalahan terselubung atau halusinasi faktual.
Expert: Tepat sekali. Penelitian sistem informasi sebelumnya terutama berfokus pada alat deterministik dan perilaku penggunaan yang dapat diamati secara kasat mata. Namun pada AI generatif, sekadar memiliki keahlian menyusun instruksi di tingkat permukaan tidak lagi mencukupi. Diperlukan pengawasan kognitif mendasar untuk memastikan luaran yang dihasilkan benar-benar akurat dan relevan.
Host: Lalu, bagaimana para peneliti dalam studi ini merancang pendekatan mereka untuk mengukur kapasitas kognitif tersebut?
Expert: Pendekatan studi ini berakar pada literatur berpikir kritis dan pemecahan masalah. Para peneliti memulai prosesnya dengan melakukan diskusi kelompok terarah bersama para profesional berpengalaman untuk mengidentifikasi indikator keterlibatan kognitif. Dari proses tersebut, tersusun daftar awal yang terdiri dari 34 butir pernyataan.
Host: Dan butir-butir tersebut kemudian melalui proses validasi formal, bukan?
Expert: Betul. Para peneliti melibatkan 34 penilai ahli untuk menguji validitas isi, mengevaluasi korespondensi serta keunikan butir. Evaluasi ini mereduksi daftar awal menjadi 18 butir pernyataan. Selanjutnya, mereka melakukan analisis faktor eksploratori dengan mengumpulkan data dari 153 responden profesional.
Host: Apa hasil temuan utama dari pengujian empiris tersebut, Alex?
Expert: Analisis faktor eksploratori menunjukkan kelayakan data yang baik dengan nilai Kaiser-Meyer-Olkin sebesar 0,860. Model pengukuran akhir kemudian disempurnakan menjadi 15 butir pernyataan. Studi ini mengonseptualisasikan keterlibatan kritis sebagai konstruk reflektif dengan dua subdimensi: Penataan Input yang Matang dan Peninjauan Output yang Skeptis.
Host: Penataan input yang matang dan peninjauan output yang skeptis. Bagaimana kaitan antara kedua subdimensi ini di lapangan?
Expert: Data studi menunjukkan bahwa skeptisisme terhadap luaran AI secara langsung mendorong perilaku penyusunan input yang lebih terkontrol dan bertahap. Ketika pekerja menyadari potensi kesalahan pada AI, mereka cenderung membatasi ruang lingkup instruksi, memberikan konteks yang lebih spesifik, dan menerapkan batasan pengaman pada perintah awal mereka.
Host: Ini poin yang sangat praktis. Mengapa temuan ini penting bagi para pemimpin bisnis dan pengambil keputusan?
Expert: Skala 15 butir yang telah divalidasi ini memberikan metrik konkret bagi praktisi. Pertama, organisasi dapat menggunakannya untuk mengukur kesiapan kognitif karyawan sebelum menerapkan alat AI generatif pada alur kerja utama. Kedua, program pelatihan dapat diarahkan ulang; alih-alih hanya berfokus pada teknik penulisan instruksi dasar, pelatihan dapat menekankan pengembangan skeptisisme terarah dan dekonstruksi masalah.
Host: Hal tersebut tentu membantu bisnis memitigasi risiko operasional, kepatuhan, serta penyebaran informasi yang keliru di dalam organisasi.
Expert: Tepat. Skala ini memungkinkan manajemen mendiagnosis apakah tim mereka kurang dalam merumuskan konteks input atau kurang dalam memverifikasi hasil luaran, sehingga intervensi yang diberikan tepat sasaran.
Host: Jadi kesimpulannya, pemanfaatan AI generatif yang efektif tidak hanya membutuhkan keahlian teknis, melainkan keterlibatan kognitif yang terstruktur melalui penataan input yang matang serta evaluasi output yang skeptis.
Expert: Tepat sekali, Anna. Kualitas hasil kerja AI generatif pada akhirnya ditentukan oleh ketelitian pengawasan manusia.
Host: Terima kasih atas pembahasannya yang sangat jelas, Alex. Dan terima kasih kepada para pendengar telah mengikuti A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya.
Expert: Sampai jumpa.
Generative AI, Critical Engagement, Scale Development, Human-AI Interaction, Knowledge Work, Large Language Models