Kembali ke pustaka

Pertanyaan kunci Baru

Diproses AI · Disetujui penulis

Mengapa para profesional mengikuti rekomendasi AI meski meragukan nilai praktisnya, dan bagaimana dampaknya terhadap keputusan lanjutan?

Ethical Uncertainty in Human-AI Collaborative Decision-Making: A Study of AI-Assisted Radiology
Yao Ma, Ela Klecun · International Conference on Information Systems (ICIS) · 2026
Ilustrasi untuk: Mengapa para profesional mengikuti rekomendasi AI meski meragukan nilai praktisnya, dan bagaimana dampaknya terhadap keputusan lanjutan?

Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.

Temuan utama

  • Meskipun para profesional dengan mudah mengabaikan kesalahan AI yang tampak jelas, mereka ragu untuk mengabaikan temuan AI yang tidak signifikan secara klinis karena konflik moral antara keterbukaan informasi kepada pasien dan pencegahan kecemasan pasien yang tidak perlu.
  • Tekanan situasional, seperti perselisihan dengan pasien akibat inkonsistensi laporan serta kemudahan audit rekaman bertanda AI dalam tuntutan malpraktik, mendorong profesional ke arah kepatuhan defensif terhadap keluaran AI.
  • Para profesional menunjukkan kepatuhan pencegahan (precautionary adherence) dengan melaporkan semua temuan bertanda AI untuk perlindungan hukum diri sendiri, yang memicu efek berantai beban keputusan dan pemeriksaan lanjutan yang tidak perlu bagi dokter dan pasien berikutnya.
  • Para profesional juga memanfaatkan kepatuhan pensinyalan (signalling adherence) dengan menggunakan bahasa pelembut (hedging) yang halus pada laporan untuk memperingatkan pengambil keputusan selanjutnya secara informal terkait keraguan diagnostik mereka.
  • Temuan ini menyarankan agar perancang sistem dan regulator menghadirkan mekanisme penyangga interaktif serta opsi pelaporan non-biner, alih-alih memaksakan alur kerja kaku yang hanya berupa opsi terima-atau-abaikan.

Maknanya bagi Anda

CIO / Eksekutif TI

Initiate a procurement review to mandate that all AI vendor contracts include non-binary reporting options and interactive buffer mechanisms, moving away from rigid accept-or-override workflows.

Manajer TI

Configure the radiology reporting software interface to remove binary forced-choice prompts for AI-flagged nodules and add a standardized 'hedging/clinical reservation' tagging option.

Ahli Strategi Bisnis

Partner with hospital legal counsel and risk management on Monday morning to draft institutional liability guidelines that protect clinicians from malpractice penalties when legitimately dismissing clinically insignificant AI findings.

Peneliti

Design a qualitative study to track the downstream cascading burden and patient anxiety caused by precautionary adherence to AI-flagged incidentalomas in tertiary care settings.

Pembuat Kebijakan

Draft regulatory guidance clarifying that failure to follow unvalidated, clinically insignificant AI screening flags does not constitute negligence in medical malpractice litigation.

Ringkasan

Studi kualitatif ini menyelidiki bagaimana tenaga kesehatan memandang dan menerapkan diskresi saat berkolaborasi dengan AI di bawah kondisi ketidakpastian etis. Para peneliti melakukan observasi lapangan, analisis arsip, dan 39 wawancara di tiga rumah sakit tersier di Tiongkok yang menerapkan skrining CT nodul paru berbantuan AI.

Masalah

Penelitian terdahulu tentang kolaborasi manusia-AI sebagian besar berfokus pada ketidakpastian pengetahuan dan opasitas, dengan asumsi adanya standar yang jelas mengenai hasil yang benar. Namun, dalam lingkungan profesional, pekerja kerap menghadapi ketidakpastian etis ketika kewajiban moral yang saling bertentangan dan tanggung jawab hukum membuat tindakan yang benar menjadi ambigu.

Transkrip
Host: Selamat datang di A.I.S. Insights — powered by Living Knowledge. Saya Anna Ivy Summers, dan hari ini kita membahas sebuah studi berjudul "Ketidakpastian Etis dalam Pengambilan Keputusan Kolaboratif Manusia-AI: Studi tentang Radiologi Berbantuan AI" karya Yao Ma dan Ela Klecun yang dipublikasikan di International Conference on Information Systems 2026. Bersama saya, Alex Ian Sutherland. Alex, studi ini mengkaji sisi yang berbeda dari adopsi AI di dunia kerja.
Expert: Benar, Anna. Penelitian kolaborasi manusia-AI sebelumnya sebagian besar berfokus pada ketidakpastian pengetahuan dan opasitas teknis algoritma. Asumsinya, selalu ada standar objektif tentang keputusan mana yang benar. Namun, di lingkungan profesional, praktisi sering menghadapi ketidakpastian etis ketika kewajiban moral dan tanggung jawab hukum saling berbenturan, sehingga tindakan yang benar menjadi ambigu.
Host: Dan situasi itu membuat ruang diskresi profesional menjadi rumit. Bagaimana para peneliti meneliti fenomena ini secara langsung?
Expert: Para peneliti menggunakan pendekatan kualitatif dengan melakukan observasi lapangan, analisis arsip, dan 39 wawancara di tiga rumah sakit tersier di Tiongkok. Fokus pengamatannya adalah implementasi sistem AI untuk skrining nodul paru pada pemindaian CT.
Host: Apa temuan utama dari studi ini saat para dokter berinteraksi langsung dengan keluaran AI?
Expert: Studi ini menemukan bahwa dokter dapat dengan mudah mengabaikan kesalahan AI yang tampak jelas. Masalah justru muncul ketika AI menandai temuan yang valid secara teknis tetapi tidak signifikan secara klinis, seperti nodul berukuran sangat kecil. Di titik ini, dokter menghadapi konflik moral antara kewajiban bersikap transparan kepada pasien dan keinginan mencegah kecemasan pasien yang tidak perlu.
Host: Situasi tersebut juga dipengaruhi oleh tekanan hukum dan interaksi dengan pasien, bukan?
Expert: Tepat. Adanya riwayat perselisihan dengan pasien dan kemudahan audit rekaman bertanda AI dalam kasus malpraktik mendorong para profesional ke arah kepatuhan defensif. Studi ini mengidentifikasi dua bentuk kepatuhan. Pertama adalah kepatuhan pencegahan atau precautionary adherence, di mana dokter mencantumkan seluruh temuan AI dalam laporan resmi demi perlindungan hukum diri sendiri. Praktik ini memicu efek berantai berupa beban keputusan tambahan dan rujukan pemeriksaan lanjutan yang tidak perlu bagi dokter dan pasien berikutnya.
Host: Lalu, bagaimana dengan bentuk kepatuhan yang kedua?
Expert: Bentuk kedua adalah kepatuhan pensinyalan atau signalling adherence. Dokter tetap memasukkan temuan AI, tetapi mereka menggunakan bahasa pelembut atau hedging yang halus dalam teks laporan. Ini berfungsi sebagai sinyal informal kepada dokter penanggung jawab selanjutnya bahwa mereka meragukan urgensi klinis dari temuan tersebut.
Host: Temuan ini sangat relevan bagi manajemen dan perancang sistem AI. Apa langkah praktis yang dapat diambil oleh para pelaku bisnis dan pengembang teknologi?
Expert: Implikasi utamanya adalah perancang sistem dan regulator perlu menghadirkan mekanisme penyangga interaktif serta opsi pelaporan non-biner, alih-alih memaksakan alur kerja kaku yang hanya menyediakan pilihan terima atau abaikan. Selain itu, pimpinan organisasi perlu mengevaluasi kebijakan audit dan akuntabilitas hukum internal agar para profesional tidak terdorong mengambil keputusan defensif yang menambah inefisiensi pada keseluruhan proses operasional.
Host: Jadi integrasi AI harus mempertimbangkan konteks tanggung jawab profesional dan hukum, bukan hanya ketepatan teknis. Terima kasih atas penjelasannya, Alex. Dan terima kasih kepada para pendengar telah mengikuti A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Ethical uncertainty, human-AI collaboration, professional discretion, artificial intelligence, clinical decision-making, radiology