Kembali ke pustaka

Pertanyaan kunci Baru

Diproses AI · Disetujui penulis

Bagaimana sistem berbasis AI dirancang untuk mendeteksi, mengklasifikasikan, dan menjelaskan perubahan regulasi agar dapat diverifikasi peninjau?

From Detection to Decision: A Human-Centered Artifact for Regulatory Change Review
Joe Yu, Kevin Chenhao Li, Theresa Treffers, dkk. · International Conference on Information Systems (ICIS) · 2026
Ilustrasi untuk: Bagaimana sistem berbasis AI dirancang untuk mendeteksi, mengklasifikasikan, dan menjelaskan perubahan regulasi agar dapat diverifikasi peninjau?

Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.

Temuan utama

  • Artefak terintegrasi ini mencapai akurasi penyelarasan sebesar 0,96 dan skor Macro-F1 gabungan sebesar 0,69 pada tolok ukur regulasi, mengungguli semua pendekatan dasar yang dievaluasi.
  • Sistem mencapai perolehan (recall) sebesar 0,99 untuk perubahan semantik dan penambahan, serta 0,97 untuk penghapusan dan ketentuan yang tidak berubah, sejalan dengan kebutuhan kepatuhan untuk memprioritaskan deteksi modifikasi kritis dibandingkan alarm palsu.
  • Dalam sesi evaluasi bersama sebelas profesional regulasi, semua peserta melaporkan tetap memegang otoritas keputusan penuh dan memandang sistem ini sebagai asisten efektif yang dapat mengurangi waktu peninjauan manual secara substansial.
  • Para peserta menekankan bahwa penyandaran teks sumber dan penjelasan tersemat merupakan prasyarat penting untuk memverifikasi rekomendasi mesin. Kepercayaan pada sistem itu sendiri terbangun melalui penggunaan berulang.
  • Kinerja relatif lebih rendah pada kelas perubahan yang jarang muncul seperti pembaruan rujukan (recall 0,20) dan perubahan sintaksis (recall 0,21), mencerminkan kompromi dalam memprioritaskan pergeseran semantik berkonsekuensi tinggi.
  • Desain ini disajikan sebagai lima prinsip yang dapat digunakan kembali, sehingga pendekatannya dapat diterapkan pada konteks regulasi lain dan tidak terbatas pada sistem yang dibangun di sini saja.

Maknanya bagi Anda

CIO / Eksekutif TI

Procure or sponsor the development of regulatory change systems that prioritize high recall on substantive changes and source-grounded explanations, ensuring human reviewers retain final override authority.

Manajer TI

Audit current regulatory text-processing workflows to identify bottlenecks in manual diffing, and have your engineering team test structural and semantic matching at the level of individual provisions rather than whole documents.

Ahli Strategi Bisnis

Incorporate automated regulatory tracking tools into compliance operations to reduce manual review overhead, while establishing protocols for expert verification of high-consequence semantic shifts.

Peneliti

Extend explanation layers beyond verification toward implication-aware support, such as whether a change affects deadlines, obligations or related provisions, and study how reviewer attention holds up as systems anticipate more.

Pembuat Kebijakan

Publish regulations in machine-readable form with each provision separately identified and with explicit version metadata, so that automated alignment across versions becomes reliable and compliance risk is reduced.

Ringkasan

Penelitian ini mengembangkan dan mengevaluasi sistem pendukung keputusan menyeluruh yang dirancang untuk membantu peninjau kepatuhan dalam melacak dan menganalisis amendemen regulasi. Mengikuti metodologi penelitian ilmu desain, artefak ini membagi regulasi menjadi unit-unit hukum atomik, menyelaraskan versi menggunakan pencocokan struktural dan semantik, mengklasifikasikan modifikasi melalui ontologi enam kategori, serta menyediakan penjelasan berbasis sumber dan kontrol pembatalan oleh peninjau. Sistem ini dievaluasi pada tolok ukur regulasi yang dibangun dari legislasi Uni Eropa, bersama dengan studi pengguna naturalistik dengan sebelas profesional regulasi.

Masalah

Organisasi menghadapi risiko operasional dan hukum yang signifikan jika mereka melewatkan perubahan regulasi, namun peninjauan korpus hukum yang terus berkembang secara manual membutuhkan banyak waktu dan rentan kesalahan. Pendekatan otomatis yang ada sering kali berfokus pada tugas teknis yang terisolasi seperti diffing leksikal atau temu balik, gagal memisahkan perubahan hukum yang substantif dari perumusan ulang yang tidak berdampak, serta kurang memiliki antarmuka pendukung keputusan yang dapat diverifikasi oleh para pakar manusia.

Transkrip
Host: Halo dan selamat datang di A.I.S. Insights — powered by Living Knowledge. Saya Anna Ivy Summers.
Expert: Dan saya Alex Ian Sutherland.
Host: Hari ini kita membahas studi berjudul "Dari Deteksi ke Keputusan: Artefak yang Berpusat pada Manusia untuk Peninjauan Perubahan Regulasi", yang disusun oleh Joe Yu, Kevin Chenhao Li, Theresa Treffers, dan Isabell Welpe untuk International Conference on Information Systems 2026. Studi ini berfokus pada pengembangan dan evaluasi sistem pendukung keputusan untuk membantu peninjau kepatuhan melacak serta menganalisis amendemen regulasi.
Expert: Benar, Anna. Fokus utama studi ini adalah membantu profesional regulasi menavigasi perubahan aturan yang dinamis melalui bantuan komputasi, tanpa mengesampingkan pengawasan dan keputusan akhir dari pakar manusia.
Host: Mari kita bahas permasalahan utamanya. Mengapa pelacakan amendemen regulasi menjadi tantangan operasional yang begitu besar bagi organisasi saat ini?
Expert: Organisasi menghadapi risiko hukum dan operasional yang nyata jika mereka melewatkan perubahan aturan. Namun, memeriksa korpus hukum yang terus bertambah secara manual memakan banyak waktu dan rentan terhadap kesalahan manusia.
Host: Bukankah sudah ada alat otomatisasi perbandingan teks yang biasa digunakan di industri?
Expert: Ada, tetapi studi ini mencatat bahwa pendekatan otomatis yang umum sering kali hanya berfokus pada tugas teknis terisolasi, seperti penelusuran perbedaan leksikal. Akibatnya, sistem standar kesulitan memisahkan perubahan hukum yang substantif dari perubahan redaksional yang tidak berdampak. Selain itu, banyak sistem otomatis belum menyediakan antarmuka pendukung keputusan yang memungkinkan pakar manusia memverifikasi dasar pertimbangan sistem secara langsung.
Host: Bagaimana pendekatan metodologis yang ditawarkan dalam studi ini untuk mengatasi kendala tersebut?
Expert: Para peneliti menerapkan metodologi penelitian ilmu desain untuk membangun artefak yang terintegrasi. Sistem ini bekerja dengan membagi teks regulasi menjadi unit-unit hukum atomik, lalu menyelaraskan versi dokumen melalui pencocokan struktural dan semantik. Setelah itu, modifikasi diklasifikasikan menggunakan ontologi enam kategori, dilengkapi dengan penjelasan berbasis teks sumber asli serta kendali pembatalan bagi peninjau manusia.
Host: Dari segi hasil pengujian, bagaimana kinerja artefak ini ketika diuji pada tolok ukur regulasi legislasi Uni Eropa?
Expert: Pada tolok ukur tersebut, artefak ini mencatat akurasi penyelarasan sebesar 0,96 dan skor Macro-F1 gabungan sebesar 0,69, yang melampaui pendekatan pembanding yang dievaluasi. Dari sisi kepatuhan, sistem menghasilkan perolehan atau recall sebesar 0,99 untuk perubahan semantik dan penambahan, serta 0,97 untuk penghapusan dan klausul yang tidak berubah.
Host: Angka perolehan tersebut menunjukkan keandalan tinggi dalam mendeteksi perubahan kritis. Namun, apakah ada area di mana performa sistem menunjukkan keterbatasan?
Expert: Ya, studi ini secara objektif melaporkan performa yang relatif lebih rendah pada kategori modifikasi yang frekuensinya jarang. Sebagai contoh, tingkat perolehan untuk pembaruan rujukan berada di angka 0,20 dan untuk perubahan sintaksis berada di angka 0,21. Hal ini menggambarkan adanya kompromi teknis sistem yang memprioritaskan deteksi pergeseran makna berkonsekuensi tinggi dibandingkan variasi rujukan formal.
Host: Selain pengujian data, studi ini juga melakukan evaluasi naturalistik bersama sebelas profesional regulasi. Apa wawasan utama dari interaksi pengguna tersebut?
Expert: Seluruh profesional yang berpartisipasi menyampaikan bahwa mereka tetap memegang kendali penuh atas keputusan kepatuhan, sembari memandang sistem sebagai alat bantu yang secara substansial dapat memangkas durasi tinjauan manual. Mereka juga menekankan bahwa adanya rujukan ke teks sumber asli dan penjelasan tersemat merupakan faktor krusial untuk memverifikasi rekomendasi mesin, di mana kepercayaan terhadap alat terbangun seiring pemakaian berulang.
Host: Apa arti penting dari temuan ini bagi praktisi bisnis dan manajemen risiko?
Expert: Secara praktis, studi ini menunjukkan bahwa otomasi regulasi paling efektif bila dirancang sebagai sistem pendukung keputusan yang transparan, bukan sebagai sistem pengganti mandiri. Para praktisi dapat mengalokasikan waktu analis dari pekerjaan pencarian teks manual ke evaluasi dampak strategis. Selain itu, temuan ini dirumuskan ke dalam lima prinsip desain yang dapat digunakan kembali, sehingga metodenya dapat diadaptasi untuk kerangka regulasi di luar yurisdiksi yang diuji.
Host: Kesimpulan yang sangat aplikatif, di mana transparansi dan keterlibatan manusia tetap menjadi fondasi penting dalam penerapan teknologi kepatuhan. Terima kasih banyak atas analisisnya, Alex.
Expert: Sama-sama, Anna.
Host: Dan terima kasih kepada para pendengar telah mengikuti A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di pembahasan studi berikutnya.
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Regulatory Change Analysis, Legal Natural Language Processing, Human-AI Collaboration, Explainable AI, Design Science Research, Regulatory Compliance