Kembali ke pustaka

Pertanyaan kunci Baru

Diproses AI · Disetujui penulis

Bagaimana perusahaan dapat mengelola otonomi AI generatif setelah penerapan untuk mengurangi risiko tanpa kehilangan nilainya?

Harnessing and Reducing the Generative and Workflow Autonomy of Generative AI Systems: A Multiple-Case Study
Vincent Heimburg, Manuel Wiesche · European Conference on Information Systems (ECIS) · 2026

69 kali dilihat

Ilustrasi untuk: Bagaimana perusahaan dapat mengelola otonomi AI generatif setelah penerapan untuk mengurangi risiko tanpa kehilangan nilainya?

Memuat pemutar Spotify; Spotify dapat memasang cookie. Perangkat ini mengingat pilihan Anda.

Temuan utama

  • Studi ini mengonseptualisasikan otonomi AI terdiri dari dua dimensi: otonomi generatif (pembuatan konten) dan otonomi alur kerja (proses dan interaksi sistem), yang didukung secara kualitatif oleh analisis kasus.
  • Penelitian ini mengidentifikasi 20 praktik pasca-penyebaran berbeda yang dikategorikan dalam memanfaatkan otonomi bernilai tambah (seperti audit waktu nyata dan pengayaan sumber daya semantik) atau mengurangi otonomi yang tidak produktif (seperti penjalinan arsitektural dan pemutus sirkuit sumber daya), yang didukung secara kualitatif oleh analisis kasus.
  • Analisis ini mengidentifikasi 'averting effects' di mana upaya untuk mengelola satu dimensi otonomi memerlukan pemeliharaan dimensi lainnya, yang didukung secara kualitatif oleh analisis kasus.
  • Studi ini mengidentifikasi hubungan 'potensial' di mana pengurangan otonomi alur kerja menciptakan landasan struktural yang memungkinkan penyedia untuk membatasi lebih lanjut otonomi generatif, yang didukung secara kualitatif oleh analisis kasus.
  • Temuan ini dibatasi oleh sifat eksploratif dan kualitatif dari tujuh kasus, yang tidak mengukur secara kuantitatif efisiensi operasional, keselamatan, atau dampak ekonomi dari masing-masing praktik, serta otonomi temporal yang terbatas dari sistem saat ini.

Maknanya bagi Anda

CIO / Eksekutif TI

Audit your organization's active GenAI integrations and mandate the immediate implementation of 'resource circuit breakers'—hard programmatic limits on API calls and database writes—to restrict workflow autonomy and prevent runaway system actions.

Manajer TI

Set up a 'real-time auditing' log pipeline for your team's customer-facing GenAI application to flag and review outputs where the system's confidence score drops below 80%, immediately routing those queries to human-in-the-loop agents.

Ahli Strategi Bisnis

Map your company's GenAI product features onto a 2x2 grid of Generative Autonomy vs. Workflow Autonomy to identify features where you can reduce risky workflow autonomy (e.g., auto-sending emails) without degrading the value of the generated content.

Peneliti

Draft a research proposal for a quantitative empirical study that measures the operational latency, safety rates, and economic impacts of 'architectural weaving' vs. 'semantic resource enrichment' across B2B GenAI deployments.

Pembuat Kebijakan

Draft an update to your agency's AI procurement guidelines requiring vendors to prove they have 'averting effects' controls in place, specifically demonstrating how their systems constrain generative output risks when workflow autonomy is elevated.

Ringkasan

Studi ini meneliti bagaimana penyedia sistem kecerdasan buatan generatif mengelola otonomi sistem pasca-penyebaran. Menggunakan metodologi studi multi-kasus eksploratif, para peneliti menganalisis tujuh sistem aktif yang disebarkan dalam konteks bisnis-ke-bisnis, bisnis-ke-konsumen, dan organisasi internal. Analisis ini mengintegrasikan data kualitatif dari 14 wawancara semi-terstruktur dan pengujian sistem secara langsung untuk memodelkan praktik pengelolaan otonomi.

Masalah

Sistem kecerdasan buatan generatif dapat secara otonom menghasilkan konten dan mengorkestrasi alur kerja, tetapi mengelola otonomi ini menimbulkan risiko seperti halusinasi, kerentanan keamanan, dan kesalahan operasional. Meskipun literatur menekankan perlunya mengelola sistem AI, terdapat kekurangan penelitian empiris yang menunjukkan bagaimana penyedia sistem menyeimbangkan kontrol dan otonomi dalam lingkungan langsung. Hal ini membuat para praktisi memiliki panduan yang terbatas tentang cara mengelola risiko pasca-penyebaran tanpa kehilangan utilitas sistem.

Transkrip
Host: Selamat datang di podcast A.I.S. Insights — powered by Living Knowledge. Saya host Anda, Anna Ivy Summers.
Expert: Dan saya Alex Ian Sutherland. Senang bisa kembali di sini untuk berbagi analisis bisnis dan teknologi terbaru.
Host: Hari ini kita akan membahas sebuah studi yang sangat menarik berjudul "MEMANFAATKAN DAN MENGURANGI OTONOMI GENERATIF DAN ALUR KERJA SISTEM AI GENERATIF: STUDI MULTI-KASUS". Alex, bisa jelaskan secara singkat tentang apa studi ini?
Expert: Tentu, Anna. Secara sederhana, studi ini meneliti bagaimana para penyedia sistem kecerdasan buatan generatif mengelola otonomi sistem mereka setelah disebarkan ke lingkungan kerja nyata. Para peneliti mengamati tujuh sistem aktif yang digunakan dalam konteks bisnis-ke-bisnis, bisnis-ke-konsumen, hingga operasional internal perusahaan.
Host: Mengapa masalah otonomi AI ini menjadi topik yang sangat krusial bagi dunia bisnis saat ini?
Expert: Karena AI generatif tidak hanya bisa membuat konten, tetapi juga mampu mengorkestrasi alur kerja secara mandiri. Masalahnya, otonomi ini membawa risiko nyata seperti halusinasi data, ancaman keamanan, dan kesalahan operasional. Banyak pemimpin bisnis bingung bagaimana cara membatasi risiko tersebut tanpa menghilangkan manfaat dan kegunaan utama dari sistem AI itu sendiri.
Host: Jadi ada dilema antara menjaga kendali dan memaksimalkan fungsi AI. Lalu bagaimana pendekatan yang digunakan dalam studi ini untuk membedah masalah tersebut?
Expert: Para peneliti menggunakan pendekatan studi multi-kasus eksploratif. Mereka menggabungkan data kualitatif dari 14 wawancara mendalam bersama para praktisi dengan pengujian sistem AI secara langsung. Dari sana, mereka memodelkan bagaimana kontrol dan otonomi dikelola di lapangan.
Host: Menarik sekali. Lalu, apa saja temuan utama yang berhasil diungkap oleh studi ini?
Expert: Pertama, studi ini memperjelas bahwa otonomi AI terdiri dari dua dimensi terpisah: Otonomi Generatif, yang berfokus pada pembuatan konten, dan Otonomi Alur Kerja, yang mengatur proses dan interaksi sistem.
Host: Pembagian yang sangat logis. Lalu bagaimana cara perusahaan mengelola kedua jenis otonomi tersebut?
Expert: Studi ini mengidentifikasi 20 praktik pasca-penyebaran. Praktik-praktik ini terbagi menjadi dua kelompok: memanfaatkan otonomi bernilai tambah, seperti audit waktu nyata, dan mengurangi otonomi yang tidak produktif, misalnya dengan menerapkan pemutus sirkuit sumber daya ketika AI mulai melakukan kesalahan.
Host: Apakah kedua jenis otonomi ini berdiri sendiri, atau ada keterkaitan di antara keduanya?
Expert: Ada keterkaitan yang sangat dinamis. Studi ini menemukan adanya efek pemutaran atau averting effects, di mana upaya menekan risiko pada satu dimensi sering kali membutuhkan kelonggaran di dimensi lain. Selain itu, ada hubungan potensial di mana pengetatan pada otonomi alur kerja memberikan fondasi struktur yang kuat bagi perusahaan untuk membatasi otonomi generatif dengan lebih efektif.
Host: Mengapa temuan ini sangat penting bagi para profesional dan pemimpin bisnis?
Expert: Implikasi utamanya adalah bahwa mengelola AI tidak bisa dilakukan dengan pendekatan seragam. Perusahaan tidak boleh mematikan seluruh otonomi AI hanya karena takut risiko. Dengan memisahkan kontrol alur kerja dan kontrol konten, bisnis bisa menerapkan mekanisme pengamanan yang tepat, menjaga fleksibilitas operasional, dan tetap meraih nilai tambah maksimal dari investasi AI mereka.
Host: Sebuah poin yang sangat berharga bagi setiap organisasi yang sedang bertransformasi digital. Terima kasih banyak atas penjelasannya yang sangat jelas, Alex.
Expert: Sama-sama, Anna.
Host: Terima kasih kepada para pendengar yang telah setia menyimak A.I.S. Insights — powered by Living Knowledge. Sampai jumpa di episode berikutnya!
Artificial Intelligence & Automation Information Systems & Management Human-Computer Interaction Data Analytics & Big Data Digital Transformation & Strategy Cybersecurity & Privacy Cloud & Infrastructure E-Commerce & Digital Platforms Operations & Supply Chain Sustainability & Green IS

Artificial intelligence, GenAI, Agentic AI, Large Language Models, Case Study, Autonomy