Risiko AI yang sedikit organisasi yang mengurusinya

(SeaPRwire) –   Kebanyakan perusahaan dapat memberitahu Anda berapa banyak pengguna manusia yang memiliki akses ke sistem keuangannya. Sedikit yang dapat memberitahu Anda berapa banyak agen AI yang memiliki akses.

Beberapa tahun terakhir, diskusi tentang AI perusahaan telah berpusat pada gangguan tenaga kerja, pengembalian investasi, dan mekanisme skala kasus penggunaan. Pertanyaan-pertanyaan itu, meskipun penting, semakin bersifat operasional. Masalah struktural yang lebih mendasar mulai muncul, yang akan menentukan apakah AI menjadi keuntungan yang berkelanjutan atau kewajiban yang semakin besar.

Risiko sebenarnya bukanlah kinerja model atau hype media. Risiko sebenarnya adalah proliferasi cepat agen AI otonom yang beroperasi tanpa identitas yang teratur, kontrol akses yang dapat ditegakkan, atau tata kelola siklus hidup. Kerangka kerja tata kelola yang dirancang untuk pengguna manusia dan perangkat lunak tradisional secara diam-diam tertinggal – dan hanya sedikit organisasi yang secara sistematis mengukur paparan risiko ini.

Baru-baru ini, masalah ini menjadi lebih terlihat, dengan munculnya platform yang tidak memiliki perlindungan nyata untuk mencegah pelaku jahat dan memiliki kemampuan untuk membuat dan meluncurkan armada bot yang besar. Platform-platform ini menunjukkan seberapa cepat aktor digital yang tidak terkelola dapat berkembang biak – dan seberapa sulit mereka untuk dilacak setelah itu. Program cerdas sekarang bekerja tanpa tata kelola yang berarti dan memiliki akses ke sistem dan data di luar pandangan kita.

Jika organisasi tidak menerapkan kerangka kerja keamanan kelas industri untuk agen AI hari ini, kita akan segera menghadapi konsekuensinya di lingkungan perusahaan yang kritis.

Agen AI yang tidak terkendali: Perbatasan risiko perusahaan berikutnya

Agen AI berbeda secara penting dari perangkat lunak tradisional dan pengguna manusia. Sebagian besar sistem perusahaan saat ini dibangun di sekitar identitas yang jelas. Pengguna memiliki akun bernama, aplikasi beroperasi dengan kredensial layanan yang terdaftar, dan akses diberikan sesuai dengan peran yang telah ditetapkan yang dapat dipantau, diaudit, dan dicabut jika perlu.

Agen AI otonom tidak pas dengan model ini. Mereka dapat bertindak atas nama pengguna, berinteraksi dengan beberapa sistem, dan membuat keputusan tanpa intervensi langsung manusia. Di banyak organisasi, mereka tidak memiliki identitas yang stabil dan teratur. Akses mereka tidak selalu terkait dengan kebijakan yang jelas. Siklus hidup mereka jarang dikelola dari pembuatan hingga pensiun.

Para peneliti telah menyoroti bagaimana kelemahan dalam lingkungan yang didorong oleh agen dapat memungkinkan instruksi jahat, serangan injeksi prompt, atau data yang terkontaminasi menyebar dengan cepat di seluruh sistem yang terhubung. Di perusahaan di mana agen terhubung ke data sensitif, sistem keuangan, atau infrastruktur operasional, bahkan celah tata kelola kecil dapat meningkat menjadi risiko material.

Dengan kata lain, risiko sebenarnya bukan hanya apa yang dapat dilakukan oleh agen, tetapi apa yang mereka dapat akses.

Kerentanan sebenarnya bukan model AI, tetapi fondasinya

Dalam pekerjaan saya dengan organisasi yang beralih dari eksperimen AI ke penerapan skala perusahaan, satu pola yang menonjol: Titik kegagalan terbesar jarang sekali adalah model AI itu sendiri. Lebih sering, masalahnya adalah fondasi data yang lemah dan kerangka kerja kontrol yang tidak lengkap.

Konsekuensinya sudah nyata. Kegagalan kepatuhan, output yang bias, dan kerusakan tata kelola menghasilkan kerugian keuangan dan operasional yang material di seluruh industri. Dalam beberapa kasus, biaya perbaikan telah meningkat menjadi puluhan juta ketika celah tata kelola ditemukan setelah penerapan. Ini bukan contoh kecerdasan yang tidak terkendali. Ini adalah kegagalan operasional. Ketika AI diperkenalkan ke lingkungan yang kompleks tanpa tata kelola identitas yang dimodernisasi dan pemantauan terus-menerus, risiko meningkat lebih cepat daripada nilai.

Kepentingan menjadi lebih mendesak seiring dengan penyebaran adopsi AI di luar tim terpusat. Karyawan sedang bereksperimen dan menerapkan agen di dalam fungsi bisnis, sering kali tanpa visibilitas perusahaan secara keseluruhan. Otonomi berkembang secara lateral di seluruh organisasi lebih cepat daripada pengawasan perusahaan dapat beradaptasi. Tanpa standar yang jelas untuk identitas, akses, dan pengawasan, aktor digital dapat diam-diam mengumpulkan izin dan pengaruh jauh melampaui ruang lingkup yang dituju.

Pada akhirnya, ini adalah pertanyaan tentang kesiapan arsitektur. Para pemimpin harus dapat menjawab tiga pertanyaan kapan saja: Di mana data kritis kita berada? Siapa atau apa yang dapat mengaksesnya? Bagaimana akses itu divalidasi dan ditinjau?

Oleh karena itu, skala AI dengan aman membutuhkan pengaturan ulang operasional. Agen otonom harus diperlakukan sebagai aktor yang bertanggung jawab di dalam perusahaan. Ini termasuk dokumentasi yang jelas tentang peran dan tanggung jawab, siklus tinjauan teratur, dan integrasi dengan proses IT dan risiko yang ada. Akses harus disengaja dan terus divalidasi, dan aktivitas harus tetap dapat diamati. Organisasi yang melakukan pergeseran ini tidak membatasi inovasi; mereka menciptakan kondisi untuk skala yang berkelanjutan. Di era AI, kematangan operasional adalah yang pada akhirnya memisahkan eksperimen dari keuntungan yang berkelanjutan.

Panggilan untuk mengubah narasi dari hype menjadi kesiapan

Agen AI bukan lagi ancaman teoritis, dan jelas bahwa percakapan industri yang lebih luas perlu berkembang. Kita menghabiskan banyak waktu untuk membahas kinerja model dan kasus penggunaan baru. Kita perlu menghabiskan waktu yang sama untuk identitas, tata kelola data, kontrol akses, dan manajemen siklus hidup untuk aktor otonom yang kita kenalkan ke lingkungan kita.

Tanpa pembatas yang telah menjadi standar di bidang IT lainnya, agen ini dapat mewakili pasukan diam-diam dari aktor digital yang tidak terkelola yang beroperasi di dalam sistem yang kompleks. Mengatasi risiko itu membutuhkan perhatian pemimpin, kolaborasi lintas fungsi, dan komitmen untuk membangun tata kelola kelas industri untuk era AI. Organisasi yang serius tentang hal ini tidak hanya akan mengurangi paparan risiko mereka. Mereka juga akan membangun kepercayaan dan ketahanan yang diperlukan untuk skala AI dengan percaya diri, mendorong kolaborasi yang lebih kuat antara bisnis dan IT. Di dunia di mana sistem cerdas menjadi bagian dari tenaga kerja, keamanan operasional bukan lagi hanya masalah teknis, tetapi keharusan strategis. AI hanya akan berkembang sejauh kepercayaan memungkinkannya. Tata kelola inilah yang membuat kepercayaan itu menjadi mungkin.

Pandangan yang tercermin dalam artikel ini adalah pandangan penulis dan tidak selalu mencerminkan pandangan organisasi global EY atau perusahaan anggotanya, dan juga tidak selalu mencerminkan pendapat dan keyakinan .