Empat Penunggang Kuda AI Generatif (dan Cara Menghindari Mimpi Buruk)

Menjadi Chief Information Security Officer memiliki banyak tanggung jawab. Sehari-harinya, saya bertanggung jawab untuk melindungi pengguna, produk yang kami buat, perusahaan, dan data yang menjadi pusat pekerjaan kami, sambil membangun sistem kelas dunia yang beroperasi sepanjang waktu untuk mencari ancaman. dan musnahkan mereka sebelum menimbulkan bahaya. Saya senang bisa melakukan pekerjaan ini. Ada kelompok inti ancaman dan risiko bawaan yang kami ambil dalam peran ini, namun itulah yang membuat semuanya tetap menarik: mengakali pelaku kejahatan dan menemukan cara yang lebih baik untuk melindungi pengguna kami. Apakah itu menakutkan? Hal ini bisa saja terjadi—tetapi hal ini tidak boleh menjadi mimpi buruk.

Baru-baru ini seseorang bertanya kepada saya apa yang membuat saya tetap terjaga di malam hari (alias apa penyebab mimpi buruk saya), dan hal itu membuat saya berpikir tentang ancaman nyata dan apa yang dirasakan di era digital saat ini. Sebagai hasil dari perencanaan yang matang dan kerja keras dari tim saya di Grammarly, daftar hal-hal yang membuat saya tetap terjaga sangatlah singkat. Namun pengubah permainan, dan kita semua mengetahuinya, adalah AI generatif.

AI generatif dan ketakutan akan hal yang tidak diketahui

AI generatif terasa ada dimana-mana karena sebenarnya ada dimana-mana. Kurang dari satu tahun yang lalu, GPT menjangkau satu juta pengguna dalam waktu singkat (tepatnya 1/15) dibandingkan perbandingan terdekatnya, Instagram.

Bagus, jadi ada dimana-mana. Sekarang apa? Para pemimpin TI di seluruh dunia kini dihadapkan pada serangkaian kemungkinan baru yang benar-benar menakutkan dan harus kita persiapkan untuk melawannya. Vektor ancaman ini berbeda.

Anda mungkin tidak mengetahui seluk beluk cara kami mematuhi SOC2, namun saya berani bertaruh bahwa Anda menyadari bahaya AI generatif dan ancaman yang ditimbulkan oleh pelatihan terhadap data Anda. Benar? Benar. AI generatif tidak hanya ada pada produk yang kami gunakan tetapi juga ada dalam siklus berita kami, dan menjadi perhatian utama bagi siapa saja yang tertarik pada dunia yang menggunakan teknologi. Namun hal ini seharusnya tidak menakutkan—setidaknya tidak seperti yang membuat Anda disuruh takut.

Tidak terlalu menakutkan: ancaman berlebihan dari AI Generatif

Kita melihat semakin besarnya kekhawatiran terhadap ancaman AI generatif, yang beberapa di antaranya dapat dipercaya, namun saya yakin banyak di antaranya yang dibesar-besarkan saat ini. Jika saya ingin menyebut ancaman sebenarnya sebagai Empat Penunggang Kuda, sebut saja ketiganya sebagai Tiga Antek AI generatif: kebocoran data, paparan IP, dan pelatihan tidak sah. Sebelum Anda tidak setuju, izinkan saya menjelaskan mengapa menurut saya ketiga poin ini mengalihkan perhatian Anda dari tantangan nyata yang kita hadapi saat ini:

• Kebocoran data: Tanpa mengizinkan pihak ketiga untuk melatih data rahasia Anda, serangan kebocoran data tetap bersifat teoretis terhadap model bahasa besar (LLM) yang terkenal di luar sana, tanpa demonstrasi serangan praktis berskala besar
• Paparan IP: Kecuali pelatihan apa pun, risiko paparan IP tetap serupa dengan aplikasi SaaS yang didukung AI non-generatif, seperti spreadsheet online
• Pelatihan tidak sah: Mengizinkan pengguna untuk tidak menggunakan data mereka untuk melatih AI generatif telah menjadi standar industri—mengurangi masalah pelatihan data sensitif yang umum terjadi beberapa bulan lalu

Empat Penunggang Kuda AI generatif

Apa yang sebenarnya harus Anda fokuskan untuk memastikan organisasi Anda siap menghadapi kenyataan baru yang kita hadapi? Saya akan memperingatkan Anda—di sinilah halsebenarnyamenjadi menakutkan.

Grammarly telah menjadi perusahaan bantuan penulisan AI terkemuka selama lebih dari 14 tahun, dan pekerjaan saya beberapa tahun terakhir ini adalah membantu perusahaan kami anti-hantu terhadap ancaman yang dapat dipercaya. Saya menyebut ancaman tingkat mimpi buruk ini sebagai Empat Penunggang AI Generatif: Kerentanan Keamanan, Risiko Pihak Ketiga, Privasi dan Hak Cipta, serta Kualitas Output.

Kerentanan keamanan

Dengan banyaknya orang yang ikut-ikutan menggunakan AI generatif dan menciptakan model-model yang berbeda, kita menghadapi kerentanan keamanan baru—mulai dari yang dapat diprediksi hingga yang sangat mudah untuk dilewatkan.

LLM rentan terhadap serangkaian kerentanan keamanan yang muncul (lihat OWASP LLM Top 10 untuk daftar lengkapnya), dan kita perlu memastikan bahwa setiap perimeter tetap terlindungi. Penyedia LLM yang andal harus menjelaskan upaya jaminan pihak pertama dan ketiga, seperti tim merah AI dan audit pihak ketiga, yang telah dimasukkan ke dalam penawaran mereka untuk memitigasi kerentanan keamanan LLM. Lakukan uji tuntas Anda. Perimeter yang aman tidak berarti apa-apa jika Anda membiarkan kuncinya terbuka.

Privasi dan hak cipta

Dengan berkembangnya lingkungan hukum dan privasi seputar AI generatif, seberapa aman Anda dari tindakan regulasi terhadap penyedia Anda atau diri Anda sendiri? Kami telah melihat beberapa reaksi yang cukup keras di UE, hanya berdasarkan pada asal usul kumpulan data pelatihan. Jangan mendapati diri Anda terbangun dalam mimpi buruk bagi Anda dan tim hukum Anda.

Alat AI generatif didasarkan pada pola dalam data, namun apa yang terjadi jika pola tersebut diambil dan dialihkan kepada Anda dari karya orang lain? Apakah Anda terlindungi, sebagai pengguna, jika ada yang menuduh Anda melakukan plagiarisme? Tanpa pagar pembatas yang tepat, hal ini bisa berubah dari sakit kepala yang tidak menyenangkan menjadi kenyataan yang menakutkan. Lindungi diri Anda dan pelanggan Anda sejak awal dengan memperhatikan komitmen hak cipta penyedia.

Risiko penyedia pihak ketiga LLM

Banyak LLM pihak ketiga yang baru dan memiliki akses ke data rahasia. Meskipun semua orang sudah berintegrasi dengan teknologi ini, tidak semuanya sudah matang. Pemain besar seperti penyedia cloud yang sudah menjadi bagian dari profil risiko kami dapat membantu kami memitigasi risiko dengan cara yang tidak mampu (atau tidak ingin) dilakukan oleh perusahaan SaaS yang lebih kecil. Jika saya dapat memberi Anda satu nasihat, saya akan mengatakan agar berhati-hati dalam memilih siapa yang Anda undang ke pesta. Tanggung jawab Anda terhadap pelanggan dimulai jauh sebelum mereka menggunakan produk Anda.

Kualitas keluaran

Alat AI generatif sangat responsif, percaya diri, dan lancar, namun alat tersebut juga bisa salah dan menyesatkan penggunanya (misalnya halusinasi). Pastikan Anda memahami bagaimana penyedia Anda memastikan keakuratan konten yang dihasilkan.

Apa yang lebih buruk? Alat AI generatif dapat membuat konten yang mungkin tidak sesuai untuk audiens Anda, seperti kata-kata atau ekspresi yang merugikan kelompok tertentu. Di Grammarly, ini adalah hasil terburuk yang dapat ditimbulkan oleh produk kami, dan kami bekerja sangat keras untuk mewaspadai dan melindunginya.

Pastikan Anda mengetahui batasan dan kemampuan apa yang dimiliki penyedia Anda untuk menandai konten sensitif. Mintalah penyedia Anda untuk menyediakan API moderasi konten yang memungkinkan Anda memfilter konten yang tidak sesuai untuk audiens Anda. Kepercayaan audiens Anda bergantung padanya.

Jangan lari darinya: Bergeraklah dengan percaya diri menuju AI generatif

Bangun pasukan keamanan internal terbaik

Berinvestasilah dalam tim keamanan AI internal yang hebat, serupa dengan tim keamanan cloud yang telah kita bangun dalam 10 tahun terakhir seiring kita menerapkan komputasi cloud. Keahlian internal akan membantu Anda menguraikan bagaimana masing-masing ancaman nyata ini mungkin berhubungan dengan bisnis/produk/konsumen Anda, dan alat apa yang Anda perlukan untuk melindungi diri Anda dengan baik.

Latih tim ahli Anda. Dan kemudian latih mereka ke tim merah. Jalankan ancaman tersebut melalui serangan berbasis model AI (misalnya, jailbreak, breakout lintas penyewa, dan pengungkapan data sensitif, dll.) dan latihan meja untuk skenario berdampak tinggi, sehingga Anda tahu cara menangani ancaman yang mengintai.

Berdayakan (dan mempersenjatai) karyawan Anda

Saat Anda menerapkan AI generatif ke dalam perusahaan, pertimbangkan karyawan Anda sebagai lini pertahanan kedua terhadap ancaman keamanan yang diuraikan. Memungkinkan mereka membantu melindungi perusahaan Anda dengan memberikan pelatihan keselamatan AI generatif dan panduan yang jelas mengenai kebijakan penggunaan yang dapat diterima.

Penelitian menunjukkan bahwa 68 persen karyawan mengaku menyembunyikan penggunaan AI generatif dari perusahaan mereka. Berpura-pura sebaliknya tidak akan membuat Empat Penunggang Kuda AI generatif menghilang. Sebaliknya, saya menyarankan Anda membangun jalan beraspal yang memungkinkan Penunggang Kuda melewati perusahaan Anda.

Untuk mempelajari bagaimana kami membangun jalan tersebut di Grammarly, silakan lihat sesi saya di Gartner IT Symposium/XPo tahun ini. Dalam ceramah saya, saya akan membahas kerangka kerja terperinci untuk adopsi AI generatif yang aman. Buku putih kami mengenai topik ini akan dirilis pada 19 Oktober.

Untuk mempelajari lebih lanjut tentang komitmen Grammarly terhadap AI yang bertanggung jawab, kunjungiPusat Kepercayaan kami .