Microsoft Memperkuat Pertahanan di Azure AI

Microsoft mengumumkan beberapa kemampuan baru di Azure AI Studio yang menurut perusahaan akan membantu pengembang membangun aplikasi AI generatif yang lebih andal dan tahan terhadap manipulasi model jahat dan ancaman lain yang muncul.

Dalam postingan blog tanggal 29 Maret, chief product officer Microsoft untuk AI yang bertanggung jawab, Sarah Bird, menunjukkan meningkatnya kekhawatiran tentang penggunaan pelaku ancaman. serangan injeksi cepat untuk membuat sistem AI berperilaku berbahaya dan tidak terduga sebagai faktor pendorong utama alat baru ini.

“Organisasi juga demikian peduli dengan kualitas dan keandalan,” kata Burung. “Mereka ingin memastikan bahwa sistem AI mereka tidak menghasilkan kesalahan atau menambahkan informasi yang tidak dibuktikan dalam sumber data aplikasi, yang dapat mengikis kepercayaan pengguna.”

Studio AI Azure adalah platform yang dihosting yang dapat digunakan organisasi untuk membangun asisten AI khusus, kopilot, bot, alat pencarian, dan aplikasi lainnya, berdasarkan data mereka sendiri. Diumumkan pada November 2023, platform ini menampung model pembelajaran mesin Microsoft dan juga model dari beberapa sumber lain termasuk OpenAI. Meta, Memeluk Wajah dan Nvidia. Hal ini memungkinkan pengembang untuk dengan cepat mengintegrasikan kemampuan multimodal dan fitur AI yang bertanggung jawab ke dalam model mereka.

Pemain besar lainnya seperti Amazon dan Google telah bergegas memasuki pasar dengan penawaran serupa selama setahun terakhir untuk memanfaatkan meningkatnya minat terhadap teknologi AI di seluruh dunia. Sebuah studi yang dilakukan IBM baru-baru ini menemukan hal itu 42% dari organisasi dengan lebih dari 1,000 karyawan sudah aktif menggunakan AI dan banyak dari mereka berencana untuk meningkatkan dan mempercepat investasi dalam teknologi ini dalam beberapa tahun ke depan. Dan tidak semuanya memberitahu IT sebelumnya tentang penggunaan AI mereka.

Melindungi Terhadap Rekayasa Cepat

Lima kemampuan baru yang telah ditambahkan—atau akan segera ditambahkan—ke Azure AI Studio oleh Microsoft adalah: Prompt Shields; deteksi landasan; pesan sistem keselamatan; evaluasi keselamatan; dan pemantauan risiko dan keselamatan. Fitur-fitur tersebut dirancang untuk mengatasi beberapa tantangan signifikan yang baru-baru ini ditemukan oleh para peneliti—dan terus diungkap secara rutin—terkait dengan penggunaan model bahasa besar dan alat AI generatif.

Perisai Cepat misalnya adalah mitigasi Microsoft terhadap apa yang dikenal sebagai serangan langsung tidak langsung dan jailbreak. Fitur ini dibangun berdasarkan mitigasi yang ada di Azure AI Studio terhadap risiko jailbreak. Di dalam serangan rekayasa yang cepat, musuh menggunakan perintah yang tampak tidak berbahaya dan tidak terlalu berbahaya untuk mencoba mengarahkan model AI agar menghasilkan respons yang berbahaya dan tidak diinginkan. Rekayasa yang cepat adalah salah satu yang paling berbahaya di antara serangan-serangan yang terus berkembang yang mencoba dan model AI jailbreak atau membuat mereka berperilaku dengan cara yang tidak konsisten dengan filter dan batasan apa pun yang mungkin dibuat oleh pengembang di dalamnya.  

Para peneliti baru-baru ini menunjukkan bagaimana musuh dapat terlibat dalam serangan rekayasa yang cepat untuk memanfaatkan model AI generatif menumpahkan data pelatihan mereka, untuk memuntahkan informasi pribadi, menghasilkan misinformasi dan konten yang berpotensi membahayakan, seperti petunjuk tentang cara menyambungkan kabel ke mobil.

Dengan Prompt Shields, pengembang dapat mengintegrasikan kemampuan ke dalam model mereka yang membantu membedakan antara input sistem yang valid dan yang berpotensi tidak dapat dipercaya; mengatur pembatas untuk membantu menandai awal dan akhir teks masukan dan menggunakan penandaan data untuk menandai teks masukan. Prompt Shields saat ini tersedia dalam mode pratinjau di Keamanan Konten Azure AI dan akan segera tersedia secara umum, menurut Microsoft.

Mitigasi Halusinasi Model dan Konten Berbahaya

Sementara itu, dengan deteksi groundedness, Microsoft telah menambahkan fitur ke Azure AI Studio yang dikatakan dapat membantu pengembang mengurangi risiko “halusinasi” model AI mereka. Halusinasi model adalah kecenderungan model AI untuk menghasilkan hasil yang tampak masuk akal tetapi sepenuhnya dibuat-buat dan tidak didasarkan—atau didasarkan—pada data pelatihan. Halusinasi LLM bisa menjadi masalah besar jika organisasi menganggap keluarannya sebagai fakta dan menindaklanjutinya dengan cara tertentu. Dalam lingkungan pengembangan perangkat lunak misalnya, halusinasi LLM dapat mengakibatkan pengembang berpotensi memasukkan kode yang rentan ke dalam aplikasi mereka.

Azure AI Studio yang baru deteksi landasan Kemampuan ini pada dasarnya adalah membantu mendeteksi—dengan lebih andal dan dalam skala yang lebih besar—output AI generatif yang berpotensi tidak memiliki landasan. Tujuannya adalah memberi pengembang cara untuk menguji model AI mereka terhadap apa yang disebut Microsoft sebagai metrik groundedness, sebelum menerapkan model tersebut ke dalam produk. Fitur ini juga menyoroti pernyataan yang berpotensi tidak memiliki landasan dalam keluaran LLM, sehingga pengguna mengetahui untuk memeriksa fakta keluaran tersebut sebelum menggunakannya. Deteksi groundedness belum tersedia, namun akan tersedia dalam waktu dekat, menurut Microsoft.

Baru kerangka pesan sistem menawarkan cara bagi pengembang untuk secara jelas mendefinisikan kemampuan model mereka, profilnya, dan keterbatasan dalam lingkungan spesifik mereka. Pengembang dapat menggunakan kemampuan untuk menentukan format keluaran dan memberikan contoh perilaku yang diinginkan, sehingga lebih mudah bagi pengguna untuk mendeteksi penyimpangan dari perilaku yang diinginkan. Ini adalah fitur baru lainnya yang belum tersedia tetapi akan segera tersedia.

Azure AI Studio baru saja diumumkan evaluasi keselamatan kemampuan dan itu pemantauan risiko dan keselamatan fitur keduanya saat ini tersedia dalam status pratinjau. Organisasi dapat menggunakan yang pertama untuk menilai kerentanan model LLM mereka terhadap serangan jailbreak dan menghasilkan konten yang tidak terduga. Kemampuan pemantauan risiko dan keselamatan memungkinkan pengembang mendeteksi masukan model yang bermasalah dan kemungkinan memicu konten halusinasi atau tidak terduga, sehingga mereka dapat menerapkan mitigasi terhadapnya.

“AI generatif dapat menjadi pengganda kekuatan bagi setiap departemen, perusahaan, dan industri,” kata Bird dari Microsoft. “Pada saat yang sama, model landasan menghadirkan tantangan baru bagi keamanan dan keselamatan yang memerlukan mitigasi baru dan pembelajaran berkelanjutan.”

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai