Peneliti jimmy OpenAI dan model tertutup Google

Peneliti jimmy OpenAI dan model tertutup Google

Stempel Waktu: 13 Maret 2024 12
Peneliti jimmy OpenAI dan model tertutup Google PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Boffins telah berhasil membongkar layanan AI tertutup dari OpenAI dan Google dengan serangan yang memulihkan bagian model transformator yang tersembunyi.

Serangan tersebut sebagian menyoroti jenis tertentu yang disebut model “kotak hitam”, yang mengungkapkan lapisan proyeksi penyematan model transformator melalui kueri API. Biaya untuk melakukan hal ini berkisar dari beberapa dolar hingga beberapa ribu dolar, bergantung pada ukuran model yang diserang dan jumlah kueri.

Tidak kurang dari 13 ilmuwan komputer dari Google DeepMind, ETH Zurich, University of Washington, OpenAI, dan McGill University telah menulis kertas menggambarkan serangan, yang dibangun berdasarkan teknik serangan ekstraksi model diusulkan di 2016.

“Dengan harga di bawah $20 USD, serangan kami mengekstrak seluruh matriks proyeksi model bahasa ada dan babbage OpenAI,” para peneliti menyatakan dalam makalah mereka. “Dengan demikian kami mengonfirmasi, untuk pertama kalinya, bahwa model kotak hitam ini masing-masing memiliki dimensi tersembunyi 1024 dan 2048. Kami juga memulihkan ukuran dimensi tersembunyi yang tepat dari model gpt-3.5-turbo, dan memperkirakan biaya kueri di bawah $2,000 untuk memulihkan seluruh matriks proyeksi.”

Para peneliti telah mengungkapkan temuan mereka kepada OpenAI dan Google, keduanya dikatakan telah menerapkan pertahanan untuk memitigasi serangan tersebut. Mereka memilih untuk tidak mempublikasikan ukuran dua model OpenAI gpt-3.5-turbo, yang masih digunakan. Model ada dan babbage keduanya sudah tidak digunakan lagi, jadi mengungkapkan ukurannya masing-masing dianggap tidak berbahaya.

Meskipun serangan tersebut tidak sepenuhnya mengungkap suatu model, para peneliti mengatakan bahwa serangan tersebut dapat mengungkap bentuk akhir model tersebut matriks berat – atau lebarnya, yang sering dikaitkan dengan jumlah parameter – dan memberikan informasi tentang kemampuan model yang dapat digunakan untuk penyelidikan lebih lanjut. Mereka menjelaskan bahwa mendapatkan parameter apa pun dari model produksi adalah hal yang mengejutkan dan tidak diinginkan, karena teknik serangan mungkin dapat diperluas untuk memulihkan lebih banyak informasi.

“Jika Anda memiliki bobot, maka Anda hanya memiliki model lengkapnya,” jelas Edouard Harris, CTO di Gladstone AI, melalui email ke Pendaftaran. “Apa yang dilakukan Google [dkk.] adalah merekonstruksi beberapa parameter model lengkap dengan menanyakannya, seperti yang dilakukan pengguna. Mereka menunjukkan bahwa Anda dapat merekonstruksi aspek-aspek penting dari model tanpa harus mengakses bobot sama sekali.”

Akses terhadap informasi yang cukup tentang model kepemilikan memungkinkan seseorang untuk mereplikasi model tersebut – sebuah skenario yang dipertimbangkan oleh Gladstone AI laporan ditugaskan oleh Departemen Luar Negeri AS dengan judul “Pertahanan Mendalam: Rencana Aksi untuk Meningkatkan Keselamatan dan Keamanan AI Tingkat Lanjut”.

Laporan, dirilis kemarin, memberikan analisis dan rekomendasi tentang bagaimana pemerintah harus memanfaatkan AI dan mencegah potensi ancaman terhadap keamanan nasional.

Salah satu rekomendasi dari laporan tersebut adalah “agar pemerintah AS segera mengeksplorasi pendekatan untuk membatasi rilis akses terbuka atau penjualan model AI canggih di atas ambang batas kemampuan atau total pelatihan komputasi.” Hal ini mencakup “[mengenakan] langkah-langkah keamanan yang memadai untuk melindungi IP penting termasuk bobot model.”

Ketika ditanya tentang rekomendasi laporan Gladstone sehubungan dengan temuan Google, Harris menjawab, “Pada dasarnya, untuk melakukan serangan seperti ini, Anda perlu – setidaknya untuk saat ini – mengeksekusi kueri dalam pola yang mungkin dapat dideteksi oleh perusahaan yang melayani model tersebut. , yaitu OpenAI dalam kasus GPT-4. Kami merekomendasikan pelacakan pola penggunaan tingkat tinggi, yang harus dilakukan dengan cara yang menjaga privasi, untuk mengidentifikasi upaya untuk merekonstruksi parameter model menggunakan pendekatan ini.”

“Tentu saja pertahanan first-pass semacam ini mungkin menjadi tidak praktis juga, dan kita mungkin perlu mengembangkan tindakan penanggulangan yang lebih canggih (misalnya, sedikit mengacak model mana yang memberikan respons tertentu pada waktu tertentu, atau pendekatan lain). Namun kami tidak membahas detailnya dalam rencana itu sendiri.” ®

Stempel Waktu:

Lebih dari Pendaftaran