NIST memperingatkan klaim keamanan 'minyak ular' yang dibuat oleh pembuat AI

NIST memperingatkan klaim keamanan 'minyak ular' yang dibuat oleh pembuat AI

Stempel Waktu: 5 Januari 2024 3:56
NIST memperingatkan klaim keamanan 'minyak ular' yang dibuat oleh pembuat AI, PlatoBlockchain Data Intelligence. Pencarian Vertikal. Ai.

Sistem AI prediktif dan generatif tetap rentan terhadap berbagai serangan dan siapa pun yang mengatakan sebaliknya tidak sepenuhnya jujur, menurut Apostol Vassilev, ilmuwan komputer di Institut Standar dan Teknologi Nasional AS (NIST).

“Meskipun terdapat kemajuan signifikan yang dicapai AI dan pembelajaran mesin, teknologi ini rentan terhadap serangan yang dapat menyebabkan kegagalan spektakuler dengan konsekuensi yang mengerikan,” katanya. tersebut.

“Ada masalah teoritis dalam mengamankan algoritma AI yang belum terpecahkan. Kalau ada yang bilang lain, mereka menjual minyak ular.”

Vassilev menulis makalah tentang topik tersebut bersama Alina Oprea (Northeastern University), serta Alie Fordyce dan Hyrum Anderson dari toko keamanan Robust Intelligence, yang berupaya mengkategorikan risiko keamanan yang ditimbulkan oleh sistem AI. Secara keseluruhan, hasilnya tidak terlihat bagus.

Grafik kertas [PDF], berjudul, “Pembelajaran Mesin Adversarial: Taksonomi dan Terminologi Serangan dan Mitigasi,” merupakan kelanjutan dari inisiatif AI Tepercaya NIST, yang mencerminkan tujuan pemerintah AS yang lebih luas untuk memastikan keamanan AI. Ini mengeksplorasi berbagai teknik pembelajaran mesin permusuhan berdasarkan penelitian industri selama beberapa dekade terakhir.

Para peneliti berfokus pada empat masalah keamanan spesifik: penghindaran, peracunan, privasi, dan serangan penyalahgunaan, yang dapat diterapkan pada model prediktif (misalnya pengenalan objek) atau generatif (misalnya ChatGPT).

“Dalam serangan penghindaran, tujuan musuh adalah untuk menghasilkan contoh permusuhan, yang didefinisikan sebagai sampel pengujian yang klasifikasinya dapat diubah pada waktu penerapan ke kelas sewenang-wenang pilihan penyerang dengan gangguan minimal,” makalah tersebut menjelaskan, menelusuri tekniknya. kembali ke penelitian dari tahun 1988.

Sebagai contoh, NIST menunjuk pada teknik di mana rambu berhenti dapat ditandai sedemikian rupa sehingga sistem visi komputer pada kendaraan otonom salah mengidentifikasinya.

Lalu ada serangan keracunan di mana data yang tidak diinginkan ditambahkan ke pelatihan model pembelajaran mesin dan membuat model merespons dengan cara yang tidak diinginkan, biasanya setelah menerima masukan tertentu. Makalah ini menunjuk pada a Makalah penelitian Microsoft tahun 2020 yang mengatakan bahwa serangan keracunan adalah hal yang paling mengkhawatirkan bagi organisasi yang disurvei mengenai pembelajaran mesin yang merugikan.

“Serangan keracunan, misalnya, dapat dilakukan dengan mengendalikan beberapa lusin sampel pelatihan, yang merupakan persentase yang sangat kecil dari keseluruhan rangkaian pelatihan,” pendapat Oprea.

Serangan privasi, yang melibatkan rekonstruksi data pelatihan yang seharusnya tidak dapat diakses, ekstraksi data yang diingat, membuat kesimpulan tentang data yang dilindungi, dan intrusi terkait, juga relatif mudah dilakukan.

Terakhir, ada serangan penyalahgunaan, yang melibatkan penggunaan kembali sistem AI generatif untuk memenuhi tujuan penyerang. “Penyerang dapat menggunakan kemampuan model GenAI untuk mempromosikan ujaran kebencian atau diskriminasi, menghasilkan media yang menghasut kekerasan terhadap kelompok tertentu, atau meningkatkan operasi keamanan siber yang ofensif dengan membuat gambar, teks, atau kode berbahaya yang memungkinkan terjadinya serangan siber,” makalah tersebut menjelaskan.

Tujuan penulis dalam membuat daftar berbagai kategori dan variasi serangan ini adalah untuk menyarankan metode mitigasi, untuk membantu praktisi AI memahami kekhawatiran yang perlu diatasi ketika model dilatih dan diterapkan, dan untuk mendorong pengembangan pertahanan yang lebih baik.

Makalah ini menyimpulkan dengan mengamati bahwa AI yang dapat dipercaya saat ini memerlukan trade-off antara keamanan di satu sisi dan keadilan serta akurasi di sisi lain.

“Sistem AI yang dioptimalkan untuk akurasi saja cenderung berkinerja buruk dalam hal ketahanan dan keadilan,” simpulnya. “Sebaliknya, sistem AI yang dioptimalkan untuk ketahanan terhadap persaingan mungkin menunjukkan akurasi yang lebih rendah dan hasil keadilan yang lebih buruk.” ®

Stempel Waktu:

Lebih dari Pendaftaran