Ketika perusahaan semakin menambahkan kemampuan kecerdasan buatan (AI) ke portofolio produk mereka, pakar keamanan siber memperingatkan bahwa komponen pembelajaran mesin (ML) rentan terhadap jenis serangan baru dan perlu dilindungi.
Startup HiddenLayer, yang diluncurkan pada 19 Juli, bertujuan untuk membantu perusahaan melindungi model pembelajaran mesin sensitif mereka dan data yang digunakan untuk melatih model tersebut dengan lebih baik. Perusahaan telah merilis produk pertamanya yang ditujukan untuk segmen deteksi dan respons ML, yang bertujuan untuk memperkuat model terhadap serangan serta melindungi data yang digunakan untuk melatih model tersebut.
Risikonya tidak teoretis: Pendiri perusahaan bekerja di Cylance ketika para peneliti menemukan cara untuk melewati mesin AI perusahaan untuk mendeteksi malware, kata Christopher Sestito, CEO HiddenLayer.
“Mereka menyerang model melalui produk itu sendiri dan cukup berinteraksi dengan model untuk … menentukan di mana model terlemah,” katanya.
Sestito memperkirakan serangan terhadap sistem AI/ML akan meningkat seiring semakin banyak perusahaan yang memasukkan fitur tersebut ke dalam produk mereka.
“AI dan ML adalah teknologi dengan pertumbuhan tercepat yang pernah kami lihat, jadi kami berharap mereka menjadi vektor serangan dengan pertumbuhan tercepat yang pernah kami lihat juga,” katanya.
Kekurangan dalam Model Pembelajaran Mesin
ML telah menjadi produk yang harus dimiliki oleh banyak perusahaan generasi berikutnya, tetapi bisnis biasanya menambahkan fitur berbasis AI tanpa mempertimbangkan implikasi keamanannya. Di antara ancaman adalah penghindaran model, seperti penelitian yang dilakukan terhadap Cylance, dan ekstraksi fungsional, di mana penyerang dapat meminta model dan membangun sistem setara fungsional berdasarkan output.
Dua tahun lalu, Microsoft, MITRE, dan perusahaan lain menciptakan Matriks Ancaman Pembelajaran Mesin Adversarial untuk membuat katalog potensi ancaman terhadap sistem berbasis AI. Sekarang berganti nama menjadi Lanskap Ancaman Bermusuhan untuk Sistem Kecerdasan Buatan (ATLAS), kamus kemungkinan serangan menyoroti bahwa teknologi inovatif akan menarik serangan inovatif.
“Tidak seperti kerentanan keamanan siber tradisional yang terkait dengan perangkat lunak dan sistem perangkat keras tertentu, kerentanan ML yang berlawanan diaktifkan oleh batasan bawaan yang mendasari algoritme ML,” menurut Halaman proyek ATLAS di GitHub. “Data dapat dipersenjatai dengan cara baru yang memerlukan perpanjangan cara kami memodelkan perilaku musuh dunia maya, untuk mencerminkan vektor ancaman yang muncul dan siklus hidup serangan pembelajaran mesin musuh yang berkembang pesat.”
Ancaman praktis diketahui oleh tiga pendiri HiddenLayer — Sestito, Tanner Burns, dan James Ballard — yang bekerja bersama di Cylance. Saat itu, para peneliti di Skylight Cyber menambahkan kode bagus yang diketahui — sebenarnya, daftar string dari game Rocket League yang dapat dieksekusi — untuk mengelabui teknologi Cylance agar percaya bahwa 84% malware sebenarnya jinak.
“Kami memimpin upaya bantuan setelah model pembelajaran mesin kami diserang secara langsung melalui produk kami dan menyadari bahwa ini akan menjadi masalah besar bagi organisasi mana pun yang menerapkan model ML dalam produk mereka,” kata Sestito dalam sebuah pernyataan yang mengumumkan peluncuran HiddenLayer.
Mencari Musuh secara Real Time
HiddenLayer bertujuan untuk membuat sistem yang dapat memantau pengoperasian sistem ML dan, tanpa memerlukan akses ke data atau perhitungan, menentukan apakah perangkat lunak sedang diserang menggunakan salah satu metode permusuhan yang dikenal.
“Kami melihat interaksi perilaku dengan model — itu bisa berupa alamat IP atau titik akhir,” kata Sestito. “Kami sedang menganalisis apakah model sedang digunakan seperti yang dimaksudkan untuk digunakan atau jika input dan output sedang dimanfaatkan atau apakah pemohon membuat keputusan entropi yang sangat tinggi.”
Kemampuan untuk melakukan analisis perilaku secara real time membedakan deteksi dan respons ML perusahaan dari pendekatan lain, katanya. Selain itu, teknologi ini tidak memerlukan akses ke model tertentu atau data pelatihan, yang selanjutnya mengisolasi kekayaan intelektual, kata HiddenLayer.
Pendekatan ini juga berarti bahwa overhead dari agen keamanan kecil, dalam urutan 1 atau 2 milidetik, kata Sestito.
“Kami melihat input setelah data mentah di-vectorized, jadi hanya ada sedikit kinerja yang dicapai,” katanya.
