Jika Anda berpikir masalah keamanan rantai pasokan perangkat lunak cukup sulit saat ini, bersiaplah. Pertumbuhan eksplosif dalam penggunaan kecerdasan buatan (AI) akan membuat permasalahan rantai pasokan tersebut semakin sulit diatasi di tahun-tahun mendatang.
Pengembang, ahli keamanan aplikasi, dan profesional DevSecOps dipanggil untuk memperbaiki kelemahan berisiko tertinggi yang mengintai dalam kombinasi sumber terbuka dan komponen kepemilikan yang tampaknya tak ada habisnya yang dijalin ke dalam aplikasi dan infrastruktur cloud mereka. Namun ini adalah perjuangan terus-menerus untuk mencoba memahami komponen mana yang mereka miliki, komponen mana yang rentan, dan kelemahan mana yang paling berisiko. Jelasnya, mereka sudah kesulitan mengelola ketergantungan ini pada perangkat lunak mereka sebagaimana adanya.
Yang akan menjadi lebih sulit adalah efek pengganda yang diberikan AI pada situasi ini.
Model AI sebagai Kode yang Dapat Dieksekusi Sendiri
Alat yang mendukung AI dan pembelajaran mesin (ML) adalah perangkat lunak yang sama seperti jenis aplikasi lainnya โ dan kodenya juga kemungkinan besar akan mengalami ketidakamanan rantai pasokan. Namun, mereka menambahkan variabel aset lain ke dalam campuran yang sangat meningkatkan permukaan serangan pada rantai pasokan perangkat lunak AI: model AI/ML.
โApa yang membedakan aplikasi AI dari setiap bentuk perangkat lunak lainnya adalah bahwa [mereka mengandalkan] dalam beberapa cara atau gaya pada sesuatu yang disebut model pembelajaran mesin,โ jelas Daryan Dehghanpisheh, salah satu pendiri Protect AI. โHasilnya, model pembelajaran mesin itu sendiri kini menjadi aset dalam infrastruktur Anda. Ketika Anda memiliki aset di infrastruktur Anda, Anda memerlukan kemampuan untuk memindai lingkungan Anda, mengidentifikasi di mana aset tersebut berada, apa yang terkandung di dalamnya, siapa yang memiliki izin, dan apa yang mereka lakukan. Dan jika Anda tidak dapat melakukan hal tersebut dengan model saat ini, Anda tidak dapat mengelolanya.โ
Model AI/ML memberikan landasan bagi kemampuan sistem AI untuk mengenali pola, membuat prediksi, mengambil keputusan, memicu tindakan, atau membuat konten. Namun kenyataannya sebagian besar organisasi bahkan tidak tahu bagaimana cara mulai mendapatkan visibilitas ke dalam semua model AI yang tertanam dalam perangkat lunak mereka. Model dan infrastruktur di sekitarnya dibangun secara berbeda dari komponen perangkat lunak lainnya, dan keamanan tradisional serta perangkat lunak tidak dibuat untuk memindai atau memahami cara kerja model AI atau kelemahannya. Inilah yang membuat mereka unik, kata Dehghanpisheh, yang menjelaskan bahwa mereka pada dasarnya adalah bagian tersembunyi dari kode yang dijalankan sendiri.
โModel, menurut desainnya, adalah bagian kode yang dapat dijalankan sendiri. Ia memiliki sejumlah hak pilihan,โ kata Dehghanpisheh. โJika saya memberi tahu Anda bahwa Anda memiliki aset di seluruh infrastruktur yang tidak dapat Anda lihat, tidak dapat Anda identifikasi, Anda tidak tahu apa isinya, Anda tidak tahu kodenya, dan aset tersebut dijalankan sendiri dan melakukan panggilan ke luar, itu terdengar mencurigakan seperti virus izin, bukan?โ
Pengamat Awal Ketidakamanan AI
Mengatasi masalah ini adalah dorongan besar di belakangnya dan para pendirinya untuk meluncurkan Protect AI pada tahun 2022, yang merupakan salah satu dari serentetan perusahaan baru yang bermunculan untuk mengatasi masalah keamanan model dan silsilah data yang muncul di era AI. Dehghanpisheh dan salah satu pendiri Ian Swanson melihat sekilas masa depan ketika mereka sebelumnya bekerja sama membangun solusi AI/ML di AWS. Dehghanpisheh pernah menjadi pemimpin global dalam arsitek solusi AI/ML.
โSelama kami menghabiskan waktu bersama di AWS, kami melihat pelanggan membangun sistem AI/ML dengan kecepatan yang luar biasa cepat, jauh sebelum AI generatif menarik hati dan pikiran semua orang mulai dari C-suite hingga Kongres,โ katanya, menjelaskan bahwa dia bekerja dengan sejumlah insinyur dan pakar pengembangan bisnis, serta secara ekstensif dengan pelanggan. โSaat itulah kami menyadari bagaimana dan di mana letak kerentanan keamanan yang unik pada sistem AI/ML.โ
Mereka mengamati tiga hal mendasar tentang AI/ML yang memiliki implikasi luar biasa bagi masa depan keamanan siber, katanya. Yang pertama adalah laju penerapannya yang sangat cepat sehingga mereka melihat secara langsung betapa cepatnya entitas-entitas IT bayangan muncul dalam pengembangan AI dan penggunaan bisnis yang tidak dapat diatur oleh tata kelola yang akan mengawasi segala jenis pengembangan lainnya di perusahaan.
Alasan kedua adalah sebagian besar alat yang digunakan โ baik komersial maupun open source โ dibuat oleh ilmuwan data dan teknisi ML pendatang baru yang belum pernah dilatih dalam konsep keamanan.
โHasilnya, Anda memiliki alat yang sangat berguna, sangat populer, sangat terdistribusi, dan diadopsi secara luas yang tidak dibuat dengan pola pikir yang mengutamakan keamanan,โ katanya.
Sistem AI Tidak Dibangun 'Mengutamakan Keamanan'
Akibatnya, banyak sistem AI/ML dan alat bersama tidak memiliki dasar-dasar dalam autentikasi dan otorisasi dan sering kali memberikan terlalu banyak akses baca dan tulis dalam sistem file, jelasnya. Ditambah dengan konfigurasi jaringan yang tidak aman dan masalah yang melekat pada model, organisasi mulai terjebak dalam masalah keamanan dalam sistem yang sangat kompleks dan sulit dipahami ini.
โHal ini menyadarkan kami bahwa alat, proses, dan kerangka kerja keamanan yang ada โ tidak peduli berapa pun perubahan yang Anda lakukan, tidak memenuhi konteks yang dibutuhkan oleh para insinyur pembelajaran mesin, ilmuwan data, dan pembuat AI,โ katanya.
Terakhir, pengamatan besar ketiga yang dia dan Swanson lakukan selama masa AWS tersebut adalah bahwa pelanggaran AI tidak terjadi. Mereka sudah tiba.
โKami melihat pelanggan melakukan pelanggaran pada berbagai sistem AI/ML yang seharusnya tertangkap, namun ternyata tidak terjadi,โ katanya. โHal ini memberi tahu kami bahwa rangkaian dan proses, serta elemen manajemen respons insiden, tidak dirancang khusus untuk cara AI/ML dirancang. Masalah ini menjadi lebih buruk ketika AI generatif semakin meningkat.โ
Model AI Dibagi Secara Luas
Dehghanpisheh dan Swanson juga mulai melihat bagaimana model dan data pelatihan menciptakan rantai pasokan AI baru yang unik yang perlu dipertimbangkan secara serius seperti rantai pasokan perangkat lunak lainnya. Sama seperti pengembangan perangkat lunak modern dan inovasi cloud-native lainnya, ilmuwan data dan pakar AI telah mendorong kemajuan dalam sistem AI/ML melalui maraknya penggunaan sumber terbuka dan komponen bersama โ termasuk model AI dan data yang digunakan untuk melatihnya. Begitu banyak sistem AI, baik akademis maupun komersial, dibangun menggunakan model orang lain. Dan seperti halnya perkembangan modern lainnya, ledakan dalam pengembangan AI terus mendorong masuknya aset-aset model baru dalam jumlah besar setiap hari ke seluruh rantai pasokan, yang berarti semakin sulit untuk melacak aset-aset tersebut.
Ambil Memeluk Wajah, misalnya. Ini adalah salah satu repositori model AI open source online yang paling banyak digunakan saat ini โ para pendirinya mengatakan mereka ingin menjadi GitHub-nya AI. Pada November 2022, pengguna Hugging Face telah membagikan 93,501 model berbeda kepada komunitas. Pada bulan November berikutnya, jumlah tersebut meningkat menjadi 414,695 model. Kini, hanya tiga bulan kemudian, jumlah tersebut bertambah menjadi 527,244. Ini adalah isu yang cakupannya semakin membesar dari hari ke hari. Dan hal ini akan membuat masalah keamanan rantai pasokan perangkat lunak menjadi โsteroid,โ kata Dehghanpisheh.
A analisis baru-baru ini oleh perusahaannya menemukan ribuan model yang dibagikan secara terbuka di Hugging Face dapat mengeksekusi kode arbitrer pada pemuatan atau inferensi model. Meskipun Hugging Face melakukan pemindaian dasar terhadap penyimpanannya untuk mengetahui masalah keamanan, banyak model yang terlewat selama proses tersebut โ setidaknya setengah dari model berisiko tinggi yang ditemukan dalam penelitian tersebut tidak dianggap tidak aman oleh platform, dan Hugging Face menjelaskannya dalam dokumentasi bahwa menentukan keamanan suatu model pada akhirnya merupakan tanggung jawab penggunanya.
Langkah-Langkah Mengatasi Rantai Pasokan AI
Dehghanpisheh percaya bahwa kunci utama keamanan siber di era AI akan dimulai dengan menciptakan pemahaman terstruktur tentang garis keturunan AI. Hal ini mencakup silsilah model dan silsilah data, yang pada dasarnya merupakan asal dan riwayat aset ini, cara perubahannya, dan metadata yang terkait dengannya.
โItulah tempat pertama untuk memulai. Anda tidak dapat memperbaiki apa yang tidak dapat Anda lihat, apa yang tidak dapat Anda ketahui, dan apa yang tidak dapat Anda definisikan, bukan?โ dia berkata.
Sementara itu, pada tingkat operasional sehari-hari, Dehghanpisheh percaya bahwa organisasi perlu membangun kemampuan untuk memindai model mereka, mencari kelemahan yang tidak hanya berdampak pada penguatan sistem tetapi juga integritas outputnya. Hal ini mencakup masalah seperti bias dan malfungsi AI yang dapat menyebabkan kerusakan fisik di dunia nyata, misalnya, mobil otonom yang menabrak pejalan kaki.
โHal pertama yang perlu Anda lakukan adalah memindai,โ katanya. โHal kedua adalah Anda perlu memahami pemindaian tersebut. Dan yang ketiga adalah setelah Anda memiliki sesuatu yang ditandai, Anda pada dasarnya harus menghentikan pengaktifan model tersebut. Anda perlu membatasi agensinya.โ
Dorongan untuk MLSecOps
MLSecOps adalah gerakan netral vendor yang mencerminkan gerakan DevSecOps di dunia perangkat lunak tradisional.
โMirip dengan peralihan dari DevOps ke DevSecOps, Anda harus melakukan dua hal sekaligus. Hal pertama yang harus Anda lakukan adalah menyadarkan para praktisi bahwa keamanan adalah sebuah tantangan dan merupakan tanggung jawab bersama,โ kata Dehghanpisheh. โHal kedua yang harus Anda lakukan adalah memberikan konteks dan memasukkan keamanan ke dalam alat yang menjaga ilmuwan data, insinyur pembelajaran mesin, [dan] pembuat AI tetap terdepan dan terus berinovasi, namun membiarkan kekhawatiran keamanan menghilang begitu saja. .โ
Selain itu, ia mengatakan organisasi harus mulai menambahkan kebijakan tata kelola, risiko, dan kepatuhan serta kemampuan penegakan hukum dan prosedur respons insiden yang membantu mengatur tindakan dan proses yang terjadi ketika ketidakamanan ditemukan. Seperti halnya ekosistem DevSecOps yang solid, ini berarti MLSecOps memerlukan keterlibatan yang kuat dari pemangku kepentingan bisnis hingga jenjang eksekutif.
Kabar baiknya adalah keamanan AI/ML mendapatkan manfaat dari satu hal yang belum pernah dimiliki oleh inovasi teknologi cepat lainnya โ yaitu, mandat peraturan.
โPikirkan tentang transisi teknologi lainnya,โ kata Dehghanpisheh. โSebutkan satu saat ketika regulator federal atau bahkan regulator negara bagian mengatakan hal ini sejak awal, 'Wah, wah, wah, Anda harus memberi tahu saya semua yang ada di dalamnya. Anda harus memprioritaskan pengetahuan tentang sistem itu. Anda harus memprioritaskan bill of material. Tidak ada.โ
Hal ini berarti banyak pemimpin keamanan yang lebih mungkin untuk ikut serta dalam membangun kemampuan keamanan AI jauh lebih awal dalam siklus hidup inovasi. Salah satu tanda paling jelas dari dukungan ini adalah peralihan yang cepat untuk mensponsori fungsi pekerjaan baru di organisasi.
โPerbedaan terbesar yang dibawa oleh mentalitas regulasi adalah bahwa pada bulan Januari 2023, konsep direktur keamanan AI masih baru dan belum ada. Namun pada bulan Juni, Anda mulai melihat peran tersebut,โ kata Dehghanpisheh. โSekarang mereka ada dimana-mana โ dan mereka didanai.โ
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :memiliki
- :adalah
- :bukan
- :Di mana
- ][P
- $NAIK
- 10
- 2022
- 2023
- 501
- 7
- a
- kemampuan
- Tentang Kami
- akademik
- mengakses
- di seluruh
- tindakan
- mengaktifkan
- menambahkan
- menambahkan
- tambahan
- alamat
- diadopsi
- Adopsi
- kemajuan
- badan
- di depan
- AI
- Model AI
- Sistem AI
- AI / ML
- Semua
- Membiarkan
- sepanjang
- sudah
- juga
- jumlah
- an
- dan
- Lain
- Apa pun
- Aplikasi
- keamanan aplikasi
- aplikasi
- sewenang-wenang
- berarsitektur
- arsitek
- ADALAH
- sekitar
- tiba
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- AS
- aset
- Aktiva
- terkait
- At
- menyerang
- Otentikasi
- otorisasi
- otonom
- sadar
- AWS
- kembali
- latar belakang
- dasar
- Dasar-dasar
- Pertarungan
- BE
- menjadi
- menjadi
- sebelum
- di belakang
- makhluk
- percaya
- menguntungkan
- prasangka
- Besar
- Terbesar
- tagihan
- Pendarahan
- yg tak dpt bergerak
- pelanggaran
- Terbawa
- gesper
- membangun
- pembangun
- Bangunan
- dibangun di
- bisnis
- pengembangan bisnis
- tapi
- by
- C-suite
- bernama
- Panggilan
- CAN
- kemampuan
- ditangkap
- mobil
- tertangkap
- Menyebabkan
- tertentu
- rantai
- menantang
- berubah
- jelas
- Jelas
- awan
- infrastruktur cloud
- Co-founder
- pendiri
- kode
- kombinasi
- bagaimana
- kedatangan
- komersial
- masyarakat
- kompleks
- pemenuhan
- komponen
- konsep
- konsep
- Kekhawatiran
- Kongres
- dianggap
- konstan
- terus-menerus
- mengandung
- Konten
- konteks
- bisa
- ditambah
- benar-benar
- membuat
- membuat
- pelanggan
- Keamanan cyber
- siklus
- harian
- data
- hari
- Hari
- keputusan
- dianggap
- menetapkan
- ketergantungan
- Mendesain
- menentukan
- Pengembangan
- tidak
- perbedaan
- berbeda
- berbeda
- sulit
- Kepala
- menghilang
- ditemukan
- didistribusikan
- do
- dokumentasi
- tidak
- doesn
- don
- turun
- penggerak
- selama
- Terdahulu
- Awal
- ekosistem
- Tepi
- efek
- elemen
- lain
- tertanam
- Tak berujung
- pelaksanaan
- Insinyur
- cukup
- Enterprise
- entitas
- Lingkungan Hidup
- Era
- dasarnya
- Bahkan
- Setiap
- semua orang
- segala sesuatu
- di mana-mana
- contoh
- menjalankan
- eksekutif
- ada
- ada
- diperluas
- ahli
- menjelaskan
- Menjelaskan
- ledakan
- eksponensial
- secara ekstensif
- Menghadapi
- Fashion
- FAST
- Federal
- File
- Perusahaan
- perusahaan
- Pertama
- secara langsung
- Memperbaiki
- ditandai
- cacat
- kekurangan
- berikut
- Untuk
- bentuk
- ditemukan
- Prinsip Dasar
- pendiri
- kerangka
- dari
- didorong
- fungsi
- yg disimpan
- masa depan
- mendapatkan
- gerbang
- generatif
- AI generatif
- mendapatkan
- mendapatkan
- GitHub
- Memberikan
- Melihat sekilas
- Aksi
- akan
- baik
- mendapat
- memerintah
- pemerintahan
- memberikan
- sangat
- Pertumbuhan
- memiliki
- Setengah
- sulit
- membahayakan
- Memiliki
- he
- membantu
- Tersembunyi
- paling tinggi
- sangat
- dia
- -nya
- sejarah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTTPS
- besar
- i
- mengenali
- if
- Dampak
- implikasi
- in
- insiden
- respon insiden
- termasuk
- Termasuk
- Meningkatkan
- luar biasa
- luar biasa
- arus
- Infrastruktur
- inheren
- berinovasi
- Innovation
- tidak aman
- integritas
- Intelijen
- ke
- keterlibatan
- adalah n
- isu
- masalah
- IT
- NYA
- Diri
- Januari
- Pekerjaan
- jpg
- Juni
- hanya
- Menjaga
- pemeliharaan
- terus
- Jenis
- Tahu
- pengetahuan
- Kekurangan
- tangga
- kemudian
- peluncuran
- pemimpin
- pemimpin
- pengetahuan
- paling sedikit
- meninggalkan
- Tingkat
- Hidup
- 'like'
- Mungkin
- garis keturunan
- memuat
- Panjang
- mencari
- menjulang
- Lot
- mesin
- Mesin belajar
- terbuat
- utama
- Mayoritas
- membuat
- MEMBUAT
- mengelola
- pengelolaan
- mandat
- banyak
- bahan
- hal
- me
- cara
- Metadata
- pikiran
- Mindset
- terjawab
- hilang
- mencampur
- ML
- model
- model
- modern
- Momentum
- bulan
- lebih
- paling
- pindah
- gerakan
- banyak
- nama
- yaitu
- Arahkan
- Perlu
- jaringan
- tak pernah
- New
- perusahaan baru
- berita
- tidak
- novel
- November
- sekarang
- jumlah
- pengamatan
- Jelas
- of
- sering
- on
- sekali
- ONE
- yang
- secara online
- hanya
- Buka
- open source
- secara terbuka
- operasional
- or
- organisasi
- asal
- Lainnya
- di luar
- keluaran
- di luar
- lebih
- mengawasi
- Perdamaian
- pola
- izin
- Izin
- fisik
- terpilih
- bagian
- potongan-potongan
- Tempat
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Kebijakan
- Populer
- Prediksi
- sebelumnya
- Prioritaskan
- Masalah
- masalah
- Prosedur
- proses
- profesional
- hak milik
- PROS
- melindungi
- memberikan
- Dorong
- menempatkan
- segera
- jarak
- cepat
- RE
- Baca
- dunia nyata
- menyadari
- menyadari
- benar-benar
- mengenali
- pengatur
- Regulator
- regulator
- mengandalkan
- gudang
- penelitian
- tanggapan
- tanggung jawab
- ISTIRAHAT
- membatasi
- mengakibatkan
- benar
- Risiko
- model risiko
- peran
- s
- Safety/keselamatan
- Tersebut
- sama
- melihat
- mengatakan
- mengatakan
- pemindaian
- pemindaian
- scan
- ilmuwan
- cakupan
- Kedua
- keamanan
- melihat
- melihat
- tampaknya
- serius
- set
- bayangan
- berbagi
- bergeser
- harus
- Tanda
- mirip
- situasi
- So
- Perangkat lunak
- komponen perangkat lunak
- pengembangan perangkat lunak
- rantai pasokan perangkat lunak
- padat
- larutan
- Solusi
- beberapa
- Seseorang
- sesuatu
- suara
- sumber
- menghabiskan
- mensponsori
- Disponsori
- stakeholder
- berdiri
- awal
- mulai
- Negara
- Tangga
- berhenti
- kuat
- tersusun
- Berjuang
- menyediakan
- supply chain
- mendukung
- Permukaan
- Mencurigakan
- sistem
- sistem
- tabel
- mengatasi
- Mengambil
- Teknologi
- Inovasi Teknologi
- mengatakan
- dari
- bahwa
- Grafik
- Dasar-dasar
- Masa depan
- mereka
- Mereka
- kemudian
- Sana.
- Ini
- mereka
- hal
- hal
- berpikir
- Ketiga
- ini
- itu
- pikir
- ribuan
- tiga
- Melalui
- waktu
- untuk
- hari ini
- bersama
- mengatakan
- terlalu
- alat
- jalur
- tradisional
- Pelatihan VE
- terlatih
- Pelatihan
- transisi
- memicu
- kebenaran
- mencoba
- dua
- Akhirnya
- memahami
- pemahaman
- unik
- us
- menggunakan
- bekas
- berguna
- Pengguna
- menggunakan
- variabel
- variasi
- Ve
- sangat
- virus
- jarak penglihatan
- Kerentanan
- Rentan
- ingin
- adalah
- Cara..
- we
- BAIK
- pergi
- adalah
- tidak
- Apa
- ketika
- apakah
- yang
- sementara
- SIAPA
- yang
- sangat
- akan
- dengan
- Kerja
- bekerja
- dunia
- lebih buruk
- akan
- menulis
- tahun
- Kamu
- Anda
- zephyrnet.dll