Jeśli uważasz, że problem bezpieczeństwa łańcucha dostaw oprogramowania był dziś wystarczająco trudny, zapnij pasy. Gwałtowny wzrost wykorzystania sztucznej inteligencji (AI) wkrótce sprawi, że problemy związane z łańcuchem dostaw będą wykładniczo trudniejsze do rozwiązania w nadchodzących latach.
Programiści, specjaliści ds. bezpieczeństwa aplikacji i specjaliści DevSecOps mają za zadanie naprawiać luki o najwyższym ryzyku, które czają się w czymś, co wydaje się nieskończonymi kombinacjami komponentów open source i zastrzeżonych komponentów wplecionych w ich aplikacje i infrastrukturę chmurową. Jednak to ciągła walka, w której próbujemy zrozumieć, jakie komponenty posiadają, które są podatne na ataki, a które wady narażają je na największe ryzyko. Najwyraźniej już mają trudności z rozsądnym zarządzaniem tymi zależnościami w swoim oprogramowaniu w obecnej postaci.
Trudniejszy będzie efekt mnożnikowy, jaki sztuczna inteligencja może dodać do sytuacji.
Modele AI jako samowykonujący się kod
Narzędzia obsługujące sztuczną inteligencję i uczenie maszynowe (ML) to takie samo oprogramowanie, jak każdy inny rodzaj aplikacji — a ich kod jest równie narażony na ryzyko niepewności w łańcuchu dostaw. Dodają jednak do zestawu kolejną zmienną, która znacznie zwiększa powierzchnię ataku w łańcuchu dostaw oprogramowania AI: modele AI/ML.
„To, co odróżnia aplikacje AI od wszystkich innych form oprogramowania, to to, że [polegają] w jakiś sposób na czymś zwanym modelem uczenia maszynowego” – wyjaśnia Daryan Dehghanpisheh, współzałożyciel Protect AI. „W rezultacie sam model uczenia maszynowego jest teraz atutem Twojej infrastruktury. Jeśli w Twojej infrastrukturze znajduje się zasób, potrzebujesz możliwości przeskanowania środowiska, określenia, gdzie się on znajduje, co zawiera, kto ma uprawnienia i co robi. A jeśli nie możesz tego zrobić dzisiaj z modelkami, nie możesz nimi zarządzać”.
Modele AI/ML stanowią podstawę zdolności systemu AI do rozpoznawania wzorców, przewidywania, podejmowania decyzji, inicjowania działań lub tworzenia treści. Prawda jest jednak taka, że większość organizacji nawet nie wie, jak uzyskać wgląd we wszystkie modele sztucznej inteligencji wbudowane w ich oprogramowanie. Modele i otaczająca je infrastruktura są zbudowane inaczej niż inne składniki oprogramowania, a tradycyjne narzędzia zabezpieczające i programowe nie są tworzone w celu skanowania lub zrozumienia, jak działają modele sztucznej inteligencji ani jakie są ich wady. To właśnie czyni je wyjątkowymi, mówi Dehghanpisheh, który wyjaśnia, że w zasadzie są to ukryte fragmenty samowykonującego się kodu.
„Model z założenia jest samowykonującym się fragmentem kodu. Ma pewną swobodę działania” – mówi Dehghanpisheh. „Gdybym ci powiedział, że w całej infrastrukturze masz zasoby, których nie widzisz, nie możesz zidentyfikować, nie wiesz, co zawierają, nie wiesz, jaki jest kod, i one się samowykonują i wykonywać połączenia zewnętrzne, to brzmi podejrzanie jak wirus uprawnień, prawda?”
Wczesny obserwator niepewności związanych ze sztuczną inteligencją
Wyprzedzenie tego problemu było dla niego i jego współzałożycieli dużym impulsem do uruchomienia Protect AI w 2022 r., co jest jedną z szeregu nowych firm, które pojawiają się, aby zająć się problemami związanymi z bezpieczeństwem modeli i pochodzeniem danych, które pojawiają się w erze sztucznej inteligencji. Dehghanpisheh i współzałożyciel Ian Swanson dostrzegli przebłysk przyszłości, kiedy wcześniej pracowali razem nad tworzeniem rozwiązań AI/ML w AWS. Dehghanpisheh był światowym liderem w dziedzinie architektów rozwiązań AI/ML.
„W czasie, który spędziliśmy razem w AWS, widzieliśmy, jak klienci budowali systemy AI/ML w niewiarygodnie szybkim tempie, na długo zanim generatywna sztuczna inteligencja podbiła serca i umysły wszystkich, od kadry kierowniczej po Kongres” – mówi, wyjaśniając, że współpracował z wieloma inżynierami i ekspertami ds. rozwoju biznesu, a także intensywnie współpracował z klientami. „Wtedy zdaliśmy sobie sprawę, gdzie i gdzie znajdują się luki w zabezpieczeniach charakterystyczne dla systemów AI/ML”.
Zaobserwowali trzy podstawowe rzeczy dotyczące sztucznej inteligencji/ML, które mają niesamowite implikacje dla przyszłości cyberbezpieczeństwa – mówi. Po pierwsze, tempo adaptacji było tak szybkie, że można było na własne oczy zobaczyć, jak szybko wokół rozwoju sztucznej inteligencji i zastosowań biznesowych pojawiały się jednostki cieniujące IT, które wymykały się sposobowi zarządzania, który nadzorowałby każdy inny rodzaj rozwoju w przedsiębiorstwie.
Po drugie, większość używanych narzędzi – komercyjnych lub open source – została zbudowana przez analityków danych i początkujących inżynierów ML, którzy nigdy nie zostali przeszkoleni w zakresie koncepcji bezpieczeństwa.
„W rezultacie otrzymaliśmy naprawdę przydatne, bardzo popularne, bardzo rozproszone i powszechnie stosowane narzędzia, które nie zostały zbudowane z myślą o bezpieczeństwie” – mówi.
Systemy AI nie zostały zbudowane z myślą o bezpieczeństwie
W rezultacie wielu systemom AI/ML i współdzielonym narzędziom brakuje podstaw uwierzytelniania i autoryzacji i często zapewniają zbyt duży dostęp do odczytu i zapisu w systemach plików – wyjaśnia. W połączeniu z niepewnymi konfiguracjami sieci, a następnie nieodłącznymi problemami w modelach, organizacje zaczynają ugrzęznąć w kaskadowych problemach bezpieczeństwa w tych bardzo złożonych, trudnych do zrozumienia systemach.
„To uświadomiło nam, że istniejącym narzędziom, procesom i strukturom bezpieczeństwa – niezależnie od tego, jak daleko posuniecie się zmiany, brakowało kontekstu, którego potrzebowaliby inżynierowie zajmujący się uczeniem maszynowym, badacze danych i twórcy sztucznej inteligencji” – mówi.
Wreszcie trzecią ważną obserwacją, którą on i Swanson poczynili podczas tych dni w AWS, było to, że naruszenia sztucznej inteligencji nie nadchodzą. Już przyjechali.
„Zauważyliśmy, że klienci dopuścili się naruszeń w różnych systemach AI/ML, które powinny zostać wykryte, ale tak się nie stało” – mówi. „To nam powiedziało, że zestaw i procesy, a także elementy zarządzania reakcją na incydenty nie zostały zaprojektowane specjalnie z myślą o sposobie projektowania sztucznej inteligencji/ML. Problem ten stał się znacznie poważniejszy, gdy generatywna sztuczna inteligencja nabrała rozpędu”.
Modele AI są powszechnie udostępniane
Dehghanpisheh i Swanson zaczęli także obserwować, w jaki sposób modele i dane szkoleniowe tworzą nowy, unikalny łańcuch dostaw sztucznej inteligencji, który należy traktować równie poważnie, jak resztę łańcucha dostaw oprogramowania. Podobnie jak w przypadku pozostałych dziedzin rozwoju nowoczesnego oprogramowania i innowacji natywnych w chmurze, badacze danych i eksperci w zakresie sztucznej inteligencji przyczynili się do postępu w systemach AI/ML poprzez powszechne wykorzystanie open source i współdzielonych komponentów — w tym modeli sztucznej inteligencji i danych wykorzystywanych do ich uczenia. Wiele systemów sztucznej inteligencji, akademickich i komercyjnych, zbudowano przy użyciu cudzego modelu. I podobnie jak w przypadku reszty współczesnego rozwoju, eksplozja rozwoju sztucznej inteligencji powoduje ogromny codzienny napływ nowych modeli aktywów rozprzestrzenianych w całym łańcuchu dostaw, co oznacza, że śledzenie ich staje się coraz trudniejsze.
Weźmy na przykład Przytuloną Twarz. Jest to obecnie jedno z najpowszechniej używanych repozytoriów modeli sztucznej inteligencji typu open source w Internecie — jego założyciele twierdzą, że chcą być GitHubem sztucznej inteligencji. W listopadzie 2022 r. użytkownicy Hugging Face udostępnili społeczności 93,501 414,695 różnych modeli. W listopadzie następnego roku liczba ta wzrosła do 527,244 XNUMX modeli. Teraz, zaledwie trzy miesiące później, liczba ta wzrosła do XNUMX XNUMX. Jest to problem, którego zakres z dnia na dzień rośnie. A to postawi problem bezpieczeństwa łańcucha dostaw oprogramowania „na sterydach” – mówi Dehghanpisheh.
A ostatnia analiza przez jego firmę odkrył, że tysiące modeli, które są otwarcie udostępniane w serwisie Hugging Face, może wykonać dowolny kod po załadowaniu modelu lub wnioskowaniu. Chociaż Hugging Face wykonuje podstawowe skanowanie swojego repozytorium pod kątem problemów związanych z bezpieczeństwem, po drodze wiele modeli zostaje pominiętych — co najmniej połowa modeli obarczonych wysokim ryzykiem odkrytych w badaniu nie została uznana przez platformę za niebezpieczną, co wyjaśnia Hugging Face w dokumentacji że za określenie bezpieczeństwa modelu ostatecznie odpowiadają jego użytkownicy.
Kroki rozwiązania problemu łańcucha dostaw AI
Dehghanpisheh uważa, że podstawą cyberbezpieczeństwa w erze sztucznej inteligencji będzie najpierw stworzenie uporządkowanego zrozumienia pochodzenia sztucznej inteligencji. Obejmuje to pochodzenie modelu i pochodzenie danych, które zasadniczo stanowią pochodzenie i historię tych zasobów, sposób ich zmian oraz powiązane z nimi metadane.
„Od tego należy zacząć. Nie możesz naprawić tego, czego nie możesz zobaczyć, czego nie możesz wiedzieć i czego nie możesz zdefiniować, prawda?” on mówi.
W międzyczasie Dehghanpisheh uważa, że na codziennym poziomie operacyjnym organizacje muszą rozwinąć możliwości skanowania swoich modeli w poszukiwaniu wad, które mogą mieć wpływ nie tylko na wzmocnienie systemu, ale także na integralność jego wyników. Obejmuje to takie problemy, jak stronniczość i nieprawidłowe działanie sztucznej inteligencji, które mogą spowodować obrażenia fizyczne w świecie rzeczywistym, na przykład w wyniku uderzenia autonomicznego samochodu w pieszego.
„Przede wszystkim należy zeskanować” – mówi. „Drugą rzeczą jest to, że musisz zrozumieć te skany. Trzecim jest to, że kiedy już coś zostanie oznaczone, zasadniczo musisz zatrzymać aktywację tego modelu. Musisz ograniczyć jego sprawczość.
Nacisk na MLSecOps
MLSecOps to ruch neutralny dla dostawców, który odzwierciedla ruch DevSecOps w tradycyjnym świecie oprogramowania.
„Podobnie jak w przypadku przejścia z DevOps na DevSecOps, musisz robić dwie rzeczy na raz. Pierwszą rzeczą, którą musisz zrobić, to uświadomić praktykom, że bezpieczeństwo jest wyzwaniem i że jest to wspólna odpowiedzialność” – mówi Dehghanpisheh. „Drugą rzeczą, którą musisz zrobić, to nadać kontekst i zapewnić bezpieczeństwo narzędziom, dzięki którym badacze danych, inżynierowie zajmujący się uczeniem maszynowym i twórcy sztucznej inteligencji będą na bieżąco i będą stale wprowadzać innowacje, a jednocześnie pozwolą, aby obawy związane z bezpieczeństwem zniknęły w tle .”
Ponadto twierdzi, że organizacje będą musiały zacząć dodawać zasady zarządzania, ryzyka i zgodności, a także możliwości egzekwowania prawa i procedury reagowania na incydenty, które pomogą zarządzać działaniami i procesami mającymi miejsce w przypadku wykrycia niepewności. Podobnie jak w przypadku solidnego ekosystemu DevSecOps, oznacza to, że MLSecOps będzie wymagało silnego zaangażowania interesariuszy biznesowych na wszystkich szczeblach szczebla kierowniczego.
Dobra wiadomość jest taka, że bezpieczeństwo AI/ML czerpie korzyści z jednej rzeczy, której nie oferuje żadna inna szybka innowacja technologiczna od samego początku — a mianowicie z obowiązkowych wymogów regulacyjnych.
„Pomyśl o jakiejkolwiek innej zmianie technologii” – mówi Dehghanpisheh. „Wymień jeden przypadek, gdy federalny lub nawet stanowy organ regulacyjny powiedział to na początku: «Whoa, whoa, whoa, musisz mi powiedzieć wszystko, co się w tej sprawie znajduje. Znajomość tego systemu musi być priorytetem. Należy ustalić priorytet zestawienia materiałów. Nie ma żadnego.”
Oznacza to, że wielu liderów ds. bezpieczeństwa ma większe szanse zyskać poparcie dla budowania możliwości bezpieczeństwa sztucznej inteligencji na dużo wcześniej w cyklu życia innowacji. Jednym z najbardziej oczywistych przejawów tego wsparcia jest szybkie przechodzenie do sponsorowania nowych stanowisk pracy w organizacjach.
„Największa różnica, jaką wyciągnęła na światło dzienne mentalność regulacyjna, polega na tym, że w styczniu 2023 r. koncepcja dyrektora ds. bezpieczeństwa sztucznej inteligencji była nowatorska i nie istniała. Ale w czerwcu zacząłeś widzieć te role” – mówi Dehghanpisheh. „Teraz są wszędzie i są finansowani”.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :ma
- :Jest
- :nie
- :Gdzie
- ][P
- $W GÓRĘ
- 10
- 2022
- 2023
- 501
- 7
- a
- zdolność
- O nas
- akademicki
- dostęp
- w poprzek
- działania
- aktywujący
- Dodaj
- dodanie
- dodatek
- adres
- przyjęty
- Przyjęcie
- postępy
- agencja
- przed
- AI
- Modele AI
- Systemy SI
- AI / ML
- Wszystkie kategorie
- Pozwalać
- wzdłuż
- już
- również
- ilość
- an
- i
- Inne
- każdy
- Zastosowanie
- bezpieczeństwo aplikacji
- aplikacje
- arbitralny
- zaprojektowany
- architekci
- SĄ
- na około
- przybył
- sztuczny
- sztuczna inteligencja
- Sztuczna inteligencja (AI)
- AS
- kapitał
- Aktywa
- powiązany
- At
- atakować
- Uwierzytelnianie
- autoryzacja
- autonomiczny
- świadomy
- AWS
- z powrotem
- tło
- podstawowy
- Podstawy
- Bitwa
- BE
- stają się
- być
- zanim
- za
- jest
- uważa,
- korzystne
- stronniczość
- Duży
- Najwyższa
- Rachunek
- Krwawienie
- ugrzęzło
- naruszenia
- przyniósł
- klamra
- budować
- budowniczowie
- Budowanie
- wybudowany
- biznes
- rozwój biznesu
- ale
- by
- Pakiet C.
- nazywa
- Połączenia
- CAN
- możliwości
- Zajęte
- wózek
- złapany
- Spowodować
- pewien
- łańcuch
- wyzwanie
- zmieniony
- jasny
- wyraźnie
- Chmura
- infrastruktura chmurowa
- Współzałożyciel
- współzałożyciele
- kod
- kombinacje
- jak
- przyjście
- handlowy
- społeczność
- kompleks
- spełnienie
- składniki
- pojęcie
- Koncepcje
- Obawy
- Kongres
- za
- stały
- stale
- zawierać
- zawartość
- kontekst
- mógłby
- sprzężony
- Upaść
- Stwórz
- Tworzenie
- Klientów
- Bezpieczeństwo cybernetyczne
- cykl
- codziennie
- dane
- dzień
- Dni
- Decyzje
- uważane
- określić
- Zależności
- Wnętrze
- określaniu
- oprogramowania
- nie zrobił
- różnica
- różne
- różnie
- trudny
- Dyrektor
- znikać
- odkryty
- dystrybuowane
- do
- dokumentacja
- robi
- robi
- darowizna
- na dół
- jazdy
- podczas
- Wcześniej
- Wcześnie
- Ekosystem
- krawędź
- efekt
- Elementy
- więcej
- osadzone
- Nieskończony
- egzekwowanie
- Inżynierowie
- dość
- Enterprise
- podmioty
- Środowisko
- Era
- istotnie
- Parzyste
- Każdy
- wszyscy
- wszystko
- wszędzie
- przykład
- wykonać
- wykonawczy
- istnieć
- Przede wszystkim system został opracowany
- rozszerzony
- eksperci
- wyjaśniając
- Objaśnia
- eksplozja
- wykładniczo
- obszernie
- Twarz
- Moda
- FAST
- Federalny
- filet
- Firma
- firmy
- i terminów, a
- z pierwszej ręki
- Fix
- taflowy
- wadliwe
- Skazy
- następujący
- W razie zamówieenia projektu
- Nasz formularz
- znaleziono
- Fundacja
- założyciele
- Ramy
- od
- podsycane
- Funkcje
- finansowane
- przyszłość
- zyskuje
- brama
- generatywny
- generatywna sztuczna inteligencja
- otrzymać
- miejsce
- GitHub
- Dać
- Dojrzeć
- Globalne
- będzie
- dobry
- got
- rządzić
- zarządzanie
- przyznać
- bardzo
- Wzrost
- miał
- Pół
- trudniej
- zaszkodzić
- Have
- he
- pomoc
- Ukryty
- Najwyższa
- wysoko
- go
- jego
- historia
- W jaki sposób
- How To
- Jednak
- HTTPS
- olbrzymi
- i
- zidentyfikować
- if
- Rezultat
- implikacje
- in
- incydent
- reakcja na incydent
- obejmuje
- Włącznie z
- Zwiększenia
- niewiarygodny
- niewiarygodnie
- napływ
- Infrastruktura
- nieodłączny
- innowacyjne
- Innowacja
- niepewny
- integralność
- Inteligencja
- najnowszych
- Zaangażowanie
- ISN
- problem
- problemy
- IT
- JEGO
- samo
- styczeń
- Praca
- jpg
- czerwiec
- właśnie
- Trzymać
- konserwacja
- utrzymuje
- Uprzejmy
- Wiedzieć
- wiedza
- Brak
- drabina
- później
- wodowanie
- lider
- Przywódcy
- nauka
- najmniej
- lewo
- poziom
- życie
- lubić
- Prawdopodobnie
- rodowód
- załadować
- długo
- poszukuje
- zbliża
- Partia
- maszyna
- uczenie maszynowe
- zrobiony
- poważny
- Większość
- robić
- WYKONUJE
- zarządzanie
- i konserwacjami
- mandaty
- wiele
- materiały
- Materia
- me
- znaczy
- Metadane
- umysły
- Mindset
- nieodebranych
- brakujący
- mieszać
- ML
- model
- modele
- Nowoczesne technologie
- pęd
- miesięcy
- jeszcze
- większość
- ruch
- ruch
- dużo
- Nazwa
- mianowicie
- Nawigacja
- Potrzebować
- sieć
- nigdy
- Nowości
- nowe firmy
- aktualności
- Nie
- powieść
- listopad
- już dziś
- numer
- obserwacja
- oczywista
- of
- często
- on
- pewnego razu
- ONE
- te
- Online
- tylko
- koncepcja
- open source
- otwarcie
- operacyjny
- or
- organizacji
- pochodzenie
- Inne
- na zewnątrz
- wydajność
- zewnętrzne
- koniec
- nadzorować
- Pokój
- wzory
- pozwolenie
- uprawnienia
- fizyczny
- doborowy
- kawałek
- sztuk
- Miejsce
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- polityka
- Popularny
- Przewidywania
- poprzednio
- Priorytet
- Problem
- problemy
- procedury
- procesów
- specjalistów
- własność
- PROS
- chronić
- zapewniać
- Naciskać
- położyć
- szybko
- zasięg
- szybki
- RE
- Czytaj
- Prawdziwy świat
- zrealizować
- realizowany
- naprawdę
- rozpoznać
- regulator
- Regulatory
- regulacyjne
- polegać
- składnica
- Badania naukowe
- odpowiedź
- odpowiedzialność
- REST
- ograniczać
- dalsze
- prawo
- Ryzyko
- modele ryzyka
- role
- s
- Bezpieczeństwo
- Powiedział
- taki sam
- zobaczył
- powiedzieć
- mówią
- skanować
- skanowanie
- skany
- Naukowcy
- zakres
- druga
- bezpieczeństwo
- widzieć
- widzenie
- wydaje
- poważnie
- zestaw
- Shadow
- shared
- przesunięcie
- powinien
- znaki
- podobny
- sytuacja
- So
- Tworzenie
- komponenty oprogramowania
- rozwoju oprogramowania
- łańcuch dostaw oprogramowania
- solidny
- rozwiązanie
- Rozwiązania
- kilka
- Ktoś
- coś
- Dźwięki
- Źródło
- spędził
- sponsorować
- Łącza
- interesariusze
- stojaki
- początek
- rozpoczęty
- Stan
- Cel
- Stop
- silny
- zbudowany
- Walka
- Dostawa
- łańcuch dostaw
- wsparcie
- Powierzchnia
- Podejrzanie
- system
- systemy
- stół
- zwalczanie
- Brać
- Technologia
- Innowacje technologiczne
- powiedzieć
- niż
- że
- Połączenia
- Podstawy
- Przyszłość
- ich
- Im
- następnie
- Tam.
- Te
- one
- rzecz
- rzeczy
- myśleć
- Trzeci
- to
- tych
- myśl
- tysiące
- trzy
- Przez
- czas
- do
- już dziś
- razem
- powiedział
- także
- narzędzia
- śledzić
- tradycyjny
- Pociąg
- przeszkolony
- Trening
- przejście
- wyzwalać
- Prawda
- stara
- drugiej
- Ostatecznie
- zrozumieć
- zrozumienie
- wyjątkowy
- us
- posługiwać się
- używany
- użyteczny
- Użytkownicy
- za pomocą
- zmienna
- różnorodność
- Ve
- początku.
- wirus
- widoczność
- Luki w zabezpieczeniach
- Wrażliwy
- chcieć
- była
- Droga..
- we
- DOBRZE
- poszedł
- były
- były
- Co
- jeśli chodzi o komunikację i motywację
- czy
- który
- Podczas
- KIM
- którego
- szeroko
- będzie
- w
- Praca
- pracował
- świat
- gorzej
- by
- napisać
- lat
- You
- Twój
- zefirnet