Ominaisuus Tekoälytuotteiden ymmärtämisen, rakentamisen ja toimittamisen kiireessä kehittäjiä ja datatieteilijöitä kehotetaan olemaan tietoisia turvallisuudesta ja olemaan joutumatta toimitusketjuhyökkäysten uhriin.
Pelissä on lukemattomia malleja, kirjastoja, algoritmeja, valmiita työkaluja ja paketteja, ja edistyminen on säälimätöntä. Näiden järjestelmien tuotos on ehkä toinen tarina, vaikka on kiistatonta, että aina on jotain uutta, jolla pelata ainakin.
Älä välitä kaikesta jännityksestä, hypetystä, uteliaisuudesta ja menettämisen pelosta, turvallisuutta ei voi unohtaa. Jos tämä ei ole shokki sinulle, upeaa. Mutta muistutus on hyödyllinen tässä, varsinkin kun koneoppimistekniikkaa yleensä kokoavat tiedemiehet eikä insinöörit, ainakin kehitysvaiheessa, ja vaikka nämä ihmiset tietävät tiensä asioissa, kuten hermoverkkoarkkitehtuurit, kvantisointi ja seuraava. gen koulutustekniikat, infosec ei ymmärrettävästi ehkä ole heidän vahvuutensa.
Tekoälyprojektin kokoaminen ei eroa paljoa minkään muun ohjelmiston rakentamisesta. Yleensä liimaat yhteen kirjastoja, paketteja, koulutustietoja, malleja ja mukautettua lähdekoodia päättelytehtävien suorittamiseksi. Julkisista arkistoista saatavilla olevat koodikomponentit voivat sisältää piilotettuja takaovia tai tietojen suodattimia, ja valmiiksi rakennetut mallit ja tietojoukot voivat myrkytyä aiheuttamaan sovellusten odottamattoman sopimattoman toiminnan.
Itse asiassa jotkin mallit voivat sisältää haittaohjelmia teloitettiin jos niiden sisältöä ei ole turvallisesti desaroitu. ChatGPT-laajennusten suojaus on myös tule alle läheinen tarkastelu.
Toisin sanoen ohjelmistokehitysmaailmassa nähtyjä toimitusketjuhyökkäyksiä voi tapahtua tekoälyn alueella. Huonot paketit voivat johtaa kehittäjien työasemien vaarantumiseen, mikä johtaa vahingollisiin tunkeutumiseen yritysverkkoihin, ja malleihin ja koulutustietosarjoihin peukaloituminen voi saada sovellukset luokittelemaan asioita väärin, loukkaamaan käyttäjiä ja niin edelleen. Jos kirjastot ja mallit, joissa on takaovea tai haittaohjelmia, sisällytetään toimitettuun ohjelmistoon, voivat myös jättää näiden sovellusten käyttäjät avoimia hyökkäyksille.
He ratkaisevat mielenkiintoisen matemaattisen ongelman ja sitten ottavat sen käyttöön ja siinä kaikki. Sitä ei ole kynällä testattu, eikä tekoälyn punaista yhteistyötä ole
Vastauksena kyberturvallisuuteen ja tekoälyyn liittyviä startuppeja syntyy erityisesti tämän uhan torjumiseksi; Epäilemättä myös vakiintuneet pelaajat pitävät sitä silmällä, tai niin toivomme. Koneoppimisprojektit tulee auditoida ja tarkastaa, testata turvallisuuden suhteen ja arvioida turvallisuuden suhteen.
"[AI] on kasvanut pois akateemisesta maailmasta. Ne ovat olleet suurelta osin yliopistojen tutkimusprojekteja tai pieniä ohjelmistokehitysprojekteja, jotka ovat pääosin tutkijoiden tai suuryritysten irrottamia, ja niillä ei vain ole sisäistä turvallisuutta", Tom Bonner, HiddenLayerin tutkimusjohtaja, yksi. tällainen turvallisuuteen keskittyvä käynnistys, kertoi Rekisteri.
”He ratkaisevat mielenkiintoisen matemaattisen ongelman ohjelmiston avulla ja sitten ottavat sen käyttöön ja siinä kaikki. Sitä ei ole kynällä testattu, siinä ei ole tekoälyn punaista ryhmitystä, riskinarviointia tai turvallista kehitystyön elinkaarta. Yhtäkkiä tekoäly ja koneoppiminen ovat todella lähteneet liikkeelle, ja kaikki haluavat päästä siihen. He kaikki poimivat kaikki yleiset ohjelmistopaketit, jotka ovat kasvaneet pois akateemisesta maailmasta, ja katso ja katso, ne ovat täynnä haavoittuvuuksia, täynnä reikiä.
Tekoälyn toimitusketjussa on lukuisia pääsypisteitä rikollisille, jotka voivat käyttää mm typosquatting Väitetään, että kehittäjien huijataan käyttämään haitallisia kopioita muutoin laillisista kirjastoista, jolloin huijarit voivat varastaa arkaluontoisia tietoja ja yrityksen tunnistetietoja, kaapata koodia käyttäviä palvelimia ja paljon muuta. Ohjelmiston toimitusketjun suojauksia tulisi soveltaa myös koneoppimisjärjestelmien kehittämiseen.
"Jos ajattelet ympyräkaaviota siitä, kuinka sinut hakkeroidaan, kun avaat tekoälyosaston yrityksessäsi tai organisaatiossasi", kertoi Protect AI:n johtava tekoälyn tietoturvatutkija Dan McInerney. Rekisteri, "pieni osa siitä piirakasta tulee olemaan mallisyöttöhyökkäyksiä, mistä kaikki puhuvat. Ja jättimäinen osa hyökkää toimitusketjua vastaan – työkaluja, joita käytät mallin rakentamiseen itse.”
Syöttöhyökkäykset ovat mielenkiintoisia tapoja että ihmiset voivat rikkoa tekoälyohjelmistoja käyttämällä.
Havainnollistaaksesi mahdollista vaaraa, HiddenLayer toisella viikolla korostettuna se uskoo vahvasti, että Hugging Facen tarjoamassa verkkopalvelussa on turvallisuusongelma, joka muuntaa vaarallisessa Pickle-muodossa olevat mallit turvallisempaan Turvalaitteet, jonka on myös kehittänyt Hugging Face.
Pickle-mallit voivat sisältää haittaohjelmia ja muuta mielivaltaista koodia, joka voidaan suorittaa äänettömästi ja odottamatta sarjoitettaessa, mikä ei ole hienoa. Safetensors luotiin turvallisemmaksi vaihtoehdoksi: Tätä muotoa käyttävät mallit eivät saa joutua suorittamaan upotettua koodia, kun ne sarjoitetaan. Niille, jotka eivät tiedä, Hugging Face isännöi satoja tuhansia hermoverkkomalleja, tietojoukkoja ja koodinpätkiä, jotka kehittäjät voivat ladata ja käyttää muutamalla napsautuksella tai komennolla.
Safetensors-muunnin toimii Hugging Face -infrastruktuurissa, ja sitä voidaan ohjata muuttamaan Hugging Facen isännöimä PyTorch Pickle -malli kopioksi Safetensors-muodossa. Mutta tämä online-muunnosprosessi itsessään on alttiina mielivaltaiselle koodin suorittamiselle HiddenLayerin mukaan.
HiddenLayer-tutkijat kertoivat voivansa lähettää muunnospyynnön haitallisesta Pickle-mallista, joka sisältää mielivaltaisen koodin, ja muunnosprosessin aikana kyseinen koodi suoritettaisiin Hugging Facen järjestelmissä, jolloin joku voisi alkaa sekaantua muuntajabotin ja sen käyttäjien kanssa. Jos käyttäjä muunsi haitallisen mallin, piilotettu koodi saattaa suodattaa hänen halaavat kasvot -tunnuksensa, ja "saamme itse asiassa varastaa hänen halaavat kasvot -tunnuksensa, vaarantaa heidän tietovarastonsa ja tarkastella kaikkia yksityisiä tietovarastoja, tietojoukkoja ja malleja, joita tällä käyttäjällä on pääsy", HiddenLayer väitti.
Lisäksi meille kerrottiin, että muuntajabotin valtuustietoihin voi päästä käsiksi ja vuotaa Pickle-malliin kätketyllä koodilla, jolloin joku voi naamioitua bottiin ja avata muutospyyntöjä muihin arkistoihin. Muutokset voivat sisältää haitallista sisältöä, jos ne hyväksytään. Olemme pyytäneet Hugging Facelta vastausta HiddenLayerin havaintoihin.
"Ironista kyllä, muunnospalvelu Safetensoreiksi muuntamiseen oli sinänsä hirvittävän epävarma", HiddenLayerin Bonner kertoi meille. "Kun muunnosbotilla oli pääsy arkistoihin, oli todella mahdollista varastaa tunnukset, joita he käyttivät muutosten lähettämiseen muiden tietovarastojen kautta.
"Joten teoriassa hyökkääjä olisi voinut lähettää minkä tahansa muutoksen mihin tahansa tietovarastoon ja saada sen näyttämään Hugging Facelta, ja tietoturvapäivitys olisi voinut huijata hänet hyväksymään sen. Ihmisillä olisi vain ollut takaovisia malleja tai epävarmoja malleja repoissaan, eivätkä he tietäisi."
Tämä on enemmän kuin teoreettinen uhka: Devops-kauppa JFrog sanoi löytäneensä haitallinen koodi piiloutumassa 100 Hugging Facen isännöidyssä mallissa.
Todellisuudessa on olemassa useita tapoja piilottaa haitalliset koodin kuormat malleissa, jotka - tiedostomuodosta riippuen - suoritetaan, kun neuroverkkoja ladataan ja jäsennetään, jolloin pahantekijät pääsevät käsiksi ihmisten koneisiin. PyTorch- ja Tensorflow Keras -mallit "aiheuttavat suurimman mahdollisen haitallisen koodin suorittamisen riskin, koska ne ovat suosittuja mallityyppejä tunnetuilla koodin suoritustekniikoilla, jotka on julkaistu", JFrog totesi.
Epävarmat suositukset
Myös ohjelmoijien, jotka käyttävät koodia ehdottavia avustajia sovellusten kehittämiseen, on oltava varovaisia, Bonner varoitti, tai he voivat päätyä käyttämään epävarmaa koodia. Esimerkiksi GitHub Copilot on koulutettu avoimen lähdekoodin tietovarastoihin, ja vähintään 350,000 XNUMX heistä on mahdollisesti haavoittuvainen vanha turvallisuusongelma Python- ja tar-arkistot.
Pythonin tarfile moduuli, kuten nimestä voi päätellä, auttaa ohjelmia purkamaan tar-arkistot. On mahdollista luoda .tar niin, että kun Python-moduuli purkaa arkistossa olevan tiedoston, se yrittää korvata mielivaltaisen tiedoston käyttäjän tiedostojärjestelmässä. Tätä voidaan hyödyntää asetusten roskaamiseen, komentosarjojen korvaamiseen ja muiden ilkiöiden aiheuttamiseen.
Vika havaittiin vuonna 2007 ja korostettuna uudelleen vuonna 2022, mikä saa ihmiset alkamaan korjausprojekteja välttääkseen tämän hyväksikäytön. Nämä tietoturvapäivitykset eivät ehkä ole päässeet tietosarjoihin, joita käytetään suurten kielimallien ohjelmoimiseen, Bonner valitti. "Joten jos pyydät LLM:ää purkamaan tar-tiedoston heti, se todennäköisesti sylkee sinulle [vanhan] haavoittuvan koodin takaisin."
Bonner kehotti tekoälyyhteisöä aloittamaan toimitusketjun tietoturvakäytäntöjen toteuttamisen, kuten vaatimaan kehittäjiä digitaalisesti todistamaan olevansa sitä, mitä he sanovat olevansa tehdessään muutoksia julkisiin koodivarastoihin, mikä vakuuttaisi ihmiset siitä, että uudet versiot ovat tuottaneet lailliset kehittäjät. eivätkä ne olleet haitallisia muutoksia. Tämä edellyttäisi, että kehittäjät suojaavat todentamiseensa käyttämänsä asiat, jotta joku muu ei voi naamioitua heiksi.
Ja kaikkien kehittäjien, niin suurten kuin pientenkin, tulee suorittaa tietoturva-arviointeja ja tarkastaa käyttämänsä työkalut sekä kynätestata ohjelmistonsa ennen sen käyttöönottoa.
Tekoälyn toimitusketjun turvallisuuden parantaminen on hankalaa, ja koska niin monia työkaluja ja malleja rakennetaan ja julkaistaan, on vaikea pysyä mukana.
Protect AI:n McInerney korosti, että "se on sellainen tila, jossa olemme tällä hetkellä. Siellä on paljon matalalla roikkuvia hedelmiä, joita on kaikkialla. Työvoima ei vain riitä katsomaan kaikkea, koska kaikki etenee niin nopeasti. ®
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- :on
- :On
- :ei
- $ YLÖS
- 000
- 100
- 2022
- 350
- 7
- a
- Meistä
- Academia
- tutkijoita
- hyväksytty
- hyväksymisestä
- pääsy
- Accessed
- Mukaan
- todella
- Lisäksi
- uudelleen
- AI
- algoritmit
- Kaikki
- Salliminen
- Myös
- vaihtoehto
- aina
- an
- ja
- Toinen
- Kaikki
- sovellukset
- sovellettu
- sovellukset
- mielivaltainen
- arkkitehtuurit
- Archive
- arkisto
- OVAT
- väitti
- noin
- AS
- kysyä
- arvioinnit
- avustajat
- At
- hyökkäys
- hyökkääjä
- Hyökkäävä
- Hyökkäykset
- yritys
- tarkastettu
- todentaa
- saatavissa
- välttää
- takaisin
- Takaportteja
- Huono
- BE
- koska
- Naudanliha
- ollut
- ennen
- takana
- ovat
- uskoo
- Iso
- bittiä
- Bot
- Tauko
- rakentaa
- rakennettu
- mutta
- by
- tuli
- CAN
- varovainen
- Aiheuttaa
- ketju
- muuttaa
- Muutokset
- Kaavio
- ChatGPT
- luokitella
- lähellä
- CO
- koodi
- Yhteinen
- yhteisö
- Yritykset
- yritys
- osat
- kompromissi
- Vaarantunut
- Suorittaa
- rakentamalla
- sisältää
- pitoisuus
- sisältö
- Muuntaminen
- muuntaa
- muunnetaan
- kopio
- Yrityksen
- voisi
- veneet
- luotu
- Valtakirja
- rikolliset
- uteliaisuus
- asiakassuhde
- tietoverkkojen
- vahingollista
- VAARA
- tiedot
- aineistot
- puolustukset
- osasto
- Riippuen
- sijoittaa
- käyttöön
- kehittää
- kehitetty
- kehittäjille
- Kehitys
- devs
- eri
- vaikea
- digitaalisesti
- Don
- Epäilen
- download
- aikana
- vaikutus
- muu
- upotettu
- syntymässä
- loppu
- Engineers
- tarpeeksi
- merkintä
- erityisesti
- vakiintunut
- arvioitu
- jokainen
- jokainen
- kaikki
- esimerkki
- jännitys
- teloitettiin
- täytäntöönpanosta
- teloitus
- olemassa
- hyväksikäyttö
- hyödynnetään
- silmä
- Kasvot
- tosiasia
- Pudota
- fantastinen
- FAST
- pelko
- harvat
- filee
- tulokset
- virhe
- varten
- unohdettu
- muoto
- Vahva
- löytyi
- jae
- alkaen
- koko
- Saada
- saada
- jättiläinen
- GitHub
- tietty
- Go
- menee
- suuri
- täysikasvuinen
- hakkeroitu
- HAD
- kätevä
- haitallinen
- Olla
- auttaa
- tätä
- kätketty
- Piilottaa
- piilottaminen
- suurin
- kaapata
- Holes
- toivoa
- isännöi
- isännät
- Miten
- HTML
- HTTPS
- Sadat
- mainostemppu
- if
- valaista
- täytäntöönpanosta
- in
- yhdistetty
- sisältävät
- Tietoturvaviranomainen
- Infrastruktuuri
- panos
- turvaton
- sisällä
- mielenkiintoinen
- tulee
- esitellä
- johon
- ironisesti
- ISN
- kysymys
- IT
- SEN
- itse
- jpg
- vain
- Pitää
- Keras
- laji
- Tietää
- tunnettu
- Merkki
- Maa
- Kieli
- suuri
- suureksi osaksi
- johtaa
- johtava
- oppiminen
- vähiten
- jättää
- Legit
- Taso
- kirjastot
- elinkaari
- pitää
- ll
- OTK
- katso
- näyttää joltakin
- näköinen
- Erä
- kone
- koneoppiminen
- Koneet
- tehty
- merkittävä
- Tekeminen
- ilkeä
- haittaohjelmat
- monet
- naamiaiset
- matemaattinen
- Saattaa..
- mielessä
- puuttuva
- malli
- mallit
- Moduulit
- lisää
- liikkuvat
- paljon
- nimi
- Tarve
- verkko
- verkot
- hermo-
- neuroverkkomallien
- hermoverkkoihin
- Uusi
- Nro
- huomattava
- nyt
- useat
- tapahtua
- of
- pois
- Vanha
- on
- kerran
- ONE
- verkossa
- avata
- avoimen lähdekoodin
- or
- organisaatio
- Muut
- muuten
- ulos
- ulostulo
- yli
- paketit
- kauneuspilkku
- Ihmiset
- Suorittaa
- ehkä
- vaihe
- poiminta
- kappale
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- Pelaa
- pelaajat
- liitännäiset
- pistettä
- Suosittu
- osa
- aiheuttaa
- mahdollinen
- mahdollinen
- mahdollisesti
- käytännöt
- saalis
- yksityinen
- todennäköisesti
- Ongelma
- prosessi
- valmistettu
- Tuotteemme
- Ohjelma
- Ohjelmat
- Edistyminen
- projekti
- hankkeet
- suojella
- todistaa
- mikäli
- julkinen
- julkaistu
- laittaa
- Python
- pytorch
- pikemminkin
- RE
- ihan oikeesti
- vakuuttaa
- punainen
- julkaistu
- säälimätön
- muistutus
- korvata
- säilytyspaikka
- pyyntö
- pyynnöt
- edellyttää
- tutkimus
- tutkija
- Tutkijat
- vastaus
- oikein
- Riski
- juoksu
- toimii
- kiirehtiä
- s
- turvallisesti
- turvallisempaa
- Turvallisuus
- Said
- sanoa
- tutkijat
- skriptejä
- valvonnan
- turvallinen
- turvallisuus
- nähneet
- sensible
- servers
- palvelu
- settings
- LAIVA
- toimitetaan
- Kauppa
- shouldnt
- koska
- pieni
- So
- Tuotteemme
- ohjelmistokehitys
- SOLVE
- jonkin verran
- Joku
- jotain
- lähde
- lähdekoodi
- erityisesti
- kehrätty
- Alkaa
- käynnistyksen
- Startups
- Osavaltio
- Tarina
- voimakkaasti
- antaa
- toimitettu
- niin
- äkillinen
- Ehdottaa
- toimittaa
- toimitusketju
- järjestelmä
- järjestelmät
- puuttua
- otettava
- Neuvottelut
- tehtävät
- teknologia
- tekniikat
- yleensä
- tensorflow
- testi
- testattu
- kuin
- että
- -
- Valtion
- heidän
- Niitä
- itse
- sitten
- teoreettinen
- teoria
- Siellä.
- Nämä
- ne
- asiat
- ajatella
- tätä
- ne
- vaikka?
- tuhansia
- uhkaus
- Kautta
- että
- yhdessä
- symbolinen
- kertoi
- tom
- liian
- työkalut
- Juna
- koulutettu
- koulutus
- Muutos
- temppu
- Totuus
- tyypit
- tyypillisesti
- kiistaton
- ymmärtää
- ymmärrettävästi
- yliopisto
- Päivitykset
- Päivitykset
- kehotti
- us
- käyttää
- käytetty
- käyttäjä
- Käyttäjät
- käyttämällä
- eri
- Ve
- versiot
- Näytä
- vp
- haavoittuvuuksia
- Haavoittuva
- varoitti
- oli
- Tapa..
- tavalla
- we
- viikko
- HYVIN
- olivat
- Mitä
- mikä tahansa
- kun
- joka
- vaikka
- KUKA
- tulee
- with
- sisällä
- sanoja
- maailman-
- olisi
- ei
- Voit
- Sinun
- zephyrnet