Google säilitab a Haavatavuse preemiaprogramm austada tipptasemel väliseid kaastöid, mis käsitlevad Google'i omanduses ja Alphabeti tütarettevõtte veebivarade probleeme. Et pidada sammu tehisintellekti tehnoloogiate kiirete edusammudega ja tagada, et oleme valmis tegelema turvaprobleemidega a vastutav laiendasime hiljuti oma olemasolevat Programm Bug Hunters et soodustada kolmandate osapoolte avastamist meie tehisintellektisüsteemidele omasetest probleemidest ja haavatavustest ning nendest teatamist. See laiendus on osa meie jõupingutustest rakendada vabatahtlikud AI kohustused mille tegime juulis Valges Majas.
Aitamaks turvalisuse kogukonnal neid arenguid paremini mõista, lisasime lisateavet preemiaprogrammi elementide kohta.
Mis on preemiate ulatuses
Meie hiljutises AI punase meeskonna aruanne, mis põhineb Google'i AI punane meeskond harjutuste jaoks tuvastasime ühised taktikad, tehnikad ja protseduurid (TTP), mida peame kõige asjakohasemaks ja realistlikumaks. reaalse maailma vastased, mida AI-süsteemide vastu kasutada. Järgmine tabel sisaldab seda, mida õppisime, et aidata teadlaskonnal mõista meie tehisintellekti veaaruannete kriteeriume ja seda, mis on meie preemiaprogrammi kohaldamisala. Oluline on märkida, et preemiasummad sõltuvad rünnaku stsenaariumi tõsidusest ja mõjutatud sihtmärgi tüübist (külastus programmi reeglite lehel lisateabe saamiseks meie auhinnatabeli kohta).
Kiired rünnakud: võistlevate viipade koostamine, mis võimaldavad vastasel mõjutada mudeli käitumist ja seega ka väljundit viisil, mida rakendus ei kavatsenud. |
Tehke ohvritele nähtamatud süstid ja muutke ohvri konto või tema varade olekut. |
|
Kiiresti süstida mis tahes tööriistadesse, mille vastuseid kasutatakse ohvrite kasutajaid otseselt mõjutavate otsuste tegemiseks. |
||
Viip või preambula ekstraktimine, mille puhul kasutaja saab välja võtta mudeli käivitamiseks kasutatava esialgse viipa ainult siis, kui ekstraktitud preambulis on tundlikku teavet. |
||
Toote kasutamine rikkuva, eksitava või faktiliselt ebaõige sisu loomiseks oma seansil: nt "jailbreak". See hõlmab "hallutsinatsioone" ja faktiliselt ebatäpseid vastuseid. Google'i generatiivsetel AI-toodetel on seda tüüpi sisuprobleemide jaoks juba spetsiaalne aruandluskanal. |
Väljaspool ulatust |
|
Treeninguandmete ekstraheerimine: rünnakud, mis suudavad edukalt rekonstrueerida tundlikku teavet sisaldavaid sõna-sõnalt koolitusnäiteid. Seda nimetatakse ka liikmelisuse järelduseks. |
Treeninguandmete ekstraktimine, mis rekonstrueerib treeningandmete kogumis kasutatud üksused, mis lekivad tundlikku, mitteavalikku teavet. |
|
Väljavõte, mis rekonstrueerib mittetundliku/avaliku teabe. |
Väljaspool ulatust |
|
Mudelitega manipuleerimine: ründaja, kes suudab varjatult muuta mudeli käitumist nii, et need võivad käivitada eelnevalt määratletud võistleva käitumise. |
Vastuoluline väljund või käitumine, mille ründaja saab usaldusväärselt käivitada konkreetse sisendi kaudu Google'i omanduses ja hallatavas mudelis („tagauksed“). Ainult siis, kui mudeli väljundit kasutatakse ohvri konto või andmete oleku muutmiseks. |
|
Rünnakud, mille puhul ründaja manipuleerib mudeli koolitusandmetega, et mõjutada mudeli väljundit ohvri seansil vastavalt ründaja eelistustele. Ainult siis, kui mudeli väljundit kasutatakse ohvri konto või andmete oleku muutmiseks. |
||
Konkurentsivõimeline häire: mudelile esitatavad sisendid, mille tulemuseks on mudelist deterministlik, kuid väga ootamatu väljund. |
Kontekstid, kus vastane võib usaldusväärselt käivitada turvakontrolli vale liigituse, mida saab kuritarvitada pahatahtlikuks kasutamiseks või võistleva kasu saamiseks. |
|
Kontekstid, kus mudeli vale väljund või klassifikatsioon ei kujuta endast mõjuvat rünnakustsenaariumit või võimalikku teed Google'ile või kasutajate kahjustamisele. |
Väljaspool ulatust |
|
Mudeli vargus/eksfiltreerimine: tehisintellekti mudelid sisaldavad sageli tundlikku intellektuaalomandit, seega peame nende varade kaitsmist tähtsaks. Eksfiltreerimisrünnakud võimaldavad ründajatel varastada mudeli üksikasju, nagu selle arhitektuur või kaalud. |
Rünnakud, mille käigus saadakse konfidentsiaalse/varalise mudeli täpne arhitektuur või kaal. |
|
Rünnakud, mille arhitektuur ja kaalud ei ole täpselt välja võetud või kui need on välja võetud mittekonfidentsiaalsest mudelist. |
Väljaspool ulatust |
|
Kui avastate tehisintellektil töötavas tööriistas vea, mis ei ole ülalpool loetletud, võite siiski esitada, kui see vastab meie programmi lehel loetletud kvalifikatsioonid. |
Viga või käitumine, mis vastab selgelt meie nõuetele kehtiva turva- või väärkasutuse probleemi jaoks. |
|
AI-toote kasutamine potentsiaalselt kahjuliku tegevuse tegemiseks, mis on juba muude tööriistadega võimalik. Näiteks avatud lähtekoodiga tarkvaras haavatavuse leidmine (juba võimalik, kasutades avalikult kättesaadavat staatilise analüüsi tööriistad) ja vastuse esitamine kahjulikule küsimusele, kui vastus on juba võrgus saadaval. |
Väljaspool ulatust |
|
Meie programmi kohaselt ei ole preemia saamiseks sobilikud probleemid, millest me juba teame. |
Väljaspool ulatust |
|
Võimalikud autoriõiguse probleemid – leiud, mille puhul tooted tagastavad sisu, mis näib olevat autoriõigusega kaitstud. Google'i generatiivsetel AI-toodetel on seda tüüpi sisuprobleemide jaoks juba spetsiaalne aruandluskanal. |
Väljaspool ulatust |
Usume, et meie veatoetuse programmi laiendamine meie tehisintellektisüsteemidele toetab vastutustundlik AI innovatsioon, ning ootame huviga meie töö jätkamist teadusringkondadega, et avastada ja parandada meie tehisintellektil põhinevate funktsioonide turva- ja kuritarvitamise probleeme. Kui leiate kvalifitseeruva probleemi, minge palun meie Bug Huntersi veebisaidile, et saata meile oma veateade ja kui probleem leitakse olevat kehtiv, saate preemiat kasutajate turvalisuse tagamise eest.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :on
- :mitte
- $ UP
- 26%
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- Võimalik
- MEIST
- üle
- kuritarvitamise
- Vastavalt
- konto
- aadress
- adresseerimine
- ettemaksed
- võistlev
- mõjutada
- mõjutatud
- vastu
- AI
- AI mudelid
- Tehisintellekti süsteemid
- Tehisintellekti toega
- võimaldama
- juba
- Ka
- summad
- an
- analüüs
- ja
- vastus
- mistahes
- ilmuvad
- taotlus
- arhitektuur
- OLEME
- AS
- vara
- At
- rünnak
- Reageerib
- saadaval
- Tagauksed
- põhineb
- BE
- käitumine
- käitumist
- Uskuma
- Parem
- heldekäelisus
- halastusprogramm
- Bug
- viga
- vead
- kuid
- by
- kutsutud
- CAN
- väljakutseid
- muutma
- Kanal
- klassifikatsioon
- selgelt
- ühine
- kogukond
- kaalukad
- Arvestama
- järjepidev
- sisaldama
- sisu
- jätkates
- sissemaksed
- kontrollida
- autoriõigus
- kriteeriumid
- viimase peal
- andmed
- andmekogum
- otsused
- pühendunud
- sõltuv
- detailid
- arenguid
- otse
- avastama
- avastus
- do
- ei
- e
- jõupingutusi
- elemendid
- abikõlblik
- tagama
- asutades
- näide
- näited
- eksfiltreerimine
- laiendatud
- laiendades
- laiendamine
- väline
- väljavõte
- kaevandamine
- teostatav
- FUNKTSIOONID
- leidma
- leidmine
- järeldused
- Määrama
- viga
- Järel
- eest
- edasi
- Soodustama
- avastatud
- Alates
- FT
- kasu
- tekitama
- generatiivne
- Generatiivne AI
- Go
- kahju
- kahjulik
- Olema
- aitama
- aidates
- sellest tulenevalt
- Suur
- kõrgelt
- au
- maja
- HTML
- http
- HTTPS
- tuvastatud
- if
- rakendada
- oluline
- in
- ebatäpne
- sisaldama
- lisatud
- hõlmab
- sisaldab
- mõju
- info
- esialgne
- sisend
- sisendite
- intellektuaalne
- intellektuaalomandi
- ette nähtud
- sisse
- nähtamatu
- probleem
- küsimustes
- IT
- kirjed
- ITS
- jpg
- Juuli
- hoidma
- Teadma
- lekkima
- õppinud
- Loetletud
- Vaata
- tehtud
- säilitada
- tegema
- vastab
- liikmelisus
- eksitav
- mudel
- mudelid
- rohkem
- kõige
- meeles
- of
- sageli
- on
- Internetis
- ainult
- avatud
- avatud lähtekoodiga
- tegutses
- or
- Muu
- meie
- väljund
- enda
- omanikuks
- osa
- tee
- Koht
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- kujutavad
- võimalik
- potentsiaalselt
- täpselt
- valmis
- esitada
- Peamine
- prioriteet
- menetlused
- tootmine
- Toode
- Toodet
- Programm
- küsib
- omadused
- kinnisvara
- kaitstud
- kaitsta
- tingimusel
- avalikult
- kvalifikatsioonid
- olulise
- küsimus
- kiire
- RE
- päris maailm
- realistlik
- hiljuti
- Red
- asjakohane
- aru
- Aruandlus
- Aruanded
- teadustöö
- vastus
- vastuste
- Tulemused
- tagasipöördumine
- Premeerima
- premeeritakse
- eeskirjade
- s
- ohutu
- stsenaarium
- ulatus
- turvalisus
- saatma
- tundlik
- istung
- komplekt
- So
- tarkvara
- midagi
- allikas
- konkreetse
- riik
- Veel
- esitama
- Edukalt
- selline
- toetama
- süsteemid
- tabel
- taktika
- sihtmärk
- meeskond
- tehnikat
- Tehnoloogiad
- kui
- et
- .
- Riik
- oma
- Need
- nad
- kolmanda osapoole
- see
- et
- tööriist
- töövahendid
- koolitus
- vallandada
- tüüp
- liigid
- mõistma
- Ootamatu
- us
- kasutama
- Kasutatud
- Kasutaja
- Kasutajad
- kasutamine
- kehtiv
- Ve
- kaudu
- Ohver
- ohvreid
- visiit
- vabatahtlik
- Haavatavused
- haavatavus
- Tee..
- kuidas
- we
- web
- veebisait
- olid
- M
- Mis on
- millal
- mis
- valge
- Valge Maja
- Wikipedia
- will
- koos
- Töö
- sa
- Sinu
- sephyrnet