Hos Google opprettholder vi en Sårbarhetsbelønningsprogram for å hedre banebrytende eksterne bidrag som tar opp problemer i Google-eide og Alphabet-datterselskaper nettegenskaper. For å holde tritt med raske fremskritt innen AI-teknologier og sikre at vi er forberedt på å møte sikkerhetsutfordringene i en ansvarlig måte, vi utvidet nylig vår eksisterende Bug Hunters-programmet for å fremme tredjeparts oppdagelse og rapportering av problemer og sårbarheter som er spesifikke for våre AI-systemer. Denne utvidelsen er en del av vår innsats for å implementere frivillige AI-forpliktelser som vi laget i Det hvite hus i juli.
For å hjelpe sikkerhetsfellesskapet bedre å forstå denne utviklingen, har vi inkludert mer informasjon om belønningsprogramelementer.
Hva er i Scope for Rewards
I vår siste AI red team rapport, som er basert på Googles AI Red-team øvelser, identifiserte vi vanlige taktikker, teknikker og prosedyrer (TTP) som vi anser som mest relevante og realistiske for motstandere i den virkelige verden å bruke mot AI-systemer. Følgende tabell inneholder det vi lærte for å hjelpe forskningsmiljøet med å forstå kriteriene våre for AI-feilrapporter og hva som er innenfor rammen av belønningsprogrammet vårt. Det er viktig å merke seg at belønningsbeløp er avhengig av alvorlighetsgraden av angrepsscenarioet og typen mål som er berørt (besøk siden for programregler for mer informasjon om belønningstabellen vår).
Spørreangrep: Utforming av motstridende meldinger som lar en motstander påvirke oppførselen til modellen og derav resultatet, på måter som ikke var tiltenkt av applikasjonen. |
Spør injeksjoner som er usynlige for ofre og endre tilstanden til offerets konto eller noen av deres eiendeler. |
|
Spør injeksjoner i alle verktøy der responsen brukes til å ta avgjørelser som direkte påvirker ofrets brukere. |
||
Spørre- eller innledningsuttrekking der en bruker er i stand til å trekke ut den første ledeteksten som brukes til å prime modellen bare når sensitiv informasjon er tilstede i den utpakkede innledningen. |
||
Bruk av et produkt til å generere krenkende, villedende eller faktisk ukorrekt innhold i din egen økt: for eksempel "jailbreaks." Dette inkluderer "hallusinasjoner" og faktisk unøyaktige svar. Googles generative AI-produkter har allerede en dedikert rapporteringskanal for denne typen innholdsproblemer. |
Utenfor rekkevidde |
|
Treningsdatautvinning: Angrep som er i stand til å rekonstruere ordrett treningseksempler som inneholder sensitiv informasjon. Også kalt medlemskapsslutning. |
Treningsdatautvinning som rekonstruerer elementer brukt i treningsdatasettet som lekker sensitiv, ikke-offentlig informasjon. |
|
Uttrekk som rekonstruerer ikke-sensitiv/offentlig informasjon. |
Utenfor rekkevidde |
|
Manipulerende modeller: En angriper som i det skjulte kan endre oppførselen til en modell slik at de kan utløse forhåndsdefinert motstandsdyktig oppførsel. |
Motstridende utdata eller atferd som en angriper pålitelig kan utløse via spesifikke input i en modell som eies og drives av Google ("bakdører"). Bare i omfang når en modells utdata brukes til å endre tilstanden til et offers konto eller data. |
|
Angrep der en angriper manipulerer treningsdataene til modellen for å påvirke modellens produksjon i et offers økt i henhold til angriperens preferanser. Bare i omfang når en modells utdata brukes til å endre tilstanden til et offers konto eller data. |
||
Adversariell forstyrrelse: Inndata som gis til en modell som resulterer i en deterministisk, men svært uventet utgang fra modellen. |
Kontekster der en motstander pålitelig kan utløse en feilklassifisering i en sikkerhetskontroll som kan misbrukes til ondsinnet bruk eller motstridende vinning. |
|
Kontekster der en modells feil utdata eller klassifisering ikke utgjør et overbevisende angrepsscenario eller mulig vei til Google eller brukerskade. |
Utenfor rekkevidde |
|
Modelltyveri/eksfiltrering: AI-modeller inkluderer ofte sensitive åndsverk, så vi prioriterer å beskytte disse eiendelene høyt. Eksfiltrasjonsangrep lar angripere stjele detaljer om en modell, for eksempel dens arkitektur eller vekter. |
Angrep der den nøyaktige arkitekturen eller vektene til en konfidensiell/proprietær modell trekkes ut. |
|
Angrep der arkitekturen og vektene ikke trekkes ut nøyaktig, eller når de er hentet fra en ikke-konfidensiell modell. |
Utenfor rekkevidde |
|
Hvis du finner en feil i et annet AI-drevet verktøy enn det som er oppført ovenfor, kan du fortsatt sende inn, forutsatt at det oppfyller kvalifikasjoner oppført på vår programside. |
En feil eller atferd som helt klart oppfyller våre kvalifikasjoner for et gyldig sikkerhets- eller misbruksproblem. |
|
Bruke et AI-produkt til å gjøre noe potensielt skadelig som allerede er mulig med andre verktøy. For eksempel å finne en sårbarhet i åpen kildekode-programvare (allerede mulig ved å bruke offentlig tilgjengelig statiske analyseverktøy) og produsere svaret på et skadelig spørsmål når svaret allerede er tilgjengelig på nettet. |
Utenfor rekkevidde |
|
Som i samsvar med programmet vårt, er ikke problemer vi allerede kjenner til, kvalifisert for belønning. |
Utenfor rekkevidde |
|
Potensielle opphavsrettsproblemer – funn der produkter returnerer innhold som ser ut til å være opphavsrettsbeskyttet. Googles generative AI-produkter har allerede en dedikert rapporteringskanal for denne typen innholdsproblemer. |
Utenfor rekkevidde |
Vi tror at utvidelse av bug-bounty-programmet vårt til våre AI-systemer vil støtte ansvarlig AI-innovasjon, og ser frem til å fortsette arbeidet vårt med forskningsmiljøet for å oppdage og fikse sikkerhets- og misbruksproblemer i våre AI-drevne funksjoner. Hvis du finner et kvalifiserende problem, kan du gå til Bug Hunters-nettstedet vårt for å sende oss feilrapporten din og – hvis problemet viser seg å være gyldig – bli belønnet for å hjelpe oss med å holde brukerne våre trygge.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :er
- :ikke
- $OPP
- 26%
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- I stand
- Om oss
- ovenfor
- misbruk
- Ifølge
- Logg inn
- adresse
- adressering
- fremskritt
- motstandere
- påvirke
- påvirkes
- mot
- AI
- AI-modeller
- AI-systemer
- AI-drevet
- tillate
- allerede
- også
- beløp
- an
- analyse
- og
- besvare
- noen
- vises
- Søknad
- arkitektur
- ER
- AS
- Eiendeler
- At
- angripe
- Angrep
- tilgjengelig
- Bakdører
- basert
- BE
- atferd
- atferd
- tro
- Bedre
- skuddpremie
- dusørprogram
- Bug
- bug bounty
- bugs
- men
- by
- som heter
- CAN
- utfordringer
- endring
- Kanal
- klassifisering
- klart
- Felles
- samfunnet
- overbevisende
- Vurder
- konsistent
- inneholde
- innhold
- fortsetter
- bidragene
- kontroll
- copyright
- kriterier
- skjærekant
- dato
- datasett
- avgjørelser
- dedikert
- avhengig
- detaljer
- utviklingen
- direkte
- oppdage
- Funnet
- do
- gjør
- e
- innsats
- elementer
- kvalifisert
- sikre
- etablere
- eksempel
- eksempler
- eksfiltrering
- utvidet
- ekspanderende
- utvidelse
- utvendig
- trekke ut
- utdrag
- gjennomførbart
- Egenskaper
- Finn
- finne
- funn
- Fix
- feil
- etter
- Til
- Forward
- Foster
- funnet
- fra
- FT
- Gevinst
- generere
- generative
- Generativ AI
- Go
- skade
- skadelig
- Ha
- hjelpe
- hjelpe
- derav
- Høy
- svært
- ære
- hus
- HTML
- http
- HTTPS
- identifisert
- if
- iverksette
- viktig
- in
- unøyaktig
- inkludere
- inkludert
- inkluderer
- inkorporerer
- påvirke
- informasjon
- innledende
- inngang
- innganger
- intellektuell
- intellektuell eiendom
- tiltenkt
- inn
- usynlig
- utstedelse
- saker
- IT
- varer
- DET ER
- jpg
- Juli
- Hold
- Vet
- lekke
- lært
- oppført
- Se
- laget
- vedlikeholde
- gjøre
- møter
- medlemskap
- villedende
- modell
- modeller
- mer
- mest
- note
- of
- ofte
- on
- på nett
- bare
- åpen
- åpen kildekode
- operert
- or
- Annen
- vår
- produksjon
- egen
- eide
- del
- banen
- Sted
- plato
- Platon Data Intelligence
- PlatonData
- vær så snill
- positur
- mulig
- potensielt
- nettopp
- forberedt
- presentere
- Prime
- prioritet
- prosedyrer
- produserende
- Produkt
- Produkter
- program
- ledetekster
- egenskaper
- eiendom
- beskyttet
- beskytte
- forutsatt
- offentlig
- kvalifikasjoner
- kvalifiserende
- spørsmål
- rask
- RE
- virkelige verden
- realistisk
- nylig
- Rød
- relevant
- rapporterer
- Rapportering
- Rapporter
- forskning
- svar
- svar
- Resultater
- retur
- Belønn
- belønnet
- regler
- s
- trygge
- scenario
- omfang
- sikkerhet
- send
- sensitive
- Session
- sett
- So
- Software
- noe
- kilde
- spesifikk
- Tilstand
- Still
- send
- vellykket
- slik
- støtte
- Systemer
- bord
- taktikk
- Target
- lag
- teknikker
- Technologies
- enn
- Det
- De
- Staten
- deres
- Disse
- de
- tredjeparts
- denne
- til
- verktøy
- verktøy
- Kurs
- utløse
- typen
- typer
- forstå
- Uventet
- us
- bruke
- brukt
- Bruker
- Brukere
- ved hjelp av
- gyldig
- Ve
- av
- Offer
- ofre
- Besøk
- frivillig
- Sikkerhetsproblemer
- sårbarhet
- Vei..
- måter
- we
- web
- Nettsted
- var
- Hva
- Hva er
- når
- hvilken
- hvit
- White House
- Wikipedia
- vil
- med
- Arbeid
- Du
- Din
- zephyrnet