Microsoft Beefs Up Defenses In Azure AI

Ponovno objavil Platon

Spremljevalci: 0

Microsoft je napovedal več novih zmogljivosti v Azure AI Studio, ki naj bi po mnenju podjetja pomagale razvijalcem zgraditi generativne aplikacije AI, ki so bolj zanesljive in odporne proti zlonamerni manipulaciji modela in drugim nastajajočim grožnjam.

V objavi na spletnem dnevniku z dne 29. marca je Microsoftova glavna produktna direktorica odgovornega umetne inteligence, Sarah Bird, opozorila na vse večjo zaskrbljenost glede akterjev groženj, ki uporabljajo napadi takojšnjega injiciranja doseči, da se sistemi AI obnašajo na nevarne in nepričakovane načine, kar je glavni gonilni dejavnik za nova orodja.

»Tudi organizacije so skrbi za kakovost in zanesljivost,« je rekel Bird. "Želijo zagotoviti, da njihovi sistemi AI ne ustvarjajo napak ali dodajajo informacij, ki niso utemeljene v podatkovnih virih aplikacije, kar lahko zmanjša zaupanje uporabnikov."

Azure AI Studio je gostujoča platforma, ki jo lahko organizacije uporabljajo za izdelavo pomočnikov AI po meri, kopilotov, botov, iskalnih orodij in drugih aplikacij, ki temeljijo na njihovih lastnih podatkih. Platforma, objavljena novembra 2023, gosti Microsoftove modele strojnega učenja in tudi modele iz več drugih virov, vključno z OpenAI. Meta, Hugging Face in Nvidia. Razvijalcem omogoča hitro integracijo večmodalnih zmogljivosti in odgovornih funkcij umetne inteligence v svoje modele.

Drugi veliki igralci, kot sta Amazon in Google, so v zadnjem letu pohiteli na trg s podobnimi ponudbami, da bi izkoristili naraščajoče zanimanje za tehnologije umetne inteligence po vsem svetu. To je pokazala nedavna študija, ki jo je naročil IBM 42% organizacij z več kot 1,000 zaposlenimi že aktivno uporabljajo umetno inteligenco na nek način, pri čemer mnogi od njih načrtujejo povečanje in pospešitev naložb v tehnologijo v naslednjih nekaj letih. In ne vseh pripovedovali IT vnaprej o njihovi uporabi AI.

Zaščita pred hitrim inženiringom

Pet novih zmožnosti, ki jih je Microsoft dodal – ali jih bo kmalu dodal – v Azure AI Studio, so: Prompt Shields; zaznavanje ozemljenosti; sporočila varnostnega sistema; ocene varnosti; ter spremljanje tveganja in varnosti. Funkcije so zasnovane tako, da obravnavajo nekatere pomembne izzive, ki so jih nedavno odkrili raziskovalci – in jih še naprej rutinsko odkrivajo – v zvezi z uporabo velikih jezikovnih modelov in generativnih orodij AI.

Prompt Shields je na primer Microsoftova ublažitev tako imenovanih posrednih takojšnjih napadov in pobegov iz zapora. Funkcija temelji na obstoječih ublažitvah v Azure AI Studio proti tveganju bega iz zapora. notri hitre inženirske napade, nasprotniki uporabljajo pozive, ki se zdijo neškodljivi in niso očitno škodljivi, da poskušajo usmeriti model AI v ustvarjanje škodljivih in nezaželenih odzivov. Hitro načrtovanje je med najnevarnejšimi v naraščajočem razredu napadov, ki poskušajo in modeli AI za pobeg iz zapora ali jih prisiliti, da se obnašajo na način, ki ni v skladu z morebitnimi filtri in omejitvami, ki so jih razvijalci morda vgradili vanje.

Raziskovalci so nedavno pokazali, kako se lahko nasprotniki vključijo v hitre inženirske napade, da ustvarijo generativne modele AI. razlijejo svoje podatke o usposabljanju, za izdajo osebnih podatkov, ustvarjajo dezinformacije in potencialno škodljivo vsebino, kot so navodila o tem, kako preklopiti avto.

S Prompt Shields lahko razvijalci v svoje modele integrirajo zmožnosti, ki pomagajo razlikovati med veljavnimi in potencialno nezaupljivimi sistemskimi vhodi; nastavitev ločil za pomoč pri označevanju začetka in konca vnesenega besedila ter uporabo označevanja podatkov za označevanje vnesenih besedil. Prompt Shields je trenutno na voljo v načinu predogleda v Azure AI Content Safety in bo kmalu splošno na voljo, pravi Microsoft.

Ublažitve halucinacij modela in škodljive vsebine

Medtem je Microsoft z zaznavanjem prizemljenosti v Azure AI Studio dodal funkcijo, za katero pravi, da lahko pomaga razvijalcem zmanjšati tveganje, da bi njihovi modeli AI "halucinirali". Halucinacija modela je nagnjenost modelov umetne inteligence, da ustvarijo rezultate, ki se zdijo verjetni, vendar so popolnoma izmišljeni in ne temeljijo ali temeljijo na podatkih o usposabljanju. Halucinacije magistrskega študija so lahko zelo problematične, če bi organizacija vzela rezultate kot dejanske in na nek način ukrepala. V okolju za razvoj programske opreme lahko na primer halucinacije LLM povzročijo, da razvijalci potencialno uvedejo ranljivo kodo v svoje aplikacije.

Novost Azure AI Studio zaznavanje ozemljenosti zmogljivost je v bistvu pomoč pri odkrivanju – bolj zanesljivo in v večjem obsegu – potencialno neutemeljenih generativnih rezultatov umetne inteligence. Cilj je razvijalcem omogočiti, da preizkusijo svoje modele umetne inteligence glede na to, kar Microsoft imenuje metrika utemeljenosti, preden model uvedejo v izdelek. Funkcija izpostavlja tudi potencialno neutemeljene izjave v izhodih LLM, tako da uporabniki vedo, da morajo izhod preveriti, preden ga uporabijo. Zaznavanje ozemljenosti še ni na voljo, vendar bi moralo biti na voljo v bližnji prihodnosti, pravi Microsoft.

Novi ogrodje sistemskih sporočil razvijalcem ponuja način, da jasno opredelijo zmogljivosti svojega modela, njegov profil in omejitve v njihovem specifičnem okolju. Razvijalci lahko z zmožnostjo definirajo obliko izhoda in zagotovijo primere načrtovanega vedenja, tako da uporabniki lažje zaznajo odstopanja od načrtovanega vedenja. To je še ena nova funkcija, ki še ni na voljo, vendar bi morala biti kmalu.

Na novo najavljen Azure AI Studio ocene varnosti zmogljivosti in njene spremljanje tveganja in varnosti funkciji sta trenutno na voljo v stanju predogleda. Organizacije lahko prvo uporabijo za oceno ranljivosti svojega modela LLM za napade z begom iz zapora in ustvarjanje nepričakovane vsebine. Zmožnost spremljanja tveganja in varnosti omogoča razvijalcem, da odkrijejo vnose modela, ki so problematični in bodo verjetno sprožili halucinacije ali nepričakovano vsebino, tako da lahko uvedejo ublažitve.

"Generativni AI je lahko multiplikator moči za vsak oddelek, podjetje in industrijo," je dejal Bird iz Microsofta. "Hkrati temeljni modeli uvajajo nove izzive za varnost in zaščito, ki zahtevajo nove ublažitve in nenehno učenje."