Microsoft udruller disse sikkerhedsværktøjer til Azure AI

Microsoft udruller disse sikkerhedsværktøjer til Azure AI

Tidsstempel: 28. marts 2024 kl. 9
Microsoft udruller disse sikkerhedsværktøjer til Azure AI PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Microsoft har introduceret et sæt værktøjer, der angiveligt skal hjælpe med at gøre AI-modeller sikrere at bruge i Azure.

Siden cloud-and-code biz begyndte at skovle midler ind i OpenAI og tilføre sit softwareimperium chatbot-funktioner – et drama udført med lige stor iver af rivaler midt i storslåede løfter om produktivitet – har Microsoft måttet erkende, at generativ AI er forbundet med risici.

farer er almindeligt kendte og nogle gange gladeligt børstet til side. For et årti siden advarede Elon Musk om, at kunstig intelligens måske bare ødelægge menneskeheden. Alligevel forhindrede den bekymring ham ikke i at gøre AI tilgængelig i biler, på hans sociale medier megafon, og måske snart robotter.

Fremkomsten af ​​store sprogmodeller, der hallucinerer og giver ukorrekte eller skadelige svar, har ført til en tilbagevenden til tegnebrættet, men til bestyrelseslokalet for yderligere finansiering. I stedet for at producere et sikkert, etisk produkt, forsøger teknologiindustrien at tæmme vilde modeller eller i det mindste holde dem langt nok fra kunder, der kan løbe amok uden at skade nogen.

Og hvis det ikke virker, er der altid godtgørelse fra juridiske krav, underlagt visse vilkår, fra leverandører.

Industriens forpligtelser til AI-sikkerhed falder sammen med tilsvarende regeringskrav. I USA torsdag, Det Hvide Hus Office of Management and Budget (OMB) udstedt sin første regeringsdækkende politik for at håndtere AI-risici.

Politikken kræver, at føderale agenturer "implementerer konkrete sikkerhedsforanstaltninger, når de bruger kunstig intelligens på en måde, der kan påvirke amerikanernes rettigheder eller sikkerhed," inden den 1. december. Det betyder risikovurderinger, test og overvågning, bestræbelser på at begrænse diskrimination og skævhed og fremme gennemsigtighed for AI-applikationer, der berører sundhed, uddannelse, bolig og beskæftigelse.

Således bringer Microsoft besked om sine seneste AI-sikkerhedsforanstaltninger gennem Sarah Bird, chief product officer for ansvarlig AI, en titel, der antyder eksistensen af ​​uansvarlig AI – hvis du kan forestille dig det.

Bird siger, at virksomhedsledere forsøger at balancere innovation og risikostyring, så de kan bruge generativ AI uden at blive bidt af det.

"Prompte injektionsangreb er dukket op som en betydelig udfordring, hvor ondsindede aktører forsøger at manipulere et AI-system til at gøre noget uden for dets tilsigtede formål, såsom at producere skadeligt indhold eller udslette fortrolige data," forklarer Bird i en blogindlæg.

"Ud over at mindske disse sikkerhedsrisici er organisationer også bekymrede for kvalitet og pålidelighed. De ønsker at sikre, at deres AI-systemer ikke genererer fejl eller tilføjer information, der ikke er underbygget i applikationens datakilder, hvilket kan udhule brugernes tillid."

Da sikkerhed og nøjagtighed ikke er inkluderet i AI-abonnementsgebyret, ser Microsoft en mulighed at sælge dem som en tilføjelse.

Kunder, der bruger Azure AI Studio til at hjælpe dem med at skabe generative AI-apps, kan se frem til fire nye værktøjer.

Først er der Spørg Shields, som lover at hjælpe med at forsvare sig mod hurtige injektionsangreb. Tidligere kendt som Jailbreak Risk Detection og nu i offentlig forhåndsvisning, er det en måde at mindske risikoen for både direkte og indirekte øjeblikkelig indblanding i foundation-modeller.

Direkte angreb involverer prompter (input) designet til at få modellen til at ignorere sin sikkerhedstræning. Indirekte angreb refererer til bestræbelser på at snige input ind i en model. En måde at gøre dette på kan være at inkludere skjult tekst i en e-mail med viden om, at en AI-model, der handler på vegne af modtageren gennem f.eks. Copilot i Outlook, vil analysere beskeden, fortolke den skjulte tekst som en kommando og forhåbentlig handle efter instruktionerne ved at gøre noget som at svare stille med følsomme data.

Andet er Detektion af jordforbindelse, et system til at fange, når AI-modeller hallucinerer eller finder på ting. Det giver kunderne flere muligheder, når der opdages et falsk krav, herunder at sende svaret tilbage for at blive revideret før visning. Microsoft siger, at det har opnået dette ved at bygge en brugerdefineret sprogmodel, der evaluerer udokumenterede påstande baseret på kildedokumenter. Så svaret på AI-modelsikkerhed er, du gættede det, en anden model.

Selvom dette er et vidunderligt skridt mod pålidelig kunstig intelligens, er problemet stadig uløst

For det tredje har vi det AI-assisteret sikkerhedsevalueringer i AI Studio, som giver en testramme til præsentation af promptskabeloner og parametre til model, der tester forskellige modstridende interaktioner med kundens applikation. Igen, det er AI at teste AI.

Og endelig er der "risici og sikkerhedsovervågning", en funktion til Azure OpenAI Service, der leverer skadelige indholdsmålinger.

Vinu Sankar Sadasivan, en doktorand ved University of Maryland, der hjalp med at udvikle BEAST angreb på LLM'er, fortalte Registret at selvom det er spændende at se Azure bygge værktøjer til at gøre AI mere sikker, udvider tilføjelse af flere modeller i blandingen den potentielle angrebsoverflade.

"Azures sikkerhedsevalueringer og risiko- og sikkerhedsovervågningsværktøjer er vigtige for at undersøge pålideligheden af ​​AI-modeller," sagde han. "Selvom dette er et vidunderligt skridt mod pålidelig kunstig intelligens, er problemet stadig uløst. For eksempel bruger de Prompt Shields, de introducerer, formentlig en anden AI-model til at opdage og blokere indirekte promptangreb. Denne AI-model kan være sårbar over for trusler som f.eks. modstridende angreb.

"Modstandere kunne udnytte disse sårbarheder til at omgå Prompt Shields. Selvom sikkerhedssystemmeddelelser har vist sig at være effektive i nogle tilfælde, kan eksisterende angreb som BEAST modstridende angribe AI-modeller for at jailbreake dem på ingen tid. Selvom det er fordelagtigt at implementere forsvar til AI-systemer, er det vigtigt at forblive klar over deres potentielle ulemper." ®

Tidsstempel:

Mere fra Registret