Microsoft tehostaa puolustusta Azure AI:ssä

Microsoft ilmoitti useista uusista Azure AI Studion ominaisuuksista, joiden pitäisi yhtiön mukaan auttaa kehittäjiä rakentamaan luovia tekoälysovelluksia, jotka ovat luotettavampia ja kestävämpiä haitallista mallimanipulaatiota ja muita uusia uhkia vastaan.

29. maaliskuuta julkaisemassaan blogikirjoituksessa Microsoftin vastuullisen tekoälyn tuotepäällikkö Sarah Bird viittasi kasvavaan huoleen uhkatoimijoista nopeat injektiohyökkäykset saada tekoälyjärjestelmät toimimaan vaarallisilla ja odottamattomilla tavoilla uusien työkalujen ensisijaisena liikkeellepanevana tekijänä.

"Organisaatiot ovat myös huolissaan laadusta ja luotettavuudesta" Lintu sanoi. "He haluavat varmistaa, että heidän tekoälyjärjestelmänsä eivät tuota virheitä tai lisää tietoja, jotka eivät ole perusteltuja sovelluksen tietolähteissä, mikä voi heikentää käyttäjien luottamusta."

Azure AI Studio on isännöity alusta, jota organisaatiot voivat käyttää omiin tietoihinsa perustuvien mukautettujen tekoälyavustajien, perämiesten, bottien, hakutyökalujen ja muiden sovellusten rakentamiseen. Marraskuussa 2023 julkistettu alusta isännöi Microsoftin koneoppimismalleja sekä malleja useista muista lähteistä, mukaan lukien OpenAI. Meta, Hugging Face ja Nvidia. Sen avulla kehittäjät voivat nopeasti integroida multimodaalisia ominaisuuksia ja vastuullisia tekoälyominaisuuksia malleihinsa.

Muut suuret toimijat, kuten Amazon ja Google, ovat ryntäneet markkinoille samankaltaisilla tarjouksilla viime vuoden aikana hyödyntääkseen maailmanlaajuisesti kasvavaa kiinnostusta tekoälytekniikoita kohtaan. Hiljattain IBM:n tilaama tutkimus totesi tämän 42% organisaatioista yli 1,000 XNUMX työntekijää käyttävät jo aktiivisesti tekoälyä jollain tavalla, ja monet heistä suunnittelevat lisäävänsä ja nopeuttavansa investointeja teknologiaan seuraavien vuosien aikana. Eikä kaikki kertoivat IT:lle etukäteen heidän tekoälyn käytöstään.

Suojaa nopeaa suunnittelua vastaan

Viisi uutta ominaisuutta, jotka Microsoft on lisännyt – tai lisää pian – Azure AI Studioon ovat: Prompt Shields; maadoittumisen havaitseminen; turvajärjestelmän viestit; turvallisuusarvioinnit; sekä riskien ja turvallisuuden seuranta. Ominaisuudet on suunniteltu vastaamaan joihinkin merkittäviin haasteisiin, joita tutkijat ovat löytäneet viime aikoina – ja paljastavat edelleen rutiininomaisesti – koskien suurten kielimallien ja generatiivisten tekoälytyökalujen käyttöä.

Prompt Shields on esimerkiksi Microsoftin lievennys ns. epäsuorille pikahyökkäyksille ja jailbreakille. Ominaisuus perustuu Azure AI Studion olemassa oleviin lievennyksiin jailbreak-riskiä vastaan. Sisään nopeat insinöörihyökkäykset, vastustajat käyttävät kehotteita, jotka vaikuttavat harmittomilta eivätkä selvästi haitallisilta yrittääkseen ohjata tekoälymallia tuottamaan haitallisia ja ei-toivottuja vastauksia. Nopea suunnittelu on vaarallisimpia kasvavassa hyökkäysluokassa, joka yrittää ja jailbreak AI -malleja tai saada ne käyttäytymään tavalla, joka on ristiriidassa suodattimien ja rajoitusten kanssa, joita kehittäjät ovat saattaneet rakentaa niihin.  

Tutkijat ovat äskettäin osoittaneet, kuinka vastustajat voivat ryhtyä nopeisiin teknisiin hyökkäyksiin saadakseen generatiivisia tekoälymalleja levittää harjoitustietonsa, levittää henkilökohtaisia ​​tietoja, tuottaa väärää tietoa ja mahdollisesti haitallista sisältöä, kuten auton hotwire-ohjeita.

Prompt Shieldsin avulla kehittäjät voivat integroida malleihinsa ominaisuuksia, jotka auttavat erottamaan kelvolliset ja mahdollisesti epäluotettavat järjestelmäsyötteet. aseta erottimet merkitsemään syötetyn tekstin alun ja lopun ja käyttämällä tietomerkintää syötetyn tekstin merkitsemiseen. Prompt Shields on tällä hetkellä saatavilla esikatselutilassa Azure AI Content Safetyssä, ja se tulee pian saataville yleisesti Microsoftin mukaan.

Mallin hallusinaatioiden ja haitallisen sisällön lievennykset

Maadoitustunnistuksen avulla Microsoft on lisännyt Azure AI Studioon ominaisuuden, jonka se sanoo voivan auttaa kehittäjiä vähentämään tekoälymalliensa "hallusinaatioiden" riskiä. Mallin hallusinaatioilla on tekoälymallien taipumus tuottaa tuloksia, jotka vaikuttavat uskottavilta, mutta ovat täysin keksittyjä eivätkä perustu harjoitustietoihin. LLM-halusinaatiot voivat olla erittäin ongelmallisia, jos organisaatio ottaisi tuotoksen tosiasioihin ja toimisi sen mukaan jollakin tavalla. Esimerkiksi ohjelmistokehitysympäristössä LLM:n hallusinaatiot voivat johtaa siihen, että kehittäjät voivat mahdollisesti lisätä haavoittuvaa koodia sovelluksiinsa.

Azure AI Studion uusi maadoittavuuden tunnistus ominaisuus on pohjimmiltaan auttaa havaitsemaan – luotettavammin ja suuremmassa mittakaavassa – mahdollisesti maadoittamattomat generatiiviset AI-lähdöt. Tavoitteena on antaa kehittäjille mahdollisuus testata tekoälymallejaan Microsoftin maadoitusmittareiden perusteella ennen mallin käyttöönottoa tuotteessa. Ominaisuus korostaa myös mahdollisesti maadoittamattomia lausuntoja LLM-ulostuloissa, joten käyttäjät tietävät tarkistaa lähtötiedot ennen sen käyttöä. Maaperän tunnistus ei ole vielä saatavilla, mutta sen pitäisi olla saatavilla lähitulevaisuudessa Microsoftin mukaan.

Uusi järjestelmäviestikehys tarjoaa kehittäjille tavan määritellä selkeästi mallinsa ominaisuudet, sen profiili ja rajoitukset omassa ympäristössään. Kehittäjät voivat käyttää kykyä määrittääkseen tulosteen muodon ja tarjota esimerkkejä suunnitellusta käyttäytymisestä, jotta käyttäjien on helpompi havaita poikkeamat suunnitellusta käyttäytymisestä. Se on toinen uusi ominaisuus, joka ei ole vielä saatavilla, mutta sen pitäisi olla pian saatavilla.

Azure AI Studion äskettäin julkistettu turvallisuusarvioinnit kyky ja sen riskien ja turvallisuuden seuranta ominaisuus ovat tällä hetkellä saatavilla esikatselutilassa. Organisaatiot voivat käyttää ensin mainittua arvioidakseen LLM-mallinsa haavoittuvuutta jailbreak-hyökkäyksille ja odottamattoman sisällön luomiselle. Riskien ja turvallisuuden seurantakyvyn avulla kehittäjät voivat havaita mallin syötteet, jotka ovat ongelmallisia ja todennäköisesti laukaisevat hallusinoitua tai odottamatonta sisältöä, jotta he voivat toteuttaa lievennyksiä sitä vastaan.

"Generatiivinen tekoäly voi olla voimankertoja jokaiselle osastolle, yritykselle ja toimialalle", Microsoftin Bird sanoi. "Samalla perustusmallit tuovat uusia haasteita turvallisuudelle, jotka edellyttävät uusia lievennyksiä ja jatkuvaa oppimista."

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai