A Microsoft fokozza a védelmet az Azure AI-ban

A Microsoft számos új funkciót jelentett be az Azure AI Studio-ban, amelyek a vállalat szerint segíteni fognak a fejlesztőknek olyan generatív AI-alkalmazások létrehozásában, amelyek megbízhatóbbak és ellenállóbbak a rosszindulatú modellmanipulációkkal és más újonnan megjelenő fenyegetésekkel szemben.

Egy március 29-i blogbejegyzésében a Microsoft felelős mesterséges intelligenciaért felelős termékigazgatója, Sarah Bird rámutatott az egyre növekvő aggodalmakra a fenyegető szereplők által azonnali injekciós támadások hogy az AI-rendszerek veszélyes és váratlan módon viselkedjenek az új eszközök elsődleges mozgatórugójaként.

„A szervezetek is aggódik a minőség és a megbízhatóság miatt" – mondta Madár. "Gondoskodni akarnak arról, hogy mesterséges intelligenciarendszereik ne generáljanak hibákat, és ne adjanak hozzá olyan információkat, amelyek nem igazolódnak az alkalmazás adatforrásaiban, ami alááshatja a felhasználók bizalmát."

Azure AI Studio egy hosztolt platform, amelyet a szervezetek saját adataikon alapuló egyéni AI-asszisztensek, másodpilóták, robotok, keresőeszközök és egyéb alkalmazások létrehozására használhatnak. A 2023 novemberében bejelentett platform a Microsoft gépi tanulási modelljeit, valamint számos más forrásból származó modelleket tartalmaz, beleértve az OpenAI-t. Meta, Hugging Face és Nvidia. Lehetővé teszi a fejlesztők számára, hogy gyorsan integrálják modelljeikbe a multimodális képességeket és a felelős AI-funkciókat.

Más jelentős szereplők, mint például az Amazon és a Google, az elmúlt évben hasonló ajánlatokkal rohantak piacra, hogy felkeltsék az AI-technológiák iránti világszerte növekvő érdeklődést. Egy nemrégiben, az IBM megbízásából készült tanulmány megállapította A szervezetek 42% -a A több mint 1,000 alkalmazottal már valamilyen módon aktívan alkalmazzák az AI-t, és sokan közülük a következő néhány évben a technológiai beruházások növelését és felgyorsítását tervezik. És nem mindegyik azt mondták előzetesen az AI használatáról.

Az azonnali tervezéssel szembeni védelem

Az öt új képesség, amelyet a Microsoft hozzáadott – vagy hamarosan hozzá fog adni – az Azure AI Stúdióhoz: Prompt Shields; földeltség észlelése; biztonsági rendszerüzenetek; biztonsági értékelések; valamint a kockázat- és biztonságfigyelés. A funkciók célja, hogy megbirkózzanak néhány olyan jelentős kihívással, amelyeket a kutatók a közelmúltban – és továbbra is rutinszerűen – fedeztek fel a nagy nyelvi modellek és a generatív AI-eszközök használatával kapcsolatban.

Prompt Shields Például a Microsoft enyhíti az úgynevezett közvetett azonnali támadásokat és jailbreakeket. A funkció az Azure AI Studio meglévő enyhítésére épül a jailbreak kockázatával szemben. Ban ben azonnali mérnöki támadások, az ellenfelek ártalmatlannak és nem nyíltan károsnak tűnő felszólításokat használnak, hogy megpróbáljanak egy AI-modellt káros és nemkívánatos válaszok generálására terelni. Az azonnali tervezés az egyik legveszélyesebb a támadások egyre növekvő osztályában, amelyek megpróbálják és jailbreak AI modellek vagy rávenni őket arra, hogy a fejlesztők által beépített szűrőkkel és megszorításokkal összeegyeztethetetlen módon viselkedjenek.  

A kutatók a közelmúltban kimutatták, hogy az ellenfelek miként vehetnek részt azonnali mérnöki támadásokban, hogy generatív mesterségesintelligencia-modelleket hozzanak létre kiszórják az edzési adataikat, hogy kifújja a személyes adatokat, téves információkat generálnak és potenciálisan káros tartalmak, például útmutatások az autó hotwire-hez.

A Prompt Shields segítségével a fejlesztők olyan képességeket integrálhatnak modelljeikbe, amelyek segítenek megkülönböztetni az érvényes és a potenciálisan megbízhatatlan rendszerbemeneteket; állítson be határolókat a beviteli szöveg kezdetének és végének jelölésére, valamint adatjelölést használjon a bemeneti szövegek jelölésére. A Prompt Shields jelenleg előnézeti módban érhető el az Azure AI Content Safety szolgáltatásban, és a Microsoft szerint hamarosan általánosan elérhető lesz.

A modellhallucinációk és a káros tartalmak enyhítése

A megalapozottság észlelésével a Microsoft eközben egy olyan funkciót adott az Azure AI Studio-hoz, amely szerinte segíthet a fejlesztőknek abban, hogy csökkentsék a mesterséges intelligencia-modellek „hallucinálásának” kockázatát. A modell-hallucináció az AI-modellek azon tendenciája, hogy olyan eredményeket generáljanak, amelyek elfogadhatónak tűnnek, de teljesen kitaláltak, és nem a képzési adatokon alapulnak – vagy nem alapulnak. Az LLM-hallucinációk rendkívül problematikusak lehetnek, ha egy szervezet tényszerűnek tekinti a kimenetet, és valamilyen módon cselekedne. Szoftverfejlesztési környezetben például az LLM hallucinációk azt eredményezhetik, hogy a fejlesztők sebezhető kódot helyeznek be alkalmazásaikba.

Az Azure AI Studio új földeltség észlelése A képesség alapvetően a potenciálisan földeletlen generatív mesterségesintelligencia-kimenetek megbízhatóbb és nagyobb léptékű felderítését jelenti. A cél az, hogy a fejlesztők kipróbálhassák mesterséges intelligencia-modelleiket a Microsoft által a megalapozottsági mérőszámok alapján, mielőtt a modellt bevezetnék a termékbe. A szolgáltatás az LLM-kimenetekben a potenciálisan megalapozatlan állításokat is kiemeli, így a felhasználók tudják, hogy használat előtt ellenőrizni kell a kimenetet. A talajérzékelés még nem érhető el, de a közeljövőben elérhető lesz a Microsoft szerint.

Az új rendszerüzenet keretrendszer lehetőséget kínál a fejlesztőknek, hogy egyértelműen meghatározzák modelljük képességeit, profilját és korlátait az adott környezetben. A fejlesztők használhatják a lehetőséget a kimenet formátumának meghatározására, és példákat adhatnak a tervezett viselkedésre, így a felhasználók könnyebben észlelhetik a tervezett viselkedéstől való eltéréseket. Ez egy másik új funkció, amely még nem érhető el, de hamarosan elérhető lesz.

Az Azure AI Studio újonnan bejelentette biztonsági értékelések képesség és annak kockázati és biztonsági ellenőrzés mindkettő jelenleg előnézeti állapotban érhető el. A szervezetek az előbbit felhasználhatják arra, hogy felmérjék LLM-modelljük sebezhetőségét a jailbreak támadásokkal és váratlan tartalom generálásával szemben. A kockázat- és biztonságfigyelő képesség lehetővé teszi a fejlesztők számára, hogy észleljék azokat a modellbemeneteket, amelyek problémásak, és valószínűleg hallucinált vagy váratlan tartalmat válthatnak ki, így enyhítő intézkedéseket tehetnek ellene.

„A generatív mesterségesintelligencia minden részleg, vállalat és iparág erőtömeg-szorzója lehet” – mondta a Microsoft Bird. "Ugyanakkor az alapítványi modellek új kihívásokat jelentenek a biztonság és a biztonság terén, amelyek újszerű mérsékléseket és folyamatos tanulást igényelnek."

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai