Grundläggande dataskydd för LLM-acceleration för företag med Protopia AI | Amazon webbtjänster

Det här inlägget är skrivet i samarbete med Balaji Chandrasekaran, Jennifer Cwagenberg och Andrew Sansom och Eiman Ebrahimi från Protopia AI.

Nya och kraftfulla stora språkmodeller (LLM) förändrar företag snabbt, vilket förbättrar effektiviteten och effektiviteten för en mängd olika företagsanvändningsfall. Hastighet är avgörande, och införandet av LLM-teknik kan skapa eller bryta ett företags konkurrensfördel. AWS är särskilt väl lämpad för att ge företag de verktyg som krävs för att distribuera LLM i stor skala för att möjliggöra kritiskt beslutsfattande.

I sin implementering av generativ AI-teknik har företag verkliga farhågor om dataexponering och ägande av konfidentiell information som kan skickas till LLM. Dessa farhågor om integritet och dataskydd kan sakta ner eller begränsa användningen av LLM i organisationer. Företag behöver ett ansvarsfullt och säkrare sätt att skicka känslig information till modellerna utan att behöva ta på sig de ofta oöverkomligt höga omkostnaderna för lokala DevOps.

Inlägget beskriver hur du kan övervinna utmaningarna med att behålla dataäganderätten och bevara datasekretessen medan du använder LLM:er genom att distribuera Protopia AI:s Stained Glass Transform för att skydda din data. Protopia AI har samarbetat med AWS för att leverera den kritiska komponenten av dataskydd och ägande för säker och effektiv införande av generativ AI för företag. Det här inlägget beskriver lösningen och visar hur den kan användas i AWS för populära företagsanvändningsfall som Retrieval Augmented Generation (RAG) och med state-of-the-art LLMs som Lama 2.

Översikt av Transform av målat glas

Organisationer strävar efter att behålla full äganderätt och kontroll över sina känsliga företagsdata. Detta är en pelare för ansvarsfull AI och ett framväxande dataskydds- och integritetskrav utöver grundläggande säkerhet och juridiska garantier för LLM-leverantörer.

Även om företags affärsenheter vill använda LLM för olika uppgifter, är de också oroade över affärshemligheter, immateriella rättigheter och annan proprietär information som läcker genom data som skickas till dessa modeller. Samtidigt är företagssäkerhet, efterlevnad, datahantering och informationskontor oroliga för att exponera eller läcka kundinformation i vanlig text eller annan reglerad data utanför företaget. AWS och Protopia AI samarbetar för att leverera den kritiska komponenten som löser detta vanliga företagskundbehov.

Protopia AI:s Stained Glass Transform (SGT) löser dessa utmaningar genom att konvertera oskyddad företagsdata till en randomiserad återrepresentation, kallad RmoRed-data, som visas i följande figur. Denna representation är en stokastisk inbäddning av originaldata, som bevarar den information som mål-LLM behöver för att fungera utan att exponera känsliga uppmaningar eller frågor, sammanhang eller finjustera data. Denna återrepresentation är en enkelriktad transformation som inte kan vändas, vilket säkerställer holistisk integritet för företagsdata och skydd mot läckande vanlig textkänslig information till LLM:er. SGT:s tillämplighet är inte begränsad till språkmodeller. Randomiserade omrepresentationer kan också genereras för visuella och strukturerade data. Namnet Stained Glass Transform har sina rötter i det visuella utseendet av randomiserade återrepresentationer av visuella data som kan likna att se data genom målat glas, vilket visas i denna US Navy användningsfodral.

SGT fungerar med toppmoderna LLM:er som Llama 2. Följande figur visar ett exempel på att tillämpa SGT på en Llama 2-modell för instruktionsföljning samtidigt som ett lager av skydd till instruktionen och sammanhanget läggs till. Den vänstra sidan av figuren visar ett exempel på ett finansiellt dokument som kontext, med instruktionen som ber modellen att sammanfatta dokumentet. Längst ner till vänster visas svaret som genereras av Llama 2 när man använder den råa prompten. När du använder SGT, omvandlas de inbäddningar som är associerade med denna prompt på klientsidan till stokastiska inbäddningar, som beskrivs mer i detalj senare i detta inlägg. Längst ner till höger visar att Llama 2 fortfarande kan generera ett korrekt svar om RmoRed-data (inbäddningar efter transformation) skickas istället för oskyddade inbäddningar. Uppe till höger visar att om RmoRed-data läckte, skulle en rekonstruktion av den ursprungliga prompten resultera i oförståelig text.

För att skapa en SGT för en given modell som Llama 2 tillhandahåller Protopia AI ett lättviktsbibliotek som kallas Stained Glass SDK, som är en förlängning av PyTorch. Som visas i följande figur, efter att en SGT har skapats, kan den integreras i distributionspipelines på flera sätt. Transformen som skapas från SDK:n kan distribueras lokalt, i en hybriduppställning eller helt på molnet. Detta är möjligt eftersom SGT är designat för att vara en lätt process som kräver mycket små beräkningsresurser och som sådan har minimal inverkan på den inferenskritiska vägen. En annan viktig utvärdering är bibehållande av modellens noggrannhet med hjälp av återrepresenterade data. Vi observerar att över olika datatyper och modellvariationer bibehålls noggrannheten inom önskvärda toleransgränser vid användning av re-representerade data.

Dessa alternativ för driftsättning och bibehållande av noggrannheten möjliggör säker användning av SGT av alla intressenter inom en företagsorganisation. För att ytterligare skydda utdata från LLM kan Protopia AI koda frågeutgångar till en representation vars avkodare endast är tillgänglig för företagsdataägaren.

Lösningsöversikt

Det föregående avsnittet beskrev hur du kan använda Stained Glass Transform i en mängd olika arkitekturer. Följande figur beskriver stegen som är involverade i att skapa, distribuera och använda SGT för LLM:er:

• Skapande av SGT – Teamet som tränar grundmodellen för LLM (leverantörer av proprietära LLMs, molntjänstleverantörer eller företags ML-team som skapar sina egna LLMs) kör Protopia AI:s Stained Glass SDK-programvara utan att ändra deras befintliga praxis för utbildning och implementering av LLM. Efter att grundmodellutbildningen är klar körs SDK som en optimeringspass över språkmodellen för att beräkna SGT. Detta optimeringspass levereras genom ett tillägg till PyTorch. SDK:n omsluter grundmodellen och upptäcker matematiskt en unik Stained Glass Transform för den LLM. Ytterligare detaljer om den underliggande matematiken finns i medföljande whitepaper. Observera att eftersom teamet som utbildar själva LLM också kör Stained Glass SDK, finns det ingen exponering eller sändning av modellvikter som krävs för att detta steg ska slutföras.
• SGT-släpp och distribution – SGT som matas ut från det tidigare optimeringssteget distribueras som en del av datapipeline som matar den tränade LLM. Som beskrivits i föregående avsnitt sitter SGT på företagets klientsida.
• SGT-användning – SGT körs på de uppmaningar som skapats av företaget och genererar skyddade uppmaningar, som skickas till den distribuerade LLM. Detta gör det möjligt för företaget att behålla ägandet av sina känsliga frågor och sammanhang. Med Protopia AI Stained Glass lämnar den oskyddade känsliga informationen inte företagets webbplats eller förtroendezon.

Du kan använda Stained Glass SDK för att skapa en SGT på flera sätt. Till exempel kan du använda Stained Glass SDK i self-managed machine learning (ML) miljöer med Amazon Elastic Kubernetes-tjänst (Amazon EKS) för träning och inferencing eller inom Amazon Elastic Compute Cloud (Amazon EC2) direkt. Ett annat alternativ är att den kan köras inom Amazon SageMaker att skapa en SGT för en given utbildad modell. Att transformera indata för distribution under slutledning från klienten är oberoende av den valda implementeringen.

Följande figur illustrerar en möjlig implementering i en självhanterad ML-miljö där träning av en Stained Glass Transform utförs på Amazon EKS.

I det här arbetsflödet skapas en behållare med SDK för Stained Glass och distribueras till Amazon Elastic Container Registry (Amazon ECR). Denna behållare distribueras sedan på Amazon EKS för att träna en SGT som är sparad till Amazon enkel lagringstjänst (Amazon S3). Om du använder Amazon EC2 kan du träna en transformation direkt på din instans som en del av din ML-inställning. Stained Glass SDK kan köras på en mängd olika instanstyper, inklusive Amazon P5, P4 eller G5 instansfamiljer, baserat på dina grundläggande LLM-krav. Efter att LLM har distribuerats för att användas för slutledning, använder klientapplikationen den skapade SGT, som är en lättviktsoperation, för att transformera uppmaningar och sammanhang innan de skickas till LLM. Genom att göra det exponeras endast transformerad data för LLM, och äganderätten till den ursprungliga inmatningen behålls på klientsidan.

Följande figur visar hur du kan träna en transformation och köra slutledning på SageMaker.

Skapandet av SGT följer en liknande väg som Amazon EKS-inställningen genom att mata in träningsdata från Amazon S3, träna en SGT på en container och spara den till Amazon S3. Du kan använda Stained Glass SDK i din befintliga SageMaker-installation med Amazon SageMaker Studio, SageMaker anteckningsböckerOch en SageMaker utbildningsjobb. LLM är värd som en SageMaker-slutpunkt som är tillgänglig för klientapplikationen. Slutsatsen för klientapplikationen är också identisk med Amazon EKS-inställningen, förutom det som tjänar modellen.

Randomiserade omrepresentationer för att skydda LLM-uppmaningar och finjustera data

Det här avsnittet täcker en mängd olika användningsfall som visar hur randomiserad återrepresentation skyddar LLM-uppmaningar. Exemplen illustrerar stora konsekvenser för företagsgenerativa AI-insatser: öppna nya dörrar för AI-användningsfall, öka hastigheten till marknaden samtidigt som företagsdata skyddas på rätt sätt och behålla ägandet av den känsliga information som krävs för användning i LLM-uppmaningar.

RAG användningsfall

Ett populärt företagsanvändningsfall för LLM:er är Retrieval Augmented Generation (RAG). Följande figur visar ett illustrativt exempel där uppmaningarna och källorna skyddas med målat glas. Den vänstra sidan av figuren visar de oskyddade uppmaningarna och källinformationen. I en företagsimplementering av RAG kan källorna inkludera känslig information som företagets affärshemligheter, immateriella rättigheter eller finansiell information. Den högra sidan visar den bästa möjliga rekonstruktionen i läsbar text från RmoRed-uppmaningarna skapade av SGT.

Vi kan observera att även vid bästa möjliga rekonstruktion är informationen helt förvirrad. Svaret från modellen med och utan transformationen är dock detsamma, med pekare till de ursprungliga källdokumenten, vilket bevarar noggrannheten hos både fråge- och källdokumenten samtidigt som detta populära företagsanvändningsfall utförs.

Bred tillämpbarhet över LLM och språk

En av höjdpunkterna med Stained Glass SDK är att den är mycket motståndskraftig mot modellframsteg och anpassningsbar till toppmoderna modeller som t.ex. Lama 2. Följande figur visar en SGT som skapades på en Llama 2 LLM som tidigare var finjusterad för att arbeta med japansk text. Det här exemplet illustrerar ytterligare att SGT:er kan skapas och tillämpas för alla språk och att även indata för finjusterade modeller kan omvandlas. Den allmänna tillämpbarheten av SGT drivs av att den robusta grunden för Stained Glass SDK är modell- och dataagnostisk.

Skyddar finjusterande data samt uppmaningar

Stained Glass Transform är inte begränsad enbart till att skydda data vid slutledningstidpunkten; det kan också skydda data som används för att finjustera en grundmodell. Processen för att skapa transformationen för finjustering av datamängder är densamma som förklaras i avsnittet lösningsarkitektur tidigare i det här inlägget. Transformationen är skapad för att grundmodellen ska finjusteras utan åtkomst till finjusteringsdata. Efter att SGT har skapats och tränats för grundmodellen, omvandlas finjusterande dataset till randomiserade omrepresentationer som sedan kommer att användas för att finjustera grundmodellen. Denna process förklaras mer i detalj i medföljande whitepaper.

I följande exempel behövde en företagskund finjustera en befintlig modell för upptäckt av anomali i nätverksloggar. De använde Stained Glass för att omvandla den känsliga finjusteringsdatauppsättningen till randomiserade inbäddningar, som användes för att finjustera deras grundmodell. De fann att detektionsmodellen som finjusterades på de transformerade representationerna utfördes med nästan identisk noggrannhet jämfört med det hypotetiska scenariot att finjustera grundmodellen på den oskyddade finjusteringsdatauppsättningen. Följande tabell visar två exempel på oformaterad textdataposter från finjusteringsdatauppsättningen och en rekonstruktion till text av samma dataposter från finjusteringsdatauppsättningen.

Under huven på Stained Glass Transform för LLMs

När den tillämpas på datorseende, arbetar SGT på indatapixelfunktioner, och för LLM:er arbetar den på inbäddningsnivån. För att belysa hur Stained Glass Transform fungerar, föreställ dig de snabba inbäddningarna som en matris, som illustreras till vänster i följande figur. I varje post finns ett deterministiskt värde. Det här värdet kan mappas till originaldata och exponerar den oskyddade prompten. Stained Glass Transform konverterar denna matris av deterministiska värden till en matris vars element är ett moln av möjligheter.

Den transformerade prompten återges genom sampling av brus från sannolikhetsfördelningar definierade av SGT och adderar det samplade bruset till de deterministiska inbäddningarna, vilket randomiserar de ursprungliga promptvärdena irreversibelt. Modellen förstår fortfarande den randomiserade återrepresenterade prompten på matematisk nivå och kan utföra sin uppgift exakt.

Slutsats

Det här inlägget diskuterade hur Protopia AI:s Stained Glass Transform frikopplar ägande av rådata och skydd från ML-driftsprocessen, vilket gör det möjligt för företag att behålla äganderätten och upprätthålla integriteten för känslig information i LLM-uppmaningar och finjustera data. Genom att använda detta toppmoderna dataskydd för LLM-användning kan företag påskynda införandet av grundmodeller och LLM:er genom att oroa sig mindre för exponering av känslig information. Genom att på ett säkert sätt låsa upp värdet i verklig företagsdata kan organisationer möjliggöra de utlovade effektiviteterna och affärsresultaten för LLM:er mer effektivt och snabbare. För att lära dig mer om denna teknik, kan du hitta mer läsning i medföljande whitepaper och ansluta till Protopia AI för att få åtkomst och prova det på din företagsdata.

Om Protopia AI

Protopia AI är ledande inom dataskydd och integritetsbevarande AI/ML-teknologier baserade i Austin, Texas, och specialiserar sig på att göra det möjligt för AI-algoritmer och mjukvaruplattformar att fungera utan att behöva komma åt vanlig textinformation. Under de senaste två åren har Protopia AI framgångsrikt demonstrerat sitt flaggskepp Stained Glass Transform-produkt i en mängd olika ML-användningsfall och datatyper med US Navy, ledande finansiella tjänster och globala teknikleverantörer.

Protopia AI samarbetar med företag, generativa AI- och LLM-leverantörer och molntjänstleverantörer (CSP) för att möjliggöra upprätthållande av ägande och konfidentialitet för företagsdata samtidigt som AI/ML-lösningar används. Protopia AI har samarbetat med AWS för att leverera en kritisk komponent av dataskydd och ägande för företagsintroduktion av generativ AI, och var en av 21 startups som valts ut för invigningen AWS Generativ AI Accelerator 2023.

---

Om författarna

Balaji Chandrasekaran är VP för Go-to-Market & Customer Enablement på Protopia AI, arbetar nära kunderna för att utnyttja AI i sin verksamhet samtidigt som de prioriterar dataskydd och integritet. Före Protopia AI var Balaji produktledare för AI-lösningar på Infor, och utvecklade värdecentrerade produkter samtidigt som han fungerade som en pålitlig partner för företagskunder inom olika branscher. Utanför jobbet tycker han om musik, vandring och att resa med familjen.

Jennifer Cwagenberg leder ingenjörsteamet på Protopia AI och arbetar för att se till att Stained Glass-tekniken möter deras kunders behov för att skydda deras data. Jennifer har tidigare erfarenhet av säkerhetsarbete på Toyota i deras Product Cybersecurity Group, hantering av Cloud-arbetsbelastningar på N-able och ansvarig för data på Match.com.

Andrew Sansom är en AI Solutions Engineer på Protopia AI där han hjälper företag att använda AI samtidigt som han bevarar privat och känslig information i sina data. Innan han började på Protopia AI arbetade han som teknisk konsult med fokus på att möjliggöra AI-lösningar för kunder inom många branscher, inklusive finans, tillverkning, hälsovård och utbildning. Han undervisade också i datavetenskap och matematik till gymnasie-, universitets- och professionella studenter.

Eiman Ebrahimi, PhD, är medgrundare och verkställande direktör för Protopia AI. Dr. Ebrahimi brinner för att göra det möjligt för AI att berika den mänskliga upplevelsen över olika samhälleliga och branschvertikaler. Protopia AI är en vision för att förbättra linsen genom vilken AI observerar den nödvändiga och kvalitetsdata den behöver samtidigt som den skapar nya möjligheter för att skydda känslig information. Innan han började på Protopia AI var han seniorforskare på NVIDIA i 9 år. Hans arbete på NVIDIA research syftade till att lösa problem med att komma åt massiva datamängder i ML/AI. Han var också medförfattare till peer-reviewed publikationer om hur man kan utnyttja kraften hos tusentals GPU: er för att göra träning av stora språkmodeller möjlig.

Rohit Talluri är en generativ AI GTM-specialist på Amazon Web Services (AWS). Han samarbetar med toppgenerativa AI-modellbyggare, strategiska kunder, viktiga AI/ML-partners och AWS Service Teams för att möjliggöra nästa generation av artificiell intelligens, maskininlärning och accelererad datoranvändning på AWS. Han var tidigare en Enterprise Solutions Architect och Global Solutions Lead för AWS Mergers & Acquisitions Advisory.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/