Grunnleggende databeskyttelse for LLM-akselerasjon for bedrifter med Protopia AI | Amazon Web Services

Dette innlegget er skrevet i samarbeid med Balaji Chandrasekaran, Jennifer Cwagenberg og Andrew Sansom og Eiman Ebrahimi fra Protopia AI.

Nye og kraftige store språkmodeller (LLMs) endrer virksomheter raskt, og forbedrer effektiviteten og effektiviteten for en rekke bedriftsbrukstilfeller. Hastighet er avgjørende, og bruk av LLM-teknologier kan skape eller bryte en bedrifts konkurransefortrinn. AWS er ​​spesielt godt egnet til å gi bedrifter de nødvendige verktøyene for å distribuere LLM-er i stor skala for å muliggjøre kritiske beslutninger.

I sin implementering av generativ AI-teknologi har bedrifter reelle bekymringer om dataeksponering og eierskap til konfidensiell informasjon som kan sendes til LLM-er. Disse bekymringene for personvern og databeskyttelse kan bremse eller begrense bruken av LLM-er i organisasjoner. Bedrifter trenger en ansvarlig og tryggere måte å sende sensitiv informasjon til modellene uten å måtte ta på seg de ofte uoverkommelige kostnadene ved lokale DevOps.

Innlegget beskriver hvordan du kan overvinne utfordringene med å beholde dataeierskap og bevare datavernet mens du bruker LLM-er ved å distribuere Protopia AIs Stained Glass Transform for å beskytte dataene dine. Protopia AI har inngått samarbeid med AWS for å levere den kritiske komponenten av databeskyttelse og eierskap for sikker og effektiv bedriftsadopsjon av generativ AI. Dette innlegget skisserer løsningen og demonstrerer hvordan den kan brukes i AWS for populære bedriftsbrukstilfeller som Retrieval Augmented Generation (RAG) og med state-of-the-art LLMs som Lama 2.

Transform av glassmalerier oversikt

Organisasjoner søker å beholde fullt eierskap og kontroll over sine sensitive bedriftsdata. Dette er en pilar for ansvarlig AI og et voksende databeskyttelses- og personvernkrav utover grunnleggende sikkerhet og juridiske garantier fra LLM-leverandører.

Selv om forretningsenheter ønsker å bruke LLM-er til ulike oppgaver, er de også bekymret for forretningshemmeligheter, åndsverk og annen proprietær informasjon som lekker gjennom data sendt til disse modellene. Samtidig er bedriftssikkerhet, compliance, databehandling og informasjonskontorer bekymret for å avsløre eller lekke ren tekst kundeinformasjon eller andre regulerte data utenfor bedriften. AWS og Protopia AI samarbeider for å levere den kritiske komponenten som løser dette vanlige bedriftskundebehovet.

Protopia AIs Stained Glass Transform (SGT) løser disse utfordringene ved å konvertere ubeskyttede bedriftsdata til en randomisert re-representasjon, referert til som RmoRed-data, som vist i følgende figur. Denne representasjonen er en stokastisk innebygging av de originale dataene, og bevarer informasjonen mål-LLM trenger for å fungere uten å avsløre sensitive spørsmål eller spørringer, kontekst eller finjustere data. Denne re-representasjonen er en enveis transformasjon som ikke kan reverseres, og sikrer helhetlig personvern for bedriftsdata og beskyttelse mot lekkasje av ren tekstsensitiv informasjon til LLM-er. SGTs anvendelighet er ikke begrenset til språkmodeller. Randomiserte re-representasjoner kan også genereres for visuelle og strukturerte data. Navnet Stained Glass Transform er forankret i det visuelle utseendet til randomiserte re-representasjoner av visuelle data som kan ligne på å se dataene gjennom farget glass, som vist i denne US Navy brukskoffert.

SGT fungerer med toppmoderne LLM-er som Llama 2. Den følgende figuren viser et eksempel på bruk av SGT på en Llama 2-modell for instruksjonsfølging samtidig som den legger til et lag med beskyttelse til instruksjonen og konteksten. Den venstre siden av figuren viser et eksempel på et finansielt dokument som kontekst, med instruksjonen som ber modellen om å oppsummere dokumentet. Nederst til venstre vises responsen generert av Llama 2 når du opererer på den rå ledeteksten. Når du bruker SGT, blir innebyggingene knyttet til denne ledeteksten transformert på klientsiden til stokastiske innebygginger, som beskrevet mer detaljert senere i dette innlegget. Nederst til høyre viser at Llama 2 fortsatt kan generere et korrekt svar hvis RmoRed-dataene (innbygginger etter transformasjon) sendes i stedet for de ubeskyttede innebyggingene. Øverst til høyre viser at hvis RmoRed-dataene lekket, ville en rekonstruksjon av den opprinnelige ledeteksten resultere i uforståelig tekst.

For å lage en SGT for en gitt modell som Llama 2, tilbyr Protopia AI et lett bibliotek kalt Stained Glass SDK, som er en utvidelse av PyTorch. Som vist i følgende figur, etter at en SGT er opprettet, kan den integreres i distribusjonsrørledninger på flere måter. Transformasjonen som er opprettet fra SDK-en kan distribueres lokalt, i et hybridoppsett eller helt på skyen. Dette er mulig fordi SGT er designet for å være en lett prosess som krever svært lite dataressurser og som sådan har minimal innvirkning på den inferenskritiske banen. En annen nøkkelevaluering er oppbevaring av modellnøyaktighet ved å bruke re-representerte data. Vi observerer at på tvers av ulike datatyper og modellvariasjoner, opprettholdes nøyaktigheten innenfor ønskelige toleransegrenser ved bruk av re-representerte data.

Disse alternativene for distribusjon og opprettholdelse av nøyaktigheten tillater sikker bruk av SGT av alle interessenter i en bedriftsorganisasjon. For å beskytte utdataene fra LLM ytterligere, kan Protopia AI kode spørringsutganger til en representasjon hvis dekoder kun er tilgjengelig for eieren av bedriftsdata.

Løsningsoversikt

Den forrige delen beskrev hvordan du kan bruke Stained Glass Transform i en rekke forskjellige arkitekturer. Følgende figur beskriver trinnene som er involvert i å opprette, distribuere og bruke SGT for LLM-er:

• SGT-oppretting – Teamet som trener grunnmodellen for LLM (leverandører av proprietære LLM-er, skytjenesteleverandører, eller enterprise ML-team som lager sine egne LLM-er) kjører Protopia AIs Stained Glass SDK-programvare uten å endre deres eksisterende praksis for opplæring og distribusjon av LLM. Etter at grunnmodellopplæringen er fullført, kjører SDK som en optimaliseringspass over språkmodellen for å beregne SGT. Dette optimeringspasset leveres gjennom en utvidelse til PyTorch. SDK-en omslutter fundamentmodellen og oppdager matematisk en unik Stained Glass Transform for den LLM. Ytterligere detaljer om den underliggende matematikken finner du i medfølgende hvitbok. Merk at fordi teamet som trener LLM selv også kjører Stained Glass SDK, er det ingen eksponering eller sending av modellvekter som er nødvendig for at dette trinnet skal fullføres.
• SGT-utgivelse og distribusjon – SGT-en som sendes ut fra det tidligere optimaliseringstrinnet, distribueres som en del av datapipelinen som mater den trente LLM-en. Som beskrevet i forrige avsnitt, sitter SGT på bedriftsklientsiden.
• SGT-bruk – SGT kjører på ledetekstene som er opprettet av bedriften og genererer beskyttede spørsmål, som sendes til den distribuerte LLM. Dette gjør det mulig for bedriften å beholde eierskapet til sine sensitive forespørsler og kontekst. Ved å bruke Protopia AI Stained Glass forlater ikke ubeskyttede sensitive data bedriftens nettsted eller tillitssone.

Du kan bruke Stained Glass SDK til å lage en SGT på flere måter. For eksempel kan du bruke Stained Glass SDK i selvstyrte maskinlæringsmiljøer (ML) med Amazon Elastic Kubernetes-tjeneste (Amazon EKS) for trening og inferencing eller innenfor Amazon Elastic Compute Cloud (Amazon EC2) direkte. Et annet alternativ er at den kan kjøres innenfor Amazon SageMaker å lage en SGT for en gitt trent modell. Transformering av input for distribusjon under slutning fra klienten er uavhengig av den valgte implementeringen.

Følgende figur illustrerer en mulig implementering i et selvstyrt ML-miljø der opplæring av en Stained Glass Transform utføres på Amazon EKS.

I denne arbeidsflyten opprettes en beholder ved hjelp av Stained Glass SDK og distribueres til Amazon Elastic Container Registry (Amazon ECR). Denne beholderen blir deretter distribuert på Amazon EKS for å trene en SGT som er lagret til Amazon enkel lagringstjeneste (Amazon S3). Hvis du bruker Amazon EC2, kan du trene en transformasjon direkte på instansen din som en del av ML-oppsettet ditt. Stained Glass SDK kan kjøre på en rekke instanstyper, inkludert Amazon P5, P4 eller G5 instansfamilier, basert på dine grunnleggende LLM-krav. Etter at LLM er distribuert for å bli brukt for slutninger, bruker klientapplikasjonen den opprettede SGT, som er en lett operasjon, for å transformere spørsmål og kontekst før de sendes til LLM. Ved å gjøre det, blir bare transformerte data eksponert for LLM, og eierskapet til den opprinnelige inngangen beholdes på klientsiden.

Følgende figur viser hvordan du kan trene en transformasjon og kjøre slutning på SageMaker.

Opprettelsen av SGT følger en lignende vei som Amazon EKS-oppsettet ved å innta treningsdataene fra Amazon S3, trene en SGT på en beholder og lagre den til Amazon S3. Du kan bruke Stained Glass SDK i ditt eksisterende SageMaker-oppsett med Amazon SageMaker Studio, SageMaker notatbøkerOg SageMaker treningsjobb. LLM er vert som et SageMaker-endepunkt som er tilgjengelig for klientapplikasjonen. Konklusjonen for klientapplikasjonen er også identisk med Amazon EKS-oppsettet, bortsett fra det som tjener modellen.

Randomiserte re-representasjoner for å beskytte LLM-forespørsler og finjustere data

Denne delen dekker en rekke brukstilfeller som viser hvordan randomisert re-representasjon beskytter LLM-forespørsler. Eksemplene illustrerer store implikasjoner for bedriftsgenerativ AI-innsats: Å åpne nye dører for AI-brukstilfeller, øke hastigheten til markedet samtidig som bedriftsdata beskyttes på riktig måte, og beholde eierskapet til de sensitive dataene som kreves for bruk i LLM-forespørsler.

RAG use case

En populær bedriftsbrukssak for LLM-er er Retrieval Augmented Generation (RAG). Den følgende figuren viser et illustrerende eksempel der meldingene og kildene er beskyttet med farget glass. Den venstre siden av figuren viser ubeskyttede meldinger og kildeinformasjon. I en bedriftsimplementering av RAG kan kildene inkludere sensitiv informasjon som bedriftshemmeligheter, åndsverk eller finansiell informasjon. Høyre side viser best mulig rekonstruksjon i menneskelig lesbar tekst fra RmoRed-oppfordringene laget av SGT.

Vi kan observere at selv i best mulig rekonstruksjon er informasjonen fullstendig tilsløret. Imidlertid er responsen fra modellen med og uten transformasjonen den samme, med pekepinner til de originale kildedokumentene, og bevarer dermed nøyaktigheten til både spørsmålet og kildedokumentene mens du utfører denne populære bedriftsbrukssaken.

Bred anvendelighet på tvers av LLM-er og språk

Et av høydepunktene til Stained Glass SDK er at den er svært motstandsdyktig mot modellfremskritt og kan tilpasses toppmoderne modeller som f.eks. Lama 2. Følgende figur viser en SGT som ble opprettet på en Llama 2 LLM som tidligere var finjustert for arbeid med japansk tekst. Dette eksemplet illustrerer videre at SGT-er kan opprettes og brukes for ethvert språk, og at selv innganger for finjusterte modeller kan transformeres. Den generelle anvendeligheten til SGT er drevet av at det robuste fundamentet til Stained Glass SDK er modell- og dataagnostisk.

Beskyttelse av finjusteringsdata samt forespørsler

Stained Glass Transform er ikke begrenset utelukkende til å beskytte data på slutningstidspunktet; den kan også beskytte data som brukes til å finjustere en grunnmodell. Prosessen for å lage transformasjonen for finjustering av datasett er den samme som forklart i løsningsarkitekturdelen tidligere i dette innlegget. Transformasjonen er laget for at grunnmodellen skal finjusteres uten tilgang til finjusteringsdataene. Etter at SGT er opprettet og trent for grunnmodellen, transformeres finjusteringsdatasettet til randomiserte re-representasjoner som deretter vil bli brukt til å finjustere fundamentmodellen. Denne prosessen er forklart mer detaljert i medfølgende hvitbok.

I det følgende eksempelet trengte en bedriftskunde å finjustere en eksisterende modell for oppdagelse av anomali i nettverkslogg. De brukte Stained Glass for å transformere det sensitive finjusteringsdatasettet til randomiserte innbygginger, som ble brukt til å finjustere grunnmodellen deres. De fant at deteksjonsmodellen som ble finjustert på de transformerte representasjonene utførte med nesten identisk nøyaktighet sammenlignet med det hypotetiske scenariet med å finjustere grunnmodellen på det ubeskyttede finjusteringsdatasettet. Tabellen nedenfor viser to eksempler på ren tekstdataposter fra finjusteringsdatasettet og en rekonstruksjon til tekst av de samme datapostene fra finjusteringsdatasettet.

Under panseret på Stained Glass Transform for LLMs

Når den brukes på datasyn, opererer SGT på inndatapikselfunksjoner, og for LLM-er opererer den på innebyggingsnivå. For å fremheve hvordan Stained Glass Transform fungerer, se for deg de ledetekstene som en matrise, som illustrert til venstre i følgende figur. I hver oppføring er det en deterministisk verdi. Denne verdien kan tilordnes de originale dataene, og avsløre den ubeskyttede ledeteksten. Stained Glass Transform konverterer denne matrisen av deterministiske verdier til en matrise hvis elementer er en sky av muligheter.

Den transformerte ledeteksten gjengis ved å prøve støy fra sannsynlighetsfordelinger definert av SGT og legge den samplede støyen til de deterministiske innebyggingene, som randomiserer de opprinnelige ledetekstverdiene irreversibelt. Modellen forstår fortsatt den randomiserte re-representerte ledeteksten på matematisk nivå og kan utføre sin oppgave nøyaktig.

konklusjonen

Dette innlegget diskuterte hvordan Protopia AIs Stained Glass Transform frikobler eierskap av rådata og beskyttelse fra ML-driftsprosessen, slik at bedrifter kan beholde eierskapet og opprettholde personvernet til sensitiv informasjon i LLM-forespørsler og finjustere data. Ved å bruke denne toppmoderne databeskyttelsen for LLM-bruk, kan bedrifter akselerere bruken av grunnmodeller og LLM-er ved å bekymre seg mindre for eksponering av sensitiv informasjon. Ved å låse opp verdien i ekte bedriftsdata på en sikker måte, kan organisasjoner aktivere de lovede effektivitetene og forretningsresultatene til LLM-er mer effektivt og raskt. For å lære mer om denne teknologien, kan du finne mer lesing i medfølgende hvitbok og koble til Protopia AI for å få tilgang og prøve det på bedriftsdataene dine.

Om Protopia AI

Protopia AI er ledende innen databeskyttelse og personvernbevarende AI/ML-teknologier basert i Austin, Texas, og spesialiserer seg på å gjøre det mulig for AI-algoritmer og programvareplattformer å fungere uten behov for tilgang til ren tekstinformasjon. I løpet av de siste 2 årene har Protopia AI med suksess demonstrert flaggskipet Stained Glass Transform-produktet på tvers av en rekke ML-brukstilfeller og datatyper med den amerikanske marinen, ledende finansielle tjenester og globale teknologileverandører.

Protopia AI samarbeider med bedrifter, generative AI- og LLM-leverandører og Cloud Service Providers (CSP-er) for å muliggjøre opprettholdelse av eierskap og konfidensialitet for bedriftsdata mens du bruker AI/ML-løsninger. Protopia AI har inngått samarbeid med AWS for å levere en kritisk komponent av databeskyttelse og eierskap for bedriftsadopsjon av generativ AI, og var en av 21 oppstartsselskaper som ble valgt ut til åpningen AWS Generative AI Accelerator i 2023.

---

Om forfatterne

Balaji Chandrasekaran er VP for Go-to-Market & Customer Enablement hos Protopia AI, jobber tett med klienter for å utnytte AI i virksomheten deres mens de prioriterer databeskyttelse og personvern. Før Protopia AI var Balaji produktleder for AI-løsninger hos Infor, og utviklet verdisentriske produkter samtidig som han fungerte som en pålitelig partner for bedriftskunder på tvers av ulike bransjer. Utenfor jobben liker han musikk, fotturer og å reise med familien.

Jennifer Cwagenberg leder ingeniørteamet hos Protopia AI og jobber for å sikre at Stained Glass-teknologien møter kundenes behov for å beskytte dataene deres. Jennifer har tidligere erfaring med sikkerhetsarbeid hos Toyota i deres Product Cybersecurity Group, administrering av Cloud-arbeidsbelastninger hos N-able og ansvarlig for data hos Match.com.

Andrew Sansom er en AI Solutions Engineer hos Protopia AI hvor han hjelper bedrifter med å bruke AI mens han bevarer privat og sensitiv informasjon i dataene deres. Før Protopia AI jobbet han som teknisk konsulent med fokus på å muliggjøre AI-løsninger for kunder på tvers av mange bransjer, inkludert finans, produksjon, helsevesen og utdanning. Han underviste også informatikk og matematikk til studenter på videregående skole, universitet og profesjonelle.

Eiman Ebrahimi, PhD, er medgründer og administrerende direktør for Protopia AI. Dr. Ebrahimi brenner for å gjøre AI i stand til å berike den menneskelige opplevelsen på tvers av ulike samfunns- og industrivertikaler. Protopia AI er en visjon for å forbedre linsen der AI observerer de nødvendige og kvalitetsdataene den trenger, samtidig som den skaper nye muligheter for å beskytte sensitiv informasjon. Før Protopia AI var han seniorforsker ved NVIDIA i 9 år. Hans arbeid ved NVIDIA-forskning hadde som mål å løse problemer med å få tilgang til massive datasett i ML/AI. Han var også medforfatter av fagfellevurderte publikasjoner om hvordan man kan utnytte kraften til tusenvis av GPUer for å gjøre opplæring av store språkmodeller mulig.

Rohit Talluri er en generativ AI GTM-spesialist hos Amazon Web Services (AWS). Han samarbeider med toppgenerative AI-modellbyggere, strategiske kunder, viktige AI/ML-partnere og AWS Service Teams for å muliggjøre neste generasjon av kunstig intelligens, maskinlæring og akselerert databehandling på AWS. Han var tidligere Enterprise Solutions Architect, og Global Solutions Lead for AWS Mergers & Acquisitions Advisory.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/