Een veilige aanpak van generatieve AI met AWS | Amazon-webservices

Generatieve kunstmatige intelligentie (AI) transformeert de klantervaring in industrieën over de hele wereld. Klanten bouwen generatieve AI-applicaties met behulp van grote taalmodellen (LLM’s) en andere basismodellen (FM’s), die de klantervaring verbeteren, de bedrijfsvoering transformeren, de productiviteit van werknemers verbeteren en nieuwe inkomstenkanalen creëren.

FM’s en de daaromheen gebouwde applicaties vertegenwoordigen uiterst waardevolle investeringen voor onze klanten. Ze worden vaak gebruikt met zeer gevoelige bedrijfsgegevens, zoals persoonlijke gegevens, nalevingsgegevens, operationele gegevens en financiële informatie, om de output van het model te optimaliseren. De grootste zorg die we van klanten horen als ze de voordelen van generatieve AI onderzoeken, is hoe ze hun zeer gevoelige gegevens en investeringen kunnen beschermen. Omdat hun gegevens en modelgewichten ongelooflijk waardevol zijn, eisen klanten dat ze beschermd, veilig en privé blijven, of dat nu komt door de accounts van hun eigen beheerder, hun klanten, kwetsbaarheden in software die in hun eigen omgevingen draait, of zelfs door hun cloudserviceprovider. toegang.

Bij AWS is het onze topprioriteit het waarborgen van de veiligheid en vertrouwelijkheid van de werklast van onze klanten. We denken na over de beveiliging van de drie lagen van onze generatieve AI-stack:

• Onderste laag – Biedt de tools voor het bouwen en trainen van LLM's en andere FM's
• Middelste laag – Biedt toegang tot alle modellen en tools die u nodig hebt om generatieve AI-applicaties te bouwen en te schalen
• Bovenste laag – Inclusief applicaties die LLM's en andere FM's gebruiken om het werk stressvrij te maken door code te schrijven en debuggen, inhoud te genereren, inzichten af ​​te leiden en actie te ondernemen

Elke laag is belangrijk om generatieve AI alomtegenwoordig en transformatief te maken.

Met de AWS Nitro-systeem, hebben we namens onze klanten een unieke innovatie geleverd. Het Nitro-systeem is een ongeëvenaarde computerbackbone voor AWS, waarbij beveiliging en prestaties centraal staan. De gespecialiseerde hardware en bijbehorende firmware zijn ontworpen om beperkingen af ​​te dwingen, zodat niemand, ook wie dan ook in AWS, toegang heeft tot uw werklasten of gegevens die op uw computer draaien. Amazon Elastic Compute-cloud (Amazon EC2)-instanties. Klanten hebben sinds 2 geprofiteerd van deze vertrouwelijkheid en isolatie van AWS-operators op alle op Nitro gebaseerde EC2017-instances.

Door het ontwerp is er voor geen enkele Amazon-werknemer een mechanisme om toegang te krijgen tot een Nitro EC2-instantie die klanten gebruiken om hun werklasten uit te voeren, of om toegang te krijgen tot gegevens die klanten naar een machine learning (ML) accelerator of GPU sturen. Deze bescherming is van toepassing op alle op Nitro gebaseerde instanties, inclusief instanties met ML-versnellers zoals AWS Inferentie en AWS Trainium, en instanties met GPU's zoals P4, P5, G5 en G6.

Het Nitro-systeem maakt dit mogelijk Elastische stofadapter (EFA), dat gebruik maakt van het door AWS gebouwde AWS Scalable Reliable Datagram (SRD) communicatieprotocol voor elastische en grootschalige gedistribueerde training op cloudschaal, waardoor het enige altijd gecodeerde Remote Direct Memory Access (RDMA) netwerk mogelijk wordt. Alle communicatie via EFA is gecodeerd met VPC-codering zonder enige prestatiestraf.

Het ontwerp van het Nitro-systeem is geweest gevalideerd door de NCC Group, een onafhankelijk cyberbeveiligingsbedrijf. AWS biedt een hoog niveau van bescherming voor de werklasten van klanten, en wij zijn van mening dat dit het niveau van beveiliging en vertrouwelijkheid is dat klanten van hun cloudprovider mogen verwachten. Dit beschermingsniveau is zo belangrijk dat we het in onze AWS-servicevoorwaarden om al onze klanten een extra zekerheid te bieden.

Innovatieve veilige generatieve AI-workloads met behulp van toonaangevende beveiligingsmogelijkheden van AWS

Vanaf dag één hebben de AI-infrastructuur en -services van AWS ingebouwde beveiligings- en privacyfuncties om u controle over uw gegevens te geven. Nu klanten snel overgaan tot de implementatie van generatieve AI in hun organisaties, moet u weten dat uw gegevens veilig worden verwerkt gedurende de hele AI-levenscyclus, inclusief gegevensvoorbereiding, training en gevolgtrekking. De beveiliging van modelgewichten (de parameters die een model tijdens de training leert en die van cruciaal belang zijn voor het vermogen om voorspellingen te doen) is van cruciaal belang voor het beschermen van uw gegevens en het behouden van de modelintegriteit.

Daarom is het van cruciaal belang dat AWS namens onze klanten blijft innoveren om de lat op het gebied van beveiliging in elke laag van de generatieve AI-stack hoger te leggen. Om dit te kunnen doen, zijn wij van mening dat beveiliging en vertrouwelijkheid in elke laag van de generatieve AI-stack moeten zijn ingebouwd. U moet de infrastructuur kunnen beveiligen om LLM's en andere FM's op te leiden, veilig kunnen bouwen met tools om LLM's en andere FM's uit te voeren, en applicaties kunnen uitvoeren die FM's gebruiken met ingebouwde beveiliging en privacy waarop u kunt vertrouwen.

Bij AWS verwijst het beveiligen van de AI-infrastructuur naar het nul-toegang tot gevoelige AI-gegevens, zoals de gewichten van AI-modellen en gegevens die met die modellen worden verwerkt, door onbevoegde personen, noch bij de infrastructuurbeheerder, noch bij de klant. Het bestaat uit drie belangrijke principes:

1. Volledige isolatie van de AI-gegevens van de infrastructuurbeheerder – De infrastructuurbeheerder mag geen toegang hebben tot klantinhoud en AI-gegevens, zoals de gewichten van AI-modellen en gegevens die met modellen zijn verwerkt.
2. Mogelijkheid voor klanten om AI-gegevens van zichzelf te isoleren – De infrastructuur moet een mechanisme bieden waarmee modelgewichten en gegevens in de hardware kunnen worden geladen, terwijl het geïsoleerd en ontoegankelijk blijft voor de eigen gebruikers en software van de klant.
3. Beschermde infrastructuurcommunicatie – De communicatie tussen apparaten in de ML-acceleratorinfrastructuur moet worden beveiligd. Alle extern toegankelijke verbindingen tussen de apparaten moeten gecodeerd zijn.

Het Nitro-systeem voldoet aan het eerste principe van Secure AI Infrastructure door uw AI-gegevens te isoleren van AWS-operators. Het tweede principe biedt u een manier om de administratieve toegang van uw eigen gebruikers en software tot uw AI-gegevens te verwijderen. AWS biedt u niet alleen een manier om dat te bereiken, maar we hebben het ook eenvoudig en praktisch gemaakt door te investeren in het bouwen van een geïntegreerde oplossing tussen AWS Nitro-enclaves en AWS Sleutelbeheerservice (AWS KMS). Met Nitro Enclaves en AWS KMS kunt u uw gevoelige AI-gegevens versleutelen met sleutels die u bezit en beheert, die gegevens opslaan op een locatie naar keuze en de versleutelde gegevens veilig overbrengen naar een geïsoleerde computeromgeving voor gevolgtrekking. Gedurende dit hele proces worden de gevoelige AI-gegevens gecodeerd en geïsoleerd van uw eigen gebruikers en software op uw EC2-instantie, en AWS-operators hebben geen toegang tot deze gegevens. Gebruiksscenario's die van deze stroom hebben geprofiteerd, zijn onder meer hardlopen LLM-conclusie in een enclave. Tot nu toe werken Nitro Enclaves alleen in de CPU, waardoor de mogelijkheden voor grotere generatieve AI-modellen en complexere verwerking worden beperkt.

We hebben onze plannen aangekondigd om deze Nitro end-to-end gecodeerde stroom uit te breiden met eersteklas integratie met ML-accelerators en GPU's, waarmee aan het derde principe wordt voldaan. U kunt gevoelige AI-gegevens ontsleutelen en in een ML-accelerator laden voor verwerking, terwijl u isolatie biedt ten opzichte van uw eigen operators en de authenticiteit kunt verifiëren van de applicatie die wordt gebruikt voor het verwerken van de AI-gegevens. Via het Nitro-systeem kunt u uw applicaties cryptografisch valideren bij AWS KMS en gegevens alleen decoderen als de noodzakelijke controles zijn geslaagd. Dankzij deze verbetering kan AWS end-to-end-codering bieden voor uw gegevens terwijl deze door generatieve AI-workloads stromen.

We zijn van plan deze end-to-end gecodeerde stroom aan te bieden in de komende AWS-versie Trainium2 evenals GPU-instances gebaseerd op de aankomende Blackwell-architectuur van NVIDIA, die beide veilige communicatie tussen apparaten bieden, het derde principe van Secure AI Infrastructure. AWS en NVIDIA werken nauw samen om een ​​gezamenlijke oplossing op de markt te brengen, waaronder NVIDIA's nieuwe NVIDIA Blackwell GPU 21-platform, dat NVIDIA's GB200 NVL72-oplossing koppelt aan het Nitro System en EFA-technologieën om een ​​toonaangevende oplossing te bieden voor het veilig bouwen en implementeren van de volgende... generatie generatieve AI-toepassingen.

De toekomst van generatieve AI-beveiliging bevorderen

Tegenwoordig gebruiken tienduizenden klanten AWS om te experimenteren en transformatieve generatieve AI-toepassingen in productie te brengen. Generatieve AI-workloads bevatten zeer waardevolle en gevoelige gegevens die het beschermingsniveau van uw eigen operators en de cloudserviceprovider nodig hebben. Klanten die op AWS Nitro gebaseerde EC2-instances gebruiken, ontvangen dit niveau van bescherming en isolatie van AWS-operators sinds 2017, toen we ons innovatieve Nitro-systeem lanceerden.

Bij AWS zetten we die innovatie voort terwijl we investeren in het bouwen van performante en toegankelijke mogelijkheden om het voor onze klanten praktisch te maken om hun generatieve AI-workloads over de drie lagen van de generatieve AI-stack te beveiligen, zodat u zich kunt concentreren op wat u doet. beste: het bouwen en uitbreiden van het gebruik van de generatieve AI naar meer gebieden. Kom meer te weten hier.

---

Over de auteurs

Anthony Liguori is een AWS VP en Distinguished Engineer voor EC2

Colm MacCárthaigh is een AWS VP en Distinguished Engineer voor EC2

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/a-secure-approach-to-generative-ai-with-aws/