O abordare sigură a IA generativă cu AWS | Amazon Web Services

Inteligența artificială generativă (AI) transformă experiența clienților în industriile de pe tot globul. Clienții construiesc aplicații AI generative folosind modele de limbaj mari (LLM) și alte modele de bază (FM), care îmbunătățesc experiențele clienților, transformă operațiunile, îmbunătățesc productivitatea angajaților și creează noi canale de venituri.

FM-urile și aplicațiile construite în jurul lor reprezintă investiții extrem de valoroase pentru clienții noștri. Acestea sunt adesea folosite cu date de afaceri extrem de sensibile, cum ar fi date personale, date de conformitate, date operaționale și informații financiare, pentru a optimiza rezultatele modelului. Cea mai mare îngrijorare pe care o auzim de la clienți în timp ce explorează avantajele AI generative este modul în care își protejează datele și investițiile extrem de sensibile. Deoarece datele și greutatea modelului lor sunt incredibil de valoroase, clienții le cer să rămână protejați, securizat și privat, fie că este vorba de propriile conturi de administrator, clienții lor, vulnerabilități în software-ul care rulează în propriile medii sau chiar furnizorul lor de servicii cloud de a avea acces.

La AWS, prioritatea noastră principală este protejarea securității și confidențialității sarcinilor de lucru ale clienților noștri. Ne gândim la securitate pe cele trei straturi ale stivei noastre de inteligență artificială generativă:

• Stratul de jos – Oferă instrumentele pentru construirea și formarea LLM-urilor și a altor FM
• Stratul mijlociu – Oferă acces la toate modelele împreună cu instrumentele de care aveți nevoie pentru a construi și scala aplicații AI generative
• Stratul de deasupra – Include aplicații care folosesc LLM-uri și alte FM-uri pentru a face munca fără stres prin scrierea și depanarea codului, generarea de conținut, obținerea de informații și luarea de măsuri

Fiecare strat este important pentru a face AI generativă omniprezentă și transformativă.

Cu Sistemul AWS Nitro, am oferit o inovație de premieră în numele clienților noștri. Sistemul Nitro este o coloană vertebrală de calcul de neegalat pentru AWS, cu securitatea și performanța în centrul său. Hardware-ul său specializat și firmware-ul asociat sunt concepute pentru a impune restricții, astfel încât nimeni, inclusiv oricine din AWS, să vă poată accesa sarcinile de lucru sau datele care rulează pe dvs. Cloud Elastic de calcul Amazon (Amazon EC2). Clienții au beneficiat de această confidențialitate și izolare față de operatorii AWS pe toate instanțele EC2 bazate pe Nitro din 2017.

Prin proiectare, nu există niciun mecanism prin care orice angajat Amazon să acceseze o instanță Nitro EC2 pe care clienții o folosesc pentru a-și rula sarcinile de lucru sau pentru a accesa datele pe care clienții le trimit către un accelerator sau GPU de învățare automată (ML). Această protecție se aplică tuturor instanțelor bazate pe Nitro, inclusiv instanțelor cu acceleratoare ML, cum ar fi Inferentia AWS și AWS Trainiumși instanțe cu GPU precum P4, P5, G5 și G6.

Sistemul Nitro permite Adaptor pentru țesături elastice (EFA), care utilizează protocolul de comunicare AWS Scalable Reliable Datagram (SRD) construit de AWS pentru instruire elastică la scară cloud și distribuită la scară largă, permițând singura rețea capabilă de acces direct la memorie la distanță (RDMA) criptată mereu. Toate comunicațiile prin EFA sunt criptate cu Criptare VPC fără a suporta nicio penalizare de performanță.

Designul sistemului Nitro a fost validate de Grupul NCC, o firmă independentă de securitate cibernetică. AWS oferă un nivel ridicat de protecție pentru sarcinile de lucru ale clienților și credem că acesta este nivelul de securitate și confidențialitate la care clienții ar trebui să se aștepte de la furnizorul lor de cloud. Acest nivel de protecție este atât de critic încât l-am adăugat în programul nostru Termenii serviciilor AWS pentru a oferi o asigurare suplimentară tuturor clienților noștri.

Inovarea sarcinilor de lucru AI generative securizate folosind capabilitățile de securitate AWS de vârf în industrie

Din prima zi, infrastructura și serviciile AWS AI au avut caracteristici de securitate și confidențialitate încorporate pentru a vă oferi control asupra datelor dvs. Pe măsură ce clienții se deplasează rapid pentru a implementa AI generativă în organizațiile lor, trebuie să știți că datele dvs. sunt gestionate în siguranță pe tot parcursul ciclului de viață AI, inclusiv pregătirea datelor, instruirea și inferența. Securitatea greutăților modelului - parametrii pe care un model îi învață în timpul antrenamentului, care sunt esențiali pentru capacitatea sa de a face predicții - este esențială pentru protejarea datelor și pentru menținerea integrității modelului.

Acesta este motivul pentru care este esențial ca AWS să continue să inoveze în numele clienților noștri pentru a ridica ștacheta securității pe fiecare nivel al stivei de AI generative. Pentru a face acest lucru, credem că trebuie să aveți securitate și confidențialitate încorporate în fiecare strat al stivei AI generative. Trebuie să fiți capabil să securizați infrastructura pentru a instrui LLM-uri și alte FM-uri, să construiți în siguranță cu instrumente pentru a rula LLM-uri și alte FM-uri și să rulați aplicații care utilizează FM-uri cu securitate și confidențialitate încorporate în care puteți avea încredere.

La AWS, securizarea infrastructurii AI se referă la acces zero la date sensibile AI, cum ar fi ponderile modelelor AI și datele procesate cu acele modele, de către orice persoană neautorizată, fie la operatorul de infrastructură, fie la client. Este compus din trei principii cheie:

1. Izolarea completă a datelor AI de operatorul de infrastructură – Operatorul de infrastructură nu trebuie să aibă capacitatea de a accesa conținutul clienților și datele AI, cum ar fi ponderile modelelor AI și datele procesate cu modele.
2. Capacitatea clienților de a izola datele AI de ei înșiși – Infrastructura trebuie să ofere un mecanism care să permită încărcarea greutăților și datelor modelului în hardware, rămânând în același timp izolat și inaccesibil de utilizatorii și software-ul propriilor clienți.
3. Infrastructură de comunicații protejată – Comunicarea între dispozitivele din infrastructura acceleratorului ML trebuie protejată. Toate legăturile accesibile din exterior între dispozitive trebuie să fie criptate.

Sistemul Nitro îndeplinește primul principiu al infrastructurii AI securizate prin izolarea datelor dumneavoastră AI de operatorii AWS. Al doilea principiu vă oferă o modalitate de a elimina accesul administrativ al propriilor utilizatori și software la datele dvs. AI. AWS nu numai că vă oferă o modalitate de a realiza acest lucru, dar am făcut-o și simplă și practică, investind în construirea unei soluții integrate între Enclave AWS Nitro și AWS Service Management Service (AWS KMS). Cu Nitro Enclaves și AWS KMS, vă puteți cripta datele sensibile AI folosind cheile pe care le dețineți și pe care le controlați, să stocați acele date într-o locație la alegerea dvs. și să transferați în siguranță datele criptate într-un mediu de calcul izolat pentru inferențe. Pe parcursul întregului proces, datele sensibile AI sunt criptate și izolate de propriii utilizatori și software de pe instanța dvs. EC2, iar operatorii AWS nu pot accesa aceste date. Cazurile de utilizare care au beneficiat de acest flux includ rularea Inferențele LLM într-o enclavă. Până în prezent, Nitro Enclave funcționează numai în procesor, limitând potențialul pentru modele mai mari de IA generativă și procesare mai complexă.

Ne-am anunțat planurile de a extinde acest flux criptat Nitro end-to-end pentru a include integrare de primă clasă cu acceleratoare ML și GPU-uri, îndeplinind al treilea principiu. Veți putea decripta și încărca date sensibile AI într-un accelerator ML pentru procesare, oferind în același timp izolarea de proprii operatori și autenticitatea verificată a aplicației utilizate pentru procesarea datelor AI. Prin intermediul sistemului Nitro, vă puteți valida criptografic aplicațiile în AWS KMS și puteți decripta datele numai atunci când verificările necesare trec. Această îmbunătățire permite AWS să ofere criptare end-to-end pentru datele dvs., pe măsură ce acestea circulă prin sarcinile de lucru AI generative.

Intenționăm să oferim acest flux criptat end-to-end în viitorul proiectat de AWS Trainium2 as well as GPU instances based on NVIDIA’s upcoming Blackwell architecture, which both offer secure communications between devices, the third principle of Secure AI Infrastructure. AWS and NVIDIA are collaborating closely to bring a joint solution to market, including NVIDIA’s new NVIDIA Blackwell GPU 21 platform, which couples NVIDIA’s GB200 NVL72 solution with the Nitro System and EFA technologies to provide an industry-leading solution for securely building and deploying next-generation generative AI applications.

Avansarea viitorului securității AI generative

Astăzi, zeci de mii de clienți folosesc AWS pentru a experimenta și a muta aplicații AI generative transformatoare în producție. Sarcinile de lucru AI generative conțin date extrem de valoroase și sensibile care necesită nivelul de protecție din partea propriilor operatori și a furnizorului de servicii cloud. Clienții care folosesc instanțe EC2 bazate pe AWS Nitro au primit acest nivel de protecție și izolare de la operatorii AWS din 2017, când am lansat sistemul nostru inovator Nitro.

La AWS, continuăm această inovație pe măsură ce investim în construirea de capabilități performante și accesibile pentru a face practic pentru clienții noștri să-și securizeze sarcinile de lucru AI generative pe cele trei straturi ale stivei AI generative, astfel încât să vă puteți concentra pe ceea ce faceți. cel mai bun: construirea și extinderea utilizărilor AI generative la mai multe zone. Află mai multe aici.

---

Despre autori

Anthony Liguori este VP AWS și inginer distins pentru EC2

Colm MacCárthaigh este AWS VP și Distinguished Engineer pentru EC2

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/a-secure-approach-to-generative-ai-with-aws/