Utilizați modele de fundație AI generative în modul VPC fără conexiune la internet folosind Amazon SageMaker JumpStart | Amazon Web Services

Cu progresele recente în AI generativă, au loc o mulțime de discuții cu privire la modul de utilizare a AI generativă în diferite industrii pentru a rezolva probleme specifice de afaceri. AI generativ este un tip de IA care poate crea conținut și idei noi, inclusiv conversații, povești, imagini, videoclipuri și muzică. Toate sunt susținute de modele foarte mari care sunt pre-instruite pe cantități mari de date și denumite în mod obișnuit ca modele de fundație (FM). Aceste FM pot efectua o gamă largă de sarcini care se întind în mai multe domenii, cum ar fi scrierea postărilor pe blog, generarea de imagini, rezolvarea problemelor de matematică, angajarea în dialog și răspunsul la întrebări pe baza unui document. Dimensiunea și natura generală a FM-urilor le fac diferite de modelele ML tradiționale, care îndeplinesc de obicei sarcini specifice, cum ar fi analizarea textului pentru sentimente, clasificarea imaginilor și prognozarea tendințelor.

În timp ce organizațiile caută să folosească puterea acestor FM, ele doresc, de asemenea, ca soluțiile bazate pe FM să ruleze în propriile lor medii protejate. Organizațiile care operează în spații puternic reglementate, cum ar fi serviciile financiare globale și asistența medicală și științele vieții au cerințe auditive și de conformitate pentru a-și rula mediul în VPC-urile lor. De fapt, de multe ori, chiar și accesul direct la internet este dezactivat în aceste medii pentru a evita expunerea la orice trafic neintenționat, atât de intrare, cât și de ieșire.

Amazon SageMaker JumpStart este un hub ML care oferă algoritmi, modele și soluții ML. Cu SageMaker JumpStart, practicienii ML pot alege dintr-o listă tot mai mare de FM open source cu cele mai bune performanțe. De asemenea, oferă posibilitatea de a implementa aceste modele pe cont propriu Cloud privat virtual (VPC).

În această postare, demonstrăm cum să folosiți JumpStart pentru a implementa un Flan-T5 XXL model într-un VPC fără conexiune la internet. Discutam urmatoarele subiecte:

• Cum să implementați un model de fundație folosind SageMaker JumpStart într-un VPC fără acces la internet
• Avantajele implementării FM-urilor prin modelele SageMaker JumpStart în modul VPC
• Modalități alternative de a personaliza implementarea modelelor de fundație prin JumpStart

În afară de FLAN-T5 XXL, JumpStart oferă o mulțime de modele de fundație diferite pentru diferite sarcini. Pentru lista completă, verificați Noțiuni introductive cu Amazon SageMaker JumpStart.

Prezentare generală a soluțiilor

Ca parte a soluției, acoperim următorii pași:

1. Configurați un VPC fără conexiune la internet.
2. Configurarea Amazon SageMaker Studio folosind VPC-ul creat de noi.
3. Implementați modelul de fundație generativ AI Flan T5-XXL folosind JumpStart în VPC fără acces la internet.

Următoarea este o diagramă de arhitectură a soluției.

Să parcurgem diferiții pași pentru a implementa această soluție.

Cerințe preliminare

Pentru a urma această postare, aveți nevoie de următoarele:

Configurați un VPC fără conexiune la internet

Creați o nouă stivă CloudFormation folosind 01_networking.yaml șablon. Acest șablon creează un nou VPC și adaugă două subrețele private în două zone de disponibilitate fără conexiune la internet. Apoi implementează punctele finale VPC gateway pentru accesare Serviciul Amazon de stocare simplă (Amazon S3) și punctele finale VPC de interfață pentru SageMaker și alte câteva servicii pentru a permite resurselor din VPC să se conecteze la serviciile AWS prin AWS PrivateLink.

Furnizați un nume de stivă, cum ar fi No-Internetși finalizați procesul de creare a stivei.

Această soluție nu este foarte disponibilă, deoarece șablonul CloudFormation creează puncte finale VPC de interfață doar într-o subrețea pentru a reduce costurile atunci când urmează pașii din această postare.

Configurați Studio folosind VPC-ul

Creați o altă stivă CloudFormation folosind 02_sagemaker_studio.yaml, care creează un domeniu Studio, un profil de utilizator Studio și resurse de suport, cum ar fi rolurile IAM. Alegeți un nume pentru stiva; pentru această postare, folosim numele SageMaker-Studio-VPC-No-Internet. Furnizați numele stivei VPC pe care ați creat-o mai devreme (No-Internet) dupa cum CoreNetworkingStackName parametru și lăsați totul ca implicit.

Așteptați până când AWS CloudFormation raportează că crearea stivei este finalizată. Puteți confirma că domeniul Studio este disponibil pentru utilizare pe consola SageMaker.

Pentru a verifica că utilizatorul domeniului Studio nu are acces la internet, lansați Studio folosind consola SageMaker. Alege Fișier, Nou, și Terminal, apoi încercați să accesați o resursă de internet. După cum se arată în următoarea captură de ecran, terminalul va continua să aștepte resursa și, în cele din urmă, va expira.

Acest lucru demonstrează că Studio funcționează într-un VPC care nu are acces la internet.

Implementați modelul de fundație generativ AI Flan T5-XXL folosind JumpStart

Putem implementa acest model prin Studio, precum și prin API. JumpStart oferă tot codul pentru implementarea modelului printr-un blocnotes SageMaker accesibil din Studio. Pentru această postare, prezentăm această capacitate din Studio.

• Pe pagina de bun venit Studio, alegeți pornire sub soluții prefabricate și automatizate.

• Alege modelul Flan-T5 XXL de mai jos Modele de fundație.

• În mod implicit, deschide Lansa fila. Extindeți Configurație de implementare secțiune pentru a schimba hosting instance și endpoint name, sau adăugați orice etichete suplimentare. Există, de asemenea, o opțiune de a schimba S3 bucket location unde va fi stocat artefactul model pentru crearea punctului final. Pentru această postare, lăsăm totul la valorile implicite. Notați numele punctului final de utilizat în timp ce invocați punctul final pentru a face predicții.

• extinde Setări de securitate secțiunea, unde puteți specifica IAM role pentru crearea punctului final. De asemenea, puteți specifica VPC configurations prin furnizarea subnets și security groups. ID-urile de subrețea și ID-urile grupurilor de securitate pot fi găsite din fila Ieșiri a stivei VPC din consola AWS CloudFormation. SageMaker JumpStart necesită cel puțin două subrețele ca parte a acestei configurații. Subrețelele și grupurile de securitate controlează accesul la și de la containerul model.

NOTĂ: Indiferent dacă modelul SageMaker JumpStart este implementat în VPC sau nu, modelul rulează întotdeauna în modul de izolare a rețelei, care izolează containerul model, astfel încât să nu poată fi efectuate apeluri de rețea de intrare sau de ieșire către sau de la containerul model. Deoarece folosim un VPC, SageMaker descarcă artefactul model prin VPC-ul specificat. Rularea containerului model în izolarea rețelei nu împiedică punctul final SageMaker să răspundă la solicitările de inferență. Un proces de server rulează alături de containerul model și îi transmite cererile de inferență, dar containerul model nu are acces la rețea.

• Alege Lansa pentru a implementa modelul. Putem vedea starea aproape în timp real a creării punctului final în curs. Crearea punctului final poate dura 5-10 minute.

Observați valoarea câmpului Locația datelor modelului Pe aceasta pagina. Toate modelele SageMaker JumpStart sunt găzduite pe o găleată S3 gestionată de SageMaker (s3://jumpstart-cache-prod-{region}). Prin urmare, indiferent de modelul ales din JumpStart, modelul este implementat din găleata SageMaker JumpStart S3, accesibilă publicului, iar traficul nu ajunge niciodată către API-urile zoologice ale modelului public pentru a descărca modelul. Acesta este motivul pentru care crearea modelului de punct final a început cu succes chiar și atunci când creăm punctul final într-un VPC care nu are acces direct la internet.

Artefactul model poate fi, de asemenea, copiat în orice grădină zoologică model privat sau în propria găleată S3 pentru a controla și a securiza locația sursei modelului în continuare. Puteți folosi următoarea comandă pentru a descărca modelul local folosind Interfața liniei de comandă AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• După câteva minute, punctul final este creat cu succes și arată starea ca În funcțiune. Alege Open Notebook în Use Endpoint from Studio secțiune. Acesta este un exemplu de blocnotes furnizat ca parte a experienței JumpStart pentru a testa rapid punctul final.

• În caiet, alegeți imaginea ca Știința datelor 3.0 iar miezul ca Python 3. Când nucleul este gata, puteți rula celulele notebook-ului pentru a face predicții asupra punctului final. Rețineți că notebook-ul folosește invoke_endpoint() API de la AWS SDK pentru Python a face previziuni. Alternativ, puteți utiliza SageMaker Python SDK’s predict() metoda de a obtine acelasi rezultat.

Aceasta încheie pașii de implementare a modelului Flan-T5 XXL folosind JumpStart într-un VPC fără acces la internet.

Avantajele implementării modelelor SageMaker JumpStart în modul VPC

Următoarele sunt câteva dintre avantajele implementării modelelor SageMaker JumpStart în modul VPC:

• Deoarece SageMaker JumpStart nu descarcă modelele de la o grădină zoologică publică model, poate fi folosit și în medii complet blocate, unde nu există acces la internet
• Deoarece accesul la rețea poate fi limitat și limitat pentru modelele SageMaker JumpStart, acest lucru ajută echipele să îmbunătățească postura de securitate a mediului.
• Datorită limitelor VPC, accesul la punctul final poate fi limitat și prin subrețele și grupuri de securitate, ceea ce adaugă un nivel suplimentar de securitate

Modalități alternative de a personaliza implementarea modelelor de fundație prin SageMaker JumpStart

În această secțiune, împărtășim câteva moduri alternative de implementare a modelului.

Utilizați API-urile SageMaker JumpStart din IDE-ul preferat

Modelele furnizate de SageMaker JumpStart nu necesită accesarea Studio. Le puteți implementa în punctele finale SageMaker din orice IDE, datorită API-uri JumpStart. Puteți sări peste pasul de configurare Studio discutat mai devreme în această postare și să utilizați API-urile JumpStart pentru a implementa modelul. Aceste API-uri oferă argumente în care pot fi furnizate și configurațiile VPC. API-urile fac parte din SageMaker Python SDK în sine. Pentru mai multe informații, consultați Modele pre-antrenate.

Utilizați blocnotesurile furnizate de SageMaker JumpStart de la SageMaker Studio

SageMaker JumpStart oferă, de asemenea, notebook-uri pentru a implementa direct modelul. Pe pagina cu detaliile modelului, alegeți Deschide caietul pentru a deschide un eșantion de blocnotes care conține codul pentru a implementa punctul final. Caietul folosește SageMaker JumpStart Industry API-uri care vă permit să enumerați și să filtrați modelele, să recuperați artefactele și să implementați și să interogați punctele finale. De asemenea, puteți edita codul notebook-ului conform cerințelor specifice cazului dvs. de utilizare.

Curățați resursele

Check out CLEANUP.md pentru a găsi pași detaliați pentru a șterge Studio, VPC și alte resurse create ca parte a acestei postări.

Depanare

Dacă întâmpinați probleme la crearea stivelor CloudFormation, consultați Depanarea CloudFormation.

Concluzie

Inteligența artificială generativă alimentată de modele lingvistice mari schimbă modul în care oamenii obțin și aplică informații din informații. Cu toate acestea, organizațiilor care operează în spații puternic reglementate li se cere să folosească capacitățile AI generative într-un mod care să le permită să inoveze mai rapid, dar și să simplifice modelele de acces la astfel de capabilități.

Vă încurajăm să încercați abordarea oferită în această postare pentru a încorpora capabilități AI generative în mediul dvs. existent, păstrându-l în același timp în propriul VPC fără acces la internet. Pentru a citi mai multe despre modelele de fond de ten SageMaker JumpStart, consultați următoarele:

---

Despre autori

Vikesh Pandey este arhitect de soluții specializat în învățare automată la AWS, ajutând clienții din industriile financiare să proiecteze și să construiască soluții pe IA generativă și ML. În afara serviciului, lui Vikesh îi place să încerce diferite bucătării și să facă sporturi în aer liber.

Mehran Nikoo este arhitect senior de soluții la AWS, lucrând cu companiile native digitale din Marea Britanie și ajutându-le să-și atingă obiectivele. Pasionat de aplicarea experienței sale de inginerie software în învățarea automată, el este specializat în practici de învățare automată end-to-end și MLOps.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/