Uporabite generativne temeljne modele AI v načinu VPC brez internetne povezave z uporabo Amazon SageMaker JumpStart | Spletne storitve Amazon

Z nedavnim napredkom v generativni AI, poteka veliko razprav o tem, kako uporabiti generativno umetno inteligenco v različnih panogah za reševanje specifičnih poslovnih problemov. Generativni AI je vrsta AI, ki lahko ustvari nove vsebine in ideje, vključno s pogovori, zgodbami, slikami, videoposnetki in glasbo. Vse to je podprto z zelo velikimi modeli, ki so vnaprej naučeni na ogromnih količinah podatkov in se običajno imenujejo modeli temeljev (FM). Ti FM-ji lahko izvajajo široko paleto nalog, ki obsegajo več področij, kot je pisanje objav v spletnem dnevniku, ustvarjanje slik, reševanje matematičnih problemov, sodelovanje v dialogu in odgovarjanje na vprašanja na podlagi dokumenta. Zaradi velikosti in narave splošnega namena se FM-ji razlikujejo od tradicionalnih modelov ML, ki običajno opravljajo posebne naloge, kot je analiza besedila za razpoloženje, razvrščanje slik in napovedovanje trendov.

Medtem ko organizacije želijo izkoristiti moč teh FM-jev, želijo tudi, da rešitve, ki temeljijo na FM-ju, delujejo v njihovih lastnih zaščitenih okoljih. Organizacije, ki delujejo v močno reguliranih prostorih, kot so globalne finančne storitve ter zdravstvo in znanosti o življenju, imajo zahteve glede sluha in skladnosti za izvajanje svojega okolja v svojih VPC. Pravzaprav je v teh okoljih velikokrat onemogočen celo neposreden dostop do interneta, da bi se izognili izpostavljenosti kakršnemu koli nenamernemu prometu, tako vhodnemu kot izhodnemu.

Amazon SageMaker JumpStart je središče ML, ki ponuja algoritme, modele in rešitve ML. S SageMaker JumpStart lahko praktiki ML izbirajo z naraščajočega seznama najuspešnejših odprtokodnih FM-jev. Omogoča tudi možnost uvajanja teh modelov v svoje Navidezni zasebni oblak (VPC).

V tej objavi prikazujemo, kako uporabiti JumpStart za uvajanje a Flan-T5 XXL model v VPC brez internetne povezave. Razpravljamo o naslednjih temah:

• Kako razmestiti temeljni model z uporabo SageMaker JumpStart v VPC brez dostopa do interneta
• Prednosti uvajanja FM-jev prek modelov SageMaker JumpStart v načinu VPC
• Nadomestni načini prilagajanja uvajanja temeljnih modelov prek JumpStarta

Poleg FLAN-T5 XXL ponuja JumpStart veliko različnih modelov temeljev za različne naloge. Za celoten seznam si oglejte Kako začeti z Amazon SageMaker JumpStart.

Pregled rešitev

Kot del rešitve zajemamo naslednje korake:

1. Nastavite VPC brez internetne povezave.
2. Nastavitev Amazon SageMaker Studio z uporabo VPC, ki smo ga ustvarili.
3. Razmestite generativni temeljni model AI Flan T5-XXL z uporabo JumpStart v VPC brez dostopa do interneta.

Sledi diagram arhitekture rešitve.

Sprehodimo se skozi različne korake za implementacijo te rešitve.

Predpogoji

Če želite slediti tej objavi, potrebujete naslednje:

Nastavite VPC brez internetne povezave

Ustvarite nov sklad CloudFormation z uporabo 01_omrežje.yaml predlogo. Ta predloga ustvari nov VPC in doda dve zasebni podomrežji v dveh območjih razpoložljivosti brez internetne povezave. Nato razmesti končne točke prehoda VPC za dostop Preprosta storitev shranjevanja Amazon (Amazon S3) in vmesniške končne točke VPC za SageMaker in nekaj drugih storitev, ki omogočajo povezovanje virov v VPC s storitvami AWS prek AWS PrivateLink.

Navedite ime sklada, kot je No-Internetin dokončajte postopek ustvarjanja sklada.

Ta rešitev ni zelo na voljo, ker predloga CloudFormation ustvari končne točke vmesnika VPC samo v enem podomrežju, da zmanjša stroške pri sledenju korakom v tej objavi.

Nastavite Studio z uporabo VPC

Ustvarite drug sklad CloudFormation z uporabo 02_sagemaker_studio.yaml, ki ustvari domeno Studio, uporabniški profil Studio in podporne vire, kot so vloge IAM. Izberite ime za sklad; za to objavo uporabljamo ime SageMaker-Studio-VPC-No-Internet. Vnesite ime sklada VPC, ki ste ga ustvarili prej (No-Internet) kot CoreNetworkingStackName parameter in pustite vse ostalo privzeto.

Počakajte, da AWS CloudFormation sporoči, da je ustvarjanje sklada končano. Lahko potrdite, da je domena Studio na voljo za uporabo na konzoli SageMaker.

Če želite preveriti, ali uporabnik domene Studio nima dostopa do interneta, zaženite Studio s konzolo SageMaker. Izberite file, Novoin terminal, nato poskusite dostopati do internetnega vira. Kot je prikazano na naslednjem posnetku zaslona, ​​bo terminal še naprej čakal na vir in na koncu počakal.

To dokazuje, da Studio deluje v VPC, ki nima dostopa do interneta.

Razmestite generativni osnovni model AI Flan T5-XXL z uporabo JumpStart

Ta model lahko uvedemo tako prek Studia kot tudi prek API-ja. JumpStart ponuja vso kodo za namestitev modela prek prenosnega računalnika SageMaker, ki je dostopen znotraj Studia. Za to objavo predstavljamo to zmožnost Studia.

• Na pozdravni strani Studio izberite jumpstart pod Predizdelane in avtomatizirane rešitve.

• Izberite model Flan-T5 XXL pod Modeli temeljev.

• Privzeto odpre uvajanje zavihek. Razširite Konfiguracija uvajanja razdelek za spremembo hosting instance in endpoint nameali dodajte dodatne oznake. Obstaja tudi možnost spremembe S3 bucket location kjer bo artefakt modela shranjen za ustvarjanje končne točke. Za to objavo pustimo vse na privzetih vrednostih. Zabeležite si ime končne točke, ki ga boste uporabili med priklicem končne točke za napovedovanje.

• Razširi Varnostne nastavitve razdelek, kjer lahko določite IAM role za ustvarjanje končne točke. Določite lahko tudi VPC configurations z zagotavljanjem subnets in security groups. ID-je podomrežij in ID-je varnostnih skupin lahko najdete na zavihku Izhodi sklada VPC na konzoli AWS CloudFormation. SageMaker JumpStart zahteva vsaj dve podomrežji kot del te konfiguracije. Podomrežja in varnostne skupine nadzorujejo dostop do vsebnika modela in iz njega.

OPOMBE: Ne glede na to, ali je model SageMaker JumpStart razporejen v VPC ali ne, se model vedno izvaja v načinu izolacije omrežja, ki izolira vsebnik modela, tako da v vsebnik modela ali iz njega ni mogoče opraviti dohodnih ali odhodnih omrežnih klicev. Ker uporabljamo VPC, SageMaker prenese artefakt modela prek našega določenega VPC. Izvajanje vsebnika modela v omrežni izolaciji ne prepreči vaši končni točki SageMaker, da bi se odzvala na zahteve za sklepanje. Strežniški proces teče poleg vsebnika modela in mu posreduje zahteve za sklepanje, vendar vsebnik modela nima dostopa do omrežja.

• Izberite uvajanje za uvedbo modela. Vidimo lahko stanje ustvarjanja končne točke v skoraj realnem času. Ustvarjanje končne točke lahko traja 5–10 minut.

Upoštevajte vrednost polja Lokacija podatkov modela na tej strani. Vsi modeli SageMaker JumpStart gostujejo v vedru S3, ki ga upravlja SageMaker (s3://jumpstart-cache-prod-{region}). Torej, ne glede na to, kateri model je izbran iz JumpStarta, se model razmesti iz javno dostopnega vedra SageMaker JumpStart S3 in promet nikoli ne gre v javne API-je model zoo za prenos modela. Zato se je ustvarjanje končne točke modela uspešno začelo, tudi ko ustvarjamo končno točko v VPC, ki nima neposrednega dostopa do interneta.

Artefakt modela je mogoče kopirati tudi v kateri koli zasebni živalski vrt modela ali lastno vedro S3 za nadaljnji nadzor in zaščito izvorne lokacije modela. Z naslednjim ukazom lahko prenesete model lokalno z uporabo Vmesnik ukazne vrstice AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Po nekaj minutah se končna točka uspešno ustvari in prikaže status kot V službi. Izberite Open Notebook v Use Endpoint from Studio razdelek. To je vzorčni zvezek, ki je na voljo kot del izkušnje JumpStart za hitro testiranje končne točke.

• V zvezku izberite sliko kot Podatkovna znanost 3.0 in jedro kot Python 3. Ko je jedro pripravljeno, lahko zaženete celice prenosnika, da naredite napovedi na končni točki. Upoštevajte, da prenosni računalnik uporablja invoke_endpoint() API iz AWS SDK za Python napovedovati. Lahko pa uporabite tudi Predvid() SageMaker Python SDK način za doseganje enakega rezultata.

S tem so zaključeni koraki za namestitev modela Flan-T5 XXL z uporabo JumpStart znotraj VPC brez dostopa do interneta.

Prednosti uvajanja modelov SageMaker JumpStart v načinu VPC

Sledi nekaj prednosti uvajanja modelov SageMaker JumpStart v načinu VPC:

• Ker SageMaker JumpStart ne prenese modelov iz javnega živalskega vrta modelov, ga je mogoče uporabljati tudi v popolnoma zaprtih okoljih, kjer ni dostopa do interneta.
• Ker je dostop do omrežja mogoče omejiti in zmanjšati za modele SageMaker JumpStart, to ekipam pomaga izboljšati varnostni položaj okolja
• Zaradi meja VPC je dostop do končne točke mogoče omejiti tudi prek podomrežij in varnostnih skupin, kar doda dodatno raven varnosti

Nadomestni načini prilagajanja uvajanja modelov temeljev prek SageMaker JumpStart

V tem razdelku delimo nekaj alternativnih načinov uvajanja modela.

Uporabite API-je SageMaker JumpStart iz vašega želenega IDE

Za modele, ki jih ponuja SageMaker JumpStart, ni potreben dostop do programa Studio. Namestite jih lahko na končne točke SageMaker iz katerega koli IDE, zahvaljujoč API-ji JumpStart. Lahko preskočite korak nastavitve Studia, o katerem smo govorili prej v tej objavi, in uporabite API-je JumpStart za uvajanje modela. Ti API-ji zagotavljajo argumente, kjer je mogoče posredovati tudi konfiguracije VPC. API-ji so del SDK SageMaker Python sama. Za več informacij glejte Vnaprej usposobljeni modeli.

Uporabite zvezke, ki jih ponuja SageMaker JumpStart iz SageMaker Studio

SageMaker JumpStart ponuja tudi prenosne računalnike za neposredno uvajanje modela. Na strani s podrobnostmi o modelu izberite Odpri zvezek da odprete vzorčni zvezek, ki vsebuje kodo za namestitev končne točke. Beležnica uporablja SageMaker JumpStart Industry APIs ki vam omogočajo seznam in filtriranje modelov, pridobivanje artefaktov ter uvajanje in poizvedovanje po končnih točkah. Prav tako lahko uredite kodo prenosnega računalnika glede na zahteve, specifične za vaš primer uporabe.

Očistite vire

Odjaviti ČIŠČENJE.md datoteko, da najdete podrobne korake za brisanje studia, VPC in drugih virov, ustvarjenih kot del te objave.

Odpravljanje težav

Če naletite na težave pri ustvarjanju skladov CloudFormation, glejte Odpravljanje težav z CloudFormation.

zaključek

Generativna umetna inteligenca, ki jo poganjajo veliki jezikovni modeli, spreminja način, kako ljudje pridobivajo in uporabljajo vpoglede iz informacij. Vendar morajo organizacije, ki delujejo v močno reguliranih prostorih, uporabljati generativne zmogljivosti umetne inteligence na način, ki jim omogoča hitrejše inovacije, hkrati pa poenostavlja vzorce dostopa do takih zmogljivosti.

Spodbujamo vas, da preizkusite pristop, ki je naveden v tej objavi, za vgradnjo generativnih zmogljivosti AI v vaše obstoječe okolje, medtem ko jih še vedno hranite v svojem lastnem VPC brez dostopa do interneta. Za nadaljnje branje o modelih temeljev SageMaker JumpStart si oglejte naslednje:

---

O avtorjih

Vikesh Pandey je strokovnjak za rešitve za strojno učenje pri AWS, ki strankam iz finančnih industrij pomaga oblikovati in graditi rešitve na generativni AI in ML. Zunaj službe Vikesh rad preizkuša različne kuhinje in se ukvarja s športi na prostem.

Mehran Nikoo je višji arhitekt rešitev pri AWS, sodeluje s podjetji Digital Native v Združenem kraljestvu in jim pomaga doseči njihove cilje. Navdušen nad uporabo svojih izkušenj s programskim inženiringom v strojnem učenju, je specializiran za strojno učenje od konca do konca in prakse MLOps.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/