Kasutage generatiivseid tehisintellekti alusmudeleid VPC-režiimis ilma Interneti-ühenduseta, kasutades Amazon SageMaker JumpStart | Amazoni veebiteenused

Hiljutiste edusammudega generatiivne AI, toimub palju arutelusid selle üle, kuidas kasutada generatiivset AI-d erinevates tööstusharudes konkreetsete äriprobleemide lahendamiseks. Generatiivne AI on AI tüüp, mis võib luua uut sisu ja ideid, sealhulgas vestlusi, lugusid, pilte, videoid ja muusikat. Seda kõike toetavad väga suured mudelid, mis on eelkoolitatud suure hulga andmemahtude jaoks ja mida tavaliselt nimetatakse alusmudelid (FM-id). Need FM-id saavad täita mitmesuguseid ülesandeid, mis hõlmavad mitut domeeni, näiteks ajaveebipostituste kirjutamine, piltide genereerimine, matemaatikaülesannete lahendamine, dialoogis osalemine ja dokumendi põhjal küsimustele vastamine. FM-ide suurus ja üldotstarbeline olemus eristavad neid traditsioonilistest ML-mudelitest, mis tavaliselt täidavad konkreetseid ülesandeid, nagu teksti analüüsimine sentimentide leidmiseks, piltide klassifitseerimine ja suundumuste prognoosimine.

Kuigi organisatsioonid soovivad kasutada nende FM-ide võimsust, soovivad nad ka, et FM-põhised lahendused töötaksid nende enda kaitstud keskkondades. Organisatsioonidel, mis tegutsevad tugevalt reguleeritud valdkondades, nagu globaalsed finantsteenused ning tervishoid ja bioteadused, kehtivad oma VPC-des oma keskkonna haldamiseks kuulmis- ja vastavusnõuded. Tegelikult on nendes keskkondades sageli isegi otsene Interneti-juurdepääs keelatud, et vältida kokkupuudet soovimatu liiklusega, nii sisse- kui ka väljapääsuga.

Amazon SageMaker JumpStart on ML-i jaotur, mis pakub algoritme, mudeleid ja ML-lahendusi. SageMaker JumpStartiga saavad ML-i praktikud valida kasvava loendi hulgast kõige paremini toimivatest avatud lähtekoodiga FM-idest. See annab ka võimaluse neid mudeleid enda jaoks juurutada Virtuaalne privaatpilv (VPC).

Selles postituses näitame, kuidas kasutada JumpStarti a Flan-T5 XXL mudel VPC-s, millel puudub Interneti-ühendus. Arutame järgmistel teemadel:

• Vundamendimudeli juurutamine Interneti-juurdepääsuta VPC-s SageMaker JumpStarti abil
• FM-ide juurutamise eelised SageMaker JumpStart mudelite kaudu VPC-režiimis
• Alternatiivsed viisid vundamendimudelite juurutamise kohandamiseks JumpStarti kaudu

Lisaks FLAN-T5 XXL-le pakub JumpStart palju erinevaid vundamendimudeleid erinevate ülesannete jaoks. Täieliku loendi vaatamiseks vaadake Amazon SageMaker JumpStartiga alustamine.

Lahenduse ülevaade

Lahenduse osana käsitleme järgmisi samme:

1. Seadistage VPC ilma Interneti-ühenduseta.
2. Luua Amazon SageMaker Studio kasutades meie loodud VPC-d.
3. Rakendage generatiivne AI Flan T5-XXL alusmudel, kasutades JumpStarti VPC-s ilma Interneti-juurdepääsuta.

Järgnevalt on toodud lahenduse arhitektuuriskeem.

Vaatame selle lahenduse rakendamiseks läbi erinevad sammud.

Eeldused

Selle postituse jätkamiseks vajate järgmist.

Seadistage VPC ilma Interneti-ühenduseta

Looge uus CloudFormationi virn kasutades 01_networking.yaml malli. See mall loob uue VPC ja lisab kaks privaatset alamvõrku kahe Interneti-ühenduseta saadavuse tsooni vahel. Seejärel juurutab see juurdepääsuks lüüsi VPC lõpp-punktid Amazoni lihtne salvestusteenus (Amazon S3) ja liidese VPC lõpp-punktid SageMakeri ja mõne muu teenuse jaoks, et võimaldada VPC ressurssidel AWS-i teenustega ühenduse luua. AWS PrivateLink.

Sisestage virna nimi, näiteks No-Internetja lõpetage virna loomise protsess.

See lahendus pole eriti saadaval, kuna CloudFormationi mall loob liidese VPC lõpp-punktid ainult ühes alamvõrgus, et vähendada kulusid selles postituses kirjeldatud toiminguid järgides.

Seadistage Studio VPC abil

Looge teine ​​CloudFormationi virn, kasutades 02_sagemaker_studio.yaml, mis loob Studio domeeni, Studio kasutajaprofiili ja tugiressursse, nagu IAM-rollid. Valige virna nimi; selle postituse jaoks kasutame nime SageMaker-Studio-VPC-No-Internet. Sisestage varem loodud VPC-pinu nimi (No-Internet) kui CoreNetworkingStackName parameeter ja jätke kõik muu vaikimisi.

Oodake, kuni AWS CloudFormation teatab, et virna loomine on lõpetatud. Saate kinnitada, et Studio domeen on SageMakeri konsoolis kasutamiseks saadaval.

Kontrollimaks, et Studio domeeni kasutajal pole Interneti-juurdepääsu, käivitage Studio SageMakeri konsooli abil. Valima fail, Uusja terminal, seejärel proovige pääseda juurde Interneti-ressursile. Nagu on näidatud järgmisel ekraanipildil, ootab terminal ressurssi ja lõpuks aegub.

See tõestab, et Studio töötab VPC-s, millel pole Interneti-juurdepääsu.

Kasutage JumpStarti abil generatiivset tehisintellekti vundamendi mudelit Flan T5-XXL

Seda mudelit saame juurutada nii Studio kui ka API kaudu. JumpStart pakub kogu koodi mudeli juurutamiseks SageMakeri sülearvuti kaudu, millele on juurdepääs Studios. Selle postituse jaoks tutvustame seda stuudio võimalust.

• Stuudio tervituslehel valige KiirStart Eelehitatud ja automatiseeritud lahenduste all.

• Valige alt mudel Flan-T5 XXL Vundamendi mudelid.

• Vaikimisi avab see juurutada sakk. Laiendage Juurutamise konfiguratsioon jaotise muutmiseks hosting instance ja endpoint namevõi lisage täiendavaid silte. Samuti on võimalus muuta S3 bucket location kuhu salvestatakse mudeli artefakt lõpp-punkti loomiseks. Selle postituse jaoks jätame kõik vaikeväärtustele. Märkige üles lõpp-punkti nimi, mida kasutada ennustuste tegemiseks lõpp-punkti kutsumisel.

• Laienda Turvalisus Seaded jaotist, kus saate määrata IAM role lõpp-punkti loomiseks. Samuti saate täpsustada VPC configurations pakkudes subnets ja security groups. Alamvõrgu ID-d ja turberühmade ID-d leiate AWS CloudFormationi konsooli VPC-virna vahekaardilt Väljundid. SageMaker JumpStart nõuab selle konfiguratsiooni osana vähemalt kahte alamvõrku. Alamvõrgud ja turberühmad juhivad juurdepääsu mudelkonteinerile ja sealt välja.

MÄRKUSED: olenemata sellest, kas SageMaker JumpStart mudel on VPC-s juurutatud või mitte, töötab mudel alati võrgu eraldamise režiimis, mis isoleerib mudelikonteineri, nii et mudelkonteinerisse või sealt ei saa teha sissetulevaid ega väljaminevaid võrgukõnesid. Kuna me kasutame VPC-d, laadib SageMaker mudeli artefakti alla meie määratud VPC kaudu. Mudeli konteineri käitamine võrguisolatsioonis ei takista teie SageMakeri lõpp-punktil järeldamispäringutele vastamast. Mudelkonteineriga kõrvuti töötab serveriprotsess ja edastab sellele järeldamispäringud, kuid mudelkonteineril puudub võrgujuurdepääs.

• Vali juurutada mudeli juurutamiseks. Näeme poolelioleva lõpp-punkti loomise peaaegu reaalajas olekut. Lõpp-punkti loomine võib võtta 5–10 minutit.

Jälgige välja väärtust Mudeli andmete asukoht sellel lehel. Kõik SageMaker JumpStart mudelid on hostitud SageMakeri hallatavas S3 ämbris (s3://jumpstart-cache-prod-{region}). Seetõttu, olenemata sellest, milline mudel JumpStartist valitakse, juurutatakse mudel avalikult juurdepääsetavast SageMaker JumpStart S3 ämbrist ja liiklus ei lähe kunagi mudeli allalaadimiseks avalikesse mudeli loomaaia API-desse. Seetõttu algas mudeli lõpp-punkti loomine edukalt isegi siis, kui loome lõpp-punkti VPC-s, millel puudub otsene Interneti-juurdepääs.

Mudeli artefakti saab kopeerida ka mis tahes privaatsesse mudeliloomaaeda või oma S3 ämbrisse, et mudeli allika asukohta veelgi kontrollida ja turvata. Mudeli kohalikuks allalaadimiseks saate kasutada järgmist käsku AWS-i käsurea liides (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Mõne minuti pärast luuakse lõpp-punkt edukalt ja selle olek kuvatakse järgmiselt in Service. Valima Open Notebook aasta Use Endpoint from Studio osa. See on näidismärkmik, mis on osana JumpStart kogemusest lõpp-punkti kiireks testimiseks.

• Valige märkmikus pilt kui Andmeteadus 3.0 ja kernel as Python 3. Kui kernel on valmis, saate lõpp-punkti prognoosimiseks käivitada märkmiku lahtrid. Pange tähele, et sülearvuti kasutab invoke_endpoint() API alates AWS SDK Pythoni jaoks ennustusi teha. Teise võimalusena võite kasutada SageMaker Python SDK ennustamine() meetod sama tulemuse saavutamiseks.

Sellega on lõpetatud sammud mudeli Flan-T5 XXL juurutamiseks, kasutades JumpStarti VPC-s, millel puudub Interneti-ühendus.

SageMaker JumpStart mudelite VPC-režiimis juurutamise eelised

Järgmised on mõned SageMaker JumpStart mudelite VPC-režiimis juurutamise eelised.

• Kuna SageMaker JumpStart ei laadi mudeleid alla avalikust loomaaiast, saab seda kasutada ka täielikult lukustatud keskkondades, kus puudub juurdepääs Internetile
• Kuna juurdepääsu võrgule saab SageMaker JumpStart mudelite jaoks piirata ja piirata, aitab see meeskondadel parandada keskkonna turvalisust.
• VPC piiride tõttu saab juurdepääsu lõpp-punktile piirata ka alamvõrkude ja turvarühmade kaudu, mis lisab täiendava turvakihi

Alternatiivsed viisid sihtasutuste mudelite juurutamise kohandamiseks SageMaker JumpStarti kaudu

Selles jaotises jagame mõningaid alternatiivseid viise mudeli juurutamiseks.

Kasutage oma eelistatud IDE-st SageMaker JumpStart API-sid

SageMaker JumpStarti pakutavad mudelid ei vaja teilt juurdepääsu Studiole. Tänu IDE-le saate neid SageMakeri lõpp-punktidesse juurutada mis tahes IDE-st KiirStardi API-d. Võite vahele jätta selles postituses varem käsitletud Studio seadistamise sammu ja kasutada mudeli juurutamiseks JumpStart API-sid. Need API-d pakuvad argumente, kus saab esitada ka VPC konfiguratsioone. API-d on osa SageMaker Python SDK ise. Lisateabe saamiseks vaadake Eelkoolitatud mudelid.

Kasutage SageMaker Studio'i SageMaker JumpStarti pakutavaid märkmikke

SageMaker JumpStart pakub ka märkmikke mudeli otse juurutamiseks. Valige mudeli üksikasjade lehel Ava märkmik et avada näidismärkmik, mis sisaldab lõpp-punkti juurutamise koodi. Märkmik kasutab SageMaker JumpStart Industry API-d mis võimaldavad teil mudeleid loetleda ja filtreerida, artefakte hankida ning lõpp-punkte juurutada ja päringuid teha. Samuti saate muuta sülearvuti koodi vastavalt oma kasutusjuhtumipõhistele nõuetele.

Puhastage ressursse

Tutvu CLEANUP.md faili, et leida üksikasjalikud juhised stuudio, VPC ja muude selle postituse osana loodud ressursside kustutamiseks.

Probleemid

Kui teil tekib CloudFormationi virnade loomisel probleeme, vaadake jaotist CloudFormationi tõrkeotsing.

Järeldus

Suurtel keelemudelitel töötav generatiivne AI muudab seda, kuidas inimesed teabe põhjal teadmisi omandavad ja rakendavad. Tugevalt reguleeritud ruumides tegutsevad organisatsioonid peavad aga kasutama tehisintellekti generatiivseid võimalusi viisil, mis võimaldab neil kiiremini uuendusi teha, kuid lihtsustab ka sellistele võimalustele juurdepääsu mustreid.

Soovitame teil proovida selles postituses pakutavat lähenemisviisi, et manustada generatiivseid AI-võimalusi oma olemasolevasse keskkonda, hoides seda siiski oma VPC-s ilma Interneti-juurdepääsuta. SageMaker JumpStart alusmudelite kohta lisateabe saamiseks vaadake järgmist:

---

Autoritest

Vikesh Pandey on AWS-i masinõppe spetsialisti lahenduste arhitekt, kes aitab finantstööstuse klientidel kavandada ja luua lahendusi generatiivse AI ja ML alusel. Töövälisel ajal naudib Vikesh erinevate köökide proovimist ja välisporti.

Mehran Nikoo on AWSi vanemlahenduste arhitekt, kes töötab Ühendkuningriigis Digital Native'i ettevõtetega ja aitab neil oma eesmärke saavutada. Ta on kirglik oma tarkvarainseneri kogemuste rakendamisest masinõppes ning on spetsialiseerunud täielikule masinõppele ja MLOps-i tavadele.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/