Käytä generatiivisia tekoälypohjamalleja VPC-tilassa ilman Internet-yhteyttä käyttämällä Amazon SageMaker JumpStart | Amazon Web Services

Viimeaikaisten edistysten myötä generatiivinen tekoäly, käydään paljon keskustelua siitä, kuinka käyttää generatiivista tekoälyä eri toimialoilla tiettyjen liiketoimintaongelmien ratkaisemiseen. Generatiivinen tekoäly on eräänlainen tekoäly, joka voi luoda uutta sisältöä ja ideoita, kuten keskusteluja, tarinoita, kuvia, videoita ja musiikkia. Sitä tukevat erittäin suuret mallit, jotka on valmiiksi koulutettu suurille tietomäärille ja joita kutsutaan yleisesti nimellä perusmallit (FM). Nämä FM:t voivat suorittaa monenlaisia ​​tehtäviä, jotka kattavat useita verkkotunnuksia, kuten kirjoittaa blogitekstejä, luoda kuvia, ratkaista matemaattisia tehtäviä, käydä dialogia ja vastata kysymyksiin asiakirjan perusteella. FM-laitteiden koko ja yleiskäyttöisyys tekevät niistä erilaisia ​​kuin perinteisistä ML-malleista, jotka tyypillisesti suorittavat tiettyjä tehtäviä, kuten tekstin tunteiden analysointia, kuvien luokittelua ja trendien ennustamista.

Vaikka organisaatiot haluavat käyttää näiden FM-laitteiden tehoa, he haluavat myös FM-pohjaisten ratkaisujen toimivan omissa suojatuissa ympäristöissään. Organisaatioilla, jotka toimivat tiukasti säännellyillä alueilla, kuten globaaleissa rahoituspalveluissa sekä terveydenhuollon ja biotieteiden alalla, on kuulo- ja vaatimustenmukaisuusvaatimukset ympäristönsä ohjaamiseksi VPC:issään. Itse asiassa usein jopa suora Internet-yhteys on estetty näissä ympäristöissä, jotta vältetään altistuminen tahattomalle liikenteelle, sekä sisään- että ulosmenolle.

Amazon SageMaker JumpStart on ML-keskus, joka tarjoaa algoritmeja, malleja ja ML-ratkaisuja. SageMaker JumpStartin avulla ML-harjoittajat voivat valita kasvavasta parhaiden avoimen lähdekoodin FM-laitteiden luettelosta. Se tarjoaa myös mahdollisuuden ottaa nämä mallit käyttöön omassasi Virtuaalinen yksityinen pilvi (VPC).

Tässä viestissä osoitamme, kuinka JumpStart-toimintoa käytetään a Flan-T5 XXL malli VPC:ssä ilman Internet-yhteyttä. Keskustelemme seuraavista aiheista:

• Perusmallin käyttöönotto SageMaker JumpStartin avulla VPC:ssä ilman Internet-yhteyttä
• FM:ien käyttöönoton edut SageMaker JumpStart -mallien kautta VPC-tilassa
• Vaihtoehtoisia tapoja mukauttaa perusmallien käyttöönottoa JumpStartin kautta

FLAN-T5 XXL:n lisäksi JumpStart tarjoaa paljon erilaisia ​​perusmalleja erilaisiin tehtäviin. Katso täydellinen luettelo Amazon SageMaker JumpStartin käytön aloittaminen.

Ratkaisun yleiskatsaus

Osana ratkaisua katamme seuraavat vaiheet:

1. Aseta VPC ilman Internet-yhteyttä.
2. Perustaa Amazon SageMaker Studio käyttämällä luomaamme VPC:tä.
3. Ota käyttöön generatiivinen AI Flan T5-XXL -perusmalli käyttämällä JumpStartia VPC:ssä ilman Internet-yhteyttä.

Seuraavassa on ratkaisun arkkitehtuurikaavio.

Käydään läpi eri vaiheet tämän ratkaisun toteuttamiseksi.

Edellytykset

Jotta voit seurata tätä viestiä, tarvitset seuraavat:

Määritä VPC ilman Internet-yhteyttä

Luo uusi CloudFormation-pino käyttämällä 01_networking.yaml sapluuna. Tämä malli luo uuden VPC:n ja lisää kaksi yksityistä aliverkkoa kahdelle Saatavuusvyöhykkeelle ilman Internet-yhteyttä. Sitten se ottaa käyttöön yhdyskäytävän VPC-päätepisteet pääsyä varten Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja käyttöliittymän VPC-päätepisteet SageMakerille ja muutamille muille palveluille, jotta VPC:n resurssit voivat muodostaa yhteyden AWS-palveluihin AWS PrivateLink.

Anna pinon nimi, esim No-Internetja viimeistele pinon luontiprosessi.

Tämä ratkaisu ei ole kovin saatavilla, koska CloudFormation-malli luo käyttöliittymän VPC-päätepisteitä vain yhteen aliverkkoon kustannusten vähentämiseksi, kun noudatat tämän viestin vaiheita.

Ota Studio käyttöön VPC:n avulla

Luo toinen CloudFormation-pino käyttämällä 02_sagemaker_studio.yaml, joka luo Studio-toimialueen, Studion käyttäjäprofiilin ja tukiresurssit, kuten IAM-roolit. Valitse pinolle nimi; tässä viestissä käytämme nimeä SageMaker-Studio-VPC-No-Internet. Anna aiemmin luomasi VPC-pinon nimi (No-Internet) kuin CoreNetworkingStackName parametri ja jätä kaikki muu oletusarvoksi.

Odota, kunnes AWS CloudFormation ilmoittaa, että pinon luominen on valmis. Voit varmistaa, että Studio-verkkotunnus on käytettävissä SageMaker-konsolissa.

Varmistaaksesi, että Studio-verkkotunnuksen käyttäjällä ei ole Internet-yhteyttä, käynnistä Studio SageMaker-konsolin avulla. Valita filee, Uusija terminaali, yritä sitten käyttää Internet-resurssia. Kuten seuraavassa kuvakaappauksessa näkyy, pääte odottaa resurssia ja lopulta aikakatkaisua.

Tämä osoittaa, että Studio toimii VPC:ssä, jossa ei ole Internet-yhteyttä.

Ota käyttöön generatiivinen tekoälypohjamalli Flan T5-XXL JumpStartin avulla

Voimme ottaa tämän mallin käyttöön Studion ja API:n kautta. JumpStart tarjoaa kaiken koodin mallin käyttöönottamiseksi SageMaker-muistikirjan kautta, joka on käytettävissä Studiosta. Tässä viestissä esittelemme tämän Studion ominaisuuden.

• Valitse Studion tervetulosivulla Kaapelikäynnistys kohdassa Esirakennetut ja automatisoidut ratkaisut.

• Valitse malli Flan-T5 XXL alta Perustusmallit.

• Oletuksena se avaa Sijoittaa välilehti. Laajenna Käyttöönoton määritykset osio muuttaaksesi hosting instance ja endpoint nametai lisää muita tunnisteita. On myös mahdollisuus muuttaa S3 bucket location mihin malliartefaktti tallennetaan päätepisteen luomista varten. Tässä viestissä jätämme kaiken oletusarvoihinsa. Kirjoita muistiin päätepisteen nimi, jota käytetään, kun kutsut päätepistettä ennusteiden tekemiseen.

• Laajenna Turva-asetukset -osio, jossa voit määrittää IAM role päätepisteen luomiseen. Voit myös määrittää VPC configurations tarjoamalla subnets ja security groups. Aliverkkotunnukset ja suojausryhmien tunnukset löytyvät VPC-pinon Outputs-välilehdeltä AWS CloudFormation -konsolissa. SageMaker JumpStart vaatii vähintään kaksi aliverkkoa osana tätä kokoonpanoa. Aliverkot ja suojausryhmät hallitsevat pääsyä mallisäiliöön ja sieltä pois.

HUOMAUTUS: Riippumatta siitä, käytetäänkö SageMaker JumpStart -mallia VPC:ssä vai ei, malli toimii aina verkon eristystilassa, joka eristää mallisäiliön, joten mallisäiliöön tai sieltä ei voida soittaa saapuvia tai lähteviä verkkopuheluita. Koska käytämme VPC:tä, SageMaker lataa malliartefaktin määrittämämme VPC:n kautta. Mallisäilön suorittaminen verkon eristyksissä ei estä SageMaker-päätepistettäsi vastaamasta päättelypyyntöihin. Palvelinprosessi toimii mallisäilön rinnalla ja välittää sille päättelypyynnöt, mutta mallisäiliöllä ei ole verkkoyhteyttä.

• Valita Sijoittaa ottaa mallin käyttöön. Näemme käynnissä olevan päätepisteen luomisen lähes reaaliaikaisen tilan. Päätepisteen luominen voi kestää 5–10 minuuttia.

Huomioi kentän arvo Mallin tietojen sijainti tällä sivulla. Kaikki SageMaker JumpStart -mallit isännöidään SageMakerin hallinnoimassa S3-sämpylässä (s3://jumpstart-cache-prod-{region}). Tästä syystä riippumatta siitä, mikä malli JumpStartista valitaan, malli otetaan käyttöön julkisesti saatavilla olevasta SageMaker JumpStart S3 -ämpäristä, eikä liikenne koskaan mene julkisen mallin eläintarhan API-liittymiin mallin lataamiseksi. Tästä syystä mallin päätepisteen luominen aloitettiin onnistuneesti, vaikka luomme päätepistettä VPC:ssä, jolla ei ole suoraa Internet-yhteyttä.

Mallin artefakti voidaan myös kopioida mihin tahansa yksityiseen mallieläintarhaan tai omaan S3-ämpäriisi mallin lähdepaikan hallintaa ja turvaamista varten. Voit ladata mallin paikallisesti käyttämällä seuraavaa komentoa AWS-komentoriviliitäntä (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Muutaman minuutin kuluttua päätepiste luodaan onnistuneesti ja sen tila näkyy muodossa Palveluksessa. Valita Open Notebook vuonna Use Endpoint from Studio osio. Tämä on esimerkkimuistikirja, joka toimitetaan osana JumpStart-kokemusta päätepisteen nopeaan testaamiseen.

• Valitse muistikirjasta kuva muodossa Tietotiede 3.0 ja ydin as Python 3. Kun ydin on valmis, voit suorittaa muistikirjan soluja tehdäksesi ennusteita päätepisteestä. Huomaa, että muistikirja käyttää invoke_endpoint() API alkaen AWS SDK Pythonille tehdä ennusteita. Vaihtoehtoisesti voit käyttää SageMaker Python SDK:n ennustus() tapa saavuttaa sama tulos.

Tämä päättää vaiheet Flan-T5 XXL -mallin käyttöönottamiseksi JumpStartilla VPC:ssä ilman Internet-yhteyttä.

SageMaker JumpStart -mallien VPC-tilassa käyttöönoton edut

Seuraavassa on joitain etuja SageMaker JumpStart -mallien käyttöönotosta VPC-tilassa:

• Koska SageMaker JumpStart ei lataa malleja julkisesta mallieläintarhasta, sitä voidaan käyttää myös täysin lukituissa ympäristöissä, joissa ei ole Internet-yhteyttä.
• Koska pääsyä verkkoon voidaan rajoittaa ja rajata SageMaker JumpStart -malleille, tämä auttaa tiimejä parantamaan ympäristön turvallisuusasentoa.
• VPC-rajojen vuoksi pääsyä päätepisteeseen voidaan rajoittaa myös aliverkkojen ja suojausryhmien kautta, mikä lisää ylimääräistä suojausta

Vaihtoehtoisia tapoja mukauttaa perusmallien käyttöönottoa SageMaker JumpStartin avulla

Tässä osiossa jaamme joitakin vaihtoehtoisia tapoja ottaa malli käyttöön.

Käytä SageMaker JumpStart -sovellusliittymiä haluamastasi IDE:stä

SageMaker JumpStartin tarjoamat mallit eivät vaadi Studion käyttöä. Voit ottaa ne käyttöön SageMaker-päätepisteissä mistä tahansa IDE:stä, kiitos JumpStart API:t. Voit ohittaa aiemmin tässä viestissä käsitellyn Studio-asennusvaiheen ja käyttää JumpStart-sovellusliittymiä mallin käyttöönottamiseksi. Nämä sovellusliittymät tarjoavat argumentteja, joissa voidaan toimittaa myös VPC-kokoonpanoja. API:t ovat osa SageMaker Python SDK itse. Lisätietoja on kohdassa Valmiiksi koulutetut mallit.

Käytä SageMaker Studion SageMaker JumpStartin toimittamia muistikirjoja

SageMaker JumpStart tarjoaa myös muistikirjoja mallin suoraan käyttöönottoa varten. Valitse mallin tietosivulta Avaa muistikirja avataksesi mallimuistikirjan, joka sisältää koodin päätepisteen käyttöönottoa varten. Muistikirja käyttää SageMaker JumpStart Industry API:t joiden avulla voit luetteloida ja suodattaa malleja, noutaa artefaktit sekä ottaa käyttöön ja tehdä kyselyjä päätepisteistä. Voit myös muokata muistikirjan koodia käyttötapauskohtaisten vaatimusten mukaan.

Siivoa resurssit

Tutustu CLEANUP.md tiedostosta löytääksesi yksityiskohtaiset vaiheet Studion, VPC:n ja muiden tämän viestin osana luotujen resurssien poistamiseksi.

Ongelmien karttoittaminen

Jos kohtaat ongelmia CloudFormation-pinojen luomisessa, katso kohta CloudFormationin vianetsintä.

Yhteenveto

Laajoilla kielimalleilla toimiva generatiivinen tekoäly muuttaa tapaa, jolla ihmiset hankkivat ja soveltavat oivalluksia tiedosta. Voimakkaasti säännellyissä tiloissa toimivien organisaatioiden on kuitenkin käytettävä generatiivisia tekoälyominaisuuksia tavalla, joka mahdollistaa niiden innovoinnin nopeammin, mutta myös yksinkertaistaa tällaisten ominaisuuksien käyttötapoja.

Suosittelemme, että kokeilet tässä viestissä tarjottua lähestymistapaa, jolla voit upottaa generatiivisia tekoälyominaisuuksia olemassa olevaan ympäristöösi säilyttäen samalla sen omassa VPC:ssäsi ilman Internet-yhteyttä. Jos haluat lisätietoja SageMaker JumpStart -säätiömalleista, tutustu seuraavaan:

---

Tietoja kirjoittajista

Vikesh Pandey on AWS:n koneoppimisen asiantuntijaratkaisujen arkkitehti, joka auttaa rahoitusalan asiakkaita suunnittelemaan ja rakentamaan ratkaisuja generatiiviseen tekoälyyn ja ML:ään. Työn ulkopuolella Vikesh nauttii erilaisten ruokien kokeilemisesta ja ulkoilusta.

Mehran Nikoo on AWS:n vanhempi ratkaisuarkkitehti, joka työskentelee Digital Native -yritysten kanssa Isossa-Britanniassa ja auttaa niitä saavuttamaan tavoitteensa. Hän on intohimoinen soveltamaan ohjelmistosuunnittelukokemustaan ​​koneoppimiseen. Hän on erikoistunut kokonaisvaltaiseen koneoppimiseen ja MLOps-käytäntöihin.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/