Tämä viesti esittelee ja vertailee vaihtoehtoja ja suositeltuja käytäntöjä Python-pakettien ja virtuaaliympäristöjen hallintaan Amazon SageMaker Studio muistikirjat. Julkinen GitHub repo tarjoaa käytännön esimerkkejä jokaisesta esitetystä lähestymistavasta.
Amazon SageMaker Studio on verkkopohjainen, integroitu kehitysympäristö (IDE) koneoppimiseen (ML), jonka avulla voit rakentaa, kouluttaa, korjata, ottaa käyttöön ja seurata ML-mallejasi. Studio tarjoaa kaikki työkalut, joita tarvitset, jotta voit viedä malliesi tietojen valmistelusta kokeiluun ja tuotantoon ja samalla parantaa tuottavuuttasi.
Studio-muistikirjat ovat yhteiskäyttöisiä Jupyter-muistikirjoja, jotka voit käynnistää nopeasti, koska sinun ei tarvitse määrittää laskentaesiintymiä ja tiedostojen tallennustilaa etukäteen. Kun avaat muistikirjan Studiossa, sinua kehotetaan määrittämään ympäristösi valitsemalla SageMaker-kuva, ydin, ilmentymätyyppi ja valinnaisesti elinkaarimäärityskomentosarja, joka suoritetaan kuvan käynnistyksen yhteydessä.
Lisätietoja Studio-kannettavien käsitteistä ja muista arkkitehtuurin näkökohdista on kohdassa Sukella syvälle Amazon SageMaker Studio Notebooks -arkkitehtuuriin.
Studio-muistikirjat on suunniteltu tukemaan sinua kaikissa ML-kehityksen vaiheissa, esimerkiksi ML-työnkulun ideoinnissa, kokeilussa ja toiminnallisuudessa. Studion mukana tulee valmiiksi rakennettu kuvien jotka sisältävät uusimmat Amazon SageMaker Python SDK ja kuvatyypistä riippuen muita erityisiä paketteja ja resursseja, kuten Spark-, MXNet- tai PyTorch-kehyskirjastot ja niiden vaaditut riippuvuudet. Jokainen kuva voi isännöidä yhtä tai useampaa ytimet, jotka voivat olla erilaisia virtuaalisia kehitysympäristöjä.
Varmistaaksesi parhaan sopivuuden kehitysprosessiisi ja -vaiheihisi, pääsyn tiettyihin tai uusimpiin ML-kehyksiin tai täyttääksesi tietojen käyttö- ja hallintavaatimukset, voit mukauttaa valmiiksi rakennettuja muistikirjaympäristöjä tai luoda uusia ympäristöjä käyttämällä omia kuviasi ja ytimiäsi.
Tässä viestissä tarkastellaan seuraavia lähestymistapoja Studio-ympäristöjen mukauttamiseen hallitsemalla paketteja ja luomalla Python-virtuaaliympäristöjä Studio-muistikirjoissa:
- Käytä mukautettua Studio KernelGateway -sovelluksen kuvaa
- Käytä Studio-muistikirjan elinkaarimäärityksiä
- Käytä Studiota Amazonin elastinen tiedostojärjestelmä (Amazon EFS) -tilavuuden jatkuviin Conda-ympäristöihin
- Käyttää
pip install
Studio KernelGateway -sovellusten ja muistikirjojen ytimet
Yksi tärkeimmistä eroista Studio-kannettavien arkkitehtuurissa verrattuna SageMaker-muistikirjan esiintymät on, että Studio-muistikirjan ytimet toimivat Docker-säiliössä, nimeltään a SageMaker-kuvasäilö, sen sijaan, että isännöidään suoraan Amazonin elastinen laskentapilvi (Amazon EC2) -esiintymiä, kuten SageMaker-kannettavien ilmentymien tapauksessa.
Seuraava kaavio näyttää suhteet KernelGatewayn, muistikirjan ytimien ja SageMaker-kuvien välillä. (Lisätietoja, katso Käytä Amazon SageMaker Studio -muistikirjoja.)
Tämän eron vuoksi luomisessa ja hallinnassa on joitain erityispiirteitä virtuaaliympäristöjä Studio-kannettavissa, esimerkiksi Conda-ympäristöjen käyttö tai ML-kehitysympäristöjen pysyvyys ytimen uudelleenkäynnistysten välillä.
Seuraavissa osissa selitetään yksityiskohtaisesti jokainen neljästä ympäristön mukauttamismenetelmästä, annetaan käytännön esimerkkejä ja suositellaan käyttötapauksia kullekin vaihtoehdolle.
Edellytykset
Jotta pääset alkuun esimerkkien kanssa ja kokeilemaan mukautusmenetelmiä itse, tarvitset aktiivisen SageMaker-verkkotunnuksen ja vähintään yhden käyttäjäprofiilin toimialueella. Jos sinulla ei ole verkkotunnusta, katso ohjeet kohdasta Sisääntulo Amazon SageMaker -verkkotunnukseen.
Studio KernelGatewayn mukautetut sovelluskuvat
Studio KernelGateway -sovelluskuva on Docker-säilö, joka tunnistaa ytimet, kielipaketit ja muut riippuvuudet, joita tarvitaan Jupyter-muistikirjan käyttämiseen Studiossa. Näiden kuvien avulla voit luoda ympäristöjä, joissa käytät sitten Jupyter-muistikirjoja. Studio tarjoaa monia sisäänrakennettuja kuvia voit käyttää.
Jos tarvitset erilaisia toimintoja, erityisiä kehyksiä tai kirjastopaketteja, voit tuoda omat mukautetut kuvat (BYOI) Studioon.
Voit luoda sovelluskuvia ja kuvaversioita, liittää kuvaversioita verkkotunnukseesi ja asettaa sovelluksen kaikkien verkkotunnuksen käyttäjien saataville tai tietyille käyttäjäprofiileille. Voit hallita sovelluskuvia SageMaker-konsolin kautta AWS SDK Pythonille (Boto3) ja AWS-komentoriviliitäntä (AWS CLI). Mukautettu kuva on tallennettava Amazonin elastisten säiliörekisteri (Amazon ECR) arkisto.
Tämän lähestymistavan tärkeimmät edut ovat korkeatasoinen versionhallinta ja ML-ajonaikaisen ympäristön toistettavuus sekä kirjastopakettien välitön saatavuus, koska ne on asennettu näköistiedostoon. Voit toteuttaa kattavia testejä, hallintaa, turvakaiteita ja CI/CD-automaatiota luodaksesi mukautettuja sovelluskuvia. Kehitysympäristöjen tilannekuvien saaminen helpottaa ja tehostaa organisaatiosi suojakaiteita ja turvallisuuskäytäntöjä.
Tarjottu muistikirja toteuttaa sovelluskuvanluontiprosessin Conda-pohjaisiin ympäristöihin. Muistikirja näyttää, kuinka voit luoda usean ympäristön kuvia, jotta sovelluksen käyttäjillä on valikoima ytimiä, joissa he voivat käyttää muistikirjojaan.
Määritä mukautettu sovelluskuva
Sinun on suoritettava tämä muistikirja SageMaker-muistikirjan esiintymänä, jotta voit käyttää Dockeria paikallisesti ja suorittaa Docker-komentoja muistikirjassa. Vaihtoehtoisesti voit käyttää muistikirjan ilmentymiä tai komentosarjoja Studio Image Build CLI työskennellä Dockerin kanssa Studiossa. Studio Image Build CLI:n avulla voit rakentaa SageMaker-yhteensopivia Docker-kuvia suoraan Studio-ympäristöstäsi käyttämällä AWS CodeBuild.
Jos sinulla ei ole SageMaker-muistikirjan esiintymää, noudata ohjeita Luo Amazon SageMaker Notebook -esiintymä päästä alkuun.
Sinun on myös varmistettava, että muistikirjan ilmentymän suorittamisroolilla on tarvittavat oikeudet Amazon ECR- ja SageMaker-toimialueen toimintoihin:
Mukautetun kuvan luomiseksi kahdella ytimellä, joista kummallakin on oma Conda-virtuaaliympäristönsä, kannettava tietokone toteuttaa seuraavat vaiheet:
- Määrittele Conda-ympäristöt. Conda-ympäristössä on oltava asennettuna Jupyter-ydinpaketti, esim.
ipykernel
Python-ytimelle. - Määritä Docker-tiedosto. Harkitse mukautettua SageMaker-kuvaa tekniset tiedot kun luot omaa kuvaasi.
- Rakenna Studion kanssa yhteensopiva Docker-kuva ja työnnä kuva ECR-arkistoon.
- Luo SageMaker-kuva Docker-kuvan kanssa ECR-arkistosta ja luo alkuperäinen kuvaversio. Aina kun päivität kuvan Amazon ECR:ssä, uusi kuvaversio on luotava.
- Päivitä olemassa oleva SageMaker-verkkotunnus käyttääksesi tätä kuvaa. Tätä toimintoa varten suoritusrooli tarvitsee
UpdateDomain
lupa. Kuva on heti kaikkien verkkotunnuksen käyttäjäprofiilien käytettävissä. Jos haluat asettaa kuvan vain tietylle käyttäjäprofiilille, voit käyttääUpdateUserProfile
API-kutsu sen sijaanUpdateDomain
. - Käynnistää mukautettu kuva Studiossa. Käynnistä uusi muistikirja ja valitse uusi kuva avattavasta kuvan valintavalikosta.
Studio tunnistaa automaattisesti kuvasi Conda-ympäristöt vastaaviksi ytimiksi ytimen valinta -alasvetovalikosta Määritä muistikirjaympäristö vekotin.
Katso nämä näytekannettavat saadaksesi lisää esimerkkejä ja käyttötapauksia mukautetun sovelluskuvan toteutuksessa.
Puhdistaa
Maksujen välttämiseksi sinun on pysäytettävä aktiiviset SageMaker-muistikirjan esiintymät. Katso ohjeet kohdasta Puhdistaa.
Ota käyttöön automaattinen kuvien luontiprosessi
Kuten jo mainittiin, voit käyttää Studio Image Build CLI toteuttaa automaattinen CI/CD-prosessi sovelluskuvan luomiseksi ja käyttöönottamiseksi CodeBuildin ja sm-docker CLI. Se tiivistää Docker-rakennusympäristöjesi asetukset määrittämällä automaattisesti Docker-kuvien rakentamiseen tarvittavat taustapalvelut ja työnkulku.
Suositellut käyttötapaukset
Mukautettu sovelluskuvatapa sopii hyvin seuraaviin tilanteisiin käytettäessä Studio-muistikirjaympäristöä:
- Vakaat ja kontrolloidut ympäristöt tuotantoon tai herkkään kehityskäyttöön
- Ympäristöt ilman internetyhteyttä, joissa haluat valmiiksi pakata kaikki tarvittavat resurssit ja kirjastot kuvaan
- Korkea ympäristön uudelleenkäyttöaste ja alhainen muutosnopeus ympäristöissä
- Laaja mittakaava datatieteen operaatioita, kymmeniä tai satoja kehittäjiä tai ryhmiä, jotka tarvitsevat pääsyn standardoituihin mukautettuihin ympäristöihin
- Käytä kirjastoja, joita ei voi määrittää ensimmäisen osapuolen SageMaker-kuvissa
- Vaatimukset mukautettujen kuvien käyttämiselle eri käyttöjärjestelmässä tai eri ohjelmointikielessä
- Keskitetty hallinto- ja ympäristökehitys automatisoitujen CI/CD-putkien avulla
Tämän lähestymistavan rajoitukset
Tämä lähestymistapa vaatii monivaiheisen kuvanluontiprosessin, joka sisältää testejä, jotka voivat olla ylivoimaisia pienissä tai erittäin dynaamisissa ympäristöissä. Harkitse lisäksi seuraavia lähestymistavan rajoituksia:
- Uusien pakettien lisääminen tai uusien versioiden luominen kuvasta vaatii etukäteisyrityksen. Lieventämiseksi voit mukauttaa olemassa olevaa mukautettua kuvaa pip:llä, vaikka se ei olisi pysyvä.
- Uuden mukautetun kuvan liittäminen tai uuden version lisääminen verkkotunnukseen edellyttää
UpdateDomain
käyttöoikeus, jota ei tavallisesti liitetä käyttäjäprofiilin suoritusrooliin. Suosittelemme käyttämään automatisoitua putkia, jossa on oma suoritusrooli, tämän toiminnon suorittamiseen tai luvan antamiseen verkkotunnuksen päivittämiseen omistetulle järjestelmänvalvojan käyttäjälle tai roolille. - Kuvien luomiseen liittyy paljon manuaalista työtä. Suosittelemme automaattisen liukuhihnan käyttöönottoa, jos tuotat ja päivität mukautettuja kuvia usein.
- Jos käytät Conda-ympäristöjä, saatat kohdata sen kanssa ongelmia Docker-ympäristössä. Katso esimerkki Conda-ympäristön aktivointi Dockerfile-tiedostossasi. Kaikki Conda-komennot eivät välttämättä toimi kannettavan tietokoneen virtuaaliympäristössä. Tämä Studio-räätälöintitapa ei kuitenkaan rajoitu Conda-pohjaisiin ympäristöihin.
- Et voi vaihtaa manuaalisesti Conda-ympäristöjen välillä kannettavassa; sinun on vaihdettava ytimiä kannettavan ympäristön asennuswidgetissä.
Ota myös huomioon, että oletusarvoja on olemassa kiintiöt 30 mukautettua kuvaa per verkkotunnus ja 5 kuvaa per käyttäjäprofiili. Nämä ovat pehmeitä rajoja ja niitä voidaan korottaa.
Seuraavissa osissa kuvataan kevyempiä lähestymistapoja, jotka voivat sopia paremmin muihin käyttötapauksiin.
Studio-kannettavan elinkaarikokoonpanot
studio elinkaarikokoonpanot määrittää komentosarjan, joka suoritetaan jokaisen ytimen yhdyskäytäväsovelluksen uudelleenkäynnistyksen yhteydessä ja joka voi asentaa tarvittavat paketit. Suurin hyöty on, että datatieteilijä voi valita suoritettavan komentosarjan mukauttaakseen säilön uusilla paketeilla. Tämä vaihtoehto ei vaadi säilön rakentamista uudelleen eikä useimmissa tapauksissa vaadi mukautettua kuvaa ollenkaan, koska voit mukauttaa valmiiksi rakennettuja.
Määritä elinkaarimääritysprosessi
Tämä prosessi kestää noin 5 minuuttia. Viesti näyttää, kuinka elinkaarikonfiguraatioita käytetään SageMaker-konsolin kautta. Tarjottu muistikirja näyttää kuinka toteuttaa sama ohjelmallisesti Boto3:lla.
- Valitse SageMaker-konsolissa Elinkaarimääritykset navigointipaneelissa.
- On studio välilehti, valitse Luo kokoonpano.
Ensimmäinen vaihe elinkaarikokoonpanon luomisessa on valita tyyppi.
- Valitse tässä käyttötapauksessa, jossa riippuvuuksia asennetaan aina, kun Jupyter-ytimen yhdyskäytäväsovellus luodaan Jupyter-ytimen yhdyskäytäväsovellus Ja valitse seuraava.
- varten Nimi, anna määritykselle nimi.
- In Skriptit -osiossa määritä skripti, joka suoritetaan, kun ydin käynnistyy. Tässä esimerkissä PyArrow-kirjasto asennetaan seuraavalla komentosarjalla:
- Valita Luo kokoonpano.
Nyt kun kokoonpano on luotu, se on liitettävä verkkotunnukseen tai käyttäjäprofiiliin. Kun se on liitetty toimialueeseen, kaikki kyseisen toimialueen käyttäjäprofiilit perivät sen, kun taas käyttäjäprofiiliin liitettynä se rajataan kyseiseen profiiliin. Käytämme tässä esittelyssä Studio-verkkotunnuksen reittiä.
- Valita Verkkotunnukset navigointiruudussa ja avaa nykyinen verkkotunnuksesi.
- On ympäristö välilehti, Henkilökohtaisten Studio-sovellusten elinkaarimääritykset osiossa, valitse Liittää.
- varten lähdevalitse Olemassa oleva kokoonpano.
- Valitse luomasi elinkaarikokoonpano ja valitse Liitä verkkotunnukseen.
Nyt kun kaikki asetukset on tehty, on aika testata komentosarja Studiossa.
- Käynnistä Studio ja Launcher välilehti, etsi Muistikirjat ja laskentaresurssit kohta ja valitse Muuta ympäristöä valitaksesi luomasi elinkaarikokoonpanon.
- varten Käynnistysskripti, valitse luomasi elinkaarikokoonpano ja valitse sitten valita.
- Valita Luo muistikirja.
Voit myös määrittää elinkaaren määrityksen suoritettavaksi oletusarvoisesti Henkilökohtaisten Studio-sovellusten elinkaarimääritykset osassa Domain sivu.
Uudessa muistikirjassa käynnistysskriptiin asennetut riippuvuudet ovat käytettävissä.
Suositellut käyttötapaukset
Tämä lähestymistapa on kevyt, mutta myös tehokas, koska sen avulla voit hallita kannettavan tietokoneesi ympäristön asetuksia komentosarjojen avulla. Tähän lähestymistapaan parhaiten sopivat käyttötapaukset ovat seuraavat:
- Integroi pakettiasennukset kannettavan tietokoneen elinkaarikokoonpanoon, joka on suoritettava jokaisen ytimen käynnistyksen yhteydessä.
- Ympäristöt ilman Internet-yhteyttä. Käytä elinkaarimäärityksiä ympäristön luomiseen paikallisten tai suojattujen artefaktien ja pakettivarastojen, kuten esim. AWS-koodi.
- Jos käytät jo elinkaarikokoonpanoja, voit laajentaa niitä sisältämään paketin asennuksen.
- Muutaman lisäpaketin asennus sisäänrakennettujen tai mukautettujen sovelluskuvien päälle.
- Kun tarvitset lyhyemmän markkinointiajan kuin mukautetuilla sovelluskuvilla.
Tämän lähestymistavan rajoitukset
Tärkeimmät rajoitukset ovat suuri ponnistelu elinkaaren määrityskomentosarjojen hallitsemiseksi mittakaavassa ja pakettien hidas asennus. Riippuen siitä, kuinka monta pakettia on asennettu ja kuinka suuria ne ovat, elinkaariskripti saattaa jopa aikakatkaista. Käyttäjille, kuten datatieteilijöille tai ML-insinööreille, on myös rajoitettuja vaihtoehtoja ad hoc -skriptien mukauttamiseen käyttäjäprofiilin suoritusroolin lupien vuoksi.
Mainita SageMaker Studion elinkaaren määritysnäytteet lisää näytteitä ja käyttötapauksia.
Säilytä Conda-ympäristöt Studio EFS -taltiolle
SageMaker-toimialueet ja Studio käyttävät EFS-taltiota pysyvänä tallennuskerroksena. Voit tallentaa Conda-ympäristösi tälle EFS-taltiolle. Nämä ympäristöt ovat pysyviä ytimen, sovelluksen tai Studion uudelleenkäynnistyksen välillä. Studio poimii automaattisesti kaikki ympäristöt KernelGateway-ytimina.
Tämä on suoraviivainen prosessi datatieteilijälle, mutta ympäristön näkyminen valittavien ytimien luettelossa kestää yhden minuutin. Ongelmia voi myös esiintyä käytettäessä ympäristöjä ytimen yhdyskäytäväsovelluksille, joilla on erilaiset laskentavaatimukset, esimerkiksi CPU-pohjainen ympäristö GPU-pohjaisessa sovelluksessa.
Mainita Mukautetut Conda-ympäristöt SageMaker Studiossa tarkempia ohjeita varten. Viestin GitHub-repo sisältää myös a muistikirja vaiheittaisen oppaan avulla.
Luo pysyviä Conda-ympäristöjä Studio EFS -taltiolle
Tämän läpikäynnin pitäisi kestää noin 10 minuuttia.
- Valitse Studiossa Etusivu navigointipaneelissa.
- Valita Avaa Launcher.
- Etsi Launcherista Muistikirjat ja laskentaresurssit osiossa.
- Tarkista, että valittu SageMaker-kuva on Condan tukema ensimmäisen osapuolen ydinkuva, kuten "Data Science".
- Valita Avaa kuvapääte avataksesi pääteikkunan uudella ytimellä.
Näyttöön tulee viesti "Aloita kuvapääte…" ja hetken kuluttua uusi pääte avautuu uudelle välilehdelle.
- Suorita terminaalissa seuraavat komennot:
Näiden komentojen suorittaminen kestää noin 3 minuuttia, ja ne luovat EFS-taltiolle hakemiston Conda-ympäristöjen tallentamista varten, luovat uuden Conda-ympäristön ja aktivoivat sen sekä asentavat ipykernel
riippuvuudet (ilman tätä riippuvuutta tämä ratkaisu ei toimi) ja luo lopuksi Conda-määritystiedosto (.condarc
), joka sisältää viittauksen uuteen Conda-ympäristöhakemistoon. Koska tämä on uusi Conda-ympäristö, lisäriippuvuuksia ei asenneta. Jos haluat asentaa muita riippuvuuksia, voit muokata conda install
rivillä tai odota, että seuraavat komennot päättyvät, ja asenna mahdolliset lisäriippuvuudet ollessasi Conda-ympäristössä.
- Tässä esimerkissä asennamme NumPy-kirjaston suorittamalla seuraavan komennon pääteikkunassa:
Nyt kun Conda-ympäristö on luotu ja riippuvuudet asennettu, voit luoda muistikirjan, joka käyttää tätä Amazon EFS:ssä säilytettyä Conda-ympäristöä.
- Valitse Studio Launcherissa Luo muistikirja.
- Valitse uudesta muistikirjasta Python 3 (Data Science) -ydin.
- varten Ydin, valitse juuri luotu Conda-ympäristö ja valitse sitten valita.
Jos uudelle Conda-ympäristölle ei aluksi ole vaihtoehtoa, tämä voi johtua siitä, että sen leviäminen vie muutaman minuutin.
Muistikirjassa ytimen nimi on muuttunut oikeassa yläkulmassa, ja solussa voit testata, että asennetut riippuvuudet ovat käytettävissä.
Suositellut käyttötapaukset
Seuraavat käyttötapaukset sopivat parhaiten tähän lähestymistapaan:
- Ympäristöt ilman Internet-yhteyttä, ja kaikki riippuvuudet on esiasennettu jatkuviin Conda-ympäristöihin
- Ad hoc -ympäristöt, jotka tarvitsevat pysyvyyttä ytimen istuntojen välillä
- Mukautettujen SageMaker-kuvien testaus Studiossa ennen Docker-kuvan luomista ja Amazon ECR:ään työntämistä
Tämän lähestymistavan rajoitukset
Vaikka tällä lähestymistavalla on käytännön hyötyä, ota huomioon seuraavat rajoitukset:
- Amazon EFS saattaa aiheuttaa suorituskykyongelmia monissa pienissä tiedostoissa, mikä on hyvin yleistä Python-paketteja hallittaessa.
- Pysyvien ympäristöjen jakaminen Studion käyttäjäprofiilien välillä voi olla haastavaa.
- Pysyvien ympäristöjen uudelleenkäyttö voi olla haastavaa.
- Voi olla haastavaa käsitellä johtamista mittakaavassa.
- Lähestymistapa toimii vain tiettyjen Conda-pohjaisten ensimmäisen osapuolen SageMaker-kuvien kanssa, esimerkiksi "Data Science", "Data Science 2.0" ja "Data Science 3.0". Katso luettelo kaikista saatavilla olevista kuvista kohdasta Saatavilla Amazon SageMaker -kuvat.
Pip asennus
Voit asentaa paketteja suoraan Conda-oletusympäristöön tai Python-oletusympäristöön.
Luo setup.py
or requirements.txt
tiedosto kaikilla tarvittavilla riippuvuuksilla ja suorita %pip install .-r requirement.txt
. Sinun on suoritettava tämä komento aina, kun käynnistät ytimen tai luot sovelluksen uudelleen.
Tätä lähestymistapaa suositellaan ad hoc -kokeiluihin, koska nämä ympäristöt eivät ole pysyviä.
Saat lisätietoja käytöstä pip install
komento ja rajoitukset, katso Asenna ulkoiset kirjastot ja ytimet Amazon SageMaker Studioon.
Suositellut käyttötapaukset
Tämä lähestymistapa on tavallinen tapa asentaa paketteja kannettavan tietokoneen ympäristön mukauttamiseksi. Suositellut käyttötapaukset rajoittuvat muuhun kuin tuotantokäyttöön muistikirjassa tapahtuvaa ad hoc -kokeilua varten:
- Ad hoc -kokeilu Studio-muistikirjoissa
- Ei-tuottavat ja ei-herkät ympäristöt, hiekkalaatikkoympäristöt
- Ympäristöt Internet-yhteydellä
Tämän lähestymistavan rajoitukset
Tämän lähestymistavan tärkeimmät rajoitukset ovat:
- Jotkut yritysympäristöt estävät kaikki lähtö- ja sisääntuloyhteydet, etkä voi käyttää niitä
pip install
vetää Python-paketteja tai sinun on määritettävä offline-tila - Ympäristöjen huonompi toistettavuus
- On odotettava, kunnes paketit on ladattu ja asennettu
- Ei jatkuvuutta kuvan uudelleenkäynnistysten välillä
Yhteenveto
SageMaker Studio tarjoaa laajan valikoiman mahdollisia kehitysympäristöjen mukautuksia. Jokainen käyttäjärooli, kuten datatieteilijä; ML-, MLOps- tai DevOps-insinööri; ja ylläpitäjä voi valita sopivimman lähestymistavan tarpeidensa, kehityssyklin paikan ja yrityksen suojakaiteiden perusteella.
Seuraavassa taulukossa on yhteenveto esitetyistä lähestymistavoista sekä niiden suositellut käyttötapaukset ja tärkeimmät rajoitukset.
Lähestymistapa | Sitkeys | Parhaat käyttökotelot | Rajoitukset |
Tuo oma kuva | Pysyvä, siirrettävissä käyttäjäprofiilien ja verkkotunnusten välillä |
|
|
Elinkaarimääritykset | Pysyvä, siirrettävissä käyttäjäprofiilien ja verkkotunnusten välillä |
|
|
Conda-ympäristöt Studio EFS -taltiolla | Pysyvä, ei siirrettävissä käyttäjäprofiilien tai verkkotunnusten välillä |
|
|
Pip asennus | Ohimenevä, ei jatkuvaa kuvan tai Studion uudelleenkäynnistysten välillä, ei siirrettävissä käyttäjäprofiilien tai verkkotunnusten välillä |
|
|
On vielä päivä 1. Tosimaailman virtuaaliympäristö ja Python-hallinta ovat paljon monimutkaisempia kuin nämä neljä lähestymistapaa, mutta tämä viesti auttaa sinua ensimmäisissä vaiheissa oman käyttötapasi kehittämisessä.
Löydät lisää käyttötapauksia, yksityiskohtia ja käytännön esimerkkejä seuraavista resursseista:
Tietoja kirjoittajista
Jevgeniy Ilyin on ratkaisuarkkitehti Amazon Web Servicesissä (AWS). Hänellä on yli 20 vuoden kokemus työskentelystä kaikilla ohjelmistokehityksen ja ratkaisuarkkitehtuurin tasoilla ja hän on käyttänyt ohjelmointikieliä COBOLista ja Assembleristä .NETiin, Javaan ja Pythoniin. Hän kehittää ja koodaa pilvipohjaisia ratkaisuja keskittyen big dataan, analytiikkaan ja tietotekniikkaan.
Alex Grace on Amazon Web Services (AWS) -ratkaisuarkkitehti, joka huolehtii Fintechin digitaalisista alkuperäisyrityksistä. Lontoossa toimiva Alex työskentelee muutaman Ison-Britannian johtavien fintechin kanssa ja nauttii heidän tukemisestaan AWS:n käytössä yritysten ongelmien ratkaisemiseksi ja tulevan kasvun edistämiseksi. Aiemmin Alex on työskennellyt ohjelmistokehittäjänä ja teknologiajohtajana Fintech startup -yrityksissä Lontoossa ja on viime aikoina erikoistunut AWS:n koneoppimisratkaisuihin.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/four-approaches-to-manage-python-packages-in-amazon-sagemaker-studio-notebooks/
- :On
- $ YLÖS
- 1
- 10
- 100
- 11
- 20 vuotta
- 7
- 8
- a
- Meistä
- abstrakteja
- pääsy
- Tili
- Toiminta
- aktiivinen
- Ad
- lisä-
- osoite
- admin
- Jälkeen
- alex
- Kaikki
- mahdollistaa
- jo
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Amazon SageMaker Studio
- Amazon Web Services
- Amazon Web Services (AWS)
- Analytics
- ja
- api
- sovelluksen
- näyttää
- Hakemus
- lähestymistapa
- lähestymistavat
- sovellukset
- arkkitehtuuri
- OVAT
- noin
- AS
- näkökohdat
- At
- liittää
- kirjoittaminen
- Automatisoitu
- automaattisesti
- Automaatio
- saatavuus
- saatavissa
- AWS
- perustua
- BE
- koska
- ennen
- hyödyttää
- Hyödyt
- PARAS
- Paremmin
- välillä
- Iso
- Big Data
- Tukkia
- lisäämällä
- tuoda
- laaja
- rakentaa
- Rakentaminen
- sisäänrakennettu
- liiketoiminta
- yritykset
- by
- soittaa
- nimeltään
- CAN
- tapaus
- tapauksissa
- haasteet
- haastava
- Muutokset
- maksut
- Valita
- valita
- pilvi
- COBOL
- yhteistyöhön
- Yhteinen
- verrattuna
- yhteensopiva
- täydellinen
- monimutkainen
- kattava
- Laskea
- käsitteet
- Konfigurointi
- Liitännät
- Harkita
- pitää
- Console
- Kontti
- sisältää
- ohjaus
- hallinnassa
- valvonta
- Kulma
- vastaava
- voisi
- luoda
- luotu
- Luominen
- luominen
- asiakassuhde
- räätälöinnin
- räätälöidä
- sykli
- tiedot
- tietojen käyttö
- Tietojen valmistelu
- tietojenkäsittely
- tietojen tutkija
- päivä
- omistautunut
- syvä
- oletusarvo
- viivyttää
- osoittaa
- riippuvuus
- Riippuen
- sijoittaa
- käyttöönotto
- kuvata
- suunniteltu
- yksityiskohta
- yksityiskohtainen
- yksityiskohdat
- Kehittäjä
- kehittäjille
- kehittämällä
- Kehitys
- kehittää
- ero
- erot
- eri
- digitaalinen
- suoraan
- näytöt
- Satamatyöläinen
- ei
- verkkotunnuksen
- verkkotunnuksia
- Dont
- download
- kymmeniä
- dynaaminen
- kukin
- vaikutus
- vaivaa
- insinööri
- Tekniikka
- Engineers
- varmistaa
- enter
- yritys
- ympäristö
- ympäristöissä
- Jopa
- Joka
- esimerkki
- Esimerkit
- teloitus
- olemassa
- experience
- Selittää
- laajentaa
- ulkoinen
- Helpottaa
- harvat
- filee
- Asiakirjat
- Vihdoin
- Löytää
- viimeistely
- fintech
- fintech-aloittelijat
- fintechs
- Etunimi
- Ensiaskeleet
- sovittaa
- Keskittää
- seurata
- jälkeen
- varten
- Puitteet
- puitteet
- usein
- alkaen
- polttoaine
- toiminnallisuus
- Lisäksi
- tulevaisuutta
- tulevaa kasvua
- portti
- saada
- GitHub
- Antaa
- Kultainen
- hyvä
- hallinto
- Kasvu
- ohjaavat
- käytännön
- Olla
- ottaa
- auttaa
- Korkea
- isäntä
- isännöi
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- Sadat
- tunnistaa
- kuva
- kuvien
- Välitön
- heti
- toteuttaa
- täytäntöönpano
- täytäntöönpanosta
- työkoneet
- tuoda
- in
- sisältää
- Mukaan lukien
- kasvoi
- tiedot
- ensimmäinen
- asentaa
- asennetaan
- asentaminen
- esimerkki
- sen sijaan
- ohjeet
- integroitu
- Internet
- Internet-yhteys
- osallistuva
- kysymykset
- IT
- Jaava
- jpg
- Kieli
- kielet
- suuri
- uusin
- käynnistää
- kerros
- johtaa
- johtava
- oppiminen
- Lets
- Taso
- tasot
- kirjastot
- Kirjasto
- elinkaari
- kevyt
- RAJOITA
- rajoitukset
- rajallinen
- rajat
- linja
- Lista
- paikallinen
- paikallisesti
- Lontoo
- Pitkät
- ulkonäkö
- Matala
- kone
- koneoppiminen
- tärkein
- tehdä
- hoitaa
- onnistui
- johto
- toimitusjohtaja
- manuaalinen
- käsin
- monet
- markkinat
- mainitsi
- valikko
- viesti
- ehkä
- minuuttia
- lieventäminen
- ML
- MLOps
- mallit
- muokata
- Moments
- monitori
- lisää
- eniten
- moninkertainen
- nimi
- syntyperäinen
- suunnistus
- välttämätön
- Tarve
- tarpeet
- netto
- Uusi
- seuraava
- Normaalisti
- muistikirja
- numpy
- of
- Tarjoukset
- offline
- on
- ONE
- avata
- toiminta
- Operations
- Vaihtoehto
- Vaihtoehdot
- OS
- Muut
- oma
- paketti
- paketit
- sivulla
- lasi
- parametrit
- Suorittaa
- suorituskyky
- lupa
- Oikeudet
- sitkeys
- henkilöstö
- poimii
- putki
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- mahdollinen
- Kirje
- voimakas
- Käytännön
- käytännöt
- Suositut
- esitetty
- lahjat
- aiemmin
- ongelmia
- prosessi
- käsittely
- tuottaa
- tuotanto
- tuottavuus
- Profiili
- Profiilit
- Ohjelmointi
- ohjelmointikielet
- toimittaa
- mikäli
- tarjoaa
- julkinen
- Työnnä
- Työnnä
- Python
- pytorch
- nopeasti
- alue
- hinta
- pikemminkin
- suhde
- todellinen maailma
- äskettäin
- tunnustaa
- suositella
- suositeltu
- suhteet
- säilytyspaikka
- edellyttää
- tarvitaan
- vaatimus
- vaatimukset
- Vaatii
- resurssi
- Esittelymateriaalit
- Rooli
- Reitti
- ajaa
- juoksu
- sagemaker
- sama
- hiekkalaatikko
- Säästä
- Asteikko
- skenaariot
- tiede
- Tiedemies
- tutkijat
- skriptejä
- sdk
- Osa
- osiot
- turvallisuus
- valittu
- valinta
- sensible
- Palvelut
- setti
- asetus
- setup
- Jaa:
- Kuori
- shouldnt
- Näytä
- single
- hidas
- pieni
- pienempiä
- So
- Pehmeä
- Tuotteemme
- ohjelmistokehitys
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- Kipinä
- erikoistunut
- erityinen
- vakaa
- standardi
- Alkaa
- alkoi
- alkaa
- käynnistyksen
- Startups
- Lausunto
- Vaihe
- Askeleet
- Yhä
- stop
- Levytila
- verkkokaupasta
- tallennettu
- suora
- studio
- niin
- sopiva
- tuki
- Tukea
- Vaihtaa
- taulukko
- ottaa
- vie
- tiimit
- teknologia
- terminaali
- testi
- testit
- että
- -
- heidän
- Niitä
- Nämä
- aika
- että
- työkalut
- ylin
- Juna
- koulutus
- taustalla oleva
- Päivitykset
- Käyttö
- käyttää
- käyttölaukku
- käyttäjä
- Käyttäjät
- versio
- kautta
- Virtual
- tilavuus
- odottaa
- läpikäynti
- Tapa..
- verkko
- verkkopalvelut
- Web-pohjainen
- joka
- vaikka
- KUKA
- tulee
- with
- sisällä
- ilman
- Referenssit
- työskenteli
- työskentely
- toimii
- vuotta
- Voit
- Sinun
- zephyrnet