Skaalautuvien ja tehokkaiden koneoppimisputkien luominen on ratkaisevan tärkeää ML-mallien kehittämisen, käyttöönoton ja hallinnan virtaviivaistamiseksi. Tässä viestissä esittelemme kehyksen suunnatun asyklisen graafin (DAG) luomisen automatisoimiseksi Amazon SageMaker -putkistot perustuu yksinkertaisiin asetustiedostoihin. The kehyskoodi ja esimerkit tässä esitetyt kattavat vain malliharjoitusputkistot, mutta ne voidaan helposti laajentaa myös eräpäätelmäputkilinjoihin.
Tämä dynaaminen kehys käyttää määritystiedostoja esikäsittely-, koulutus-, arviointi- ja rekisteröintivaiheiden järjestämiseen sekä yhden mallin että usean mallin käyttötapauksissa käyttäjän määrittämien Python-komentosarjojen, infrastruktuuritarpeiden (mukaan lukien Amazonin virtuaalinen yksityinen pilvi (Amazon VPC) aliverkot ja suojausryhmät, AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) roolit, AWS-avainhallintapalvelu (AWS KMS) avaimet, säilörekisteri ja ilmentymätyypit), syöttö ja tulos Amazonin yksinkertainen tallennuspalvelu (Amazon S3) polut ja resurssitunnisteet. Konfigurointitiedostot (YAML ja JSON) antavat ML-ammattilaisten määrittää eriyttämätöntä koodia koulutusputkien organisoimiseksi deklaratiivisen syntaksin avulla. Tämän ansiosta datatutkijat voivat nopeasti rakentaa ja iteroida ML-malleja, ja ML-insinöörit voivat suorittaa jatkuvan integroinnin ja jatkuvan toimituksen (CI/CD) ML-putkistot nopeammin, mikä lyhentää mallien tuotantoaikaa.
Ratkaisun yleiskatsaus
Ehdotettu kehyskoodi alkaa lukemalla asetustiedostot. Sitten se luo dynaamisesti SageMaker Pipelines DAG:n määritystiedostoissa ilmoitettujen vaiheiden ja vaiheiden välisten vuorovaikutusten ja riippuvuuksien perusteella. Tämä orkestrointikehys sopii sekä yhden mallin että usean mallin käyttötapauksiin ja tarjoaa sujuvan tiedon ja prosessien kulun. Seuraavat ovat tämän ratkaisun tärkeimmät edut:
- Automaatio – Koko ML-työnkulku tietojen esikäsittelystä mallirekisteriin on ohjattu ilman manuaalista toimenpiteitä. Tämä vähentää aikaa ja vaivaa, jotka tarvitaan mallin kokeiluun ja toiminnalliseen käyttöön.
- toistettavuus – Ennalta määritetyn konfigurointitiedoston avulla datatieteilijät ja ML-insinöörit voivat toistaa koko työnkulun ja saavuttaa johdonmukaisia tuloksia useissa ajoissa ja ympäristöissä.
- skaalautuvuus - Amazon Sage Maker käytetään koko prosessin ajan, jolloin ML-ammattilaiset voivat käsitellä suuria tietojoukkoja ja kouluttaa monimutkaisia malleja ilman infrastruktuuriongelmia.
- Joustavuus – Kehys on joustava ja siihen mahtuu monenlaisia ML-käyttötapauksia, ML-kehyksiä (kuten XGBoost ja TensorFlow), monimallikoulutusta ja monivaiheista koulutusta. Jokainen koulutus-DAG-vaihe voidaan mukauttaa konfigurointitiedoston kautta.
- Hallintomalli - Amazon SageMaker -mallirekisteri integraatio mahdollistaa malliversioiden jäljittämisen ja siten niiden tuotannon luottavaisen edistämisen.
Seuraava arkkitehtuurikaavio kuvaa, kuinka voit käyttää ehdotettua viitekehystä sekä ML-mallien kokeilun että operaation aikana. Kokeilun aikana voit kloonata tässä viestissä tarjotun kehyskoodivaraston ja projektikohtaiset lähdekoodivarastot Amazon SageMaker Studioja aseta virtuaaliympäristösi (yksityiskohtaisesti myöhemmin tässä viestissä). Tämän jälkeen voit toistaa esikäsittely-, koulutus- ja arviointikomentosarjoja sekä konfigurointivaihtoehtoja. Voit luoda ja suorittaa SageMaker Pipelines -koulutus-DAG:n soittamalla kehyksen aloituspisteeseen, joka lukee kaikki määritystiedostot, luo tarvittavat vaiheet ja organisoi ne määritetyn vaihejärjestyksen ja riippuvuuksien perusteella.
Käyttöönoton aikana CI-putki kloonaa kehyskoodivaraston ja projektikohtaiset koulutusvarastot AWS CodeBuild työ, jossa kehyksen aloituspistekomentosarjaa kutsutaan luomaan tai päivittämään SageMaker Pipelines -koulutus-DAG ja suorittamaan se.
Arkiston rakenne
- GitHub-arkisto sisältää seuraavat hakemistot ja tiedostot:
- /framework/conf/ – Tämä hakemisto sisältää määritystiedoston, jota käytetään yhteisten muuttujien asettamiseen kaikille mallinnusyksiköille, kuten aliverkoille, suojausryhmille ja IAM-roolille suorituksen aikana. Mallinnusyksikkö on enintään kuuden vaiheen sarja ML-mallin harjoittamiseksi.
- /framework/createmodel/ – Tämä hakemisto sisältää Python-komentosarjan, joka luo a SageMaker malli objekti perustuu malliartefakteihin osoitteesta a SageMaker Pipelines -koulutusvaihe. Malliobjektia käytetään myöhemmin a SageMaker-erämuunnos tehtävä mallin suorituskyvyn arvioimiseksi testisarjassa.
- /framework/modelmetrics/ – Tämä hakemisto sisältää Python-komentosarjan, joka luo Amazon SageMaker -käsittely työ mallimittareiden JSON-raportin luomiseksi koulutetulle mallille testidatalle suoritetun SageMaker-erämuunnostyön tulosten perusteella.
- /framework/pipeline/ – Tämä hakemisto sisältää Python-komentosarjoja, jotka käyttävät muissa kehyshakemistoissa määritettyjä Python-luokkia SageMaker Pipelines DAG:n luomiseen tai päivittämiseen määritettyjen kokoonpanojen perusteella. pipeline_service.py käyttää model_unit.py-komentosarjaa yhden tai useamman mallinnusyksikön luomiseen. Kukin mallinnusyksikkö on enintään kuuden vaiheen sarja ML-mallin kouluttamiseksi: prosessoi, harjoittele, luo malli, muunnos, mittaus ja rekisteröintimalli. Jokaisen mallinnusyksikön konfiguraatiot tulee määrittää mallin vastaavassa arkistossa. Pipeline_service.py asettaa myös riippuvuudet SageMaker Pipelines -vaiheiden välille (miten mallinnusyksiköiden sisällä ja niiden välillä olevat vaiheet järjestyvät tai ketjutetaan) sagemakerPipeline-osion perusteella, joka tulee määrittää jonkin mallivaraston (ankkurimalli) konfiguraatiotiedostossa. Tämän avulla voit ohittaa SageMaker Pipelinesin päättelemät oletusriippuvuudet. Keskustelemme määritystiedoston rakenteesta myöhemmin tässä viestissä.
- /kehys/käsittely/ – Tämä hakemisto sisältää Python-komentosarjan, joka luo SageMaker-käsittelytyön määritetyn Docker-kuvan ja aloituspisteen komentosarjan perusteella.
- /framework/registermodel/ – Tämä hakemisto sisältää Python-komentosarjan koulutetun mallin rekisteröintiä varten sekä sen lasketut mittarit SageMaker-mallirekisteriin.
- /kehys/koulutus/ – Tämä hakemisto sisältää Python-komentosarjan, joka luo SageMaker-harjoitustyön.
- /framework/transform/ – Tämä hakemisto sisältää Python-komentosarjan, joka luo SageMakerin erämuunnostyön. Mallin koulutuksen yhteydessä tätä käytetään koulutetun mallin suorituskykymittarin laskemiseen testitiedon perusteella.
- /framework/utilities/ – Tämä hakemisto sisältää apuohjelmia määritystiedostojen lukemiseen ja yhdistämiseen sekä lokiin kirjaamiseen.
- /framework_entrypoint.py – Tämä tiedosto on kehyskoodin aloituskohta. Se kutsuu /framework/pipeline/-hakemistossa määritettyä funktiota luodakseen tai päivittääkseen SageMaker Pipelines DAG:n ja suorittaakseen sen.
- /esimerkkejä/ – Tämä hakemisto sisältää useita esimerkkejä siitä, kuinka voit käyttää tätä automaatiokehystä yksinkertaisten ja monimutkaisten koulutus-DAG:ien luomiseen.
- /env.env – Tämän tiedoston avulla voit asettaa ympäristömuuttujiksi yleisiä muuttujia, kuten aliverkkoja, suojausryhmiä ja IAM-roolia.
- /requirements.txt – Tämä tiedosto määrittää Python-kirjastot, jotka vaaditaan kehyskoodia varten.
Edellytykset
Sinulla tulee olla seuraavat edellytykset ennen tämän ratkaisun käyttöönottoa:
- AWS-tili
- SageMaker Studio
- SageMaker-rooli Amazon S3:n luku-/kirjoitus- ja AWS KMS -salaus-/salauksenpurkuoikeuksilla
- S3-ämpäri tietojen, skriptien ja malliesineiden tallentamiseen
- Valinnaisesti, AWS-komentoriviliitäntä (AWS CLI)
- Python3 (Python 3.7 tai uudempi) ja seuraavat Python-paketit:
- boto3
- sagemaker
- PyYAML
- Muita Python-paketteja, joita käytetään mukautetuissa komentosarjoissasi
Ota ratkaisu käyttöön
Ota ratkaisu käyttöön suorittamalla seuraavat vaiheet:
- Järjestä mallin koulutusvarasto seuraavan rakenteen mukaisesti:
- Kloonaa kehyskoodi ja mallin lähdekoodi Git-varastoista:
-
- klooni
dynamic-sagemaker-pipelines-framework
repo koulutushakemistoon. Seuraavassa koodissa oletetaan, että koulutushakemistoa kutsutaanaws-train
: - Kloonaa mallin lähdekoodi samaan hakemistoon. Jos haluat harjoitella usean mallin kanssa, toista tämä vaihe niin monelle mallille kuin tarvitset.
- klooni
Yhden mallin koulutuksessa hakemistosi pitäisi näyttää tältä:
Monimallikoulutuksessa hakemistosi pitäisi näyttää tältä:
- Määritä seuraavat ympäristömuuttujat. Tähdet osoittavat pakollisia ympäristömuuttujia; loput ovat valinnaisia.
Ympäristömuuttuja | Kuvaus |
SMP_ACCOUNTID* |
AWS-tili, jossa SageMaker-putkia ajetaan |
SMP_REGION* |
AWS-alue, jossa SageMaker-putkilinjaa ajetaan |
SMP_S3BUCKETNAME* |
S3-ämpäri nimi |
SMP_ROLE* |
SageMakerin rooli |
SMP_MODEL_CONFIGPATH* |
Yhden mallin tai usean mallin määritystiedostojen suhteellinen polku |
SMP_SUBNETS |
Aliverkkotunnukset SageMaker-verkkomäärityksiä varten |
SMP_SECURITYGROUPS |
Suojausryhmän tunnukset SageMaker-verkkomääritykseen |
Yhden mallin käyttötapauksissa, SMP_MODEL_CONFIGPATH
on <MODEL-DIR>/conf/conf.yaml
. Usean mallin käyttötapauksissa, SMP_MODEL_CONFIGPATH
on */conf/conf.yaml
, jonka avulla voit löytää kaiken conf.yaml
tiedostot Pythonin glob-moduulilla ja yhdistä ne globaaliksi asetustiedostoksi. Kokeilun aikana (paikallinen testaus) voit määrittää ympäristömuuttujat env.env-tiedoston sisällä ja viedä ne sitten suorittamalla seuraavan komennon päätteessäsi:
Huomaa, että ympäristömuuttujien arvot sisään env.env
tulee laittaa lainausmerkkeihin (esim. SMP_REGION="us-east-1"
). Käyttöönoton aikana nämä ympäristömuuttujat tulee asettaa CI-putkistoon.
- Luo ja aktivoi virtuaalinen ympäristö suorittamalla seuraavat komennot:
- Asenna tarvittavat Python-paketit suorittamalla seuraava komento:
- Muokkaa mallikoulutustasi
conf.yaml
tiedostot. Käsittelemme konfigurointitiedoston rakennetta seuraavassa osiossa. - Soita terminaalista kehyksen aloituspisteeseen luodaksesi tai päivittääksesi ja suorittaaksesi SageMaker Pipeline -koulutus-DAG:n:
- Tarkastele ja tee virheenkorjaus SageMaker-putkistoja, joita käytetään putkistojen SageMaker Studion käyttöliittymän välilehti.
Asetustiedoston rakenne
Ehdotetussa ratkaisussa on kahden tyyppisiä konfiguraatiotiedostoja: kehyskokoonpano ja mallikonfiguraatio. Tässä osiossa kuvailemme kutakin yksityiskohtaisesti.
Kehyskokoonpano
- /framework/conf/conf.yaml
tiedosto asettaa muuttujat, jotka ovat yhteisiä kaikissa mallinnusyksiköissä. Tämä sisältää SMP_S3BUCKETNAME
, SMP_ROLE
, SMP_MODEL_CONFIGPATH
, SMP_SUBNETS
, SMP_SECURITYGROUPS
ja SMP_MODELNAME
. Katso käyttöönottoohjeiden vaihe 3 näiden muuttujien kuvauksista ja niiden asettamisesta ympäristömuuttujien avulla.
Mallin kokoonpano
Jokaiselle projektin mallille meidän on määritettävä seuraavat tiedot <MODEL-DIR>/conf/conf.yaml
tiedosto (tähdet osoittavat pakollisia osia; loput ovat valinnaisia):
- /conf/models* – Tässä osiossa voit määrittää yhden tai useamman mallinnusyksikön. Kun kehyskoodi ajetaan, se lukee automaattisesti kaikki määritystiedostot ajon aikana ja liittää ne asetuspuuhun. Teoriassa voit määrittää kaikki mallinnusyksiköt samalla tavalla
conf.yaml
tiedostoa, mutta on suositeltavaa määrittää jokainen mallinnusyksikön kokoonpano vastaavassa hakemistossaan tai Git-tietovarastoon virheiden minimoimiseksi. Yksiköt ovat seuraavat:- {mallinimi}* – Mallin nimi.
- lähdehakemisto* – Yleinen
source_dir
polku, jota käytetään kaikissa mallinnusyksikön vaiheissa. - esikäsittely – Tässä osassa määritellään esikäsittelyparametrit.
- kouluttaa* – Tässä osiossa määritellään koulutustyön parametrit.
- muuttaa* – Tässä osiossa määritetään SageMaker Transform -työparametrit testitietojen ennustamista varten.
- arvioida – Tässä osiossa määritetään SageMaker Processing -työn parametrit mallimetriikka-JSON-raportin luomiseksi koulutetulle mallille.
- rekisteri* – Tässä osiossa määritetään parametrit koulutetun mallin rekisteröimiseksi SageMaker-mallirekisteriin.
- /conf/sagemakerPipeline* – Tässä osiossa määritellään SageMaker Pipelines -kulku, mukaan lukien vaiheiden väliset riippuvuudet. Yhden mallin käyttötapauksissa tämä osio on määritetty määritystiedoston lopussa. Usean mallin käyttötapauksissa
sagemakerPipeline
osio on määritettävä vain yhden mallin konfiguraatiotiedostossa (mikä tahansa mallista). Kutsumme tätä mallia nimellä ankkuri malli. Parametrit ovat seuraavat:- pipelineName* – SageMaker-putkilinjan nimi.
- mallit* – Sisäkkäinen luettelo mallinnusyksiköistä:
- {mallinimi}* – Mallin tunniste, jonka tulee vastata /conf/models-osiossa olevaa tunnistetta {mallin-nimi}.
- askeleet* -
- askel_nimi* – Vaiheen nimi, joka näytetään SageMaker Pipelines DAG:ssa.
- step_class* – (Union[Processing, Training, CreateModel, Transform, Metrics, RegisterModel])
- step_type* – Tätä parametria tarvitaan vain esikäsittelyvaiheissa, joita varten se tulee asettaa esikäsittelyyn. Tämä on tarpeen esikäsittely- ja arviointivaiheiden erottamiseksi, joilla molemmilla on a
step_class
käsittelystä. - enable_cache – ([Unioni[tosi, epätosi]]). Tämä osoittaa, otetaanko se käyttöön SageMaker Pipelines -välimuisti tätä vaihetta varten.
- chain_input_source_step – ([luettelo[vaiheen_nimi]]). Voit käyttää tätä asettaaksesi toisen vaiheen kanavalähdöt tämän vaiheen tuloksi.
- ketjun_syöttö_lisäetuliite – Tämä on sallittu vain muunnoksen vaiheille
step_class
, ja sitä voidaan käyttää yhdessächain_input_source_step
parametri määrittääksesi tiedoston, jota tulee käyttää muunnosvaiheen syötteenä.
- askeleet* -
- {mallinimi}* – Mallin tunniste, jonka tulee vastata /conf/models-osiossa olevaa tunnistetta {mallin-nimi}.
- riippuvuudet – Tämä osio määrittää järjestyksen, jossa SageMaker Pipelines -vaiheet tulee suorittaa. Olemme mukauttaneet Apache Airflow -merkintää tähän osioon (esim.
{step_name} >> {step_name}
). Jos tämä osio jätetään tyhjäksi,chain_input_source_step
parametri tai implisiittiset riippuvuudet määrittävät SageMaker Pipelines DAG -virran.
Huomaa, että suosittelemme yhden harjoitusvaiheen käyttöä mallinnusyksikköä kohti. Jos mallinnusyksikölle on määritetty useita opetusvaiheita, seuraavat vaiheet ottavat implisiittisesti viimeisen harjoitusvaiheen malliobjektin luomiseksi, mittareiden laskemiseksi ja mallin rekisteröimiseksi. Jos sinun on koulutettava useita malleja, on suositeltavaa luoda useita mallinnusyksiköitä.
Esimerkit
Tässä osiossa esittelemme kolme esimerkkiä ML-mallin koulutus-DAG:ista, jotka on luotu esitetyllä viitekehyksellä.
Yhden mallin koulutus: LightGBM
Tämä on yhden mallin esimerkki luokituksen käyttötapauksesta, jossa käytämme LightGBM komentosarjatilassa SageMakerissa. aineisto koostuu kategorisista ja numeerisista muuttujista, jotka ennustavat binääritunnisteen Tulot (ennustaakseen, tekeekö kohde ostoksen vai ei). The esikäsittely skripti käytetään mallintamaan dataa koulutusta ja testausta varten ja sitten aseta se S3-ämpäriin. S3-polut tarjotaan sitten koulutusvaihe asetustiedostossa.
Kun koulutusvaihe suoritetaan, SageMaker lataa tiedoston säilöön osoitteessa /opt/ml/input/data/{channelName}/
, joka on käytettävissä ympäristömuuttujan kautta SM_CHANNEL_{channelName}
säiliössä (channelName= 'juna' tai 'testi') kantavassa harjoituskäsikirjoitus tekee seuraavaa:
- Lataa tiedostot paikallisesti paikallisista säilöpoluista käyttämällä NumPy kuorma moduuli.
- Aseta harjoitusalgoritmille hyperparametrit.
- Tallenna koulutettu malli paikalliselle konttipolulle
/opt/ml/model/
.
SageMaker luo sisällön /opt/ml/model/ -hakemistossa, jonka avulla malli otetaan käyttöön SageMakerissa isännöintiä varten.
Muunnosvaihe ottaa syötteenä vaiheistetun testitiedosto syötteenä ja koulutettu malli tekemään ennusteita koulutetun mallin perusteella. Muunnosvaiheen tulos on kahlittu mittausvaiheeseen mallin arvioimiseksi suhteessa perusteellinen totuus, joka toimitetaan nimenomaisesti mittausvaiheeseen. Lopuksi metriikkavaiheen tulos ketjutetaan implisiittisesti rekisterivaiheeseen mallin rekisteröimiseksi SageMaker-mallirekisteriin metriikkavaiheessa tuotetuilla mallin suorituskyvyn tiedoilla. Seuraavassa kuvassa on visuaalinen esitys harjoitus-DAG:sta. Voit viitata tämän esimerkin komentosarjoihin ja asetustiedostoon GitHub repo.
Yhden mallin koulutus: LLM-hienosäätö
Tämä on toinen yhden mallin koulutusesimerkki, jossa ohjaamme Hugging Face Hubin Falcon-40B:n suuren kielimallin (LLM) hienosäätöä tekstiyhteenvedon käyttötapausta varten. The esikäsittely skripti lataa samsum Hugging Facen tietojoukko, lataa mallin tokenisaattorin ja käsittelee juna-/testausdata-jakaumat mallin hienosäätämiseksi tässä toimialueen tiedossa falcon-text-yhteenveto-esikäsittelyvaiheessa.
Tulos on kahlittu falcon-text-yhteenveto-viritysvaiheeseen, jossa harjoituskäsikirjoitus lataa Falcon-40B LLM:n Hugging Face Hubista ja aloittaa nopeutetun hienosäädön LoRA junassa jakaantui. Malli arvioidaan samassa vaiheessa hienosäädön jälkeen, mikä portinvartijat arvioinnin menetys epäonnistuu falcon-tekstin yhteenveto-viritysvaiheessa, mikä saa SageMaker-liukuhihnan pysähtymään ennen kuin se pystyy rekisteröimään hienosäädetyn mallin. Muussa tapauksessa falcon-text-summarisation-tuning -vaihe suoritetaan onnistuneesti ja malli rekisteröidään SageMaker-mallirekisteriin. Seuraavassa kuvassa on visuaalinen esitys LLM:n hienosäätö-DAG:sta. Tämän esimerkin komentosarjat ja määritystiedostot ovat saatavilla osoitteessa GitHub repo.
Monimallikoulutus
Tämä on monimallinen koulutusesimerkki, jossa pääkomponenttianalyysin (PCA) mallia opetetaan mittasuhteiden vähentämiseen ja TensorFlow Multilayer Perceptron -mallia Kalifornian asuntojen hintaennuste. TensorFlow-mallin esikäsittelyvaiheessa käytetään koulutettua PCA-mallia vähentääkseen harjoitustietojen ulottuvuutta. Lisäämme kokoonpanoon riippuvuuden varmistaaksemme, että TensorFlow-malli rekisteröidään PCA-mallin rekisteröinnin jälkeen. Seuraavassa kuvassa on visuaalinen esitys monimalliharjoittelu-DAG-esimerkistä. Tämän esimerkin komentosarjat ja määritystiedostot ovat saatavilla osoitteessa GitHub repo.
Puhdistaa
Suorita seuraavat vaiheet puhdistaaksesi resurssit:
- Käytä AWS CLI:tä lista ja poistaa kaikki jäljellä olevat Python-skriptien luomat liukuhihnat.
- Vaihtoehtoisesti voit poistaa muita AWS-resursseja, kuten S3-säilöä tai SageMaker Pipelinesin ulkopuolella luotua IAM-roolia.
Yhteenveto
Tässä viestissä esittelimme puitteet SageMaker Pipelines DAG:n luomisen automatisoimiseksi määritystiedostojen perusteella. Ehdotettu kehys tarjoaa tulevaisuuteen suuntautuvan ratkaisun monimutkaisten ML-työkuormien organisoinnin haasteeseen. Käyttämällä konfigurointitiedostoa SageMaker Pipelines tarjoaa joustavuuden rakentaa orkestrointi minimaalisella koodilla, joten voit virtaviivaistaa sekä yhden mallin että usean mallin liukuputkien luonti- ja hallintaprosessia. Tämä lähestymistapa ei ainoastaan säästä aikaa ja resursseja, vaan myös edistää MLOps:n parhaita käytäntöjä, mikä edistää ML-aloitteiden yleistä menestystä. Lisätietoja toteutustiedoista on kohdassa GitHub repo.
Tietoja Tekijät
Luis Felipe Yepez Barrios, on koneoppimisinsinööri, jolla on AWS Professional Services. Hän keskittyy skaalautuviin hajautettuihin järjestelmiin ja automaatiotyökaluihin nopeuttaakseen tieteellistä innovaatiota koneoppimisen (ML) alalla. Lisäksi hän auttaa yritysasiakkaita optimoimaan koneoppimisratkaisujaan AWS-palveluiden avulla.
Jinzhao Feng, on koneoppimisinsinööri AWS Professional Servicesissä. Hän keskittyy suuren mittakaavan generatiivisen tekoälyn ja klassisten ML-putkiratkaisujen suunnitteluun ja toteuttamiseen. Hän on erikoistunut FMOpsiin, LLMOpsiin ja hajautettuun koulutukseen.
Karu Asnani, on koneoppimisinsinööri AWS:ssä. Hänen taustansa on Applied Data Science -alalla, ja hän keskittyy koneoppimistyökuormien operaatioon pilvessä mittakaavassa.
Hasan Shojaei, on vanhempi datatutkija AWS Professional Services -palvelussa, jossa hän auttaa asiakkaita eri toimialoilla ratkaisemaan liiketoimintahaasteitaan käyttämällä big dataa, koneoppimista ja pilvitekniikoita. Ennen tätä roolia Hasan johti useita aloitteita kehittääkseen uusia fysiikkaan perustuvia ja tietopohjaisia mallinnustekniikoita parhaille energiayhtiöille. Työn ulkopuolella Hasan on intohimoinen kirjoihin, retkeilyyn, valokuvaamiseen ja historiaan.
Alec Jenab, on koneoppimisinsinööri, joka on erikoistunut laajamittaisten koneoppimisratkaisujen kehittämiseen ja toteuttamiseen yritysasiakkaille. Alec on intohimoinen tuomaan innovatiivisia ratkaisuja markkinoille, erityisesti alueilla, joilla koneoppiminen voi merkittävästi parantaa loppukäyttäjäkokemusta. Työn ulkopuolella hän nauttii koripallon pelaamisesta, lumilautailusta ja piilotettujen helmien löytämisestä San Franciscossa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/automate-amazon-sagemaker-pipelines-dag-creation/
- :On
- :ei
- :missä
- $ YLÖS
- 120
- 160
- 7
- 8
- 9
- a
- pystyy
- Meistä
- kiihtyi
- pääsy
- saatavilla
- majoittaa
- Mukaan
- Tili
- saavuttamisessa
- poikki
- aktivoida
- asykliset
- lisätä
- Jälkeen
- vastaan
- AI
- algoritmi
- Kaikki
- sallia
- sallittu
- mahdollistaa
- pitkin
- Myös
- Amazon
- Amazon Sage Maker
- Amazon SageMaker -putkistot
- Amazon Web Services
- keskuudessa
- an
- analyysi
- Ankkuri
- ja
- Toinen
- Kaikki
- Apache
- sovellettu
- lähestymistapa
- arkkitehtuuri
- OVAT
- alueet
- AS
- avustaa
- olettaa
- At
- automatisoida
- automaattisesti
- automatisointi
- Automaatio
- saatavissa
- AWS
- AWS-asiantuntijapalvelut
- tausta
- perustua
- Koripallo
- BE
- ennen
- Hyödyt
- PARAS
- parhaat käytännöt
- Iso
- Big Data
- Kirjat
- sekä
- Tuominen
- rakentaa
- liiketoiminta
- mutta
- by
- laskea
- laskettu
- soittaa
- nimeltään
- Puhelut
- CAN
- tapaus
- tapauksissa
- Catering
- syyt
- kahlittu
- haaste
- haasteet
- Kanava
- valintoja
- luokat
- luokittelu
- puhdas
- cli
- asiakkaat
- pilvi
- koodi
- yhdistää
- Yhteinen
- Yritykset
- monimutkainen
- komponentti
- huolenaiheet
- luottamus
- Konfigurointi
- yhdessä
- johdonmukainen
- muodostuu
- Kontti
- Kontit
- sisältää
- pitoisuus
- tausta
- jatkuva
- edistää
- kattaa
- luoda
- luotu
- luo
- Luominen
- luominen
- ratkaiseva
- asiakassuhde
- Asiakkaat
- räätälöityjä
- PÄIVÄ
- tiedot
- tietojenkäsittely
- tietojen tutkija
- data-driven
- aineistot
- ilmoitettu
- oletusarvo
- määritellä
- määritelty
- määrittelee
- toimitus
- osoittaa
- riippuvuudet
- riippuvuus
- sijoittaa
- levityspinnalta
- käyttöönotto
- kuvata
- yksityiskohta
- yksityiskohtainen
- yksityiskohdat
- kehittää
- kehittämällä
- Kehitys
- kaavio
- eri
- suunnattu
- hakemistot
- hakemisto
- löytämässä
- pohtia
- näyttöön
- erottaa
- jaettu
- hajautetut järjestelmät
- hajautettu koulutus
- Satamatyöläinen
- ei
- verkkotunnuksen
- aikana
- dynaaminen
- dynaamisesti
- kukin
- tehokas
- vaivaa
- valtuutetaan
- mahdollistaa
- mahdollistaa
- mahdollistaa
- loppu
- energia
- insinööri
- Engineers
- varmistaa
- yritys
- Koko
- merkintä
- ympäristö
- ympäristöissä
- virheet
- erityisesti
- arvioida
- arvioitu
- arviointiin
- arviointi
- Joka
- esimerkki
- Esimerkit
- nopeuttaa
- experience
- nimenomaisesti
- vienti
- laajennettu
- Kasvot
- FAIL
- väärä
- nopeampi
- ala
- Kuva
- filee
- Asiakirjat
- Vihdoin
- Löytää
- Joustavuus
- joustava
- virtaus
- Keskittää
- keskityttiin
- keskittyy
- jälkeen
- seuraa
- varten
- muoto
- tulevaisuuteen
- Puitteet
- puitteet
- Francisco
- alkaen
- toiminto
- Lisäksi
- tuottaa
- generatiivinen
- Generatiivinen AI
- mennä
- Global
- hallinto
- kaavio
- suurempi
- Ryhmä
- Ryhmän
- Olla
- ottaa
- he
- auttaa
- tätä
- kätketty
- hänen
- historia
- hotellit
- kotelo
- Miten
- Miten
- HTML
- http
- HTTPS
- Napa
- tunniste
- Identiteetti
- ids
- if
- kuva
- täytäntöönpano
- täytäntöönpanosta
- parantaa
- in
- Muilla
- sisältää
- Mukaan lukien
- osoittaa
- ilmaisee
- teollisuuden
- pääteltyihin
- tiedot
- Infrastruktuuri
- aloitteita
- Innovaatio
- innovatiivinen
- panos
- sisällä
- asentaa
- esimerkki
- ohjeet
- integraatio
- vuorovaikutukset
- interventio
- tulee
- IT
- SEN
- Job
- tuloaan
- jpg
- json
- avain
- avaimet
- Merkki
- Kieli
- suuri
- Sukunimi
- myöhemmin
- oppiminen
- Led
- vasemmalle
- kirjastot
- pitää
- linja
- Lista
- OTK
- kuormitus
- kuormat
- paikallinen
- paikallisesti
- hakkuu
- katso
- näyttää joltakin
- pois
- kone
- koneoppiminen
- tehdä
- TEE
- Tekeminen
- johto
- toimitusjohtaja
- manuaalinen
- monet
- markkinat
- ottelu
- metrinen
- Metrics
- minimi
- minimoida
- ML
- MLOps
- tila
- malli
- mallintaminen
- mallit
- Moduulit
- lisää
- moninkertainen
- nimi
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- verkostoituminen
- seuraava
- Nro
- romaani
- objekti
- of
- Tarjoukset
- on
- ONE
- vain
- optimoimalla
- or
- orkestroinut
- orkestrointi
- orkestrointi
- Muut
- muuten
- ulostulo
- lähdöt
- ulkopuolella
- yleinen
- ohittaa
- paketit
- parametri
- parametrit
- intohimoinen
- polku
- polut
- varten
- suorituskyky
- suoritettu
- valokuvaus
- putki
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- Kohta
- Kirje
- käytännöt
- ennalta
- ennustaa
- Ennusteet
- edellytyksiä
- esittää
- esitetty
- hinta
- Pääasiallinen
- Aikaisempi
- yksityinen
- prosessi
- Prosessit
- käsittely
- valmistettu
- tuotanto
- ammatillinen
- projekti
- edistää
- Edistäminen
- ehdotettu
- mikäli
- tarjoaa
- osto
- Python
- nopeasti
- alue
- Lue
- helposti
- Lukeminen
- suositella
- suositeltu
- vähentää
- vähentää
- vähentäminen
- katso
- alue
- ilmoittautua
- kirjattu
- rekisteröitymättä
- Rekisteröinti
- rekisterin
- jäljellä oleva
- toistaa
- raportti
- säilytyspaikka
- edustus
- tarvitaan
- vaatimukset
- resurssi
- Esittelymateriaalit
- ne
- REST
- tulokset
- tulot
- arviot
- Rooli
- roolit
- ajaa
- juoksu
- toimii
- runtime
- sagemaker
- SageMaker-putkistot
- sama
- San
- San Francisco
- skaalautuva
- Asteikko
- tiede
- tieteellinen
- Tiedemies
- tutkijat
- käsikirjoitus
- skriptejä
- Osa
- osiot
- turvallisuus
- Järjestys
- Palvelut
- setti
- Setit
- useat
- shouldnt
- Näytä
- Yksinkertainen
- SIX
- sujuvaa
- So
- ratkaisu
- Ratkaisumme
- SOLVE
- lähde
- lähdekoodi
- erikoistunut
- erikoistunut
- määritelty
- jakaa
- splits
- alkaa
- Vaihe
- Askeleet
- stop
- Levytila
- tallentamiseksi
- tehostaa
- virtaviivaistaminen
- rakenne
- studio
- aihe
- aliverkkoon
- myöhempi
- menestys
- Onnistuneesti
- niin
- toimitetaan
- syntaksi
- järjestelmät
- ottaa
- vie
- tekniikat
- Technologies
- tensorflow
- terminaali
- testi
- Testaus
- teksti
- että
- -
- Rekisteri
- heidän
- Niitä
- sitten
- siksi
- Nämä
- tätä
- kolmella
- Kautta
- kauttaaltaan
- aika
- että
- ylin
- Seuranta
- Juna
- koulutettu
- koulutus
- Muuttaa
- puu
- totta
- kaksi
- tyypit
- ui
- varten
- yksikkö
- yksiköt
- Päivitykset
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- Käyttäjäkokemus
- käyttötarkoituksiin
- käyttämällä
- hyödyllisyys
- arvot
- muuttuja
- versiot
- kautta
- Virtual
- visuaalinen
- we
- verkko
- verkkopalvelut
- HYVIN
- kun
- onko
- joka
- KUKA
- leveä
- Laaja valikoima
- tulee
- with
- sisällä
- ilman
- Referenssit
- työnkulku
- XGBoost
- yaml
- Voit
- Sinun
- zephyrnet