Paranna mallikoulutuksesi hintatehokkuutta käyttämällä Amazon SageMakerin heterogeenisia klustereita

Tämä viesti on kirjoitettu yhdessä Mobileyen Chaim Randin kanssa.

Tietyt koneoppimisen (ML) työmäärät, kuten tietokonenäkömallien harjoittaminen tai vahvistusoppiminen, sisältävät usein hermoverkkomallikoulutuksen GPU- tai kiihdytinintensiivisen tehtävän yhdistämisen prosessoriintensiiviseen tietojen esikäsittelytehtävään, kuten kuvan lisäykseen. Kun molemmat tehtävät suoritetaan samalla ilmentymätyypillä, tietojen esikäsittely tukkeutuu suorittimessa, mikä johtaa alhaisempaan GPU:n käyttöasteeseen. Tämä ongelma pahenee ajan myötä, kun uudempien GPU-sukupolvien suorituskyky kasvaa jyrkemmin kuin suorittimien.

Tämän ongelman ratkaisemiseksi me heinäkuussa 2022 käynnistettiin heterogeeniset klusterit Amazon Sage Maker mallikoulutus, jonka avulla voit käynnistää koulutustöitä, joissa käytetään eri instanssityyppejä yhdessä työssä. Tämä mahdollistaa tietojen esikäsittelyputken osien purkamisen laskennallisesti optimoitu instanssityyppejä, kun taas syvä neuroverkko (DNN) -tehtävä jatkuu GPU tai nopeutettu laskenta ilmentymätyypit. Vertailuarvomme osoittavat jopa 46 %:n hintahyötyjä, kun heterogeeniset klusterit on otettu käyttöön suorittimeen sidotussa TensorFlow-tietokonenäkömallikoulutuksessa.

Vastaavaa käyttötapausta varten Mobileye, autonomisen ajoneuvoteknologian kehitysyhtiö, jakoi tämän:

"Siirtämällä suorittimeen sidottua syväoppivaa tietokonenäkömallin koulutusta useiden esiintymätyyppien (CPU- ja GPU/ML-kiihdyttimien) ylitse. tf.data.service rakentamamme ratkaisun ansiosta onnistuimme lyhentämään harjoitteluaikaa 40 % ja samalla vähentämään harjoittelukustannuksia 30 %. Olemme innoissamme heterogeenisistä klustereista, joiden ansiosta voimme käyttää tätä ratkaisua Amazon SageMakerissa."

— AI Engineering, Mobileye

Tässä viestissä keskustelemme seuraavista aiheista:

• Kuinka heterogeeniset klusterit auttavat poistamaan suorittimen pullonkauloja
• Milloin käyttää heterogeenisiä klustereita ja muita vaihtoehtoja
• Viitetoteutukset PyTorchissa ja TensorFlow'ssa
• Suorituskyvyn vertailutulokset
• Heterogeeniset klusterit Mobileyessa

AWS: t nopeutettu laskenta-esiintymä perhe sisältää kiihdyttimiä mukautetuista AWS-siruista (AWS Inferencia, AWS Trainium), NVIDIA (GPU), Ja Gaudin kiihdytin Habana Labsilta (Intel-yhtiö). Huomaa, että tässä viestissä käytämme termejä GPU ja kiihdytin vaihtokelpoisesti.

Kuinka heterogeeniset klusterit poistavat tiedonkäsittelyn pullonkauloja

Syväoppimismalleja kouluttavat datatieteilijät pyrkivät maksimoimaan koulutuksen kustannustehokkuuden ja minimoimaan koulutusajan. Tämän saavuttamiseksi yksi optimoinnin perustavoitteista on korkea GPU-käyttöaste, kallein ja niukka resurssi alueella. Amazonin elastinen laskentapilvi (Amazon EC2) esimerkki. Tämä voi olla haastavampaa ML-työkuormilla, jotka yhdistävät klassisen GPU-intensiivisen hermoverkkomallin etenemisen eteenpäin ja taaksepäin prosessoriintensiivisiin tehtäviin, kuten tietojenkäsittelyyn ja tietokonenäön lisäykseen tai ympäristösimuloinnin suorittamiseen vahvistusoppimisessa. Nämä työmäärät voivat päätyä CPU-sidottuiksi, jolloin suurempi prosessori johtaisi suurempaan suorituskykyyn ja nopeampaan ja halvempaan koulutukseen, koska nykyiset kiihdyttimet ovat osittain käyttämättömänä. Joissakin tapauksissa suorittimen pullonkaulat voidaan ratkaista vaihtamalla toiseen esiintymätyyppiin, jolla on korkeampi CPU:GPU-suhde. On kuitenkin tilanteita, joissa vaihtaminen toiseen ilmentymätyyppiin ei ehkä ole mahdollista ilmentymäperheen arkkitehtuurin, tallennustilan tai verkkoriippuvuuksien vuoksi.

Tällaisissa tilanteissa sinun on lisättävä suorittimen tehoa sekoittamalla ilmentymätyyppejä: ilmentymiä, joissa on grafiikkasuoritin ja prosessori. Yhteenvetona tämä johtaa yleisesti korkeampaan CPU:GPU-suhteeseen. Viime aikoihin asti SageMaker-koulutustyöt rajoittuivat yhden valitun ilmentymän tyypin esiintymiin. SageMaker-heterogeenisten klustereiden avulla datatieteilijät voivat helposti suorittaa koulutustöitä useilla ilmentymätyypeillä, mikä mahdollistaa joidenkin olemassa olevien suorittimen tehtävien siirtämisen GPU-esiintymistä omistettuihin laskennallisesti optimoituihin CPU-instanssiin, mikä johtaa korkeampaan GPU-käyttöön sekä nopeampaan ja edullisempaan tehokasta koulutusta. Lisäksi lisäprosessoriteholla voit saada esikäsittelytehtävät, jotka perinteisesti tehtiin offline-tilassa harjoittelun alustavana vaiheena, osaksi koulutustyötäsi. Tämä nopeuttaa iterointia ja kokeilua sekä tietojen esikäsittelyn että DNN-opetusoletusten ja hyperparametrien suhteen.

Harkitse esimerkiksi tehokasta GPU-instanssityyppiä, ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPU:t), joiden CPU:GPU-suhde on 12:1. Oletetaan, että koulutustyösi tarvitsee 20 vCPU:ta esikäsitelläkseen tarpeeksi dataa, jotta yksi GPU pysyy 100-prosenttisesti käytössä. Jotta kaikki 8 GPU:ta pysyy 100-prosenttisesti käytössä, tarvitset 160 vCPU:n ilmentymän tyypin. Kuitenkin ml.p4d.24xlarge ei sisällä 64 vCPU:ta eli 40 %, mikä rajoittaa GPU:n käyttöasteen 60 prosenttiin, kuten seuraavan kaavion vasemmalla puolella on kuvattu. Auttaisiko toisen ml.p4d.24xlarge ilmentymän lisääminen? Ei, koska työn CPU:GPU-suhde pysyisi samana.

Heterogeenisilla klustereilla voimme lisätä kaksi ml.c5.18xlargea (72 vCPU:ta), kuten kaavion oikealla puolella näkyy. Tämän klusterin vCPU:n nettomäärä on 210 (96+2*72), mikä johtaa CPU:GPU-suhteeseen 30:1. Jokainen näistä laskennallisesti optimoiduista instansseista puretaan prosessoriintensiivisen tietojen esikäsittelytehtävän kanssa, ja se mahdollistaa tehokkaan GPU:n käytön. Huolimatta ml.c5.18xlargen ylimääräisistä kustannuksista, korkeampi grafiikkasuorittimen käyttöaste mahdollistaa nopeamman käsittelyn ja siten korkeammat hinta-tehohyödyt.

Milloin käyttää heterogeenisiä klustereita ja muita vaihtoehtoja

Tässä osiossa selitämme, kuinka tunnistaa suorittimen pullonkaula, ja keskustelemme sen ratkaisemisesta käyttämällä ilmentymän tyypin skaalausta vs. heterogeenisia klustereita.

Nopea tapa tunnistaa suorittimen pullonkaula on seurata suoritinta ja grafiikkasuoritinta käyttömittarit SageMaker-koulutustöihin amazonin pilvikello. Näihin näkymiin pääset osoitteesta AWS-hallintakonsoli koulutustyösivun ilmentymien mittareiden hyperlinkki. Valitse tarvittavat mittarit ja vaihda 5 minuutin resoluutiosta 1 minuutin tarkkuuteen. Huomaa, että asteikko on 100 % vCPU:ta tai GPU:ta kohti, joten käyttöaste 4 vCPU:ta/GPU:ta kohti voi olla jopa 400 %. Seuraava kuva on yksi esimerkki CloudWatch-mittareista, jossa suorittimen käyttöaste on noin 100 %, mikä osoittaa suorittimen pullonkaulaa, kun taas GPU on vajaakäytössä.

Suorita koulutustyöt yksityiskohtaisen diagnoosin saamiseksi Amazon SageMaker -korjaamo profiloimaan resurssien käyttöastetta, tilastoja ja kehystoimintoja lisäämällä profilointimääritykset, kun rakennat SageMaker-estimaattorin SageMaker Python SDK:n avulla. Kun olet lähettänyt koulutustyön, tarkista tulos profiloijan raportti prosessorin pullonkauloja varten.

Jos päätät, että työsi voisi hyötyä korkeammasta CPU:GPU-laskentasuhteesta, harkitse ensin skaalaamista toiseen esiintymätyyppiin samassa ilmentymäperheessä, jos sellainen on saatavilla. Jos esimerkiksi harjoittelet mallia ml.g5.8xlargessa (32 vCPU:ta, 1 GPU), harkitse skaalaamista jopa ml.g5.16xlargeen (64 vCPU:ta, 1 GPU). Tai jos harjoittelet malliasi käyttämällä usean grafiikkasuorittimen esiintymää ml.g5.12xlarge (48 vCPU:ta, 4 GPU:ta), harkitse skaalaamista ml.g5.24xlargeen (96 vCPU:ta, 4 GPU:ta). Viittaavat G5 esimerkiksi perhemääritys saadaksesi lisätietoja.

Joskus skaalaus ei ole vaihtoehto, koska samassa ilmentymäperheessä ei ole instanssityyppiä, jolla on korkeampi vCPU:GPU-suhde. Jos esimerkiksi harjoittelet mallia kohdissa ml.trn1.32xlarge, ml.p4d.24xlarge tai ml.g5.48xlarge, kannattaa harkita heterogeenisten klustereiden käyttöä SageMaker-mallikoulutuksessa.

Skaalaamisen lisäksi haluaisimme huomata, että heterogeeniselle klusterille on muitakin vaihtoehtoja, kuten NVIDIA DALI, joka siirtää kuvan esikäsittelyn GPU:lle. Lisätietoja on kohdassa Tiedon esikäsittelyn pullonkaulojen voittaminen TensorFlow Data Servicen, NVIDIA DALI:n ja muiden menetelmien avulla.

Päätöksenteon yksinkertaistamiseksi katso seuraava vuokaavio.

Kuinka käyttää SageMaker-heterogeenisiä klustereita

Pääset alkuun nopeasti siirtymällä suoraan tämän viestin osana annettuihin TensorFlow- tai PyTorch-esimerkkeihin.

Tässä osiossa opastamme sinut läpi SageMaker-heterogeenisen klusterin käytön yksinkertaisella esimerkillä. Oletamme, että osaat jo kouluttaa mallia SageMaker Python SDK:n ja Estimator-luokan avulla. Jos ei, katso SageMaker Python SDK:n käyttäminen ennen kuin jatkat.

Ennen tätä ominaisuutta olet alustanut koulutustyön Estimator-luokan kanssa InstanceCount ja InstanceType-parametrit, mikä implisiittisesti olettaa, että sinulla on vain yksi ilmentymätyyppi (homogeeninen klusteri). Heterogeenisten klustereiden julkaisun myötä esittelimme uuden sagemaker.instance_group.InstanceGroup luokkaa. Tämä edustaa tietyn ilmentymän tyypin yhden tai useamman esiintymän ryhmää, joka on suunniteltu kuljettamaan loogista roolia (kuten tietojenkäsittelyä tai neuroverkon optimointia. Sinulla voi olla kaksi tai useampia ryhmiä, ja voit määrittää mukautetun nimen kullekin esiintymäryhmälle, ilmentymälle tyyppi ja esiintymien lukumäärä kussakin esiintymäryhmässä. Lisätietoja on kohdassa SageMaker Python SDK:n käyttäminen ja Low-Level SageMaker -sovellusliittymien käyttäminen.

Kun olet määrittänyt ilmentymäryhmät, sinun on muokattava harjoitusskriptiä lukeaksesi SageMakeria koulutusympäristön tiedot joka sisältää heterogeenisen klusterikonfiguraation. Kokoonpano sisältää tietoja, kuten nykyiset ilmentymäryhmät, kunkin ryhmän nykyiset isännät ja missä ryhmässä nykyinen isäntä sijaitsee niiden sijoituksen kanssa. Voit rakentaa harjoitusskriptiisi logiikkaa, jolla instanssiryhmät määritetään tiettyihin koulutus- ja tietojenkäsittelytehtäviin. Lisäksi harjoitusskriptisi tulee huolehtia instanssien välisestä ryhmäviestinnästä tai hajautetuista tiedonlatausmekanismeista (esim. tf.data.service TensorFlow tai geneerinen gRPC-asiakaspalvelin) tai jokin muu kehys (esim. Apache Spark).

Käydään läpi yksinkertainen esimerkki heterogeenisen koulutustyön käynnistämisestä ja ympäristön konfiguraation lukemisesta ajon aikana.

1. Kun määritämme ja käynnistämme koulutustyötä, määritämme kaksi ilmentymäryhmää, joita käytetään argumenteina SageMaker-estimaattorille:

   from sagemaker.instance_group import InstanceGroup
   data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
   dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
   
   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(...,
       entry_point='launcher.py',
       instance_groups=[data_group, dnn_group]
   )

2. Aloituspisteen koulutusskriptissä (nimeltään launcher.py), luemme heterogeenisen klusterin kokoonpanosta, suorittaako ilmentymä esikäsittely- vai DNN-koodia:

   from sagemaker_training import environment
   env = environment.Environment()
   if env.current_instance_group == 'data_group': ...;

Tämän avulla tehdään yhteenveto SageMakerin puolestasi suorittamista tehtävistä ja tehtävistä, joista olet vastuussa.

SageMaker suorittaa seuraavat tehtävät:

1. Tarjoa erilaisia ​​ilmentymätyyppejä ilmentymäryhmän määritelmän mukaan.
2. Tarjoa tulokanavia kaikille tai tietyille ilmentymäryhmille.
3. Jaa koulutusskriptejä ja riippuvuuksia instansseille.
4. Määritä MPI-klusteri tietylle ilmentymäryhmälle, jos se on määritetty.

Olet vastuussa seuraavista tehtävistä:

1. Muokkaa harjoitustyön aloitusskriptiä määrittääksesi esiintymäryhmät.
2. Toteuta hajautettu tietoputki (esim. tf.data.service).
3. Muokkaa aloituspisteen komentosarjaa (katso launcher.py esimerkkimuistikirjassa) olla yksi aloituspiste, joka toimii kaikissa ilmentymissä, havaitsee, missä ilmentymäryhmässä se on käynnissä, ja käynnistää asiaankuuluvan toiminnan (kuten tietojenkäsittelyn tai DNN-optimoinnin).
4. Kun koulutussilmukka on ohi, sinun on varmistettava, että aloituspisteprosessisi päättyy kaikissa ilmentymäryhmissä. Tämä on tärkeää, koska SageMaker odottaa, että kaikki esiintymät ovat saaneet käsittelyn valmiiksi ennen kuin se merkitsee työn valmiiksi ja lopettaa laskutuksen. The launcher.py skripti TensorFlow- ja PyTorch-esimerkkimuistikirjoissa tarjoaa viitetoteutuksen signalointitietoryhmäinstanssien poistumiseen, kun DNN-ryhmäinstanssit lopettavat työnsä.

Esimerkki muistikirjoja SageMaker heterogeenisille klusteille

Tässä osiossa annamme yhteenvedon esimerkkimuistikirjoja sekä TensorFlow- että PyTorch ML -kehykselle. Muistikirjoista löydät toteutustiedot, esittelyt koodin toiminnasta, koodinpätkiä, joita voit käyttää uudelleen harjoitusskripteissäsi, vuokaavioita ja kustannusten vertailuanalyysiä.

Huomaa, että molemmissa esimerkeissä sinun ei pitäisi odottaa mallin konvergoivan mielekkäällä tavalla. Tarkoituksemme on vain mitata dataliukuhihnan ja hermoverkon optimoinnin suorituskykyä aikajakson/vaiheen aikana ilmaistuna. Sinun on vertailtava omaa malliasi ja tietojoukkoasi tuottaaksesi työtaakkaasi vastaavia hintatehokkuusetuja.

Heterogeeninen klusteri, joka käyttää tf.data.service-pohjaista hajautettua datalataajaa (TensorFlow)

Tämä muistikirja osoittaa, kuinka heterogeeninen klusteri toteutetaan SageMaker-koulutuksessa TensorFlow'n avulla tf.data.service perustuva hajautettu dataputki. Koulutamme syväoppivaa tietokonenäkömallia Resnet50 joka vaatii prosessoriintensiivistä datan lisäystä. Se käyttää Horvod usean GPU:n hajautetun datan rinnakkaisuudelle.

Suoritamme työkuorman kahdessa kokoonpanossa: ensin homogeenisena klusterina, yksittäisenä ml.p4d.24xlarge-esiintymänä käyttäen standardia tf.data putki, joka esittelee suorittimen pullonkauloja, jotka johtavat alhaisempaan GPU:n käyttöasteeseen. Toisessa ajossa siirrymme yhdestä ilmentymätyypistä kahteen ilmentymäryhmään käyttämällä SageMaker-heterogeenista klusteria. Tämä ajo siirtää osan tietojen käsittelystä muihin suoritinesiintymiin (käyttäen tf.data.service).

Sen jälkeen vertaamme homogeenisia ja heterogeenisia kokoonpanoja ja löydämme tärkeimmät hintatehokkuusedut. Kuten seuraavassa taulukossa näkyy, heterogeeninen työ (86 ms/askel) on 2.2 kertaa nopeampi kouluttaa kuin homogeeninen työ (192 ms/askel), joten mallin kouluttaminen on 46 % halvempaa.

Esimerkki 1 (TF)	ml.p4d.24xl	ml.c5.18xl	Hinta per tunti*	Keskimääräinen askelaika	Kustannus askelta kohti	Hinta suorituskyvyn parantaminen
Homogeeninen	1	0	$37.688	192 ms	$0.201	.
heterogeeninen	1	2	$45.032	86 ms	$0.108	46%

* Tuntihinta perustuu us-itä-1 SageMaker on-demand-hinnoittelu

Tämä nopeuttaminen on mahdollista käyttämällä tietoryhmän tarjoamaa ylimääräistä vCPU:ta ja nopeampaa esikäsittelyä. Katso muistikirja lisätietoja ja kaavioita.

Heterogeeninen klusteri, joka käyttää gRPC-asiakas-palvelinpohjaista hajautettua datalataajaa (PyTorch)

Tämä muistikirja esittelee esimerkkityökuorman heterogeenisen klusterin avulla SageMaker-koulutukseen käyttämällä gRPC-asiakas-palvelinpohjaista hajautettua datalataajaa. Tämä esimerkki käyttää yhtä GPU:ta. Käytämme PyTorch-mallia, joka perustuu seuraavaan virallinen MNIST-esimerkki. Koulutuskoodia on muokattu niin, että se vaatii paljon tietojen esikäsittelyä. Koulutamme tätä mallia sekä homogeenisissa että heterogeenisissä klusteritiloissa ja vertaamme hintatehokkuutta.

Tässä esimerkissä oletimme, että työkuorma ei voi hyötyä useista GPU:ista ja että se on riippuvainen tietystä GPU-arkkitehtuurista (NVIDIA V100). Suoritimme sekä homogeenisia että heterogeenisia koulutustöitä ja löysimme tärkeimmät hintaedut, kuten alla olevasta taulukosta näkyy. Heterogeeninen työ (1.19 s/askel) on 6.5 kertaa nopeampi kouluttaa kuin homogeeninen työ (0.18 s/askel), joten mallin kouluttaminen on 77 % halvempaa.

Esimerkki 2 (PT)	ml.p3.2xl	ml.c5.9xl	Hinta per tunti*	Keskimääräinen askelaika	Kustannus askelta kohti	Hinta suorituskyvyn parantaminen
Homogeeninen	1	0	$3.825	1193 ms	$0.127	.
heterogeeninen	1	1	$5.661	184 ms	$0.029	77%

* Tuntihinta perustuu us-itä-1 SageMaker on-demand-hinnoittelu

Tämä on mahdollista, koska suuremmalla prosessorimäärällä voisimme käyttää 32 tiedonlataajatyöntekijää (verrattuna 8:aan ml.p3.2xlarge -sovelluksen kanssa) tietojen esikäsittelyyn ja pitää GPU:n lähes 100 % käytössä säännöllisin väliajoin. Katso muistikirja lisätietoja ja kaavioita.

Heterogeeniset klusterit Mobileyessa

Intel-yhtiö Mobileye kehittää Advanced Driver Assistance Systems (ADAS) -järjestelmiä ja autonomisia ajoneuvoteknologioita tavoitteenaan mullistaa kuljetusala, tehdä teistä turvallisempia ja pelastaa ihmishenkiä. Nämä tekniikat otetaan käyttöön kehittyneillä tietokonenäkömalleilla (CV), jotka on koulutettu SageMakerin avulla suuriin tietomääriin tallennettuun Amazonin yksinkertainen tallennuspalvelu (Amazon S3). Nämä mallit käyttävät huippuluokan syväoppimishermoverkkotekniikoita.

Huomasimme, että yhdessä CV-malleissamme suorittimen pullonkaula johtui ensisijaisesti raskaasta datan esikäsittelystä, joka johti vajaakäyttöisiin GPU:ihin. Tätä työmäärää varten aloimme etsiä vaihtoehtoisia ratkaisuja, arvioimme hajautettuja dataputkitekniikoita heterogeenisillä klustereilla, jotka perustuvat EC2-instanssiin, ja keksimme viitetoteutuksia molemmille. TensorFlow ja PyTorch. SageMaker-heterogeenisen klusterin julkaisu mahdollistaa tämän ja vastaavien työkuormien suorittamisen SageMakerissa paremman hintatehokkuuden saavuttamiseksi.

Huomioita

Heterogeenisen klusteriominaisuuden lanseerauksen myötä SageMaker tarjoaa paljon enemmän joustavuutta ilmentymätyyppien sekoittamisessa ja yhteensovittamisessa harjoittelutyössäsi. Ota kuitenkin huomioon seuraavat seikat, kun käytät tätä ominaisuutta:

• Heterogeeninen klusteriominaisuus on saatavilla SageMakerin kautta PyTorch ja TensorFlow puitearviointiluokat. Tuetut puitteet ovat PyTorch v1.10 tai uudempi ja TensorFlow v2.6 tai uudempi.
• Kaikilla ilmentymäryhmillä on sama Docker-kuva.
• Kaikilla esiintymäryhmillä on sama koulutusohjelma. Siksi harjoitusskriptiäsi tulee muokata havaitsemaan, mihin ilmentymäryhmään se kuuluu, ja haarukka toimii vastaavasti.
• Koulutusinstanssien isäntänimet (esimerkiksi alog-1, algo-2 ja niin edelleen) on määritetty satunnaisesti, eivätkä ne osoita, mihin ilmentymien ryhmään ne kuuluvat. Saadaksesi ilmentymän roolin, suosittelemme, että hankit sen ilmentymäryhmän jäsenyyden suorituksen aikana. Tämä on olennaista myös sisäänkirjautumisia tarkasteltaessa CloudWatch, koska lokivirran nimi [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] on isäntänimi.
• Hajautettua koulutusstrategiaa (yleensä MPI-klusteria) voidaan soveltaa vain yhteen esiintymäryhmään.
• SageMaker Hallitut lämpimät uima-altaat ja SageMaker Paikallinen tila ei voi tällä hetkellä käyttää heterogeenisen klusterikoulutuksen kanssa.

Yhteenveto

Tässä viestissä keskustelimme siitä, milloin ja kuinka käyttää SageMaker-koulutuksen heterogeenista klusteriominaisuutta. Osoitimme 46 %:n hintatehokkuuden parannuksen todellisessa käyttötapauksessa ja auttoimme sinua pääsemään nopeasti alkuun hajautetun datalataimen (tf.data.service ja gRPC asiakas-palvelin) toteutukset. Voit käyttää näitä toteutuksia minimaalisilla koodimuutoksilla olemassa olevissa harjoitusskripteissäsi.

Aloita kokeilemalla meidän esimerkkimuistikirjoja. Lisätietoja tästä ominaisuudesta on kohdassa Harjoittele heterogeenisen klusterin avulla.

---

Tietoja kirjoittajista

Gili Nachum on vanhempi AI/ML Specialist Solutions -arkkitehti, joka työskentelee osana EMEA-alueen Amazon Machine Learning -tiimiä. Gili on intohimoinen syväoppimismallien koulutuksen haasteista ja siitä, kuinka koneoppiminen muuttaa maailmaa sellaisena kuin me sen tunnemme. Vapaa-ajallaan Gili pelaa pöytätennistä.

Hrushikesh Gangur on johtava ratkaisuarkkitehti AI/ML-aloitusyrityksille, jolla on asiantuntemusta sekä ML Trainingista että AWS Networkingistä. Hän auttaa autonomisen ajoneuvon, robotiikan, CV:n, NLP:n, MLOpsin, ML Platformin ja Robotics Process Automation -teknologioiden startup-yrityksiä ajamaan liiketoimintaansa tehokkaasti AWS:ssä. Ennen liittymistään AWS:ään Hrushikesh hankki yli 20 vuoden kokemuksen alalta ensisijaisesti pilvi- ja data-alustoista.

Gal Oshri on vanhempi tuotepäällikkö Amazon SageMaker -tiimissä. Hänellä on 7 vuoden kokemus koneoppimistyökalujen, -kehysten ja -palveluiden parista.

Chaim Rand on koneoppimisalgoritmien kehittäjä, joka työskentelee itsenäisten ajoneuvoratkaisujen syväoppimisen ja tietokonenäkötekniikan parissa Intelin Mobileyessa. Katso hänen blogit.