Izboljšajte cenovno učinkovitost vašega usposabljanja modela z uporabo heterogenih grozdov Amazon SageMaker

To objavo je napisal skupaj s Chaimom Random iz podjetja Mobileye.

Določene delovne obremenitve s strojnim učenjem (ML), kot je usposabljanje modelov računalniškega vida ali okrepljeno učenje, pogosto vključujejo združevanje GPU-intenzivne naloge ali pospeševalnika usposabljanja modela nevronske mreže z CPE-intenzivno nalogo predprocesiranja podatkov, kot je povečanje slike. Ko se obe vrsti opravil izvajata na isti vrsti primerka, postane predprocesiranje podatkov ozko grlo na CPE, kar vodi do manjše uporabe GPE. Ta težava se sčasoma poslabša, saj prepustnost novejših generacij grafičnih procesorjev raste hitreje kot procesorjev CPE.

Da bi rešili to težavo, smo julija 2022 začela heterogeni grozdi za Amazon SageMaker model usposabljanja, ki vam omogoča zagon izobraževalnih opravil, ki uporabljajo različne vrste primerkov v enem opravilu. To omogoča razbremenitev delov cevovoda za predhodno obdelavo podatkov na računalniško optimiziran vrste primerkov, medtem ko se naloga globoke nevronske mreže (DNN) še naprej izvaja GPU ali pospešeno računalništvo vrste primerkov. Naša merila uspešnosti kažejo do 46-odstotno ugodnost cenovne učinkovitosti po omogočanju heterogenih grozdov v usposabljanju modela računalniškega vida TensorFlow, vezanega na CPE.

Za podoben primer uporabe, mobileye, podjetje za razvoj tehnologij avtonomnih vozil, je delilo tole:

»S premikanjem usposabljanja modela računalniškega vida za globoko učenje, vezanega na CPE, za izvajanje več vrst instanc (pospeševalnikov CPE in GPU/ML), z uporabo tf.data.service Na podlagi rešitve, ki smo jo zgradili, nam je uspelo skrajšati čas za usposabljanje za 40 %, hkrati pa zmanjšati stroške za usposabljanje za 30 %. Navdušeni smo nad heterogenimi grozdi, ki nam omogočajo izvajanje te rešitve na Amazon SageMaker.”

— AI Engineering, Mobileye

V tej objavi razpravljamo o naslednjih temah:

• Kako heterogeni grozdi pomagajo odstraniti ozka grla CPE
• Kdaj uporabiti heterogene grozde in druge alternative
• Referenčne implementacije v PyTorch in TensorFlow
• Rezultati primerjalne uspešnosti
• Heterogeni grozdi v Mobileye

AWS primerek pospešenega računanja družina vključuje pospeševalnike iz čipov po meri AWS (Sklepanje AWS, AWS Trainium), NVIDIA (Grafične kartice), In Gaudijevi pospeševalci iz Habana Labs (podjetje Intel). Upoštevajte, da v tej objavi izraza GPU in pospeševalnik uporabljamo zamenljivo.

Kako heterogeni grozdi odpravljajo ozka grla pri obdelavi podatkov

Podatkovni znanstveniki, ki usposabljajo modele globokega učenja, si prizadevajo povečati stroškovno učinkovitost usposabljanja in zmanjšati čas usposabljanja. Da bi to dosegli, je eden od osnovnih ciljev optimizacije visoka izkoriščenost GPE, najdražjega in redkega vira v Amazonski elastični računalniški oblak (Amazon EC2) primerek. To je lahko večji izziv pri delovnih obremenitvah ML, ki združujejo klasično GPU-intenzivno širjenje modela nevronske mreže naprej in nazaj z CPE-intenzivnimi nalogami, kot sta obdelava podatkov in razširitev v računalniškem vidu ali izvajanje simulacije okolja pri učenju s krepitvijo. Te delovne obremenitve so lahko na koncu vezane na CPE, kjer bi več CPE povzročilo večjo prepustnost ter hitrejše in cenejše usposabljanje, saj so obstoječi pospeševalniki delno nedejavni. V nekaterih primerih je mogoče ozka grla CPE rešiti s preklopom na drugo vrsto primerka z višjim razmerjem CPE:GPE. Vendar obstajajo situacije, ko preklop na drugo vrsto primerka morda ni mogoč zaradi arhitekture družine primerkov, shrambe ali odvisnosti od omrežja.

V takšnih situacijah morate povečati moč procesorja z mešanjem vrst instanc: instance z grafičnimi procesorji in CPE. Če seštejemo, to povzroči splošno višje razmerje CPE:GPE. Do nedavnega so bila izobraževalna opravila SageMaker omejena na primerke ene same izbrane vrste primerkov. S heterogenimi gručami SageMaker lahko podatkovni znanstveniki preprosto izvajajo usposabljanje z več vrstami instanc, kar omogoča razbremenitev nekaterih obstoječih nalog CPE z instanc GPE na namenske instance CPE, optimizirane za računalništvo, kar ima za posledico večjo izkoriščenost GPE ter hitrejše in dražje učinkovito usposabljanje. Poleg tega lahko z dodatno močjo procesorja naloge predprocesiranja, ki so se tradicionalno izvajale brez povezave kot predhodni korak za usposabljanje, postanejo del vašega usposabljanja. To omogoča hitrejše ponavljanje in eksperimentiranje s predprocesiranjem podatkov ter predpostavkami in hiperparametri za usposabljanje DNN.

Na primer, razmislite o zmogljivi vrsti primerka GPE, ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPE), z razmerjem CPE:GPE 12:1. Predpostavimo, da vaše delo usposabljanja potrebuje 20 vCPU-jev za vnaprejšnjo obdelavo dovolj podatkov, da bo en GPE 100-odstotno izkoriščen. Če želite ohraniti 8-odstotno izkoriščenost vseh 100 grafičnih procesorjev, potrebujete vrsto instance 160 vCPE. Vendar ml.p4d.24xlarge manjka od 64 vCPU-jev ali 40 %, kar omejuje uporabo GPE-ja na 60 %, kot je prikazano na levi strani naslednjega diagrama. Ali bi dodajanje še enega primerka ml.p4d.24xlarge pomagalo? Ne, ker bi razmerje CPE:GPE v opravilu ostalo enako.

Pri heterogenih gručah lahko dodamo dva ml.c5.18xlarge (72 vCPE), kot je prikazano na desni strani diagrama. Neto skupni vCPU v tej gruči je 210 (96+2*72), kar vodi do razmerja CPE:GPE do 30:1. Vsak od teh računalniško optimiziranih primerkov bo razbremenjen z nalogo predprocesiranja podatkov, ki zahteva CPE, in bo omogočil učinkovito uporabo GPE. Kljub dodatnim stroškom ml.c5.18xlarge višja izkoriščenost GPE omogoča hitrejšo obdelavo in s tem višjo ceno.

Kdaj uporabiti heterogene grozde in druge alternative

V tem razdelku razlagamo, kako prepoznati ozko grlo CPE, in razpravljamo o njegovem reševanju z uporabo povečanja tipa instance v primerjavi s heterogenimi gručami.

Hiter način za prepoznavanje ozkega grla CPE je spremljanje CPE in GPE metrike uporabe za delovna mesta za usposabljanje SageMaker v amazoncloudwatch. Do teh pogledov lahko dostopate iz Konzola za upravljanje AWS znotraj hiperpovezave metrike instance strani za usposabljanje. Izberite ustrezne meritve in preklopite s 5-minutne na 1-minutno ločljivost. Upoštevajte, da je lestvica 100 % na vCPE ali GPE, tako da je lahko stopnja izkoriščenosti za instanco s 4 vCPE/GPU celo 400 %. Naslednja slika je en tak primer iz meritev CloudWatch, kjer je CPE približno 100-odstotno izkoriščen, kar kaže na ozko grlo CPE, medtem ko je GPE premalo izkoriščen.

Za podrobno diagnozo zaženite usposabljanja z Napaka Amazon SageMaker za profiliranje statusa izkoriščenosti virov, statistike in operacij ogrodja, tako da dodate konfiguracijo profilerja, ko sestavite ocenjevalec SageMaker s SDK SageMaker Python. Ko oddate nalogo usposabljanja, preglejte nastalo profiler poročilo za ozka grla procesorja.

Če ugotovite, da bi vašemu delu koristilo višje računalniško razmerje CPE:GPE, najprej razmislite o povečanju na drugo vrsto instance v isti družini instanc, če je na voljo. Na primer, če usposabljate svoj model na ml.g5.8xlarge (32 vCPE, 1 GPE), razmislite o povečanju na ml.g5.16xlarge (64 vCPE, 1 GPE). Ali pa, če usposabljate svoj model z uporabo primerka z več grafičnimi procesorji ml.g5.12xlarge (48 vCPU-jev, 4 grafični procesorji), razmislite o povečanju na ml.g5.24xlarge (96 vCPU-jev, 4 grafični procesorji). Glejte na G5 specifikacijo družine primerkov za več podrobnosti.

Včasih povečevanje ni možno, ker v isti družini primerkov ni vrste primerka z višjim razmerjem vCPE:GPU. Na primer, če urite model na ml.trn1.32xlarge, ml.p4d.24xlarge ali ml.g5.48xlarge, razmislite o heterogenih grozdih za usposabljanje modela SageMaker.

Poleg povečevanja bi radi omenili, da obstajajo dodatne alternative za heterogeno gručo, kot je NVIDIA DALI, ki predobdelavo slike preloži na GPE. Za več informacij glejte Odpravljanje ozkih grl predprocesiranja podatkov s podatkovno storitvijo TensorFlow, NVIDIA DALI in drugimi metodami.

Za poenostavitev odločanja si oglejte naslednji diagram poteka.

Kako uporabljati heterogene grozde SageMaker

Če želite hitro začeti, lahko neposredno skočite na primere TensorFlow ali PyTorch, ki so na voljo kot del te objave.

V tem razdelku vas s preprostim primerom popeljemo skozi uporabo heterogene gruče SageMaker. Predvidevamo, da že veste, kako usposobiti model s SDK SageMaker Python in razredom Estimator. Če ne, se obrnite na Uporaba SDK-ja SageMaker Python preden nadaljujete.

Pred to funkcijo ste inicializirali razred ocenjevalnika učnega opravila z InstanceCount in parametra InstanceType, kar implicitno predpostavlja, da imate samo en tip primerka (homogena gruča). Z izdajo heterogenih grozdov smo uvedli novost sagemaker.instance_group.InstanceGroup razred. To predstavlja skupino enega ali več primerkov določene vrste primerkov, zasnovanih za izvajanje logične vloge (kot je obdelava podatkov ali optimizacija nevronske mreže. Lahko imate dve ali več skupin in določite ime po meri za vsako skupino primerkov, primerek vrsto in število primerkov za vsako skupino primerkov. Za več informacij glejte Uporaba SDK-ja SageMaker Python in Uporaba nizkonivojskih API-jev SageMaker.

Ko ste definirali skupine instanc, morate spremeniti vaš skript za usposabljanje, da bo prebral SageMaker informacije o okolju usposabljanja ki vključuje konfiguracijo heterogene gruče. Konfiguracija vsebuje informacije, kot so trenutne skupine primerkov, trenutni gostitelji v vsaki skupini in v kateri skupini se trenutni gostitelj nahaja z njihovo uvrstitvijo. V svojem skriptu za usposabljanje lahko zgradite logiko, da dodelite skupine primerkov določenim nalogam za usposabljanje in obdelavo podatkov. Poleg tega mora vaš skript za usposabljanje poskrbeti za skupinsko komunikacijo med instancami ali mehanizme porazdeljenega nalaganja podatkov (npr. tf.data.service v TensorFlow ali generično gRPC odjemalec-strežnik) ali kateri koli drug okvir (npr. Apache Spark).

Oglejmo si preprost primer zagona heterogenega usposabljanja in branja konfiguracije okolja med izvajanjem.

1. Ko definiramo in zaženemo opravilo usposabljanja, konfiguriramo dve skupini primerkov, ki se uporabljata kot argumenta za ocenjevalec SageMaker:

   from sagemaker.instance_group import InstanceGroup
   data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
   dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
   
   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(...,
       entry_point='launcher.py',
       instance_groups=[data_group, dnn_group]
   )

2. Na skripti za usposabljanje vstopne točke (imenovano launcher.py), preberemo konfiguracijo heterogene gruče glede na to, ali bo instanca izvajala predprocesiranje ali kodo DNN:

   from sagemaker_training import environment
   env = environment.Environment()
   if env.current_instance_group == 'data_group': ...;

S tem povzamemo naloge, ki jih SageMaker opravlja v vašem imenu, in naloge, za katere ste odgovorni.

SageMaker opravlja naslednje naloge:

1. Zagotavljanje različnih vrst primerkov glede na definicijo skupine primerkov.
2. Omogočite vhodne kanale za vse ali določene skupine primerkov.
3. Razdelite skripte za usposabljanje in odvisnosti primerkom.
4. Nastavite gručo MPI na določeno skupino primerkov, če je definirana.

Odgovorni ste za naslednje naloge:

1. Spremenite skript opravila za začetek usposabljanja, da podate skupine primerkov.
2. Izvedite porazdeljeni podatkovni cevovod (npr. tf.data.service).
3. Spremenite skript vstopne točke (glejte launcher.py v zglednem zvezku), da bo ena sama vstopna točka, ki se bo izvajala na vseh primerkih, zaznala, v kateri skupini primerkov se izvaja, in sprožila ustrezno vedenje (kot je obdelava podatkov ali optimizacija DNN).
4. Ko je učna zanka končana, se morate prepričati, da se vaš proces vstopne točke izstopi na vseh instancah v vseh skupinah instanc. To je pomembno, ker SageMaker počaka, da se vsi primerki končajo z obdelavo, preden opravilo označi kot dokončano in preneha zaračunavati. The launcher.py skript v vzorčnih zvezkih TensorFlow in PyTorch zagotavlja referenčno izvedbo signaliziranja primerkov podatkovne skupine za izhod, ko primerki skupine DNN končajo svoje delo.

Primeri prenosnih računalnikov za heterogene grozde SageMaker

V tem razdelku ponujamo povzetek primeri zvezkov za ogrodja TensorFlow in PyTorch ML. V zvezkih lahko najdete podrobnosti izvedbe, navodila za delovanje kode, delčke kode, ki bi jih lahko ponovno uporabili v svojih skriptih za usposabljanje, diagrame poteka in analizo primerjave stroškov.

Upoštevajte, da v obeh primerih ne smete pričakovati, da bo model konvergiral na smiseln način. Naš namen je le izmeriti prepustnost optimizacije podatkovnega cevovoda in nevronske mreže, izraženo v času epohe/koraka. Morate primerjati z lastnim modelom in naborom podatkov, da ustvarite ugodnosti cenovne uspešnosti, ki ustrezajo vaši delovni obremenitvi.

Heterogena gruča z uporabo porazdeljenega nalagalnika podatkov, ki temelji na tf.data.service (TensorFlow)

Ta prenosnik prikazuje, kako implementirati heterogeno gručo za usposabljanje SageMaker z uporabo TensorFlow tf.data.service cevovod porazdeljenih podatkov. Urimo model računalniškega vida za globoko učenje Resnet50 ki zahteva CPE-intenzivno povečanje podatkov. Uporablja se Horvod za paralelizem porazdeljenih podatkov z več GPE.

Delovno obremenitev izvajamo v dveh konfiguracijah: najprej kot homogena gruča, en sam primerek ml.p4d.24xlarge, z uporabo standardnega tf.data cevovoda, ki prikazuje ozka grla CPE, ki vodijo do manjše uporabe GPE. V drugem zagonu preklopimo z ene vrste instance na dve skupini instanc z uporabo heterogene gruče SageMaker. Ta zagon razbremeni nekaj obdelave podatkov na dodatne instance CPE (z uporabo tf.data.service).

Nato primerjamo homogene in heterogene konfiguracije ter poiščemo ključne prednosti cenovne učinkovitosti. Kot je prikazano v naslednji tabeli, je heterogeno opravilo (86 ms/korak) 2.2-krat hitrejše za usposabljanje kot homogeno opravilo (192 ms/korak), zaradi česar je usposabljanje modela 46 % cenejše.

Primer 1 (TF)	ml.p4d.24xl	ml.c5.18xl	Cena na uro*	Povprečni čas koraka	Cena na korak	Izboljšanje cenovne uspešnosti
Homogena	1	0	$37.688	192 ms	$0.201	.
Heterogena	1	2	$45.032	86 ms	$0.108	46%

* Cena na uro temelji na us-east-1 Cene SageMaker na zahtevo

Ta pospešek je omogočen z uporabo dodatnega vCPU-ja, ki ga zagotavlja podatkovna skupina, in hitrejše predprocesiranje. Glej prenosnik za več podrobnosti in grafov.

Heterogena gruča z uporabo porazdeljenega nalagalnika podatkov gRPC na podlagi odjemalca in strežnika (PyTorch)

Ta prenosnik prikazuje vzorčno delovno obremenitev z uporabo heterogene gruče za usposabljanje SageMaker z uporabo porazdeljenega nalagalnika podatkov gRPC, ki temelji na odjemalcu in strežniku. Ta primer uporablja en sam GPE. Model PyTorch uporabljamo na podlagi naslednjega uradni primer MNIST. Koda za usposabljanje je bila spremenjena tako, da je obremenjena s predhodno obdelavo podatkov. Ta model usposabljamo v načinih homogenih in heterogenih grozdov ter primerjamo cenovno uspešnost.

V tem primeru smo domnevali, da delovna obremenitev ne more imeti koristi od več grafičnih procesorjev in je odvisna od specifične arhitekture GPE (NVIDIA V100). Izvajali smo tako homogena kot heterogena usposabljanja in ugotovili ključne prednosti cenovne uspešnosti, kot je prikazano v naslednji tabeli. Heterogeno opravilo (1.19 s/korak) je 6.5-krat hitrejše za usposabljanje kot homogeno opravilo (0.18 s/korak), zaradi česar je usposabljanje modela 77 % cenejše.

Primer 2 (PT)	ml.p3.2xl	ml.c5.9xl	Cena na uro*	Povprečni čas koraka	Cena na korak	Izboljšanje cenovne uspešnosti
Homogena	1	0	$3.825	1193 ms	$0.127	.
Heterogena	1	1	$5.661	184 ms	$0.029	77%

* Cena na uro temelji na us-east-1 Cene SageMaker na zahtevo

To je mogoče, ker bi z večjim številom procesorjev lahko uporabili 32 delavcev nalagalnika podatkov (v primerjavi z 8 z ml.p3.2xlarge) za predhodno obdelavo podatkov in ohranjali GPU blizu 100-odstotno izkoriščenega v pogostih intervalih. Glej prenosnik za več podrobnosti in grafov.

Heterogeni grozdi v Mobileye

Mobileye, podjetje Intel, razvija napredne sisteme za pomoč voznikom (ADAS) in tehnologije avtonomnih vozil s ciljem revolucioniranja transportne industrije, ustvarjanja varnejših cest in reševanja življenj. Te tehnologije so omogočene z uporabo sofisticiranih modelov računalniškega vida (CV), ki se učijo z uporabo SageMaker na velikih količinah podatkov, shranjenih v Preprosta storitev shranjevanja Amazon (Amazon S3). Ti modeli uporabljajo najsodobnejše tehnike nevronske mreže globokega učenja.

Opazili smo, da je pri enem od naših modelov CV ozko grlo CPE povzročilo predvsem obsežno predprocesiranje podatkov, ki je povzročilo premalo izkoriščene GPE. Za to specifično delovno obremenitev smo začeli iskati alternativne rešitve, ovrednotili tehnologije porazdeljenih podatkovnih cevovodov s heterogenimi grozdi na podlagi primerkov EC2 in pripravili referenčne izvedbe za obe TensorFlow in PyTorch. Izdaja heterogene gruče SageMaker nam omogoča izvajanje te in podobnih delovnih obremenitev na SageMakerju, da dosežemo izboljšano cenovno učinkovitost.

Premisleki

Z uvedbo funkcije heterogene gruče SageMaker ponuja veliko večjo prilagodljivost pri mešanju in ujemanju vrst instanc znotraj vašega izobraževalnega dela. Vendar pri uporabi te funkcije upoštevajte naslednje:

• Funkcija heterogene gruče je na voljo prek SageMakerja PyTorch in TensorFlow razredi okvirnih ocenjevalcev. Podprta ogrodja so PyTorch v1.10 ali novejši in TensorFlow v2.6 ali novejši.
• Vse skupine primerkov imajo skupno sliko Docker.
• Vse skupine instanc imajo isti skript za usposabljanje. Zato je treba vaš skript za usposabljanje spremeniti tako, da bo zaznal, kateri skupini primerkov pripada, in se ustrezno zagnal.
• Imena gostiteljev primerkov za usposabljanje (na primer alog-1, algo-2 itd.) so naključno dodeljena in ne kažejo, kateri skupini primerkov pripadajo. Če želite pridobiti vlogo primerka, priporočamo, da pridobite njegovo članstvo v skupini primerkov med izvajanjem. To je pomembno tudi pri pregledovanju prijav CloudWatch, ker ime toka dnevnika [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] ima ime gostitelja.
• Strategijo porazdeljenega usposabljanja (običajno gruča MPI) je mogoče uporabiti samo za eno skupino primerkov.
• SageMaker Upravljani topli bazeni in SageMaker Lokalni način trenutno ni mogoče uporabiti s heterogenim usposabljanjem v grozdu.

zaključek

V tem prispevku smo razpravljali o tem, kdaj in kako uporabiti funkcijo heterogenih gruč pri usposabljanju SageMaker. Dokazali smo 46-odstotno izboljšanje cenovne uspešnosti na primeru uporabe v resničnem svetu in vam pomagali hitro začeti uporabljati porazdeljeni nalagalnik podatkov (tf.data.service in gRPC odjemalec-strežnik). Te izvedbe lahko uporabite z minimalnimi spremembami kode v vaših obstoječih skriptih za usposabljanje.

Za začetek preizkusite naše primeri zvezkov. Če želite izvedeti več o tej funkciji, glejte Usposabljanje z uporabo heterogene gruče.

---

O avtorjih

Gili Nachum je višji AI/ML Specialist Solutions Architect, ki dela kot del skupine EMEA Amazon Machine Learning. Gili je navdušen nad izzivi usposabljanja modelov globokega učenja in nad tem, kako strojno učenje spreminja svet, kot ga poznamo. V prostem času Gili rad igra namizni tenis.

Hrushikesh Gangur je glavni arhitekt rešitev za zagonska podjetja AI/ML s strokovnim znanjem tako na področju usposabljanja ML kot mreženja AWS. Pomaga startupom na področju tehnologij avtonomnih vozil, robotike, življenjepisov, NLP-ja, MLOps, platforme ML in avtomatizacije robotskih procesov pri učinkovitem in uspešnem vodenju poslovanja na AWS. Preden se je pridružil AWS, je Hrushikesh pridobil več kot 20 let izkušenj v panogi predvsem v zvezi s platformami v oblaku in podatkih.

Gal Oshri je višji produktni vodja v ekipi Amazon SageMaker. Ima 7 let izkušenj z delom na orodjih, ogrodjih in storitvah strojnega učenja.

Chaim Rand je razvijalec algoritmov strojnega učenja, ki dela na tehnologijah globokega učenja in računalniškega vida za rešitve za avtonomna vozila pri Mobileye, podjetju Intel. Preverite njegovo blogi.