Parandage oma mudelikoolituse hinda, kasutades Amazon SageMakeri heterogeenseid klastreid

See postitus on kirjutatud koos Chaim Randiga Mobileye'st.

Teatud masinõppe (ML) töökoormused, nagu arvutinägemismudelite treenimine või õppimine, hõlmavad sageli närvivõrgu mudeli koolituse GPU- või kiirendimahuka ülesande kombineerimist CPU-mahuka andmete eeltöötluse ülesandega, nagu pildi suurendamine. Kui mõlemat tüüpi ülesanded töötavad samal eksemplaritüübil, satub andmete eeltöötlus CPU-s kitsaskohta, mille tulemuseks on väiksem GPU kasutus. See probleem süveneb aja jooksul, kuna uuemate põlvkondade GPU-de läbilaskevõime kasvab järsemas tempos kui CPU-de oma.

Selle probleemi lahendamiseks tegime 2022. aasta juulis käivitatud heterogeensed klastrid Amazon SageMaker mudelkoolitus, mis võimaldab käivitada koolitustöid, mis kasutavad ühes töös erinevaid eksemplaritüüpe. See võimaldab andmete eeltöötluskonveieri osade mahalaadimist arvutustele optimeeritud eksemplari tüübid, samas kui sügava närvivõrgu (DNN) ülesanne jätkub GPU või kiirendatud andmetöötlus eksemplari tüübid. Meie etalonid näitavad kuni 46% hinnanäitaja kasu pärast heterogeensete klastrite lubamist protsessoriga seotud TensorFlow arvutinägemise mudeli koolitusel.

Sarnase kasutusjuhtumi puhul Mööbelautonoomse sõidukitehnoloogia arendusettevõttel oli jagada järgmist:

"Liigutades protsessoriga seotud süvaõppe arvutinägemise mudeli koolitust, et see töötaks üle mitme eksemplaritüübi (CPU ja GPU/ML kiirendid), kasutades tf.data.service loodud lahenduse abil õnnestus meil vähendada treenimiseks kuluvat aega 40%, vähendades samal ajal treenimise kulusid 30%. Oleme põnevil heterogeensete klastrite üle, mis võimaldavad meil seda lahendust Amazon SageMakeris käitada.

— AI Engineering, Mobileye

Selles postituses käsitleme järgmisi teemasid:

• Kuidas heterogeensed klastrid aitavad eemaldada protsessori kitsaskohti
• Millal kasutada heterogeenseid klastreid ja muid alternatiive
• Viiterakendused PyTorchis ja TensorFlow's
• Tulemuslikkuse võrdlusuuringu tulemused
• Heterogeensed klastrid Mobileye's

AWS-id kiirendatud andmetöötluseksemplar perekond sisaldab AWS-i kohandatud kiipide kiirendeid (AWS Inferentia, AWS Trainium), NVIDIA (GPU), Ja Gaudi kiirendid Habana Labsist (Inteli ettevõte). Pange tähele, et selles postituses kasutame termineid GPU ja kiirendi vaheldumisi.

Kuidas heterogeensed klastrid eemaldavad andmetöötluse kitsaskohti

Süvaõppemudeleid koolitavate andmeteadlaste eesmärk on maksimeerida koolituse kuluefektiivsust ja minimeerida koolitusaega. Selle saavutamiseks on üks optimeerimise põhieesmärk kõrge GPU-kasutus, mis on maailma kõige kallim ja napp ressurss. Amazon Elastic Compute Cloud (Amazon EC2) näide. See võib osutuda keerulisemaks ML-töökoormuste puhul, mis ühendavad klassikalise GPU-mahuka närvivõrgu mudeli edasi- ja tagasilevi protsessorimahukate ülesannetega, nagu andmetöötlus ja arvutinägemise suurendamine või keskkonnasimulatsiooni käivitamine õppimise tugevdamisel. Need töökoormused võivad lõppeda CPU-ga, kus suurema CPU-ga oleks suurem läbilaskevõime ning kiirem ja odavam koolitus, kuna olemasolevad kiirendid on osaliselt jõude. Mõnel juhul saab protsessori kitsaskohti lahendada, kui lülituda teisele kõrgema CPU:GPU suhtega eksemplari tüübile. Siiski on olukordi, kus teisele eksemplaritüübile lülitumine ei pruugi olla eksemplari perekonna arhitektuuri, salvestusruumi või võrgusõltuvuste tõttu võimalik.

Sellistes olukordades peate suurendama protsessori võimsust, segades eksemplaritüüpe: GPU-ga eksemplare koos CPU-ga. Kokkuvõttes annab see üldiselt kõrgema CPU:GPU suhte. Kuni viimase ajani piirdusid SageMakeri koolitustööd ühe valitud eksemplaritüübiga. SageMakeri heterogeensete klastrite abil saavad andmeteadlased hõlpsasti läbi viia koolitustööd mitme eksemplaritüübiga, mis võimaldab mõned olemasolevad CPU ülesanded GPU eksemplaridelt maha laadida spetsiaalsetele arvutuslikult optimeeritud CPU eksemplaridele, mille tulemuseks on suurem GPU kasutus ning kiirem ja kulukam. tõhus koolitus. Veelgi enam, tänu täiendavale CPU võimsusele saate treeningu osaks saada eeltöötlustoimingud, mida tavapäraselt tehti võrguühenduseta koolituse eeletapina. See muudab nii andmete eeltöötluse kui ka DNN-i koolituse eelduste ja hüperparameetrite itereerimise ja katsetamise kiiremaks.

Näiteks kaaluge võimsat GPU eksemplari tüüpi ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPU-d), mille CPU:GPU suhe on 12:1. Oletame, et teie koolitustöö vajab 20 vCPU-d, et töödelda piisavalt andmeid, et hoida üks GPU 100% ära. Seetõttu on kõigi 8 GPU 100% kasutusel hoidmiseks vaja 160 vCPU eksemplari tüüpi. Kuid ml.p4d.24xlarge ei sisalda 64 vCPU-d ehk 40%, mis piirab GPU kasutust 60% -ni, nagu on näidatud järgmise diagrammi vasakul. Kas teise ml.p4d.24xlarge eksemplari lisamine aitaks? Ei, kuna töö CPU:GPU suhe jääb samaks.

Heterogeensete klastrite puhul saame lisada kaks ml.c5.18xlarge (72 vCPU), nagu on näidatud diagrammi paremal. Selle klastri netoprotsessori koguarv on 210 (96+2*72), mille tulemuseks on CPU:GPU suhe 30:1. Kõik need arvutustele optimeeritud eksemplarid laaditakse maha CPU-mahuka andmetöötlusülesandega ja võimaldavad GPU tõhusat kasutamist. Vaatamata ml.c5.18xlarge lisakuludele võimaldab suurem graafikaprotsessori kasutamine kiiremat töötlemist ja seega ka kõrgemat hinnajõudlust.

Millal kasutada heterogeenseid klastreid ja muid alternatiive

Selles jaotises selgitame, kuidas tuvastada protsessori kitsaskohti, ja arutame selle lahendamist eksemplaritüübi suurendamise ja heterogeensete klastrite abil.

Kiire viis protsessori kitsaskoha tuvastamiseks on jälgida protsessorit ja GPU-d kasutusmõõdikud SageMakeri koolitustööde jaoks Amazon CloudWatch. Nendele vaadetele pääsete juurde aadressilt AWS-i juhtimiskonsool koolitustöö lehe eksemplari mõõdikute hüperlink. Valige asjakohased mõõdikud ja lülitage 5-minutilise eraldusvõime asemel 1-minutiline eraldusvõime. Pange tähele, et skaala on 100% vCPU või GPU kohta, seega võib 4 vCPU/GPU-ga eksemplari kasutusmäär olla kuni 400%. Järgmine joonis on üks selline näide CloudWatchi mõõdikutest, kus CPU on ligikaudu 100% kasutatud, mis näitab protsessori kitsaskohta, samas kui GPU on alakasutatud.

Üksikasjaliku diagnoosi saamiseks käivitage koolitustööd rakendusega Amazon SageMakeri silur ressursikasutuse oleku, statistika ja raamistiku toimingute profiilimiseks, lisades SageMakeri hindaja SageMaker Python SDK abil profiilija konfiguratsiooni. Pärast koolitustöö esitamist vaadake tulemus üle profileerija aruanne protsessori kitsaskohtade jaoks.

Kui jõuate järeldusele, et teie töö võiks kasu saada kõrgemast CPU:GPU arvutussuhtest, kaaluge esmalt skaleerimist sama eksemplariperekonna muule eksemplaritüübile, kui see on saadaval. Näiteks kui treenite oma mudelit väärtusel ml.g5.8xlarge (32 vCPU-d, 1 GPU), kaaluge skaleerimist kuni ml.g5.16xlarge (64 vCPU-d, 1 GPU). Või kui treenite oma mudelit mitme GPU-ga eksemplari ml.g5.12xlarge (48 vCPU-d, 4 GPU-d) abil, kaaluge skaleerimist kuni ml.g5.24xlarge (96 vCPU-d, 4 GPU-d). Vaadake G5 üksikasjade saamiseks näiteks perekonna spetsifikatsioon.

Mõnikord ei ole skaleerimine võimalik, kuna samas eksemplariperekonnas pole suurema vCPU:GPU suhtega eksemplaritüüpi. Näiteks kui treenite mudelit kohtadel ml.trn1.32xlarge, ml.p4d.24xlarge või ml.g5.48xlarge, peaksite SageMakeri mudelikoolituse jaoks kaaluma heterogeensete klastrite kasutamist.

Lisaks suurendamisele tahaksime märkida, et heterogeensele klastrile on täiendavaid alternatiive, nagu NVIDIA DALI, mis laadib pildi eeltöötluse GPU-sse. Lisateabe saamiseks vaadake Andmete eeltöötluse kitsaskohtade ületamine TensorFlow Data Service, NVIDIA DALI ja muude meetoditega.

Otsuste tegemise lihtsustamiseks vaadake järgmist vooskeemi.

Kuidas kasutada SageMakeri heterogeenseid klastreid

Kiireks alustamiseks võite otse hüpata selle postituse osana esitatud TensorFlow või PyTorchi näidete juurde.

Selles jaotises tutvustame lihtsa näite abil, kuidas kasutada SageMakeri heterogeenset klastrit. Eeldame, et sa juba tead, kuidas SageMaker Python SDK ja Estimator klassiga mudelit koolitada. Kui ei, siis vaadake SageMaker Python SDK kasutamine enne jätkamist.

Enne seda funktsiooni lähtestasite koolitustöö hindaja klassi rakendusega InstanceCount ja InstanceType parameetrid, mis eeldab kaudselt, et teil on ainult üks eksemplari tüüp (homogeenne klaster). Heterogeensete klastrite vabastamisega tutvustasime uut sagemaker.instance_group.InstanceGroup klass. See esindab rühma ühest või mitmest konkreetse eksemplaritüübi eksemplarist, mis on loodud täitma loogilist rolli (nt andmetöötlus või närvivõrgu optimeerimine. Teil võib olla kaks või enam rühma ja määrata iga eksemplarirühma jaoks kohandatud nimi, eksemplar. tüüp ja eksemplaride arv iga eksemplarirühma kohta SageMaker Python SDK kasutamine ja Madala taseme SageMaker API-de kasutamine.

Pärast eksemplarirühmade määratlemist peate SageMakeri lugemiseks oma treeningskripti muutma koolituskeskkonna teave mis hõlmab heterogeenset klastri konfiguratsiooni. Konfiguratsioon sisaldab teavet, nagu praegused eksemplarirühmad, iga rühma praegused hostid ja see, millises rühmas praegune host asub koos nende järjestusega. Saate oma koolitusskriptis luua loogika, et määrata eksemplarirühmad teatud koolitus- ja andmetöötlusülesannetele. Lisaks peab teie koolitusskript hoolitsema eksemplaridevahelise rühmasuhtluse või hajutatud andmete laadimismehhanismide eest (näiteks tf.data.service TensorFlow's või üldises gRPC klient-server) või mis tahes muu raamistik (näiteks Apache Spark).

Vaatame läbi lihtsa näite heterogeense koolitustöö käivitamisest ja keskkonna konfiguratsiooni lugemisest käitusajal.

1. Koolitustöö määratlemisel ja käivitamisel konfigureerime kaks eksemplarirühma, mida kasutatakse SageMakeri hindaja argumentidena:

   from sagemaker.instance_group import InstanceGroup
   data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
   dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
   
   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(...,
       entry_point='launcher.py',
       instance_groups=[data_group, dnn_group]
   )

2. Sisendpunkti koolitusskriptis (nimega launcher.py), loeme heterogeense klastri konfiguratsioonist, kas eksemplar käitab eeltöötlust või DNN-koodi:

   from sagemaker_training import environment
   env = environment.Environment()
   if env.current_instance_group == 'data_group': ...;

Sellega võtame kokku ülesanded, mida SageMaker teie nimel teeb, ja ülesanded, mille eest vastutate.

SageMaker täidab järgmisi ülesandeid:

1. Esitage erinevad eksemplaritüübid vastavalt eksemplarirühma määratlusele.
2. Sisestage sisendkanalid kõigile või konkreetsetele eksemplarirühmadele.
3. Treeningskriptide ja sõltuvuste levitamine eksemplaridele.
4. Seadistage MPI-klaster konkreetsel eksemplarirühmal, kui see on määratletud.

Vastutate järgmiste ülesannete eest:

1. Muutke oma koolituse alustamise tööskripti eksemplarirühmade määramiseks.
2. Rakendage hajutatud andmekonveier (näiteks tf.data.service).
3. Muutke oma sisenemispunkti skripti (vt launcher.py Näidismärkmikus) olema üks sisenemispunkt, mis töötab kõigil eksemplaridel, tuvastab, millises eksemplarirühmas see töötab, ja käivitab asjakohase käitumise (nt andmetöötluse või DNN-i optimeerimise).
4. Kui koolitustsükkel on läbi, peate veenduma, et teie sisenemispunkti protsess väljub kõigis eksemplarirühmades. See on oluline, sest SageMaker ootab, kuni kõik eksemplarid on töötlemise lõpetanud, enne kui märgib töö lõpetatuks ja peatab arveldamise. The launcher.py skript TensorFlow ja PyTorchi näitemärkmikus pakub viiterakendust signaalimisandmerühma eksemplaridele, et väljuda, kui DNN-i rühma eksemplarid oma töö lõpetavad.

Näidismärkmikud SageMakeri heterogeensete klastrite jaoks

Selles jaotises anname kokkuvõtte näiteks märkmikud nii TensorFlow kui ka PyTorch ML raamistike jaoks. Märkmikest leiate juurutamise üksikasjad, koodi toimimise juhised, koodilõigud, mida saate oma koolitusskriptides uuesti kasutada, vooskeemid ja kulude võrdlusanalüüs.

Pange tähele, et mõlema näite puhul ei tohiks te eeldada, et mudel ühtlustub tähendusrikkal viisil. Meie eesmärk on mõõta ainult andmekonveieri ja närvivõrgu optimeerimise läbilaskevõimet, väljendatuna epohhi/sammu ajas. Teie töökoormusele vastava hinna toimivuse eeliste saamiseks peate tegema võrdlusuuringuid oma mudeli ja andmestikuga.

Heterogeenne klaster, mis kasutab tf.data.service-põhist hajutatud andmelaadijat (TensorFlow)

see märkmik demonstreerib, kuidas rakendada TensorFlow'i abil SageMakeri koolituse jaoks heterogeenset klastrit tf.data.service põhinev hajutatud andmekonveier. Koolitame süvaõppe arvutinägemise mudelit Resnet50 mis nõuab protsessorimahukat andmete suurendamist. See kasutab Horvod mitme GPU-ga hajutatud andmete paralleelsuse jaoks.

Käitame töökoormust kahes konfiguratsioonis: esiteks homogeense klastrina, ühe ml.p4d.24xlarge eksemplarina, kasutades standardset tf.data torujuhe, mis toob esile CPU kitsaskohad, mis vähendavad GPU kasutust. Teises käitamises lülitame ühe eksemplari tüübilt kahe eksemplari rühma, kasutades SageMakeri heterogeenset klastrit. See käitamine laadib osa andmetöötlusest välja täiendavatele CPU eksemplaridele (kasutades tf.data.service).

Seejärel võrdleme homogeenseid ja heterogeenseid konfiguratsioone ning leiame peamised hinnanäitajad. Nagu on näidatud järgmises tabelis, on heterogeense töö (86 ms/samm) treenimine 2.2 korda kiirem kui homogeense töö (192 ms/samm) treenimine, mistõttu on modelli koolitamine 46% odavam.

Näide 1 (TF)	ml.p4d.24xl	ml.c5.18xl	Tunni hind*	Keskmine sammu aeg	Maksumus sammu kohta	Hinna toimivuse parandamine
Homogeenne	1	0	$37.688	192 ms	$0.201	.
Heterogeenne	1	2	$45.032	86 ms	$0.108	46%

* Tunni hind põhineb us-ida-1 SageMakeri tellitav hinnakujundus

See kiirendamine on võimalik tänu andmerühma pakutava täiendava vCPU kasutamisele ja kiiremale eeltöötlusele. Vaadake märkmik täpsemate üksikasjade ja graafikute jaoks.

Heterogeenne klaster, mis kasutab gRPC kliendi-serveripõhist hajutatud andmelaadijat (PyTorch)

see märkmik demonstreerib näidistöökoormust, kasutades heterogeenset klastrit SageMakeri koolituseks, kasutades gRPC klient-serveripõhist hajutatud andmelaadijat. See näide kasutab ühte GPU-d. Kasutame PyTorchi mudelit järgneva põhjal ametlik MNIST näide. Treeningkoodi on muudetud nii, et see oleks andmete eeltöötlusega raske. Koolitame seda mudelit nii homogeensetes kui ka heterogeensetes klastrirežiimides ja võrdleme hindu.

Selles näites eeldasime, et töökoormus ei saa kasu mitmest GPU-st ja see sõltub konkreetsest GPU arhitektuurist (NVIDIA V100). Tegime nii homogeenseid kui ka heterogeenseid koolitustöid ja leidsime olulised hinnanäitajad, nagu on näidatud järgmises tabelis. Heterogeenset tööd (1.19 s/samm) on 6.5 korda kiirem koolitada kui homogeenset tööd (0.18 s/samm), mistõttu on modelli koolitamine 77% odavam.

Näide 2 (PT)	ml.p3.2xl	ml.c5.9xl	Tunni hind*	Keskmine sammu aeg	Maksumus sammu kohta	Hinna toimivuse parandamine
Homogeenne	1	0	$3.825	1193 ms	$0.127	.
Heterogeenne	1	1	$5.661	184 ms	$0.029	77%

* Tunni hind põhineb us-ida-1 SageMakeri tellitav hinnakujundus

See on võimalik, kuna suurema CPU arvu korral saaksime andmete eeltöötlemiseks kasutada 32 andmelaadija töötajat (võrreldes 8 töötajaga ml.p3.2xlarge puhul) ja hoida GPU sagedaste ajavahemike järel 100% lähedal. Vaadake märkmik täpsemate üksikasjade ja graafikute jaoks.

Heterogeensed klastrid Mobileye's

Inteli ettevõte Mobileye arendab Advanced Driver Assistance Systems (ADAS) ja autonoomse sõiduki tehnoloogiaid eesmärgiga muuta transporditööstus revolutsiooniliseks, muuta teed ohutumaks ja päästa elusid. Need tehnoloogiad on lubatud keerukate arvutinägemise (CV) mudelite abil, mis on SageMakeri abil koolitatud suure hulga andmete salvestamiseks. Amazoni lihtne salvestusteenus (Amazon S3). Need mudelid kasutavad nüüdisaegseid süvaõppe närvivõrgu tehnikaid.

Märkasime, et ühe meie CV-mudeli puhul põhjustas protsessori kitsaskoha peamiselt andmete raske eeltöötlus, mis põhjustas vähekasutatud GPU-sid. Selle konkreetse töökoormuse jaoks hakkasime otsima alternatiivseid lahendusi, hindasime EC2 eksemplaridel põhinevaid heterogeensete klastritega hajutatud andmekonveieri tehnoloogiaid ja leidsime mõlema jaoks võrdlusrakendused. TensorFlow ja PyTorch. SageMakeri heterogeense klastri väljalaskmine võimaldab meil seda ja sarnaseid töökoormusi SageMakeris käitada, et saavutada parem hinnanäitaja.

Kaalutlused

Heterogeense klastri funktsiooni käivitamisega pakub SageMaker palju suuremat paindlikkust eksemplaritüüpide segamisel ja sobitamisel teie koolitustöö raames. Selle funktsiooni kasutamisel võtke siiski arvesse järgmist.

• Heterogeense klastri funktsioon on saadaval SageMakeri kaudu PyTorch ja TensorFlow raamistiku hindaja klassid. Toetatud raamistikud on PyTorch v1.10 või uuem ja TensorFlow v2.6 või uuem.
• Kõik eksemplarirühmad jagavad sama Dockeri kujutist.
• Kõik eksemplarirühmad jagavad sama koolitusskripti. Seetõttu tuleks teie treeningskripti muuta, et tuvastada, millisesse eksemplarirühma see kuulub, ja kahvel töötab vastavalt.
• Õppeeksemplaride hostinimed (nt alog-1, algo-2 jne) määratakse juhuslikult ega näita, millisesse eksemplarirühma nad kuuluvad. Eksemplari rolli saamiseks soovitame saada selle eksemplarirühma liikmeks käitusajal. See on asjakohane ka sisselogimiste ülevaatamisel CloudWatch, kuna logivoo nimi [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] on hostinimi.
• Hajutatud koolitusstrateegiat (tavaliselt MPI-klastrit) saab rakendada ainult ühele eksemplarirühmale.
• SageMaker Hallatavad soojad basseinid ja SageMaker Kohalik režiim ei saa praegu kasutada heterogeense klastri koolitusega.

Järeldus

Selles postituses arutasime, millal ja kuidas kasutada SageMakeri koolituse heterogeense klastri funktsiooni. Näitasime 46% hinnanäitajate paranemist reaalses kasutuses ja aitasime teil kiiresti alustada hajutatud andmelaadijaga (tf.data.service ja gRPC klient-server) rakendused. Saate neid rakendusi kasutada minimaalsete koodimuudatustega olemasolevates treeningskriptides.

Alustamiseks proovige meie näiteks märkmikud. Selle funktsiooni kohta lisateabe saamiseks vaadake Treenige heterogeense klastri abil.

---

Autoritest

Gili Nachum on vanem AI/ML spetsialistilahenduste arhitekt, kes töötab EMEA Amazonase masinõppe meeskonna osana. Gili tunneb kirglikult süvaõppe mudelite koolitamise väljakutseid ja seda, kuidas masinõpe muudab maailma sellisel kujul, nagu me seda teame. Vabal ajal mängib Gili meelsasti lauatennist.

Hrushikesh Gangur on AI/ML idufirmade peamine lahenduste arhitekt, kellel on teadmised nii ML-koolituse kui ka AWS-i võrgunduse alal. Ta aitab autonoomsete sõidukite, robootika, CV, NLP, MLOps, ML platvormi ja robootika protsesside automatiseerimise tehnoloogiate idufirmadel AWS-is tõhusalt ja tulemuslikult juhtida. Enne AWS-iga liitumist omandas Hrushikesh 20+ aastat kogemusi peamiselt pilve- ja andmeplatvormide vallas.

Gal Oshri on Amazon SageMakeri meeskonna vanem tootejuht. Tal on 7-aastane töökogemus masinõppe tööriistade, raamistike ja teenustega.

Chaim Rand on masinõppe algoritmide arendaja, kes töötab Inteli ettevõttes Mobileye autonoomsete sõidukilahenduste jaoks süvaõppe ja arvutinägemise tehnoloogiatega. Vaadake tema blogid.