Javítsa modellképzésének árteljesítményét az Amazon SageMaker heterogén klaszterek használatával

Ezt a bejegyzést Chaim Randdal közösen írták a Mobileye-tól.

Bizonyos gépi tanulási (ML) munkaterhelések, mint például a számítógépes látásmodellek betanítása vagy a megerősített tanulás gyakran magukban foglalják a neurális hálózati modellképzés GPU- vagy gyorsítóintenzív feladatának kombinálását a CPU-igényes adat-előfeldolgozási feladattal, például a képkiegészítéssel. Ha mindkét típusú feladat ugyanazon a példánytípuson fut, az adat-előfeldolgozás szűk keresztmetszetet kap a CPU-n, ami alacsonyabb GPU-kihasználtsághoz vezet. Ez a probléma idővel súlyosbodik, mivel az újabb generációs GPU-k átviteli sebessége meredekebb ütemben növekszik, mint a CPU-ké.

A probléma megoldása érdekében 2022 júliusában indított heterogén klaszterek számára Amazon SageMaker modellképzés, amely lehetővé teszi olyan képzési munkák indítását, amelyek különböző példánytípusokat használnak egyetlen feladatban. Ez lehetővé teszi az adat-előfeldolgozási folyamat egyes részeinek áttöltését számításra optimalizált példánytípusok, míg a mély neurális hálózat (DNN) feladat továbbra is fut GPU vagy gyorsított számítástechnika példánytípusok. Referenciaértékeink akár 46%-os ár-teljesítmény-előnyt is mutatnak, miután a CPU-hoz kötött TensorFlow számítógépes látásmodell-oktatásban lehetővé tették a heterogén klasztereket.

Hasonló felhasználási esetre mobileye, egy autonóm járműtechnológiákat fejlesztő cég, megosztaná a következőt:

„A CPU-hoz kötött mélytanulási számítógépes látásmodell-képzés áthelyezésével több példánytípuson (CPU és GPU/ML-gyorsítók) futtatható, egy tf.data.service Az általunk kifejlesztett alapú megoldással 40%-kal sikerült csökkentenünk az edzéshez szükséges időt, miközben 30%-kal csökkentettük az edzés költségeit. Izgatottak vagyunk a heterogén fürtök miatt, amelyek lehetővé teszik számunkra, hogy ezt a megoldást az Amazon SageMakeren futtassuk.”

– AI Engineering, Mobileye

Ebben a bejegyzésben a következő témákat tárgyaljuk:

• Hogyan segítenek a heterogén klaszterek eltávolítani a CPU szűk keresztmetszeteit
• Mikor érdemes heterogén klasztereket és más alternatívákat használni
• Referencia-megvalósítások PyTorch és TensorFlow programban
• Teljesítmény-benchmark eredmények
• Heterogén klaszterek a Mobileye-nál

AWS-ek gyorsított számítási példány a család az AWS egyedi chipekből származó gyorsítókat tartalmaz (AWS Inferentia, AWS Trainium), NVIDIA (GPU), És Gaudi gyorsítók a Habana Labs-tól (Intel cég). Vegye figyelembe, hogy ebben a bejegyzésben a GPU és a gyorsító kifejezéseket felcserélhetően használjuk.

Hogyan távolítják el a heterogén klaszterek az adatfeldolgozási szűk keresztmetszeteket

A mély tanulási modelleket oktató adattudósok célja a képzés költséghatékonyságának maximalizálása és a képzési idő minimalizálása. Ennek elérése érdekében az egyik alapvető optimalizálási cél a magas GPU kihasználtság, a legdrágább és legszűkebb erőforrás a piacon. Amazon rugalmas számítási felhő (Amazon EC2) példány. Ez nagyobb kihívást jelenthet az olyan ML munkaterheléseknél, amelyek a klasszikus GPU-igényes neurális hálózati modell előre és hátra terjedését CPU-igényes feladatokkal kombinálják, mint például az adatfeldolgozás és a számítógépes látás bővítése, vagy a környezetszimuláció futtatása a megerősítő tanulásban. Ezek a terhelések végül CPU-hoz kötöttek, ahol több CPU nagyobb átviteli sebességet, valamint gyorsabb és olcsóbb képzést eredményez, mivel a meglévő gyorsítók részben tétlenek. Egyes esetekben a CPU szűk keresztmetszete megoldható, ha másik, magasabb CPU:GPU arányú példánytípusra váltunk. Vannak azonban olyan helyzetek, amikor a példánycsalád architektúrája, tárolása vagy hálózati függőségei miatt előfordulhat, hogy nem lehet másik példánytípusra váltani.

Ilyen helyzetekben növelni kell a CPU teljesítményét a példánytípusok keverésével: a GPU-val rendelkező példányokat a CPU-val együtt. Összességében ez összességében magasabb CPU:GPU arányt eredményez. Egészen a közelmúltig a SageMaker képzési munkái egyetlen kiválasztott példánytípus példányaira korlátozódtak. A SageMaker heterogén fürtjeivel az adattudósok könnyen futtathatnak egy oktatási feladatot több példánytípussal, ami lehetővé teszi a meglévő CPU-feladatok egy részének átrakását a GPU-példányokból a dedikált, számításokra optimalizált CPU-példányokra, ami magasabb GPU-kihasználást, valamint gyorsabb és költségesebb hatékony képzés. Sőt, az extra CPU-teljesítménynek köszönhetően olyan előfeldolgozási feladatok is beépíthetők a képzési munkádba, amelyeket hagyományosan offline végeztek el a képzéshez. Ez gyorsabbá teszi az iterációt és a kísérletezést mind az adat-előfeldolgozási, mind a DNN betanítási feltevések és hiperparaméterek tekintetében.

Vegyünk például egy nagy teljesítményű GPU-példánytípust, ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPU-k), 12:1 CPU:GPU aránnyal. Tegyük fel, hogy a képzési munkának 20 vCPU-ra van szüksége ahhoz, hogy elegendő adatot feldolgozzon ahhoz, hogy egy GPU 100%-ban kihasznált legyen. Ezért ahhoz, hogy mind a 8 GPU-t 100%-ban kihasználják, 160 vCPU-s példánytípusra van szükség. Az ml.p4d.24xlarge azonban nem rendelkezik 64 vCPU-val, vagyis 40%-kal, ami 60%-ra korlátozza a GPU kihasználtságát, amint az a következő diagram bal oldalán látható. Segítene egy másik ml.p4d.24xlarge példány hozzáadása? Nem, mert a feladat CPU:GPU aránya változatlan maradna.

Heterogén klasztereknél két ml.c5.18xlarge (72 vCPU) adható hozzá, amint az a diagram jobb oldalán látható. A teljes nettó vCPU ebben a fürtben 210 (96+2*72), ami 30:1 CPU:GPU arányt eredményez. A számításokra optimalizált példányok mindegyike adat-előfeldolgozási CPU-igényes feladattal lesz terhelve, és lehetővé teszi a hatékony GPU-kihasználást. Az ml.c5.18xlarge többletköltsége ellenére a magasabb GPU-kihasználás gyorsabb feldolgozást tesz lehetővé, és ezáltal magasabb ár-teljesítmény-előnyöket tesz lehetővé.

Mikor érdemes heterogén klasztereket és más alternatívákat használni

Ebben a részben elmagyarázzuk, hogyan lehet azonosítani a CPU szűk keresztmetszetét, és megvitatjuk annak megoldását a példánytípus méretezése és a heterogén fürtök használatával.

A CPU szűk keresztmetszete azonosításának gyors módja a CPU és a GPU figyelése felhasználási mutatók a SageMaker képzési munkákhoz amazonfelhőóra. Ezeket a nézeteket a AWS felügyeleti konzol a képzési munka oldal példánymérőinek hiperhivatkozásán belül. Válassza ki a megfelelő mutatókat, és váltson 5 perces felbontásról 1 percesre. Vegye figyelembe, hogy a skála 100% vCPU-nként vagy GPU-nként, így a 4 vCPU-val/GPU-val rendelkező példány kihasználtsága akár 400% is lehet. A következő ábra egy ilyen példa a CloudWatch mérőszámaiból, ahol a CPU körülbelül 100%-ban kihasznált, ami a CPU szűk keresztmetszetét jelzi, míg a GPU kihasználatlan.

A részletes diagnózis érdekében futtassa a képzési feladatokat a következővel: Amazon SageMaker Debugger az erőforrás-kihasználtsági állapot, a statisztikák és a keretműveletek profilozására profilkészítő konfiguráció hozzáadásával, amikor SageMaker becslést készít a SageMaker Python SDK használatával. A képzési feladat elküldése után tekintse át az eredményt profilkészítő jelentés CPU szűk keresztmetszetek miatt.

Ha arra a következtetésre jut, hogy a munkája számára előnyös lehet a magasabb CPU:GPU számítási arány, először fontolja meg a méretezést egy másik példánytípusra ugyanabban a példánycsaládban, ha van ilyen. Például, ha a modelljét az ml.g5.8xlarge-re (32 vCPU, 1 GPU) tanítja, fontolja meg a méretezését ml.g5.16xlarge-re (64 vCPU, 1 GPU). Vagy ha a modelljét több GPU-s példány ml.g5.12xlarge (48 vCPU, 4 GPU) használatával oktatja, fontolja meg a méretezését ml.g5.24xlarge (96 vCPU, 4 GPU) értékre. Utal G5 példánycsalád specifikációja további részletekért.

Néha a méretezés nem választható, mert nincs nagyobb vCPU:GPU arányú példánytípus ugyanabban a példánycsaládban. Például, ha a modellt az ml.trn1.32xlarge, ml.p4d.24xlarge, vagy ml.g5.48xlarge, érdemes megfontolni a heterogén klasztereket a SageMaker modellképzéshez.

A skálázáson kívül szeretnénk megjegyezni, hogy vannak további alternatívák a heterogén fürtök számára, mint például az NVIDIA DALI, amely lerakja a kép előfeldolgozását a GPU-ra. További információkért lásd: Az adat-előfeldolgozási szűk keresztmetszetek leküzdése a TensorFlow Data Service, az NVIDIA DALI és más módszerekkel.

A döntéshozatal egyszerűsítése érdekében tekintse meg a következő folyamatábrát.

A SageMaker heterogén klaszterek használata

A gyors kezdéshez közvetlenül ugorjon a TensorFlow vagy a PyTorch példáihoz, amelyek a bejegyzés részeként szolgálnak.

Ebben a részben egy egyszerű példán keresztül végigvezetjük a SageMaker heterogén fürt használatán. Feltételezzük, hogy már tudja, hogyan kell betanítani egy modellt a SageMaker Python SDK és az Estimator osztály segítségével. Ha nem, nézze meg A SageMaker Python SDK használata mielőtt folytatná.

A szolgáltatás előtt inicializálta a képzési feladat Becslő osztályát a következővel InstanceCount és InstanceType paraméterek, amelyek implicit módon azt feltételezik, hogy csak egyetlen példánytípussal rendelkezik (egy homogén fürt). A heterogén klaszterek megjelenésével bevezettük az új sagemaker.instance_group.InstanceGroup osztály. Ez egy adott példánytípus egy vagy több példányának csoportját jelöli, amely logikai szerepet tölt be (például adatfeldolgozás vagy neurális hálózat optimalizálás. Két vagy több csoportja lehet, és minden példánycsoporthoz egyéni nevet adjon meg, a példánynak típusát, és az egyes példánycsoportokhoz tartozó példányok számát A SageMaker Python SDK használata és a Az alacsony szintű SageMaker API-k használata.

Miután meghatározta a példánycsoportokat, módosítania kell a betanító szkriptet a SageMaker olvasásához képzési környezet információi amely magában foglalja a heterogén klaszterkonfigurációt. A konfiguráció olyan információkat tartalmaz, mint az aktuális példánycsoportok, az egyes csoportok jelenlegi gazdagépei, és hogy az aktuális gazdagép melyik csoportban található a rangsorukkal együtt. A betanítási parancsfájlban logikát építhet a példánycsoportok hozzárendeléséhez bizonyos betanítási és adatfeldolgozási feladatokhoz. Ezenkívül a betanító szkriptnek gondoskodnia kell a példányok közötti csoportos kommunikációról vagy az elosztott adatbetöltési mechanizmusokról (pl. tf.data.service TensorFlow-ban vagy általános gRPC kliens-szerver) vagy bármilyen más keretrendszer (pl. Apache Spark).

Nézzünk meg egy egyszerű példát egy heterogén betanítási feladat elindítására és a környezetkonfiguráció futás közbeni olvasására.

1. A betanítási feladat meghatározásakor és elindításakor két példánycsoportot konfigurálunk, amelyeket a SageMaker becslő argumentumaként használunk:

   from sagemaker.instance_group import InstanceGroup
   data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
   dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
   
   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(...,
       entry_point='launcher.py',
       instance_groups=[data_group, dnn_group]
   )

2. A belépési pont képzési szkriptjén (névvel launcher.py), beolvassuk a heterogén fürtkonfigurációt, hogy a példány az előfeldolgozást vagy a DNN-kódot fogja-e futtatni:

   from sagemaker_training import environment
   env = environment.Environment()
   if env.current_instance_group == 'data_group': ...;

Ezzel foglaljuk össze a SageMaker által az Ön nevében végzett feladatokat, és azokat a feladatokat, amelyekért Ön felelős.

A SageMaker a következő feladatokat hajtja végre:

1. Különböző példánytípusok biztosítása a példánycsoport definíciója szerint.
2. Bemeneti csatornák biztosítása az összes vagy adott példánycsoporthoz.
3. Oktató szkriptek és függőségek szétosztása a példányok között.
4. Állítson be egy MPI-fürtöt egy adott példánycsoporton, ha definiálva van.

Ön az alábbi feladatokért felelős:

1. Módosítsa a Start training job parancsfájlt a példánycsoportok megadásához.
2. Valósítson meg egy elosztott adatfolyamot (pl. tf.data.service).
3. Módosítsa a belépési pont szkriptjét (lásd launcher.py a példajegyzetfüzetben), hogy egyetlen belépési pont legyen, amely az összes példányon fut, észleli, hogy melyik példánycsoportban fut, és elindítja a megfelelő viselkedést (például adatfeldolgozást vagy DNN-optimalizálást).
4. Amikor a betanítási hurok véget ért, meg kell győződnie arról, hogy a belépési pont folyamata az összes példányon az összes példánycsoportban kilép. Ez azért fontos, mert a SageMaker megvárja, amíg az összes példány befejezi a feldolgozást, mielőtt befejezettként jelölné meg a feladatot, és leállítja a számlázást. Az launcher.py A TensorFlow és a PyTorch példajegyzetfüzetekben található szkript referencia-megvalósítást biztosít a jelzési adatcsoport-példányokhoz, amelyek kilépnek, amikor a DNN-csoportpéldányok befejezik munkájukat.

Példa jegyzetfüzetekre a SageMaker heterogén klaszterekhez

Ebben a részben összefoglaljuk a példafüzetek mind a TensorFlow, mind a PyTorch ML keretrendszerhez. A jegyzetfüzetekben megtalálhatja a megvalósítás részleteit, a kód működésére vonatkozó áttekintéseket, kódrészleteket, amelyeket újra felhasználhat a képzési szkriptekben, folyamatábrákban és költség-összehasonlító elemzésben.

Vegye figyelembe, hogy mindkét példában nem szabad elvárnia, hogy a modell értelmes módon konvergáljon. Célunk csak az adatcsővezeték és a neurális hálózat optimalizálási átviteli sebességének mérése korszak/lépésidőben kifejezve. A saját modelljével és adatkészletével kell összehasonlítania, hogy a munkaterhelésének megfelelő ár-teljesítmény-előnyökhöz jusson.

Heterogén fürt tf.data.service alapú elosztott adatbetöltővel (TensorFlow)

Ezt jegyzetfüzet bemutatja, hogyan lehet megvalósítani egy heterogén klasztert a SageMaker képzéshez a TensorFlow segítségével tf.data.service alapú elosztott adatfolyam. Egy mélytanuló számítógépes látásmodell képzését végezzük Resnet50 amelyhez CPU-igényes adatbővítés szükséges. Használja Horvod több GPU-val elosztott adatok párhuzamosságához.

A munkaterhelést két konfigurációban futtatjuk: először homogén fürtként, egyetlen ml.p4d.24xlarge példányként, szabványos tf.data csővezeték, amely bemutatja a CPU szűk keresztmetszeteit, ami alacsonyabb GPU-kihasználást eredményez. A második futtatásban egyetlen példánytípusról két példánycsoportra váltunk egy SageMaker heterogén fürt segítségével. Ez a futtatás az adatfeldolgozás egy részét további CPU-példányokra terheli (a tf.data.service).

Ezután összehasonlítjuk a homogén és heterogén konfigurációkat, és megtaláljuk a legfontosabb ár-előnyöket. Ahogy a következő táblázat mutatja, a heterogén munka (86 ms/lépés) 2.2-szer gyorsabban betanítható, mint a homogén munka (192 ms/lépés), így 46%-kal olcsóbb egy modell betanítása.

1. példa (TF)	ml.p4d.24xl	ml.c5.18xl	Óra ár*	Átlagos lépésidő	Lépésenkénti költség	Árteljesítmény javítása
Homogén	1	0	$37.688	192 ms	$0.201	.
Heterogén	1	2	$45.032	86 ms	$0.108	46%

* Az óránkénti ár a us-kelet-1-re vonatkozik SageMaker igény szerinti árképzés

Ezt a gyorsítást az adatcsoport által biztosított extra vCPU és a gyorsabb előfeldolgozás teszi lehetővé. Lásd a jegyzetfüzet további részletekért és grafikonokért.

Heterogén fürt gRPC kliens-szerver alapú elosztott adatbetöltővel (PyTorch)

Ezt jegyzetfüzet egy minta munkaterhelést mutat be heterogén fürt használatával a SageMaker képzéshez, egy gRPC kliens-szerver alapú elosztott adatbetöltő használatával. Ez a példa egyetlen GPU-t használ. A PyTorch modellt a következők alapján használjuk hivatalos MNIST példa. A betanítási kódot úgy módosították, hogy megterhelje az adatok előfeldolgozását. Ezt a modellt homogén és heterogén klaszter módban is betanítjuk, és összehasonlítjuk az árteljesítményt.

Ebben a példában azt feltételeztük, hogy a munkaterhelés nem profitál több GPU-ból, és egy adott GPU architektúrától függ (NVIDIA V100). Homogén és heterogén képzési munkákat is végeztünk, és kulcsfontosságú ár-teljesítmény-előnyöket találtunk, amint azt az alábbi táblázat mutatja. A heterogén munka (1.19 mp/lépés) 6.5-szer gyorsabban betanítható, mint a homogén munka (0.18 mp/lépés), így 77%-kal olcsóbb egy modell betanítása.

2. példa (PT)	ml.p3.2xl	ml.c5.9xl	Óra ár*	Átlagos lépésidő	Lépésenkénti költség	Árteljesítmény javítása
Homogén	1	0	$3.825	1193 ms	$0.127	.
Heterogén	1	1	$5.661	184 ms	$0.029	77%

* Az óránkénti ár a us-kelet-1-re vonatkozik SageMaker igény szerinti árképzés

Ez azért lehetséges, mert nagyobb CPU-szám mellett 32 adatbetöltő dolgozót használhatunk (az ml.p8xlarge esetén 3.2-hoz képest) az adatok előfeldolgozásához, és a GPU-t gyakori időközönként 100%-os kihasználtság mellett tartjuk. Lásd a jegyzetfüzet további részletekért és grafikonokért.

Heterogén klaszterek a Mobileye-nál

A Mobileye, az Intel vállalata Advanced Driver Assistance Systems (ADAS) és autonóm járműtechnológiákat fejleszt azzal a céllal, hogy forradalmasítsa a közlekedési ipart, biztonságosabbá tegye az utakat és életeket mentsen. Ezeket a technológiákat kifinomult számítógépes látás (CV) modellek teszik lehetővé, amelyeket a SageMaker segítségével tanítanak meg a nagy mennyiségű, Amazon egyszerű tárolási szolgáltatás (Amazon S3). Ezek a modellek a legmodernebb mély tanulási neurális hálózati technikákat alkalmaznak.

Észrevettük, hogy az egyik CV-modellünknél a CPU szűk keresztmetszetét elsősorban a súlyos adat-előfeldolgozás okozta, amely alulkihasznált GPU-khoz vezetett. Ehhez a konkrét munkaterheléshez elkezdtünk alternatív megoldásokat keresni, kiértékeltük az elosztott adatfolyam-technológiákat heterogén fürtökkel EC2-példányokon alapulva, és referencia-megvalósításokat dolgoztunk ki mindkettőhöz. TensorFlow és a PyTorch. A SageMaker heterogén fürt kiadása lehetővé teszi számunkra, hogy ezt és hasonló munkaterheléseket futtassunk a SageMakeren, hogy jobb árteljesítmény-előnyöket érjünk el.

Szempontok

A heterogén fürt funkció elindításával a SageMaker sokkal nagyobb rugalmasságot kínál a példánytípusok keverésében és egyeztetésében a képzési munkán belül. Ennek a funkciónak a használatakor azonban vegye figyelembe a következőket:

• A heterogén fürt funkció a SageMakeren keresztül érhető el PyTorch és a TensorFlow keretbecslő osztályok. A támogatott keretrendszerek a PyTorch v1.10 vagy újabb és a TensorFlow v2.6 vagy újabb.
• Minden példánycsoport ugyanazt a Docker-képet használja.
• Minden példánycsoport ugyanazt a tanítási parancsfájlt használja. Ezért a betanító parancsfájlt módosítani kell, hogy észlelje, melyik példánycsoporthoz tartozik, és ennek megfelelően futni kell.
• A betanító példányok gazdagépnevei (például alog-1, algo-2 és így tovább) véletlenszerűen vannak hozzárendelve, és nem jelzik, hogy melyik példánycsoporthoz tartoznak. A példány szerepkörének megszerzéséhez javasoljuk, hogy futás közben szerezze be a példánycsoport-tagságát. Ez a bejelentkezések ellenőrzésekor is releváns CloudWatch, mert a naplófolyam neve [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] rendelkezik a gazdagépnévvel.
• Egy elosztott képzési stratégia (általában egy MPI-fürt) csak egy példánycsoportra alkalmazható.
• SageMaker Kezelt meleg medencék és a SageMaker Helyi mód jelenleg nem használható heterogén klaszterképzéssel.

Következtetés

Ebben a bejegyzésben megvitattuk, mikor és hogyan kell használni a SageMaker képzés heterogén klaszter funkcióját. Valós használat esetén 46%-os árteljesítmény-javulást mutattunk be, és segítettünk gyorsan elkezdeni az elosztott adatbetöltőt (tf.data.service és gRPC kliens-szerver) megvalósítások. Ezeket a megvalósításokat minimális kódmódosításokkal használhatja a meglévő tanítási parancsfájlokban.

A kezdéshez próbálja ki a mi példafüzetek. Ha többet szeretne megtudni erről a funkcióról, lásd: Képzés heterogén klaszter használatával.

---

A szerzőkről

Gili Nachum vezető AI/ML Specialist Solutions Architect, aki az EMEA Amazon Machine Learning csapatának tagjaként dolgozik. Gili szenvedélyesen foglalkozik a mély tanulási modellek képzésének kihívásaival, és azzal, hogy a gépi tanulás hogyan változtatja meg az általunk ismert világot. Szabadidejében Gili szívesen pingpongozik.

Hrushikesh Gangur az AI/ML induló vállalkozások fő megoldástervezője, aki jártas mind az ML képzés, mind az AWS hálózatépítés terén. Segít az Autonomous Vehicle, Robotics, CV, NLP, MLOps, ML Platform és Robotics Process Automation technológiákkal foglalkozó induló vállalkozásoknak abban, hogy üzletüket hatékonyan és eredményesen irányítsák AWS-en. Mielőtt csatlakozott az AWS-hez, a Hrushikesh több mint 20 éves iparági tapasztalatot szerzett, elsősorban a felhő- és adatplatformok terén.

Gal Oshri az Amazon SageMaker csapat vezető termékmenedzsere. 7 éves tapasztalattal rendelkezik a gépi tanulási eszközök, keretrendszerek és szolgáltatások terén.

Chaim Rand egy gépi tanulási algoritmus fejlesztője, amely mély tanulási és számítógépes látástechnológiákon dolgozik autonóm jármű megoldásokhoz a Mobileye-nál, az Intel vállalatánál. Nézd meg az övét blogok.