Verbeter de prijsprestaties van uw modeltraining met behulp van heterogene clusters van Amazon SageMaker

Dit bericht is geschreven in samenwerking met Chaim Rand van Mobileye.

Bij bepaalde machine learning (ML)-workloads, zoals het trainen van computervisiemodellen of versterkend leren, wordt vaak de GPU- of acceleratorintensieve taak van neurale netwerkmodeltraining gecombineerd met de CPU-intensieve taak van gegevensvoorverwerking, zoals beeldvergroting. Wanneer beide soorten taken op hetzelfde instantietype worden uitgevoerd, wordt de voorverwerking van gegevens op de CPU beperkt, wat leidt tot een lager GPU-gebruik. Dit probleem wordt met de tijd erger naarmate de doorvoer van nieuwere generaties GPU's sneller groeit dan die van CPU's.

Om dit probleem aan te pakken, hebben we in juli 2022 gelanceerd heterogene clusters voor Amazon Sage Maker modeltraining, waarmee u trainingstaken kunt starten die verschillende instantietypen in één taak gebruiken. Hierdoor kunnen delen van de datavoorverwerkingspijplijn worden ontladen om: computer-geoptimaliseerd instantietypen, terwijl de taak van het diepe neurale netwerk (DNN) blijft draaien GPU of versneld computergebruik instantie typen. Onze benchmarks laten een prijs-prestatievoordeel zien van wel 46% na het inschakelen van heterogene clusters in een CPU-gebonden TensorFlow computer vision-modeltraining.

Voor een vergelijkbaar gebruiksgeval, Mobileye, een ontwikkelingsbedrijf voor autonome voertuigtechnologieën, had dit te delen:

“Door CPU-gebonden deep learning computer vision-modeltraining te verplaatsen naar meerdere instantietypes (CPU- en GPU/ML-versnellers), met behulp van een tf.data.service gebaseerde oplossing die we hebben gebouwd, zijn we erin geslaagd om de tijd om te trainen met 40% te verminderen en de kosten om te trainen met 30% te verlagen. We zijn enthousiast over heterogene clusters waardoor we deze oplossing op Amazon SageMaker kunnen draaien.”

— AI-techniek, Mobileye

In dit bericht bespreken we de volgende onderwerpen:

• Hoe heterogene clusters CPU-knelpunten helpen verwijderen
• Wanneer heterogene clusters en andere alternatieven gebruiken?
• Referentie-implementaties in PyTorch en TensorFlow
• Prestatiebenchmarkresultaten
• Heterogene clusters bij Mobileye

AWS's instantie voor versneld computergebruik familie omvat versnellers van aangepaste AWS-chips (AWS Inferentie, AWS Trainium), NVIDIA (GPU's), En Gaudi versnellers van Habana Labs (een Intel-bedrijf). Merk op dat we in dit bericht de termen GPU en versneller door elkaar gebruiken.

Hoe heterogene clusters knelpunten in de gegevensverwerking wegnemen

Datawetenschappers die deep learning-modellen trainen, streven ernaar de kostenefficiëntie van trainingen te maximaliseren en de trainingstijd te minimaliseren. Om dit te bereiken, is een basisoptimalisatiedoel een hoog GPU-gebruik, de duurste en meest schaarse bron binnen de Amazon Elastic Compute-cloud (Amazon EC2) instantie. Dit kan een grotere uitdaging zijn met ML-workloads die de voorwaartse en achterwaartse voortplanting van het klassieke GPU-intensieve neurale netwerkmodel combineren met CPU-intensieve taken, zoals gegevensverwerking en augmentatie in computervisie of het uitvoeren van een omgevingssimulatie bij versterkingsleren. Deze workloads kunnen uiteindelijk CPU-gebonden zijn, waarbij meer CPU zou resulteren in een hogere doorvoer en snellere en goedkopere training omdat bestaande accelerators gedeeltelijk inactief zijn. In sommige gevallen kunnen CPU-knelpunten worden opgelost door over te schakelen naar een ander instantietype met een hogere CPU:GPU-ratio. Er zijn echter situaties waarin overschakelen naar een ander instantietype niet mogelijk is vanwege de architectuur-, opslag- of netwerkafhankelijkheden van de instantiefamilie.

In dergelijke situaties moet u de hoeveelheid CPU-vermogen verhogen door instantietypen te mixen: instanties met GPU's samen met CPU. Samengevat resulteert dit in een algehele hogere CPU:GPU-verhouding. Tot voor kort waren SageMaker-trainingstaken beperkt tot het hebben van instanties van een enkel gekozen instantietype. Met heterogene clusters van SageMaker kunnen gegevenswetenschappers eenvoudig een trainingstaak uitvoeren met meerdere instantietypen, waardoor een deel van de bestaande CPU-taken van de GPU-instanties kan worden verplaatst naar speciale voor rekenkracht geoptimaliseerde CPU-instanties, wat resulteert in een hoger GPU-gebruik en snellere en meer kostenbesparende. efficiënte opleiding. Bovendien kun je met de extra CPU-kracht preprocessing-taken die traditioneel offline werden gedaan als voorbereidende stap naar training, onderdeel worden van je trainingstaak. Dit maakt het sneller om zowel gegevensvoorverwerking als DNN-trainingsaannames en hyperparameters te herhalen en te experimenteren.

Overweeg bijvoorbeeld een krachtig GPU-instantietype, ml.p4d.24xlarge (96 vCPU, 8 x NVIDIA A100 GPU's), met een CPU:GPU-verhouding van 12:1. Laten we aannemen dat uw trainingstaak 20 vCPU's nodig heeft om voldoende gegevens voor te verwerken om één GPU 100% benut te houden. Om alle 8 GPU's 100% benut te houden, hebt u daarom een ​​instantietype van 160 vCPU's nodig. Echter, ml.p4d.24xlarge heeft een tekort aan 64 vCPU's, of 40%, waardoor het GPU-gebruik wordt beperkt tot 60%, zoals weergegeven aan de linkerkant van het volgende diagram. Zou het helpen om nog een ml.p4d.24xlarge-instantie toe te voegen? Nee, omdat de CPU:GPU-verhouding van de taak hetzelfde zou blijven.

Bij heterogene clusters kunnen we twee ml.c5.18xlarge (72 vCPU) toevoegen, zoals rechts in het diagram wordt weergegeven. De netto totale vCPU in dit cluster is 210 (96+2*72), wat leidt tot een CPU:GPU-verhouding van 30:1. Elk van deze voor rekenkracht geoptimaliseerde instanties wordt ontlast met een CPU-intensieve taak voor de voorverwerking van gegevens, en maakt efficiënt GPU-gebruik mogelijk. Ondanks de extra kosten van de ml.c5.18xlarge, maakt het hogere GPU-gebruik een snellere verwerking mogelijk, en dus hogere prijs-prestatievoordelen.

Wanneer heterogene clusters en andere alternatieven gebruiken?

In deze sectie leggen we uit hoe u een CPU-bottleneck kunt identificeren en bespreken we hoe u deze kunt oplossen met behulp van opschaling van het instantietype versus heterogene clusters.

De snelle manier om een ​​CPU-bottleneck te identificeren, is door de CPU en GPU te controleren gebruiksstatistieken voor SageMaker-trainingsbanen in Amazon Cloud Watch. U hebt toegang tot deze weergaven vanuit de AWS-beheerconsole binnen de hyperlink van de instantiestatistieken van de trainingstaakpagina. Kies de relevante statistieken en schakel over van een resolutie van 5 minuten naar 1 minuut. Houd er rekening mee dat de schaal 100% per vCPU of GPU is, dus de bezettingsgraad voor een instantie met 4 vCPU's/GPU's kan oplopen tot 400%. De volgende afbeelding is zo'n voorbeeld van CloudWatch-statistieken, waarbij de CPU voor ongeveer 100% wordt gebruikt, wat wijst op een CPU-bottleneck, terwijl de GPU onderbenut is.

Voer voor een gedetailleerde diagnose de trainingstaken uit met Amazon SageMaker-foutopsporing om de gebruiksstatus, statistieken en framework-bewerkingen van resources te profileren door een profiler-configuratie toe te voegen wanneer u een SageMaker-schatter maakt met behulp van de SageMaker Python SDK. Nadat u de trainingstaak heeft ingediend, bekijkt u de resulterende profiler rapport voor CPU-knelpunten.

Als u tot de conclusie komt dat uw taak baat zou kunnen hebben bij een hogere CPU:GPU-rekenverhouding, overweeg dan eerst om op te schalen naar een ander instantietype in dezelfde instantiefamilie, indien beschikbaar. Als u uw model bijvoorbeeld traint op ml.g5.8xlarge (32 vCPU's, 1 GPU), overweeg dan om op te schalen naar ml.g5.16xlarge (64 vCPU's, 1 GPU). Of, als u uw model traint met behulp van ml.g5.12xlarge met meerdere GPU's (48 vCPU's, 4 GPU's), overweeg dan op te schalen naar ml.g5.24xlarge (96 vCPU's, 4 GPU's). Verwijs naar de G5 instantie familie specificatie voor meer details.

Soms is opschalen geen optie, omdat er geen instantietype is met een hogere vCPU:GPU-ratio in dezelfde instantiefamilie. Als u het model bijvoorbeeld traint op ml.trn1.32xlarge, ml.p4d.24xlarge of ml.g5.48xlarge, moet u heterogene clusters overwegen voor SageMaker-modeltraining.

Naast opschalen, willen we opmerken dat er aanvullende alternatieven zijn voor een heterogeen cluster, zoals NVIDIA DALI, die de voorverwerking van afbeeldingen naar de GPU verplaatst. Voor meer informatie, zie: Knelpunten in de voorverwerking van gegevens overwinnen met TensorFlow Data Service, NVIDIA DALI en andere methoden.

Raadpleeg het volgende stroomschema om de besluitvorming te vereenvoudigen.

Hoe heterogene clusters van SageMaker te gebruiken

Om snel aan de slag te gaan, kun je direct naar de TensorFlow- of PyTorch-voorbeelden gaan die als onderdeel van dit bericht worden verstrekt.

In deze sectie laten we u aan de hand van een eenvoudig voorbeeld zien hoe u een heterogeen cluster van SageMaker gebruikt. We gaan ervan uit dat je al weet hoe je een model moet trainen met de SageMaker Python SDK en de Estimator-klasse. Zo niet, raadpleeg dan: De SageMaker Python SDK gebruiken alvorens verder te gaan.

Voorafgaand aan deze functie heeft u de Estimator-klasse van de trainingstaak geïnitialiseerd met de InstanceCount en InstanceType-parameters, die er impliciet van uitgaan dat u slechts één instantietype hebt (een homogeen cluster). Met de release van heterogene clusters introduceerden we de nieuwe sagemaker.instance_group.InstanceGroup klas. Dit vertegenwoordigt een groep van een of meer instanties van een specifiek instantietype, ontworpen om een ​​logische rol te spelen (zoals gegevensverwerking of optimalisatie van neurale netwerken). U kunt twee of meer groepen hebben en een aangepaste naam opgeven voor elke instantiegroep, de instantie type en het aantal instanties voor elke instantiegroep. Raadpleeg voor meer informatie: De SageMaker Python SDK gebruiken en De low-level SageMaker API's gebruiken.

Nadat u de instantiegroepen hebt gedefinieerd, moet u uw trainingsscript aanpassen om de SageMaker . te kunnen lezen informatie over de trainingsomgeving die heterogene clusterconfiguratie omvat. De configuratie bevat informatie zoals de huidige instantiegroepen, de huidige hosts in elke groep en in welke groep de huidige host zich bevindt met hun rangorde. U kunt logica in uw trainingsscript inbouwen om de instantiegroepen toe te wijzen aan bepaalde trainings- en gegevensverwerkingstaken. Bovendien moet uw trainingsscript zorgen voor groepscommunicatie tussen instanties of mechanismen voor het laden van gedistribueerde gegevens (bijvoorbeeld tf.data.service in TensorFlow of generiek gRPC-client-server) of enig ander raamwerk (bijvoorbeeld Apache Spark).

Laten we een eenvoudig voorbeeld bekijken van het starten van een heterogene trainingstaak en het lezen van de omgevingsconfiguratie tijdens runtime.

1. Bij het definiëren en starten van de trainingstaak configureren we twee instantiegroepen die worden gebruikt als argumenten voor de SageMaker-schatter:

   from sagemaker.instance_group import InstanceGroup
   data_group = InstanceGroup("data_group", "ml.c5.18xlarge", 2)
   dnn_group = InstanceGroup("dnn_group", "ml.p4d.24xlarge", 1)
   
   from sagemaker.pytorch import PyTorch
   estimator = PyTorch(...,
       entry_point='launcher.py',
       instance_groups=[data_group, dnn_group]
   )

2. Op het startpunt trainingsscript (genaamd launcher.py), lezen we de heterogene clusterconfiguratie om te bepalen of de instantie de preprocessing- of DNN-code zal uitvoeren:

   from sagemaker_training import environment
   env = environment.Environment()
   if env.current_instance_group == 'data_group': ...;

Laten we hiermee de taken samenvatten die SageMaker namens u doet, en de taken waarvoor u verantwoordelijk bent.

SageMaker voert de volgende taken uit:

1. Lever verschillende instantietypen op basis van de instantiegroepdefinitie.
2. Ingangskanalen inrichten op alle of specifieke instantiegroepen.
3. Distribueer trainingsscripts en afhankelijkheden naar instanties.
4. Stel een MPI-cluster in op een specifieke instantiegroep, indien gedefinieerd.

Je bent verantwoordelijk voor de volgende taken:

1. Pas uw starttraining-taakscript aan om instantiegroepen op te geven.
2. Implementeer een gedistribueerde gegevenspijplijn (bijvoorbeeld tf.data.service).
3. Pas uw invoerpuntscript aan (zie launcher.py in het voorbeeldnotitieblok) om een ​​enkel toegangspunt te zijn dat op alle instanties wordt uitgevoerd, detecteert in welke instantiegroep het wordt uitgevoerd en het relevante gedrag activeert (zoals gegevensverwerking of DNN-optimalisatie).
4. Wanneer de trainingslus voorbij is, moet u ervoor zorgen dat uw ingangspuntproces wordt afgesloten op alle instanties in alle instantiegroepen. Dit is belangrijk omdat SageMaker wacht tot alle instanties klaar zijn met verwerken voordat het de taak als voltooid markeert en de facturering stopt. De launcher.py script in de TensorFlow- en PyTorch-voorbeeldnotebooks biedt een referentie-implementatie van het signaleren van gegevensgroepinstanties om af te sluiten wanneer DNN-groepsinstanties hun werk beëindigen.

Voorbeeldnotitieblokken voor heterogene clusters van SageMaker

In deze sectie geven we een overzicht van de voorbeeld notitieboekjes voor zowel TensorFlow- als PyTorch ML-frameworks. In de notitieblokken vindt u de implementatiedetails, uitleg over hoe de code werkt, codefragmenten die u kunt hergebruiken in uw trainingsscripts, stroomdiagrammen en kostenvergelijkingsanalyses.

Merk op dat je in beide voorbeelden niet mag verwachten dat het model op een zinvolle manier convergeert. Onze bedoeling is alleen om de datapijplijn en de doorvoer van neurale netwerkoptimalisatie te meten, uitgedrukt in epoche/staptijd. U moet benchmarken met uw eigen model en dataset om prijsprestatievoordelen te produceren die passen bij uw werkbelasting.

Heterogene cluster met behulp van een op tf.data.service gebaseerde gedistribueerde gegevenslader (TensorFlow)

Deze notitieboekje laat zien hoe een heterogeen cluster voor SageMaker-training kan worden geïmplementeerd met behulp van TensorFlow's tf.data.service gebaseerde gedistribueerde datapijplijn. We trainen een diep lerend computervisiemodel Reset50 dat CPU-intensieve gegevensvergroting vereist. Het gebruikt horvod voor multi-GPU gedistribueerde data parallellisme.

We voeren de workload in twee configuraties uit: eerst als een homogeen cluster, enkele ml.p4d.24xlarge instance, met behulp van een standaard tf.data pijplijn die CPU-knelpunten laat zien die leiden tot een lager GPU-gebruik. In de tweede run schakelen we over van een enkel instantietype naar twee instantiegroepen met behulp van een heterogeen cluster van SageMaker. Deze run ontlast een deel van de gegevensverwerking naar extra CPU-instanties (met behulp van tf.data.service).

Vervolgens vergelijken we de homogene en heterogene configuraties en vinden we de belangrijkste prijsprestatievoordelen. Zoals te zien is in de volgende tabel, is de heterogene baan (86 ms/stap) 2.2 keer sneller om te trainen dan de homogene baan (192 ms/stap), waardoor het 46% goedkoper is om een ​​model te trainen.

Voorbeeld 1 (TF)	ml.p4d.24xl	ml.c5.18xl	Prijs per uur*	Gemiddelde staptijd	Kosten per stap	Prijs prestatieverbetering
Homogeen	1	0	$37.688	192 ms	$0.201	.
Heterogeen	1	2	$45.032	86 ms	$0.108	46%

* Prijs per uur is gebaseerd op us-oost-1 SageMaker on-demand prijzen

Deze versnelling wordt mogelijk gemaakt door gebruik te maken van de extra vCPU, geleverd door de datagroep, en snellere voorverwerking. Zie de notitieboekje voor meer details en grafieken.

Heterogene cluster met behulp van een op gRPC client-server gebaseerde gedistribueerde gegevenslader (PyTorch)

Deze notitieboekje demonstreert een voorbeeldwerkbelasting met behulp van een heterogeen cluster voor SageMaker-training met behulp van een gRPC-client-server-gebaseerde gedistribueerde gegevenslader. In dit voorbeeld wordt een enkele GPU gebruikt. We gebruiken het PyTorch-model op basis van het volgende: officieel MNIST-voorbeeld. De trainingscode is aangepast om zwaar te zijn op de voorverwerking van gegevens. We trainen dit model in zowel homogene als heterogene clustermodi en vergelijken prijsprestaties.

In dit voorbeeld gingen we ervan uit dat de workload niet kan profiteren van meerdere GPU's en afhankelijk is van een specifieke GPU-architectuur (NVIDIA V100). We hebben zowel homogene als heterogene opleidingsopdrachten uitgevoerd en hebben belangrijke prijsprestatievoordelen gevonden, zoals weergegeven in de volgende tabel. De heterogene baan (1.19s/stap) is 6.5 keer sneller te trainen dan de homogene baan (0.18s/stap), waardoor het 77% goedkoper is om een ​​model te trainen.

Voorbeeld 2 (PT)	ml.p3.2xl	ml.c5.9xl	Prijs per uur*	Gemiddelde staptijd	Kosten per stap	Prijs prestatieverbetering
Homogeen	1	0	$3.825	1193 ms	$0.127	.
Heterogeen	1	1	$5.661	184 ms	$0.029	77%

* Prijs per uur is gebaseerd op us-oost-1 SageMaker on-demand prijzen

Dit is mogelijk omdat we met een hoger CPU-aantal 32 dataloader-werknemers (vergeleken met 8 met ml.p3.2xlarge) kunnen gebruiken om de gegevens voor te verwerken en de GPU met regelmatige tussenpozen bijna 100% gebruikt te houden. Zie de notitieboekje voor meer details en grafieken.

Heterogene clusters bij Mobileye

Mobileye, een Intel-bedrijf, ontwikkelt Advanced Driver Assistance Systems (ADAS) en autonome voertuigtechnologieën met als doel een revolutie teweeg te brengen in de transportsector, wegen veiliger te maken en levens te redden. Deze technologieën worden mogelijk gemaakt met behulp van geavanceerde computer vision (CV)-modellen die zijn getraind met SageMaker op grote hoeveelheden gegevens die zijn opgeslagen in Amazon eenvoudige opslagservice (Amazon S3). Deze modellen maken gebruik van state-of-the-art deep learning neurale netwerktechnieken.

We merkten dat voor een van onze CV-modellen het CPU-bottleneck voornamelijk werd veroorzaakt door zware voorverwerking van gegevens, wat leidde tot onderbenutte GPU's. Voor deze specifieke werklast zijn we begonnen met het zoeken naar alternatieve oplossingen, evalueerden we gedistribueerde datapijplijntechnologieën met heterogene clusters op basis van EC2-instanties, en kwamen we met referentie-implementaties voor beide TensorFlow en PyTorch. De release van het heterogene cluster SageMaker stelt ons in staat om deze en soortgelijke workloads op SageMaker uit te voeren om betere prijs-prestatievoordelen te behalen.

Overwegingen

Met de lancering van de heterogene clusterfunctie biedt SageMaker veel meer flexibiliteit bij het mixen en matchen van instantietypen binnen uw trainingstaak. Houd echter rekening met het volgende wanneer u deze functie gebruikt:

• De heterogene clusterfunctie is beschikbaar via SageMaker PyTorch en TensorFlow klassen van raamschatters. Ondersteunde frameworks zijn PyTorch v1.10 of later en TensorFlow v2.6 of later.
• Alle instantiegroepen delen dezelfde Docker-image.
• Alle instantiegroepen delen hetzelfde trainingsscript. Daarom moet uw trainingsscript worden aangepast om te detecteren tot welke instantiegroep het behoort, en de fork wordt overeenkomstig uitgevoerd.
• De hostnamen van de trainingsinstanties (bijvoorbeeld alog-1, algo-2, enzovoort) worden willekeurig toegewezen en geven niet aan tot welke instantiegroep ze behoren. Om de rol van de instantie te krijgen, raden we aan om het lidmaatschap van de instantiegroep tijdens runtime op te halen. Dit is ook relevant bij het controleren van aanmeldingen CloudWatch, omdat de naam van de logstroom [training-job-name]/algo-[instance-number-in-cluster]-[epoch_timestamp] heeft de hostnaam.
• Een gedistribueerde trainingsstrategie (meestal een MPI-cluster) kan slechts op één instantiegroep worden toegepast.
• SageMaker Beheerde warme zwembaden en SageMaker Lokale modus kan momenteel niet worden gebruikt met heterogene clustertraining.

Conclusie

In dit bericht hebben we besproken wanneer en hoe de heterogene clusterfunctie van SageMaker-training te gebruiken. We hebben een prestatieverbetering van 46% aangetoond in een praktijksituatie en hebben u geholpen snel aan de slag te gaan met gedistribueerde gegevenslader (tf.data.service en gRPC client-server) implementaties. U kunt deze implementaties gebruiken met minimale codewijzigingen in uw bestaande trainingsscripts.

Probeer om te beginnen onze voorbeeld notitieboekjes. Raadpleeg voor meer informatie over deze functie: Trainen met behulp van een heterogene cluster.

---

Over de auteurs

Gili Nachum is een senior AI/ML Specialist Solutions Architect die werkt als onderdeel van het EMEA Amazon Machine Learning-team. Gili is gepassioneerd door de uitdagingen van het trainen van deep learning-modellen en hoe machine learning de wereld zoals wij die kennen verandert. In zijn vrije tijd speelt Gili graag tafeltennis.

Hrushikesh Gangoer is een belangrijke oplossingsarchitect voor AI/ML-startups met expertise in zowel ML-training als AWS-netwerken. Hij helpt startups in Autonomous Vehicle, Robotics, CV, NLP, MLOps, ML Platform en Robotics Process Automation-technologieën om hun bedrijf efficiënt en effectief te runnen op AWS. Voordat hij bij AWS kwam, heeft Hrushikesh meer dan 20 jaar ervaring in de sector opgedaan, voornamelijk op het gebied van cloud- en dataplatforms.

Gal Oshri is Senior Product Manager bij het Amazon SageMaker-team. Hij heeft 7 jaar ervaring met het werken aan Machine Learning-tools, frameworks en services.

Chaim Rand is een ontwikkelaar van machine learning-algoritmen die werkt aan deep learning- en computervisietechnologieën voor autonome voertuigoplossingen bij Mobileye, een Intel-bedrijf. Bekijk zijn blogs.