Η παράλληλη βιβλιοθήκη μοντέλων του Amazon SageMaker τώρα επιταχύνει τους φόρτους εργασίας του PyTorch FSDP έως και 20% | Υπηρεσίες Ιστού της Amazon

Η εκπαίδευση στο Large Language Model (LLM) έχει αυξηθεί σε δημοτικότητα τον τελευταίο χρόνο με την κυκλοφορία πολλών δημοφιλών μοντέλων όπως το Llama 2, το Falcon και το Mistral. Οι πελάτες εκπαιδεύουν τώρα και βελτιστοποιούν τα LLM που κυμαίνονται από 1 δισεκατομμύριο έως πάνω από 175 δισεκατομμύρια παραμέτρους για τη βελτιστοποίηση της απόδοσης του μοντέλου για εφαρμογές σε όλους τους κλάδους, από την υγειονομική περίθαλψη έως τη χρηματοδότηση και το μάρκετινγκ.

Η εκπαίδευση μοντέλων με απόδοση σε αυτή την κλίμακα μπορεί να είναι μια πρόκληση. Τα LLM υψηλής ακρίβειας μπορεί να απαιτούν terabyte δεδομένων εκπαίδευσης και χιλιάδες ή και εκατομμύρια ώρες υπολογισμού του επιταχυντή χρόνου για την επίτευξη της ακρίβειας στόχου. Για να ολοκληρώσουν την εκπαίδευση και να λανσάρουν προϊόντα έγκαιρα, οι πελάτες βασίζονται σε τεχνικές παραλληλισμού για να κατανείμουν αυτόν τον τεράστιο φόρτο εργασίας σε έως και χιλιάδες συσκευές επιτάχυνσης. Ωστόσο, αυτές οι τεχνικές παραλληλισμού μπορεί να είναι δύσκολες στη χρήση: διαφορετικές τεχνικές και βιβλιοθήκες είναι συμβατές μόνο με συγκεκριμένους φόρτους εργασίας ή περιορίζονται σε συγκεκριμένες αρχιτεκτονικές μοντέλων, η απόδοση εκπαίδευσης μπορεί να είναι πολύ ευαίσθητη σε σκοτεινές διαμορφώσεις και η κατάσταση της τέχνης εξελίσσεται γρήγορα. Ως αποτέλεσμα, οι επαγγελματίες μηχανικής μάθησης πρέπει να περάσουν εβδομάδες προετοιμασίας για να κλιμακώσουν τον φόρτο εργασίας τους LLM σε μεγάλες ομάδες GPU.

Σε αυτήν την ανάρτηση, επισημαίνουμε τα νέα χαρακτηριστικά του Amazon Sage Maker βιβλιοθήκη παράλληλων μοντέλων (SMP) που απλοποιούν τη διαδικασία εκπαίδευσης μεγάλων μοντέλων και σας βοηθούν να εκπαιδεύσετε LLM γρηγορότερα. Συγκεκριμένα, καλύπτουμε τη νέα απλοποιημένη εμπειρία χρήστη της βιβλιοθήκης SMP που βασίζεται σε API ανοιχτού κώδικα PyTorch Fully Sharded Data Parallel (FSDP), διευρυμένη παράλληλη λειτουργικότητα τανυστή που επιτρέπει μοντέλα εκπαίδευσης με εκατοντάδες δισεκατομμύρια παραμέτρους και βελτιστοποιήσεις απόδοσης που μειώνουν τον χρόνο εκπαίδευσης μοντέλων και κόστος έως και 20%.

Για να μάθετε περισσότερα σχετικά με την παράλληλη βιβλιοθήκη μοντέλων SageMaker, ανατρέξτε στο Βιβλιοθήκη παραλληλισμού μοντέλων SageMaker v2 τεκμηρίωση. Μπορείτε επίσης να ανατρέξετε στο δικό μας παραδείγματα σημειωματάρια για να ξεκινήσετε.

Νέα χαρακτηριστικά που απλοποιούν και επιταχύνουν την εκπαίδευση μεγάλων μοντέλων

Αυτή η ανάρτηση συζητά τις πιο πρόσφατες δυνατότητες που περιλαμβάνονται στην έκδοση v2.0 της παράλληλης βιβλιοθήκης μοντέλων SageMaker. Αυτές οι δυνατότητες βελτιώνουν τη χρηστικότητα της βιβλιοθήκης, επεκτείνουν τη λειτουργικότητα και επιταχύνουν την εκπαίδευση. Στις επόμενες ενότητες, συνοψίζουμε τις νέες δυνατότητες και συζητάμε πώς μπορείτε να χρησιμοποιήσετε τη βιβλιοθήκη για να επιταχύνετε την εκπαίδευσή σας σε μεγάλα μοντέλα.

Ευθυγράμμιση SMP με PyTorch ανοιχτού κώδικα

Από την κυκλοφορία του το 2020, το SMP επέτρεψε την εκπαίδευση υψηλής απόδοσης, μεγάλης κλίμακας σε περιπτώσεις υπολογιστών SageMaker. Με αυτήν την τελευταία σημαντική έκδοση του SMP, η βιβλιοθήκη απλοποιεί την εμπειρία του χρήστη ευθυγραμμίζοντας τα API της με το PyTorch ανοιχτού κώδικα.

Προσφορές PyTorch Πλήρως τεμαχισμένος παραλληλισμός δεδομένων (FSDP) ως κύρια μέθοδος για την υποστήριξη μεγάλου φόρτου εργασίας εκπαίδευσης σε πολλές υπολογιστικές συσκευές. Όπως αποδεικνύεται στο ακόλουθο απόσπασμα κώδικα, τα ενημερωμένα API της SMP για τεχνικές όπως ο παραλληλισμός μοιρασμένων δεδομένων αντικατοπτρίζουν εκείνες του PyTorch. Μπορείτε απλά να τρέξετε import torch.sagemaker και χρησιμοποιήστε το στη θέση του torch.

## training_script.py
import torch.sagemaker as tsm
tsm.init() # Set up a PyTorch model
model = ... # Wrap the PyTorch model using the PyTorch FSDP module
model = FSDP(
model,
...
) optimizer = ...
...

Με αυτές τις ενημερώσεις στα API του SMP, μπορείτε πλέον να συνειδητοποιήσετε τα πλεονεκτήματα απόδοσης του SageMaker και της βιβλιοθήκης SMP χωρίς να αναθεωρήσετε τα υπάρχοντα σενάρια εκπαίδευσης PyTorch FSDP. Αυτό το παράδειγμα σάς επιτρέπει επίσης να χρησιμοποιείτε την ίδια βάση κώδικα όταν εκπαιδεύεστε σε εγκαταστάσεις όπως στο SageMaker, απλοποιώντας την εμπειρία χρήστη για πελάτες που εκπαιδεύονται σε πολλά περιβάλλοντα.

Για περισσότερες πληροφορίες σχετικά με τον τρόπο ενεργοποίησης του SMP με τα υπάρχοντα σενάρια εκπαίδευσης PyTorch FSDP, ανατρέξτε στο Ξεκινήστε με το SMP.

Ενσωμάτωση παραλληλισμού τανυστών για να επιτραπεί η εκπαίδευση σε ογκώδεις συστάδες

Αυτή η έκδοση του SMP επεκτείνει επίσης τις δυνατότητες του PyTorch FSDP για να συμπεριλάβει τεχνικές παραλληλισμού τανυστών. Ένα πρόβλημα με τη χρήση μόνο του παραλληλισμού μοιρασμένων δεδομένων είναι ότι μπορείτε να αντιμετωπίσετε προβλήματα σύγκλισης καθώς αυξάνετε το μέγεθος του συμπλέγματός σας. Αυτό συμβαίνει επειδή η κοινή χρήση παραμέτρων, οι διαβαθμίσεις και η κατάσταση του βελτιστοποιητή σε παράλληλες τάξεις δεδομένων αυξάνει επίσης το συνολικό μέγεθος της παρτίδας σας. σε μεγάλα συμπλέγματα, αυτό το συνολικό μέγεθος παρτίδας μπορεί να ωθηθεί πέρα ​​από το όριο κάτω από το οποίο θα συγκλίνονταν το μοντέλο. Πρέπει να ενσωματώσετε μια πρόσθετη τεχνική παραλληλισμού που δεν απαιτεί αύξηση του παγκόσμιου μεγέθους παρτίδας καθώς κλιμακώνετε το σύμπλεγμα σας.

Για να μετριαστεί αυτό το πρόβλημα, το SMP v2.0 εισάγει τη δυνατότητα σύνθεσης παραλληλισμού μοιρασμένων δεδομένων με παραλληλισμό τανυστών. Ο παραλληλισμός τανυστών επιτρέπει στο μέγεθος του συμπλέγματος να αυξάνεται χωρίς να αλλάξει το συνολικό μέγεθος παρτίδας ή να επηρεαστεί η σύγκλιση του μοντέλου. Με αυτήν τη δυνατότητα, μπορείτε να αυξήσετε με ασφάλεια την απόδοση της εκπαίδευσης παρέχοντας συμπλέγματα με 256 κόμβους ή περισσότερους.

Σήμερα, ο παραλληλισμός τανυστών με το PyTorch FSDP είναι διαθέσιμος μόνο με το SMP v2. Το SMP v2 σάς επιτρέπει να ενεργοποιήσετε αυτήν την τεχνική με μερικές γραμμές αλλαγής κώδικα και να ξεκλειδώσετε σταθερή εκπαίδευση ακόμα και σε μεγάλα συμπλέγματα. Το SMP v2 ενσωματώνεται με Μετασχηματιστής Κινητήρας για την εφαρμογή του παραλληλισμού τανυστών και το καθιστά συμβατό με τα PyTorch FSDP API. Μπορείτε να ενεργοποιήσετε τον παραλληλισμό τανυστή PyTorch FSDP και SMP ταυτόχρονα χωρίς να κάνετε αλλαγές στο μοντέλο PyTorch ή στη διαμόρφωση PyTorch FSDP. Τα παρακάτω αποσπάσματα κώδικα δείχνουν πώς να ρυθμίσετε το λεξικό διαμόρφωσης SMP σε μορφή JSON και να προσθέσετε τη μονάδα προετοιμασίας SMP torch.sagemaker.init(), το οποίο δέχεται το λεξικό διαμόρφωσης στο backend όταν ξεκινάτε την εργασία εκπαίδευσης, στο σενάριο εκπαίδευσης.

Η διαμόρφωση SMP έχει ως εξής:

{ "tensor_parallel_degree": 8, "tensor_parallel_seed": 0
}

Στο σενάριο εκπαίδευσης, χρησιμοποιήστε τον ακόλουθο κώδικα:

import torch.sagemaker as tsm
tsm.init() from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_config(..)
model = tsm.transform(model)

Για να μάθετε περισσότερα σχετικά με τη χρήση του παραλληλισμού τανυστών στο SMP, ανατρέξτε στο παραλληλισμός τανυστών τμήμα της τεκμηρίωσής μας.

Χρησιμοποιήστε προηγμένες λειτουργίες για να επιταχύνετε την εκπαίδευση μοντέλων έως και 20%

Εκτός από την ενεργοποίηση της κατανεμημένης εκπαίδευσης σε συμπλέγματα με εκατοντάδες περιπτώσεις, το SMP προσφέρει επίσης τεχνικές βελτιστοποίησης που μπορούν να επιταχύνουν την εκπαίδευση μοντέλων έως και 20%. Σε αυτήν την ενότητα, επισημαίνουμε μερικές από αυτές τις βελτιστοποιήσεις. Για να μάθετε περισσότερα, ανατρέξτε στο βασικά χαρακτηριστικά τμήμα της τεκμηρίωσής μας.

Υβριδικός διαμοιρασμός

Ο παραλληλισμός μοιρασμένων δεδομένων είναι μια κατανεμημένη τεχνική εκπαίδευσης που εξοικονομεί μνήμη και διαχωρίζει την κατάσταση ενός μοντέλου (παράμετροι μοντέλου, διαβαθμίσεις και καταστάσεις βελτιστοποίησης) σε όλες τις συσκευές. Αυτό το μικρότερο αποτύπωμα μνήμης σάς επιτρέπει να χωρέσετε ένα μεγαλύτερο μοντέλο στο σύμπλεγμα σας ή να αυξήσετε το μέγεθος της παρτίδας. Ωστόσο, ο παραλληλισμός μοιρασμένων δεδομένων αυξάνει επίσης τις απαιτήσεις επικοινωνίας της εργασίας εκπαίδευσης, επειδή τα τεχνουργήματα κομματιών μοντέλων συλλέγονται συχνά από διαφορετικές συσκευές κατά τη διάρκεια της εκπαίδευσης. Με αυτόν τον τρόπο, ο βαθμός διαμοιρασμού είναι μια σημαντική διαμόρφωση που ανταλλάσσει την κατανάλωση μνήμης και τα έξοδα επικοινωνίας.

Από προεπιλογή, το PyTorch FSDP μοντελοποιεί τεχνουργήματα σε όλες τις συσκευές επιτάχυνσης στο σύμπλεγμα σας. Ανάλογα με την εργασία εκπαίδευσής σας, αυτή η μέθοδος διαμοιρασμού θα μπορούσε να αυξήσει τα έξοδα επικοινωνίας και να δημιουργήσει ένα εμπόδιο. Για να βοηθήσει με αυτό, η βιβλιοθήκη SMP προσφέρει διαμορφώσιμο παραλληλισμό υβριδικών μοιρασμένων δεδομένων πάνω από το PyTorch FSDP. Αυτή η δυνατότητα σάς επιτρέπει να ορίσετε τον βαθμό διαμοιρασμού που είναι ο βέλτιστος για τον φόρτο εργασίας της προπόνησής σας. Απλώς καθορίστε τον βαθμό διαμοιρασμού σε ένα αντικείμενο διαμόρφωσης JSON και συμπεριλάβετέ το στο σενάριο εκπαίδευσης SMP.

Η διαμόρφωση SMP έχει ως εξής:

{ "hybrid_shard_degree": 16 }

Για να μάθετε περισσότερα σχετικά με τα πλεονεκτήματα του υβριδικού διαμοιρασμένου παραλληλισμού δεδομένων, ανατρέξτε στο Σχεδόν γραμμική κλιμάκωση της εκπαίδευσης με γιγάντια μοντέλα σε AWS. Για περισσότερες πληροφορίες σχετικά με την εφαρμογή υβριδικού διαμοιρασμού με το υπάρχον σενάριο εκπαίδευσης FSDP, βλ υβριδικός παραλληλισμός κοινών δεδομένων στην τεκμηρίωσή μας.

Χρησιμοποιήστε τις συλλογικές λειτουργίες επικοινωνίας SMDDP βελτιστοποιημένες για την υποδομή AWS

Μπορείτε να χρησιμοποιήσετε τη βιβλιοθήκη SMP με το Βιβλιοθήκη κατανεμημένου παραλληλισμού δεδομένων (SMDDP) του SageMaker για να επιταχύνετε τους κατανεμημένους φόρτους εργασίας εκπαίδευσης. Το SMDDP περιλαμβάνει ένα βελτιστοποιημένο AllGather Λειτουργία συλλογικής επικοινωνίας σχεδιασμένη για βέλτιστη απόδοση σε επιταχυνόμενες περιπτώσεις SageMaker p4d και p4de. Στην κατανεμημένη εκπαίδευση, οι λειτουργίες συλλογικής επικοινωνίας χρησιμοποιούνται για τον συγχρονισμό πληροφοριών μεταξύ των εργαζομένων GPU. AllGather είναι μια από τις βασικές λειτουργίες συλλογικής επικοινωνίας που συνήθως χρησιμοποιείται στον παραλληλισμό μοιρασμένων δεδομένων για την υλοποίηση των παραμέτρων του επιπέδου πριν από τα βήματα υπολογισμού προς τα εμπρός και προς τα πίσω. Για εργασίες κατάρτισης που δυσχεραίνουν την επικοινωνία, οι ταχύτερες συλλογικές λειτουργίες μπορούν να μειώσουν τον χρόνο και το κόστος εκπαίδευσης χωρίς παρενέργειες στη σύγκλιση.

Για να χρησιμοποιήσετε τη βιβλιοθήκη SMDDP, χρειάζεται μόνο να προσθέσετε δύο γραμμές κώδικα στο σενάριο εκπαίδευσης:

import torch.distributed as dist # Initialize with SMDDP
import smdistributed.dataparallel.torch.torch_smddp
dist.init_process_group(backend="smddp") # Replacing "nccl" # Initialize with SMP
import torch.sagemaker as tsm
tsm.init()

Εκτός από το SMP, το SMDDP υποστηρίζει ανοιχτού κώδικα PyTorch FSDP και DeepSpeed. Για να μάθετε περισσότερα σχετικά με τη βιβλιοθήκη SMDDP, βλ Εκτελέστε κατανεμημένη εκπαίδευση με τη βιβλιοθήκη παραλληλισμού κατανεμημένων δεδομένων SageMaker.

Εκφόρτωση ενεργοποίησης

Συνήθως, το μπροστινό πέρασμα της εκπαίδευσης μοντέλου υπολογίζει τις ενεργοποιήσεις σε κάθε επίπεδο και τις διατηρεί στη μνήμη της GPU μέχρι να τελειώσει το πέρασμα προς τα πίσω για το αντίστοιχο επίπεδο. Αυτές οι αποθηκευμένες ενεργοποιήσεις μπορούν να καταναλώσουν σημαντική μνήμη GPU κατά τη διάρκεια της εκπαίδευσης. Η εκφόρτωση ενεργοποίησης είναι μια τεχνική που αντ' αυτού μετακινεί αυτούς τους τανυστές στη μνήμη της CPU μετά το πέρασμα προς τα εμπρός και αργότερα τους επαναφέρει στη GPU όταν χρειάζονται. Αυτή η προσέγγιση μπορεί να μειώσει σημαντικά τη χρήση της μνήμης GPU κατά τη διάρκεια της εκπαίδευσης.

Παρόλο που το PyTorch υποστηρίζει την εκφόρτωση ενεργοποίησης, η υλοποίησή του είναι αναποτελεσματική και μπορεί να προκαλέσει την αδράνεια των GPU ενώ οι ενεργοποιήσεις ανακτώνται από την CPU κατά τη διάρκεια μιας επιστροφής. Αυτό μπορεί να προκαλέσει σημαντική υποβάθμιση της απόδοσης κατά τη χρήση της εκφόρτωσης ενεργοποίησης.

Το SMP v2 προσφέρει έναν βελτιστοποιημένο αλγόριθμο εκφόρτωσης ενεργοποίησης που μπορεί να βελτιώσει την απόδοση της προπόνησης. Η υλοποίηση του SMP συλλέγει εκ των προτέρων τις ενεργοποιήσεις πριν αυτές χρειαστούν στη GPU, μειώνοντας τον χρόνο αδράνειας.

Επειδή το SMP είναι χτισμένο πάνω από τα API της PyTorch, η ενεργοποίηση της βελτιστοποιημένης εκφόρτωσης ενεργοποίησης απαιτεί μόνο μερικές γραμμές αλλαγής κώδικα. Απλώς προσθέστε τις σχετικές διαμορφώσεις (sm_activation_offloading και activation_loading_horizon παραμέτρους) και να τις συμπεριλάβετε στο σενάριο εκπαίδευσης σας.

Η διαμόρφωση SMP έχει ως εξής:

{ "activation_loading_horizon": 2, "sm_activation_offloading": True
}

Στο σενάριο εκπαίδευσης, χρησιμοποιήστε τον ακόλουθο κώδικα:

import torch.sagemaker as tsm
tsm.init() # Native PyTorch module for activation offloading
from torch.distributed.algorithms._checkpoint.checkpoint_wrapper import (
apply_activation_checkpointing,
offload_wrapper,
) model = FSDP(...) # Activation offloading requires activation checkpointing.
apply_activation_checkpointing(
model,
check_fn=checkpoint_tformer_layers_policy,
) model = offload_wrapper(model)

Για να μάθετε περισσότερα σχετικά με τα εργαλεία ανοιχτού κώδικα σημείου ελέγχου PyTorch για εκφόρτωση ενεργοποίησης, ανατρέξτε στο checkpoint_wrapper.py σενάριο στο αποθετήριο PyTorch GitHub και Σημείο ελέγχου ενεργοποίησης στην ανάρτηση ιστολογίου PyTorch Κλιμάκωση μοντέλων πολυτροπικής βάσης στο TorchMultimodal με το Pytorch Distributed. Για να μάθετε περισσότερα σχετικά με τη βελτιστοποιημένη υλοποίηση της εκφόρτωσης ενεργοποίησης από το SMP, ανατρέξτε στο εκφόρτωση ενεργοποίησης τμήμα της τεκμηρίωσής μας.

Πέρα από το υβριδικό διαμοιρασμό, το SMDDP και την εκφόρτωση ενεργοποίησης, το SMP προσφέρει πρόσθετες βελτιστοποιήσεις που μπορούν να επιταχύνουν το μεγάλο φόρτο εργασίας εκπαίδευσης μοντέλων σας. Αυτό περιλαμβάνει βελτιστοποιημένα σημεία ελέγχου ενεργοποίησης, καθυστερημένη προετοιμασία παραμέτρων και άλλα. Για να μάθετε περισσότερα, ανατρέξτε στο βασικά χαρακτηριστικά τμήμα της τεκμηρίωσής μας.

Συμπέρασμα

Καθώς τα σύνολα δεδομένων, τα μεγέθη μοντέλων και οι ομάδες εκπαίδευσης συνεχίζουν να αυξάνονται, η αποτελεσματική κατανεμημένη εκπαίδευση είναι ολοένα και πιο σημαντική για την έγκαιρη και οικονομικά προσιτή παράδοση μοντέλων και προϊόντων. Η πιο πρόσφατη έκδοση της παράλληλης βιβλιοθήκης μοντέλων SageMaker σάς βοηθά να το πετύχετε μειώνοντας την αλλαγή κώδικα και ευθυγραμμίζοντας με τα PyTorch FSDP API, επιτρέποντας την εκπαίδευση σε ογκώδη συμπλέγματα μέσω παραλληλισμού τανυστών και βελτιστοποιήσεων που μπορούν να μειώσουν τον χρόνο εκπαίδευσης έως και 20%.

Για να ξεκινήσετε με το SMP v2, ανατρέξτε στη σελίδα μας τεκμηρίωση και το κομμάτι δείγματα τετραδίων.

Σχετικά με τους Συγγραφείς

Robert Van Dusen είναι Ανώτερος Διευθυντής Προϊόντων με το Amazon SageMaker. Καθοδηγεί πλαίσια, μεταγλωττιστές και τεχνικές βελτιστοποίησης για εκπαίδευση βαθιάς μάθησης.

Λουίς Κουιντέλα είναι ο Διαχειριστής προγραμματιστή λογισμικού για την παράλληλη βιβλιοθήκη μοντέλων AWS SageMaker. Στον ελεύθερο χρόνο του, μπορεί να βρεθεί να οδηγεί τη Harley του στην περιοχή SF Bay.

Γκαουτάμ Κουμάρ είναι Μηχανικός Λογισμικού με AWS AI Deep Learning. Είναι παθιασμένος με την κατασκευή εργαλείων και συστημάτων για AI. Στον ελεύθερο χρόνο του, του αρέσει να κάνει ποδήλατο και να διαβάζει βιβλία.

Rahul Huilgol είναι Ανώτερος Μηχανικός Ανάπτυξης Λογισμικού στο Distributed Deep Learning στο Amazon Web Services.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-model-parallel-library-now-accelerates-pytorch-fsdp-workloads-by-up-to-20/