Εκτελέστε το PyTorch Lightning και το εγγενές PyTorch DDP στο Amazon SageMaker Training, με το Amazon Search

Τόσα πολλά δεδομένα, τόσο λίγος χρόνος. Ειδικοί στη μηχανική μάθηση (ML), επιστήμονες δεδομένων, μηχανικοί και λάτρεις της μηχανικής μάθησης έχουν αντιμετωπίσει αυτό το πρόβλημα σε όλο τον κόσμο. Από την επεξεργασία φυσικής γλώσσας έως την όραση υπολογιστή, τον πίνακα έως τις χρονοσειρές και οτιδήποτε ενδιάμεσο, το πανάρχαιο πρόβλημα της βελτιστοποίησης της ταχύτητας κατά την εκτέλεση δεδομένων σε όσες περισσότερες GPU μπορείτε να βρείτε έχει εμπνεύσει αμέτρητες λύσεις. Σήμερα, είμαστε στην ευχάριστη θέση να ανακοινώσουμε δυνατότητες για προγραμματιστές του PyTorch που χρησιμοποιούν εγγενή πλαίσια ανοιχτού κώδικα, όπως π.χ Κεραυνός PyTorch και PyTorch DDP, που θα εξορθολογίσει την πορεία τους προς το σύννεφο.

Amazon Sage Maker είναι μια πλήρως διαχειριζόμενη υπηρεσία για ML και η εκπαίδευση μοντέλων SageMaker είναι ένα βελτιστοποιημένο υπολογιστικό περιβάλλον για εκπαίδευση υψηλής απόδοσης σε κλίμακα. Η εκπαίδευση μοντέλων SageMaker προσφέρει μια εμπειρία εξ αποστάσεως εκπαίδευσης με ένα αεροπλάνο ελέγχου χωρίς συγκόλληση για εύκολη εκπαίδευση και αναπαραγωγή μοντέλων ML με υψηλή απόδοση και χαμηλό κόστος. Είμαστε ενθουσιασμένοι που ανακοινώνουμε νέες δυνατότητες στο χαρτοφυλάκιο εκπαίδευσης SageMaker που κάνουν την εκτέλεση του PyTorch σε κλίμακα ακόμα πιο εύκολη και πιο προσιτή:

1. Το PyTorch Lightning μπορεί τώρα να ενσωματωθεί στο Η παράλληλη βιβλιοθήκη κατανεμημένων δεδομένων του SageMaker με μόνο μία γραμμή αλλαγής κώδικα.
2. Εκπαίδευση μοντέλου SageMaker έχει πλέον υποστήριξη για το εγγενές PyTorch Distributed Data Parallel με το backend NCCL, επιτρέποντας στους προγραμματιστές να μεταβούν στο SageMaker πιο εύκολα από ποτέ.

Σε αυτήν την ανάρτηση, συζητάμε αυτές τις νέες δυνατότητες και μαθαίνουμε επίσης πώς η Αναζήτηση Amazon έχει τρέξει το PyTorch Lightning με το βελτιστοποιημένο κατανεμημένο εκπαιδευτικό backend στο SageMaker για να επιταχύνει τον χρόνο εκπαίδευσης του μοντέλου.

Πριν βουτήξουμε στη μελέτη περίπτωσης Amazon Search, για όσους δεν είναι εξοικειωμένοι, θα θέλαμε να δώσουμε ένα υπόβαθρο Η παράλληλη βιβλιοθήκη κατανεμημένων δεδομένων του SageMaker. Το 2020, αναπτύξαμε και λανσάραμε μια προσαρμοσμένη διαμόρφωση συμπλέγματος για κατανεμημένη κλίση κατάβασης σε κλίμακα που αυξάνει τη συνολική απόδοση συμπλέγματος, που εισήχθη στο Amazon Science ως Ρέγγα. Χρησιμοποιώντας τον καλύτερο από τους διακομιστές παραμέτρων και τις τοπολογίες που βασίζονται σε δακτύλιο, το SageMaker Distributed Data Parallel (SMDDP) έχει βελτιστοποιηθεί για Amazon Elastic Compute Cloud (Amazon EC2) τοπολογία δικτύου, συμπεριλαμβανομένων ΕΕΣ. Για μεγαλύτερα μεγέθη συμπλέγματος, το SMDDP είναι σε θέση να προσφέρει βελτιώσεις απόδοσης 20–40% σε σχέση με το Horovod (TensorFlow) και το PyTorch Distributed Data Parallel. Για μικρότερα μεγέθη συμπλέγματος και υποστηριζόμενα μοντέλα, συνιστούμε το SageMaker Training Compiler, το οποίο είναι σε θέση να μειώσει τον συνολικό χρόνο εργασίας έως και 50%.

Προβολή πελατών: PyTorch Lightning στο βελτιστοποιημένο backend του SageMaker με την Αναζήτηση Amazon

Η Αναζήτηση Amazon είναι υπεύθυνη για την εμπειρία αναζήτησης και ανακάλυψης Amazon.com. Ενισχύει την εμπειρία αναζήτησης για πελάτες που αναζητούν προϊόντα για αγορά στο Amazon. Σε υψηλό επίπεδο, η Αναζήτηση Amazon δημιουργεί ένα ευρετήριο για όλα τα προϊόντα που πωλούνται στο Amazon.com. Όταν ένας πελάτης εισάγει ένα ερώτημα, η Αναζήτηση Amazon χρησιμοποιεί στη συνέχεια μια ποικιλία τεχνικών ML, συμπεριλαμβανομένων μοντέλων βαθιάς εκμάθησης, για να αντιστοιχίσει σχετικά και ενδιαφέροντα προϊόντα με το ερώτημα πελάτη. Στη συνέχεια, ταξινομεί τα προϊόντα πριν εμφανίσει τα αποτελέσματα στον πελάτη.

Οι επιστήμονες της Αναζήτησης Amazon χρησιμοποίησαν το PyTorch Lightning ως ένα από τα κύρια πλαίσια για την εκπαίδευση των μοντέλων βαθιάς μάθησης που ενισχύουν την κατάταξη στην Αναζήτηση λόγω των πρόσθετων χαρακτηριστικών χρηστικότητας πάνω από το PyTorch. Το SMDDP δεν υποστηριζόταν για μοντέλα βαθιάς εκμάθησης γραμμένα στο PyTorch Lightning πριν από αυτή τη νέα κυκλοφορία του SageMaker. Αυτό εμπόδισε τους επιστήμονες του Amazon Search που προτιμούν να χρησιμοποιούν το PyTorch Lightning από το να κλιμακώσουν την εκπαίδευση του μοντέλου τους χρησιμοποιώντας τεχνικές παράλληλων δεδομένων, επιβραδύνοντας σημαντικά τον χρόνο εκπαίδευσής τους και εμποδίζοντάς τους να δοκιμάσουν νέα πειράματα που απαιτούν πιο κλιμακούμενη εκπαίδευση.

Τα πρώιμα αποτελέσματα συγκριτικής αξιολόγησης της ομάδας δείχνουν 7.3 φορές ταχύτερο χρόνο εκπαίδευσης για ένα δείγμα μοντέλου όταν εκπαιδεύεται σε οκτώ κόμβους σε σύγκριση με μια βασική γραμμή εκπαίδευσης ενός κόμβου. Το βασικό μοντέλο που χρησιμοποιείται σε αυτές τις συγκριτικές αξιολογήσεις είναι ένα πολυστρωματικό νευρωνικό δίκτυο perceptron με επτά πυκνά πλήρως συνδεδεμένα στρώματα και περισσότερες από 200 παραμέτρους. Ο παρακάτω πίνακας συνοψίζει το αποτέλεσμα συγκριτικής αξιολόγησης σε ml.p3.16x μεγάλες περιπτώσεις εκπαίδευσης του SageMaker.

Στη συνέχεια, εξετάζουμε τις λεπτομέρειες για τις νέες εκδόσεις. Αν θέλετε, μπορείτε να περάσετε από το αντίστοιχο μας παράδειγμα σημειωματάριο.

Εκτελέστε το PyTorch Lightning με τη διανεμημένη βιβλιοθήκη εκπαίδευσης του SageMaker

Είμαστε στην ευχάριστη θέση να ανακοινώσουμε ότι το SageMaker Data Parallel πλέον ενσωματώνεται απρόσκοπτα με το PyTorch Lightning στην εκπαίδευση του SageMaker.

Το PyTorch Lightning είναι ένα πλαίσιο ανοιχτού κώδικα που παρέχει μια απλοποίηση για τη σύνταξη προσαρμοσμένων μοντέλων στο PyTorch. Κατά κάποιο τρόπο παρόμοιο με αυτό που έκανε ο Keras για το TensorFlow, ή ακόμα και αναμφισβήτητα το Hugging Face, το PyTorch Lightning παρέχει ένα API υψηλού επιπέδου με αφαιρέσεις για μεγάλο μέρος της λειτουργικότητας χαμηλότερου επιπέδου του ίδιου του PyTorch. Αυτό περιλαμβάνει τον ορισμό του μοντέλου, τη δημιουργία προφίλ, την αξιολόγηση, το κλάδεμα, τον παραλληλισμό του μοντέλου, τις διαμορφώσεις υπερπαραμέτρων, τη μεταφορά εκμάθησης και πολλά άλλα.

Προηγουμένως, οι προγραμματιστές του PyTorch Lightning ήταν αβέβαιοι για το πώς να μεταφέρουν απρόσκοπτα τον εκπαιδευτικό τους κώδικα σε συμπλέγματα GPU SageMaker υψηλής απόδοσης. Επιπλέον, δεν υπήρχε τρόπος να επωφεληθούν από τα κέρδη αποδοτικότητας που εισήγαγε η SageMaker Data Parallel.

Για το PyTorch Lightning, μιλώντας γενικά, θα πρέπει να υπάρχουν ελάχιστες έως καθόλου αλλαγές κώδικα για να τρέξετε απλώς αυτά τα API στο SageMaker Training. Στα παραδείγματα τετράδια χρησιμοποιούμε το Στρατηγική DDP και DDPPlugin μεθόδους.

Υπάρχουν τρία βήματα για να χρησιμοποιήσετε το PyTorch Lightning με το SageMaker Data Parallel ως βελτιστοποιημένο backend:

1. Χρησιμοποιήστε ένα υποστηριζόμενο AWS Deep Learning Container (DLC) ως βασική εικόνα σας ή προαιρετικά δημιουργήστε το δικό σας κοντέινερ και εγκαταστήστε μόνοι σας το backend SageMaker Data Parallel. Βεβαιωθείτε ότι έχετε συμπεριλάβει το PyTorch Lightning στα απαραίτητα πακέτα σας, όπως με α requirements.txt αρχείο.
2. Κάντε μερικές μικρές αλλαγές κώδικα στο σενάριο εκπαίδευσης που ενεργοποιούν το βελτιστοποιημένο backend. Αυτά περιλαμβάνουν:
   1. Εισαγάγετε τη βιβλιοθήκη SM DDP:

      import smdistributed.dataparallel.torch.torch_smddp
      

   2. Ρυθμίστε το περιβάλλον PyTorch Lightning για το SageMaker:

      from pytorch_lightning.plugins.environments.lightning_environment 
        import LightningEnvironment
      
      env = LightningEnvironment()
      env.world_size = lambda: int(os.environ["WORLD_SIZE"])
      env.global_rank = lambda: int(os.environ["RANK"])

   3. Εάν χρησιμοποιείτε μια έκδοση του PyTorch Lightning παλαιότερη από 1.5.10, θα χρειαστεί να προσθέσετε μερικά ακόμη βήματα.
      1. Αρχικά, προσθέστε τη μεταβλητή περιβάλλοντος:

         os.environ["PL_TORCH_DISTRIBUTED_BACKEND"] = "smddp"

      2. Δεύτερον, βεβαιωθείτε ότι χρησιμοποιείτε DDPPlugin, Αντί DDPStrategy. Εάν χρησιμοποιείτε μια πιο πρόσφατη έκδοση, την οποία μπορείτε εύκολα να ορίσετε τοποθετώντας το requirements.txt στο source_dir για τη δουλειά σας, τότε αυτό δεν είναι απαραίτητο. Δείτε τον παρακάτω κώδικα:

         ddp = DDPPlugin(parallel_devices=[torch.device("cuda", d) for d in range(num_gpus)], cluster_environment=env)

   4. Προαιρετικά, ορίστε το backend της ομάδας διεργασιών σας ως "smddp" στο DDPSTrategy αντικείμενο. Ωστόσο, εάν χρησιμοποιείτε το PyTorch Lightning με το backend PyTorch DDP, το οποίο επίσης υποστηρίζεται, απλώς αφαιρέστε αυτό το `process_group_backend` παράμετρος. Δείτε τον παρακάτω κώδικα:

      ddp = DDPStrategy(
        cluster_environment=env, 
        process_group_backend="smddp", 
        accelerator="gpu")

3. Βεβαιωθείτε ότι έχετε μια μέθοδο διανομής σημειωμένη στον εκτιμητή, όπως π.χ distribution={"smdistributed":{"dataparallel":{"enabled":True} εάν χρησιμοποιείτε το backend Herring ή distribution={"pytorchddp":{"enabled":True}.

• Για μια πλήρη λίστα κατάλληλων παραμέτρων στο distribution παράμετρο, δείτε την τεκμηρίωσή μας εδώ.

Τώρα μπορείτε να ξεκινήσετε την εργασία εκπαίδευσης του SageMaker! Μπορείτε να ξεκινήσετε την εκπαιδευτική σας εργασία μέσω του Python SDK, του Boto3, της κονσόλας SageMaker, του Διεπαφή γραμμής εντολών AWS (AWS CLI), και αμέτρητες άλλες μεθόδους. Από την άποψη του AWS, αυτό είναι μια ενιαία εντολή API: create-training-job. Είτε εκκινείτε αυτήν την εντολή από το τοπικό σας τερματικό, ένα AWS Lambda λειτουργία, ένα Στούντιο Amazon SageMaker σημειωματάριο, μια διοχέτευση KubeFlow ή οποιοδήποτε άλλο υπολογιστικό περιβάλλον εξαρτάται αποκλειστικά από εσάς.

Λάβετε υπόψη ότι η ενοποίηση μεταξύ PyTorch Lightning και SageMaker Data Parallel υποστηρίζεται προς το παρόν μόνο για νεότερες εκδόσεις του PyTorch, ξεκινώντας από την 1.11. Επιπλέον, αυτή η έκδοση είναι διαθέσιμη μόνο στα DLC του AWS για το SageMaker ξεκινώντας από το PyTorch 1.12. Βεβαιωθείτε ότι δείχνετε αυτήν την εικόνα ως βάση σας. Σε us-east-1, αυτή η διεύθυνση είναι η εξής:

ecr_image = '763104351884.dkr.ecr.us-east-1.amazonaws.com/pytorch-training:1.12.0-gpu-py38-cu113-ubuntu20.04-sagemaker'

Στη συνέχεια, μπορείτε να επεκτείνετε το κοντέινερ Docker χρησιμοποιώντας αυτό ως βασική εικόνα ή μπορείτε να το μεταφέρετε ως μεταβλητή στο image_uri επιχείρημα του Εκτιμητής εκπαίδευσης SageMaker.

Ως αποτέλεσμα, θα μπορείτε να εκτελέσετε τον κώδικα PyTorch Lightning στις βελτιστοποιημένες GPU του SageMaker Training, με την καλύτερη διαθέσιμη απόδοση στο AWS.

Εκτελέστε το PyTorch Distributed Data Parallel στο SageMaker

Το μεγαλύτερο πρόβλημα PyTorch Distributed Data Parallel (DDP) λύνει είναι απατηλά απλή: ταχύτητα. Ένα καλό κατανεμημένο πλαίσιο εκπαίδευσης θα πρέπει να παρέχει σταθερότητα, αξιοπιστία και το πιο σημαντικό, εξαιρετική απόδοση σε κλίμακα. Το PyTorch DDP το επιτυγχάνει αυτό παρέχοντας στους προγραμματιστές φακών API για να αναπαράγουν τα μοντέλα τους σε πολλές συσκευές GPU, τόσο σε ρυθμίσεις ενός κόμβου όσο και σε ρυθμίσεις πολλαπλών κόμβων. Στη συνέχεια, το πλαίσιο διαχειρίζεται την κοινή χρήση διαφορετικών αντικειμένων από το σύνολο δεδομένων εκπαίδευσης σε κάθε αντίγραφο μοντέλου, υπολογίζοντας τον μέσο όρο των διαβαθμίσεων για καθένα από τα αντίγραφα του μοντέλου για να τα συγχρονίζει σε κάθε βήμα. Αυτό παράγει ένα μοντέλο στη συνολική ολοκλήρωση του πλήρους κύκλου εκπαίδευσης. Το παρακάτω διάγραμμα απεικονίζει αυτή τη διαδικασία.

Το PyTorch DDP είναι συνηθισμένο σε έργα που χρησιμοποιούν μεγάλα σύνολα δεδομένων. Το ακριβές μέγεθος κάθε συνόλου δεδομένων θα ποικίλλει ευρέως, αλλά μια γενική κατευθυντήρια γραμμή είναι η κλιμάκωση των συνόλων δεδομένων, του υπολογισμού μεγεθών και των μεγεθών μοντέλων σε παρόμοιες αναλογίες. Επίσης λέγεται νόμους κλιμάκωσης, ο βέλτιστος συνδυασμός αυτών των τριών είναι πολύ διαθέσιμος για συζήτηση και θα ποικίλλει ανάλογα με τις εφαρμογές. Στο AWS, με βάση την εργασία με πολλούς πελάτες, μπορούμε να δούμε ξεκάθαρα οφέλη από παράλληλες στρατηγικές δεδομένων όταν ένα συνολικό μέγεθος δεδομένων είναι τουλάχιστον μερικές δεκάδες GB. Όταν τα σύνολα δεδομένων γίνονται ακόμη μεγαλύτερα, η εφαρμογή κάποιου τύπου στρατηγικής παράλληλων δεδομένων είναι μια κρίσιμη τεχνική για την επιτάχυνση του συνολικού πειράματος και τη βελτίωση του χρόνου σας για να αποτιμήσετε.

Προηγουμένως, οι πελάτες που χρησιμοποιούσαν το PyTorch DDP για κατανεμημένη εκπαίδευση σε εγκαταστάσεις ή σε άλλα υπολογιστικά περιβάλλοντα δεν είχαν ένα πλαίσιο για να μεταφέρουν εύκολα τα έργα τους στο SageMaker Training για να επωφεληθούν από GPU υψηλής απόδοσης με ένα απρόσκοπτο επίπεδο ελέγχου. Συγκεκριμένα, έπρεπε είτε να μεταφέρουν το παράλληλο πλαίσιο δεδομένων τους στο SMDDP είτε να αναπτύξουν και να δοκιμάσουν τις δυνατότητες του PyTorch DDP στο SageMaker Training με μη αυτόματο τρόπο. Σήμερα, το SageMaker Training είναι στην ευχάριστη θέση να παρέχει μια απρόσκοπτη εμπειρία στους πελάτες που χρησιμοποιούν τον κωδικό PyTorch DDP τους.

Για να το χρησιμοποιήσετε αποτελεσματικά, δεν χρειάζεται να κάνετε αλλαγές στα σενάρια εκπαίδευσης.

Μπορείτε να δείτε αυτή τη νέα παράμετρο στον παρακάτω κώδικα. Στο distribution παράμετρος, απλά προσθέστε pytorchddp και ενεργοποιήθηκε ως true.

estimator = PyTorch(
    base_job_name="pytorch-dataparallel-mnist",
    source_dir="code",
    entry_point = "my_model.py",
    ... 
    # Training using SMDataParallel Distributed Training Framework
    distribution = {"pytorchddp": {"enabled": "true"}}
)

Αυτή η νέα διαμόρφωση ξεκινά από τις εκδόσεις 2.102.0 του SageMaker Python SDK και την έκδοση 1.11 του PyTorch DLC.

Για προγραμματιστές PyTorch DDP που είναι εξοικειωμένοι με το δημοφιλές πυρσός πλαίσιο, είναι χρήσιμο να γνωρίζετε ότι αυτό δεν είναι απαραίτητο στο εκπαιδευτικό περιβάλλον SageMaker, το οποίο ήδη παρέχει ισχυρή ανοχή σφαλμάτων. Ωστόσο, για να ελαχιστοποιήσετε τις επανεγγραφές κώδικα, μπορείτε να φέρετε ένα άλλο σενάριο εκκίνησης που εκτελεί αυτήν την εντολή ως σημείο εισόδου σας.

Τώρα οι προγραμματιστές του PyTorch μπορούν εύκολα να μετακινήσουν τα σενάρια τους στο SageMaker, διασφαλίζοντας ότι τα σενάρια και τα κοντέινέρ τους μπορούν να εκτελούνται απρόσκοπτα σε πολλαπλά υπολογιστικά περιβάλλοντα.

Αυτό τους προετοιμάζει να εκμεταλλευτούν στο μέλλον Διανεμημένες εκπαιδευτικές βιβλιοθήκες του SageMaker που παρέχουν τοπολογίες εκπαίδευσης βελτιστοποιημένες για AWS για να προσφέρουν βελτιώσεις επιτάχυνσης έως και 40%. Για τους προγραμματιστές του PyTorch, αυτή είναι μια ενιαία γραμμή κώδικα! Για τον κώδικα PyTorch DDP, μπορείτε απλά να ορίσετε το backend σε smddp στην αρχικοποίηση (βλ Τροποποιήστε ένα εκπαιδευτικό σενάριο PyTorch), όπως φαίνεται στον παρακάτω κώδικα:

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist
dist.init_process_group(backend='smddp')

Όπως είδαμε παραπάνω, μπορείτε επίσης να ορίσετε το backend του DDPStrategy προς την smddp όταν χρησιμοποιείτε το Lightning. Αυτό μπορεί να οδηγήσει σε μέχρι 40% συνολικές επιταχύνσεις για μεγάλες ομάδες! Για να μάθετε περισσότερα σχετικά με την κατανεμημένη εκπαίδευση στο SageMaker, δείτε το διαδικτυακό σεμινάριο μας κατά παραγγελία, υποστηρίζοντας φορητούς υπολογιστές, σχετικό τεκμηρίωση, να χαρτιά.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε δύο νέες δυνατότητες στην οικογένεια SageMaker Training. Αυτά διευκολύνουν πολύ τους προγραμματιστές του PyTorch να χρησιμοποιήσουν τον υπάρχοντα κώδικα στο SageMaker, τόσο το PyTorch DDP όσο και το PyTorch Lightning.

Δείξαμε επίσης πώς η Αναζήτηση Amazon χρησιμοποιεί το SageMaker Training για την εκπαίδευση των μοντέλων βαθιάς μάθησης, και ειδικότερα το PyTorch Lightning με τη βελτιστοποιημένη συλλογική βιβλιοθήκη SageMaker Data Parallel ως backend. Η μετάβαση στην κατανεμημένη εκπαίδευση συνολικά βοήθησε το Amazon Search να επιτύχει 7.3 φορές ταχύτερους χρόνους τρένου.

Σχετικά με τους συγγραφείς

Έμιλι Webber εντάχθηκε στο AWS αμέσως μετά την κυκλοφορία του SageMaker και από τότε προσπαθεί να το πει στον κόσμο! Εκτός από τη δημιουργία νέων εμπειριών ML για τους πελάτες, η Emily απολαμβάνει τον διαλογισμό και τη μελέτη του Θιβετιανού Βουδισμού.

Karan Dhiman είναι Μηχανικός Ανάπτυξης Λογισμικού στην AWS, με έδρα το Τορόντο του Καναδά. Είναι πολύ παθιασμένος με τον χώρο μηχανικής μάθησης και την κατασκευή λύσεων για την επιτάχυνση του κατανεμημένου φόρτου εργασίας υπολογιστών.

Vishwa Karia είναι Μηχανικός Ανάπτυξης Λογισμικού στην AWS Deep Engine. Τα ενδιαφέροντά της βρίσκονται στη διασταύρωση της Μηχανικής Μάθησης και των Κατανεμημένων Συστημάτων και είναι επίσης παθιασμένη με την ενδυνάμωση των γυναικών στην τεχνολογία και την τεχνητή νοημοσύνη.

Eiman Elnahrawy είναι Κύριος Μηχανικός Λογισμικού στο Amazon Search που ηγείται των προσπαθειών για την επιτάχυνση, την κλιμάκωση και την αυτοματοποίηση της Μηχανικής Μάθησης. Η τεχνογνωσία της εκτείνεται σε πολλούς τομείς, όπως η Μηχανική Μάθηση, τα Κατανεμημένα Συστήματα και η Εξατομίκευση.