Το AWS Deep Learning Challenge βλέπει καινοτόμα και αποτελεσματική χρήση των παρουσιών Amazon EC2 DL1

Στο Πρόκληση AWS Deep Learning που πραγματοποιήθηκε από τις 5 Ιανουαρίου 2022 έως την 1η Μαρτίου 2022, συμμετέχοντες από τον ακαδημαϊκό χώρο, τις νεοφυείς επιχειρήσεις και τους επιχειρηματικούς οργανισμούς ενώθηκαν για να δοκιμάσουν τις δεξιότητές τους και να εκπαιδεύσουν ένα μοντέλο βαθιάς μάθησης της επιλογής τους χρησιμοποιώντας Amazon Elastic Compute Cloud (Amazon EC2) Στιγμιότυπα DL1 και το SynapseAI SDK της Habana. Οι παρουσίες EC2 DL1 που τροφοδοτούνται από επιταχυντές Gaudi από τη Habana Labs, μια εταιρεία Intel, έχουν σχεδιαστεί ειδικά για την εκπαίδευση μοντέλων βαθιάς εκμάθησης. Οι συμμετέχοντες μπόρεσαν να συνειδητοποιήσουν τα σημαντικά οφέλη τιμής/απόδοσης που προσφέρει το DL1 σε περιπτώσεις που βασίζονται σε GPU.

Είμαστε στην ευχάριστη θέση να ανακοινώσουμε τους νικητές και να παρουσιάσουμε μερικά από τα μοντέλα μηχανικής εκμάθησης (ML) που εκπαιδεύτηκαν σε αυτό το hackathon. Θα μάθετε για μερικές από τις περιπτώσεις χρήσης βαθιάς εκμάθησης που υποστηρίζονται από περιπτώσεις EC2 DL1, συμπεριλαμβανομένης της όρασης υπολογιστή, της επεξεργασίας φυσικής γλώσσας και της ακουστικής μοντελοποίησης.

Μοντέλα που κερδίζουν

Ο πρώτος νικητής μας είναι ο α έργο που υποβλήθηκε από τον Gustavo Zomer. Είναι μια εφαρμογή της πολύγλωσσης CLIP (Contrastive Language-Image Pre-Training). Το CLIP εισήχθη από το OpenAI το 2021 ως ένας τρόπος εκπαίδευσης ενός πιο γενικευμένου ταξινομητή εικόνας σε μεγαλύτερα σύνολα δεδομένων μέσω αυτοεποπτευόμενης μάθησης. Είναι εκπαιδευμένο σε ένα μεγάλο σύνολο εικόνων με μια μεγάλη ποικιλία εποπτείας φυσικής γλώσσας που είναι άφθονα διαθέσιμη στο διαδίκτυο, αλλά περιορίζεται στην αγγλική γλώσσα. Αυτό το έργο αντικαθιστά τον κωδικοποιητή κειμένου στο CLIP με έναν πολύγλωσσο κωδικοποιητή κειμένου που ονομάζεται XLM-RoBERTa για να διευρύνει τη δυνατότητα εφαρμογής του μοντέλου σε πολλές γλώσσες. Αυτή η τροποποιημένη υλοποίηση του CLIP είναι σε θέση να αντιστοιχίσει εικόνες με λεζάντες σε πολλές γλώσσες. Το μοντέλο εκπαιδεύτηκε σε 16 επιταχυντές σε δύο περιπτώσεις DL1, δείχνοντας πώς η εκπαίδευση ML μπορεί να κλιμακωθεί ώστε να χρησιμοποιεί πολλαπλούς επιταχυντές Gaudi σε πολλούς κόμβους για να αυξήσει την απόδοση της εκπαίδευσης και να μειώσει τον χρόνο εκπαίδευσης. Οι κριτές εντυπωσιάστηκαν από την αποτελεσματική χρήση της βαθιάς μάθησης για την κατάργηση των γλωσσικών φραγμών και την τεχνική εφαρμογή, η οποία χρησιμοποίησε κατανεμημένη εκπαίδευση.

Στη δεύτερη θέση, έχουμε ένα έργο που υποβλήθηκε από τον Remco van Akker. Χρησιμοποιεί ένα GAN (Generative Adversarial Network) για τη δημιουργία δεδομένων συνθετικής εικόνας αμφιβληστροειδούς για ιατρικές εφαρμογές. Τα συνθετικά δεδομένα χρησιμοποιούνται στην εκπαίδευση μοντέλων σε ιατρικές εφαρμογές για να ξεπεραστεί η σπανιότητα των σχολιασμένων ιατρικών δεδομένων, η παραγωγή των οποίων είναι έντασης εργασίας και δαπανηρή. Τα συνθετικά δεδομένα μπορούν να χρησιμοποιηθούν ως μέρος της αύξησης δεδομένων για την άρση των προκαταλήψεων και για να γίνουν τα μοντέλα όρασης σε ιατρικές εφαρμογές πιο γενικεύσιμα. Αυτό το έργο ξεχώρισε επειδή εφάρμοσε ένα μοντέλο παραγωγής στο DL1 για να λύσει ένα πραγματικό πρόβλημα που επηρεάζει την εφαρμογή της τεχνητής νοημοσύνης και της ML στην υγειονομική περίθαλψη.

Ολοκληρώνοντας την πρώτη μας τριάδα ήταν α έργο που υποβλήθηκε από τον Zohar Jackson που εφάρμοσε ένα μοντέλο μετασχηματιστή όρασης για σημασιολογική κατάτμηση. Αυτό το έργο χρησιμοποιεί τη βιβλιοθήκη Ray Tune για να τελειοποιήσει τις υπερπαραμέτρους και χρησιμοποιεί το Horovod για να παραλληλίσει την εκπαίδευση σε 16 επιταχυντές Gaudi σε δύο περιπτώσεις DL1.

Εκτός από τους τρεις πρώτους νικητές, οι συμμετέχοντες κέρδισαν πολλά άλλα βραβεία, συμπεριλαμβανομένων της καλύτερης τεχνικής υλοποίησης, του υψηλότερου δυνατού αντίκτυπου και του πιο δημιουργικού έργου. Προσφέρουμε τα συγχαρητήριά μας σε όλους τους νικητές αυτού του hackathon για την κατασκευή ενός τέτοιου ποικίλο σύνολο σημαντικών έργων σε περιπτώσεις EC2 DL1 που βασίζονται σε επιταχυντές Gaudi. Ανυπομονούμε να δούμε τι θα συνεχίσουν να χτίζουν οι συμμετέχοντες στις παρουσίες DL1 στο μέλλον.

Ξεκινήστε με παρουσίες DL1

Όπως αποδεικνύεται από τα διάφορα έργα σε αυτό το hackathon, μπορείτε να χρησιμοποιήσετε περιπτώσεις EC2 DL1 για να εκπαιδεύσετε μοντέλα βαθιάς εκμάθησης για περιπτώσεις χρήσης όπως η επεξεργασία φυσικής γλώσσας, ο εντοπισμός αντικειμένων και η αναγνώριση εικόνας. Με τις παρουσίες DL1, λαμβάνετε επίσης έως και 40% καλύτερη τιμή/απόδοση για την εκπαίδευση μοντέλων βαθιάς εκμάθησης σε σύγκριση με τις παρουσίες EC2 που βασίζονται σε GPU τρέχουσας γενιάς. Επίσκεψη Παρουσίες Amazon EC2 DL1 για να μάθετε περισσότερα σχετικά με το πώς οι παρουσίες DL1 μπορούν να επιταχύνουν τον φόρτο εργασίας της εκπαίδευσης σας.

Σχετικά με τους συγγραφείς

Dvij Bajpai είναι Ανώτερος Διευθυντής Προϊόντων στην AWS. Εργάζεται στην ανάπτυξη περιπτώσεων EC2 για φόρτους εργασίας στη μηχανική μάθηση και στους υπολογιστές υψηλής απόδοσης.

Αμρ Ραγκάμπ είναι κύριος αρχιτέκτονας λύσεων στην AWS. Παρέχει τεχνική καθοδήγηση για να βοηθήσει τους πελάτες να εκτελούν σύνθετους υπολογιστικούς φόρτους εργασίας σε κλίμακα.

Shruti Koparkar είναι Ανώτερος Διευθυντής Μάρκετινγκ Προϊόντων στην AWS. Βοηθά τους πελάτες να εξερευνήσουν, να αξιολογήσουν και να υιοθετήσουν υποδομή υπολογιστών EC2 για τις ανάγκες μηχανικής εκμάθησης.