Πώς το Getir μείωσε τις διάρκειες εκπαίδευσης μοντέλων κατά 90% με το Amazon SageMaker και το AWS Batch | Υπηρεσίες Ιστού της Amazon

Αυτή είναι μια φιλοξενούμενη ανάρτηση που συνυπογράφουν οι Nafi Ahmet Turgut, Hasan Burak Yel και Damla Şentürk από το Getir.

Ιδρύθηκε το 2015, έφερε έχει τοποθετηθεί ως ο πρωτοπόρος στον τομέα της εξαιρετικά γρήγορης παράδοσης ειδών παντοπωλείου. Αυτή η καινοτόμος εταιρεία τεχνολογίας έχει φέρει επανάσταση στο τμήμα παράδοσης του τελευταίου μιλίου με την συναρπαστική προσφορά «παντοπωλείου σε λίγα λεπτά». Με παρουσία σε όλη την Τουρκία, το Ηνωμένο Βασίλειο, την Ολλανδία, τη Γερμανία και τις Ηνωμένες Πολιτείες, η Getir έχει γίνει μια πολυεθνική δύναμη που πρέπει να υπολογίζεται. Σήμερα, η επωνυμία Getir αντιπροσωπεύει έναν διαφοροποιημένο όμιλο ετερογενών δραστηριοτήτων που περιλαμβάνει εννέα διαφορετικούς κλάδους, όλοι λειτουργούν συνεργιστικά κάτω από μια μοναδική ομπρέλα.

Σε αυτήν την ανάρτηση, εξηγούμε πώς δημιουργήσαμε έναν αγωγό πρόβλεψης κατηγορίας προϊόντων από άκρο σε άκρο για να βοηθήσουμε τις εμπορικές ομάδες χρησιμοποιώντας Amazon Sage Maker και Παρτίδα AWS, μειώνοντας τη διάρκεια της εκπαίδευσης μοντέλου κατά 90%.

Η κατανόηση της υπάρχουσας ποικιλίας προϊόντων μας με λεπτομερή τρόπο είναι μια κρίσιμη πρόκληση που αντιμετωπίζουμε, μαζί με πολλές επιχειρήσεις, στη σημερινή αγορά με γρήγορους ρυθμούς και ανταγωνιστές. Μια αποτελεσματική λύση σε αυτό το πρόβλημα είναι η πρόβλεψη κατηγοριών προϊόντων. Ένα μοντέλο που δημιουργεί ένα ολοκληρωμένο δέντρο κατηγοριών επιτρέπει στις εμπορικές μας ομάδες να συγκρίνουν το υπάρχον χαρτοφυλάκιο προϊόντων μας σε σχέση με αυτό των ανταγωνιστών μας, προσφέροντας ένα στρατηγικό πλεονέκτημα. Επομένως, η κεντρική μας πρόκληση είναι η δημιουργία και η εφαρμογή ενός ακριβούς μοντέλου πρόβλεψης κατηγορίας προϊόντων.

Αξιοποιήσαμε τα ισχυρά εργαλεία που παρέχει η AWS για να αντιμετωπίσουμε αυτήν την πρόκληση και να πλοηγηθούμε αποτελεσματικά στο σύνθετο πεδίο της μηχανικής μάθησης (ML) και των προγνωστικών αναλυτικών στοιχείων. Οι προσπάθειές μας οδήγησαν στην επιτυχή δημιουργία μιας σειράς προβλέψεων κατηγορίας προϊόντων από άκρο σε άκρο, που συνδυάζει τα δυνατά σημεία του SageMaker και του AWS Batch.

Αυτή η ικανότητα πρόβλεψης αναλυτικών στοιχείων, ιδιαίτερα η ακριβής πρόβλεψη των κατηγοριών προϊόντων, έχει αποδειχθεί ανεκτίμητη. Παρείχε στις ομάδες μας κρίσιμες πληροφορίες βάσει δεδομένων που βελτιστοποίησαν τη διαχείριση αποθέματος, βελτίωσαν τις αλληλεπιδράσεις με τους πελάτες και ενίσχυσαν την παρουσία μας στην αγορά.

Η μεθοδολογία που εξηγούμε σε αυτήν την ανάρτηση κυμαίνεται από την αρχική φάση της συλλογής συνόλων χαρακτηριστικών έως την τελική υλοποίηση του αγωγού πρόβλεψης. Μια σημαντική πτυχή της στρατηγικής μας ήταν η χρήση του SageMaker και του AWS Batch για τη βελτίωση των προεκπαιδευμένων μοντέλων BERT για επτά διαφορετικές γλώσσες. Επιπλέον, η απρόσκοπτη ενσωμάτωσή μας με την υπηρεσία αποθήκευσης αντικειμένων της AWS Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) ήταν το κλειδί για την αποτελεσματική αποθήκευση και πρόσβαση σε αυτά τα εκλεπτυσμένα μοντέλα.

Το SageMaker είναι μια πλήρως διαχειριζόμενη υπηρεσία ML. Με το SageMaker, οι επιστήμονες δεδομένων και οι προγραμματιστές μπορούν γρήγορα και αβίαστα να δημιουργήσουν και να εκπαιδεύσουν μοντέλα ML και στη συνέχεια να τα αναπτύξουν απευθείας σε ένα φιλοξενούμενο περιβάλλον έτοιμο για παραγωγή.

Ως μια πλήρως διαχειριζόμενη υπηρεσία, το AWS Batch σάς βοηθά να εκτελείτε φόρτους εργασίας μαζικής υπολογιστικής οποιασδήποτε κλίμακας. Το AWS Batch παρέχει αυτόματα υπολογιστικούς πόρους και βελτιστοποιεί την κατανομή του φόρτου εργασίας με βάση την ποσότητα και την κλίμακα του φόρτου εργασίας. Με το AWS Batch, δεν χρειάζεται να εγκαταστήσετε ή να διαχειριστείτε ομαδικό λογισμικό υπολογιστών, ώστε να μπορείτε να εστιάσετε το χρόνο σας στην ανάλυση των αποτελεσμάτων και στην επίλυση προβλημάτων. Χρησιμοποιήσαμε εργασίες GPU που μας βοηθούν να εκτελέσουμε εργασίες που χρησιμοποιούν GPU μιας παρουσίας.

Επισκόπηση της λύσης

Πέντε άτομα από την ομάδα επιστήμης δεδομένων και την ομάδα υποδομής του Getir συνεργάστηκαν σε αυτό το έργο. Το έργο ολοκληρώθηκε σε ένα μήνα και μεταφέρθηκε στην παραγωγή μετά από μια εβδομάδα δοκιμών.

Το παρακάτω διάγραμμα δείχνει την αρχιτεκτονική της λύσης.

Ο αγωγός μοντέλου εκτελείται ξεχωριστά για κάθε χώρα. Η αρχιτεκτονική περιλαμβάνει δύο εργασίες cron GPU AWS Batch για κάθε χώρα, που εκτελούνται σε καθορισμένα χρονοδιαγράμματα.

Ξεπεράσαμε ορισμένες προκλήσεις αναπτύσσοντας στρατηγικά τους πόρους GPU του SageMaker και του AWS Batch. Η διαδικασία που χρησιμοποιείται για την αντιμετώπιση κάθε δυσκολίας περιγράφεται λεπτομερώς στις επόμενες ενότητες.

Βελτιώστε τα πολύγλωσσα μοντέλα BERT με εργασίες GPU AWS Batch

Αναζητήσαμε μια λύση για την υποστήριξη πολλών γλωσσών για τη διαφορετική βάση χρηστών μας. Τα μοντέλα BERT ήταν μια προφανής επιλογή λόγω της καθιερωμένης ικανότητάς τους να χειρίζονται αποτελεσματικά πολύπλοκες εργασίες φυσικής γλώσσας. Προκειμένου να προσαρμόσουμε αυτά τα μοντέλα στις ανάγκες μας, αξιοποιήσαμε τη δύναμη του AWS χρησιμοποιώντας εργασίες παρουσίασης GPU ενός κόμβου. Αυτό μας επέτρεψε να βελτιστοποιήσουμε τα προεκπαιδευμένα μοντέλα BERT για καθεμία από τις επτά γλώσσες για τις οποίες χρειαζόμασταν υποστήριξη. Μέσω αυτής της μεθόδου, εξασφαλίσαμε υψηλή ακρίβεια στην πρόβλεψη κατηγοριών προϊόντων, ξεπερνώντας τυχόν γλωσσικά εμπόδια.

Αποτελεσματική αποθήκευση μοντέλων με χρήση του Amazon S3

Το επόμενο βήμα μας ήταν να αντιμετωπίσουμε την αποθήκευση και τη διαχείριση μοντέλων. Για αυτό, επιλέξαμε το Amazon S3, γνωστό για την επεκτασιμότητα και την ασφάλειά του. Η αποθήκευση των βελτιστοποιημένων μοντέλων BERT στο Amazon S3 μας επέτρεψε να παρέχουμε εύκολη πρόσβαση σε διαφορετικές ομάδες εντός του οργανισμού μας, εκσυγχρονίζοντας έτσι σημαντικά τη διαδικασία ανάπτυξής μας. Αυτή ήταν μια κρίσιμη πτυχή για την επίτευξη ευελιξίας στις δραστηριότητές μας και την απρόσκοπτη ενσωμάτωση των προσπαθειών μας για ML.

Δημιουργία ενός αγωγού πρόβλεψης από άκρο σε άκρο

Απαιτήθηκε ένας αποτελεσματικός αγωγός για την καλύτερη χρήση των προεκπαιδευμένων μοντέλων μας. Αρχικά αναπτύξαμε αυτά τα μοντέλα στο SageMaker, μια ενέργεια που επέτρεπε προβλέψεις σε πραγματικό χρόνο με χαμηλό λανθάνοντα χρόνο, βελτιώνοντας έτσι την εμπειρία χρήστη μας. Για προβλέψεις παρτίδων μεγαλύτερης κλίμακας, που ήταν εξίσου ζωτικής σημασίας για τις δραστηριότητές μας, χρησιμοποιήσαμε εργασίες GPU AWS Batch. Αυτό εξασφάλισε τη βέλτιστη χρήση των πόρων μας, παρέχοντάς μας τέλεια ισορροπία απόδοσης και αποδοτικότητας.

Διερεύνηση μελλοντικών δυνατοτήτων με SageMaker MMEs

Καθώς συνεχίζουμε να εξελισσόμαστε και να επιδιώκουμε αποτελεσματικότητες στον αγωγό ML μας, μια οδός που επιθυμούμε να εξερευνήσουμε είναι η χρήση τερματικών σημείων πολλαπλών μοντέλων (MME) του SageMaker για την ανάπτυξη των βελτιστοποιημένων μοντέλων μας. Με τα MME, μπορούμε ενδεχομένως να εξορθολογίσουμε την ανάπτυξη διαφόρων βελτιωμένων μοντέλων, διασφαλίζοντας αποτελεσματική διαχείριση μοντέλων, ενώ παράλληλα επωφελούμαστε από τις εγγενείς δυνατότητες του SageMaker, όπως παραλλαγές σκιάς, αυτόματη κλιμάκωση και amazoncloudwatch ενσωμάτωση. Αυτή η εξερεύνηση ευθυγραμμίζεται με τη συνεχή επιδίωξή μας να βελτιώσουμε τις ικανότητες πρόβλεψης ανάλυσης και να παρέχουμε ανώτερες εμπειρίες στους πελάτες μας.

Συμπέρασμα

Η επιτυχημένη ενσωμάτωση του SageMaker και του AWS Batch όχι μόνο αντιμετώπισε τις συγκεκριμένες προκλήσεις μας, αλλά ενίσχυσε επίσης σημαντικά τη λειτουργική μας αποτελεσματικότητα. Μέσω της εφαρμογής ενός εξελιγμένου αγωγού πρόβλεψης κατηγορίας προϊόντων, είμαστε σε θέση να ενδυναμώσουμε τις εμπορικές μας ομάδες με γνώσεις που βασίζονται σε δεδομένα, διευκολύνοντας έτσι την πιο αποτελεσματική λήψη αποφάσεων.

Τα αποτελέσματά μας μιλούν πολύ για την αποτελεσματικότητα της προσέγγισής μας. Έχουμε επιτύχει ακρίβεια πρόβλεψης 80% και στα τέσσερα επίπεδα ευαισθησίας της κατηγορίας, η οποία διαδραματίζει σημαντικό ρόλο στη διαμόρφωση της ποικιλίας προϊόντων για κάθε χώρα που εξυπηρετούμε. Αυτό το επίπεδο ακρίβειας επεκτείνει την προσέγγισή μας πέρα ​​από τα γλωσσικά εμπόδια και διασφαλίζει ότι καλύπτουμε τη διαφορετική βάση χρηστών μας με τη μέγιστη ακρίβεια.

Επιπλέον, χρησιμοποιώντας στρατηγικά προγραμματισμένες εργασίες GPU AWS Batch, μπορέσαμε να μειώσουμε τις διάρκειες εκπαίδευσης μοντέλων κατά 90%. Αυτή η αποτελεσματικότητα έχει εξορθολογίσει περαιτέρω τις διαδικασίες μας και έχει ενισχύσει την επιχειρησιακή μας ευελιξία. Η αποτελεσματική αποθήκευση μοντέλων με χρήση του Amazon S3 έχει διαδραματίσει κρίσιμο ρόλο σε αυτό το επίτευγμα, εξισορροπώντας προβλέψεις τόσο σε πραγματικό χρόνο όσο και σε παρτίδες.

Για περισσότερες πληροφορίες σχετικά με το πώς να ξεκινήσετε τη δημιουργία των δικών σας σωλήνων ML με το SageMaker, ανατρέξτε στην ενότητα Πόροι του Amazon SageMaker. Το AWS Batch είναι μια εξαιρετική επιλογή εάν αναζητάτε μια χαμηλού κόστους, επεκτάσιμη λύση για την εκτέλεση εργασιών παρτίδας με χαμηλό λειτουργικό κόστος. Για να ξεκινήσετε, δείτε Ξεκινώντας με το AWS Batch.

---

Σχετικά με τους Συγγραφείς

Nafi Ahmet Turgut τελείωσε το μεταπτυχιακό του στον Ηλεκτρολόγο & Ηλεκτρονικό Μηχανικό και εργάστηκε ως πτυχιούχος ερευνητής. Η εστίασή του ήταν η κατασκευή αλγορίθμων μηχανικής μάθησης για την προσομοίωση ανωμαλιών του νευρικού δικτύου. Εντάχθηκε στην Getir το 2019 και επί του παρόντος εργάζεται ως Senior Data Science & Analytics Manager. Η ομάδα του είναι υπεύθυνη για το σχεδιασμό, την υλοποίηση και τη διατήρηση αλγορίθμων μηχανικής εκμάθησης από άκρο σε άκρο και λύσεων που βασίζονται σε δεδομένα για το Getir.

Χασάν Μπουράκ Γελ έλαβε το πτυχίο του στον Ηλεκτρολόγο & Ηλεκτρονικό Μηχανικό στο Πανεπιστήμιο Boğaziçi. Εργάστηκε στην Turkcell, εστιάζοντας κυρίως στην πρόβλεψη χρονοσειρών, την οπτικοποίηση δεδομένων και την αυτοματοποίηση δικτύου. Εντάχθηκε στην Getir το 2021 και επί του παρόντος εργάζεται ως Data Science & Analytics Manager με ευθύνη των τομέων Search, Recommendation και Growth.

Damla Şentürk έλαβε το πτυχίο της Μηχανικού Υπολογιστών στο Πανεπιστήμιο Γαλατασαράι. Συνεχίζει το μεταπτυχιακό της στη Μηχανική Υπολογιστών στο Πανεπιστήμιο Boğaziçi. Έγινε μέλος της Getir το 2022 και εργάζεται ως Επιστήμονας Δεδομένων. Έχει εργαστεί σε εμπορικά έργα, σε έργα αλυσίδας εφοδιασμού και σε έργα που σχετίζονται με ανακαλύψεις.

Esra Kayabalı είναι Senior Solutions Architect στην AWS, ειδικευμένος στον τομέα των αναλυτικών στοιχείων, συμπεριλαμβανομένης της αποθήκευσης δεδομένων, των λιμνών δεδομένων, της ανάλυσης μεγάλων δεδομένων, της ροής δεδομένων δέσμης και σε πραγματικό χρόνο και της ενοποίησης δεδομένων. Έχει 12 χρόνια εμπειρία στην ανάπτυξη λογισμικού και στην αρχιτεκτονική. Είναι παθιασμένη με τη μάθηση και τη διδασκαλία τεχνολογιών cloud.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/