Ενδεικτικά σημειωματάρια στο Amazon SageMaker JumpStart

Amazon SageMaker JumpStart είναι ο κόμβος Machine Learning (ML) του SageMaker που παρέχει προεκπαιδευμένα, διαθέσιμα στο κοινό μοντέλα για ένα ευρύ φάσμα τύπων προβλημάτων που θα σας βοηθήσουν να ξεκινήσετε με τη μηχανική εκμάθηση.

Το JumpStart προσφέρει επίσης παραδείγματα φορητών υπολογιστών που χρησιμοποιούν Amazon Sage Maker χαρακτηριστικά, όπως εκπαίδευση σε σημεία και πειράματα σε μια μεγάλη ποικιλία τύπων μοντέλων και περιπτώσεων χρήσης. Αυτά τα παραδείγματα σημειωματάρια περιέχουν κώδικα που δείχνει πώς να εφαρμόζετε λύσεις ML χρησιμοποιώντας το SageMaker και το JumpStart. Μπορούν να προσαρμοστούν για να ταιριάζουν στις δικές σας ανάγκες και μπορούν έτσι να επιταχύνουν την ανάπτυξη εφαρμογών.

Πρόσφατα, προσθέσαμε 10 νέα σημειωματάρια στο JumpStart in Στούντιο Amazon SageMaker. Αυτή η ανάρτηση εστιάζει σε αυτά τα νέα σημειωματάρια. Από τη στιγμή που γράφεται αυτό το άρθρο, το JumpStart προσφέρει 56 σημειωματάρια, που κυμαίνονται από τη χρήση μοντέλων επεξεργασίας φυσικής γλώσσας (NLP) τελευταίας τεχνολογίας έως τη διόρθωση της μεροληψίας στα σύνολα δεδομένων κατά την εκπαίδευση μοντέλων.

Τα 10 νέα σημειωματάρια μπορούν να σας βοηθήσουν με τους εξής τρόπους:

• Προσφέρουν παράδειγμα κώδικα για να το εκτελέσετε όπως είναι από το JumpStart UI στο Studio και να δείτε πώς λειτουργεί ο κώδικας
• Δείχνουν τη χρήση διαφόρων API SageMaker και JumpStart
• Προσφέρουν μια τεχνική λύση που μπορείτε να προσαρμόσετε περαιτέρω με βάση τις δικές σας ανάγκες

Ο αριθμός των σημειωματάριων που προσφέρονται μέσω του JumpStart αυξάνεται σε τακτική βάση καθώς προστίθενται περισσότερα σημειωματάρια. Αυτά τα σημειωματάρια είναι επίσης διαθέσιμα στο GitHub.

Επισκόπηση σημειωματάριων

Τα 10 νέα σημειωματάρια είναι τα εξής:

• Εκμάθηση σε περιβάλλον με το AlexaTM 20B – Επιδεικνύει πώς να χρησιμοποιείτε το AlexaTM 20B για μάθηση εντός πλαισίου με μάθηση μηδενικής και λίγων λήψεων σε πέντε παραδείγματα εργασιών: σύνοψη κειμένου, δημιουργία φυσικής γλώσσας, μηχανική μετάφραση, εξαγωγικές απαντήσεις σε ερωτήσεις και συμπεράσματα και ταξινόμηση φυσικής γλώσσας.
• Γραμμικός μαθητής δικαιοσύνης στο SageMaker – Πρόσφατα υπήρξαν ανησυχίες σχετικά με την προκατάληψη στους αλγόριθμους ML ως αποτέλεσμα της μίμησης των υπαρχουσών ανθρώπινων προκαταλήψεων. Αυτό το σημειωματάριο εφαρμόζει έννοιες δικαιοσύνης για να προσαρμόσει κατάλληλα τις προβλέψεις μοντέλων.
• Διαχείριση πειραματισμού ML χρησιμοποιώντας την Αναζήτηση SageMaker – Η Αναζήτηση Amazon SageMaker σάς επιτρέπει να βρίσκετε και να αξιολογείτε γρήγορα τις πιο σχετικές εκδόσεις μοντέλων εκπαίδευσης από δυνητικά εκατοντάδες και χιλιάδες εργασίες εκπαίδευσης μοντέλων SageMaker.
• Μοντέλο θέματος νευρωνικού SageMaker – Το SageMaker Neural Topic Model (NTM) είναι ένας αλγόριθμος μάθησης χωρίς επίβλεψη που επιχειρεί να περιγράψει ένα σύνολο παρατηρήσεων ως ένα μείγμα διακριτών κατηγοριών.
• Πρόβλεψη παραβιάσεων ταχύτητας οδήγησης – Ο αλγόριθμος SageMaker DeepAR μπορεί να χρησιμοποιηθεί για την εκπαίδευση ενός μοντέλου για πολλούς δρόμους ταυτόχρονα και την πρόβλεψη παραβιάσεων για πολλές κάμερες δρόμου.
• Πρόβλεψη για τον καρκίνο του μαστού - Αυτό το σημειωματάριο χρησιμοποιεί διαγνωστικά δεδομένα για τον καρκίνο του μαστού της UCI για να δημιουργήσει ένα προγνωστικό μοντέλο για το εάν μια εικόνα μάζας μαστού υποδεικνύει έναν καλοήθη ή κακοήθη όγκο.
• Προβλέψεις συνόλου από πολλά μοντέλα – Συνδυάζοντας ή υπολογίζοντας τον μέσο όρο προβλέψεων από πολλαπλές πηγές και μοντέλα, έχουμε συνήθως μια βελτιωμένη πρόβλεψη. Αυτό το σημειωματάριο απεικονίζει αυτήν την έννοια.
• Ασύγχρονη συμπεράσματα SageMaker – Η ασύγχρονη εξαγωγή συμπερασμάτων είναι μια νέα επιλογή συμπερασμάτων για τις ανάγκες εξαγωγής συμπερασμάτων σχεδόν σε πραγματικό χρόνο. Η επεξεργασία των αιτημάτων μπορεί να διαρκέσει έως και 15 λεπτά και να έχουν μεγέθη ωφέλιμου φορτίου έως και 1 GB.
• Το TensorFlow φέρτε το δικό σας μοντέλο – Μάθετε πώς να εκπαιδεύετε ένα μοντέλο TensorFlow τοπικά και να το αναπτύσσετε στο SageMaker χρησιμοποιώντας αυτό το σημειωματάριο.
• Scikit-learn φέρτε το δικό σας μοντέλο – Αυτό το σημειωματάριο δείχνει πώς να χρησιμοποιήσετε ένα προεκπαιδευμένο μοντέλο Scikit-learn με το κοντέινερ SageMaker Scikit-learn για να δημιουργήσετε γρήγορα ένα φιλοξενούμενο τελικό σημείο για αυτό το μοντέλο.

Προϋποθέσεις

Για να χρησιμοποιήσετε αυτά τα σημειωματάρια, βεβαιωθείτε ότι έχετε πρόσβαση στο Studio με έναν ρόλο εκτέλεσης που σας επιτρέπει να εκτελέσετε τη λειτουργικότητα του SageMaker. Το παρακάτω σύντομο βίντεο θα σας βοηθήσει να πλοηγηθείτε στα σημειωματάρια JumpStart.

Στις επόμενες ενότητες, εξετάζουμε καθεμία από τις 10 νέες λύσεις και συζητάμε μερικές από τις ενδιαφέρουσες λεπτομέρειες τους.

Εκμάθηση σε περιβάλλον με το AlexaTM 20B

Το AlexaTM 20B είναι ένα μοντέλο πολλαπλών εργασιών, πολύγλωσσο, μεγάλης κλίμακας από αλληλουχία σε ακολουθία (seq2seq), που εκπαιδεύεται σε ένα μείγμα δεδομένων Common Crawl (mC4) και Wikipedia σε 12 γλώσσες, χρησιμοποιώντας εργασίες αποθορυβοποίησης και αιτιώδης μοντελοποίηση γλώσσας (CLM). Επιτυγχάνει κορυφαίες επιδόσεις σε κοινές γλωσσικές εργασίες εντός πλαισίου, όπως η σύνοψη μίας λήψης και η αυτόματη μετάφραση μίας λήψης, ξεπερνώντας τα μοντέλα μόνο αποκωδικοποιητή, όπως το GPT3 του Open AI και το PaLM της Google, τα οποία είναι πάνω από οκτώ φορές μεγαλύτερα.

Εκμάθηση εντός πλαισίου, επίσης γνωστή ως προτροπή, αναφέρεται σε μια μέθοδο όπου χρησιμοποιείτε ένα μοντέλο NLP σε μια νέα εργασία χωρίς να χρειάζεται να το ρυθμίσετε με ακρίβεια. Μερικά παραδείγματα εργασιών παρέχονται στο μοντέλο μόνο ως μέρος της εισόδου συμπερασμάτων, ένα παράδειγμα που είναι γνωστό ως ελάχιστη μάθηση στο πλαίσιο. Σε ορισμένες περιπτώσεις, το μοντέλο μπορεί να αποδώσει καλά χωρίς καθόλου δεδομένα εκπαίδευσης, δίνοντας μόνο μια εξήγηση για το τι πρέπει να προβλεφθεί. Αυτό ονομάζεται μηδενική μάθηση στο πλαίσιο.

Αυτό το σημειωματάριο δείχνει πώς να αναπτύξετε το AlexaTM 20B μέσω του JumpStart API και να εκτελέσετε συμπεράσματα. Δείχνει επίσης πώς το AlexaTM 20B μπορεί να χρησιμοποιηθεί για μάθηση εντός του πλαισίου με πέντε παραδείγματα εργασιών: σύνοψη κειμένου, δημιουργία φυσικής γλώσσας, μηχανική μετάφραση, εξαγωγικές απαντήσεις σε ερωτήσεις και συμπέρασμα και ταξινόμηση φυσικής γλώσσας.

Το σημειωματάριο δείχνει τα εξής:

• Σύνοψη κειμένου μίας λήψης, δημιουργία φυσικής γλώσσας και αυτόματη μετάφραση χρησιμοποιώντας ένα μόνο παράδειγμα εκπαίδευσης για καθεμία από αυτές τις εργασίες
• Απάντηση ερωτήσεων μηδενικής βολής και συμπέρασμα φυσικής γλώσσας συν ταξινόμηση με χρήση του μοντέλου ως έχει, χωρίς να απαιτείται η παροχή παραδειγμάτων εκπαίδευσης.

Δοκιμάστε να εκτελέσετε το δικό σας κείμενο σε σχέση με αυτό το μοντέλο και δείτε πώς συνοψίζει κείμενο, εξάγει Q&A ή μεταφράζει από τη μια γλώσσα στην άλλη.

Δικαιοσύνη γραμμικός μαθητής στο SageMaker

Πρόσφατα υπήρξαν ανησυχίες σχετικά με την προκατάληψη στους αλγόριθμους ML ως αποτέλεσμα της μίμησης των υπαρχουσών ανθρώπινων προκαταλήψεων. Σήμερα, πολλές μέθοδοι ML έχουν ισχυρές κοινωνικές επιπτώσεις, για παράδειγμα χρησιμοποιούνται για την πρόβλεψη τραπεζικών δανείων, ασφαλιστικών επιτοκίων ή διαφήμισης. Δυστυχώς, ένας αλγόριθμος που μαθαίνει από ιστορικά δεδομένα θα κληρονομήσει φυσικά προκαταλήψεις του παρελθόντος. Αυτό το σημειωματάριο παρουσιάζει πώς να ξεπεραστεί αυτό το πρόβλημα χρησιμοποιώντας το SageMaker και δίκαιους αλγόριθμους στο πλαίσιο των γραμμικών μαθητών.

Ξεκινά με την εισαγωγή ορισμένων από τις έννοιες και τα μαθηματικά πίσω από τη δικαιοσύνη, στη συνέχεια κατεβάζει δεδομένα, εκπαιδεύει ένα μοντέλο και, τέλος, εφαρμόζει έννοιες δικαιοσύνης για να προσαρμόσει κατάλληλα τις προβλέψεις μοντέλων.

Το σημειωματάριο δείχνει τα εξής:

• Εκτέλεση ενός τυπικού γραμμικού μοντέλου στο σύνολο δεδομένων για ενήλικες της UCI.
• Εμφάνιση αδικίας στις προβλέψεις μοντέλων
• Διόρθωση δεδομένων για την άρση της μεροληψίας
• Επανεκπαίδευση του μοντέλου

Δοκιμάστε να εκτελέσετε τα δικά σας δεδομένα χρησιμοποιώντας αυτό το παράδειγμα κώδικα και εντοπίστε εάν υπάρχει προκατάληψη. Μετά από αυτό, δοκιμάστε να αφαιρέσετε την προκατάληψη, εάν υπάρχει, στο σύνολο δεδομένων σας χρησιμοποιώντας τις παρεχόμενες συναρτήσεις σε αυτό το παράδειγμα σημειωματάριου.

Διαχειριστείτε τον πειραματισμό ML χρησιμοποιώντας την Αναζήτηση SageMaker

Το SageMaker Search σάς επιτρέπει να βρείτε γρήγορα και να αξιολογήσετε τις πιο σχετικές εκδόσεις μοντέλων εκπαίδευσης από δυνητικά εκατοντάδες και χιλιάδες εργασίες εκπαίδευσης μοντέλων SageMaker. Η ανάπτυξη ενός μοντέλου ML απαιτεί συνεχή πειραματισμό, δοκιμή νέων αλγορίθμων εκμάθησης και συντονισμό υπερπαραμέτρων, όλα αυτά με ταυτόχρονη παρατήρηση του αντίκτυπου τέτοιων αλλαγών στην απόδοση και την ακρίβεια του μοντέλου. Αυτή η επαναληπτική άσκηση οδηγεί συχνά σε μια έκρηξη εκατοντάδων πειραμάτων εκπαίδευσης μοντέλων και εκδόσεων μοντέλων, επιβραδύνοντας τη σύγκλιση και την ανακάλυψη ενός νικητηρίου μοντέλου. Επιπλέον, η έκρηξη πληροφοριών καθιστά πολύ δύσκολο τον εντοπισμό της γενεαλογίας μιας έκδοσης μοντέλου—τον μοναδικό συνδυασμό συνόλων δεδομένων, αλγορίθμων και παραμέτρων που ανέπτυξαν αυτό το μοντέλο στην πρώτη θέση.

Αυτό το σημειωματάριο δείχνει πώς να χρησιμοποιείτε το SageMaker Search για γρήγορη και εύκολη οργάνωση, παρακολούθηση και αξιολόγηση των μοντέλων εργασιών εκπαίδευσης στο SageMaker. Μπορείτε να κάνετε αναζήτηση σε όλα τα καθοριστικά χαρακτηριστικά από τον αλγόριθμο εκμάθησης που χρησιμοποιείται, τις ρυθμίσεις υπερπαραμέτρων, τα χρησιμοποιούμενα σύνολα δεδομένων εκπαίδευσης, ακόμη και τις ετικέτες που έχετε προσθέσει στις εργασίες εκπαίδευσης του μοντέλου. Μπορείτε επίσης να συγκρίνετε γρήγορα και να ταξινομήσετε τις προπονήσεις σας με βάση τις μετρήσεις απόδοσής τους, όπως η απώλεια προπόνησης και η ακρίβεια επικύρωσης, δημιουργώντας έτσι πίνακες κατάταξης για τον εντοπισμό των νικητών μοντέλων που μπορούν να αναπτυχθούν σε περιβάλλοντα παραγωγής. Το SageMaker Search μπορεί να εντοπίσει γρήγορα την πλήρη γενεαλογία μιας έκδοσης μοντέλου που έχει αναπτυχθεί σε ζωντανό περιβάλλον, μέχρι τα σύνολα δεδομένων που χρησιμοποιούνται για την εκπαίδευση και την επικύρωση του μοντέλου.

Το σημειωματάριο δείχνει τα εξής:

• Εκπαίδευση γραμμικού μοντέλου τρεις φορές
• Χρήση του SageMaker Search για την οργάνωση και αξιολόγηση αυτών των πειραμάτων
• Οπτικοποίηση των αποτελεσμάτων σε βαθμολογικό πίνακα
• Ανάπτυξη ενός μοντέλου σε ένα τελικό σημείο
• Ανίχνευση της γενεαλογίας του μοντέλου ξεκινώντας από το τελικό σημείο

Στη δική σας ανάπτυξη προγνωστικών μοντέλων, μπορεί να εκτελείτε πολλά πειράματα. Δοκιμάστε να χρησιμοποιήσετε το SageMaker Search σε τέτοια πειράματα και δοκιμάστε πώς μπορεί να σας βοηθήσει με πολλούς τρόπους.

SageMaker Νευρικό Θεματικό Μοντέλο

Το SageMaker Neural Topic Model (NTM) είναι ένας αλγόριθμος μάθησης χωρίς επίβλεψη που επιχειρεί να περιγράψει ένα σύνολο παρατηρήσεων ως ένα μείγμα διακριτών κατηγοριών. Το NTM χρησιμοποιείται πιο συχνά για την ανακάλυψη ενός αριθμού θεμάτων που έχει καθοριστεί από το χρήστη και κοινοποιούνται από έγγραφα σε ένα σώμα κειμένου. Εδώ κάθε παρατήρηση είναι ένα έγγραφο, τα χαρακτηριστικά είναι η παρουσία (ή ο αριθμός εμφανίσεων) κάθε λέξης και οι κατηγορίες είναι τα θέματα. Επειδή η μέθοδος είναι χωρίς επίβλεψη, τα θέματα δεν προσδιορίζονται εκ των προτέρων και δεν είναι εγγυημένο ότι θα ευθυγραμμιστούν με τον τρόπο με τον οποίο ένας άνθρωπος μπορεί φυσικά να κατηγοριοποιήσει τα έγγραφα. Τα θέματα μαθαίνονται ως κατανομή πιθανοτήτων στις λέξεις που εμφανίζονται σε κάθε έγγραφο. Κάθε έγγραφο, με τη σειρά του, περιγράφεται ως ένα μείγμα θεμάτων.

Αυτό το σημειωματάριο χρησιμοποιεί τον αλγόριθμο SageMaker NTM για να εκπαιδεύσει ένα μοντέλο στο σύνολο δεδομένων 20NewsGroups. Αυτό το σύνολο δεδομένων έχει χρησιμοποιηθεί ευρέως ως σημείο αναφοράς μοντελοποίησης θεμάτων.

Το σημειωματάριο δείχνει τα εξής:

• Δημιουργία εκπαιδευτικής εργασίας SageMaker σε ένα σύνολο δεδομένων για την παραγωγή ενός μοντέλου NTM
• Χρήση του μοντέλου για την εκτέλεση συμπερασμάτων με ένα τελικό σημείο του SageMaker
• Διερεύνηση του εκπαιδευμένου μοντέλου και οπτικοποίηση μαθησιακών θεμάτων

Μπορείτε εύκολα να τροποποιήσετε αυτό το σημειωματάριο ώστε να εκτελείται στα έγγραφα κειμένου σας και να τα χωρίσετε σε διάφορα θέματα.

Πρόβλεψη παραβιάσεων ταχύτητας οδήγησης

Αυτό το σημειωματάριο δείχνει την πρόβλεψη χρονοσειρών χρησιμοποιώντας τον αλγόριθμο SageMaker DeepAR, αναλύοντας το σύνολο δεδομένων παραβίασης κάμερας ταχύτητας στο Σικάγο. Το σύνολο δεδομένων φιλοξενείται από το Data.gov και το διαχειρίζεται η Υπηρεσία Γενικών Υπηρεσιών των ΗΠΑ, Υπηρεσία Μετασχηματισμού Τεχνολογίας.

Αυτές οι παραβιάσεις καταγράφονται από συστήματα κάμερας και είναι διαθέσιμες για τη βελτίωση της ζωής του κοινού μέσω της πύλης δεδομένων της πόλης του Σικάγο. Το σύνολο δεδομένων παραβίασης κάμερας ταχύτητας μπορεί να χρησιμοποιηθεί για να διακρίνει μοτίβα στα δεδομένα και να αποκτήσει σημαντικές πληροφορίες.

Το σύνολο δεδομένων περιέχει πολλές τοποθεσίες κάμερας και ημερήσιους αριθμούς παραβάσεων. Κάθε ημερήσιος αριθμός παραβάσεων για μια κάμερα μπορεί να θεωρηθεί ξεχωριστή χρονοσειρά. Μπορείτε να χρησιμοποιήσετε τον αλγόριθμο SageMaker DeepAR για να εκπαιδεύσετε ένα μοντέλο για πολλούς δρόμους ταυτόχρονα και να προβλέψετε παραβιάσεις για πολλές κάμερες δρόμου.

Το σημειωματάριο δείχνει τα εξής:

• Εκπαίδευση του αλγόριθμου SageMaker DeepAR στο σύνολο δεδομένων χρονοσειρών χρησιμοποιώντας στιγμιότυπα
• Εξαγωγή συμπερασμάτων σχετικά με το εκπαιδευμένο μοντέλο για να κάνει προβλέψεις τροχαίας παραβίασης

Με αυτό το σημειωματάριο, μπορείτε να μάθετε πώς μπορούν να λυθούν προβλήματα χρονοσειρών χρησιμοποιώντας τον αλγόριθμο DeepAR στο SageMaker και να δοκιμάσετε να τον εφαρμόσετε στα δικά σας σύνολα δεδομένων χρονοσειρών.

Πρόβλεψη για τον καρκίνο του μαστού

Αυτό το σημειωματάριο λαμβάνει ένα παράδειγμα για την πρόβλεψη του καρκίνου του μαστού χρησιμοποιώντας το διαγνωστικό σύνολο δεδομένων καρκίνου του μαστού της UCI'S. Χρησιμοποιεί αυτό το σύνολο δεδομένων για να δημιουργήσει ένα μοντέλο πρόβλεψης για το εάν μια εικόνα μάζας μαστού υποδεικνύει έναν καλοήθη ή κακοήθη όγκο.

Το σημειωματάριο δείχνει τα εξής:

• Βασική ρύθμιση για τη χρήση του SageMaker
• Μετατροπή συνόλων δεδομένων σε μορφή Protobuf που χρησιμοποιείται από τους αλγόριθμους SageMaker και μεταφόρτωση σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3)
• Εκπαίδευση ενός γραμμικού μοντέλου εκμάθησης SageMaker στο σύνολο δεδομένων
• Φιλοξενία του εκπαιδευμένου μοντέλου
• Βαθμολόγηση χρησιμοποιώντας το εκπαιδευμένο μοντέλο

Μπορείτε να διαβάσετε αυτό το σημειωματάριο για να μάθετε πώς να λύσετε ένα επιχειρηματικό πρόβλημα χρησιμοποιώντας το SageMaker και να κατανοήσετε τα βήματα που απαιτούνται για την εκπαίδευση και τη φιλοξενία ενός μοντέλου.

Προβλέψεις συνόλου από πολλά μοντέλα

Σε πρακτικές εφαρμογές της ML σε προγνωστικές εργασίες, ένα μοντέλο συχνά δεν αρκεί. Οι περισσότεροι διαγωνισμοί πρόβλεψης απαιτούν συνήθως συνδυασμό προβλέψεων από πολλαπλές πηγές για να λάβετε μια βελτιωμένη πρόβλεψη. Συνδυάζοντας ή υπολογίζοντας τον μέσο όρο προβλέψεων από πολλαπλές πηγές ή μοντέλα, έχουμε συνήθως μια βελτιωμένη πρόβλεψη. Αυτό συμβαίνει επειδή υπάρχει σημαντική αβεβαιότητα στην επιλογή του μοντέλου και δεν υπάρχει ένα αληθινό μοντέλο σε πολλές πρακτικές εφαρμογές. Επομένως, είναι ωφέλιμο να συνδυάζονται προβλέψεις από διαφορετικά μοντέλα. Στην μπεϋζιανή βιβλιογραφία, αυτή η ιδέα αναφέρεται ως μέσος όρος μοντέλων Μπεϋζιανών και έχει αποδειχθεί ότι λειτουργεί πολύ καλύτερα από την απλή επιλογή ενός μοντέλου.

Αυτό το σημειωματάριο παρουσιάζει ένα ενδεικτικό παράδειγμα για να προβλέψει εάν ένα άτομο κερδίζει πάνω από 50,000 $ ετησίως με βάση πληροφορίες σχετικά με την εκπαίδευσή του, την επαγγελματική του εμπειρία, το φύλο και άλλα.

Το σημειωματάριο δείχνει τα εξής:

• Προετοιμασία του σημειωματάριου SageMaker
• Φόρτωση ενός συνόλου δεδομένων από το Amazon S3 χρησιμοποιώντας το SageMaker
• Διερεύνηση και μετατροπή των δεδομένων ώστε να μπορούν να τροφοδοτηθούν σε αλγόριθμους SageMaker
• Εκτίμηση ενός μοντέλου χρησιμοποιώντας τον αλγόριθμο SageMaker XGBoost (Extreme Gradient Boosting)
• Φιλοξενία του μοντέλου στο SageMaker για συνεχείς προβλέψεις
• Εκτίμηση ενός δεύτερου μοντέλου χρησιμοποιώντας τη μέθοδο γραμμικής εκμάθησης SageMaker
• Συνδυασμός των προβλέψεων και από τα δύο μοντέλα και αξιολόγηση της συνδυασμένης πρόβλεψης
• Δημιουργία τελικών προβλέψεων για το σύνολο δεδομένων δοκιμής

Δοκιμάστε να εκτελέσετε αυτό το σημειωματάριο στο σύνολο δεδομένων σας και να χρησιμοποιήσετε πολλούς αλγόριθμους. Δοκιμάστε να πειραματιστείτε με διάφορους συνδυασμούς μοντέλων που προσφέρονται από το SageMaker και το JumpStart και δείτε ποιος συνδυασμός συνόλου μοντέλων δίνει τα καλύτερα αποτελέσματα στα δικά σας δεδομένα.

Ασύγχρονη συμπεράσματα SageMaker

Το ασύγχρονο συμπέρασμα του SageMaker είναι μια νέα δυνατότητα στο SageMaker που τοποθετεί σε ουρά τα εισερχόμενα αιτήματα και τα επεξεργάζεται ασύγχρονα. Το SageMaker προσφέρει επί του παρόντος δύο επιλογές συμπερασμάτων στους πελάτες για την ανάπτυξη μοντέλων ML: μια επιλογή σε πραγματικό χρόνο για φόρτους εργασίας χαμηλής καθυστέρησης και μετασχηματισμό παρτίδας, μια επιλογή εκτός σύνδεσης για την επεξεργασία αιτημάτων συμπερασμάτων σε παρτίδες δεδομένων που είναι διαθέσιμα εκ των προτέρων. Η εξαγωγή συμπερασμάτων σε πραγματικό χρόνο είναι κατάλληλη για φόρτους εργασίας με μεγέθη ωφέλιμου φορτίου μικρότερα από 6 MB και απαιτούν την επεξεργασία των αιτημάτων συμπερασμάτων εντός 60 δευτερολέπτων. Ο μετασχηματισμός παρτίδας είναι κατάλληλος για εξαγωγή συμπερασμάτων εκτός σύνδεσης σε παρτίδες δεδομένων.

Η ασύγχρονη εξαγωγή συμπερασμάτων είναι μια νέα επιλογή συμπερασμάτων για τις ανάγκες εξαγωγής συμπερασμάτων σχεδόν σε πραγματικό χρόνο. Η επεξεργασία των αιτημάτων μπορεί να διαρκέσει έως και 15 λεπτά και να έχουν μεγέθη ωφέλιμου φορτίου έως και 1 GB. Το ασύγχρονο συμπέρασμα είναι κατάλληλο για φόρτους εργασίας που δεν έχουν απαιτήσεις δευτερεύοντος λανθάνοντος χρόνου και έχουν χαλαρές απαιτήσεις καθυστέρησης. Για παράδειγμα, μπορεί να χρειαστεί να επεξεργαστείτε ένα συμπέρασμα σε μια μεγάλη εικόνα πολλών MB μέσα σε 5 λεπτά. Επιπλέον, τα ασύγχρονα τελικά σημεία συμπερασμάτων σάς επιτρέπουν να ελέγχετε το κόστος μειώνοντας τον αριθμό των στιγμιότυπων τελικών σημείων στο μηδέν όταν είναι αδρανείς, επομένως πληρώνετε μόνο όταν τα τελικά σημεία σας επεξεργάζονται αιτήματα.

Το σημειωματάριο δείχνει τα εξής:

• Δημιουργία μοντέλου SageMaker
• Δημιουργία τελικού σημείου χρησιμοποιώντας αυτό το μοντέλο και τη διαμόρφωση ασύγχρονων συμπερασμάτων
• Κάνοντας προβλέψεις για αυτό το ασύγχρονο τελικό σημείο

Αυτό το σημειωματάριο σάς δείχνει ένα λειτουργικό παράδειγμα συναρμολόγησης ενός ασύγχρονου τελικού σημείου για ένα μοντέλο SageMaker.

Το TensorFlow φέρτε το δικό σας μοντέλο

Ένα μοντέλο TensorFlow εκπαιδεύεται τοπικά σε μια εργασία ταξινόμησης όπου εκτελείται αυτό το σημειωματάριο. Στη συνέχεια, αναπτύσσεται σε ένα τελικό σημείο του SageMaker.

Το σημειωματάριο δείχνει τα εξής:

• Εκπαίδευση ενός μοντέλου TensorFlow τοπικά στο σύνολο δεδομένων IRIS
• Εισαγωγή αυτού του μοντέλου στο SageMaker
• Φιλοξενία σε τελικό σημείο

Εάν έχετε μοντέλα TensorFlow που έχετε αναπτύξει μόνοι σας, αυτό το παράδειγμα σημειωματάριου μπορεί να σας βοηθήσει να φιλοξενήσετε το μοντέλο σας σε ένα διαχειριζόμενο τελικό σημείο του SageMaker.

Scikit-learn φέρτε το δικό σας μοντέλο

Το SageMaker περιλαμβάνει λειτουργικότητα για την υποστήριξη ενός φιλοξενούμενου περιβάλλοντος φορητού υπολογιστή, διανεμημένης εκπαίδευσης χωρίς διακομιστή και φιλοξενίας σε πραγματικό χρόνο. Λειτουργεί καλύτερα όταν και οι τρεις αυτές υπηρεσίες χρησιμοποιούνται μαζί, αλλά μπορούν επίσης να χρησιμοποιηθούν ανεξάρτητα. Ορισμένες περιπτώσεις χρήσης ενδέχεται να απαιτούν μόνο φιλοξενία. Ίσως το μοντέλο είχε εκπαιδευτεί πριν από την ύπαρξη του SageMaker, σε διαφορετική υπηρεσία.

Το σημειωματάριο δείχνει τα εξής:

• Χρησιμοποιώντας ένα προεκπαιδευμένο μοντέλο Scikit-learn με το SageMaker Scikit-learn κοντέινερ για να δημιουργήσετε γρήγορα ένα φιλοξενούμενο τελικό σημείο για αυτό το μοντέλο

Εάν έχετε μοντέλα Scikit-learn που αναπτύξατε μόνοι σας, αυτό το παράδειγμα σημειωματάριου μπορεί να σας βοηθήσει να φιλοξενήσετε το μοντέλο σας σε ένα διαχειριζόμενο τελικό σημείο του SageMaker.

Εκκαθάριση πόρων

Αφού ολοκληρώσετε τη λειτουργία ενός σημειωματάριου στο JumpStart, φροντίστε να το κάνετε Διαγράψτε όλους τους πόρους ώστε να διαγραφούν όλοι οι πόροι που δημιουργήσατε στη διαδικασία και να διακοπεί η χρέωσή σας. Το τελευταίο κελί σε αυτά τα σημειωματάρια συνήθως διαγράφει τα τελικά σημεία που δημιουργούνται.

Χαρακτηριστικά

Αυτή η ανάρτηση σας καθοδήγησε σε 10 νέα παραδείγματα σημειωματάριων που προστέθηκαν πρόσφατα στο JumpStart. Αν και αυτή η ανάρτηση επικεντρώθηκε σε αυτά τα 10 νέα σημειωματάρια, υπάρχουν συνολικά 56 διαθέσιμα σημειωματάρια από τη στιγμή που γράφεται αυτό το κείμενο. Σας ενθαρρύνουμε να συνδεθείτε στο Studio και να εξερευνήσετε μόνοι σας τα σημειωματάρια JumpStart και να αρχίσετε να αντλείτε άμεση αξία από αυτά. Για περισσότερες πληροφορίες, ανατρέξτε στο Στούντιο Amazon SageMaker και SageMaker JumpStart.

---

Σχετικά με το Συγγραφέας

Δρ Raju Penmatcha είναι AI/ML Specialist Solutions Architect σε πλατφόρμες AI στο AWS. Έλαβε το διδακτορικό του από το Πανεπιστήμιο του Στάνφορντ. Εργάζεται στενά στις υπηρεσίες σουίτας χαμηλού/χωρίς κώδικα στο SageMaker που βοηθούν τους πελάτες να δημιουργούν και να αναπτύσσουν εύκολα μοντέλα και λύσεις μηχανικής εκμάθησης.