Αυξητική προπόνηση με το Amazon SageMaker JumpStart

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Τον Δεκέμβριο του 2020, Η AWS ανακοίνωσε τη γενική διαθεσιμότητα του Amazon SageMaker JumpStart, μια ικανότητα του Amazon Sage Maker που σας βοηθά να ξεκινήσετε γρήγορα και εύκολα με τη μηχανική εκμάθηση (ML). SageMaker JumpStart παρέχει λεπτομερή ρύθμιση με ένα κλικ και ανάπτυξη μιας μεγάλης ποικιλίας προεκπαιδευμένων μοντέλων σε δημοφιλείς εργασίες ML, καθώς και μια επιλογή λύσεων από άκρο σε άκρο που λύνουν κοινά επιχειρηματικά προβλήματα. Αυτά τα χαρακτηριστικά αφαιρούν τη βαριά ανύψωση από κάθε βήμα της διαδικασίας ML, διευκολύνοντας την ανάπτυξη μοντέλων υψηλής ποιότητας και μειώνοντας το χρόνο μέχρι την ανάπτυξη.

Όλο το περιεχόμενο του JumpStart ήταν προηγουμένως διαθέσιμο μόνο μέσω Στούντιο Amazon SageMaker, η οποία παρέχει ένα φιλική προς το χρήστη γραφική διεπαφή για αλληλεπίδραση με το χαρακτηριστικό. Πρόσφατα κι εμείς ανακοίνωσε την έναρξη εύκολο στη χρήση JumpStart API ως επέκταση του SageMaker Python SDK, που σας επιτρέπει να αναπτύξετε μέσω προγραμματισμού και να ρυθμίσετε με ακρίβεια μια τεράστια ποικιλία προεκπαιδευμένων μοντέλων που υποστηρίζονται από το JumpStart στα δικά σας σύνολα δεδομένων. Αυτή η εκκίνηση ξεκλειδώνει τη χρήση των δυνατοτήτων JumpStart στις ροές εργασιών κώδικα, τις αγωγές MLOps και οπουδήποτε αλλού αλληλεπιδράτε με το SageMaker μέσω SDK.

Σε αυτήν την ανάρτηση, είμαστε ενθουσιασμένοι που ανακοινώνουμε ότι όλα τα εκπαιδεύσιμα μοντέλα JumpStart υποστηρίζουν πλέον τη σταδιακή εκπαίδευση. Η επαυξητική εκπαίδευση σάς επιτρέπει να εκπαιδεύσετε ένα μοντέλο που έχετε ήδη τελειοποιήσει χρησιμοποιώντας ένα διευρυμένο σύνολο δεδομένων που περιέχει ένα υποκείμενο μοτίβο που δεν λαμβάνεται υπόψη σε προηγούμενες εκτελέσεις λεπτομέρειας, το οποίο είχε ως αποτέλεσμα κακή απόδοση του μοντέλου. Η σταδιακή εκπαίδευση εξοικονομεί χρόνο και πόρους επειδή δεν χρειάζεται να επανεκπαιδεύσετε το μοντέλο από την αρχή. Εάν θέλετε να μεταβείτε απευθείας στον κώδικα του JumpStart API που εξηγούμε σε αυτήν την ανάρτηση, μπορείτε να ανατρέξετε στο δείγμα σημειωματάριου.

Επισκόπηση JumpStart

Το JumpStart είναι ένα πολύπλευρο προϊόν που περιλαμβάνει διαφορετικές δυνατότητες για να σας βοηθήσει να ξεκινήσετε γρήγορα με την ML στο SageMaker. Κατά τη στιγμή της σύνταξης, το JumpStart σάς δίνει τη δυνατότητα να κάνετε τα εξής:

Αναπτύξτε προεκπαιδευμένα μοντέλα για κοινές εργασίες ML – Το JumpStart σάς δίνει τη δυνατότητα να αντιμετωπίζετε κοινές εργασίες ML χωρίς προσπάθεια ανάπτυξης, παρέχοντας εύκολη ανάπτυξη μοντέλων προεκπαιδευμένων σε μεγάλα, δημόσια διαθέσιμα σύνολα δεδομένων. Η ερευνητική κοινότητα ML έχει καταβάλει μεγάλη προσπάθεια για να καταστήσει δημόσια την πλειονότητα των μοντέλων που αναπτύχθηκαν πρόσφατα για χρήση. Το JumpStart φιλοξενεί μια συλλογή με περισσότερα από 300 μοντέλα, που εκτείνονται στις 15 πιο δημοφιλείς εργασίες ML, όπως η ανίχνευση αντικειμένων, η ταξινόμηση κειμένου και η δημιουργία κειμένου, καθιστώντας εύκολη τη χρήση τους για αρχάριους. Αυτά τα μοντέλα προέρχονται από δημοφιλείς κόμβους μοντέλων, όπως το TensorFlow, το PyTorch, το Hugging Face και το MXNet Hub.
Βελτιώστε τα προεκπαιδευμένα μοντέλα – Το JumpStart σάς επιτρέπει να ρυθμίζετε με ακρίβεια τα προεκπαιδευμένα μοντέλα χωρίς να χρειάζεται να γράψετε τον δικό σας αλγόριθμο εκπαίδευσης. Στην ML, ονομάζεται η ικανότητα μεταφοράς της γνώσης που μαθαίνεται από έναν τομέα σε έναν άλλο μεταφορά της μάθησης. Μπορείτε να χρησιμοποιήσετε την εκμάθηση μεταφοράς για να δημιουργήσετε ακριβή μοντέλα στα μικρότερα σύνολα δεδομένων σας, με πολύ χαμηλότερο κόστος εκπαίδευσης από αυτά που σχετίζονται με την εκπαίδευση του αρχικού μοντέλου. Το JumpStart περιλαμβάνει επίσης δημοφιλείς αλγόριθμους εκπαίδευσης που βασίζονται σε LightGBM, CatBoost, XGBoost και Scikit-learn, τους οποίους μπορείτε να εκπαιδεύσετε από την αρχή για παλινδρόμηση και ταξινόμηση σε πίνακα.
Χρησιμοποιήστε προκατασκευασμένες λύσεις – Το JumpStart παρέχει ένα σύνολο 17 λύσεων για συνήθεις περιπτώσεις χρήσης ML, όπως η πρόβλεψη ζήτησης και οι βιομηχανικές και οικονομικές εφαρμογές, τις οποίες μπορείτε να αναπτύξετε με λίγα μόνο κλικ. Οι λύσεις είναι εφαρμογές ML από άκρο σε άκρο που συνδυάζουν διάφορες υπηρεσίες AWS για να λύσουν μια συγκεκριμένη περίπτωση επιχειρηματικής χρήσης. Χρησιμοποιούν AWS CloudFormation πρότυπα και αρχιτεκτονικές αναφοράς για γρήγορη ανάπτυξη, πράγμα που σημαίνει ότι είναι πλήρως προσαρμόσιμα.
Χρησιμοποιήστε παραδείγματα σημειωματάριων για αλγόριθμους SageMaker – Το SageMaker παρέχει μια σουίτα ενσωματωμένων αλγορίθμων για να βοηθήσει τους επιστήμονες δεδομένων και τους επαγγελματίες ML να ξεκινήσουν με την εκπαίδευση και την ανάπτυξη μοντέλων ML γρήγορα. Το JumpStart παρέχει δείγματα σημειωματάριων που μπορείτε να χρησιμοποιήσετε για να εφαρμόσετε γρήγορα αυτούς τους αλγόριθμους.
Δείτε εκπαιδευτικά βίντεο και ιστολόγια – Το JumpStart παρέχει επίσης πολλές αναρτήσεις ιστολογίου και βίντεο που σας διδάσκουν πώς να χρησιμοποιείτε διαφορετικές λειτουργίες στο SageMaker.

Το JumpStart δέχεται προσαρμοσμένες ρυθμίσεις VPC και Υπηρεσία διαχείρισης κλειδιών AWS κλειδιά κρυπτογράφησης (AWS KMS), ώστε να μπορείτε να χρησιμοποιείτε τα διαθέσιμα μοντέλα και λύσεις με ασφάλεια στο εταιρικό σας περιβάλλον. Μπορείτε να μεταβιβάσετε τις ρυθμίσεις ασφαλείας σας στο JumpStart μέσα στο Studio ή μέσω του SageMaker Python SDK.

Ταξινόμηση εικόνας

Η ταξινόμηση εικόνας αναφέρεται στην ταξινόμηση μιας εικόνας σε μία από τις ετικέτες κλάσης στο σύνολο δεδομένων εκπαίδευσης. Μπορείτε να προσαρμόσετε το μοντέλο σε οποιοδήποτε δεδομένο σύνολο δεδομένων που περιλαμβάνει εικόνες που ανήκουν σε οποιονδήποτε αριθμό κλάσεων. Το μοντέλο που είναι διαθέσιμο για λεπτομέρεια στο JumpStart προσαρτά ένα επίπεδο ταξινόμησης στο αντίστοιχο μοντέλο εξαγωγής χαρακτηριστικών και αρχικοποιεί τις παραμέτρους του επιπέδου σε τυχαίες τιμές. Η διάσταση εξόδου του επιπέδου ταξινόμησης προσδιορίζεται με βάση τον αριθμό των κλάσεων στα δεδομένα εισόδου. Το βήμα λεπτομέρειας συντονίζει τις παραμέτρους του επιπέδου ταξινόμησης, ενώ διατηρεί παγωμένες τις παραμέτρους του μοντέλου εξαγωγής χαρακτηριστικών και επιστρέφει το βελτιστοποιημένο μοντέλο. Ο στόχος είναι να ελαχιστοποιηθεί το σφάλμα πρόβλεψης στα δεδομένα εισόδου.

Για το σύνολο δεδομένων μας, η είσοδος είναι ένας κατάλογος με τόσους υποκαταλόγους όσο και ο αριθμός των κλάσεων. Κάθε υποκατάλογος πρέπει να έχει εικόνες που ανήκουν σε αυτήν την κατηγορία σε μορφή .jpg. Ο κατάλογος εισόδου θα πρέπει να μοιάζει με την ακόλουθη ιεραρχία εάν τα δεδομένα εκπαίδευσης περιέχουν εικόνες από δύο κλάσεις: roses και dandelion:

input_directory |--roses |--abc.jpg |--def.jpg |--dandelion |--ghi.jpg |--jkl.jpg

Τα ονόματα των φακέλων, των κλάσεων και των ονομάτων αρχείων .jpg μπορεί να είναι οτιδήποτε.

Παρέχουμε το tf_flowers¹σύνολο δεδομένων ως προεπιλεγμένο σύνολο δεδομένων για τη λεπτομέρεια του μοντέλου. Αυτό το σύνολο δεδομένων περιλαμβάνει εικόνες πέντε τύπων λουλουδιών. Το σύνολο δεδομένων έχει ληφθεί από TensorFlow.

Επισκόπηση περιήγησης

Οι παρακάτω ενότητες παρέχουν μια επίδειξη βήμα προς βήμα για την εκτέλεση ταξινόμησης εικόνων με το JumpStart, τόσο μέσω του Studio UI όσο και των API του JumpStart.

Ακολουθούμε τα παρακάτω βήματα:

Αποκτήστε πρόσβαση στο JumpStart μέσω της διεπαφής χρήστη του Studio:
1. Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο.
2. Αναπτύξτε το βελτιστοποιημένο μοντέλο.
3. Εκπαιδεύστε σταδιακά το τελειοποιημένο μοντέλο και επανατοποθετήστε το.
Χρησιμοποιήστε το JumpStart μέσω προγραμματισμού με το SageMaker Python SDK:
1. Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο.
2. Αναπτύξτε το βελτιστοποιημένο μοντέλο.
3. Εκπαιδεύστε σταδιακά το τελειοποιημένο μοντέλο και επανατοποθετήστε το.

Αποκτήστε πρόσβαση στο JumpStart μέσω της διεπαφής χρήστη του Studio

Σε αυτήν την ενότητα, παρουσιάζουμε πώς να τελειοποιήσετε και να αναπτύξετε μοντέλα JumpStart μέσω της διεπαφής χρήστη του Studio. Επιπλέον, δείχνουμε πώς να εκπαιδεύσετε σταδιακά ένα μοντέλο που είχατε τελειοποιήσει στο παρελθόν.

Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο

Το παρακάτω βίντεο σάς δείχνει πώς να βρείτε ένα προ-εκπαιδευμένο μοντέλο ταξινόμησης εικόνων στο JumpStart και να το ρυθμίσετε με ακρίβεια. Η σελίδα μοντέλου περιέχει πολύτιμες πληροφορίες σχετικά με το μοντέλο, τον τρόπο χρήσης του, την αναμενόμενη μορφή δεδομένων και ορισμένες λεπτομέρειες λεπτομέρειας.

Για λόγους επίδειξης, προσαρμόζουμε το μοντέλο χρησιμοποιώντας το σύνολο δεδομένων που παρέχεται από προεπιλογή, το οποίο είναι το tf_flowers σύνολο δεδομένων, που αποτελείται από διαφορετικές ποικιλίες λουλουδιών. Η προσαρμογή στο δικό σας σύνολο δεδομένων περιλαμβάνει τη λήψη της σωστής μορφοποίησης των δεδομένων (όπως εξηγείται στη σελίδα μοντέλου), τη μεταφόρτωσή τους στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και προσδιορίζοντας τη θέση του στη διαμόρφωση της πηγής δεδομένων.

Χρησιμοποιούμε τις ίδιες τιμές υπερπαραμέτρων που έχουν οριστεί από προεπιλογή (αριθμός εποχών, ρυθμός εκμάθησης και μέγεθος παρτίδας). Χρησιμοποιούμε επίσης μια παρουσία ml.p3.2xlarge που υποστηρίζεται από GPU ως την παρουσία μας εκπαίδευσης στο SageMaker.

Μπορείτε να παρακολουθείτε την εκπαιδευτική σας εργασία απευθείας στην κονσόλα Studio και να ενημερώνεστε με την ολοκλήρωσή της.

Αναπτύξτε το βελτιστοποιημένο μοντέλο

Μετά την ολοκλήρωση της εκπαίδευσης, μπορείτε να αναπτύξετε το βελτιωμένο μοντέλο από την ίδια σελίδα που περιέχει τις λεπτομέρειες της εργασίας εκπαίδευσης. Για να αναπτύξουμε το μοντέλο μας, επιλέγουμε έναν διαφορετικό τύπο παρουσίας, ml.p2.xlarge. Εξακολουθεί να παρέχει την επιτάχυνση της GPU που απαιτείται για χαμηλή καθυστέρηση συμπερασμάτων, αλλά σε χαμηλότερη τιμή. Αφού διαμορφώσετε την παρουσία φιλοξενίας του SageMaker, επιλέξτε Ανάπτυξη. Ενδέχεται να χρειαστούν 5–10 λεπτά μέχρι να τεθεί σε λειτουργία το μόνιμο τελικό σημείο σας.

Τότε το τελικό σημείο σας είναι λειτουργικό και έτοιμο να απαντήσει σε αιτήματα συμπερασμάτων!

Για να επιταχύνετε το χρόνο σας για συμπέρασμα, το JumpStart παρέχει ένα δείγμα σημειωματάριου που σας δείχνει πώς να εκτελείτε συμπεράσματα στο πρόσφατα αναπτυγμένο τελικό σημείο σας. Επιλέγω Ανοίξτε το Σημειωματάριο υπό Χρησιμοποιήστε το Endpoint από το Studio.

Εκπαιδεύστε σταδιακά το τελειοποιημένο μοντέλο και αναπτύξτε το

Όταν ολοκληρωθεί η μικρορύθμιση, μπορείτε να εκπαιδεύσετε περαιτέρω το μοντέλο για να ενισχύσετε την απόδοση. Αυτό το βήμα είναι πολύ παρόμοιο με την αρχική διαδικασία λεπτομέρειας, με τη διαφορά ότι χρησιμοποιούμε το ήδη τελειοποιημένο μοντέλο ως σημείο εκκίνησης. Μπορείτε να χρησιμοποιήσετε νέα δεδομένα, αλλά η μορφή δεδομένων πρέπει να είναι η ίδια (το ίδιο σύνολο κλάσεων).

Χρησιμοποιήστε το JumpStart μέσω προγραμματισμού με το SageMaker SDK

Στις προηγούμενες ενότητες, δείξαμε πώς μπορείτε να χρησιμοποιήσετε τη διεπαφή χρήστη JumpStart για να τελειοποιήσετε, να αναπτύξετε και να εκπαιδεύσετε σταδιακά ένα μοντέλο διαδραστικά μέσα σε λίγα κλικ. Μπορείτε επίσης να χρησιμοποιήσετε τα μοντέλα του JumpStart και να κάνετε εύκολο συντονισμό μέσω προγραμματισμού, χρησιμοποιώντας API που είναι ενσωματωμένα στο SageMaker SDK. Ας δούμε τώρα ένα γρήγορο παράδειγμα για το πώς μπορείτε να αναπαράγετε την προηγούμενη διαδικασία. Όλα τα βήματα σε αυτήν την επίδειξη είναι διαθέσιμα στα συνοδευτικά σημειωματάρια Εισαγωγή στο JumpStart – Ταξινόμηση εικόνων.

Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο

Για να τελειοποιήσουμε ένα επιλεγμένο μοντέλο, πρέπει να λάβουμε το URI αυτού του μοντέλου, καθώς και αυτό του σεναρίου εκπαίδευσης και της εικόνας του κοντέινερ που χρησιμοποιείται για την εκπαίδευση. Ευτυχώς, αυτές οι τρεις είσοδοι εξαρτώνται αποκλειστικά από το όνομα του μοντέλου, την έκδοση (για μια λίστα με τα διαθέσιμα μοντέλα, βλ. Διαθέσιμος πίνακας μοντέλων JumpStart), και τον τύπο του στιγμιότυπου στο οποίο θέλετε να εκπαιδεύσετε. Αυτό αποδεικνύεται στο ακόλουθο απόσπασμα κώδικα:

from sagemaker import image_uris, model_uris, script_uris model_id, model_version = "pytorch-ic-mobilenet-v2", "1.0.0"
training_instance_type = "ml.p3.2xlarge" # Retrieve the docker image
train_image_uri = image_uris.retrieve( region=None, framework=None, model_id=model_id, model_version=model_version, image_scope="training", instance_type=training_instance_type,
) # Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training") # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

Ανακτούμε το model_id αντιστοιχεί στο ίδιο μοντέλο που χρησιμοποιούσαμε προηγουμένως. Το ic στο αναγνωριστικό αντιστοιχεί στην ταξινόμηση εικόνας.

Τώρα μπορείτε να ρυθμίσετε αυτό το μοντέλο JumpStart στο δικό σας προσαρμοσμένο σύνολο δεδομένων χρησιμοποιώντας το SageMaker SDK. Χρησιμοποιούμε το ίδιο tf_flowers σύνολο δεδομένων που φιλοξενείται δημόσια στο Amazon S3, με βολική εστίαση στην ανάλυση συναισθήματος. Το σύνολο δεδομένων σας θα πρέπει να είναι δομημένο για τελειοποίηση, όπως εξηγήθηκε στην προηγούμενη ενότητα. Δείτε το ακόλουθο παράδειγμα κώδικα:

# URI of your training dataset
training_dataset_s3_path = "s3://jumpstart-cache-prod-us-west-2/training-datasets/tf_flowers/"
training_job_name = name_from_base(f"jumpstart-example-{model_id}-transfer-learning") # Create SageMaker Estimator instance
ic_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)

Λαμβάνουμε τις ίδιες προεπιλεγμένες υπερπαραμέτρους για το επιλεγμένο μοντέλο μας με αυτές που είδαμε στην προηγούμενη ενότητα, χρησιμοποιώντας sagemaker.hyperparameters.retrieve_default(). Στη συνέχεια, εγκαινιάζουμε έναν εκτιμητή SageMaker και καλούμε τη μέθοδο .fit για να αρχίσουμε να τελειοποιούμε το μοντέλο μας, μεταβιβάζοντάς του το Amazon S3 URI για τα δεδομένα εκπαίδευσής μας. Όπως μπορείτε να δείτε, το entry_point Το σενάριο που παρέχεται ονομάζεται transfer_learning.py (το ίδιο για άλλες εργασίες και μοντέλα) και το κανάλι δεδομένων εισόδου μεταβιβάστηκε στο .fit πρέπει να κατονομαστεί training.

Ανάπτυξη του βελτιστοποιημένου μοντέλου

Όταν ολοκληρωθεί η εκπαίδευση, μπορείτε να αναπτύξετε το τελειοποιημένο μοντέλο σας. Για να το κάνουμε αυτό, το μόνο που χρειαζόμαστε είναι το URI σεναρίου συμπερασμάτων (ο κώδικας που καθορίζει τον τρόπο χρήσης του μοντέλου για εξαγωγή συμπερασμάτων μόλις αναπτυχθεί) και το URI εικόνας κοντέινερ συμπερασμάτων, το οποίο περιλαμβάνει έναν κατάλληλο διακομιστή μοντέλου για να φιλοξενήσει το μοντέλο που επιλέξαμε. Δείτε τον παρακάτω κώδικα:

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve( region=None, framework=None, image_scope="inference", model_id=model_id, model_version=model_version, instance_type=inference_instance_type,
)
# Retrieve the inference script uri
deploy_source_uri = script_uris.retrieve( model_id=model_id, model_version=model_version, script_scope="inference"
) endpoint_name = name_from_base(f"jumpstart-example-FT-{model_id}-") # Use the estimator from the previous step to deploy to a SageMaker endpoint
finetuned_predictor = ic_estimator.deploy( initial_instance_count=1, instance_type=inference_instance_type, entry_point="inference.py", image_uri=deploy_image_uri, source_dir=deploy_source_uri, endpoint_name=endpoint_name,
)

Μετά από λίγα λεπτά, το μοντέλο μας έχει αναπτυχθεί και μπορούμε να λάβουμε προβλέψεις από αυτό σε πραγματικό χρόνο!

Στη συνέχεια, επικαλούμαστε το τελικό σημείο για να προβλέψουμε ποιος τύπος λουλουδιών υπάρχουν στην εικόνα του παραδείγματος. Χρησιμοποιούμε το query_endpoint και parse_response βοηθητικές λειτουργίες, οι οποίες ορίζονται στο συνοδευτικό σημειωματάριο.

query_response = finetuned_predictor.predict( img, {"ContentType": "application/x-image", "Accept": "application/json;verbose"} )
model_predictions = json.loads(query_response)
predicted_label = model_predictions["predicted_label"]
display( HTML( f'<img src={image_filename} alt={image_filename} align="left" style="width: 250px;"/>' f"<figcaption>Predicted Label: {predicted_label}</figcaption>" )
)

Εκπαιδεύστε σταδιακά το τελειοποιημένο μοντέλο και επανατοποθετήστε το

Μπορούμε να αυξήσουμε την απόδοση ενός βελτιωμένου μοντέλου εκπαιδεύοντάς το περαιτέρω σε νέες εικόνες. Μπορείτε να χρησιμοποιήσετε οποιονδήποτε αριθμό νέων ή παλιών εικόνων για αυτό, ωστόσο η μορφή δεδομένων πρέπει να παραμείνει η ίδια (το ίδιο σύνολο κλάσεων). Το βήμα της σταδιακής εκπαίδευσης είναι παρόμοιο με τη διαδικασία λεπτομέρειας, με μια σημαντική διαφορά: στην αρχική μικρορύθμιση ξεκινάμε με ένα προεκπαιδευμένο μοντέλο, ενώ στη σταδιακή προπόνηση ξεκινάμε με ένα υπάρχον βελτιστοποιημένο μοντέλο. Δείτε τον παρακάτω κώδικα:

last_trained_model_path = f"{s3_output_location}/{last_training_job_name}/output/model.tar.gz"
incremental_s3_output_location = f"s3://{output_bucket}/{incremental_output_prefix}/output"incremental_train_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=last_trained_model_path, entry_point="transfer_learning.py", instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=incremental_s3_output_location, base_job_name=incremental_training_job_name,
) incremental_train_estimator.fit({"training": training_dataset_s3_path}, logs=True)

Όταν ολοκληρωθεί η εκπαίδευση, μπορούμε να χρησιμοποιήσουμε τα ίδια βήματα με αυτά που περιγράφηκαν στην προηγούμενη ενότητα για να αναπτύξουμε το μοντέλο.

Συμπέρασμα

Το JumpStart είναι μια δυνατότητα στο SageMaker που σας επιτρέπει να ξεκινήσετε γρήγορα με την ML. Το JumpStart χρησιμοποιεί προεκπαιδευμένα μοντέλα ανοιχτού κώδικα για την επίλυση κοινών προβλημάτων ML, όπως ταξινόμηση εικόνων, ανίχνευση αντικειμένων, ταξινόμηση κειμένου, ταξινόμηση ζευγών προτάσεων και απάντηση ερωτήσεων.

Σε αυτήν την ανάρτηση, σας δείξαμε πώς να προσαρμόσετε και να αναπτύξετε ένα προεκπαιδευμένο μοντέλο ταξινόμησης εικόνων. Δείξαμε επίσης πώς να εκπαιδεύσουμε σταδιακά ένα βελτιωμένο μοντέλο για ταξινόμηση εικόνων. Με το JumpStart, μπορείτε εύκολα να εκτελέσετε αυτή τη διαδικασία χωρίς να χρειάζεται να κωδικοποιήσετε. Δοκιμάστε τη λύση μόνοι σας και πείτε μας πώς πάει στα σχόλια. Για να μάθετε περισσότερα σχετικά με το JumpStart, ρίξτε μια ματιά στο βίντεο AWS re:Invent 2020 Ξεκινήστε με το ML μέσα σε λίγα λεπτά με το Amazon SageMaker JumpStart.

αναφορές

Η ομάδα TensorFlow, 2019

Σχετικά με τους Συγγραφείς

Δρ Vivek Madan είναι Εφαρμοσμένος Επιστήμονας με την ομάδα Amazon SageMaker JumpStart. Πήρε το διδακτορικό του. από το Πανεπιστήμιο του Ιλινόις στο Urbana-Champaign και ήταν μεταδιδακτορικός ερευνητής στο Georgia Tech. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στον σχεδιασμό αλγορίθμων και έχει δημοσιεύσει εργασίες σε συνέδρια EMNLP, ICLR, COLT, FOCS και SODA.

Τζοάο Μούρα είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στο Amazon Web Services. Επικεντρώνεται κυρίως σε περιπτώσεις χρήσης NLP και βοηθά τους πελάτες να βελτιστοποιήσουν την εκπαίδευση και την ανάπτυξη μοντέλων βαθιάς μάθησης. Είναι επίσης ενεργός υποστηρικτής των λύσεων ML χαμηλού κώδικα και του υλικού εξειδικευμένου για ML.

Δρ Ashish Khetan είναι Ανώτερος Εφαρμοσμένος Επιστήμονας με Amazon SageMaker JumpStart και Ενσωματωμένοι αλγόριθμοι Amazon SageMaker και βοηθά στην ανάπτυξη αλγορίθμων μηχανικής μάθησης. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στα στατιστικά συμπεράσματα και έχει δημοσιεύσει πολλές εργασίες σε συνέδρια NeurIPS, ICML, ICLR, JMLR, ACL και EMNLP.