Εκτελέστε τμηματοποίηση εικόνων με το Amazon SageMaker JumpStart

Τον Δεκέμβριο του 2020, ανακοίνωσε η AWS τη γενική διαθεσιμότητα Amazon SageMaker JumpStart, μια ικανότητα του Amazon Sage Maker που σας βοηθά να ξεκινήσετε γρήγορα και εύκολα με τη μηχανική εκμάθηση (ML). Το JumpStart παρέχει τη λεπτή ρύθμιση με ένα κλικ και την ανάπτυξη μιας μεγάλης ποικιλίας προεκπαιδευμένων μοντέλων σε δημοφιλείς εργασίες ML, καθώς και μια επιλογή λύσεων από άκρο σε άκρο που λύνουν κοινά επιχειρηματικά προβλήματα. Αυτά τα χαρακτηριστικά αφαιρούν τη βαριά ανύψωση από κάθε βήμα της διαδικασίας ML, διευκολύνοντας την ανάπτυξη μοντέλων υψηλής ποιότητας και μειώνοντας το χρόνο μέχρι την ανάπτυξη.

Αυτή η ανάρτηση είναι η τρίτη σε μια σειρά σχετικά με τη χρήση του JumpStart για συγκεκριμένες εργασίες ML. Στο πρώτη θέση, δείξαμε πώς μπορείτε να εκτελέσετε περιπτώσεις χρήσης ταξινόμησης εικόνων στο JumpStart. Στο δεύτερη θέση, δείξαμε πώς μπορείτε να εκτελέσετε περιπτώσεις χρήσης ταξινόμησης κειμένου στο JumpStart. Σε αυτήν την ανάρτηση, παρέχουμε μια αναλυτική περιγραφή του τρόπου βελτιστοποίησης και ανάπτυξης ενός μοντέλου τμηματοποίησης εικόνας, χρησιμοποιώντας εκπαιδευμένα μοντέλα από το MXNet. Εξερευνούμε δύο τρόπους για να λάβουμε το ίδιο αποτέλεσμα: μέσω της γραφικής διεπαφής του JumpStart on Στούντιο Amazon SageMaker, και μέσω προγραμματισμού JumpStart API.

Εάν θέλετε να μεταβείτε απευθείας στον κώδικα JumpStart API που εξηγούμε σε αυτήν την ανάρτηση, μπορείτε να ανατρέξετε στα ακόλουθα δείγματα σημειωματάριων Jupyter:

Επισκόπηση JumpStart

Το JumpStart σάς βοηθά να ξεκινήσετε με μοντέλα ML για μια ποικιλία εργασιών χωρίς να γράψετε ούτε μια γραμμή κώδικα. Κατά τη στιγμή της γραφής, το JumpStart σάς δίνει τη δυνατότητα να κάνετε τα εξής:

• Αναπτύξτε προεκπαιδευμένα μοντέλα για κοινές εργασίες ML – Το JumpStart σάς δίνει τη δυνατότητα να αντιμετωπίζετε κοινές εργασίες ML χωρίς προσπάθεια ανάπτυξης, παρέχοντας εύκολη ανάπτυξη μοντέλων προεκπαιδευμένων σε μεγάλα, δημόσια διαθέσιμα σύνολα δεδομένων. Η ερευνητική κοινότητα ML έχει καταβάλει μεγάλη προσπάθεια για να καταστήσει δημόσια την πλειονότητα των μοντέλων που αναπτύχθηκαν πρόσφατα για χρήση. Το JumpStart φιλοξενεί μια συλλογή με περισσότερα από 300 μοντέλα, που εκτείνονται στις 15 πιο δημοφιλείς εργασίες ML, όπως η ανίχνευση αντικειμένων, η ταξινόμηση κειμένου και η δημιουργία κειμένου, καθιστώντας εύκολη τη χρήση τους για αρχάριους. Αυτά τα μοντέλα προέρχονται από δημοφιλείς κόμβους μοντέλων όπως το TensorFlow, το PyTorch, το Hugging Face και το MXNet.
• Βελτιώστε τα προεκπαιδευμένα μοντέλα – Το JumpStart σάς επιτρέπει να ρυθμίζετε με ακρίβεια τα προεκπαιδευμένα μοντέλα χωρίς να χρειάζεται να γράψετε τον δικό σας αλγόριθμο εκπαίδευσης. Στην ML, ονομάζεται η ικανότητα μεταφοράς της γνώσης που μαθαίνεται σε έναν τομέα σε έναν άλλο τομέα μεταφορά της μάθησης. Μπορείτε να χρησιμοποιήσετε την εκμάθηση μεταφοράς για να δημιουργήσετε ακριβή μοντέλα στα μικρότερα σύνολα δεδομένων σας, με πολύ χαμηλότερο κόστος εκπαίδευσης από αυτά που σχετίζονται με την εκπαίδευση του αρχικού μοντέλου. Το JumpStart περιλαμβάνει επίσης δημοφιλείς αλγόριθμους εκπαίδευσης που βασίζονται σε LightGBM, CatBoost, XGBoost και Scikit-learn, τους οποίους μπορείτε να εκπαιδεύσετε από την αρχή για παλινδρόμηση και ταξινόμηση σε πίνακα.
• Χρησιμοποιήστε προκατασκευασμένες λύσεις – Το JumpStart παρέχει ένα σύνολο 17 λύσεων για κοινές περιπτώσεις χρήσης ML, όπως πρόβλεψη ζήτησης και βιομηχανικές και οικονομικές εφαρμογές, τις οποίες μπορείτε να αναπτύξετε με λίγα μόνο κλικ. Οι λύσεις είναι εφαρμογές ML από άκρο σε άκρο που συνδυάζουν διάφορες υπηρεσίες AWS για να λύσουν μια συγκεκριμένη περίπτωση επιχειρηματικής χρήσης. Χρησιμοποιούν AWS CloudFormation πρότυπα και αρχιτεκτονικές αναφοράς για γρήγορη ανάπτυξη, πράγμα που σημαίνει ότι είναι πλήρως προσαρμόσιμα.
• Ανατρέξτε σε παραδείγματα σημειωματάριων για αλγόριθμους SageMaker – Το SageMaker παρέχει μια σουίτα ενσωματωμένων αλγορίθμων για να βοηθήσει τους επιστήμονες δεδομένων και τους επαγγελματίες ML να ξεκινήσουν με την εκπαίδευση και την ανάπτυξη μοντέλων ML γρήγορα. Το JumpStart παρέχει δείγματα σημειωματάριων που μπορείτε να χρησιμοποιήσετε για να χρησιμοποιήσετε γρήγορα αυτούς τους αλγόριθμους.
• Δείτε εκπαιδευτικά βίντεο και ιστολόγια – Το JumpStart παρέχει επίσης πολλές αναρτήσεις ιστολογίου και βίντεο που σας διδάσκουν πώς να χρησιμοποιείτε διαφορετικές λειτουργίες στο SageMaker.

Το JumpStart δέχεται προσαρμοσμένες ρυθμίσεις VPC και Υπηρεσία διαχείρισης κλειδιών AWS κλειδιά κρυπτογράφησης (AWS KMS), ώστε να μπορείτε να χρησιμοποιείτε τα διαθέσιμα μοντέλα και λύσεις με ασφάλεια στο εταιρικό σας περιβάλλον. Μπορείτε να μεταβιβάσετε τις ρυθμίσεις ασφαλείας σας στο JumpStart μέσα στο Studio ή μέσω του SageMaker Python SDK.

Σημασιολογική κατάτμηση

Η σημασιολογική τμηματοποίηση οριοθετεί κάθε κατηγορία αντικειμένων που εμφανίζονται σε μια εικόνα εισόδου. Προσθέτει ετικέτες (ταξινομεί) κάθε pixel της εικόνας εισόδου με μια ετικέτα κλάσης από ένα προκαθορισμένο σύνολο κλάσεων. Πολλά αντικείμενα της ίδιας κλάσης αντιστοιχίζονται στην ίδια μάσκα.

Το μοντέλο που διατίθεται για μικρορύθμιση δημιουργεί μια "κεφαλή" πλήρως συνελικτικού δικτύου (FCN) πάνω από το βασικό δίκτυο. Το βήμα λεπτομέρειας ρυθμίζει το FCNHead διατηρώντας σταθερές τις παραμέτρους του υπόλοιπου μοντέλου και επιστρέφει το βελτιστοποιημένο μοντέλο. Ο στόχος είναι να ελαχιστοποιηθεί η απώλεια διασταυρούμενης εντροπίας softmax ανά pixel για την εκπαίδευση του FCN. Το μοντέλο που επιστρέφεται με τη λεπτομέρεια μπορεί να αναπτυχθεί περαιτέρω για συμπέρασμα.

Ο κατάλογος εισόδου θα πρέπει να μοιάζει με τον ακόλουθο κώδικα εάν τα δεδομένα εκπαίδευσης περιέχουν δύο εικόνες. Τα ονόματα των αρχείων .png μπορεί να είναι οτιδήποτε.

input_directory
    |--images
        |--abc.png
        |--def.png
    |--masks
        |--abc.png
        |--def.png
    class_label_to_prediction_index.json

Τα αρχεία μάσκας πρέπει να έχουν πληροφορίες για την ετικέτα κλάσης για κάθε pixel.

Τμηματοποίηση παρουσίας

Η τμηματοποίηση παρουσίας εντοπίζει και οριοθετεί κάθε ξεχωριστό αντικείμενο ενδιαφέροντος που εμφανίζεται σε μια εικόνα. Προσθέτει ετικέτες σε κάθε pixel με μια ετικέτα παρουσίας. Ενώ η σημασιολογική τμηματοποίηση εκχωρεί την ίδια ετικέτα σε εικονοστοιχεία πολλαπλών αντικειμένων της ίδιας κλάσης, η τμηματοποίηση παρουσίας επισημαίνει περαιτέρω τα εικονοστοιχεία που αντιστοιχούν σε κάθε εμφάνιση ενός αντικειμένου στην εικόνα με μια ξεχωριστή ετικέτα.

Επί του παρόντος, το JumpStart προσφέρει μοντέλα μόνο για συμπεράσματα για παράδειγμα τμηματοποίηση και δεν υποστηρίζει τη λεπτομέρεια.

Οι παρακάτω εικόνες απεικονίζουν τη διαφορά μεταξύ του συμπεράσματος στη σημασιολογική τμηματοποίηση και της τμηματοποίησης παρουσίας. Η αρχική εικόνα έχει δύο άτομα στην εικόνα. Η σημασιολογική τμηματοποίηση αντιμετωπίζει πολλά άτομα στην εικόνα ως μία οντότητα: Person. Ωστόσο, η τμηματοποίηση παρουσίας προσδιορίζει μεμονωμένα άτομα εντός του Person κατηγορία.

Επισκόπηση λύσεων

Οι ακόλουθες ενότητες παρέχουν μια επίδειξη βήμα προς βήμα για την εκτέλεση σημασιολογικής τμηματοποίησης με το JumpStart, τόσο μέσω της διεπαφής χρήστη του Studio όσο και μέσω των API του JumpStart.

Ακολουθούμε τα παρακάτω βήματα:

1. Αποκτήστε πρόσβαση στο JumpStart μέσω της διεπαφής χρήστη του Studio:
   1. Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο.
   2. Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο.
2. Χρησιμοποιήστε το JumpStart μέσω προγραμματισμού με το SageMaker Python SDK:
   1. Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο.
   2. Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο.

Συζητάμε επίσης πρόσθετες προηγμένες δυνατότητες του JumpStart.

Αποκτήστε πρόσβαση στο JumpStart μέσω της διεπαφής χρήστη του Studio

Σε αυτήν την ενότητα, παρουσιάζουμε πώς να εκπαιδεύσετε και να αναπτύξετε μοντέλα JumpStart μέσω της διεπαφής χρήστη του Studio.

Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο

Το παρακάτω βίντεο σας δείχνει πώς να βρείτε ένα προεκπαιδευμένο μοντέλο σημασιολογικής τμηματοποίησης στο JumpStart και να το αναπτύξετε. Η σελίδα μοντέλου περιέχει πολύτιμες πληροφορίες σχετικά με το μοντέλο, τον τρόπο χρήσης του, την αναμενόμενη μορφή δεδομένων και ορισμένες λεπτομέρειες λεπτομέρειας. Μπορείτε να αναπτύξετε οποιοδήποτε από τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο JumpStart. Για συμπέρασμα, επιλέγουμε τον τύπο παρουσίας ml.g4dn.xlarge. Παρέχει την επιτάχυνση της GPU που απαιτείται για χαμηλή καθυστέρηση συμπερασμάτων, αλλά σε χαμηλότερη τιμή. Αφού διαμορφώσετε την παρουσία φιλοξενίας του SageMaker, επιλέξτε Ανάπτυξη. Ενδέχεται να χρειαστούν 5–10 λεπτά μέχρι να τεθεί σε λειτουργία το μόνιμο τελικό σημείο σας.

Μετά από λίγα λεπτά, το τελικό σημείο σας είναι λειτουργικό και έτοιμο να απαντήσει σε αιτήματα συμπερασμάτων.

Ομοίως, μπορείτε να αναπτύξετε ένα προεκπαιδευμένο μοντέλο τμηματοποίησης παρουσίας ακολουθώντας τα ίδια βήματα στο προηγούμενο βίντεο ενώ αναζητάτε τμηματοποίηση παρουσιών αντί για σημασιολογική τμηματοποίηση στη γραμμή αναζήτησης JumpStart.

Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο

Το παρακάτω βίντεο δείχνει πώς να βρείτε και να τελειοποιήσετε ένα μοντέλο σημασιολογικής τμηματοποίησης στο JumpStart. Στο βίντεο, βελτιστοποιούμε το μοντέλο χρησιμοποιώντας το Σύνολο δεδομένων PennFudanPed, που παρέχεται από προεπιλογή στο JumpStart, το οποίο μπορείτε να κάνετε λήψη κάτω από το Άδεια χρήσης Apache 2.0.

Η τελειοποίηση στο δικό σας σύνολο δεδομένων περιλαμβάνει τη λήψη της σωστής μορφοποίησης των δεδομένων (όπως εξηγείται στη σελίδα μοντέλου), τη μεταφόρτωσή τους στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και προσδιορίζοντας τη θέση του στη διαμόρφωση της πηγής δεδομένων. Χρησιμοποιούμε τις ίδιες τιμές υπερπαραμέτρων που έχουν οριστεί από προεπιλογή (αριθμός εποχών, ρυθμός εκμάθησης και μέγεθος παρτίδας). Χρησιμοποιούμε επίσης ένα ml.p3.2xlarge που υποστηρίζεται από GPU ως παράδειγμα εκπαίδευσης στο SageMaker.

Μπορείτε να παρακολουθείτε την εκπαιδευτική σας εργασία που εκτελείται απευθείας στην κονσόλα του Studio και να ειδοποιηθείτε με την ολοκλήρωσή της. Μετά την ολοκλήρωση της εκπαίδευσης, μπορείτε να αναπτύξετε το βελτιστοποιημένο μοντέλο από την ίδια σελίδα που περιέχει τις λεπτομέρειες της εργασίας εκπαίδευσης. Η ροή εργασιών ανάπτυξης είναι ίδια με την ανάπτυξη ενός προεκπαιδευμένου μοντέλου.

Χρησιμοποιήστε το JumpStart μέσω προγραμματισμού με το SageMaker SDK

Στις προηγούμενες ενότητες, δείξαμε πώς μπορείτε να χρησιμοποιήσετε τη διεπαφή χρήστη JumpStart για να αναπτύξετε ένα προεκπαιδευμένο μοντέλο και να το ρυθμίσετε διαδραστικά, σε λίγα μόνο κλικ. Ωστόσο, μπορείτε επίσης να χρησιμοποιήσετε τα μοντέλα του JumpStart και να κάνετε εύκολο συντονισμό μέσω προγραμματισμού, χρησιμοποιώντας API που είναι ενσωματωμένα στο SageMaker SDK. Ας δούμε τώρα ένα γρήγορο παράδειγμα για το πώς μπορείτε να αναπαράγετε την προηγούμενη διαδικασία. Όλα τα βήματα σε αυτήν την επίδειξη είναι διαθέσιμα στα συνοδευτικά σημειωματάρια Εισαγωγή στο JumpStart – Τμηματοποίηση παρουσίας και Εισαγωγή στο JumpStart – Semantic Segmentation.

Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο

Σε αυτήν την ενότητα, επιλέγουμε ένα κατάλληλο προεκπαιδευμένο μοντέλο στο JumpStart, αναπτύσσουμε αυτό το μοντέλο σε ένα τελικό σημείο του SageMaker και εκτελούμε συμπεράσματα στο τελικό σημείο που έχει αναπτυχθεί.

Το SageMaker είναι μια πλατφόρμα που βασίζεται σε κοντέινερ Docker. Το JumpStart χρησιμοποιεί το διαθέσιμο συγκεκριμένο πλαίσιο SageMaker Deep Learning Containers (DLCs). Λαμβάνουμε τυχόν πρόσθετα πακέτα, καθώς και σενάρια για τη διαχείριση της εκπαίδευσης και των συμπερασμάτων για την επιλεγμένη εργασία. Τέλος, τα προεκπαιδευμένα τεχνουργήματα μοντέλων παραλαμβάνονται ξεχωριστά model_uris, το οποίο παρέχει ευελιξία στην πλατφόρμα. Μπορείτε να χρησιμοποιήσετε οποιοδήποτε αριθμό προεκπαιδευμένων μοντέλων για την ίδια εργασία με ένα μόνο σενάριο εκπαίδευσης ή συμπερασμάτων. Δείτε τον παρακάτω κώδικα:

model_id, model_version = "mxnet-semseg-fcn-resnet50-ade", "*"

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve(
    region=None,
    framework=None,  # automatically inferred from model_id
    image_scope="inference",
    model_id=model_id,
    model_version=model_version,
    instance_type=inference_instance_type,
)

# Retrieve the inference script uri
deploy_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="inference")

base_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="inference")

Για παράδειγμα, τμηματοποίηση, μπορούμε να ορίσουμε model_id προς την mxnet-semseg-fcn-resnet50-ade. Το είναι στο αναγνωριστικό αντιστοιχεί σε τμηματοποίηση στιγμιότυπου.

Στη συνέχεια, τροφοδοτούμε τους πόρους σε ένα Μοντέλο SageMaker παράδειγμα και αναπτύξτε ένα τελικό σημείο:

# Create the SageMaker model instance
model = Model(
    image_uri=deploy_image_uri,
    source_dir=deploy_source_uri,
    model_data=base_model_uri,
    entry_point="inference.py",  # entry point file in source_dir and present in deploy_source_uri
    role=aws_role,
    predictor_cls=Predictor,
    name=endpoint_name,
)

# deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class,
# for being able to run inference through the sagemaker API.
base_model_predictor = model.deploy(
    initial_instance_count=1,
    instance_type=inference_instance_type,
    predictor_cls=Predictor,
    endpoint_name=endpoint_name,
)

Μετά από λίγα λεπτά, το μοντέλο μας έχει αναπτυχθεί και μπορούμε να λάβουμε προβλέψεις από αυτό σε πραγματικό χρόνο!

Το παρακάτω απόσπασμα κώδικα σάς δίνει μια γεύση για το πώς φαίνεται η σημασιολογική τμηματοποίηση. Η προβλεπόμενη μάσκα για κάθε pixel απεικονίζεται. Για να λάβετε συμπεράσματα από ένα αναπτυγμένο μοντέλο, μια εικόνα εισόδου πρέπει να παρέχεται σε δυαδική μορφή. Η απόκριση του τελικού σημείου είναι μια προβλεπόμενη ετικέτα για κάθε pixel στην εικόνα. Χρησιμοποιούμε το query_endpoint και parse_response βοηθητικές λειτουργίες, οι οποίες ορίζονται στο συνοδευτικό σημειωματάριο:

query_response = query(base_model_predictor, pedestrian_img)
predictions, labels, image_labels = parse_response(query_response)
print("Objects present in the picture:", image_labels)

Βελτιστοποιήστε το προεκπαιδευμένο μοντέλο

Για να τελειοποιήσουμε ένα επιλεγμένο μοντέλο, πρέπει να λάβουμε το URI αυτού του μοντέλου, καθώς και αυτό του σεναρίου εκπαίδευσης και της εικόνας του κοντέινερ που χρησιμοποιείται για την εκπαίδευση. Ευτυχώς, αυτές οι τρεις είσοδοι εξαρτώνται αποκλειστικά από το όνομα του μοντέλου, την έκδοση (για μια λίστα με τα διαθέσιμα μοντέλα, βλ. Διαθέσιμος πίνακας μοντέλων JumpStart), και τον τύπο του στιγμιότυπου στο οποίο θέλετε να εκπαιδεύσετε. Αυτό αποδεικνύεται στο ακόλουθο απόσπασμα κώδικα:

from sagemaker import image_uris, model_uris, script_uris

model_id, model_version = "mxnet-semseg-fcn-resnet50-ade", "*"
training_instance_type = "ml.p3.2xlarge"
train_image_uri = image_uris.retrieve(
    region=None,
    framework=None,
    model_id=model_id,
    model_version=model_version,
    image_scope="training",
    instance_type=training_instance_type,)# Retrieve the training script

train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training")# Retrieve the pre-trained model tarball to further fine-tune

train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

Ανακτούμε το model_id που αντιστοιχεί στο ίδιο μοντέλο που χρησιμοποιούσαμε προηγουμένως. Τώρα μπορείτε να ρυθμίσετε αυτό το μοντέλο JumpStart στο δικό σας προσαρμοσμένο σύνολο δεδομένων χρησιμοποιώντας το SageMaker SDK. Χρησιμοποιούμε ένα σύνολο δεδομένων που φιλοξενείται δημόσια στο Amazon S3, με βολική εστίαση στη σημασιολογική τμηματοποίηση. Το σύνολο δεδομένων πρέπει να είναι δομημένο για τελειοποίηση όπως εξηγήθηκε στην προηγούμενη ενότητα. Δείτε το ακόλουθο παράδειγμα κώδικα:

# URI of your training dataset
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/PennFudanPed_SemSeg/"
training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}"
training_job_name = name_from_base(f"jumpstart-example-{model_id}-transfer-learning")# Create SageMaker Estimator instance
semseg_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
    output_path=s3_output_location,)# Launch a SageMaker Training job by passing s3 path of the training data
semseg_estimator.fit({"training": training_dataset_s3_path}, logs=True)

Λαμβάνουμε τις ίδιες προεπιλεγμένες υπερπαραμέτρους για το επιλεγμένο μοντέλο μας με αυτές που είδαμε στην προηγούμενη ενότητα, χρησιμοποιώντας sagemaker.hyperparameters.retrieve_default(). Στη συνέχεια, εγκαινιάζουμε έναν εκτιμητή SageMaker και καλούμε το .fit μέθοδος για να αρχίσουμε να τελειοποιούμε το μοντέλο μας, περνώντας του το Amazon S3 URI για τα δεδομένα εκπαίδευσής μας. ο entry_point Το παρεχόμενο σενάριο ονομάζεται transfer_learning.py (το ίδιο για άλλες εργασίες και μοντέλα) και το κανάλι δεδομένων εισόδου μεταβιβάστηκε στο .fit πρέπει να κατονομαστεί training.

Ενώ ο αλγόριθμος εκπαιδεύεται, μπορείτε να παρακολουθείτε την πρόοδό του είτε στο σημειωματάριο SageMaker όπου εκτελείτε τον ίδιο τον κώδικα είτε στο amazoncloudwatch. Όταν ολοκληρωθεί η εκπαίδευση, τα τελειοποιημένα τεχνουργήματα μοντέλων μεταφορτώνονται στη θέση εξόδου Amazon S3 που καθορίζεται στη διαμόρφωση εκπαίδευσης. Τώρα μπορείτε να αναπτύξετε το μοντέλο με τον ίδιο τρόπο όπως το προεκπαιδευμένο μοντέλο.

Προηγμένες λειτουργίες

Εκτός από τη λεπτομερή ρύθμιση και την ανάπτυξη προεκπαιδευμένων μοντέλων, το JumpStart προσφέρει πολλές προηγμένες λειτουργίες.

Το πρώτο είναι αυτόματο συντονισμό μοντέλου. Αυτό σας επιτρέπει να συντονίζετε αυτόματα τα μοντέλα ML για να βρείτε τις τιμές υπερπαραμέτρων με την υψηλότερη ακρίβεια εντός του εύρους που παρέχεται μέσω του SageMaker API.

Το δεύτερο είναι αυξητική εκπαίδευση. Αυτό σας επιτρέπει να εκπαιδεύσετε ένα μοντέλο που έχετε ήδη βελτιστοποιήσει χρησιμοποιώντας ένα διευρυμένο σύνολο δεδομένων που περιέχει ένα υποκείμενο μοτίβο που δεν λαμβάνεται υπόψη σε προηγούμενες εκτελέσεις μικρορύθμισης, το οποίο είχε ως αποτέλεσμα κακή απόδοση του μοντέλου. Η σταδιακή εκπαίδευση εξοικονομεί χρόνο και πόρους επειδή δεν χρειάζεται να επανεκπαιδεύσετε το μοντέλο από την αρχή.

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς να τελειοποιήσετε και να αναπτύξετε ένα προεκπαιδευμένο μοντέλο σημασιολογικής τμηματοποίησης και πώς να το προσαρμόσετε, για παράδειγμα, την τμηματοποίηση χρησιμοποιώντας το JumpStart. Μπορείτε να το πετύχετε χωρίς να χρειάζεται να γράψετε κώδικα. Δοκιμάστε τη λύση μόνοι σας και στείλτε μας τα σχόλιά σας.

Για να μάθετε περισσότερα σχετικά με το JumpStart και πώς μπορείτε να χρησιμοποιήσετε προεκπαιδευμένα μοντέλα ανοιχτού κώδικα για μια ποικιλία άλλων εργασιών ML, δείτε τα παρακάτω Βίντεο AWS re:Invent 2020.

Σχετικά με τους Συγγραφείς

Δρ Vivek Madan είναι Εφαρμοσμένος Επιστήμονας με την ομάδα Amazon SageMaker JumpStart. Πήρε το διδακτορικό του από το Πανεπιστήμιο του Ιλινόις στο Urbana-Champaign και ήταν μεταδιδακτορικός ερευνητής στο Georgia Tech. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στο σχεδιασμό αλγορίθμων και έχει δημοσιεύσει εργασίες σε συνέδρια EMNLP, ICLR, COLT, FOCS και SODA.

Santosh Kulkarni είναι αρχιτέκτονας Enterprise Solutions στην Amazon Web Services που συνεργάζεται με πελάτες αθλητικών ειδών στην Αυστραλία. Είναι παθιασμένος με τη δημιουργία κατανεμημένων εφαρμογών μεγάλης κλίμακας για την επίλυση επιχειρηματικών προβλημάτων χρησιμοποιώντας τις γνώσεις του σε AI/ML, μεγάλα δεδομένα και ανάπτυξη λογισμικού.

Λεονάρντο Μπατσέγκα είναι ανώτερος επιστήμονας και διευθυντής στην ομάδα Amazon SageMaker JumpStart. Είναι παθιασμένος με τη δημιουργία υπηρεσιών AI για την όραση υπολογιστών.