Τα μοντέλα και οι αλγόριθμοι του Amazon SageMaker JumpStart είναι πλέον διαθέσιμα μέσω API

Τον Δεκέμβριο του 2020, Η AWS ανακοίνωσε τη γενική διαθεσιμότητα of Amazon SageMaker JumpStart, μια ικανότητα του Amazon Sage Maker που σας βοηθά να ξεκινήσετε γρήγορα και εύκολα με τη μηχανική εκμάθηση (ML). Το JumpStart παρέχει τη λεπτή ρύθμιση με ένα κλικ και την ανάπτυξη μιας μεγάλης ποικιλίας προεκπαιδευμένων μοντέλων σε δημοφιλείς εργασίες ML, καθώς και μια επιλογή λύσεων από άκρο σε άκρο που λύνουν κοινά επιχειρηματικά προβλήματα. Αυτά τα χαρακτηριστικά αφαιρούν τη βαριά ανύψωση από κάθε βήμα της διαδικασίας ML, διευκολύνοντας την ανάπτυξη μοντέλων υψηλής ποιότητας και μειώνοντας το χρόνο μέχρι την ανάπτυξη.

Προηγουμένως, όλο το περιεχόμενο του JumpStart ήταν διαθέσιμο μόνο μέσω Στούντιο Amazon SageMaker, η οποία παρέχει ένα φιλική προς το χρήστη γραφική διεπαφή για αλληλεπίδραση με το χαρακτηριστικό. Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε την κυκλοφορία του εύχρηστου JumpStart API ως επέκταση του SageMaker Python SDK. Αυτά τα API σάς επιτρέπουν να αναπτύξετε μέσω προγραμματισμού και να ρυθμίσετε με ακρίβεια μια τεράστια γκάμα προεκπαιδευμένων μοντέλων που υποστηρίζονται από το JumpStart στα δικά σας σύνολα δεδομένων. Αυτή η εκκίνηση ξεκλειδώνει τη χρήση των δυνατοτήτων JumpStart στις ροές εργασιών κώδικα, τις αγωγές MLOps και οπουδήποτε αλλού αλληλεπιδράτε με το SageMaker μέσω SDK.

Σε αυτήν την ανάρτηση, παρέχουμε μια ενημέρωση σχετικά με την τρέχουσα κατάσταση των δυνατοτήτων του JumpStart και σας καθοδηγούμε στη ροή χρήσης του JumpStart API με ένα παράδειγμα περίπτωσης χρήσης.

Επισκόπηση JumpStart

Το JumpStart είναι ένα πολύπλευρο προϊόν που περιλαμβάνει διαφορετικές δυνατότητες για να σας βοηθήσει να ξεκινήσετε γρήγορα με την ML στο SageMaker. Κατά τη στιγμή της σύνταξης, το JumpStart σάς δίνει τη δυνατότητα να κάνετε τα εξής:

• Αναπτύξτε προεκπαιδευμένα μοντέλα για κοινές εργασίες ML – Το JumpStart σάς δίνει τη δυνατότητα να επιλύετε κοινές εργασίες ML χωρίς προσπάθεια ανάπτυξης παρέχοντας εύκολη ανάπτυξη μοντέλων προεκπαιδευμένων σε δημόσια διαθέσιμα μεγάλα σύνολα δεδομένων. Η ερευνητική κοινότητα ML έχει καταβάλει μεγάλη προσπάθεια για να καταστήσει δημόσια την πλειονότητα των μοντέλων που αναπτύχθηκαν πρόσφατα για χρήση. Το JumpStart φιλοξενεί μια συλλογή με περισσότερα από 300 μοντέλα, που εκτείνονται στις 15 πιο δημοφιλείς εργασίες ML, όπως η ανίχνευση αντικειμένων, η ταξινόμηση κειμένου και η δημιουργία κειμένου, καθιστώντας εύκολη τη χρήση τους για αρχάριους. Αυτά τα μοντέλα προέρχονται από δημοφιλείς κόμβους μοντέλων, όπως το TensorFlow, το PyTorch, το Hugging Face και το MXNet Hub.
• Βελτιώστε τα προεκπαιδευμένα μοντέλα – Το JumpStart σάς επιτρέπει να ρυθμίζετε με ακρίβεια τα προεκπαιδευμένα μοντέλα χωρίς να χρειάζεται να γράψετε τον δικό σας αλγόριθμο εκπαίδευσης. Στην ML, ονομάζεται η ικανότητα μεταφοράς της γνώσης που μαθαίνεται σε έναν τομέα σε έναν άλλο τομέα μεταφορά της μάθησης. Μπορείτε να χρησιμοποιήσετε την εκμάθηση μεταφοράς για να δημιουργήσετε ακριβή μοντέλα στα μικρότερα σύνολα δεδομένων σας, με πολύ χαμηλότερο κόστος εκπαίδευσης από αυτά που σχετίζονται με την εκπαίδευση του αρχικού μοντέλου από την αρχή. Το JumpStart περιλαμβάνει επίσης δημοφιλείς αλγόριθμους εκπαίδευσης που βασίζονται σε LightGBM, CatBoost, XGBoost και Scikit-learn, τους οποίους μπορείτε να εκπαιδεύσετε από την αρχή για την παλινδρόμηση και ταξινόμηση δεδομένων σε πίνακα.
• Χρησιμοποιήστε προκατασκευασμένες λύσεις – Το JumpStart παρέχει ένα σύνολο 17 προκατασκευασμένες λύσεις για συνήθεις περιπτώσεις χρήσης ML, όπως πρόβλεψη ζήτησης και βιομηχανικές και οικονομικές εφαρμογές, τις οποίες μπορείτε να αναπτύξετε με λίγα μόνο κλικ. Οι λύσεις είναι εφαρμογές ML από άκρο σε άκρο που συνδυάζουν διάφορες υπηρεσίες AWS για να λύσουν μια συγκεκριμένη περίπτωση επιχειρηματικής χρήσης. Χρησιμοποιούν AWS CloudFormation πρότυπα και αρχιτεκτονικές αναφοράς για γρήγορη ανάπτυξη, πράγμα που σημαίνει ότι είναι πλήρως προσαρμόσιμα.
• Χρησιμοποιήστε παραδείγματα σημειωματάριων για αλγόριθμους SageMaker – Το SageMaker παρέχει μια σουίτα από ενσωματωμένοι αλγόριθμοι να βοηθήσει τους επιστήμονες δεδομένων και τους επαγγελματίες ML να ξεκινήσουν με την εκπαίδευση και την ανάπτυξη μοντέλων ML γρήγορα. Το JumpStart παρέχει δείγματα σημειωματάριων που μπορείτε να χρησιμοποιήσετε για να χρησιμοποιήσετε γρήγορα αυτούς τους αλγόριθμους.
• Επωφεληθείτε από εκπαιδευτικά βίντεο και ιστολόγια – Το JumpStart παρέχει επίσης πολλές αναρτήσεις ιστολογίου και βίντεο που σας διδάσκουν πώς να χρησιμοποιείτε διαφορετικές λειτουργίες στο SageMaker.

Το JumpStart δέχεται προσαρμοσμένες ρυθμίσεις VPC και κλειδιά κρυπτογράφησης KMS, ώστε να μπορείτε να χρησιμοποιείτε τα διαθέσιμα μοντέλα και λύσεις με ασφάλεια στο εταιρικό σας περιβάλλον. Μπορείτε να μεταβιβάσετε τις ρυθμίσεις ασφαλείας σας στο JumpStart μέσα στο SageMaker Studio ή μέσω του SageMaker Python SDK.

Υποστηριζόμενες από το JumpStart εργασίες ML και παραδείγματα φορητών υπολογιστών API

Το JumpStart υποστηρίζει επί του παρόντος 15 από τις πιο δημοφιλείς εργασίες ML. Οι 13 από αυτές είναι εργασίες που βασίζονται στο όραμα και το NLP, εκ των οποίων οι 8 υποστηρίζουν μικροσυντονισμό χωρίς κώδικα. Υποστηρίζει επίσης τέσσερις δημοφιλείς αλγόριθμους για τη μοντελοποίηση δεδομένων σε πίνακα. Οι εργασίες και οι σύνδεσμοι προς τα δείγματα των σημειωματάριων τους συνοψίζονται στον παρακάτω πίνακα.

Ανάλογα με την εργασία, τα δείγματα σημειωματάριων που συνδέονται στον προηγούμενο πίνακα μπορούν να σας καθοδηγήσουν σε όλες ή σε ένα υποσύνολο των παρακάτω διαδικασιών:

• Επιλέξτε ένα προεκπαιδευμένο μοντέλο που υποστηρίζεται από το JumpStart για τη συγκεκριμένη εργασία σας.
• Φιλοξενήστε ένα προεκπαιδευμένο μοντέλο, λάβετε προβλέψεις από αυτό σε πραγματικό χρόνο και εμφανίστε επαρκώς τα αποτελέσματα.
• Ρυθμίστε με ακρίβεια ένα προεκπαιδευμένο μοντέλο με τη δική σας επιλογή υπερπαραμέτρων και αναπτύξτε το για συμπέρασμα.

Βελτιστοποιήστε και αναπτύξτε ένα μοντέλο ανίχνευσης αντικειμένων με JumpStart API

Στις επόμενες ενότητες, παρέχουμε μια αναλυτική περιγραφή του τρόπου χρήσης των νέων JumpStart API για την αντιπροσωπευτική εργασία του εντοπισμού αντικειμένων. Δείχνουμε πώς να χρησιμοποιήσετε ένα προ-εκπαιδευμένο μοντέλο ανίχνευσης αντικειμένων για να αναγνωρίσετε αντικείμενα από ένα προκαθορισμένο σύνολο κλάσεων σε μια εικόνα με οριοθετημένα πλαίσια. Τέλος, δείχνουμε πώς να προσαρμόσετε με ακρίβεια ένα προεκπαιδευμένο μοντέλο στο δικό σας σύνολο δεδομένων για να ανιχνεύσετε αντικείμενα σε εικόνες που είναι ειδικά για τις ανάγκες της επιχείρησής σας, απλώς φέρνοντας τα δικά σας δεδομένα. Παρέχουμε ένα συνοδευτικό σημειωματάριο για αυτήν την περιγραφή.

Ακολουθούμε τα ακόλουθα βήματα υψηλού επιπέδου:

1. Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο.
   1. Ανακτήστε τεχνουργήματα του JumpStart και αναπτύξτε ένα τελικό σημείο.
   2. Υποβάλετε ερώτημα στο τελικό σημείο, αναλύστε την απόκριση και εμφανίστε προβλέψεις μοντέλων.
2. Ρυθμίστε το προεκπαιδευμένο μοντέλο στο δικό σας σύνολο δεδομένων.
   1. Ανακτήστε αντικείμενα εκπαίδευσης.
   2. Τρέξιμο προπόνηση.

Εκτελέστε συμπεράσματα στο προεκπαιδευμένο μοντέλο

Σε αυτήν την ενότητα, επιλέγουμε ένα κατάλληλο προ-εκπαιδευμένο μοντέλο στο JumpStart, αναπτύσσουμε αυτό το μοντέλο σε ένα τελικό σημείο του SageMaker και δείχνουμε πώς να εκτελούμε συμπεράσματα στο αναπτυγμένο τελικό σημείο. Όλα τα βήματα είναι διαθέσιμα στο συνοδευτικό σημειωματάριο Jupyter.

Ανακτήστε τεχνουργήματα του JumpStart και αναπτύξτε ένα τελικό σημείο

Το SageMaker είναι μια πλατφόρμα που βασίζεται σε κοντέινερ Docker. Το JumpStart χρησιμοποιεί το διαθέσιμο συγκεκριμένο πλαίσιο SageMaker Deep Learning Containers (DLCs). Λαμβάνουμε τυχόν πρόσθετα πακέτα, καθώς και σενάρια για τη διαχείριση της εκπαίδευσης και των συμπερασμάτων για την επιλεγμένη εργασία. Τέλος, τα προεκπαιδευμένα τεχνουργήματα μοντέλων παραλαμβάνονται ξεχωριστά model_uris, το οποίο παρέχει ευελιξία στην πλατφόρμα. Μπορείτε να χρησιμοποιήσετε οποιοδήποτε αριθμό προεκπαιδευμένων μοντέλων για την ίδια εργασία με ένα μόνο σενάριο εκπαίδευσης ή συμπερασμάτων. Δείτε τον παρακάτω κώδικα:

infer_model_id, infer_model_version = "pytorch-od-nvidia-ssd", "*" # Retrieve the inference docker container uri. This is the base container PyTorch image for the model selected above. deploy_image_uri = image_uris.retrieve(region=None, framework=None, image_scope="inference",model_id=infer_model_id, model_version=infer_model_version, instance_type=inference_instance_type) # Retrieve the inference script uri. This includes all dependencies and scripts for model loading, inference handling etc.
deploy_source_uri = script_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, script_scope="inference") # Retrieve the base model uri. This includes the pre-trained nvidia-ssd model and parameters.
base_model_uri = model_uris.retrieve(model_id=infer_model_id, model_version=infer_model_version, model_scope="inference")

Στη συνέχεια, τροφοδοτούμε τους πόρους σε ένα Μοντέλο SageMaker παράδειγμα και αναπτύξτε ένα τελικό σημείο:

# Create the SageMaker model instance
model = Model(image_uri=deploy_image_uri, source_dir=deploy_source_uri, model_data=base_model_uri, entry_point="inference.py", role=aws_role, predictor_cls=Predictor, name=endpoint_name) # deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class for being able to run inference through the sagemaker API.
base_model_predictor = model.deploy(initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=endpoint_name)

Η ανάπτυξη τελικού σημείου μπορεί να διαρκέσει μερικά λεπτά για να ολοκληρωθεί.

Υποβάλετε ερώτημα στο τελικό σημείο, αναλύστε την απόκριση και εμφανίστε προβλέψεις

Για να λάβετε συμπεράσματα από ένα αναπτυγμένο μοντέλο, μια εικόνα εισόδου πρέπει να παρέχεται σε δυαδική μορφή μαζί με έναν τύπο αποδοχής. Στο JumpStart, μπορείτε να ορίσετε τον αριθμό των πλαισίων οριοθέτησης που επιστρέφονται. Στο παρακάτω απόσπασμα κώδικα, προβλέπουμε δέκα πλαίσια οριοθέτησης ανά εικόνα προσθέτοντας ;n_predictions=10 προς την Accept. Για να προβλέψετε xx πλαίσια, μπορείτε να το αλλάξετε σε ;n_predictions=xx , ή λάβετε όλα τα προβλεπόμενα πλαίσια παραλείποντας ;n_predictions=xx εξ ολοκλήρου.

def query(model_predictor, image_file_name): with open(image_file_name, "rb") as file: input_img_rb = file.read() return model_predictor.predict(input_img_rb,{ "ContentType": "application/x-image", "Accept": "application/json;verbose;n_predictions=10"}) query_response = query(base_model_predictor, Naxos_Taverna)

Το παρακάτω απόσπασμα κώδικα σάς δίνει μια γεύση για το πώς φαίνεται ο εντοπισμός αντικειμένων. Η πιθανότητα που προβλέπεται για κάθε κλάση αντικειμένου οπτικοποιείται, μαζί με το πλαίσιο οριοθέτησής του. Χρησιμοποιούμε το parse_response και display_predictions βοηθητικές λειτουργίες, οι οποίες ορίζονται στο συνοδευτικό σημειωματάριο.

normalized_boxes, classes_names, confidences = parse_response(query_response)
display_predictions(Naxos_Taverna, normalized_boxes, classes_names, confidences)

Το ακόλουθο στιγμιότυπο οθόνης δείχνει την έξοδο μιας εικόνας με ετικέτες πρόβλεψης και πλαίσια οριοθέτησης.

Ρυθμίστε με ακρίβεια ένα προεκπαιδευμένο μοντέλο στο δικό σας σύνολο δεδομένων

Τα υπάρχοντα μοντέλα ανίχνευσης αντικειμένων στο JumpStart είναι προεκπαιδευμένα είτε στα σύνολα δεδομένων COCO είτε στα VOC. Ωστόσο, εάν χρειάζεται να προσδιορίσετε κατηγορίες αντικειμένων που δεν υπάρχουν στο αρχικό σύνολο δεδομένων προεκπαίδευσης, πρέπει να ρυθμίσετε το μοντέλο σε ένα νέο σύνολο δεδομένων που περιλαμβάνει αυτούς τους νέους τύπους αντικειμένων. Για παράδειγμα, εάν πρέπει να προσδιορίσετε τα κουζινικά σκεύη και να εκτελέσετε συμπεράσματα σε ένα αναπτυγμένο προεκπαιδευμένο μοντέλο SSD, το μοντέλο δεν αναγνωρίζει κανένα χαρακτηριστικό των νέων τύπων εικόνας και επομένως η έξοδος είναι εσφαλμένη.

Σε αυτήν την ενότητα, δείχνουμε πόσο εύκολο είναι να τελειοποιήσετε ένα προεκπαιδευμένο μοντέλο για τον εντοπισμό νέων κατηγοριών αντικειμένων χρησιμοποιώντας JumpStart API. Το πλήρες παράδειγμα κώδικα με περισσότερες λεπτομέρειες είναι διαθέσιμο στο συνοδευτικό σημειωματάριο.

Ανακτήστε αντικείμενα εκπαίδευσης

Τα τεχνουργήματα εκπαίδευσης είναι παρόμοια με τα τεχνουργήματα συμπερασμάτων που συζητήθηκαν στην προηγούμενη ενότητα. Η εκπαίδευση απαιτεί ένα βασικό κοντέινερ Docker, δηλαδή το κοντέινερ MXNet στο ακόλουθο παράδειγμα κώδικα. Οποιαδήποτε πρόσθετα πακέτα απαιτούνται για εκπαίδευση περιλαμβάνονται στα σενάρια εκπαίδευσης train_sourcer_uri. Το προεκπαιδευμένο μοντέλο και οι παράμετροί του συσκευάζονται χωριστά.

train_model_id, train_model_version, train_scope = "mxnet-od-ssd-512-vgg16-atrous-coco","*","training"
training_instance_type = "ml.p2.xlarge" # Retrieve the docker image. This is the base container MXNet image for the model selected above. train_image_uri = image_uris.retrieve(region=None, framework=None, model_id=train_model_id, model_version=train_model_version, image_scope=train_scope,instance_type=training_instance_type) # Retrieve the training script and dependencies. This contains all the necessary files including data processing, model training etc.
train_source_uri = script_uris.retrieve(model_id=train_model_id, model_version=train_model_version, script_scope=train_scope) # Retrieve the pre-trained model tarball to further fine-tune
train_model_uri = model_uris.retrieve(
model_id=train_model_id, model_version=train_model_version, model_scope=train_scope)

Τρέξιμο προπόνηση

Για την εκτέλεση της εκπαίδευσης, απλώς τροφοδοτούμε τα απαιτούμενα τεχνουργήματα μαζί με ορισμένες πρόσθετες παραμέτρους στο a Εκτιμητής SageMaker και καλέστε το .fit λειτουργία:

# Create SageMaker Estimator instance
od_estimator = Estimator( role=aws_role, image_uri=train_image_uri, source_dir=train_source_uri, model_uri=train_model_uri, entry_point="transfer_learning.py", # Entry-point file in source_dir and present in train_source_uri. instance_count=1, instance_type=training_instance_type, max_run=360000, hyperparameters=hyperparameters, output_path=s3_output_location,
) # Launch a SageMaker Training job by passing s3 path of the training data
od_estimator.fit({"training": training_dataset_s3_path}, logs=True)

Ενώ ο αλγόριθμος εκπαιδεύεται, μπορείτε να παρακολουθείτε την πρόοδό του είτε στο σημειωματάριο SageMaker όπου εκτελείτε τον ίδιο τον κώδικα είτε στο amazoncloudwatch. Όταν ολοκληρωθεί η εκπαίδευση, τα βελτιωμένα τεχνουργήματα μοντέλων μεταφορτώνονται στο Απλή υπηρεσία αποθήκευσης Amazon Θέση εξόδου (Amazon S3) που καθορίζεται στη διαμόρφωση εκπαίδευσης. Τώρα μπορείτε να αναπτύξετε το μοντέλο με τον ίδιο τρόπο όπως το προεκπαιδευμένο μοντέλο. Μπορείτε να ακολουθήσετε την υπόλοιπη διαδικασία στο συνοδευτικό σημειωματάριο.

Συμπέρασμα

Σε αυτήν την ανάρτηση, περιγράψαμε την αξία των νέων JumpStart API και τον τρόπο χρήσης τους. Παρέχαμε συνδέσμους σε 17 παραδείγματα σημειωματάριων για τις διάφορες εργασίες ML που υποστηρίζονται στο JumpStart και σας καθοδηγήσαμε στο σημειωματάριο ανίχνευσης αντικειμένων.

Ανυπομονούμε να ακούσουμε νέα σας καθώς πειραματίζεστε με το JumpStart.

Σχετικά με τους Συγγραφείς

Δρ Vivek Madan είναι Εφαρμοσμένος Επιστήμονας με την ομάδα Amazon SageMaker JumpStart. Πήρε το διδακτορικό του από το Πανεπιστήμιο του Ιλινόις στο Urbana-Champaign και ήταν μεταδιδακτορικός ερευνητής στο Georgia Tech. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στον σχεδιασμό αλγορίθμων και έχει δημοσιεύσει εργασίες σε συνέδρια EMNLP, ICLR, COLT, FOCS και SODA.

Τζοάο Μούρα είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στο Amazon Web Services. Επικεντρώνεται κυρίως σε περιπτώσεις χρήσης NLP και βοηθά τους πελάτες να βελτιστοποιήσουν την εκπαίδευση και την ανάπτυξη του μοντέλου Deep Learning.

Δρ Ashish Khetan είναι Ανώτερος Εφαρμοσμένος Επιστήμονας με Amazon SageMaker JumpStart και Ενσωματωμένοι αλγόριθμοι Amazon SageMaker και βοηθά στην ανάπτυξη αλγορίθμων μηχανικής μάθησης. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στα στατιστικά συμπεράσματα και έχει δημοσιεύσει πολλές εργασίες σε συνέδρια NeurIPS, ICML, ICLR, JMLR και ACL.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-jumpstart-models-and-algorithms-now-available-via-api/