Βελτιώστε την έρευνα υψηλής αξίας με τα ασύγχρονα τελικά σημεία συμπερασμάτων Hugging Face και Amazon SageMaker

Πολλοί από τους πελάτες μας AWS παρέχουν έρευνα, ανάλυση και επιχειρηματική ευφυΐα ως υπηρεσία. Αυτός ο τύπος έρευνας και επιχειρηματικής ευφυΐας επιτρέπει στους τελικούς πελάτες τους να παραμείνουν μπροστά από τις αγορές και τους ανταγωνιστές, να εντοπίζουν ευκαιρίες ανάπτυξης και να αντιμετωπίζουν τα ζητήματα προληπτικά. Για παράδειγμα, ορισμένοι από τους πελάτες μας στον τομέα των χρηματοοικονομικών υπηρεσιών κάνουν έρευνα για μετοχές, hedge funds και εταιρείες διαχείρισης επενδύσεων για να τους βοηθήσουν να κατανοήσουν τις τάσεις και να προσδιορίσουν στρατηγικές χαρτοφυλακίου. Στον κλάδο της υγείας, ένα ολοένα και μεγαλύτερο μέρος της έρευνας για την υγεία βασίζεται πλέον σε πληροφορίες. Ένα μεγάλο μέρος της έρευνας συνεπάγεται την ανάλυση δεδομένων που συλλέχθηκαν αρχικά για διαγνωστικά, θεραπευτικά ή για άλλα ερευνητικά έργα και τώρα χρησιμοποιούνται για νέους ερευνητικούς σκοπούς. Αυτές οι μορφές έρευνας για την υγεία έχουν οδηγήσει σε αποτελεσματική πρωτογενή πρόληψη για την αποφυγή νέων περιπτώσεων, δευτερογενή πρόληψη για έγκαιρη διάγνωση και πρόληψη για καλύτερη διαχείριση της νόσου. Τα αποτελέσματα της έρευνας όχι μόνο βελτιώνουν την ποιότητα ζωής αλλά συμβάλλουν επίσης στη μείωση των δαπανών υγειονομικής περίθαλψης.

Οι πελάτες τείνουν να αφομοιώνουν τις πληροφορίες από δημόσιες και ιδιωτικές πηγές. Στη συνέχεια εφαρμόζουν καθιερωμένα ή προσαρμοσμένα μοντέλα επεξεργασίας φυσικής γλώσσας (NLP) για να συνοψίσουν και να προσδιορίσουν μια τάση και να δημιουργήσουν insights με βάση αυτές τις πληροφορίες. Τα μοντέλα NLP που χρησιμοποιούνται για αυτούς τους τύπους ερευνητικών εργασιών ασχολούνται με μεγάλα μοντέλα και συνήθως περιλαμβάνουν μεγάλα άρθρα που συνοψίζονται λαμβάνοντας υπόψη το μέγεθος του σώματος — και ειδικά τελικά σημεία, τα οποία δεν είναι βελτιστοποιημένα ως προς το κόστος αυτή τη στιγμή. Αυτές οι εφαρμογές λαμβάνουν μια έκρηξη εισερχόμενης κίνησης σε διαφορετικές ώρες της ημέρας.

Πιστεύουμε ότι οι πελάτες θα επωφεληθούν σε μεγάλο βαθμό από τη δυνατότητα να μειώσουν στο μηδέν και να αυξήσουν την ικανότητα εξαγωγής συμπερασμάτων τους ανάλογα με τις ανάγκες. Αυτό βελτιστοποιεί το κόστος της έρευνας και εξακολουθεί να μην θέτει σε κίνδυνο την ποιότητα των συμπερασμάτων. Αυτή η ανάρτηση συζητά πώς το Hugging Face μαζί με Amazon Sage Maker Το ασύγχρονο συμπέρασμα μπορεί να βοηθήσει στην επίτευξη αυτού του στόχου.

Μπορείτε να δημιουργήσετε μοντέλα σύνοψης κειμένου με πολλαπλά πλαίσια βαθιάς μάθησης όπως το TensorFlow, το PyTorch και το Apache MXNet. Αυτά τα μοντέλα έχουν συνήθως μεγάλο ωφέλιμο φορτίο εισόδου πολλαπλών εγγράφων κειμένου διαφορετικού μεγέθους. Τα προηγμένα μοντέλα βαθιάς εκμάθησης απαιτούν εντατική υπολογιστική προεπεξεργασία πριν από την εξαγωγή του μοντέλου. Οι χρόνοι επεξεργασίας μπορεί να είναι έως και λίγα λεπτά, γεγονός που καταργεί την επιλογή εκτέλεσης συμπερασμάτων σε πραγματικό χρόνο μεταβιβάζοντας ωφέλιμα φορτία μέσω ενός API HTTP. Αντίθετα, πρέπει να επεξεργάζεστε ωφέλιμα φορτία εισόδου ασύγχρονα από ένα χώρο αποθήκευσης αντικειμένων όπως Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) με αυτόματη ουρά και προκαθορισμένο όριο συγχρονισμού. Το σύστημα θα πρέπει να μπορεί να λαμβάνει ειδοποιήσεις κατάστασης και να μειώνει το περιττό κόστος καθαρίζοντας τους πόρους όταν ολοκληρωθούν οι εργασίες.

Το SageMaker βοηθά τους επιστήμονες και τους προγραμματιστές δεδομένων να προετοιμάσουν, να δημιουργήσουν, να εκπαιδεύσουν και να αναπτύξουν γρήγορα μοντέλα μηχανικής μάθησης (ML) υψηλής ποιότητας, συγκεντρώνοντας ένα ευρύ σύνολο δυνατοτήτων που έχουν δημιουργηθεί ειδικά για το ML. Το SageMaker παρέχει τα πιο προηγμένα κοντέινερ εξυπηρέτησης μοντέλων ανοιχτού κώδικα για το XGBoost (δοχείο, SDK), Scikit-Μάθετε (δοχείο, SDK), PyTorch (δοχείο, SDK), TensorFlow (δοχείο, SDK), και Apache MXNet (δοχείο, SDK).

1. Συμπεράσματα σε πραγματικό χρόνο Τα τελικά σημεία είναι κατάλληλα για φόρτους εργασίας που πρέπει να υποβληθούν σε επεξεργασία με χαμηλές απαιτήσεις καθυστέρησης της τάξης των ms έως δευτερολέπτων.
2. Μαζική μεταμόρφωση είναι ιδανικό για προβλέψεις εκτός σύνδεσης σε μεγάλες παρτίδες δεδομένων.
3. Συμπεράσματα χωρίς διακομιστή Amazon SageMaker (σε λειτουργία προεπισκόπησης και δεν συνιστάται για φόρτους εργασίας παραγωγής από τη στιγμή που γράφονται αυτές οι γραμμές) είναι μια ειδικά σχεδιασμένη επιλογή συμπερασμάτων που σας διευκολύνει να αναπτύξετε και να κλιμακώσετε μοντέλα ML. Το συμπέρασμα χωρίς διακομιστή είναι ιδανικό για φόρτους εργασίας που έχουν περιόδους αδράνειας μεταξύ εκρήξεων κυκλοφορίας και μπορούν να ανεχθούν ψυχρές εκκινήσεις.
4. Ασύγχρονη Επαγωγή τα τελικά σημεία ουρά εισερχόμενων αιτημάτων. Είναι ιδανικά για φόρτους εργασίας όπου τα μεγέθη αιτημάτων είναι μεγάλα (έως 1 GB) και οι χρόνοι επεξεργασίας συμπερασμάτων είναι της τάξης των λεπτών (έως 15 λεπτά). Το ασύγχρονο συμπέρασμα σάς δίνει τη δυνατότητα να εξοικονομήσετε κόστος με την αυτόματη κλιμάκωση του αριθμού παρουσιών στο μηδέν όταν δεν υπάρχουν αιτήματα για επεξεργασία.

Επισκόπηση λύσεων

Σε αυτήν την ανάρτηση, αναπτύσσουμε ένα μοντέλο PEGASUS που ήταν προεκπαιδευμένο για να κάνει σύνοψη κειμένου από Αγκαλιάζοντας το πρόσωπο προς την Υπηρεσίες φιλοξενίας SageMaker. Χρησιμοποιούμε το μοντέλο όπως είναι από το Hugging Face για απλότητα. Ωστόσο, μπορείτε τελειοποιήστε το μοντέλο με βάση ένα προσαρμοσμένο σύνολο δεδομένων. Μπορείτε επίσης να δοκιμάσετε άλλα μοντέλα που είναι διαθέσιμα στο Hub Model Hugging Face. Παρέχουμε επίσης ένα ασύγχρονο τελικό σημείο συμπερασμάτων που φιλοξενεί αυτό το μοντέλο, από το οποίο μπορείτε να λάβετε προβλέψεις.

Ο χειριστής συμπερασμάτων του ασύγχρονου τελικού σημείου συμπερασμάτων αναμένει ένα άρθρο ως ωφέλιμο φορτίο εισόδου. Το συνοπτικό κείμενο του άρθρου είναι το αποτέλεσμα. Η έξοδος αποθηκεύεται στη βάση δεδομένων για την ανάλυση των τάσεων ή τροφοδοτείται κατάντη για περαιτέρω αναλύσεις. Αυτή η κατάντη ανάλυση αντλεί πληροφορίες δεδομένων που βοηθούν στην έρευνα.

Δείχνουμε πώς τα ασύγχρονα τελικά σημεία συμπερασμάτων σάς επιτρέπουν να έχετε ειδοποιήσεις ταυτόχρονης και ολοκλήρωσης καθορισμένες από τον χρήστη. Διαμορφώνουμε την αυτόματη κλιμάκωση των παρουσιών πίσω από το τελικό σημείο ώστε να μειώνεται στο μηδέν όταν υποχωρεί η κίνηση και να αυξάνεται η κλίμακα καθώς γεμίζει η ουρά αιτημάτων.

Χρησιμοποιούμε επίσης amazoncloudwatch μετρήσεις για την παρακολούθηση του μεγέθους της ουράς, του συνολικού χρόνου επεξεργασίας και των επεξεργασμένων κλήσεων.

Στο παρακάτω διάγραμμα, δείχνουμε τα βήματα που απαιτούνται κατά την εκτέλεση συμπερασμάτων χρησιμοποιώντας ένα ασύγχρονο τελικό σημείο συμπερασμάτων.

1. Οι προεκπαιδευμένοι μας ΠΗΓΑΣΟΣ Το μοντέλο ML φιλοξενείται πρώτα στο τελικό σημείο κλιμάκωσης.
2. Ο χρήστης ανεβάζει το άρθρο που θα συνοψιστεί σε έναν κάδο εισόδου S3.
3. Το ασύγχρονο τελικό σημείο συμπερασμάτων καλείται χρησιμοποιώντας ένα API.
4. Αφού ολοκληρωθεί το συμπέρασμα, το αποτέλεσμα αποθηκεύεται στον κάδο εξόδου S3.
5. An Υπηρεσία απλών ειδοποιήσεων Amazon Η ειδοποίηση (Amazon SNS) αποστέλλεται στον χρήστη ειδοποιώντας τον για την ολοκληρωμένη επιτυχία ή αποτυχία.

Δημιουργήστε ένα ασύγχρονο τελικό σημείο συμπερασμάτων

Δημιουργούμε το ασύγχρονο τελικό σημείο συμπερασμάτων παρόμοιο με ένα τελικό σημείο που φιλοξενείται σε πραγματικό χρόνο. Τα βήματα περιλαμβάνουν τη δημιουργία ενός μοντέλου SageMaker, που ακολουθείται από τη διαμόρφωση του τελικού σημείου και την ανάπτυξη του τελικού σημείου. Η διαφορά μεταξύ των δύο τύπων τελικών σημείων είναι ότι η διαμόρφωση ασύγχρονων τελικών σημείων συμπερασμάτων περιέχει ένα AsyncInferenceConfig Ενότητα. Εδώ καθορίζουμε τη διαδρομή εξόδου S3 για τα αποτελέσματα από την επίκληση τελικού σημείου και προαιρετικά συμπεριλαμβάνουμε θέματα SNS για ειδοποιήσεις σχετικά με την επιτυχία και την αποτυχία. Καθορίζουμε επίσης τον μέγιστο αριθμό ταυτόχρονων κλήσεων ανά περίπτωση, όπως καθορίζεται από τον πελάτη. Δείτε τον παρακάτω κώδικα:

AsyncInferenceConfig={ "OutputConfig": { "S3OutputPath": f"s3://{bucket}/{bucket_prefix}/output", # Optionally specify Amazon SNS topics for notifications "NotificationConfig": { "SuccessTopic": success_topic, "ErrorTopic": error_topic, } }, "ClientConfig": { "MaxConcurrentInvocationsPerInstance": 2 #increase this value up to throughput peak for ideal performance } }

Για λεπτομέρειες σχετικά με το API για τη δημιουργία μιας διαμόρφωσης τελικού σημείου για ασύγχρονα συμπεράσματα, βλ Δημιουργήστε ένα ασύγχρονο τελικό σημείο συμπερασμάτων.

Επίκληση του ασύγχρονου τελικού σημείου συμπερασμάτων

Το ακόλουθο στιγμιότυπο οθόνης δείχνει ένα σύντομο άρθρο που χρησιμοποιούμε ως ωφέλιμο φορτίο εισόδου:

Ο παρακάτω κώδικας μεταφορτώνει το άρθρο ως input.json αρχείο στο Amazon S3:

sm_session.upload_data( input_location, bucket=sm_session.default_bucket(), key_prefix=prefix, extra_args={"ContentType": "text/plain"})

Χρησιμοποιούμε το Amazon S3 URI στο αρχείο ωφέλιμου φορτίου εισόδου για να καλέσουμε το τελικό σημείο. Το αντικείμενο απόκρισης περιέχει τη θέση εξόδου στο Amazon S3 για την ανάκτηση των αποτελεσμάτων μετά την ολοκλήρωση:

response = sm_runtime.invoke_endpoint_async(EndpointName=endpoint_name, InputLocation=input_1_s3_location)
output_location = response['OutputLocation']

Το ακόλουθο στιγμιότυπο οθόνης δείχνει τη σύνοψη του δείγματος εξόδου μετά τη σύνοψη:

Για λεπτομέρειες σχετικά με το API για την επίκληση ενός ασύγχρονου σημείου συμπερασμάτων, βλ Επίκληση ενός ασύγχρονου σημείου συμπερασμάτων.

Βάλτε στην ουρά τα αιτήματα επίκλησης με ταυτόχρονο καθορισμένο από τον χρήστη

Το ασύγχρονο τελικό σημείο συμπερασμάτων θέτει αυτόματα σε ουρά τα αιτήματα επίκλησης. Αυτή είναι μια πλήρως διαχειριζόμενη ουρά με διάφορες μετρήσεις παρακολούθησης και δεν απαιτεί περαιτέρω διαμόρφωση. Χρησιμοποιεί το MaxConcurrentInvocationsPerInstance παράμετρος στην προηγούμενη διαμόρφωση τερματικού για την επεξεργασία νέων αιτημάτων από την ουρά μετά την ολοκλήρωση των προηγούμενων αιτημάτων. MaxConcurrentInvocationsPerInstance είναι ο μέγιστος αριθμός ταυτόχρονων αιτημάτων που αποστέλλονται από τον πελάτη SageMaker στο κοντέινερ μοντέλου. Εάν δεν παρέχεται τιμή, το SageMaker επιλέγει τη βέλτιστη τιμή για εσάς.

Περιπτώσεις αυτόματης κλιμάκωσης εντός του ασύγχρονου τελικού σημείου συμπερασμάτων

Ορίσαμε την πολιτική αυτόματης κλιμάκωσης με ελάχιστη χωρητικότητα μηδέν και μέγιστη χωρητικότητα πέντε περιπτώσεων. Σε αντίθεση με τα τελικά σημεία που φιλοξενούνται σε πραγματικό χρόνο, τα ασύγχρονα τελικά σημεία συμπερασμάτων υποστηρίζουν τη μείωση των παρουσιών στο μηδέν ορίζοντας την ελάχιστη χωρητικότητα σε μηδέν. Χρησιμοποιούμε το ApproximateBacklogSizePerInstance μέτρηση για τη διαμόρφωση πολιτικής κλιμάκωσης με ανεκτέλεστη ουρά στόχου πέντε ανά εμφάνιση για περαιτέρω κλιμάκωση. Ρυθμίσαμε την περίοδο ψύξης για ScaleInCooldown έως 120 δευτερόλεπτα και το ScaleOutCooldown έως 120 δευτερόλεπτα. Η τιμή για ApproximateBacklogSizePerInstance επιλέγεται με βάση την κίνηση και την ευαισθησία σας στην ταχύτητα κλιμάκωσης. Όσο πιο γρήγορα κλιμακώνεστε, τόσο λιγότερο κόστος επιβαρύνεστε, αλλά τόσο πιο πιθανό είναι να κλιμακωθείτε ξανά όταν έρχονται νέα αιτήματα. Όσο πιο αργά κλιμακώνεστε, τόσο περισσότερο κόστος επιβαρύνεστε, αλλά είναι λιγότερο πιθανό να έχετε έρχεται ένα αίτημα όταν υποβαθμίζετε την κλίμακα.

client = boto3.client('application-autoscaling') # Common class representing Application Auto Scaling for SageMaker amongst other services resource_id='endpoint/' + endpoint_name + '/variant/' + 'variant1' # This is the format in which application autoscaling references the endpoint response = client.register_scalable_target(
ServiceNamespace='sagemaker', #
ResourceId=resource_id,
ScalableDimension='sagemaker:variant:DesiredInstanceCount',
MinCapacity=0,
MaxCapacity=5
) response = client.put_scaling_policy(
PolicyName='Invocations-ScalingPolicy',
ServiceNamespace='sagemaker', # The namespace of the AWS service that provides the resource.
ResourceId=resource_id, # Endpoint name
ScalableDimension='sagemaker:variant:DesiredInstanceCount', # SageMaker supports only Instance Count
PolicyType='TargetTrackingScaling', # 'StepScaling'|'TargetTrackingScaling'
TargetTrackingScalingPolicyConfiguration={ 'TargetValue': 5.0, # The target value for the metric. 'CustomizedMetricSpecification': { 'MetricName': 'ApproximateBacklogSizePerInstance', 'Namespace': 'AWS/SageMaker', 'Dimensions': [{'Name': 'EndpointName', 'Value': endpoint_name }], 'Statistic': 'Average',
}, 'ScaleInCooldown': 120, # ScaleInCooldown - The amount of time, in seconds, after a scale-in activity completes before another scale in activity can start. 'ScaleOutCooldown': 120 # ScaleOutCooldown - The amount of time, in seconds, after a scale-out activity completes before another scale out activity can start.
# 'DisableScaleIn': True|False - indicates whether scale in by the target tracking policy is disabled.
# If the value is true, scale-in is disabled and the target tracking policy won't remove capacity from the scalable resource.
}
)

Για λεπτομέρειες σχετικά με το API για την αυτόματη κλίμακα ενός ασύγχρονου τελικού σημείου συμπερασμάτων, ανατρέξτε στο Αυτόματη κλίμακα ενός ασύγχρονου σημείου συμπερασμάτων.

Διαμόρφωση ειδοποιήσεων από το ασύγχρονο τελικό σημείο συμπερασμάτων

Δημιουργούμε δύο ξεχωριστά θέματα SNS για ειδοποιήσεις επιτυχίας και σφαλμάτων για κάθε αποτέλεσμα επίκλησης τελικού σημείου:

sns_client = boto3.client('sns')
response = sns_client.create_topic(Name="Async-Demo-ErrorTopic2")
error_topic = response['TopicArn']
response = sns_client.create_topic(Name="Async-Demo-SuccessTopic2")
success_topic = response['TopicArn']

Άλλες επιλογές για ειδοποιήσεις περιλαμβάνουν τον περιοδικό έλεγχο της εξόδου του κάδου S3 ή τη χρήση ειδοποιήσεων κάδου S3 για την προετοιμασία ενός AWS Lambda λειτουργία κατά τη μεταφόρτωση αρχείων. Οι ειδοποιήσεις SNS περιλαμβάνονται στην ενότητα διαμόρφωσης τελικού σημείου όπως περιγράφηκε προηγουμένως.

Για λεπτομέρειες σχετικά με τον τρόπο ρύθμισης ειδοποιήσεων από ένα ασύγχρονο τελικό σημείο συμπερασμάτων, βλ Ελέγξτε τα αποτελέσματα πρόβλεψης.

Παρακολούθηση του ασύγχρονου σημείου συμπερασμάτων

Παρακολουθούμε το τελικό σημείο ασύγχρονης εξαγωγής συμπερασμάτων με ενσωματωμένες πρόσθετες μετρήσεις CloudWatch ειδικά για ασύγχρονα συμπεράσματα. Για παράδειγμα, παρακολουθούμε το μήκος της ουράς σε κάθε περίπτωση με ApproximateBacklogSizePerInstance και συνολικό μήκος ουράς με ApproximateBacklogSize.

Για μια πλήρη λίστα μετρήσεων, ανατρέξτε στο Παρακολούθηση ασύγχρονων σημείων συμπερασμάτων.

Μπορούμε να βελτιστοποιήσουμε τη διαμόρφωση τελικού σημείου για να έχουμε την πιο οικονομική παρουσία με υψηλή απόδοση. Για παράδειγμα, μπορούμε να χρησιμοποιήσουμε μια παρουσία με Amazon Elastic Inference ή AWS Inferentia. Μπορούμε επίσης να αυξήσουμε σταδιακά το επίπεδο συγχρονισμού μέχρι την αιχμή απόδοσης ενώ προσαρμόζουμε άλλες παραμέτρους διακομιστή μοντέλου και κοντέινερ.

Γραφήματα CloudWatch

Προσομοιώσαμε μια επισκεψιμότητα 10,000 αιτημάτων συμπερασμάτων που ρέουν κατά τη διάρκεια μιας περιόδου προς το ασύγχρονο τελικό σημείο συμπερασμάτων που ενεργοποιήθηκε με την πολιτική αυτόματης κλίμακας που περιγράφεται στην προηγούμενη ενότητα.

Το ακόλουθο στιγμιότυπο οθόνης εμφανίζει μετρήσεις παρουσιών πριν αρχίσουν να εισέρχονται αιτήματα. Ξεκινάμε με ένα ζωντανό τελικό σημείο με μηδενικές εμφανίσεις να εκτελούνται:

Το παρακάτω γράφημα δείχνει πώς το BacklogSize και BacklogSizePerInstance Οι μετρήσεις αλλάζουν καθώς ξεκινά η αυτόματη κλιμάκωση και το φορτίο στο τελικό σημείο μοιράζεται από πολλές παρουσίες που παρέχονται ως μέρος της διαδικασίας αυτόματης κλιμάκωσης.

Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, ο αριθμός των περιπτώσεων αυξήθηκε καθώς κλιμακώθηκε ο αριθμός των συμπερασμάτων:

Το ακόλουθο στιγμιότυπο οθόνης δείχνει πώς η κλιμάκωση επαναφέρει το τελικό σημείο στην αρχική κατάσταση μηδενικών εκτελούμενων περιπτώσεων:

εκκαθάριση

Αφού ολοκληρωθούν όλα τα αιτήματα, μπορούμε να διαγράψουμε το τελικό σημείο παρόμοιο με τη διαγραφή τελικών σημείων που φιλοξενούνται σε πραγματικό χρόνο. Σημειώστε ότι εάν ορίσουμε την ελάχιστη χωρητικότητα των ασύγχρονων τελικών σημείων συμπερασμάτων σε μηδέν, δεν θα προκύψουν χρεώσεις παρουσιών μετά τη μείωση της κλίμακας στο μηδέν.

Εάν ενεργοποιήσατε την αυτόματη κλιμάκωση για το τελικό σημείο σας, βεβαιωθείτε ότι έχετε καταργήσει την καταχώριση του τελικού σημείου ως επεκτάσιμου στόχου προτού διαγράψετε το τελικό σημείο. Για να το κάνετε αυτό, εκτελέστε τον ακόλουθο κώδικα:

response = client.deregister_scalable_target(ServiceNamespace='sagemaker',ResourceId='resource_id',ScalableDimension='sagemaker:variant:DesiredInstanceCount')

Θυμηθείτε να διαγράψετε το τελικό σημείο μετά τη χρήση, καθώς θα χρεωθείτε για τις περιπτώσεις που χρησιμοποιούνται σε αυτήν την επίδειξη.

sm_client.delete_endpoint(EndpointName=endpoint_name)

Πρέπει επίσης να διαγράψετε τα αντικείμενα S3 και τα θέματα SNS. Εάν δημιουργήσατε οποιουσδήποτε άλλους πόρους AWS για κατανάλωση και δράση στις ειδοποιήσεις SNS, ίσως θελήσετε επίσης να τους διαγράψετε.

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς να χρησιμοποιήσετε τη νέα δυνατότητα ασύγχρονης εξαγωγής συμπερασμάτων από το SageMaker για την επεξεργασία ενός τυπικού μεγάλου ωφέλιμου φορτίου εισόδου που αποτελεί μέρος μιας εργασίας σύνοψης. Για συμπέρασμα, χρησιμοποιήσαμε ένα μοντέλο από το Hugging Face και το αναπτύξαμε σε ασύγχρονο τελικό σημείο συμπερασμάτων. Εξηγήσαμε τις κοινές προκλήσεις της ριπής επισκεψιμότητας, των υψηλών χρόνων επεξεργασίας μοντέλων και των μεγάλων ωφέλιμων φορτίων που σχετίζονται με τα ερευνητικά analytics. Η εγγενής ικανότητα του ασύγχρονου τελικού σημείου συμπερασμάτων να διαχειρίζεται τις εσωτερικές ουρές, τα προκαθορισμένα όρια συγχρονισμού, να διαμορφώνει τις ειδοποιήσεις απόκρισης και να μειώνει αυτόματα στο μηδέν, μας βοήθησε να αντιμετωπίσουμε αυτές τις προκλήσεις. Ο πλήρης κώδικας για αυτό το παράδειγμα είναι διαθέσιμος στο GitHub.

Για να ξεκινήσετε με το ασύγχρονο συμπέρασμα του SageMaker, ρίξτε μια ματιά Ασύγχρονη Επαγωγή.

Σχετικά με τους Συγγραφείς

Ντινές Κουμάρ Σουμπραμάνι είναι Senior Solutions Architect με την ομάδα UKIR SMB, με έδρα το Εδιμβούργο της Σκωτίας. Ειδικεύεται στην τεχνητή νοημοσύνη και τη μηχανική μάθηση. Ο Dinesh απολαμβάνει να συνεργάζεται με πελάτες σε διάφορες βιομηχανίες για να τους βοηθήσει να λύσουν τα προβλήματά τους με τις υπηρεσίες AWS. Εκτός δουλειάς, του αρέσει να περνά χρόνο με την οικογένειά του, να παίζει σκάκι και να απολαμβάνει τη μουσική σε διάφορα είδη.

Raghu Ramesha είναι αρχιτέκτονας ML Solutions με την ομάδα του Amazon SageMaker Service. Επικεντρώνεται στο να βοηθά τους πελάτες να δημιουργήσουν, να αναπτύξουν και να μεταφέρουν φόρτους εργασίας παραγωγής ML στο SageMaker σε κλίμακα. Ειδικεύεται σε τομείς μηχανικής μάθησης, τεχνητής νοημοσύνης και όρασης υπολογιστών και είναι κάτοχος μεταπτυχιακού τίτλου στην Επιστήμη Υπολογιστών από το UT Dallas. Στον ελεύθερο χρόνο του, του αρέσουν τα ταξίδια και η φωτογραφία.

• Coinsmart. Το καλύτερο ανταλλακτήριο Bitcoin και Crypto στην Ευρώπη.
• Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. ΕΛΕΥΘΕΡΗ ΠΡΟΣΒΑΣΗ.
• CryptoHawk. Ραντάρ Altcoin. Δωρεάν δοκιμή.
• Πηγή: https://aws.amazon.com/blogs/machine-learning/improve-high-value-research-with-hugging-face-and-amazon-sagemaker-asynchronous-inference-endpoints/