Παρουσίαση της εργαλειοθήκης συγκριτικής αξιολόγησης συμπερασμάτων χωρίς διακομιστή Amazon SageMaker

Συμπεράσματα χωρίς διακομιστή Amazon SageMaker είναι μια ειδικά σχεδιασμένη επιλογή συμπερασμάτων που σας διευκολύνει να αναπτύξετε και να κλιμακώσετε μοντέλα μηχανικής εκμάθησης (ML). Παρέχει ένα μοντέλο πληρωμής ανά χρήση, το οποίο είναι ιδανικό για υπηρεσίες όπου οι κλήσεις τελικού σημείου είναι σπάνιες και απρόβλεπτες. Σε αντίθεση με ένα τελικό σημείο φιλοξενίας σε πραγματικό χρόνο, το οποίο υποστηρίζεται από μια μακροχρόνια παρουσία, οι υπολογιστικοί πόροι για τερματικά σημεία χωρίς διακομιστή παρέχονται κατόπιν ζήτησης, εξαλείφοντας έτσι την ανάγκη επιλογής τύπων παρουσιών ή διαχείρισης πολιτικών κλιμάκωσης.

Η ακόλουθη αρχιτεκτονική υψηλού επιπέδου δείχνει πώς λειτουργεί ένα τελικό σημείο χωρίς διακομιστή. Ένας πελάτης καλεί ένα τελικό σημείο, το οποίο υποστηρίζεται από διαχειριζόμενη υποδομή AWS.

Ωστόσο, τα τελικά σημεία χωρίς διακομιστή είναι επιρρεπή σε ψυχρές εκκινήσεις της τάξης των δευτερολέπτων και, ως εκ τούτου, είναι πιο κατάλληλα για διακοπτόμενους ή απρόβλεπτους φόρτους εργασίας.

Για να προσδιορίσουμε εάν ένα τελικό σημείο χωρίς διακομιστή είναι η σωστή επιλογή ανάπτυξης από την άποψη του κόστους και της απόδοσης, έχουμε αναπτύξει το SageMaker Serverless Inference Benchmarking Toolkit, το οποίο δοκιμάζει διαφορετικές διαμορφώσεις τελικού σημείου και συγκρίνει την πιο βέλτιστη με μια συγκρίσιμη παρουσία φιλοξενίας σε πραγματικό χρόνο.

Σε αυτήν την ανάρτηση, παρουσιάζουμε την εργαλειοθήκη και παρέχουμε μια επισκόπηση της διαμόρφωσης και των εξόδων της.

Επισκόπηση λύσεων

Μπορείτε να κάνετε λήψη της εργαλειοθήκης και να την εγκαταστήσετε από το GitHub repo. Το ξεκίνημα είναι εύκολο: απλά εγκαταστήστε τη βιβλιοθήκη, δημιουργήστε ένα Μοντέλο SageMakerκαι δώστε το όνομα του μοντέλου σας μαζί με ένα μορφοποιημένο αρχείο JSON lines που περιέχει ένα δείγμα συνόλου παραμέτρων επίκλησης, συμπεριλαμβανομένου του σώματος ωφέλιμου φορτίου και του τύπου περιεχομένου. Παρέχεται μια συνάρτηση ευκολίας για τη μετατροπή μιας λίστας δειγμάτων ορισμάτων επίκλησης σε αρχείο JSON lines ή αρχείο pickle για δυαδικά ωφέλιμα φορτία όπως εικόνες, βίντεο ή ήχος.

Εγκαταστήστε την εργαλειοθήκη

Πρώτα εγκαταστήστε τη βιβλιοθήκη συγκριτικής αξιολόγησης στο περιβάλλον Python σας χρησιμοποιώντας το pip:

pip install sm-serverless-benchmarking

Μπορείτε να εκτελέσετε τον ακόλουθο κώδικα από ένα Στούντιο Amazon SageMaker παράδειγμα, Παρουσίαση σημειωματάριου SageMaker, ή οποιοδήποτε παράδειγμα με προγραμματική πρόσβαση στο AWS και το κατάλληλο Διαχείριση ταυτότητας και πρόσβασης AWS άδειες (IAM). Οι απαιτούμενες άδειες IAM τεκμηριώνονται στο GitHub repo. Για πρόσθετες οδηγίες και παραδείγματα πολιτικών για το IAM, ανατρέξτε στο Πώς λειτουργεί το Amazon SageMaker με το IAM. Αυτός ο κώδικας εκτελεί ένα σημείο αναφοράς με ένα προεπιλεγμένο σύνολο παραμέτρων σε ένα μοντέλο που αναμένει μια είσοδο CSV με δύο παραδείγματα εγγραφών. Είναι καλή πρακτική να παρέχετε ένα αντιπροσωπευτικό σύνολο παραδειγμάτων για την ανάλυση της απόδοσης του τελικού σημείου με διαφορετικά ωφέλιμα φορτία εισόδου.

from sm_serverless_benchmarking import benchmark
from sm_serverless_benchmarking.utils import convert_invoke_args_to_jsonl
model_name = ""
example_invoke_args = [
        {'Body': '1,2,3,4,5', "ContentType": "text/csv"},
        {'Body': '6,7,8,9,10', "ContentType": "text/csv"}
        ]
example_args_file = convert_invoke_args_to_jsonl(example_invoke_args,
output_path=".")
r = benchmark.run_serverless_benchmarks(model_name, example_args_file)

Επιπλέον, μπορείτε να εκτελέσετε το σημείο αναφοράς ως εργασία Επεξεργασίας SageMaker, η οποία μπορεί να είναι μια πιο αξιόπιστη επιλογή για μακροχρόνια σημεία αναφοράς με μεγάλο αριθμό κλήσεων. Δείτε τον παρακάτω κώδικα:

from sm_serverless_benchmarking.sagemaker_runner import run_as_sagemaker_job
run_as_sagemaker_job(
                    role="",
                    model_name="",
                    invoke_args_examples_file="",
                    )

Λάβετε υπόψη ότι αυτό θα επιφέρει πρόσθετο κόστος εκτέλεσης μιας παρουσίας ml.m5.large SageMaker Processing για τη διάρκεια του σημείου αναφοράς.

Και οι δύο μέθοδοι δέχονται έναν αριθμό παραμέτρων για διαμόρφωση, όπως μια λίστα διαμορφώσεων μνήμης για συγκριτική αξιολόγηση και τον αριθμό των φορών που θα κληθεί κάθε διαμόρφωση. Στις περισσότερες περιπτώσεις, οι προεπιλεγμένες επιλογές θα πρέπει να επαρκούν ως σημείο εκκίνησης, αλλά να αναφέρονται στο GitHub repo για μια πλήρη λίστα και περιγραφές κάθε παραμέτρου.

Διαμόρφωση συγκριτικής αξιολόγησης

Προτού εμβαθύνουμε στο τι κάνει το σημείο αναφοράς και τα αποτελέσματα που παράγει, είναι σημαντικό να κατανοήσουμε μερικές βασικές έννοιες όσον αφορά τη διαμόρφωση τελικών σημείων χωρίς διακομιστή.

Υπάρχουν δύο βασικές επιλογές διαμόρφωσης: MemorySizeInMB και MaxConcurrency. MemorySizeInMB ρυθμίζει την ποσότητα της μνήμης που εκχωρείται στην παρουσία και μπορεί να είναι 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB ή 6144 MB. Ο αριθμός των vCPU κλιμακώνεται επίσης αναλογικά με την ποσότητα μνήμης που εκχωρείται. ο MaxConcurrency Η παράμετρος προσαρμόζει πόσες ταυτόχρονες αιτήσεις μπορεί να εξυπηρετήσει ένα τελικό σημείο. Με MaxConcurrency από 1, ένα τελικό σημείο χωρίς διακομιστή μπορεί να επεξεργαστεί μόνο ένα αίτημα κάθε φορά.

Συνοψίζοντας, το MemorySizeInMB Η παράμετρος παρέχει έναν μηχανισμό για κάθετη επεκτασιμότητα, επιτρέποντάς σας να προσαρμόσετε τη μνήμη και να υπολογίσετε πόρους για να εξυπηρετήσετε μεγαλύτερα μοντέλα, ενώ MaxConcurrency παρέχει έναν μηχανισμό για οριζόντια επεκτασιμότητα, επιτρέποντας στο τελικό σημείο σας να επεξεργάζεται περισσότερα ταυτόχρονα αιτήματα.

Το κόστος λειτουργίας ενός τελικού σημείου καθορίζεται σε μεγάλο βαθμό από το μέγεθος της μνήμης και δεν υπάρχει κόστος που να σχετίζεται με την αύξηση της μέγιστης ταυτότητος. Ωστόσο, υπάρχει ένα όριο λογαριασμού ανά Περιοχή για μέγιστο συγχρονισμό σε όλα τα τελικά σημεία. Αναφέρομαι σε Καταληκτικά σημεία και ποσοστώσεις SageMaker για τα πιο πρόσφατα όρια.

Συγκριτική αξιολόγηση εκροών

Δεδομένου αυτού, ο στόχος της συγκριτικής αξιολόγησης ενός τερματικού σημείου χωρίς διακομιστή είναι να καθοριστεί η πιο οικονομική και αξιόπιστη ρύθμιση μεγέθους μνήμης και η ελάχιστη μέγιστη ταυτόχρονη λειτουργία που μπορεί να χειριστεί τα αναμενόμενα μοτίβα επισκεψιμότητας.

Από προεπιλογή, το εργαλείο εκτελεί δύο σημεία αναφοράς. Το πρώτο είναι ένα σημείο αναφοράς σταθερότητας, το οποίο αναπτύσσει ένα τελικό σημείο για καθεμία από τις καθορισμένες διαμορφώσεις μνήμης και καλεί κάθε τελικό σημείο με τα παρεχόμενα δείγματα ωφέλιμων φορτίων. Ο στόχος αυτού του σημείου αναφοράς είναι να προσδιορίσει την πιο αποτελεσματική και σταθερή ρύθμιση MemorySizeInMB. Το σημείο αναφοράς καταγράφει τις καθυστερήσεις επίκλησης και υπολογίζει το αναμενόμενο κόστος ανά κλήση για κάθε τελικό σημείο. Στη συνέχεια συγκρίνει το κόστος με μια παρόμοια παρουσία φιλοξενίας σε πραγματικό χρόνο.

Όταν ολοκληρωθεί η συγκριτική αξιολόγηση, το εργαλείο δημιουργεί πολλές εξόδους στα καθορισμένα result_save_path κατάλογο με την ακόλουθη δομή καταλόγου:

├── benchmarking_report
├── concurrency_benchmark_raw_results
├── concurrency_benchmark_summary_results
├── cost_analysis_summary_results
├── stability_benchmark_raw_results
├── stability_benchmark_summary_results

Η benchmarking_report κατάλογος περιέχει μια συγκεντρωτική αναφορά με όλα τα συνοπτικά αποτελέσματα που περιγράφουμε σε αυτήν την ανάρτηση. Οι πρόσθετοι κατάλογοι περιέχουν πρωτογενείς και ενδιάμεσες εξόδους που μπορείτε να χρησιμοποιήσετε για πρόσθετες αναλύσεις. Αναφέρομαι στο GitHub repo για μια πιο λεπτομερή περιγραφή κάθε τεχνουργήματος εξόδου.

Ας εξετάσουμε μερικές πραγματικές εξόδους συγκριτικής αξιολόγησης για ένα τελικό σημείο που εξυπηρετεί ένα μοντέλο υπολογιστικής όρασης MobileNetV2 TensorFlow. Εάν θέλετε να αναπαράγετε αυτό το παράδειγμα, ανατρέξτε στο παραδείγματα σημειωματάρια κατάλογο στο αποθετήριο GitHub.

Το πρώτο αποτέλεσμα στη συγκεντρωτική αναφορά είναι ένας συνοπτικός πίνακας που παρέχει τις μετρήσεις ελάχιστης, μέσης, μέσης και μέγιστης καθυστέρησης για κάθε MemorySizeInMB επιτυχής διαμόρφωση μεγέθους μνήμης. Όπως φαίνεται στον παρακάτω πίνακα, η μέση καθυστέρηση επίκλησης (invocation_latency_mean) συνέχισε να βελτιώνεται καθώς η διαμόρφωση της μνήμης αυξήθηκε στα 3072 MB, αλλά σταμάτησε να βελτιώνεται στη συνέχεια.

Εκτός από τα περιγραφικά στατιστικά στοιχεία υψηλού επιπέδου, παρέχεται ένα γράφημα που δείχνει την κατανομή του λανθάνοντος χρόνου όπως παρατηρείται από τον πελάτη για καθεμία από τις διαμορφώσεις μνήμης. Και πάλι, μπορούμε να παρατηρήσουμε ότι η διαμόρφωση των 1024 MB δεν είναι τόσο αποδοτική όσο οι άλλες επιλογές, αλλά δεν υπάρχει ουσιαστική διαφορά στην απόδοση σε διαμορφώσεις του 2048 και άνω.

amazoncloudwatch Παρέχονται επίσης μετρήσεις που σχετίζονται με κάθε διαμόρφωση τελικού σημείου. Μια βασική μέτρηση εδώ είναι ModelSetupTime, το οποίο μετρά πόσο χρόνο χρειάστηκε για να φορτωθεί το μοντέλο όταν το τελικό σημείο κλήθηκε σε ψυχρή κατάσταση. Η μέτρηση μπορεί να μην εμφανίζεται πάντα στην αναφορά καθώς ένα τελικό σημείο εκκινείται σε θερμή κατάσταση. ΕΝΑ cold_start_delay Η παράμετρος είναι διαθέσιμη για τον καθορισμό του αριθμού των δευτερολέπτων για αναστολή λειτουργίας πριν από την έναρξη του σημείου αναφοράς σε ένα αναπτυγμένο τελικό σημείο. Η ρύθμιση αυτής της παραμέτρου σε μεγαλύτερο αριθμό, όπως τα 600 δευτερόλεπτα, θα αυξήσει την πιθανότητα μιας επίκλησης ψυχρής κατάστασης και θα βελτιώσει τις πιθανότητες λήψης αυτής της μέτρησης. Επιπλέον, αυτή η μέτρηση είναι πολύ πιο πιθανό να αποτυπωθεί με το συγκριτικό σημείο αναφοράς ταυτόχρονης επίκλησης, το οποίο θα συζητήσουμε αργότερα σε αυτήν την ενότητα.

Ο παρακάτω πίνακας δείχνει τις μετρήσεις που καταγράφονται από το CloudWatch για κάθε διαμόρφωση μνήμης.

Το επόμενο διάγραμμα δείχνει τις αντισταθμίσεις απόδοσης και κόστους διαφορετικών διαμορφώσεων μνήμης. Η μία γραμμή δείχνει το εκτιμώμενο κόστος της επίκλησης του τελικού σημείου 1 εκατομμύριο φορές και η άλλη δείχνει τη μέση καθυστέρηση απόκρισης. Αυτές οι μετρήσεις μπορούν να ενημερώσουν την απόφασή σας για το ποια διαμόρφωση παραμέτρων τελικού σημείου είναι η πιο οικονομική. Σε αυτό το παράδειγμα, βλέπουμε ότι η μέση καθυστέρηση μειώνεται μετά από 2048 MB, ενώ το κόστος συνεχίζει να αυξάνεται, υποδεικνύοντας ότι για αυτό το μοντέλο μια διαμόρφωση μεγέθους μνήμης 2048 θα ήταν η βέλτιστη.

Το τελικό αποτέλεσμα του σημείου αναφοράς κόστους και σταθερότητας είναι μια συνιστώμενη διαμόρφωση μνήμης, μαζί με έναν πίνακα που συγκρίνει το κόστος λειτουργίας ενός τερματικού σημείου χωρίς διακομιστή έναντι μιας συγκρίσιμης παρουσίας φιλοξενίας SageMaker. Με βάση τα δεδομένα που συλλέχθηκαν, το εργαλείο προσδιόρισε ότι η διαμόρφωση των 2048 MB είναι η βέλτιστη για αυτό το μοντέλο. Παρόλο που η διαμόρφωση 3072 παρέχει περίπου 10 χιλιοστά του δευτερολέπτου καλύτερη καθυστέρηση, αυτό συνοδεύεται από 30% αύξηση στο κόστος, από 4.55 $ σε 5.95 $ ανά 1 εκατομμύριο αιτήματα. Επιπλέον, η έξοδος δείχνει ότι ένα τελικό σημείο χωρίς διακομιστή θα παρείχε εξοικονόμηση έως και 88.72% έναντι μιας συγκρίσιμης παρουσίας φιλοξενίας σε πραγματικό χρόνο όταν υπάρχουν λιγότερα από 1 εκατομμύριο μηνιαίες αιτήσεις επίκλησης, και διακοπεί ακόμη και με ένα τελικό σημείο σε πραγματικό χρόνο μετά από 8.5 εκατομμύρια αιτήματα.

Ο δεύτερος τύπος σημείων αναφοράς είναι προαιρετικός και δοκιμάζει διάφορα MaxConcurency ρυθμίσεις κάτω από διαφορετικά μοτίβα κυκλοφορίας. Αυτό το σημείο αναφοράς εκτελείται συνήθως χρησιμοποιώντας τη βέλτιστη MemorySizeInMB διαμόρφωση από το σημείο αναφοράς σταθερότητας. Οι δύο βασικές παράμετροι για αυτό το σημείο αναφοράς είναι μια λίστα MaxConcurency ρυθμίσεις για δοκιμή μαζί με μια λίστα πολλαπλασιαστών πελατών, οι οποίοι καθορίζουν τον αριθμό των προσομοιωμένων ταυτόχρονων πελατών με τους οποίους δοκιμάζεται το τελικό σημείο.

Για παράδειγμα, ρυθμίζοντας το concurrency_benchmark_max_conc parameter έως [4, 8] και concurrency_num_clients_multiplier έως το [1, 1.5, 2], εκκινούνται δύο τελικά σημεία: το ένα με MaxConcurency του 4 και του άλλου 8. Στη συνέχεια, κάθε τελικό σημείο συγκρίνεται με ένα (MaxConcurency x πολλαπλασιαστής) αριθμός προσομοιωμένων ταυτόχρονων πελατών, ο οποίος για το τελικό σημείο με ταυτόχρονο 4 μεταφράζεται σε φόρτωση δοκιμαστικών σημείων αναφοράς με 4, 6 και 8 ταυτόχρονα πελάτες.

Η πρώτη έξοδος αυτού του σημείου αναφοράς είναι ένας πίνακας που δείχνει τις μετρήσεις λανθάνοντος χρόνου, τις εξαιρέσεις περιορισμού και τις μετρήσεις συναλλαγών ανά δευτερόλεπτο (TPS) που σχετίζονται με κάθε MaxConcurrency διαμόρφωση με διαφορετικούς αριθμούς ταυτόχρονων πελατών. Αυτές οι μετρήσεις βοηθούν στον προσδιορισμό του κατάλληλου MaxConcurrency ρύθμιση για τη διαχείριση του αναμενόμενου κυκλοφοριακού φόρτου. Στον παρακάτω πίνακα, μπορούμε να δούμε ότι ένα τελικό σημείο που διαμορφώθηκε με μέγιστο συγχρονισμό 8 ήταν σε θέση να χειριστεί έως και 16 ταυτόχρονους πελάτες με μόνο δύο εξαιρέσεις περιορισμού από τις 2,500 κλήσεις που πραγματοποιήθηκαν κατά μέσο όρο 24 συναλλαγών ανά δευτερόλεπτο.

Το επόμενο σύνολο εξόδων παρέχει ένα γράφημα για το καθένα MaxConcurrency ρύθμιση που δείχνει την κατανομή του λανθάνοντος χρόνου κάτω από διαφορετικά φορτία. Σε αυτό το παράδειγμα, μπορούμε να δούμε ότι ένα τελικό σημείο με a MaxConcurrency Η ρύθμιση 4 μπόρεσε να επεξεργαστεί με επιτυχία όλα τα αιτήματα με έως και 8 ταυτόχρονους πελάτες με ελάχιστη αύξηση στον λανθάνοντα χρόνο επίκλησης.

Το τελικό αποτέλεσμα παρέχει έναν πίνακα με μετρήσεις CloudWatch για το καθένα MaxConcurrency διαμόρφωση. Σε αντίθεση με τον προηγούμενο πίνακα που δείχνει την κατανομή του λανθάνοντος χρόνου για κάθε διαμόρφωση μνήμης, η οποία μπορεί να μην εμφανίζει πάντα την ψυχρή εκκίνηση ModelSetupTime μέτρηση, αυτή η μέτρηση είναι πολύ πιο πιθανό να εμφανιστεί σε αυτόν τον πίνακα λόγω του μεγαλύτερου αριθμού αιτημάτων επίκλησης και του μεγαλύτερου MaxConcurrency.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε το SageMaker Serverless Inference Benchmarking Toolkit και παρείχαμε μια επισκόπηση της διαμόρφωσης και των εξόδων του. Το εργαλείο μπορεί να σας βοηθήσει να λάβετε μια πιο τεκμηριωμένη απόφαση σχετικά με τα συμπεράσματα χωρίς διακομιστή, δοκιμάζοντας διαφορετικές διαμορφώσεις με ρεαλιστικά μοτίβα κυκλοφορίας. Δοκιμάστε το κιτ εργαλείων συγκριτικής αξιολόγησης με τα δικά σας μοντέλα για να δείτε μόνοι σας την απόδοση και την εξοικονόμηση κόστους που μπορείτε να περιμένετε από την ανάπτυξη ενός τερματικού σημείου χωρίς διακομιστή. Ανατρέξτε στο GitHub repo για πρόσθετη τεκμηρίωση και παραδείγματα σημειωματάριων.

Επιπρόσθετο υλικό

Σχετικά με τους συγγραφείς

Σάιμον Ζαμαρίν είναι ένας αρχιτέκτονας λύσεων AI / ML του οποίου η κύρια εστίαση είναι να βοηθά τους πελάτες να εξάγουν αξία από τα στοιχεία τους. Στον ελεύθερο χρόνο του, ο Simon απολαμβάνει να ξοδεύει χρόνο με την οικογένεια, να διαβάζει επιστημονικά και να εργάζεται σε διάφορα έργα σπιτιού DIY.

Dhawal Patel είναι Κύριος Αρχιτέκτονας Μηχανικής Μάθησης στο AWS. Έχει συνεργαστεί με οργανισμούς που κυμαίνονται από μεγάλες επιχειρήσεις έως νεοφυείς επιχειρήσεις μεσαίου μεγέθους για προβλήματα που σχετίζονται με τους κατανεμημένους υπολογιστές και την τεχνητή νοημοσύνη. Εστιάζει στη βαθιά μάθηση, συμπεριλαμβανομένων των τομέων NLP και όρασης υπολογιστή. Βοηθά τους πελάτες να επιτύχουν συμπεράσματα μοντέλων υψηλής απόδοσης στο SageMaker.

Rishabh Ray Chaudhury είναι Ανώτερος Διευθυντής Προϊόντων με το Amazon SageMaker, με επίκεντρο τα συμπεράσματα μηχανικής μάθησης. Είναι παθιασμένος με την καινοτομία και τη δημιουργία νέων εμπειριών για πελάτες μηχανικής εκμάθησης στο AWS για να βοηθήσει στην κλιμάκωση του φόρτου εργασίας τους. Στον ελεύθερο χρόνο του, του αρέσει να ταξιδεύει και να μαγειρεύει. Μπορείτε να τον βρείτε LinkedIn.