Επιτύχετε παρακολούθηση εταιρικού επιπέδου για τα μοντέλα σας Amazon SageMaker χρησιμοποιώντας το Fiddler

Αυτή είναι μια φιλοξενούμενη ανάρτηση ιστολογίου από τους Danny Brock, Rajeev Govindan και Krishnaram Kenthapadi στο Fiddler AI.

Σας Amazon Sage Maker τα μοντέλα είναι ζωντανά. Χειρίζονται εκατομμύρια συμπεράσματα κάθε μέρα και οδηγούν σε καλύτερα επιχειρηματικά αποτελέσματα για την εταιρεία σας. Αποδίδουν ακριβώς το ίδιο καλά με την ημέρα που κυκλοφόρησαν.

Ε, περίμενε. Είναι αυτοί? Μπορεί. Μάλλον όχι.

Χωρίς business-class μοντέλο παρακολούθησης, τα μοντέλα σας μπορεί να αποσυντίθενται στη σιωπή. Οι ομάδες μηχανικής εκμάθησης (ML) μπορεί να μην μάθουν ποτέ ότι αυτά τα μοντέλα έχουν όντως μετατραπεί από θαύματα δημιουργίας εσόδων σε υποχρεώσεις λήψης εσφαλμένων αποφάσεων που κοστίζουν στην εταιρεία σας χρόνο και χρήμα.

Μην στεναχωριέσαι. Η λύση είναι πιο κοντά από όσο νομίζετε.

Fiddler, μια λύση διαχείρισης απόδοσης μοντέλου εταιρικής κλάσης διαθέσιμη στο AWS Marketplace, προσφέρει παρακολούθηση μοντέλων και εξηγήσιμη τεχνητή νοημοσύνη για να βοηθήσει τις ομάδες ML να επιθεωρήσουν και να αντιμετωπίσουν μια ολοκληρωμένη σειρά ζητημάτων μοντέλων. Μέσω της παρακολούθησης μοντέλων, της επεξήγησης μοντέλων, των αναλυτικών στοιχείων και της ανίχνευσης μεροληψίας, το Fiddler παρέχει στην εταιρεία σας ένα εύχρηστο μονό τζάμι για να διασφαλίσει ότι τα μοντέλα σας συμπεριφέρονται όπως θα έπρεπε. Και αν δεν είναι, το Fiddler παρέχει επίσης λειτουργίες που σας επιτρέπουν να επιθεωρήσετε τα μοντέλα σας για να βρείτε τις βαθύτερες αιτίες της μείωσης της απόδοσης.

Αυτή η ανάρτηση δείχνει πώς σας MLOps Η ομάδα μπορεί να βελτιώσει την παραγωγικότητα των επιστημόνων δεδομένων και να μειώσει τον χρόνο για τον εντοπισμό προβλημάτων για τα μοντέλα σας που αναπτύσσονται στο SageMaker ενσωματώνοντας την πλατφόρμα διαχείρισης απόδοσης μοντέλου Fiddler με μερικά απλά βήματα.

Επισκόπηση λύσεων

Η ακόλουθη αρχιτεκτονική αναφοράς υπογραμμίζει τα κύρια σημεία ολοκλήρωσης. Το Fiddler υπάρχει ως "sidecar" στην υπάρχουσα ροή εργασίας SageMaker ML.

Το υπόλοιπο αυτής της ανάρτησης σας καθοδηγεί στα βήματα για να ενσωματώσετε το μοντέλο SageMaker με το Fiddler's Πλατφόρμα διαχείρισης απόδοσης μοντέλου:

1. Βεβαιωθείτε ότι το μοντέλο σας έχει ενεργοποιημένη τη λήψη δεδομένων.
2. Δημιουργήστε ένα δοκιμαστικό περιβάλλον Fiddler.
3. Καταχωρίστε πληροφορίες σχετικά με το μοντέλο σας στο περιβάλλον Fiddler.
4. Δημιουργία ενός AWS Lambda λειτουργία για τη δημοσίευση συμπερασμάτων του SageMaker στο Fiddler.
5. Εξερευνήστε τις δυνατότητες παρακολούθησης του Fiddler στο δοκιμαστικό περιβάλλον του Fiddler.

Προϋποθέσεις

Αυτή η ανάρτηση προϋποθέτει ότι έχετε ρυθμίσει το SageMaker και έχετε αναπτύξει ένα τελικό σημείο μοντέλου. Για να μάθετε πώς να διαμορφώνετε το SageMaker για προβολή μοντέλων, ανατρέξτε στο Ανάπτυξη μοντέλων για συμπέρασμα. Μερικά παραδείγματα είναι επίσης διαθέσιμα στο GitHub repo.

Βεβαιωθείτε ότι το μοντέλο σας έχει ενεργοποιημένη τη λήψη δεδομένων

Στην κονσόλα SageMaker, μεταβείτε στο τελικό σημείο εξυπηρέτησης του μοντέλου σας και βεβαιωθείτε ότι έχετε ενεργοποιήσει συλλογή δεδομένων σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος. Αυτό αποθηκεύει τα συμπεράσματα (αιτήματα και απαντήσεις) που κάνει το μοντέλο σας κάθε μέρα ως Αρχεία γραμμών JSON (.jsonl) στο Amazon S3.

Δημιουργήστε ένα δοκιμαστικό περιβάλλον Fiddler

Από το βιολιτζής.αι ιστοσελίδα, μπορείτε να ζητήσετε δωρεάν δοκιμή. Αφού συμπληρώσετε μια γρήγορη φόρμα, το Fiddler θα επικοινωνήσει μαζί σας για να κατανοήσει τις ιδιαιτερότητες των αναγκών διαχείρισης απόδοσης του μοντέλου σας και θα έχει έτοιμο για εσάς ένα δοκιμαστικό περιβάλλον σε λίγες ώρες. Μπορείτε να περιμένετε ένα αποκλειστικό περιβάλλον όπως https://yourcompany.try.fiddler.ai.

Καταχωρίστε πληροφορίες σχετικά με το μοντέλο σας στο περιβάλλον Fiddler

Για να μπορέσετε να ξεκινήσετε τη δημοσίευση συμβάντων από το μοντέλο που φιλοξενείται στο SageMaker στο Fiddler, πρέπει να δημιουργήσετε ένα έργο στο δοκιμαστικό περιβάλλον του Fiddler και να παρέχετε λεπτομέρειες για το μοντέλο σας στο Fiddler μέσω ενός βήματος που ονομάζεται εγγραφή μοντέλου. Εάν θέλετε να χρησιμοποιήσετε ένα προρυθμισμένο σημειωματάριο από μέσα Στούντιο Amazon SageMaker αντί να αντιγράψετε και να επικολλήσετε τα ακόλουθα αποσπάσματα κώδικα, μπορείτε να ανατρέξετε στο σημειωματάριο γρήγορης εκκίνησης του Fiddler στο GitHub. Το Studio παρέχει μια ενιαία οπτική διεπαφή βασισμένη στον ιστό όπου μπορείτε να εκτελέσετε όλα τα βήματα ανάπτυξης ML.

Πρώτα, πρέπει να εγκαταστήσετε το Πελάτης Fiddler Python στο σημειωματάριό σας SageMaker και δημιουργήστε το πρόγραμμα-πελάτη Fiddler. Μπορείτε να πάρετε το AUTH_TOKEN από το ρυθμίσεις σελίδα στο δοκιμαστικό περιβάλλον Fiddler.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Στη συνέχεια, δημιουργήστε ένα έργο στο δοκιμαστικό περιβάλλον Fiddler:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Τώρα ανεβάστε το σύνολο δεδομένων εκπαίδευσης. Το σημειωματάριο παρέχει επίσης ένα δείγμα δεδομένων για την εκτέλεση του Fiddler's εξηγησιμότητα αλγόριθμους και ως βάση για την παρακολούθηση μετρήσεων. Το σύνολο δεδομένων χρησιμοποιείται επίσης για τη δημιουργία του σχήματος για αυτό το μοντέλο στο Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Τέλος, για να μπορέσετε να αρχίσετε να δημοσιεύετε συμπεράσματα στο Fiddler για παρακολούθηση, ανάλυση βασικών αιτιών και εξηγήσεις, πρέπει να καταχωρήσετε το μοντέλο σας. Ας δημιουργήσουμε πρώτα ένα model_info αντικείμενο που περιέχει τα μεταδεδομένα για το μοντέλο σας:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Στη συνέχεια, μπορείτε να καταχωρήσετε το μοντέλο χρησιμοποιώντας το νέο σας model_info αντικείμενο:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Μεγάλος! Τώρα μπορείτε να δημοσιεύσετε ορισμένα συμβάντα στο Fiddler για να παρακολουθήσετε την απόδοση του μοντέλου.

Δημιουργήστε μια συνάρτηση Lambda για να δημοσιεύσετε συμπεράσματα του SageMaker στο Fiddler

Με την απλή στην ανάπτυξη αρχιτεκτονική χωρίς διακομιστή του Lambda, μπορείτε να δημιουργήσετε γρήγορα τον μηχανισμό που απαιτείται για να μετακινήσετε τα συμπεράσματά σας από τον κάδο S3 που δημιουργήσατε νωρίτερα στο πρόσφατα παρεχόμενο δοκιμαστικό περιβάλλον Fiddler. Αυτή η συνάρτηση Lambda είναι υπεύθυνη για το άνοιγμα τυχόν νέων αρχείων καταγραφής συμβάντων JSONL στον κάδο S3 του μοντέλου σας, την ανάλυση και τη μορφοποίηση του περιεχομένου JSONL σε πλαίσιο δεδομένων και, στη συνέχεια, τη δημοσίευση αυτού του πλαισίου δεδομένων συμβάντων στο δοκιμαστικό περιβάλλον Fiddler. Το παρακάτω στιγμιότυπο οθόνης δείχνει τις λεπτομέρειες του κώδικα της λειτουργίας μας.

Η συνάρτηση Lambda πρέπει να ρυθμιστεί ώστε να ενεργοποιεί τα πρόσφατα δημιουργημένα αρχεία στον κάδο S3 σας. Το ακόλουθο φροντιστήριο σας καθοδηγεί στη δημιουργία ενός Amazon EventBridge έναυσμα που καλεί τη συνάρτηση Lambda κάθε φορά που φορτώνεται ένα αρχείο στο Amazon S3. Το παρακάτω στιγμιότυπο οθόνης δείχνει τη διαμόρφωση της σκανδάλης της λειτουργίας μας. Αυτό διευκολύνει τη διασφάλιση ότι κάθε φορά που το μοντέλο σας βγάζει νέα συμπεράσματα, αυτά τα συμβάντα που είναι αποθηκευμένα στο Amazon S3 φορτώνονται στο Fiddler για να αυξήσουν την παρατηρησιμότητα του μοντέλου που χρειάζεται η εταιρεία σας.

Για να απλοποιηθεί περαιτέρω αυτό, ο κώδικας για αυτήν τη λειτουργία Lambda είναι δημόσια διαθέσιμος από Ιστότοπος τεκμηρίωσης του Fiddler. Αυτό το παράδειγμα κώδικα λειτουργεί επί του παρόντος για μοντέλα δυαδικής ταξινόμησης με δομημένες εισόδους. Εάν έχετε τύπους μοντέλων με διαφορετικά χαρακτηριστικά ή εργασίες, επικοινωνήστε με το Fiddler για βοήθεια με μικρές αλλαγές στον κώδικα.

Η συνάρτηση Lambda πρέπει να κάνει αναφορά στον πελάτη Fiddler Python. Το Fiddler έχει δημιουργήσει ένα δημόσια διαθέσιμο επίπεδο Lambda στο οποίο μπορείτε να ανατρέξετε για να διασφαλίσετε ότι το import fiddler as fdl το βήμα λειτουργεί απρόσκοπτα. Μπορείτε να αναφέρετε αυτό το επίπεδο μέσω ενός ARN στην περιοχή us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Πρέπει επίσης να καθορίσετε μεταβλητές περιβάλλοντος Lambda, ώστε η συνάρτηση Lambda να γνωρίζει πώς να συνδέεται με το δοκιμαστικό περιβάλλον Fiddler και ποιες είναι οι είσοδοι και οι έξοδοι στα αρχεία .jsonl που καταγράφονται από το μοντέλο σας. Το ακόλουθο στιγμιότυπο οθόνης δείχνει μια λίστα με τις απαιτούμενες μεταβλητές περιβάλλοντος, οι οποίες είναι επίσης ενεργοποιημένες Ιστότοπος τεκμηρίωσης του Fiddler. Ενημερώστε τις τιμές για τις μεταβλητές περιβάλλοντος ώστε να ταιριάζουν με το μοντέλο και το σύνολο δεδομένων σας.

Εξερευνήστε τις δυνατότητες παρακολούθησης του Fiddler στο δοκιμαστικό περιβάλλον του Fiddler

Το έχεις κάνει! Με τα δεδομένα βάσης, το μοντέλο και την επισκεψιμότητα συνδεδεμένα, μπορείτε πλέον να εξηγήσετε μετατόπιση δεδομένων, ακραίες τιμές, μεροληψία μοντέλου, προβλήματα δεδομένων και εμφανίσεις απόδοσης και κοινοποιήστε τους πίνακες εργαλείων με άλλους. Ολοκληρώστε το ταξίδι σας από παρακολουθώντας ένα demo σχετικά με τις δυνατότητες διαχείρισης απόδοσης του μοντέλου που έχετε εισαγάγει στην εταιρεία σας.

Τα παρακάτω στιγμιότυπα οθόνης παραδείγματος παρέχουν μια γεύση από πληροφορίες μοντέλων, όπως μετατόπιση, ανίχνευση ακραίων στοιχείων, επεξηγήσεις τοπικών σημείων και αναλυτικά στοιχεία μοντέλων που θα βρείτε στο δοκιμαστικό περιβάλλον του Fiddler.

Συμπέρασμα

Αυτή η ανάρτηση τόνισε την ανάγκη για business-class μοντέλο παρακολούθησης και έδειξε πώς μπορείτε να ενσωματώσετε τα μοντέλα σας που έχουν αναπτυχθεί στο SageMaker με το Πλατφόρμα διαχείρισης απόδοσης μοντέλου Fiddler σε λίγα μόλις βήματα. Το Fiddler προσφέρει λειτουργικότητα για παρακολούθηση μοντέλων, εξηγήσιμη τεχνητή νοημοσύνη, ανίχνευση μεροληψίας και ανάλυση βασικής αιτίας και είναι διαθέσιμο στο AWS Marketplace. Παρέχοντας το δικό σας MLOps ομάδα με ένα εύχρηστο μονό τζάμι για να βεβαιωθείτε ότι τα μοντέλα σας συμπεριφέρονται όπως αναμένεται και για να εντοπίσετε τις βαθύτερες αιτίες της υποβάθμισης της απόδοσης, το Fiddler μπορεί να συμβάλει στη βελτίωση της παραγωγικότητας του επιστήμονα δεδομένων και να μειώσει τον χρόνο εντοπισμού και επίλυσης προβλημάτων.

Εάν θέλετε να μάθετε περισσότερα για το Fiddler, επισκεφτείτε το βιολιτζής.αι ή αν προτιμάτε να δημιουργήσετε ένα εξατομικευμένο επίδειξη και ένα email τεχνικής συζήτησης sales@fiddler.ai.

Σχετικά με τους Συγγραφείς

Ντάνι Μπροκ είναι Sr Engineer Solutions στο Fiddler AI. Ο Danny έχει μακροχρόνια θητεία στον χώρο της ανάλυσης και της ML, διευθύνοντας ομάδες προπωλήσεων και μετά την πώληση για νεοφυείς επιχειρήσεις όπως η Endeca και η Incorta. Ίδρυσε τη δική του εταιρεία συμβούλων ανάλυσης μεγάλων δεδομένων, Branchbird, το 2012.

Rajeev Govindan είναι Sr Engineer Solutions στο Fiddler AI. Ο Rajeev έχει εκτενή εμπειρία στη μηχανική πωλήσεων και στην ανάπτυξη λογισμικού σε πολλές επιχειρήσεις, συμπεριλαμβανομένης της AppDynamics.

Κρισναράμ Κενταπάντι είναι ο επικεφαλής επιστήμονας του Fiddler AI. Προηγουμένως, ήταν κύριος επιστήμονας στο Amazon AWS AI, όπου ηγήθηκε των πρωτοβουλιών δικαιοσύνης, επεξήγησης, απορρήτου και κατανόησης μοντέλων στην πλατφόρμα Amazon AI, και πριν από αυτό, είχε ρόλους στο LinkedIn AI και στη Microsoft Research. Ο Κρισναράμ έλαβε το διδακτορικό του στην Επιστήμη Υπολογιστών από το Πανεπιστήμιο του Στάνφορντ το 2006.