Saavutage Fiddleri abil oma Amazon SageMakeri mudelite jaoks ettevõttetasemel seire

See on Danny Brocki, Rajeev Govindani ja Krishnaram Kenthapadi Fiddler AI külalisblogi postitus.

Sinu Amazon SageMaker mudelid on otseülekandes. Nad tegelevad iga päev miljonite järeldustega ja toovad teie ettevõtte jaoks paremaid äritulemusi. Nad toimivad täpselt sama hästi kui turuletoomise päeval.

Ee, oota. Kas nad on? Võib olla. Võibolla mitte.

Ilma ettevõtlusklassita mudeli jälgimine, teie mudelid võivad vaikides laguneda. Teie masinõppe (ML) meeskonnad ei pruugi kunagi teada saada, et need mudelid on tegelikult arenenud tulude teenimise imedest kuni kohustusteni, mis langetavad valesid otsuseid, mis maksavad teie ettevõttele aega ja raha.

Ärge muretsege. Lahendus on lähemal, kui arvate.

Viiuldaja, ettevõtteklassi mudeli jõudluse haldamise lahendus, mis on saadaval aadressil AWS Marketplace, pakub mudelite jälgimist ja seletatavat tehisintellekti, mis aitab ML-meeskondadel kontrollida ja lahendada mitmesuguseid mudeliprobleeme. Mudeli jälgimise, mudeli seletatavuse, analüütika ja eelarvamuste tuvastamise kaudu pakub Fiddler teie ettevõttele lihtsalt kasutatavat ühekordset klaasi, et tagada teie mudelite käitumine nii, nagu peaks. Ja kui mitte, pakub Fiddler ka funktsioone, mis võimaldavad teil oma mudeleid kontrollida, et leida jõudluse languse algpõhjused.

See postitus näitab, kuidas teie MLOps meeskond saab parandada andmeteadlaste tootlikkust ja lühendada SageMakeris juurutatud mudelite probleemide tuvastamiseks kuluvat aega, integreerides need mõne lihtsa sammuga Fiddleri mudeli jõudluse halduse platvormiga.

Lahenduse ülevaade

Järgmine viitearhitektuur toob esile integreerimise peamised punktid. Fiddler eksisteerib teie olemasoleva SageMaker ML-i töövoo "külgkorvina".

Selle postituse ülejäänud osa juhendab teid SageMakeri mudeli ja Fiddleri mudeli integreerimiseks. Mudel Performance Management Platform:

1. Veenduge, et teie mudelil oleks andmete kogumine lubatud.
2. Looge Fiddleri proovikeskkond.
3. Registreerige oma mudeli teave oma Fiddleri keskkonnas.
4. Loo AWS Lambda funktsioon SageMakeri järelduste avaldamiseks Fiddleris.
5. Avastage Fiddleri jälgimisvõimalusi oma Fiddleri proovikeskkonnas.

Eeldused

See postitus eeldab, et olete SageMakeri seadistanud ja mudeli lõpp-punkti juurutanud. Lisateavet SageMakeri mudelite teenindamiseks konfigureerimise kohta leiate artiklist Mudelite juurutamine järelduste tegemiseks. Mõned näited on saadaval ka saidil GitHub repo.

Veenduge, et teie mudelil oleks andmete kogumine lubatud

Liikuge SageMakeri konsoolis oma mudeli serveerimislõpp-punkti ja veenduge, et olete lubanud andmete hõivamine sisse Amazoni lihtne salvestusteenus (Amazon S3) kopp. See salvestab järeldused (päringud ja vastused), mida teie mudel iga päev teeb JSON ridade failid (.jsonl) rakenduses Amazon S3.

Looge Fiddleri proovikeskkond

Alates viiuldaja.ai veebisaidil saate taotleda tasuta prooviperioodi. Pärast kiirvormi täitmist võtab Fiddler teiega ühendust, et mõista teie mudeli jõudlusjuhtimise vajaduste spetsiifikat ja valmistab teile mõne tunni pärast valmis proovikeskkonna. Võite oodata spetsiaalset keskkonda nagu https://yourcompany.try.fiddler.ai.

Registreerige oma mudeli teave oma Fiddleri keskkonnas

Enne kui saate hakata oma SageMakeri hostitud mudelist Fiddleris sündmusi avaldama, peate oma Fiddleri proovikeskkonnas looma projekti ja esitama Fiddlerile oma mudeli kohta üksikasjad sammuga, mida nimetatakse mudeli registreerimine. Kui soovite kasutada eelkonfigureeritud sülearvutit seestpoolt Amazon SageMaker Studio Selle asemel, et kopeerida ja kleepida järgmised koodilõigud, saate viidata Fiddleri kiirkäivituse märkmikule GitHub. Studio pakub ühtset veebipõhist visuaalset liidest, kus saate läbi viia kõik ML-i arendusetapid.

Esiteks peate installima Fiddler Pythoni klient oma SageMakeri märkmikusse ja looge Fiddleri klient. Saate hankida AUTH_TOKEN alates Seaded lehel oma Fiddleri proovikeskkonnas.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Järgmisena looge oma Fiddleri proovikeskkonnas projekt.

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Nüüd laadige oma treeninguandmed üles. Märkmik sisaldab ka näidisandmekomplekti Fiddleri käitamiseks seletatavus algoritme ja mõõdikute jälgimise lähtealusena. Andmestikku kasutatakse ka selle mudeli skeemi loomiseks rakenduses Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Lõpetuseks, enne kui saate hakata Fiddleris jälgimiseks, algpõhjuste analüüsiks ja selgitusteks järeldusi avaldama, peate oma mudeli registreerima. Esmalt loome a model_info objekt, mis sisaldab teie mudeli metaandmeid:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Seejärel saate mudeli registreerida, kasutades oma uut model_info objekt:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Suurepärane! Nüüd saate Fiddleris mõned sündmused avaldada, et mudeli jõudlust jälgida.

Looge Lambda funktsioon, et avaldada SageMakeri järeldused Fiddleris

Lambda lihtsalt juurutatava serverita arhitektuuriga saate kiiresti luua mehhanismi, mis on vajalik oma järelduste teisaldamiseks varem seadistatud S3 ämbrist äsja loodud Fiddleri proovikeskkonda. See Lambda funktsioon vastutab kõigi uute JSONL-i sündmuste logifailide avamise eest teie mudeli S3-ämbris, JSONL-i sisu sõelumise ja vormindamise eest andmeraamiks ning seejärel selle sündmuste andmeraami avaldamise eest teie Fiddleri proovikeskkonnas. Järgmine ekraanipilt näitab meie funktsiooni koodi üksikasju.

Lambda funktsioon tuleb konfigureerida nii, et see käivitaks teie S3 ämbris vastloodud failid. Järgnev juhendaja juhendab teid selle loomisel Amazon EventBridge päästiku, mis käivitab Lambda funktsiooni alati, kui fail Amazon S3-sse üles laaditakse. Järgmine ekraanipilt näitab meie funktsiooni päästiku konfiguratsiooni. Nii on lihtne tagada, et iga kord, kui teie mudel teeb uusi järeldusi, laaditakse Amazon S3-sse salvestatud sündmused Fiddlerisse, et tagada teie ettevõttele vajalik mudeli jälgitavus.

Selle veelgi lihtsustamiseks on selle lambda funktsiooni kood avalikult saadaval aadressilt Viiuldaja dokumentatsiooni sait. See koodinäide töötab praegu struktureeritud sisenditega binaarsete klassifikatsioonimudelite puhul. Kui teil on mudelitüüpe, millel on erinevad funktsioonid või ülesanded, võtke koodi väiksemate muudatustega abi saamiseks ühendust Fiddleriga.

Lambda funktsioon peab viitama Fiddler Pythoni kliendile. Fiddler on loonud avalikult kättesaadava lambda kihi, millele saate viidata, et tagada, et import fiddler as fdl samm töötab tõrgeteta. Sellele kihile saate viidata ARN-i kaudu us-west-2 piirkonnas: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, nagu on näidatud järgmisel ekraanipildil.

Samuti peate määrama Lambda keskkonnamuutujad, et Lambda funktsioon teaks, kuidas luua ühendust teie Fiddleri proovikeskkonnaga ning millised on sisendid ja väljundid teie mudeli poolt jäädvustatud .jsonl-failides. Järgmine ekraanipilt näitab vajalike keskkonnamuutujate loendit, mis on samuti sisse lülitatud Viiuldaja dokumentatsiooni sait. Värskendage keskkonnamuutujate väärtusi, et need vastaksid teie mudelile ja andmestikule.

Avastage Fiddleri jälgimisvõimalusi oma Fiddleri proovikeskkonnas

Sa oled sellega hakkama saanud! Kui lähteandmed, mudel ja liiklus on ühendatud, saate nüüd selgitada andmete triivimine, kõrvalekalded, mudeli eelarvamus, andmeprobleemid ja jõudlusprobleemid ning jagage armatuurlaudu teistega. Lõpetage oma teekond selleks demo vaatamine mudeli jõudlusjuhtimise võimaluste kohta, mida olete oma ettevõttes tutvustanud.

Allolevad ekraanipiltide näidised annavad ülevaate mudelitest, nagu triiv, kõrvalekallete tuvastamine, kohalike punktide selgitused ja mudelianalüüs, mis leiate teie Fiddleri proovikeskkonnast.

Järeldus

See postitus tõi esile vajaduse ettevõtlusklassi järele mudeli jälgimine ja näitas, kuidas saate oma SageMakeris juurutatud mudeleid integreerida Fiddleri mudeli jõudluse haldamise platvorm vaid mõne sammuga. Fiddler pakub funktsioone mudelite jälgimiseks, seletatavaks AI-ks, eelarvamuste tuvastamiseks ja algpõhjuste analüüsiks ning see on saadaval AWS Marketplace. Pakkudes oma MLOps Lihtsalt kasutatava ühe klaasiga meeskond, et tagada teie mudelite ootuspärane käitumine ja tuvastada jõudluse halvenemise algpõhjused, saab Fiddler aidata parandada andmeteadlaste tootlikkust ning vähendada probleemide tuvastamiseks ja lahendamiseks kuluvat aega.

Kui soovite Fiddleri kohta rohkem teada saada, külastage veebisaiti viiuldaja.ai või kui soovite seadistada isikupärastatud demo ja tehnilise arutelu meili sales@fiddler.ai.

Autoritest

Danny Brock on Fiddler AI lahenduste insener. Danny on pikka aega töötanud analüütika ja ML-i valdkonnas, juhtides eelmüügi- ja müügijärgseid meeskondi alustavatele ettevõtetele, nagu Endeca ja Incorta. Ta asutas 2012. aastal oma suurandmete analüüsi konsultatsioonifirma Branchbird.

Rajeev Govindan on Fiddler AI lahenduste insener. Rajeevil on laialdased kogemused müügiinseneri ja tarkvaraarenduse vallas mitmetes ettevõtetes, sealhulgas AppDynamicsis.

Krishnaram Kenthapadi on Fiddler AI peateadlane. Varem oli ta Amazon AWS AI juhtivteadur, kus ta juhtis Amazon AI platvormi õigluse, seletatavuse, privaatsuse ja mudeli mõistmise algatusi ning enne seda töötas ta LinkedIn AI-s ja Microsoft Researchis. Krishnaram sai doktorikraadi arvutiteaduses Stanfordi ülikoolist 2006. aastal.