Saavuta yritystason valvonta Amazon SageMaker -malleillesi Fiddlerin avulla

Tämä on Danny Brockin, Rajeev Govindanin ja Krishnaram Kenthapadin Fiddler AI:n vierasblogiviesti.

Sinun Amazon Sage Maker mallit ovat live-tilassa. He käsittelevät miljoonia johtopäätöksiä joka päivä ja parantavat yrityksesi liiketoimintaa. He toimivat täsmälleen yhtä hyvin kuin julkaisupäivänä.

Eh, odota. Ovatko he? Voi olla. Ehkä ei.

Ilman yritysluokkaa mallin seuranta, mallisi saattavat rappeutua hiljaisuudessa. Koneoppimistiimisi (ML) eivät ehkä koskaan tiedä, että nämä mallit ovat itse asiassa muuttuneet tulojen kerryttämisen ihmeistä vastuullisiin virheisiin, jotka maksavat yrityksellesi aikaa ja rahaa.

Älä huoli. Ratkaisu on lähempänä kuin uskotkaan.

Pelimanni, yritysluokan mallin suorituskyvyn hallintaratkaisu, joka on saatavilla osoitteessa AWS Marketplace, tarjoaa mallien valvonnan ja selitettävän tekoälyn, joka auttaa ML-tiimejä tarkastamaan ja ratkaisemaan laajan valikoiman malliongelmia. Mallin valvonnan, mallin selitettävyyden, analytiikan ja harhatunnistuksen avulla Fiddler tarjoaa yrityksellesi helppokäyttöisen yhden lasiruudun varmistaakseen, että mallisi toimivat kuten pitää. Ja jos ne eivät ole, Fiddler tarjoaa myös ominaisuuksia, joiden avulla voit tarkastaa mallejasi ja selvittää suorituskyvyn heikkenemisen taustalla olevat syyt.

Tämä viesti näyttää, kuinka sinun MLOps tiimi voi parantaa datatieteilijöiden tuottavuutta ja lyhentää SageMakerissa käytettyjen malliesi ongelmien havaitsemiseen kuluvaa aikaa integroimalla Fiddler Model Performance Management Platform -alustaan ​​muutamassa yksinkertaisessa vaiheessa.

Ratkaisun yleiskatsaus

Seuraava viitearkkitehtuuri korostaa integroinnin ensisijaiset kohdat. Fiddler on olemassa olevan SageMaker ML -työnkulun "sivuvaunu".

Tämän viestin loppuosa opastaa sinut SageMaker-mallin integroimiseksi Fiddlerin kanssa. Mallin suorituskyvyn hallintaalusta:

1. Varmista, että mallissasi on tiedonkeruu käytössä.
2. Luo Fiddler-kokeiluympäristö.
3. Rekisteröi tiedot mallistasi Fiddler-ympäristöösi.
4. Luo AWS Lambda toiminto julkaista SageMaker-päätelmät Fiddlerille.
5. Tutustu Fiddlerin valvontaominaisuuksiin Fiddler-kokeiluympäristössäsi.

Edellytykset

Tämä viesti olettaa, että olet määrittänyt SageMakerin ja ottanut käyttöön mallipäätepisteen. Lisätietoja SageMakerin määrittämisestä mallin hallintaa varten on kohdassa Ota mallit käyttöön johtopäätösten tekemiseen. Joitakin esimerkkejä löytyy myös osoitteesta GitHub repo.

Varmista, että mallissasi on tiedonkeruu käytössä

Siirry SageMaker-konsolissa mallisi käyttöpäätepisteeseen ja varmista, että olet ottanut käyttöön tiedon keräys osaksi Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri. Tämä tallentaa johtopäätökset (pyynnöt ja vastaukset), joita mallisi tekee joka päivä JSON-viivatiedostot (.jsonl) Amazon S3:ssa.

Luo Fiddler-kokeiluympäristö

Vuodesta viulunsoittaja.ai verkkosivustolla, voit pyytää ilmaista kokeilua. Pikalomakkeen täyttämisen jälkeen Fiddler ottaa sinuun yhteyttä selvittääkseen mallin suorituskyvyn hallintatarpeesi yksityiskohdat ja tarjoaa sinulle kokeiluympäristön muutaman tunnin sisällä. Voit odottaa erityistä ympäristöä, kuten https://yourcompany.try.fiddler.ai.

Rekisteröi tiedot mallistasi Fiddler-ympäristöösi

Ennen kuin voit aloittaa tapahtumien julkaisemisen SageMaker-isännöitystä mallistasi Fiddleriin, sinun on luotava projekti Fiddler-kokeiluympäristössäsi ja annettava Fiddlerille tiedot mallistasi vaiheen kautta nimeltä mallin rekisteröinti. Jos haluat käyttää esikonfiguroitua muistikirjaa sisältäpäin Amazon SageMaker Studio sen sijaan, että kopioit ja liität seuraavat koodinpätkät, voit viitata Fiddler-pika-aloitusmuistikirjaan GitHub. Studio tarjoaa yhden web-pohjaisen visuaalisen käyttöliittymän, jossa voit suorittaa kaikki ML-kehitysvaiheet.

Ensin sinun on asennettava Fiddler Python asiakas SageMaker-muistikirjassasi ja instantoi Fiddler-asiakasohjelma. Voit saada AUTH_TOKEN mistä Asetukset -sivua Fiddler-kokeiluympäristössäsi.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Luo seuraavaksi projekti Fiddler-kokeiluympäristössäsi:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Lataa nyt harjoitustietojoukkosi. Muistikirja tarjoaa myös mallitietojoukon Fiddlerin suorittamista varten selitettävyys algoritmeja ja mittareiden seurannan lähtökohtana. Tietojoukkoa käytetään myös tämän mallin skeeman luomiseen Fiddlerissä.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Lopuksi, ennen kuin voit julkaista päätelmiä Fiddlerille seurantaa, perussyyanalyysiä ja selityksiä varten, sinun on rekisteröitävä mallisi. Luodaan ensin a model_info objekti, joka sisältää mallin metatiedot:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Sitten voit rekisteröidä mallin uudella model_info esine:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Loistava! Nyt voit julkaista joitain tapahtumia Fiddlerille seurataksesi mallin suorituskykyä.

Luo Lambda-funktio julkaistaksesi SageMaker-päätelmät Fiddlerille

Helppokäyttöisen Lambdan palvelimettoman arkkitehtuurin avulla voit nopeasti rakentaa mekanismin, joka tarvitaan siirtämään päätelmäsi aiemmin määrittämästäsi S3-säilystä uuteen Fiddler-kokeiluympäristöösi. Tämä Lambda-toiminto on vastuussa kaikkien uusien JSONL-tapahtumalokitiedostojen avaamisesta mallisi S3-säilössä, JSONL-sisällön jäsentämisestä ja muotoilusta tietokehykseksi ja tämän tapahtumien tietokehyksen julkaisemisesta Fiddler-kokeiluympäristöön. Seuraava kuvakaappaus näyttää toimintomme kooditiedot.

Lambda-toiminto on määritettävä käynnistämään äskettäin luodut tiedostot S3-säilössäsi. Seuraavat oppitunti opastaa sinua luomaan Amazon EventBridge liipaisin, joka kutsuu Lambda-toiminnon aina, kun tiedosto ladataan Amazon S3:een. Seuraava kuvakaappaus näyttää toimintomme liipaisukokoonpanon. Tämän ansiosta on helppoa varmistaa, että aina kun mallisi tekee uusia päätelmiä, Amazon S3:een tallennetut tapahtumat ladataan Fiddleriin, jotta yrityksesi tarvitsee mallin havaittavuutta.

Tämän yksinkertaistamiseksi tämän Lambda-toiminnon koodi on julkisesti saatavilla osoitteesta Fiddlerin dokumentaatiosivusto. Tämä koodiesimerkki toimii tällä hetkellä binääriluokittelumalleissa, joissa on strukturoidut tulot. Jos sinulla on mallityyppejä, joissa on erilaisia ​​ominaisuuksia tai tehtäviä, ota yhteyttä Fiddleriin saadaksesi apua pienissä koodimuutoksissa.

Lambda-funktion on viitattava Fiddler Python -asiakkaaseen. Fiddler on luonut julkisesti saatavilla olevan Lambda-kerroksen, johon voit viitata varmistaaksesi, että import fiddler as fdl vaihe toimii saumattomasti. Voit viitata tähän tasoon ARN:n kautta us-west-2-alueella: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, kuten seuraavassa kuvakaappauksessa näkyy.

Sinun on myös määritettävä Lambda-ympäristömuuttujat, jotta Lambda-toiminto tietää, kuinka muodostaa yhteys Fiddler-kokeiluympäristöösi ja mitkä tulot ja lähdöt ovat mallisi tallentamissa .jsonl-tiedostoissa. Seuraava kuvakaappaus näyttää luettelon vaadituista ympäristömuuttujista, jotka ovat myös käytössä Fiddlerin dokumentaatiosivusto. Päivitä ympäristömuuttujien arvot vastaamaan malliasi ja tietojoukkoasi.

Tutustu Fiddlerin valvontaominaisuuksiin Fiddler-kokeiluympäristössäsi

Olet tehnyt sen! Kun perustiedot, malli ja liikenne on yhdistetty, voit nyt selittää datan siirtyminen, poikkeamat, malliharha, tietoongelmia ja suorituskykyhäiriöitä sekä jakaa kojelaudat muiden kanssa. Suorita matkasi loppuun mennessä katsomassa demoa mallin suorituskyvyn hallintaominaisuuksista, jotka olet ottanut käyttöön yrityksellesi.

Alla olevat esimerkkikuvakaappaukset tarjoavat välähdyksen mallin näkemyksiin, kuten ajautumiseen, poikkeamien havaitsemiseen, paikallisten pisteiden selitykseen ja mallin analytiikkaan, jotka löytyvät Fiddler-kokeiluympäristöstäsi.

Yhteenveto

Tämä viesti korosti yritystason tarvetta mallin seuranta ja osoitti, kuinka voit integroida SageMakerissa käyttöönotetut mallisi Fiddler Model Performance Management Platform vain muutamassa vaiheessa. Fiddler tarjoaa toimintoja mallien valvontaan, selitettävään tekoälyyn, harhan havaitsemiseen ja perussyyanalyysiin, ja se on saatavilla AWS Marketplace. Tarjoamalla sinun MLOps Fiddler voi auttaa parantamaan datatutkijan tuottavuutta ja vähentämään ongelmien havaitsemiseen ja ratkaisemiseen kuluvaa aikaa.

Jos haluat lisätietoja Fiddleristä, käy osoitteessa viulunsoittaja.ai tai jos haluat luoda henkilökohtaisen esittelyn ja teknisen keskustelusähköpostin sales@fiddler.ai.

Tietoja Tekijät

Danny Brock on Sr Solutions Engineer Fiddler AI:lla. Danny on pitkään työskennellyt analytiikka- ja ML-alalla, ja hän johtaa ennakkomyynti- ja jälkimyyntitiimejä startupeille, kuten Endeca ja Incorta. Hän perusti oman big datan analytiikan konsulttiyrityksen, Branchbirdin, vuonna 2012.

Rajeev Govindan on Sr Solutions Engineer Fiddler AI:lla. Rajeevilla on laaja kokemus myyntisuunnittelusta ja ohjelmistokehityksestä useissa yritysyrityksissä, mukaan lukien AppDynamics.

Krishnaram Kenthapadi on Fiddler AI:n johtava tutkija. Aiemmin hän oli johtava tutkija Amazon AWS AI:ssa, jossa hän johti reilua, selitettävyyttä, yksityisyyttä ja mallin ymmärtämistä koskevia aloitteita Amazon AI -alustalla, ja sitä ennen hän työskenteli rooleissa LinkedIn AI:ssa ja Microsoft Researchissa. Krishnaram valmistui tietojenkäsittelytieteen tohtoriksi Stanfordin yliopistosta vuonna 2006.