Minimoi ML-mallipäivitysten tuotantovaikutus Amazon SageMaker -varjotestauksella

Amazon Sage Maker nyt voit verrata mallin käyttöpinon uuden version suorituskykyä tällä hetkellä käytössä olevaan versioon ennen täydellistä tuotannon käyttöönottoa käyttämällä käyttöönoton turvakäytäntöä, joka tunnetaan nimellä varjotestaus. Varjotestaus voi auttaa sinua tunnistamaan mahdolliset määritysvirheet ja suorituskykyongelmat ennen kuin ne vaikuttavat loppukäyttäjiin. SageMakerin avulla sinun ei tarvitse investoida varjotestausinfrastruktuurin rakentamiseen, joten voit keskittyä mallin kehittämiseen. SageMaker huolehtii uuden version käyttöönotosta tuotantopyyntöjä palvelevan nykyisen version rinnalla ja reitittää osan pyynnöistä varjoversioon. Tämän jälkeen voit verrata kahden version suorituskykyä käyttämällä mittareita, kuten viivettä ja virheprosenttia. Tämä antaa sinulle paremman varmuuden siitä, että tuotannon käyttöönotto SageMaker-päätelmäpäätepisteisiin ei aiheuta suorituskyvyn regressioita, ja auttaa sinua välttämään vahingossa tehdyistä virheellisistä määrityksistä johtuvia katkoksia.

Tässä viestissä esittelemme tämän uuden SageMaker-ominaisuuden. Vastaava mallimuistikirja on saatavilla tästä GitHubista säilytyspaikka.

Katsaus ratkaisuun

Mallin käyttöinfrastruktuuri koostuu koneoppimismallista (ML), käyttösäiliöstä tai laskenta-ilmentymästä. Tarkastellaan seuraavia skenaarioita:

• Harkitset sellaisen uuden mallin mainostamista, joka on vahvistettu offline-tilassa tuotantoon, mutta haluat arvioida toiminnallisia suorituskykymittareita, kuten viivettä, virheprosenttia ja niin edelleen, ennen kuin teet tämän päätöksen.
• Harkitset muutoksia käyttöinfrastruktuurin säilöön, kuten haavoittuvuuksien korjaamista tai päivittämistä uudempiin versioihin, ja haluat arvioida näiden muutosten vaikutusta ennen tuotantoon siirtymistä.
• Harkitset ML-esiintymän vaihtamista ja haluat arvioida, kuinka uusi ilmentymä toimisi reaaliaikaisten päättelypyyntöjen kanssa.

Seuraava kaavio kuvaa ratkaisuarkkitehtuuriamme.

Valitse kullekin näistä skenaarioista tuotantoversio, jota vastaan ​​haluat testata, ja SageMaker ottaa uuden muunnelman automaattisesti käyttöön varjotilassa ja reitittää siihen kopion päättelypyynnöistä reaaliajassa samassa päätepisteessä. Vain tuotantoversion vastaukset palautetaan kutsuvaan sovellukseen. Voit hylätä tai kirjata varjomuunnelman vastaukset offline-vertailua varten. Vaihtoehtoisesti voit seurata muunnelmia sisäänrakennetun kojelaudan kautta, jossa on vertailtavia suorituskykymittareita. Voit käyttää tätä ominaisuutta joko SageMakerin päättelypäivityspäätepisteen sovellusliittymien tai SageMaker-konsolin kautta.

Varjomuunnelmat rakentuvat SageMaker-päätelmäpäätepisteiden tuotantomuunnelmien ominaisuuksien päälle. Toistaakseni a tuotantoversio koostuu ML-mallista, käyttösäiliöstä ja ML-instanssista. Koska jokainen versio on riippumaton muista, sinulla voi olla eri malleja, säilöjä tai ilmentymätyyppejä eri versioissa. SageMakerin avulla voit määrittää automaattiset skaalauskäytännöt varianttikohtaisesti, jotta ne voivat skaalata itsenäisesti tulevan kuorman perusteella. SageMaker tukee jopa 10 tuotantoversiota päätepistettä kohti. Voit joko määrittää muunnelman vastaanottamaan osan saapuvasta liikenteestä asettamalla muunnelman painot tai määrittää kohdemuunnelman saapuvassa pyynnössä. Tuotantoversion vastaus välitetään takaisin kutsujalle.

A varjoversio (uusi) on samat komponentit kuin tuotantoversiossa. Käyttäjän määrittämä pyyntöjen osa, joka tunnetaan nimellä liikenteen otantaprosentti, välitetään varjomuunnelmaan. Voit kirjata varjomuunnelman vastauksen sisään Amazonin yksinkertainen tallennuspalvelu (Amazon S3) tai hävitä se.

Huomaa, että SageMaker tukee enintään yhtä varjovarianttia päätepistettä kohti. Päätepisteessä, jossa on varjovariantti, voi olla enintään yksi tuotantoversio.

Kun olet määrittänyt tuotanto- ja varjoversiot, voit seurata kutsumittareita sekä tuotanto- että varjoversioille amazonin pilvikello alla AWS/SageMaker nimiavaruus. Kaikki SageMaker-päätepisteen päivitykset on järjestetty käyttämällä sininen/vihreä käyttöönotto ja tapahtuvat ilman saatavuuden heikkenemistä. Päätepisteesi vastaavat edelleen tuotantopyyntöihin, kun lisäät, muokkaat tai poistat varjomuunnelmia.

Voit käyttää tätä ominaisuutta kahdella tavalla:

• Hallittu varjotestaus SageMaker-konsolin avulla – Voit hyödyntää konsolia ohjatussa kokemuksessa hallitaksesi varjotestauksen päästä päähän. Tämän avulla voit määrittää varjotestejä ennalta määritetyksi ajaksi, seurata edistymistä reaaliaikaisen kojelaudan kautta, siivota suorituksen jälkeen ja toimia tulosten perusteella.
• Itsepalveluvarjotestaus SageMaker Inference API:illa – Jos käyttöönotto-työnkulkusi käyttää jo päätepisteen luomis-/päivitys-/poistosovellusliittymiä, voit jatkaa niiden käyttöä Shadow-varianttien hallintaan.

Seuraavissa osioissa käymme läpi jokaisen näistä skenaarioista.

Skenaario 1 – Hallittu varjotestaus SageMaker-konsolin avulla

Jos haluat valita SageMakerin hallitsemaan varjotestien luomisen, hallinnan ja tulosten perusteella toimintaan liittyvää päästä päähän -työnkulkua, harkitse SageMaker-konsolin Päättely-osiossa olevan Shadow-testien ominaisuuden käyttämistä. Kuten aiemmin todettiin, tämän avulla voit määrittää varjotestejä ennalta määritetylle ajalle, seurata edistymistä live-koontinäytön kautta, näyttää puhdistusvaihtoehdot valmistumisen jälkeen ja toimia tulosten perusteella. Saat lisätietoja vierailemalla varjotesteillä jakso dokumentaatiostamme saadaksesi tämän ominaisuuden vaiheittaisen läpikäynnin.

Edellytykset

Tuotannon ja varjon mallit on luotava SageMakerissa. Katso CreateModel API tätä.

Vaihe 1 – Luo varjotesti

Siirry Päättely SageMaker-konsolin vasemmanpuoleisesta navigointipaneelista ja valitse sitten Varjotestit. Tämä vie sinut kojelautaan, jossa on kaikki ajoitetut, käynnissä olevat ja valmiit varjotestit. Klikkaus 'luo varjotesti'. Anna testille nimi ja valitse seuraava.

Tämä vie sinut varjotestin asetussivulle. Voit valita olemassa olevan IAM-roolin tai luoda sellaisen, jolla on AmazonSageMakerFullAccess IAM-käytäntö liitteenä. Valitse seuraavaksi 'Luo uusi päätepiste' ja anna nimi (xgb-prod-shadow-1). Voit lisätä tähän päätepisteeseen yhden tuotannon ja yhden varjomuunnelman napsauttamalla 'Lisätä' Vaihtoehdot-osiossa. Voit valita luomasi mallitLisää malli valintaikkuna. Tämä luo tuotannon tai muunnelman. Vaihtoehtoisesti voit muuttaa kuhunkin muunnelmaan liittyvää ilmentymän tyyppiä ja määrää.

Kaikki liikenne menee tuotantoversioon ja se vastaa kutsupyyntöihin. Voit hallita osaa varjovariantille reititetyistä pyynnöistä muuttamalla Traffic Sampling Percentage.

Voit säätää testin kestoa tunnista 30 päivään. Jos sitä ei ole määritetty, oletusarvo on 7 päivää. Tämän ajanjakson jälkeen testi merkitään suoritetuksi. Jos suoritat testiä olemassa olevalla päätepisteellä, se palautetaan tilaan ennen testin aloittamista, kun se on valmis.

Voit halutessasi siepata Shadow-muunnelman pyynnöt ja vastaukset käyttämällä Tiedonkeruu vaihtoehtoja. Jos jätetään määrittelemättä, varjovariantin vastaukset hylätään.

Vaihe 2 – Tarkkaile varjotestiä

Voit tarkastella varjotestien luetteloa siirtymällä kohtaan Shadow Tests Päätelmä-osiossa. Napsauta edellisessä vaiheessa luotua varjotestiä nähdäksesi varjotestin tiedot ja seurataksesi sitä sen ollessa käynnissä tai sen jälkeen.

Mittarit-osiossa vertaillaan keskeisiä mittareita ja on päällekkäisiä kaavioita tuotanto- ja varjoversioiden välillä sekä kuvaavia tilastoja. Voit vertailla kutsumittareita, kuten ModelLatency ja Invocation4xxErrors sekä instanssimittarit, kuten CPUUtilization ja DiskUtilization.

Vaihe 3 – Mainosta Shadow-versio uuteen tuotantoversioon

Vertailun jälkeen voit joko mainostaa varjovarianttiversiota uudeksi tuotantoversioksi tai poistaa varjovariantin. Valitse molemmille vaihtoehdoille 'Merkitse valmiiksi' sivun yläreunassa. Tämä antaa sinulle mahdollisuuden joko edistää tai poistaa varjomuunnelmaa.

Jos päätät mainostaa, sinut ohjataan käyttöönottosivulle, jossa voit vahvistaa muunnelman asetukset ennen käyttöönottoa. Ennen käyttöönottoa suosittelemme, että määrität varjoversiosi koon, jotta ne pystyvät käsittelemään 100 % kutsuliikenteestä. Jos et käytä varjotestausta vaihtoehtoisten ilmentymien tyyppien tai kokojen arvioimiseen, voit valitasäilyttää tuotantoversion asetukset. Muuten voit valitasäilyttää varjomuunnosasetukset. Jos valitset tämän vaihtoehdon, varmista, että liikenteen otanta on 100 %. Vaihtoehtoisesti voit määrittää ilmentymän tyypin ja lukumäärän, jos haluat ohittaa nämä asetukset.

Kun olet vahvistanut käyttöönoton, SageMaker käynnistää päätepisteesi päivityksen varjoversion vaihtamiseksi uuteen tuotantoversioon. Kuten kaikki SageMaker-päivitykset, päätepisteesi on edelleen toiminnassa päivityksen aikana.

Skenaario 2: Varjotestaus SageMakerin päättelysovellusliittymien avulla

Tässä osiossa kerrotaan, kuinka olemassa olevia SageMakerin luonti/päivitys/poista päätepisteen sovellusliittymiä käytetään varjomuunnelmien käyttöönotossa.

Tässä esimerkissä meillä on kaksi XGBoost-mallia, jotka edustavat kahta eri versiota malleista, jotka on esikoulutettu. model.tar.gz on tuotannossa tällä hetkellä käytössä oleva malli. model2 on uudempi malli, ja haluamme testata sen suorituskykyä toiminnallisilla mittareilla, kuten latenssilla, ennen kuin päätämme käyttää sitä tuotannossa. Otamme käyttöön model2 varjomuunnelmana model.tar.gz. Molemmat esikoulutetut mallit säilytetään julkisessa S3-ämpärissä s3://sagemaker-sample-files. Lataamme ensin paikallisen laskentaesiintymän mallin ja lataamme sitten S3:een.

Tämän esimerkin malleja käytetään ennustamaan todennäköisyyttä, että mobiiliasiakas lähtee nykyisestä matkapuhelinoperaattoristaan. Käyttämämme tietojoukko on julkisesti saatavilla ja se on mainittu kirjassa Tietojen löytäminen tiedoista Kirjailija: Daniel T. Larose Nämä mallit on koulutettu käyttäen XGB Churn -ennustekirja SageMakerissa. Voit myös käyttää omia valmiiksi koulutettuja mallejasi, jolloin voit ohittaa lataamisen osoitteesta s3://sagemaker-sample-files ja kopioi omat mallisi suoraan malliin/kansioon.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

Vaihe 1 – Luo malleja

Lataamme mallitiedostot omaan S3-ämpäriimme ja luomme kaksi SageMaker-mallia. Katso seuraava koodi:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

Vaihe 2 – Ota nämä kaksi mallia käyttöön tuotanto- ja varjoversioina reaaliaikaiseen päättelypäätepisteeseen

Luomme päätepisteen konfiguraation tuotanto- ja varjomuunnelmilla. The ProductionVariants ja ShadowProductionVariants ovat erityisen kiinnostavia. Molemmissa näissä versioissa on ml.m5.xlarge -esiintymiä, joissa on 4 vCPU:ta ja 16 GiB muistia, ja alkuperäisen ilmentymien määrä on 1. Katso seuraava koodi:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

Lopuksi luomme tuotanto- ja varjoversion:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

Vaihe 3 – Kutsu päätepiste testausta varten

Kun päätepiste on luotu onnistuneesti, voit aloittaa sen kutsumisen. Lähetämme noin 3,000 pyyntöä peräkkäin:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

Vaihe 4 – Vertaile mittareita

Nyt kun olemme ottaneet käyttöön sekä tuotanto- että varjomallit, verrataan kutsumittareita. Katso luettelo vertailuun käytettävissä olevista kutsumittareista kohdasta Seuraa Amazon SageMakeria Amazon CloudWatch -sovelluksella. Aloitetaan vertaamalla kutsuja tuotanto- ja varjomuunnelmien välillä.

- InvocationsPerInstance metriikka viittaa tuotantoversioon lähetettyjen kutsujen määrään. Murto-osa näistä kutsuista, jotka on määritetty muunnelman painossa, lähetetään varjovariantille. Kutsuminen ilmentymää kohti lasketaan jakamalla kutsujen kokonaismäärä muunnelman esiintymien lukumäärällä. Kuten seuraavissa kaavioissa näkyy, voimme vahvistaa, että sekä tuotanto- että varjoversiot vastaanottavat kutsupyyntöjä päätepisteen asetuksissa määritettyjen painojen mukaisesti.

Verrataan seuraavaksi mallin latenssia (ModelLatency metriikka) tuotanto- ja varjomuunnelmien välillä. Mallin latenssi on aika, joka mallilta kestää vastata SageMakerista katsottuna. Voimme tarkkailla, kuinka varjovariantin mallin latenssi verrataan tuotantomuunnelmaan altistamatta loppukäyttäjiä varjovariantille.

Odotamme yleistä latenssia (OverheadLatency metriikka), jotta ne olisivat vertailukelpoisia tuotanto- ja varjoversioiden välillä. Overhead latenssi on aikaväli, joka mitataan ajasta, jolloin SageMaker vastaanottaa pyynnön, kunnes se palauttaa vastauksen asiakkaalle, vähennettynä mallin latenssilla.

Vaihe 5 – Mainosta varjomuunnelmaasi

Mainosta varjomalli tuotantoon luomalla uusi päätepistemääritys nykyisellä ShadowProductionVariant kuin uusi ProductionVariant ja poista ShadowProductionVariant. Tämä poistaa virran ProductionVariant ja mainostaa varjovarianttia uudeksi tuotantoversioksi. Kuten aina, kaikki SageMaker-päivitykset on järjestetty sinisin/vihreinä käyttöönottoina konepellin alla, eikä käytettävyyttä menetetä päivityksen aikana.

Vaihtoehtoisesti voit hyödyntää Käyttöönoton suojakaiteet jos haluat käyttää kerralla liikenteen siirtoa ja automaattista palautusta päivityksen aikana.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

Vaihe 6 – Puhdista

Jos et aio käyttää tätä päätepistettä enempää, sinun tulee poistaa päätepiste lisäkulujen välttämiseksi ja puhdistaa muut tässä blogissa luodut resurssit.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

Yhteenveto

Tässä viestissä esittelimme uuden SageMaker-päätelmän kyvyn verrata mallin käyttöpinon uuden version suorituskykyä tällä hetkellä käytössä olevaan versioon ennen täyttä tuotantoa käyttämällä käyttöönoton turvakäytäntöä, joka tunnetaan nimellä varjotestaus. Kävimme läpi varjovarianttien käytön edut ja menetelmiä muunnelmien määrittämiseen an päästä päähän esimerkki. Lisätietoja varjovarianteista on varjotesteissä dokumentointi.

Tietoja Tekijät

Raghu Ramesha on koneoppimisratkaisujen arkkitehti Amazon SageMaker Service -tiimin kanssa. Hän keskittyy auttamaan asiakkaita rakentamaan, ottamaan käyttöön ja siirtämään ML-tuotannon työmäärät SageMakeriin suuressa mittakaavassa. Hän on erikoistunut koneoppimiseen, tekoälyyn ja tietokonenäköalueisiin, ja hänellä on tietojenkäsittelytieteen maisterin tutkinto UT Dallasista. Vapaa-ajallaan hän nauttii matkustamisesta ja valokuvaamisesta.

Qingwei Li on koneoppimisen asiantuntija Amazon Web Services -palvelussa. Hän sai tohtorin tutkinnon operatiivisessa tutkimuksessa sen jälkeen, kun hän rikkoi neuvonantajan tutkimusapurahatilin ja ei toimittanut lupaamaansa Nobelin palkintoa. Tällä hetkellä hän auttaa finanssi- ja vakuutusalan asiakkaita rakentamaan koneoppimisratkaisuja AWS: lle. Vapaa-ajallaan hän pitää lukemisesta ja opettamisesta.

Qiyun Zhao on vanhempi ohjelmistokehitysinsinööri Amazon SageMaker Inference Platform -tiimin kanssa. Hän on Deployment Guardrails- ja Shadow Deploymentsin johtava kehittäjä, ja hän keskittyy auttamaan asiakkaita hallitsemaan ML-työkuormia ja käyttöönottoja suuressa mittakaavassa korkealla saatavuudella. Hän työskentelee myös alustaarkkitehtuurin evoluutioiden parissa nopeaa ja turvallista ML-töiden käyttöönottoa ja ML-verkkokokeilujen suorittamista varten. Vapaa-ajallaan hän nauttii lukemisesta, pelaamisesta ja matkustamisesta.

Tarun Sairam on Amazon SageMaker Inferencen -tuotepäällikkö. Hän on kiinnostunut oppimaan koneoppimisen viimeisimmistä trendeistä ja auttamaan asiakkaita hyödyntämään niitä. Vapaa-ajallaan hän harrastaa pyöräilyä, hiihtoa ja tennistä.