Minimalizálja az ML modellfrissítések termelési hatását az Amazon SageMaker árnyékteszttel

Amazon SageMaker most lehetővé teszi, hogy összehasonlítsa egy modellkiszolgáló verem új verziójának teljesítményét a jelenleg telepített verzióval a teljes éles üzembe helyezés előtt az úgynevezett telepítési biztonsági gyakorlat segítségével. árnyékteszt. Az árnyéktesztelés segítségével azonosíthatja a lehetséges konfigurációs hibákat és teljesítményproblémákat, mielőtt azok hatással lennének a végfelhasználókra. A SageMakerrel nem kell beruháznia az árnyéktesztelési infrastruktúra kiépítésébe, így a modellfejlesztésre összpontosíthat. A SageMaker gondoskodik az új verzió telepítéséről az éles kéréseket kiszolgáló jelenlegi verzió mellett, és a kérések egy részét az árnyékverzióba irányítja. Ezután összehasonlíthatja a két verzió teljesítményét olyan mutatók segítségével, mint a késleltetés és a hibaarány. Ez nagyobb biztonságot ad abban, hogy a SageMaker következtetési végpontjaira történő éles kiadások nem okoznak teljesítmény-visszaesést, és segít elkerülni a véletlen hibás konfigurációk miatti leállásokat.

Ebben a bejegyzésben bemutatjuk ezt az új SageMaker képességet. A megfelelő mintajegyzetfüzet ezen a GitHubon érhető el raktár.

A megoldás áttekintése

A modellkiszolgáló infrastruktúra a gépi tanulási (ML) modellből, a kiszolgáló tárolóból vagy a számítási példányból áll. Tekintsük a következő forgatókönyveket:

• Olyan új modell népszerűsítését fontolgatja, amely már offline is érvényes, de szeretné értékelni a működési teljesítménymutatókat, például a késleltetést, a hibaarányt és így tovább, mielőtt meghozná ezt a döntést.
• A kiszolgáló infrastruktúra tárolójának módosítását fontolgatja, például a sebezhetőségek javítását vagy az újabb verziókra való frissítést, és szeretné felmérni e változtatások hatását az élesre való bevezetés előtt.
• Az ML-példány megváltoztatását fontolgatja, és szeretné értékelni, hogy az új példány hogyan teljesítene az élő következtetési kérelmekkel.

Az alábbi ábra szemlélteti megoldásunk architektúráját.

Ezen forgatókönyvek mindegyikéhez válassza ki a tesztelni kívánt éles változatot, és a SageMaker automatikusan telepíti az új változatot árnyék módban, és a következtetési kérelmek másolatát valós időben továbbítja hozzá ugyanazon a végponton belül. Csak az éles változat válaszai kerülnek vissza a hívó alkalmazásba. Az offline összehasonlításhoz választhatja az árnyékváltozat válaszainak elvetését vagy naplózását. Opcionálisan figyelemmel kísérheti a változatokat a beépített műszerfalon keresztül a teljesítménymutatók egymás melletti összehasonlításával. Ezt a képességet a SageMaker következtetés frissítési végpont API-kon vagy a SageMaker konzolon keresztül használhatja.

Az árnyékváltozatok a SageMaker következtetési végpontjaiban az éles változat képességére épülnek. Ismétlem, a gyártási változat az ML modellből, a kiszolgáló tárolóból és az ML példányból áll. Mivel az egyes változatok függetlenek a többitől, különböző modellek, tárolók vagy példánytípusok lehetnek a változatok között. A SageMaker lehetővé teszi az automatikus skálázási házirendek variáns alapon történő meghatározását, így azok a bejövő terhelés alapján függetlenül skálázhatók. A SageMaker végpontonként legfeljebb 10 éles változatot támogat. Beállíthat egy változatot a bejövő forgalom egy részének fogadására a változatsúlyok beállításával, vagy megadhatja a célváltozatot a bejövő kérésben. A termelési változat válasza visszaküldésre kerül a hívóhoz.

A árnyékváltozat (új) ugyanazokkal az alkatrészekkel rendelkezik, mint egy gyártási változat. A kérések felhasználó által megadott része, az úgynevezett forgalmi mintavételi százalék, a rendszer az árnyékváltozatba továbbítja. Dönthet úgy, hogy bejelentkezik az árnyékváltozat válaszára Amazon egyszerű tárolási szolgáltatás (Amazon S3), vagy dobja ki.

Vegye figyelembe, hogy a SageMaker végpontonként legfeljebb egy árnyékváltozatot támogat. Egy árnyékváltozattal rendelkező végponthoz legfeljebb egy éles változat lehet.

A termelési és árnyékváltozatok beállítása után figyelemmel kísérheti a hívási mérőszámok gyártási és árnyékváltozatokhoz egyaránt amazonfelhőóra alatt a AWS/SageMaker névtér. A SageMaker végpont minden frissítése a segítségével van összehangolva kék/zöld bevetések és a rendelkezésre állás elvesztése nélkül történik. Az árnyékváltozatok hozzáadása, módosítása vagy eltávolítása során a végpontok továbbra is válaszolnak az éles kérésekre.

Ezt a képességet kétféleképpen használhatja:

• Felügyelt árnyékteszt a SageMaker Console segítségével – Használhatja a konzolt, hogy irányított élményben legyen része az árnyéktesztelés végponttól végpontig tartó utazásának kezeléséhez. Ez lehetővé teszi az árnyéktesztek előre meghatározott időtartamra történő beállítását, a folyamat nyomon követését egy élő műszerfalon keresztül, a befejezés utáni tisztítást, és az eredmények alapján történő cselekvést.
• Önkiszolgáló árnyékteszt a SageMaker Inference API-k segítségével – Ha a telepítési munkafolyamat már használ végpont létrehozása/frissítése/törlése API-kat, továbbra is használhatja őket az árnyékváltozatok kezeléséhez.

A következő szakaszokban végigjárjuk ezeket a forgatókönyveket.

1. forgatókönyv – Felügyelt árnyékteszt a SageMaker Console segítségével

Ha a SageMakert szeretné választani az árnyéktesztek létrehozásának, kezelésének és az eredmények alapján végzett munkafolyamatok végpontok közötti kezeléséhez, fontolja meg az Árnyéktesztek funkció használatát a SageMaker Console Következtetés szakaszában. Amint azt korábban említettük, ez lehetővé teszi az árnyéktesztek előre meghatározott időtartamra történő beállítását, a folyamat nyomon követését egy élő műszerfalon keresztül, a befejezés után tisztítási lehetőségeket mutat be, és az eredmények alapján cselekedhet. További információért keresse fel az árnyékteszteket szakasz dokumentációnkból, hogy lépésről lépésre áttekintse ezt a képességet.

Előfeltétele

A gyártási és árnyékmodelleket a SageMakeren kell létrehozni. Kérjük, olvassa el a CreateModel API itt.

1. lépés – Hozzon létre egy árnyéktesztet

Navigáljon a Következtetés szakaszát a SageMaker konzol bal oldali navigációs paneljén, majd válassza az Árnyéktesztek lehetőséget. Ez egy irányítópultra viszi az összes ütemezett, futó és befejezett árnyéktesztet. Kattintson a ‘árnyékteszt létrehozása. Adja meg a teszt nevét, és válassza a következőt.

Ezzel az árnyékteszt beállítási oldalára jut. Kiválaszthat egy meglévő IAM-szerepet, vagy létrehozhat egyet, amely rendelkezik a AmazonSageMakerFullAccess IAM szabályzat csatolva. Ezután válassza a „Hozzon létre egy új végpontot' és írjon be egy nevet (xgb-prod-shadow-1). Ehhez a végponthoz egy termelési és egy árnyékváltozatot adhat hozzá a „Add' a Változatok részben. Az Ön által létrehozott modelleket a „Modell hozzáadása' párbeszédablak. Ezzel produkciót vagy változatot hoz létre. Opcionálisan módosíthatja az egyes változatokhoz társított példányok típusát és számát.

Az összes forgalom az éles változathoz megy, és az válaszol a meghívási kérésekre. Az árnyékváltozathoz irányított kérelmek egy részét a módosításával szabályozhatja Traffic Sampling Percentage.

A teszt időtartamát egy órától 30 napig szabályozhatja. Ha nincs megadva, az alapértelmezett 7 nap. Ezen időszak letelte után a teszt befejezettnek minősül. Ha egy meglévő végponton futtat tesztet, akkor azt a teszt befejezése után visszaállítja a teszt indítása előtti állapotba.

Opcionálisan rögzítheti a Shadow változat kéréseit és válaszait a Adatrögzítés lehetőségek. Ha nincs megadva, az árnyékváltozat válaszait elveti.

2. lépés – Figyeljen egy árnyéktesztet

Az árnyéktesztek listáját a következőre navigálva tekintheti meg Shadow Tests szakaszban a Következtetés alatt. Kattintson az előző lépésben létrehozott árnyéktesztre, hogy megtekinthesse az árnyékteszt részleteit, és figyelemmel kísérje azt a folyamatban vagy a befejezés után.

A Metrikák szakasz összehasonlítja a kulcsfontosságú mutatókat, és átfedő grafikonokat biztosít az éles és az árnyékváltozatok között, valamint leíró statisztikákat. Összehasonlíthatja a hívási mutatókat, mint pl ModelLatency és a Invocation4xxErrors valamint a példánymérők, mint pl CPUUtilization és a DiskUtilization.

3. lépés – A Shadow változat népszerűsítése az új gyártási változattá

Összehasonlításkor kiválaszthatja, hogy az árnyékváltozatot új gyártási változattá kívánja-e hirdetni, vagy eltávolíthatja az árnyékváltozatot. Mindkét lehetőségnél válassza a „Megjelölés befejezettként az oldal tetején. Ez lehetőséget ad az árnyékváltozat előmozdítására vagy eltávolítására.

Ha az előléptetést választja, egy telepítési oldalra kerül, ahol a telepítés előtt megerősítheti a változat beállításait. Az üzembe helyezés előtt javasoljuk, hogy az árnyékváltozatokat úgy méretezze meg, hogy képes legyen kezelni a hívási forgalom 100%-át. Ha nem használ árnyéktesztet az alternatív példánytípusok vagy -méretek értékelésére, akkor válassza a „megtartja a gyártási változat beállításait. Ellenkező esetben választhat, hogyaz árnyékvariáns beállítások megtartása. Ha ezt a lehetőséget választja, győződjön meg arról, hogy a forgalmi mintavétel 100%-ra van állítva. Alternatív megoldásként megadhatja a példánytípust és a számot, ha felül kívánja írni ezeket a beállításokat.

Miután megerősítette a telepítést, a SageMaker frissítést kezdeményez a végponton, hogy az árnyékváltozatot az új éles változatra előmozdítsa. A SageMaker összes frissítéséhez hasonlóan a végpont továbbra is működik a frissítés alatt.

2. forgatókönyv: Árnyéktesztelés SageMaker következtetési API-kkal

Ez a szakasz bemutatja, hogyan használhatja a meglévő SageMaker végpont-létrehozási/frissítési/törlési API-kat az árnyékváltozatok telepítéséhez.

Ebben a példában két XGBoost modellünk van, amelyek az előre betanított modellek két különböző változatát képviselik. model.tar.gz a jelenleg a termelésben alkalmazott modell. model2 az újabb modell, és szeretnénk tesztelni a teljesítményét a működési mérőszámok, például a késleltetés szempontjából, mielőtt úgy döntenénk, hogy éles környezetben használjuk. bevetjük model2 árnyékváltozataként model.tar.gz. Mindkét előre betanított modellt a nyilvános S3 vödörben tárolják s3://sagemaker-sample-files. Először letöltjük a modellt a helyi számítási példányunkban, majd feltöltjük az S3-ba.

A példában szereplő modellek arra szolgálnak, hogy előre jelezzék annak valószínűségét, hogy egy mobilügyfél elhagyja jelenlegi mobilszolgáltatóját. Az általunk használt adatkészlet nyilvánosan elérhető, és szerepel a könyvben A tudás felfedezése az adatokban írta: Daniel T. Larose. Ezeket a modelleket a XGB Churn Prediction Notebook a SageMakerben. Használhatja saját előre betanított modelljeit is, ebben az esetben kihagyhatja a letöltést s3://sagemaker-sample-files és másolja át saját modelljeit közvetlenül a modellbe/mappába.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

1. lépés – Modellek létrehozása

Feltöltjük a modellfájlokat a saját S3 tárolónkba, és létrehozunk két SageMaker modellt. Lásd a következő kódot:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

2. lépés – Telepítse a két modellt éles és árnyékváltozatként egy valós idejű következtetési végponthoz

Létrehozunk egy végpont konfigurációt az éles és az árnyékváltozatokkal. A ProductionVariants és a ShadowProductionVariants különösen érdekesek. Mindkét változat ml.m5.xlarge példányokkal rendelkezik 4 vCPU-val és 16 GiB memóriával, és a kezdeti példányszám 1-re van állítva. Lásd a következő kódot:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

Végül létrehozzuk a termelési és árnyékváltozatot:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

3. lépés – A végpont meghívása tesztelésre

A végpont sikeres létrehozása után megkezdheti annak meghívását. Körülbelül 3,000 kérést küldünk el egymás után:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

4. lépés – Hasonlítsa össze a mutatókat

Most, hogy mind az éles, mind az árnyékmodellt telepítettük, hasonlítsuk össze a hívási mutatókat. Az összehasonlításra rendelkezésre álló hívási mutatók listáját lásd: Az Amazon SageMaker monitorozása az Amazon CloudWatch segítségével. Kezdjük azzal, hogy összehasonlítjuk a produkciós és az árnyékváltozatok meghívásait.

A InvocationsPerInstance A metrika a termelési változathoz küldött meghívások számát jelenti. Ezeknek a meghívásoknak a változatsúlyban meghatározott töredéke elküldésre kerül az árnyékváltozatnak. A példányonkénti hívás kiszámítása úgy történik, hogy a hívások teljes számát elosztjuk egy változatban található példányok számával. Amint az a következő diagramokon látható, megerősíthetjük, hogy az éles és az árnyékváltozatok is kapnak hívási kéréseket a végpont konfigurációjában megadott súlyoknak megfelelően.

Ezután hasonlítsuk össze a modell késleltetését (ModelLatency metrika) a termelési és az árnyékváltozatok között. A modell késleltetése az az idő, amely alatt a modell válaszol a SageMaker alkalmazásból. Megfigyelhetjük, hogy az árnyékváltozat modell késleltetése hogyan viszonyul az éles változathoz anélkül, hogy a végfelhasználókat kitennénk az árnyékváltozatnak.

Várjuk a rezsi késleltetést (OverheadLatency metrika), hogy összehasonlíthatóak legyenek a termelési és árnyékváltozatok között. Az overhead késleltetés az az időköz, amelyet attól az időponttól mérnek, amikor a SageMaker megkapja a kérést, és az ügyfélnek adott választ visszaadja, levonva a modell késleltetését.

5. lépés – Hirdesse árnyékváltozatát

Az árnyékmodell élesre terjesztéséhez hozzon létre egy új végpont-konfigurációt a jelenlegivel ShadowProductionVariant mint az új ProductionVariant és távolítsa el a ShadowProductionVariant. Ez eltávolítja az áramot ProductionVariant és reklámozza az árnyékváltozatot, hogy az új gyártási változattá váljon. Mint mindig, a SageMaker minden frissítése kék/zöld telepítésként történik a motorháztető alatt, és a frissítés végrehajtása során nem csökken a rendelkezésre állás.

Opcionálisan kihasználhatja Bevetési védőkorlátok ha egyszerre szeretné használni a forgalomváltást és az automatikus visszaállítást a frissítés során.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

6. lépés – Tisztítás

Ha nem tervezi tovább használni ezt a végpontot, törölje a végpontot, hogy elkerülje a további költségeket, és tisztítsa meg a blogban létrehozott egyéb erőforrásokat.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

Következtetés

Ebben a bejegyzésben bemutattuk a SageMaker következtetés egy új képességét, amellyel összehasonlíthatjuk egy modellkiszolgáló verem új verziójának teljesítményét a jelenleg telepített verzióval a teljes éles üzembe helyezés előtt, az árnyéktesztként ismert telepítési biztonsági gyakorlat segítségével. Végigvezettük az árnyékváltozatok használatának előnyeit és a változatok konfigurálására szolgáló módszereket egy végponttól végpontig terjedő példa. Ha többet szeretne megtudni az árnyékváltozatokról, tekintse meg az árnyékteszteket dokumentáció.

A szerzőkről

Raghu Ramesha gépi tanulási megoldások építésze az Amazon SageMaker Service csapatánál. Arra összpontosít, hogy segítse az ügyfeleket az ML termelési munkaterhelések nagyarányú SageMaker-re való felépítésében, telepítésében és migrálásában. Szakterülete a gépi tanulás, a mesterséges intelligencia és a számítógépes látás területe, valamint számítástechnika szakos mesterfokozatot szerzett az UT Dallasban. Szabadidejében szeret utazni és fotózni.

Qingwei Li az Amazon Web Services gépi tanulási szakértője. Ph.D fokozatot szerzett. az Operations Researchben, miután feltörte tanácsadója kutatási támogatási számláját, és nem teljesítette az ígért Nobel-díjat. Jelenleg a pénzügyi szolgáltatási és biztosítási ágazatban tevékenykedő ügyfeleknek segít abban, hogy gépi tanulási megoldásokat építsenek az AWS-re. Szabadidejében szeret olvasni és tanítani.

Qiyun Zhao vezető szoftverfejlesztő mérnök az Amazon SageMaker Inference Platform csapatánál. Ő a Deployment Guardrails és Shadow Deployments vezető fejlesztője, és arra összpontosít, hogy segítse az ügyfeleket az ML munkaterhelések és a telepítések nagyfokú, magas rendelkezésre állású kezelésében. Emellett a platformarchitektúra fejlesztésén is dolgozik a gyors és biztonságos ML-feladatok telepítése és az ML online kísérletek egyszerű futtatása érdekében. Szabadidejében szeret olvasni, játszani és utazni.

Tarun Sairam az Amazon SageMaker Inference vezető termékmenedzsere. Érdekli, hogy megismerje a gépi tanulás legújabb trendjeit, és segítsen az ügyfeleknek ezek kihasználásában. Szabadidejében szeret biciklizni, síelni és teniszezni.