Egységes adat-előkészítés és modellképzés az Amazon SageMaker Data Wranglerrel és az Amazon SageMaker Autopilottal

Az adatok táplálják a gépi tanulást (ML); az adatok minősége közvetlen hatással van az ML modellek minőségére. Ezért az adatok minőségének javítása és a megfelelő jellemzőtervezési technikák alkalmazása kritikus fontosságú a pontos ML modellek létrehozásához. Az ML gyakorlói gyakran fárasztóan iterálják a funkciótervezést, az algoritmusok kiválasztását és az ML egyéb szempontjait, hogy olyan optimális modelleket keressenek, amelyek jól általánosítanak a valós adatokon, és a kívánt eredményeket hozzák. Mivel az üzletmenet gyorsasága aránytalanul számít, ez a rendkívül fárasztó és ismétlődő folyamat a projektek késéseihez és az üzleti lehetőségek elvesztéséhez vezethet.

Amazon SageMaker Data Wrangler hetekről percekre csökkenti az ML adatok összesítésének és előkészítésének idejét, és Amazon SageMaker Autopilot automatikusan összeállítja, betanítja és hangolja a legjobb ML modelleket az Ön adatai alapján. Az Autopilot segítségével továbbra is teljes ellenőrzést és láthatóságot biztosít adatai és modellje felett. Mindkét szolgáltatás célja, hogy az ML-szakemberek termelékenyebbé váljanak, és felgyorsítsák az értékteremtési időt.

A Data Wrangler mostantól egységes élményt nyújt, amely lehetővé teszi az adatok előkészítését és az ML modell zökkenőmentes betanítását az Autopilotban. Ezzel az újonnan bevezetett funkcióval mostantól előkészítheti adatait a Data Wranglerben, és egyszerűen elindíthatja az Autopilot kísérleteket közvetlenül a Data Wrangler felhasználói felületéről (UI). Néhány kattintással automatikusan összeállíthat, betaníthat és hangolhat ML-modelleket, így könnyebbé válik a legmodernebb jellemzőtervezési technikák alkalmazása, kiváló minőségű ML-modellek betanítása, és gyorsabban nyerhet betekintést az adatokból.

Ebben a bejegyzésben megvitatjuk, hogyan használhatja fel a Data Wrangler új, integrált élményét adatkészletek elemzésére és kiváló minőségű ML-modellek egyszerű készítésére az Autopilotban.

Adatkészlet áttekintése

A pima indiánok egy őslakos csoport, amely az Egyesült Államokban, Mexikóban és Arizonában él. Tanulmányok mutatják be a pima indiánokat, mint a cukorbetegség magas kockázatának kitett népességcsoportot. Ennek a gyakran alulreprezentált kisebbségi csoportnak az egészségi állapotának és jólétének javításában fontos feladat az egyén kockázatának és hajlamának előrejelzése egy krónikus betegségre, például a cukorbetegségre.

Az általunk használt Pima indiai cukorbetegség nyilvános adatkészlet az egyén cukorbetegségre való hajlamának előrejelzésére. A Data Wrangler és az Autopilot közötti új integrációra összpontosítunk az adatok előkészítésére és egy ML-modell automatikus létrehozására, egyetlen kódsor írása nélkül.

Az adatkészlet információkat tartalmaz a 21 éves vagy idősebb pima indián nőkről, és számos orvosi előrejelző (független) változót és egy cél (függő) változót, az eredményt tartalmaz. Az alábbi diagram leírja az adatkészletünk oszlopait.

Oszlop Név	Leírás
Terhesség	A terhességek száma
Szőlőcukor	A plazma glükóz koncentrációja orális glükóz tolerancia tesztben 2 órán belül
Vérnyomás	Diasztolés vérnyomás (Hgmm)
Bőrvastagság	Tricepsz bőrredő vastagsága (mm)
Inzulin	2 órás szérum inzulin (mu U/ml)
BMI	Testtömegindex (súly kg/(magasság m-ben)^2)
Cukorbetegség Vese	Cukorbetegség törzskönyvi funkciója
Kor	Életkor években
Eredmény	A célváltozó

Az adatkészlet 768 rekordot tartalmaz, összesen 9 jellemzővel. Ezt az adatkészletet tároljuk Amazon Simple Storage Bucket (Amazon S3) CSV-fájlként, majd importálja a CSV-fájlt közvetlenül egy Data Wrangler-folyamba az Amazon S3-ból.

Megoldás áttekintése

A következő diagram összefoglalja, mit értünk el ebben a bejegyzésben.[KT1]

Adattudósok, orvosok és más orvostudományi szakértők a betegek adatait szolgáltatják a glükózszintről, a vérnyomásról, a testtömeg-indexről és a cukorbetegség valószínűségének előrejelzésére használt egyéb jellemzőkről. Az Amazon S3-ban található adatkészlettel az adatkészletet a Data Wranglerbe importáljuk, hogy feltáró adatelemzést (EDA), adatprofil-alkotást, jellemzőtervezést végezzünk, valamint felosztjuk az adatkészletet vonatozásra és tesztre a modellépítés és -értékelés érdekében.

Ezután az Autopilot új funkcióintegrációját használjuk, hogy gyorsan megépítsünk egy modellt közvetlenül a Data Wrangler felületről. Az Autopilot legjobb modelljét a legmagasabb F-béta pontszámmal rendelkező modell alapján választjuk ki. Miután az Autopilot megtalálta a legjobb modellt, futtatjuk a SageMaker Batch Transform feladat a teszt (holdout) halmazán a legjobb modell modelltermékeivel az értékeléshez.

Az orvosszakértők új adatokkal szolgálhatnak a validált modellhez, hogy előrejelzést kapjanak arról, hogy a páciensnek valószínűleg lesz-e cukorbetegsége. Ezekkel a meglátásokkal az orvosi szakértők korán elkezdhetik a kezelést a veszélyeztetett populációk egészségének és jólétének javítása érdekében. Az orvosszakértők megmagyarázhatják a modell előrejelzését úgy is, hogy a modell részleteire hivatkoznak az Autopilot alkalmazásban, mivel teljes rálátásuk van a modell magyarázhatóságára, teljesítményére és műtermékeire. Ez a láthatóság a tesztkészletből származó modell validálása mellett nagyobb bizalmat ad az orvosszakértőknek a modell előrejelző képességében.

Végigvezetjük a következő magas szintű lépéseken.

1. Importálja az adatkészletet az Amazon S3-ból.
2. Végezzen EDA-t és adatprofilozást a Data Wrangler segítségével.
3. Hajtsa végre a funkciótervezést a kiugró értékek és a hiányzó értékek kezelésére.
4. Ossza fel az adatokat vonat- és tesztkészletekre.
5. Tanítson és építsen modellt az Autopilot segítségével.
6. Tesztelje a modellt egy tartómintán egy SageMaker notebook segítségével.
7. Az érvényesítés és a tesztkészlet teljesítményének elemzése.

Előfeltételek

Hajtsa végre a következő előfeltétel lépéseket:

1. Töltse fel az adatkészletet az Ön által választott S3-as vödörhöz.
2. Győződjön meg arról, hogy rendelkezik a szükséges engedélyekkel. További információkért lásd: Ismerkedjen meg a Data Wranglerrel.
3. Állítson be egy SageMaker-tartományt, amely Data Wrangler használatára van konfigurálva. Az utasításokat lásd Bekapcsolva az Amazon SageMaker domainbe.

Importálja adatkészletét a Data Wranglerrel

Integrálhat egy Data Wrangler adatfolyamot az ML munkafolyamataiba, hogy egyszerűsítse és racionalizálja az adatok előfeldolgozását és a funkciótervezést, kis kódolás mellett. Hajtsa végre a következő lépéseket:

1. Újat csinálni Data Wrangler áramlás.

Ha először nyitja meg a Data Wrangler alkalmazást, előfordulhat, hogy várnia kell néhány percet, amíg készen áll.

2. Válassza ki az Amazon S3-ban tárolt adatkészletet, és importálja a Data Wranglerbe.

Az adatkészlet importálása után látnia kell az adatfolyam kezdetét a Data Wrangler felhasználói felületén. Most megvan a folyamatábra.

3. Válassza ki a mellette lévő pluszjelet Adattípusok És válasszon szerkesztése annak megerősítésére, hogy a Data Wrangler automatikusan következtetett a megfelelő adattípusokra az adatoszlopokhoz.

Ha az adattípusok nem megfelelőek, könnyen módosíthatja azokat a felhasználói felületen keresztül. Ha több adatforrás van jelen, összekapcsolhatja vagy összefűzheti őket.

Most már létrehozhatunk elemzést és hozzáadhatunk átalakításokat.

Végezzen feltáró adatelemzést az adatbetekintési jelentéssel

A feltáró adatelemzés az ML munkafolyamat kritikus része. Használhatjuk a Data Wrangler új adatbetekintési jelentését, hogy jobban megértsük adataink profilját és eloszlását. A jelentés összefoglaló statisztikákat, adatminőségi figyelmeztetéseket, céloszlop-betekintést, gyorsmodellt, valamint információkat tartalmaz a rendellenes és ismétlődő sorokról.

1. Válassza ki a mellette lévő pluszjelet Adattípusok És válasszon Szerezzen betekintést az adatokból.

2. A cél oszlop, választ Eredmény.
3. A Probléma típusa, és (opcionálisan) válassza ki Osztályozás.
4. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.

Az eredmények összefoglaló adatokat mutatnak az adatkészlet-statisztikával.

A feliratozott sorok eloszlását hisztogrammal, a gyorsmodell szolgáltatással a modell várható előrejelzett minőségére vonatkozó becslést és a jellemzőket összefoglaló táblázatot is megtekinthetjük.

Nem megyünk bele az adatbetekintési jelentés elemzésének részleteibe; hivatkozni Gyorsítsa fel az adatok előkészítését az Amazon SageMaker Data Wrangler adatminőségével és betekintéseivel további részletekért arról, hogyan használhatja fel az adatelemzési jelentést az adat-előkészítési lépések felgyorsítására.

Hajtsa végre a funkciótervezést

Most, hogy magas szinten profiloztuk és elemeztük bemeneti oszlopaink eloszlását, az adatok minőségének javítása érdekében az első szempont a hiányzó értékek kezelése lehet.

Például tudjuk, hogy nullák (0) a Insulin oszlop hiányzó értékeket jelöl. Követhetnénk azt az ajánlást, hogy a nullákat cseréljük le NaN. De közelebbről megvizsgálva azt találjuk, hogy a minimális érték 0 más oszlopok esetében, mint pl Glucose, BloodPressure, SkinThicknessés BMI. Szükségünk van egy módra a hiányzó értékek kezelésére, de érzékenynek kell lennünk az érvényes adatként nullákat tartalmazó oszlopokra. Lássuk, hogyan tudjuk ezt orvosolni.

A Funkció részletei szakaszban a jelentés felveti a Álcázva hiányzó érték figyelmeztetés a funkcióra Insulin.

Mert nullák a Insulin oszlopban valójában hiányoznak az adatok, a Konvertálja a reguláris kifejezést hiányzóvá transzformáció a nulla értékek üressé alakításához (hiányzó értékek).

1. Válassza ki a mellette lévő pluszjelet dátum típusok És válasszon hozzáad át.
2.  A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Keresés és szerkesztés.
3. A Átalakítás, választ Konvertálja a reguláris kifejezést hiányzóvá.
4. A Bemenet oszlopok, válassza ki az oszlopokat Insulin, Glucose, BloodPressure, SkinThicknessés BMI.
5. A Mintás, belép 0.
6. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Preview és a hozzáad hogy mentse ezt a lépést.

alatti 0 bejegyzés Insulin, Glucose, BloodPressure, SkinThicknessés BMI most hiányoznak az értékek.

A Data Wrangler néhány további lehetőséget kínál a hiányzó értékek javítására.

7. A hiányzó értékeket a hozzávetőleges medián beszámításával kezeljük Glucose oszlop.

Azt is szeretnénk biztosítani, hogy funkcióink azonos léptékűek legyenek. Nem akarunk véletlenül nagyobb súlyt tulajdonítani egy bizonyos jellemzőnek, csak azért, mert nagyobb számtartományt tartalmaznak. Ennek érdekében normalizáljuk szolgáltatásainkat.

8. Új Numerikus folyamat átalakítani és választani Skálaértékek.
9. A Hegymászó, választ Min-max skálázó.
10. A Beviteli oszlopok, válassza ki az oszlopokat Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMIés Age.
11. Készlet Min nak nek 0 és a max nak nek 1.

Ez biztosítja, hogy jellemzőink az értékek között legyenek 0 és a 1.

Most, hogy létrehoztunk néhány funkciót, felosztottuk az adatkészletünket képzésre és tesztelésre, mielőtt modellt építenénk.

Osszuk fel az adatokat képzésre és tesztelésre

Az ML munkafolyamat modellépítési fázisában kötegelőrejelzések futtatásával tesztelheti a modell hatékonyságát. Félretehet egy tesztelési vagy visszatartási adatkészletet értékelésre, hogy megnézze, hogyan teljesít a modell, ha összehasonlítja az előrejelzéseket az alapigazságokkal. Általában, ha a modell több előrejelzése egyezik a true címkék alapján megállapíthatjuk, hogy a modell jól teljesít.

A Data Wranglert használjuk adatkészletünk felosztására tesztelés céljából. Adatkészletünk 90%-át megtartjuk a képzéshez, mert viszonylag kicsi az adatkészletünk. Adatkészletünk fennmaradó 10%-a tesztadatkészletként szolgál. Ezt az adatkészletet használjuk az Autopilot modell érvényesítésére a bejegyzés későbbi részében.

Adatainkat a kiválasztásával osztjuk fel Adatok felosztása átalakítani és kiválasztani Véletlenszerű felosztás mint a módszer. Az edzésre 0.9-et, a tesztelésre pedig 0.1-et jelölünk meg.

Az adatátalakítás és a tervezési lépések befejezésével készen állunk egy modell betanítására.

Tanítsa meg és érvényesítse a modellt

Használhatjuk az új Data Wrangler integrációt az Autopilottal, hogy közvetlenül betaníthassuk a modellt a Data Wrangler adatfolyam felhasználói felületéről.

1. Válassza ki a mellette lévő pluszjelet adatbázisba És válasszon Vonat modell.

2. A Amazon S3 hely, adja meg azt az Amazon S3 helyet, ahová a SageMaker exportálja az adatait.

Az Autopilot ezt a helyet használja a modell automatikus betanításához, így időt takaríthat meg a Data Wrangler folyam kimeneti helyének, majd az Autopilot betanítási adatainak bemeneti helyének meghatározásától. Ez zökkenőmentesebb élményt biztosít.

3. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Export és edzeni hogy elindítsa a modellépítést az Autopilot segítségével.

Az Autopilot automatikusan kiválasztja az edzésadatok bemeneti és kimeneti helyét. Csak meg kell adnia a céloszlopot, és kattintson Kísérlet létrehozása hogy képezze a modelljét.

Tesztelje a modellt egy tartási mintán

Amikor az Autopilot befejezi a kísérletet, megtekinthetjük a képzési eredményeket, és felfedezhetjük a legjobb modellt.

1. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Tekintse meg a modell részleteit a kívánt modellhez, majd válassza ki a teljesítmény fület a modell részleteinek oldalán.

A teljesítmény fül több modell mérési tesztet jelenít meg, beleértve a zavaros mátrixot, a precíziós/visszahívási görbe alatti területet (AUCPR) és a vevő működési jelleggörbéje alatti területet (ROC). Ezek illusztrálják a modell általános érvényesítési teljesítményét, de nem árulják el, hogy a modell jól általánosítható-e. Még mindig le kell futtatnunk a nem látott tesztadatok értékelését, hogy megtudjuk, milyen pontosan jelzi előre a modell, hogy az egyén cukorbeteg lesz.

Annak érdekében, hogy a modell elég jól általánosítható legyen, a tesztmintát félretesszük a független mintavételhez. Ezt megtehetjük a Data Wrangler folyamat felhasználói felületén.

2.  Válassza ki a mellette lévő pluszjelet adatbázisba, választ Exportálás, és válasszon Amazon S3.

3. Adjon meg egy Amazon S3 elérési utat.

Erre az útvonalra hivatkozunk, amikor a következő szakaszban kötegelt következtetést futtatunk érvényesítés céljából.

4. Hozzon létre egy új SageMaker jegyzetfüzetet, hogy kötegelt következtetést hajtson végre a tartási mintán, és értékelje a teszt teljesítményét. Lásd a következőket GitHub repo egy mintafüzet kötegkövetkeztetés futtatásához az érvényesítéshez.

Az érvényesítés és a tesztkészlet teljesítményének elemzése

Amikor a kötegelt átalakítás befejeződött, létrehozunk egy összetévesztő mátrixot, amely összehasonlítja a tartási adatkészlet tényleges és előrejelzett eredményeit.

Eredményeinkből 23 valódi pozitívumot és 33 valódi negatívumot látunk. Esetünkben az igazi pozitívumok arra utalnak, hogy a modell helyesen jelzi előre, hogy cukorbeteg. Ezzel szemben az igazi negatívok arra utalnak, hogy a modell helyesen jelzi előre, hogy az egyén nem szenved cukorbetegségben.

Esetünkben a precizitás és a visszahívás fontos mérőszám. A precíziós mérés lényegében az összes cukorbeteg egyént méri, és hányan szenvednek valójában cukorbetegségben? Ezzel szemben a felidézés segít mérni minden olyan egyént, aki valóban cukorbeteg, hánynak jósolták a cukorbetegséget? Például előfordulhat, hogy nagy pontosságú modellt szeretne használni, mert minél több egyént szeretne kezelni, különösen, ha a kezelés első szakasza nincs hatással a cukorbetegségben nem szenvedő egyénekre (ezek hamis pozitív eredmények – azok, amelyeken cukorbetegségben szenvednek). holott valójában nem).

Az eredmények értékeléséhez a ROC görbe (AUC) grafikon alatti területet is ábrázoljuk. Minél magasabb az AUC, annál jobb a modell az osztályok megkülönböztetésében, ami esetünkben azt mutatja, hogy a modell mennyire teljesít a cukorbetegek és a nem cukorbetegek megkülönböztetésében.

Következtetés

Ebben a bejegyzésben bemutattuk, hogyan integrálhatja az adatfeldolgozást, a tervezést és a modellépítést a Data Wrangler és az Autopilot segítségével. Kiemeltük, hogyan taníthat be és hangolhat egyszerűen egy modellt az Autopilot segítségével közvetlenül a Data Wrangler felhasználói felületéről. Ezzel az integrációs funkcióval gyorsan összeállíthatunk egy modellt a funkciótervezés befejezése után, kód írása nélkül. Ezután hivatkoztunk az Autopilot legjobb modelljére a kötegelt előrejelzések futtatásához az AutoML osztály használatával a SageMaker Python SDK-val.

Az alacsony kódú és AutoML megoldások, mint például a Data Wrangler és az Autopilot, megszüntetik a mély kódolási ismeretek szükségességét a robusztus ML-modellek felépítéséhez. Kezdje el a Data Wrangler használatát ma, hogy megtapasztalhassa, milyen egyszerű az ML-modellek felépítése SageMaker Autopilot.

---

A szerzőkről

Peter Chung az AWS megoldástervezője, és szenvedélyesen segíti az ügyfeleket, hogy betekintést nyerjenek adataikból. Olyan megoldásokat épített, amelyek segítik a szervezeteket adatvezérelt döntések meghozatalában mind az állami, mind a magánszektorban. Az összes AWS-tanúsítvánnyal, valamint két GCP-tanúsítvánnyal rendelkezik. Szeret kávézni, főzni, aktív marad, és a családjával tölti az idejét.

Pradeep Reddy Senior Product Manager a SageMaker Low/No Code ML csapatában, amely magában foglalja a SageMaker Autopilotot és a SageMaker Automatic Model Tuner-t. A munkán kívül Pradeep szívesen olvas, fut, és tenyérnyi számítógépekkel, például Raspberry pi-vel és egyéb otthoni automatizálási technológiával szórakozik.

Arunprasath Shankar a mesterséges intelligencia és a gépi tanulás (AI/ML) specialistája az AWS-vel, segít a globális ügyfeleknek mesterséges intelligencia-megoldásaik hatékony és eredményes felhőben történő méretezésében. Szabadidejében Arun szívesen néz sci-fi filmeket és hallgat klasszikus zenét.

Srujan Gopu a SageMaker Low Code/No Code ML vezető frontend mérnöke, aki az Autopilot és Canvas termékek ügyfeleit segíti. Amikor nem kódol, Srujan szívesen megy futni Max kutyájával, hangoskönyveket hallgat és VR-játékokat fejleszt.

• Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
• CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
• Forrás: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/