Yhtenäinen tietojen valmistelu ja mallikoulutus Amazon SageMaker Data Wranglerin ja Amazon SageMaker Autopilotin kanssa

Data ruokkii koneoppimista (ML); tiedon laadulla on suora vaikutus ML-mallien laatuun. Siksi tietojen laadun parantaminen ja oikeiden ominaisuussuunnittelutekniikoiden käyttäminen ovat kriittisiä tarkkoja ML-malleja luotaessa. ML-ammattilaiset toistavat usein ikävästi ominaisuussuunnittelua, algoritmien valintaa ja muita ML:n näkökohtia etsiessään optimaalisia malleja, jotka yleistävät hyvin todellisen maailman datan ja tuottavat halutut tulokset. Koska liiketoiminnan nopeus on suhteettoman tärkeä, tämä erittäin työläs ja iteratiivinen prosessi voi johtaa projektien viivästyksiin ja menetettyihin liiketoimintamahdollisuuksiin.

Amazon SageMaker Data Wrangler vähentää ML-tietojen kokoamiseen ja valmisteluun kuluvaa aikaa viikoista minuutteihin, ja Amazon SageMaker -autopilotti rakentaa, kouluttaa ja virittää automaattisesti parhaat ML-mallit tietosi perusteella. Autopilotin avulla säilytät edelleen täysin tietosi ja mallisi hallinnan ja näkyvyyden. Molemmat palvelut on suunniteltu tekemään ML:n harjoittajista tuottavampia ja nopeuttamaan arvon hankkimista.

Data Wrangler tarjoaa nyt yhtenäisen kokemuksen, jonka avulla voit valmistella tietoja ja kouluttaa saumattomasti ML-mallia Autopilotissa. Tämän äskettäin julkaistun ominaisuuden avulla voit nyt valmistella tietosi Data Wranglerissa ja käynnistää helposti Autopilot-kokeiluja suoraan Data Wrangler -käyttöliittymästä (UI). Muutamalla napsautuksella voit automaattisesti rakentaa, kouluttaa ja virittää ML-malleja, mikä helpottaa uusimpien ominaisuuksien suunnittelutekniikoiden käyttämistä, korkealaatuisten ML-mallien kouluttamista ja näkemysten saamista tiedoistasi nopeammin.

Tässä viestissä keskustelemme siitä, kuinka voit käyttää tätä uutta integroitua Data Wrangler -kokemusta datajoukkojen analysointiin ja laadukkaiden ML-mallien luomiseen helposti Autopilotissa.

Tietojoukon yleiskatsaus

Pima-intiaanit ovat alkuperäiskansoja, jotka asuvat Meksikossa ja Arizonassa, Yhdysvalloissa. Opinnot näytä Pima Indians korkean riskin väestöryhmänä diabetes mellituksen. Yksilön riskin ja alttiuden ennustaminen krooniseen sairauteen, kuten diabetekseen, on tärkeä tehtävä tämän usein aliedustetun vähemmistöryhmän terveyden ja hyvinvoinnin parantamiseksi.

Käytämme Pima Indian Diabetes julkinen tietojoukko ennustaa yksilön alttiutta diabetekselle. Keskitymme Data Wranglerin ja Autopilotin uuteen integraatioon tietojen valmistelemiseksi ja ML-mallin luomiseksi automaattisesti kirjoittamatta yhtään koodiriviä.

Aineisto sisältää tietoja Pima-intialaisista 21-vuotiaista tai vanhemmista naisista ja sisältää useita lääketieteellisiä ennustemuuttujia (riippumattomia) ja yhden kohdemuuttujan (riippuvainen), Outcome. Seuraava kaavio kuvaa tietojoukkomme sarakkeita.

Sarake Nimi	Kuvaus
raskaudet	Raskauskertojen lukumäärä
Glukoosi	Plasman glukoosipitoisuus suun glukoosin sietotestissä 2 tunnin sisällä
Verenpaine	Diastolinen verenpaine (mm Hg)
Ihonpaksuus	Tricepsin ihopoimun paksuus (mm)
Insuliini	2 tunnin seeruminsuliini (mu U/ml)
BMI	Painoindeksi (paino kg/(pituus metreinä)^2)
Diabetes Sukuperä	Diabetes sukutaulun toiminto
Ikä	Ikä vuosina
Tulos	Kohdemuuttuja

Aineisto sisältää 768 tietuetta, joissa on yhteensä 9 ominaisuutta. Tallennamme tämän tietojoukon Amazon Simple Storage Bucket (Amazon S3) CSV-tiedostona ja tuo sitten CSV suoraan Data Wrangler -virtaan Amazon S3:sta.

Ratkaisun yleiskatsaus

Seuraavassa kaaviossa on yhteenveto siitä, mitä saamme aikaan tässä viestissä.[KT1]

Tietotutkijat, lääkärit ja muut lääketieteen alan asiantuntijat tarjoavat potilastietoja glukoositasoista, verenpaineesta, painoindeksistä ja muista ominaisuuksista, joita käytetään diabeteksen todennäköisyyden ennustamiseen. Amazon S3:n tietojoukon avulla tuomme tietojoukon Data Wrangleriin suorittaaksemme tutkivan data-analyysin (EDA), datan profiloinnin, ominaisuussuunnittelun ja jakamalla tietojoukon junaksi ja testaamiseksi mallin rakentamista ja arviointia varten.

Käytämme sitten Autopilotin uutta ominaisuusintegraatiota mallin nopeaan rakentamiseen suoraan Data Wrangler -liittymästä. Valitsemme Autopilotin parhaan mallin korkeimman F-beta-pistemäärän saaneen mallin perusteella. Kun Autopilot on löytänyt parhaan mallin, suoritamme a SageMaker erämuunnos työ testi (holdout) -sarjaan, jossa on arvioitavissa olevan parhaan mallin artefakteja.

Lääketieteen asiantuntijat voivat tarjota uusia tietoja validoituun malliin saadakseen ennusteen siitä, onko potilaalla todennäköisesti diabetes. Näiden oivallusten avulla lääketieteen asiantuntijat voivat aloittaa hoidon ajoissa parantaakseen haavoittuvien väestöryhmien terveyttä ja hyvinvointia. Lääketieteen asiantuntijat voivat myös selittää mallin ennusteen viittaamalla mallin yksityiskohtiin Autopilotissa, koska heillä on täydellinen näkyvyys mallin selitettävyydestä, suorituskyvystä ja artefakteista. Tämä näkyvyys testisarjan mallin validoinnin lisäksi antaa lääketieteen asiantuntijoille enemmän luottamusta mallin ennustuskykyyn.

Ohjaamme sinut seuraavien korkean tason vaiheiden läpi.

1. Tuo tietojoukko Amazon S3:sta.
2. Suorita EDA ja dataprofilointi Data Wranglerilla.
3. Suorita ominaisuussuunnittelu poikkeamien ja puuttuvien arvojen käsittelemiseksi.
4. Jaa tiedot juna- ja testisarjoiksi.
5. Harjoittele ja rakenna malli Autopilotilla.
6. Testaa mallia kiinnitysnäytteellä SageMaker-muistikirjalla.
7. Analysoi validoinnin ja testijoukon suorituskykyä.

Edellytykset

Suorita seuraavat edellytysvaiheet:

1. Lataa tietojoukko valitsemaasi S3-kauhaan.
2. Varmista, että sinulla on tarvittavat käyttöoikeudet. Lisätietoja on kohdassa Aloita Data Wranglerin käyttö.
3. Määritä SageMaker-toimialue, joka on määritetty käyttämään Data Wrangleria. Katso ohjeet kohdasta Sisääntulo Amazon SageMaker -verkkotunnukseen.

Tuo tietojoukkosi Data Wranglerilla

Voit integroida Data Wrangler -tietovirran ML-työnkulkuihisi yksinkertaistaaksesi ja virtaviivaistaaksesi tietojen esikäsittelyä ja ominaisuuksien suunnittelua käyttämällä vain vähän tai ei ollenkaan koodausta. Suorita seuraavat vaiheet:

1. Luoda uusi Data Wrangler -virtaus.

Jos avaat Data Wranglerin ensimmäistä kertaa, joudut ehkä odottamaan muutaman minuutin, ennen kuin se on valmis.

2. Valitse Amazon S3:een tallennettu tietojoukko ja tuo se Data Wrangleriin.

Kun olet tuonut tietojoukon, sinun pitäisi nähdä tietovirran alut Data Wrangler -käyttöliittymässä. Sinulla on nyt vuokaavio.

3. Valitse vieressä oleva plusmerkki Tietotyypit Ja valitse muokata vahvistaaksesi, että Data Wrangler päätteli automaattisesti oikeat tietotyypit tietosarakkeillesi.

Jos tietotyypit eivät ole oikein, voit muokata niitä helposti käyttöliittymän kautta. Jos tietolähteitä on useita, voit yhdistää tai ketjuttaa ne.

Voimme nyt luoda analyysin ja lisätä muutoksia.

Suorita tutkiva data-analyysi tietotilastojen raportin avulla

Tutkiva data-analyysi on kriittinen osa ML-työnkulkua. Voimme käyttää Data Wranglerin uutta tietotietoraporttia saadaksemme paremman käsityksen tietojemme profiilista ja jakelusta. Raportti sisältää yhteenvetotilastoja, tietojen laatuvaroituksia, kohdesaraketietoja, nopean mallin ja tietoja poikkeavista ja päällekkäisistä riveistä.

1. Valitse vieressä oleva plusmerkki Tietotyypit Ja valitse Hanki datatietoja.

2. varten Kohde sarake, valitse Tulos.
3. varten Ongelman tyyppi, ja (valinnaisesti) valitse Luokittelu.
4. Valita luoda.

Tulokset näyttävät yhteenvetotiedot tietojoukon tilastojen kanssa.

Voimme myös tarkastella merkittyjen rivien jakautumista histogrammin avulla, arvion mallin odotetusta ennustetusta laadusta pikamalliominaisuuden avulla ja ominaisuuden yhteenvetotaulukosta.

Emme mene yksityiskohtiin analysoidaksemme tietotietoraportin. viitata Nopeuta tietojen valmistelua Amazon SageMaker Data Wranglerin tietojen laadun ja oivallusten avulla saadaksesi lisätietoja siitä, kuinka voit käyttää tietotietoraporttia tietojen valmisteluvaiheiden nopeuttamiseen.

Suorita ominaisuussuunnittelu

Nyt kun olemme profiloineet ja analysoineet syöttösarakkeiden jakautumisen korkealla tasolla, ensimmäinen näkökohta tietojemme laadun parantamiseksi voisi olla puuttuvien arvojen käsittely.

Tiedämme esimerkiksi, että nollia (0) varten Insulin sarake edustaa puuttuvia arvoja. Voisimme noudattaa suositusta nollan korvaamisesta NaN. Mutta lähemmin tarkasteltuna huomaamme, että vähimmäisarvo on 0 muille sarakkeille, kuten Glucose, BloodPressure, SkinThicknessja BMI. Tarvitsemme tavan käsitellä puuttuvia arvoja, mutta meidän on oltava herkkiä sarakkeille, joissa on nolla kelvollisena datana. Katsotaan kuinka voimme korjata tämän.

In Ominaisuustiedot jaksossa mietinnössä nostetaan esiin a Naamioitu puuttuva arvo varoitus ominaisuudesta Insulin.

Koska nollia Insulin sarakkeesta puuttuu itse asiassa tietoja, käytämme Muunna regex puuttuvaksi muunnos muuntaa nollan arvot tyhjiksi (puuttuvat arvot).

1. Valitse vieressä oleva plusmerkki Päiväys tyypit Ja valitse Lisää muuttaa.
2.  Valita Etsi ja muokkaa.
3. varten Muuttaa, valitse Muunna regex puuttuvaksi.
4. varten panos sarakkeet, valitse sarakkeet Insulin, Glucose, BloodPressure, SkinThicknessja BMI.
5. varten Kuvio, tulla sisään 0.
6. Valita preview ja Lisää tämän vaiheen tallentamiseksi.

0 merkintää alla Insulin, Glucose, BloodPressure, SkinThicknessja BMI arvot puuttuvat nyt.

Data Wrangler tarjoaa muutamia muita vaihtoehtoja puuttuvien arvojen korjaamiseen.

7. Käsittelemme puuttuvat arvot laskemalla likimääräisen mediaanin arvolle Glucose sarake.

Haluamme myös varmistaa, että ominaisuudet ovat samassa mittakaavassa. Emme halua vahingossa antaa enemmän painoarvoa tietylle ominaisuudelle vain siksi, että ne sisältävät suuremman numeroalueen. Normalisoimme ominaisuuksiamme tätä varten.

8. Lisää uusi Prosessi numeerinen muuttaa ja valita Skaalausarvot.
9. varten skaalain, valitse Min-max skaalaus.
10. varten Syötä sarakkeet, valitse sarakkeet Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMIja Age.
11. Asettaa Min että 0 ja max että 1.

Tämä varmistaa, että ominaisuudet ovat arvojen välissä 0 ja 1.

Nyt kun olemme luoneet joitain ominaisuuksia, jaamme tietojoukkomme koulutukseen ja testaukseen ennen mallin rakentamista.

Jaa tiedot koulutukseen ja testaukseen

ML-työnkulkusi mallinrakennusvaiheessa testaat mallisi tehokkuutta suorittamalla eräennusteita. Voit varata testaus- tai pidätystietojoukon arviointia varten, jotta näet, kuinka mallisi toimii vertaamalla ennusteita todelliseen totuuteen. Yleensä, jos useampi mallin ennusteista vastaa true tarroja, voimme määrittää, että malli toimii hyvin.

Käytämme Data Wrangleria datajoukkomme jakamiseen testausta varten. Säilytämme 90 % tietojoukostamme koulutusta varten, koska meillä on suhteellisen pieni tietojoukko. Loput 10 % tietojoukostamme toimivat testitietojoukona. Käytämme tätä tietojoukkoa vahvistaaksemme Autopilot-mallin myöhemmin tässä viestissä.

Jaamme tietomme valitsemalla Jaa tiedot muuttaa ja valita Satunnaistettu jako menetelmänä. Määritämme koulutuksen jakoprosenttiksi 0.9 ja testauksen 0.1.

Kun tietojen muunnos ja suunnitteluvaiheet on suoritettu, olemme nyt valmiita kouluttamaan mallia.

Harjoittele ja vahvista malli

Voimme käyttää uutta Data Wrangler -integraatiota Autopilotin kanssa mallin kouluttamiseen suoraan Data Wrangler -tietovirran käyttöliittymästä.

1. Valitse vieressä oleva plusmerkki aineisto Ja valitse Junamalli.

2. varten Amazon S3 sijainti, määritä Amazon S3 -sijainti, johon SageMaker vie tietosi.

Autopilot käyttää tätä sijaintia mallin automaattiseen kouluttamiseen, mikä säästää aikaa, kun sinun ei tarvitse määrittää Data Wrangler -virran lähtökohtaa ja sitten määrittää Autopilotin harjoitustietojen syöttösijainti. Tämä tekee kokemuksesta saumattomamman.

3. Valita Vie ja kouluttaa aloittaa mallin rakentamisen Autopilotilla.

Autopilotti valitsee automaattisesti harjoitustietojen syöttö- ja lähtöpaikat. Sinun tarvitsee vain määrittää kohdesarake ja napsauttaa Luo kokeilu kouluttaaksesi malliasi.

Testaa mallia pidätysnäytteellä

Kun Autopilot suorittaa kokeen, voimme tarkastella harjoitustuloksia ja tutkia parasta mallia.

1. Valita Katso mallin tiedot haluamaasi malliin ja valitse sitten Suorituskyky -välilehti mallin tietosivulla.

- Suorituskyky -välilehti näyttää useita mallimittaustestejä, mukaan lukien sekavuusmatriisi, tarkkuus-/palautuskäyrän alla oleva alue (AUCPR) ja vastaanottimen toimintakäyrän alla oleva alue (ROC). Nämä kuvaavat mallin yleistä validointisuoritusta, mutta ne eivät kerro meille, yleistyykö malli hyvin. Meidän on vielä suoritettava arviointeja näkymättömistä testitiedoista nähdäksemme kuinka tarkasti malli ennustaa, onko henkilöllä diabetes.

Varmistaaksemme mallin yleistymisen riittävän hyvin, jätimme testinäytteen sivuun riippumatonta otantaa varten. Voimme tehdä sen Data Wrangler -virtauskäyttöliittymässä.

2.  Valitse vieressä oleva plusmerkki aineisto, valitse Vie osoitteeseen, ja valitse Amazon S3.

3. Määritä Amazon S3 -polku.

Viittaamme tähän polkuun, kun suoritamme eräpäätelmän vahvistusta varten seuraavassa osassa.

4. Luo uusi SageMaker-muistikirja suorittaaksesi eräpäättelyn pitonäytteestä ja arvioidaksesi testin suorituskykyä. Katso seuraavaa GitHub repo päästäksesi muistikirjan näyte suorittaa eräpäätelmän vahvistusta varten.

Analysoi validoinnin ja testijoukon suorituskykyä

Kun erämuunnos on valmis, luomme hämmennysmatriisin pitotietojen todellisten ja ennakoitujen tulosten vertaamiseksi.

Näemme tuloksistamme 23 todellista positiivista ja 33 todellista negatiivista. Meidän tapauksessamme todelliset positiiviset viittaavat malliin, joka ennustaa oikein yksilön diabetekseksi. Sitä vastoin todelliset negatiiviset viittaavat malliin, joka ennustaa oikein yksilön, jolla ei ole diabetesta.

Meidän tapauksessamme tarkkuus ja muistaminen ovat tärkeitä mittareita. Tarkkuus mittaa käytännössä kaikkia henkilöitä, joilla on ennustettu diabetes, kuinka monella todella on diabetes? Sitä vastoin muistaminen auttaa mittaamaan kaikkia henkilöitä, joilla todellakin on diabetes, kuinka monelle ennustettiin diabetesta? Saatat esimerkiksi haluta käyttää mallia erittäin tarkasti, koska haluat hoitaa mahdollisimman monia yksilöitä, varsinkin jos hoidon ensimmäisellä vaiheella ei ole vaikutusta henkilöihin, joilla ei ole diabetesta (nämä ovat vääriä positiivisia tuloksia - ne, joilla on se vaikka he eivät itse asiassa tee).

Piirrämme myös ROC-käyrän (AUC) alla olevan alueen tulosten arvioimiseksi. Mitä korkeampi AUC, sitä paremmin malli erottaa luokkia, mikä tässä tapauksessa kertoo, kuinka hyvin malli pystyy erottamaan diabeetikoista ja ilman diabetesta.

Yhteenveto

Tässä viestissä osoitimme, kuinka integroitat tietojenkäsittelysi, sisältäen suunnittelun ja mallinrakennuksen Data Wranglerin ja Autopilotin avulla. Korostimme, kuinka voit helposti kouluttaa ja virittää mallin Autopilotilla suoraan Data Wrangler -käyttöliittymästä. Tämän integrointiominaisuuden avulla voimme rakentaa mallin nopeasti ominaisuussuunnittelun jälkeen ilman koodin kirjoittamista. Sitten viittasimme Autopilotin parhaaseen malliin eräennusteiden suorittamiseen AutoML-luokan avulla SageMaker Python SDK:n kanssa.

Matalakoodi- ja AutoML-ratkaisut, kuten Data Wrangler ja Autopilot, poistavat tarpeen hankkia syvällistä koodaustietoa kestävien ML-mallien rakentamiseen. Aloita Data Wranglerin käyttö tänään kokea, kuinka helppoa on rakentaa ML-malleja käyttämällä SageMaker-autopilotti.

---

Tietoja Tekijät

Peter Chung on AWS:n ratkaisuarkkitehti ja haluaa intohimoisesti auttaa asiakkaita löytämään oivalluksia tiedoistaan. Hän on rakentanut ratkaisuja, jotka auttavat organisaatioita tekemään datalähtöisiä päätöksiä sekä julkisella että yksityisellä sektorilla. Hänellä on kaikki AWS-sertifikaatit sekä kaksi GCP-sertifikaattia. Hän nauttii kahvista, ruoanlaitosta, aktiivisesta olemisesta ja perheen kanssa viettämisestä.

Pradeep Reddy on vanhempi tuotepäällikkö SageMaker Low/No Code ML -tiimissä, johon kuuluvat SageMaker Autopilot, SageMaker Automatic Model Tuner. Työn ulkopuolella Pradeep nauttii lukemisesta, juoksemisesta ja ulkoilusta kämmenkokoisten tietokoneiden, kuten Raspberry pi:n, ja muun kodin automaatiotekniikan parissa.

Arunprasath Shankar on tekoälyn ja koneoppimisen (AI / ML) asiantuntijaratkaisuarkkitehti AWS: n kanssa, joka auttaa globaaleja asiakkaita skaalautumaan tekoälyratkaisuihinsa tehokkaasti ja tehokkaasti pilvessä. Vapaa-ajallaan Arun nauttii scifi-elokuvien katsomisesta ja klassisen musiikin kuuntelusta.

Srujan Gopu on Senior Frontend Engineer SageMaker Low Code/No Code ML:ssä, joka auttaa Autopilot- ja Canvas-tuotteiden asiakkaita. Kun Srujan ei koodaa, hän käy lenkillä koiransa Maxin kanssa, kuuntelee äänikirjoja ja VR-pelikehitystä.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/