Ühtne andmete ettevalmistamine ja mudelikoolitus Amazon SageMaker Data Wrangleri ja Amazon SageMaker Autopilotiga

Andmed toidavad masinõpet (ML); andmete kvaliteet mõjutab otseselt ML mudelite kvaliteeti. Seetõttu on täpsete ML-mudelite loomisel kriitilise tähtsusega andmete kvaliteedi parandamine ja õigete funktsioonide kavandamise tehnikate kasutamine. ML-i praktikud kordavad sageli tüütult funktsioonide kavandamist, algoritmide valikut ja muid ML-i aspekte, otsides optimaalseid mudeleid, mis üldistavad hästi reaalmaailma andmeid ja annavad soovitud tulemusi. Kuna äritegevuse kiirus on ebaproportsionaalselt oluline, võib see äärmiselt tüütu ja korduv protsess põhjustada projekti viivitusi ja ärivõimaluste kaotamist.

Amazon SageMaker Data Wrangler vähendab ML jaoks andmete koondamiseks ja ettevalmistamiseks kuluvat aega nädalatest minutiteni ja Amazon SageMakeri autopiloot koostab, treenib ja häälestab teie andmete põhjal automaatselt parimaid ML-mudeleid. Autopiloodi abil säilitate endiselt täieliku kontrolli ja nähtavuse oma andmete ja mudeli üle. Mõlemad teenused on loodud selleks, et muuta ML-praktikud tootlikumaks ja kiirendada väärtuse leidmise aega.

Data Wrangler pakub nüüd ühtset kogemust, mis võimaldab teil andmeid ette valmistada ja ML-mudelit autopiloodis sujuvalt koolitada. Selle äsja käivitatud funktsiooniga saate nüüd oma andmed Data Wrangleris ette valmistada ja lihtsalt käivitada Autopiloodi katsed otse Data Wrangleri kasutajaliidest (UI). Vaid mõne klõpsuga saate automaatselt koostada, treenida ja häälestada ML-mudeleid, hõlbustades nüüdisaegsete funktsioonide inseneritehnikate kasutamist, koolitada kvaliteetseid ML-mudeleid ja saada oma andmetest kiiremini ülevaadet.

Selles postituses arutame, kuidas saate seda uut Data Wrangleri integreeritud kogemust kasutada andmekogumite analüüsimiseks ja kvaliteetsete ML-mudelite hõlpsaks loomiseks Autopiloodis.

Andmestiku ülevaade

Pima indiaanlased on põlisrahvaste rühm, kes elab USA-s Mehhikos ja Arizonas. Uuringud näidata Pima indiaanlasi suhkurtõve kõrge riskiga elanikkonnarühmana. Selle sageli alaesindatud vähemusrühma tervise ja heaolu parandamisel on oluline ette näha üksikisiku riski tõenäosus ja vastuvõtlikkus kroonilisele haigusele nagu diabeet.

Me kasutame Pima India diabeedi avalik andmestik et ennustada inimese vastuvõtlikkust diabeedile. Keskendume Data Wrangleri ja Autopiloti vahelisele uuele integratsioonile, et valmistada ette andmed ja luua automaatselt ML-mudel ilma ühtki koodirida kirjutamata.

Andmekogum sisaldab teavet Pima India naiste kohta, kes on 21-aastased või vanemad, ja sisaldab mitmeid meditsiinilisi ennustavaid (sõltumatuid) muutujaid ja ühte siht- (sõltuvat) muutujat, tulemus. Järgmine diagramm kirjeldab meie andmestiku veerge.

Veerg Nimi	Kirjeldus
Rasedused	Raseduste arv
Glükoos	Plasma glükoosikontsentratsioon suukaudse glükoositaluvuse testis 2 tunni jooksul
Vererõhk	Diastoolne vererõhk (mm Hg)
Naha paksus	Triitsepsi nahavoldi paksus (mm)
Insuliin	2-tunnine seeruminsuliin (mu U/ml)
BMI	Kehamassiindeks (kaal kg/(pikkus m)^2)
Suhkurtõbi	Diabeedi sugupuu funktsioon
vanus	Vanus aastatel
Tulemus	Sihtmuutuja

Andmekogum sisaldab 768 kirjet, kokku 9 funktsiooniga. Salvestame selle andmestiku Amazoni lihtne salvestusämber (Amazon S3) CSV-failina ja seejärel importige CSV otse Amazon S3-st Data Wrangleri voogu.

Lahenduse ülevaade

Järgmine diagramm võtab kokku, mida me selles postituses saavutame.[KT1]

Andmeteadlased, arstid ja teised meditsiinivaldkonna eksperdid pakuvad patsientidele andmeid glükoositaseme, vererõhu, kehamassiindeksi ja muude funktsioonide kohta, mida kasutatakse diabeedi tõenäosuse ennustamiseks. Amazon S3 andmestikuga impordime andmestiku Data Wranglerisse, et teha uurimuslikku andmeanalüüsi (EDA), andmete profileerimist, funktsioonide kavandamist ning jagada andmekogum mudelite koostamiseks ja hindamiseks rongideks ja testideks.

Seejärel kasutame Autopiloti uute funktsioonide integreerimist mudeli kiireks koostamiseks otse Data Wrangleri liidesest. Valime Autopiloti parima mudeli kõrgeima F-beeta skooriga mudeli põhjal. Pärast seda, kui Autopilot on leidnud parima mudeli, käivitame a SageMakeri partii teisendus töö testi (holdout) komplekti koos parima mudeli mudeliartefaktidega hindamiseks.

Meditsiinieksperdid saavad esitada valideeritud mudelile uusi andmeid, et saada ennustus, et näha, kas patsiendil on tõenäoliselt diabeet. Nende teadmiste põhjal saavad meditsiinieksperdid ravi alustada varakult, et parandada haavatavate elanikkonnarühmade tervist ja heaolu. Meditsiinieksperdid saavad mudeli ennustust selgitada ka mudeli üksikasjadele viitamisega Autopiloodis, kuna neil on täielik ülevaade mudeli seletatavusest, jõudlusest ja artefaktidest. See nähtavus lisaks mudeli valideerimisele testikomplektist annab meditsiiniekspertidele suurema kindlustunde mudeli ennustamisvõime suhtes.

Juhendame teid läbi järgmiste kõrgetasemeliste sammude.

1. Importige andmestik Amazon S3-st.
2. Tehke Data Wrangleriga EDA ja andmete profileerimine.
3. Tehke funktsioonide projekteerimine, et käsitleda kõrvalekaldeid ja puuduvaid väärtusi.
4. Andmete jagamine rongi- ja katsekomplektideks.
5. Treenige ja koostage autopiloodiga mudel.
6. Katsetage mudelit SageMakeri sülearvutiga hoidiku näidisel.
7. Analüüsige valideerimise ja testikomplekti toimivust.

Eeldused

Täitke järgmised eeltingimusetapid:

1. Laadige andmestik üles teie valitud S3 ämbrisse.
2. Veenduge, et teil oleks vajalikud õigused. Lisateabe saamiseks vaadake Alustage Data Wrangleriga.
3. Seadistage Data Wrangleri kasutamiseks konfigureeritud SageMakeri domeen. Juhiste saamiseks vaadake Sisseehitatud Amazon SageMakeri domeeniga.

Importige oma andmestik Data Wrangleriga

Saate integreerida Data Wrangleri andmevoo oma ML-i töövoogudesse, et lihtsustada ja sujuvamaks muuta andmete eeltöötlust ja funktsioonide kavandamist, kasutades vähest kodeerimist või üldse mitte. Tehke järgmised sammud.

1. Loo uus Data Wrangleri voog.

Kui avate Data Wrangleri esimest korda, peate võib-olla mõne minuti ootama, kuni see valmis saab.

2. Valige Amazon S3-sse salvestatud andmestik ja importige see Data Wranglerisse.

Pärast andmestiku importimist peaksite nägema andmevoo algust Data Wrangleri kasutajaliideses. Nüüd on teil vooskeem.

3. Valige kõrval olev plussmärk Andmetüübid Ja vali Edit kinnitamaks, et Data Wrangler tuletas teie andmeveergude jaoks automaatselt õiged andmetüübid.

Kui andmetüübid pole õiged, saate neid kasutajaliidese kaudu hõlpsasti muuta. Kui on mitu andmeallikat, saate need ühendada või liita.

Nüüd saame luua analüüsi ja lisada teisendusi.

Tehke andmeülevaate aruandega uurimuslik andmete analüüs

Uurimuslik andmete analüüs on ML-i töövoo oluline osa. Saame kasutada Data Wrangleri uut andmeülevaate aruannet, et paremini mõista meie andmete profiili ja levikut. Aruanne sisaldab kokkuvõtvat statistikat, andmekvaliteedi hoiatusi, sihtveergude ülevaadet, kiirmudelit ning teavet anomaalsete ja dubleerivate ridade kohta.

1. Valige kõrval olev plussmärk Andmetüübid Ja vali Hankige andmete statistikat.

2. eest sihtmärk veerg, vali Tulemus.
3. eest Probleemi tüüpja (valikuliselt) valige Klassifikatsioon.
4. Vali Looma.

Tulemused näitavad kokkuvõtlikke andmeid koos andmekogumi statistikaga.

Samuti saame vaadata märgistatud ridade jaotust histogrammi, kiirmudeli funktsiooniga mudeli eeldatava prognoositava kvaliteedi hinnangu ja funktsioonide kokkuvõtliku tabeli abil.

Me ei lasku andmeülevaate aruande analüüsimise üksikasjadesse; viitama Kiirendage andmete ettevalmistamist Amazon SageMaker Data Wrangleri andmete kvaliteedi ja ülevaatega Lisateavet selle kohta, kuidas saate andmete ettevalmistamise etappide kiirendamiseks andmeülevaate aruannet kasutada.

Tehke funktsioonide projekteerimine

Nüüd, kui oleme oma sisendveergude jaotuse kõrgel tasemel profileerinud ja analüüsinud, võiks meie andmete kvaliteedi parandamise esimene kaalutlus olla puuduvate väärtuste käsitlemine.

Näiteks teame, et nullid (0) jaoks Insulin veerg tähistavad puuduvad väärtused. Võiksime järgida soovitust asendada nullid NaN. Kuid lähemal uurimisel leiame, et teiste veergude jaoks on minimaalne väärtus 0, näiteks Glucose, BloodPressure, SkinThicknessja BMI. Vajame puuduvate väärtuste käsitlemise viisi, kuid peame olema tundlikud nullidega veergude suhtes kui kehtivad andmed. Vaatame, kuidas seda parandada.

aasta Funktsiooni üksikasjad osas tõstatab aruanne a Varjatud puuduv väärtus funktsiooni hoiatus Insulin.

Sest nullid Insulin veerus puuduvad andmed, kasutame Teisendage regex puuduvaks teisenda nullväärtuste teisendamiseks tühjaks (puuduvad väärtused).

1. Valige kõrval olev plussmärk kuupäev liigid Ja vali lisama muutma.
2.  Vali Otsige ja redigeerige.
3. eest Muutma, vali Teisendage regex puuduvaks.
4. eest Sisend veerud, valige veerud Insulin, Glucose, BloodPressure, SkinThicknessja BMI.
5. eest Muster, sisenema 0.
6. Vali Eelvaade ja lisama selle sammu salvestamiseks.

0 kirjet all Insulin, Glucose, BloodPressure, SkinThicknessja BMI on nüüd väärtused puudu.

Data Wrangler pakub puuduvate väärtuste parandamiseks veel mõned võimalused.

7. Käsitleme puuduvaid väärtusi, arvutades ligikaudse mediaani Glucose kolonni.

Samuti tahame tagada, et meie funktsioonid oleksid samal skaalal. Me ei taha teatud funktsioonile kogemata rohkem kaalu anda lihtsalt seetõttu, et need sisaldavad suuremat numbrivahemikku. Selleks normaliseerime oma funktsioonid.

8. Lisage uus Protsessi numbriline teisendada ja valida Skaala väärtused.
9. eest Skaleerija, vali Min-max skaler.
10. eest Sisestusveerud, valige veerud Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMIja Age.
11. komplekt min et 0 ja max et 1.

See tagab, et meie funktsioonid jäävad väärtuste vahele 0 ja 1.

Nüüd oleme loonud mõned funktsioonid. Enne mudeli loomist jagame oma andmestiku koolituseks ja testimiseks.

Andmete jagamine koolituseks ja testimiseks

ML-i töövoo mudeli loomise etapis testite oma mudeli tõhusust, käivitades partiiennustusi. Saate hindamiseks kõrvale jätta testimis- või kinnipidamisandmestiku, et näha, kuidas teie mudel toimib, võrreldes ennustusi põhitõega. Üldiselt, kui rohkem mudeli ennustusi vastab true siltide abil saame kindlaks teha, kas mudel töötab hästi.

Kasutame Data Wranglerit oma andmestiku testimiseks jagamiseks. Säilitame 90% oma andmekogumist koolituse jaoks, kuna meil on suhteliselt väike andmestik. Ülejäänud 10% meie andmekogumist toimib testandmestikuna. Kasutame seda andmestikku Autopiloodi mudeli kinnitamiseks hiljem selles postituses.

Jagame oma andmed, valides Andmete jagamine teisendada ja valida Juhuslik jaotus kui meetod. Treeningu jagamise protsendiks määrame 0.9 ja testimiseks 0.1.

Kui andmete teisendamine ja inseneritööd on lõpetatud, oleme nüüd valmis mudelit koolitama.

Treenige ja kinnitage mudel

Saame kasutada uut Data Wrangleri integratsiooni Autopilotiga, et treenida mudelit otse Data Wrangleri andmevoo kasutajaliidesest.

1. Valige kõrval olev plussmärk Andmebaas Ja vali Rongi mudel.

2. eest Amazon S3 asukoht, määrake Amazon S3 asukoht, kuhu SageMaker teie andmed ekspordib.

Autopiloot kasutab seda asukohta mudeli automaatseks koolitamiseks, säästes teie aega Data Wrangleri voo väljundi asukoha määramisest ja seejärel Autopiloodi treeningandmete sisendkoha määramisest. See tagab sujuvama kogemuse.

3. Vali Eksport ja treenida algatada mudeli koostamine Autopiloodiga.

Autopiloot valib automaatselt treeningandmete sisend- ja väljundkohad. Peate ainult määrama sihtveergu ja klõpsama Loo katse oma modelli koolitamiseks.

Katsetage mudelit hoideproovil

Kui Autopilot katse lõpetab, saame vaadata treeningute tulemusi ja uurida parimat mudelit.

1. Vali Vaadake mudeli üksikasju soovitud mudeli jaoks, seejärel valige jõudlus vahekaart mudeli üksikasjade lehel.

. jõudlus vahekaardil kuvatakse mitu mudeli mõõtmistesti, sealhulgas segadusmaatriks, täpsus-/meenutuskõvera alune pindala (AUCPR) ja vastuvõtja töökarakteristiku kõvera alune ala (ROC). Need illustreerivad mudeli üldist valideerimise tulemuslikkust, kuid need ei ütle meile, kas mudel üldistab hästi. Peame siiski läbi viima nägematute katseandmete hindamise, et näha, kui täpselt mudel ennustab, kas inimesel on diabeet.

Mudeli piisava üldistamise tagamiseks jätsime testvalimi sõltumatuks valimiks kõrvale. Saame seda teha Data Wrangleri voo kasutajaliideses.

2.  Valige kõrval olev plussmärk Andmebaas, vali Eksport onja vali Amazon S3.

3. Määrake Amazon S3 tee.

Sellele teele viitame, kui käivitame järgmises jaotises valideerimiseks partii järelduse.

4. Looge uus SageMakeri märkmik, et teha hoidmisnäidises partii järeldusi ja hinnata testi tulemuslikkust. Vaadake järgmist GitHub repo jaoks märkmiku näidis et käivitada valideerimiseks partii järeldused.

Analüüsige valideerimise ja testikomplekti toimivust

Kui partii teisendus on lõpule viidud, loome segaduste maatriksi, et võrrelda kinnipidamise andmestiku tegelikke ja prognoositud tulemusi.

Näeme oma tulemustes 23 tõelist positiivset ja 33 tõelist negatiivset. Meie puhul viitavad tõelised positiivsed mudelile, mis ennustab õigesti, et inimesel on diabeet. Seevastu tõelised negatiivsed viitavad mudelile, mis ennustab õigesti, et inimesel ei ole diabeeti.

Meie puhul on täpsus ja meeldetuletus olulised mõõdikud. Täpsus mõõdab põhimõtteliselt kõiki inimesi, kellel ennustatakse diabeeti, kui paljudel on diabeet tegelikult? Seevastu aitab meenutamine mõõta kõiki diabeetikuid, kui paljudele diabeeti ennustati? Näiteks võite soovida kasutada suure täpsusega mudelit, kuna soovite ravida võimalikult paljusid inimesi, eriti kui ravi esimene etapp ei mõjuta diabeeti põdevaid inimesi (need on valepositiivsed tulemused – need, millel on see märge. kuigi tegelikult nad seda ei tee).

Tulemuste hindamiseks joonistame ka ROC kõvera (AUC) graafiku all oleva ala. Mida kõrgem on AUC, seda paremini suudab mudel klasse eristada, mis meie puhul näitab, kui hästi mudel diabeediga ja ilma diabeedita patsientide eristamisel toimib.

Järeldus

Selles postituses demonstreerisime, kuidas integreerida andmetöötlust, inseneritööd ja mudelite loomist Data Wrangleri ja Autopiloti abil. Tõstsime esile, kuidas saate hõlpsalt autopiloodiga mudelit treenida ja häälestada otse Data Wrangleri kasutajaliidese kaudu. Selle integreerimisfunktsiooni abil saame kiiresti luua mudeli pärast funktsioonide projekteerimise lõpetamist, ilma koodi kirjutamata. Seejärel viitasime Autopiloti parimale mudelile partiiennustuste käitamiseks, kasutades AutoML-klassi koos SageMaker Python SDK-ga.

Madala koodiga ja AutoML-i lahendused, nagu Data Wrangler ja Autopilot, eemaldavad tugevate ML-mudelite loomiseks vajaduse sügavate kodeerimisteadmiste järele. Alustage Data Wrangleri kasutamist täna kogeda, kui lihtne on ML-mudeleid kasutades luua SageMakeri autopiloot.

---

Autoritest

Peter Chung on AWS-i lahenduste arhitekt ja soovib kirglikult aidata klientidel oma andmetest teavet leida. Ta on loonud lahendusi, mis aitavad organisatsioonidel teha andmepõhiseid otsuseid nii avalikus kui ka erasektoris. Tal on kõik AWS-i sertifikaadid ja kaks GCP-sertifikaati. Talle meeldib kohv, süüa teha, aktiivne olla ja perega koos aega veeta.

Pradeep Reddy on vanem tootejuht SageMaker Low/No Code ML meeskonnas, kuhu kuuluvad SageMaker Autopilot, SageMaker Automatic Model Tuner. Väljaspool tööd naudib Pradeep lugemist, jooksmist ja peopesasuuruste arvutitega, nagu raspberry pi, ja muud koduautomaatika tehnoloogiat.

Arunprasath Shankar on tehisintellekti ja masinõppe (AI/ML) spetsialistlahenduste arhitekt koos AWS-iga, mis aitab globaalsetel klientidel oma tehisintellekti ja masinõppe lahendusi pilves tõhusalt skaleerida. Vabal ajal vaatab Arun meelsasti ulmefilme ja kuulab klassikalist muusikat.

Srujan Gopu on SageMakeri madala koodi/koodita ML-i vaneminsener, kes aitab autopiloodi ja Canvase toodete kliente. Kui Srujan ei kodeeri, naudib ta oma koera Maxiga jooksmas käimist, audioraamatute kuulamist ja VR-mängude arendamist.

• Münditark. Euroopa parim Bitcoini ja krüptobörs.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
• CryptoHawk. Altcoini radar. Tasuta prooviversioon.
• Allikas: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/