Uniforme gegevensvoorbereiding en modeltraining met Amazon SageMaker Data Wrangler en Amazon SageMaker Autopilot

Gegevens stimuleren machine learning (ML); de kwaliteit van data heeft een directe impact op de kwaliteit van ML-modellen. Daarom zijn het verbeteren van de gegevenskwaliteit en het gebruik van de juiste feature-engineeringtechnieken van cruciaal belang voor het maken van nauwkeurige ML-modellen. ML-beoefenaars herhalen vaak moeizaam op feature-engineering, de keuze van algoritmen en andere aspecten van ML op zoek naar optimale modellen die goed generaliseren op real-world data en de gewenste resultaten opleveren. Omdat snelheid bij het zakendoen onevenredig belangrijk is, kan dit uiterst vervelende en iteratieve proces leiden tot projectvertragingen en gemiste zakelijke kansen.

Amazon SageMaker-gegevens Wrangler reduceert de tijd voor het verzamelen en voorbereiden van gegevens voor ML van weken tot minuten, en Amazon SageMaker-stuurautomaat bouwt, traint en stemt automatisch de beste ML-modellen op basis van uw gegevens. Met Autopilot behoudt u nog steeds de volledige controle over en zichtbaarheid van uw gegevens en model. Beide services zijn speciaal ontwikkeld om ML-beoefenaars productiever te maken en de time-to-value te versnellen.

Data Wrangler biedt nu een uniforme ervaring waarmee u gegevens kunt voorbereiden en naadloos een ML-model in Autopilot kunt trainen. Met deze nieuw gelanceerde functie kunt u nu uw gegevens voorbereiden in Data Wrangler en eenvoudig Autopilot-experimenten starten rechtstreeks vanuit de Data Wrangler-gebruikersinterface (UI). Met slechts een paar klikken kunt u automatisch ML-modellen bouwen, trainen en afstemmen, waardoor het eenvoudiger wordt om geavanceerde feature-engineeringtechnieken toe te passen, hoogwaardige ML-modellen te trainen en sneller inzichten uit uw gegevens te halen.

In dit bericht bespreken we hoe u deze nieuwe geïntegreerde ervaring in Data Wrangler kunt gebruiken om datasets te analyseren en eenvoudig hoogwaardige ML-modellen te bouwen in Autopilot.

Gegevenssetoverzicht

Pima-indianen zijn een inheemse groep die in Mexico en Arizona, VS woont. ONDERZOEK laten Pima-indianen zien als een risicovolle bevolkingsgroep voor diabetes mellitus. Het voorspellen van de kans op het risico en de vatbaarheid van een individu voor een chronische ziekte zoals diabetes is een belangrijke taak bij het verbeteren van de gezondheid en het welzijn van deze vaak ondervertegenwoordigde minderheidsgroep.

We maken gebruik van de Pima Indian Diabetes openbare dataset om de gevoeligheid van een persoon voor diabetes te voorspellen. We richten ons op de nieuwe integratie tussen Data Wrangler en Autopilot om gegevens voor te bereiden en automatisch een ML-model te maken zonder een enkele regel code te schrijven.

De dataset bevat informatie over Pima-Indiase vrouwen van 21 jaar of ouder en bevat verschillende (onafhankelijke) medische voorspellende variabelen en één (afhankelijke) doelvariabele, Uitkomst. Het volgende diagram beschrijft de kolommen in onze dataset.

Kolom Naam	Omschrijving
Zwangerschappen	Het aantal keren zwanger
Glucose	Plasmaglucoseconcentratie in een orale glucosetolerantietest binnen 2 uur
Bloeddruk	Diastolische bloeddruk (mm Hg)
Huiddikte	Dikte triceps huidplooi (mm)
Insuline	2-uurseruminsuline (mu E/ml)
BMI	Body mass index (gewicht in kg/(lengte in m)^2)
DiabetesStamboom	Diabetes stamboom functie
Leeftijd	Leeftijd in jaren
Resultaat	De doelvariabele

De dataset bevat 768 records, met in totaal 9 kenmerken. We slaan deze dataset op in Amazon eenvoudige opslagemmer (Amazon S3) als een CSV-bestand en importeer de CSV vervolgens rechtstreeks in een Data Wrangler-stroom van Amazon S3.

Overzicht oplossingen

Het volgende diagram vat samen wat we in dit bericht bereiken.[KT1]

Gegevenswetenschappers, artsen en andere medische domeinexperts voorzien patiëntgegevens van informatie over glucosespiegels, bloeddruk, body mass index en andere kenmerken die worden gebruikt om de kans op diabetes te voorspellen. Met de dataset in Amazon S3 importeren we de dataset in Data Wrangler om verkennende data-analyse (EDA), dataprofilering, feature-engineering en het splitsen van de dataset in trein en test voor modelbouw en evaluatie uit te voeren.

Vervolgens gebruiken we de nieuwe functie-integratie van Autopilot om snel een model rechtstreeks vanuit de Data Wrangler-interface te bouwen. We kiezen het beste model van Autopilot op basis van het model met de hoogste F-bètascore. Nadat Autopilot het beste model heeft gevonden, voeren we een SageMaker Batch-transformatie baan op de test (holdout) set met de modelartefacten van het beste model voor evaluatie.

Medische experts kunnen nieuwe gegevens aan het gevalideerde model leveren om een ​​voorspelling te krijgen om te zien of een patiënt waarschijnlijk diabetes zal hebben. Met deze inzichten kunnen medische experts vroeg met de behandeling beginnen om de gezondheid en het welzijn van kwetsbare bevolkingsgroepen te verbeteren. Medische experts kunnen de voorspelling van een model ook verklaren door te verwijzen naar de details van het model in Autopilot, omdat ze volledig inzicht hebben in de verklaarbaarheid, prestaties en artefacten van het model. Deze zichtbaarheid, naast de validatie van het model uit de testset, geeft medische experts meer vertrouwen in het voorspellende vermogen van het model.

We leiden u door de volgende stappen op hoog niveau.

1. Importeer de dataset van Amazon S3.
2. Voer EDA en dataprofilering uit met Data Wrangler.
3. Voer feature-engineering uit om uitbijters en ontbrekende waarden te verwerken.
4. Splits gegevens op in trein- en testsets.
5. Train en bouw een model met Autopilot.
6. Test het model op een holdout-monster met een SageMaker-notebook.
7. Analyseer de prestaties van validatie en testset.

Voorwaarden

Voer de volgende vereiste stappen uit:

1. Upload de dataset naar een S3-emmer naar keuze.
2. Zorg ervoor dat u over de benodigde machtigingen beschikt. Voor meer informatie, zie: Aan de slag met Data Wrangler.
3. Stel een SageMaker-domein in dat is geconfigureerd om Data Wrangler te gebruiken. Raadpleeg voor instructies: Aan boord van Amazon SageMaker Domain.

Importeer uw dataset met Data Wrangler

U kunt een Data Wrangler-gegevensstroom in uw ML-workflows integreren om de voorverwerking van gegevens en feature-engineering te vereenvoudigen en te stroomlijnen met weinig tot geen codering. Voer de volgende stappen uit:

1. Maak een nieuw Data Wrangler-stroom.

Als dit de eerste keer is dat u Data Wrangler opent, moet u mogelijk een paar minuten wachten voordat het klaar is.

2. Kies de dataset die is opgeslagen in Amazon S3 en importeer deze in Data Wrangler.

Nadat u de gegevensset hebt geïmporteerd, ziet u het begin van een gegevensstroom in de gebruikersinterface van Data Wrangler. Je hebt nu een stroomschema.

3. Kies het plusteken naast Datatypen En kies Edit om te bevestigen dat Data Wrangler automatisch de juiste gegevenstypen voor uw gegevenskolommen heeft afgeleid.

Als de gegevenstypen niet correct zijn, kunt u deze eenvoudig wijzigen via de gebruikersinterface. Als er meerdere gegevensbronnen aanwezig zijn, kunt u deze samenvoegen of samenvoegen.

We kunnen nu een analyse maken en transformaties toevoegen.

Verkennende gegevensanalyse uitvoeren met het rapport Gegevensinzichten

Verkennende gegevensanalyse is een cruciaal onderdeel van de ML-workflow. We kunnen het nieuwe data-inzichtenrapport van Data Wrangler gebruiken om een ​​beter inzicht te krijgen in het profiel en de distributie van onze data. Het rapport bevat samenvattende statistieken, waarschuwingen voor gegevenskwaliteit, inzichten in doelkolommen, een snel model en informatie over afwijkende en dubbele rijen.

1. Kies het plusteken naast Datatypen En kies Gegevensinzichten verkrijgen.

2. Voor doelwit kolom, kiezen Resultaat.
3. Voor Type probleem, en (optioneel) selecteer Classificatie.
4. Kies creëren.

De resultaten tonen samenvattende gegevens met de datasetstatistieken.

We kunnen ook de verdeling van de gelabelde rijen bekijken met een histogram, een schatting van de verwachte voorspelde kwaliteit van het model met de snelle modelfunctie en een functieoverzichtstabel.

We gaan niet in op de details van het analyseren van het rapport met gegevensinzichten; verwijzen naar Versnel de gegevensvoorbereiding met gegevenskwaliteit en inzichten in Amazon SageMaker Data Wrangler voor meer informatie over hoe u het rapport Gegevensinzichten kunt gebruiken om uw stappen voor gegevensvoorbereiding te versnellen.

Functie-engineering uitvoeren

Nu we de distributie van onze invoerkolommen op een hoog niveau hebben geprofileerd en geanalyseerd, zou de eerste overweging voor het verbeteren van de kwaliteit van onze gegevens kunnen zijn om ontbrekende waarden aan te pakken.

We weten bijvoorbeeld dat nullen (0) voor de Insulin kolom vertegenwoordigen ontbrekende waarden. We zouden de aanbeveling kunnen volgen om de nullen te vervangen door: NaN. Maar bij nader onderzoek zien we dat de minimumwaarde 0 is voor andere kolommen zoals Glucose, BloodPressure, SkinThickness en BMI. We hebben een manier nodig om ontbrekende waarden te verwerken, maar we moeten gevoelig zijn voor kolommen met nullen als geldige gegevens. Laten we kijken hoe we dit kunnen oplossen.

In het Feature Details sectie, het rapport werpt een Vermomde ontbrekende waarde waarschuwing voor de functie Insulin.

Omdat nullen in de Insulin kolom zijn in feite ontbrekende gegevens, gebruiken we de Converteer regex naar ontbrekend transformeren om nulwaarden te transformeren naar leeg (ontbrekende waarden).

1. Kies het plusteken naast Data types En kies Toevoegen transformeren.
2.  Kies Zoeken en bewerken.
3. Voor Transformeren, kiezen Converteer regex naar ontbrekend.
4. Voor Invoer kolommen, kies de kolommen Insulin, Glucose, BloodPressure, SkinThickness en BMI.
5. Voor Patronen, ga naar binnen 0.
6. Kies Voorbeschouwing en Toevoegen om deze stap op te slaan.

De 0 vermeldingen onder Insulin, Glucose, BloodPressure, SkinThickness en BMI ontbreken nu waarden.

Data Wrangler geeft je een paar andere opties om ontbrekende waarden op te lossen.

7. We behandelen ontbrekende waarden door de geschatte mediaan toe te rekenen voor de Glucose kolom.

We willen er ook voor zorgen dat onze functies op dezelfde schaal zijn. We willen niet per ongeluk meer gewicht toekennen aan een bepaald kenmerk alleen omdat het een groter numeriek bereik heeft. We normaliseren onze functies om dit te doen.

8. Voeg een nieuwe Proces numeriek transformeren en kiezen Schaalwaarden.
9. Voor Krabber, kiezen Min-max-scaler.
10. Voor Invoerkolommen, kies de kolommen Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMI en Age.
11. Zet de min naar 0 en Max naar 1.

Dit zorgt ervoor dat onze functies tussen de waarden liggen 0 en 1.

Nu we enkele functies hebben gecreëerd, splitsen we onze dataset op in training en testen voordat we een model bouwen.

Gegevens splitsen in training en testen

In de modelbouwfase van uw ML-workflow test u de doeltreffendheid van uw model door batchvoorspellingen uit te voeren. U kunt een test- of holdout-gegevensset voor evaluatie opzij zetten om te zien hoe uw model presteert door de voorspellingen te vergelijken met de grondwaarheid. Over het algemeen geldt dat als meer van de voorspellingen van het model overeenkomen met de true labels, kunnen we vaststellen dat het model goed presteert.

We gebruiken Data Wrangler om onze dataset te splitsen voor testen. We behouden 90% van onze dataset voor training omdat we een relatief kleine dataset hebben. De overige 10% van onze dataset dient als testdataset. We gebruiken deze dataset om het Autopilot-model verderop in dit bericht te valideren.

We splitsen onze gegevens door te kiezen voor de Gegevens splitsen transformeren en kiezen Gerandomiseerde splitsing als de methode. We duiden 0.9 aan als het splitsingspercentage voor training en 0.1 voor testen.

Nu de gegevenstransformatie en de technische stappen zijn voltooid, zijn we nu klaar om een ​​model te trainen.

Het model trainen en valideren

We kunnen de nieuwe Data Wrangler-integratie met Autopilot gebruiken om een ​​model rechtstreeks vanuit de Data Wrangler-gegevensstroom-UI te trainen.

1. Kies het plusteken naast dataset En kies Trein model.

2. Voor Amazon S3-locatie, specificeer de Amazon S3-locatie waar SageMaker uw gegevens exporteert.

Autopilot gebruikt deze locatie om automatisch een model te trainen, waardoor u tijd bespaart door de uitvoerlocatie van de Data Wrangler-stroom te definiëren en vervolgens de invoerlocatie van de Autopilot-trainingsgegevens te definiëren. Dit zorgt voor een meer naadloze ervaring.

3. Kies Exporteren en trainen modelbouw starten met Autopilot.

Autopilot selecteert automatisch de invoer- en uitvoerlocaties voor trainingsgegevens. U hoeft alleen de doelkolom op te geven en op . te klikken Creëer een experiment om je model te trainen.

Test het model op een holdout-steekproef

Wanneer Autopilot het experiment voltooit, kunnen we de trainingsresultaten bekijken en het beste model verkennen.

1. Kies Modeldetails bekijken voor uw gewenste model, kies dan de Performance tabblad op de pagina met modeldetails.

De Performance tabblad geeft verschillende modelmeettests weer, waaronder een verwarringsmatrix, het gebied onder de precisie/terugroepcurve (AUCPR) en het gebied onder de receiver operating karakteristieken (ROC). Deze illustreren de algehele validatieprestaties van het model, maar ze vertellen ons niet of het model goed zal generaliseren. We moeten nog steeds evaluaties uitvoeren op ongeziene testgegevens om te zien hoe nauwkeurig het model voorspelt of een persoon diabetes zal hebben.

Om ervoor te zorgen dat het model goed genoeg generaliseert, hebben we de teststeekproef apart gehouden voor onafhankelijke steekproeven. We kunnen dit doen in de Data Wrangler flow UI.

2.  Kies het plusteken naast dataset, kiezen Exporteren naaren kies Amazon S3.

3. Geef een Amazon S3-pad op.

We verwijzen naar dit pad wanneer we batchinferentie uitvoeren voor validatie in de volgende sectie.

4. Maak een nieuwe SageMaker-notebook om batch-inferentie uit te voeren op het holdout-monster en de testprestaties te beoordelen. Raadpleeg het volgende: GitHub repo voor een voorbeeld notebook om batchinferentie uit te voeren voor validatie.

Analyseer de prestaties van validatie en testset

Wanneer de batchtransformatie is voltooid, creëren we een verwarringsmatrix om de werkelijke en voorspelde resultaten van de holdout-gegevensset te vergelijken.

We zien 23 echte positieven en 33 echte negatieven van onze resultaten. In ons geval verwijzen echte positieven naar het model dat correct voorspelt dat een persoon diabetes heeft. Daarentegen verwijzen echte negatieven naar het model dat correct voorspelt dat een persoon geen diabetes heeft.

In ons geval zijn precisie en recall belangrijke maatstaven. Precisie meet in wezen alle personen waarvan wordt voorspeld dat ze diabetes hebben, hoeveel hebben echt diabetes? Daarentegen helpt terugroepen bij het meten van alle personen die inderdaad diabetes hebben, hoeveel werden voorspeld diabetes te hebben? U wilt bijvoorbeeld een model met hoge precisie gebruiken omdat u zoveel mogelijk personen wilt behandelen, vooral als de eerste fase van de behandeling geen effect heeft op personen zonder diabetes (dit zijn fout-positieven - diegene die het label hebben terwijl ze dat in feite niet doen).

We plotten ook het gebied onder de ROC-curve (AUC) -grafiek om de resultaten te evalueren. Hoe hoger de AUC, hoe beter het model onderscheid kan maken tussen klassen, wat in ons geval is hoe goed het model presteert bij het onderscheiden van patiënten met en zonder diabetes.

Conclusie

In dit bericht hebben we laten zien hoe u uw gegevensverwerking kunt integreren, met engineering en modelbouw met behulp van Data Wrangler en Autopilot. We hebben benadrukt hoe u eenvoudig een model kunt trainen en afstemmen met Autopilot, rechtstreeks vanuit de gebruikersinterface van Data Wrangler. Met deze integratiefunctie kunnen we snel een model bouwen na het voltooien van feature-engineering, zonder enige code te schrijven. Vervolgens hebben we verwezen naar het beste model van Autopilot om batchvoorspellingen uit te voeren met behulp van de AutoML-klasse met de SageMaker Python SDK.

Low-code en AutoML-oplossingen zoals Data Wrangler en Autopilot elimineren de noodzaak om diepgaande codeerkennis te hebben om robuuste ML-modellen te bouwen. Aan de slag met Data Wrangler vandaag om te ervaren hoe eenvoudig het is om ML-modellen te bouwen met SageMaker-stuurautomaat.

---

Over de auteurs

Peter Chung is Solutions Architect voor AWS en heeft een passie voor het helpen van klanten om inzichten uit hun data te halen. Hij heeft oplossingen ontwikkeld om organisaties te helpen bij het nemen van datagedreven beslissingen in zowel de publieke als de private sector. Hij heeft alle AWS-certificeringen en twee GCP-certificeringen. Hij houdt van koffie, koken, actief blijven en tijd doorbrengen met zijn gezin.

Pradeep Reddy is Senior Product Manager in het SageMaker Low/No Code ML-team, waaronder SageMaker Autopilot, SageMaker Automatic Model Tuner. Naast zijn werk houdt Pradeep van lezen, hardlopen en geeken met computers ter grootte van een handpalm, zoals Raspberry Pi en andere technologie voor domotica.

Arunprasath Shankar is een Artificial Intelligence en Machine Learning (AI / ML) Specialist Solutions Architect met AWS, die wereldwijde klanten helpt hun AI-oplossingen effectief en efficiënt in de cloud te schalen. In zijn vrije tijd kijkt Arun graag naar scifi-films en luistert hij naar klassieke muziek.

Srujan Gopu is een Senior Frontend Engineer in SageMaker Low Code/No Code ML die klanten van Autopilot- en Canvas-producten helpt. Als Srujan niet aan het coderen is, gaat hij graag hardlopen met zijn hond Max, luistert hij naar audioboeken en ontwikkelt hij VR-games.

• Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
• CryptoHawk. Altcoin-radar. Gratis proefversie.
• Bron: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/