Készítsen adatokat az Amazon EMR-ből gépi tanuláshoz az Amazon SageMaker Data Wrangler segítségével

Az adat-előkészítés a gépi tanulási (ML) folyamatok egyik fő összetevője. Valójában a becslések szerint az adatokkal foglalkozó szakemberek idejük körülbelül 80 százalékát az adatok előkészítésével töltik. Ezen az intenzív versenypiacon a csapatok szeretnének elemezni az adatokat, és gyorsan kívánnak értelmesebb betekintést nyerni. Az ügyfelek hatékonyabb és vizuálisabb módszereket alkalmaznak az adatfeldolgozó rendszerek felépítésére.

Amazon SageMaker Data Wrangler leegyszerűsíti az adat-előkészítési és funkciótervezési folyamatot, hetekről percekre csökkenti az időt azáltal, hogy egyetlen vizuális felületet biztosít az adattudósok számára az adatok kiválasztásához, tisztításához, szolgáltatások létrehozásához és az adatok előkészítésének automatizálásához az ML-munkafolyamatokban kód írása nélkül. Több adatforrásból is importálhat adatokat, mint pl Amazon Simple Storage Service (Amazon S3), Amazon Athéné, Amazon RedShift, és Hópehely. Most már használhatod is Amazon EMR adatforrásként a Data Wranglerben az adatok könnyű előkészítéséhez az ML-hez.

A nagy mennyiségű adat elemzése, átalakítása és előkészítése minden adattudományi és ML munkafolyamat alapvető lépése. Az adatszakértők, például az adattudósok ki akarják használni a hatalmat Apache Spark, Kaptárés Gyors Amazon EMR-en fut a gyors adat-előkészítés érdekében, de a tanulási görbe meredek. Ügyfeleink azt akarták, hogy az Amazon EMR-hez kapcsolódva ad hoc SQL-lekérdezéseket tudjanak futtatni Hive-on vagy Presto-n a belső metastore vagy a külső metastore (pl. AWS Glue Data Catalog) adatainak lekérdezéséhez, és az adatok néhány kattintással történő előkészítéséhez.

Ez a blogcikk megvitatja, hogy az ügyfelek most hogyan találhatnak meg és csatlakozhatnak a meglévő Amazon EMR-fürtökhöz a SageMaker Data Wrangler vizuális élményével. Vizuálisan ellenőrizhetik az adatbázist, a táblákat, a sémát és a Presto-lekérdezéseket, hogy felkészüljenek a modellezésre vagy jelentéskészítésre. Ezután egy vizuális interfész segítségével gyorsan profilozhatják az adatokat, hogy felmérjék az adatminőséget, azonosítsák a rendellenességeket vagy a hiányzó vagy hibás adatokat, valamint információkat és javaslatokat kapjanak a problémák megoldására vonatkozóan. Ezenkívül a Spark által támogatott több mint egy tucat további beépített elemzés és 300+ extra beépített átalakítás segítségével elemezhetik, tisztíthatják és tervezhetik a funkciókat anélkül, hogy egyetlen kódsort is meg kellene írniuk.

Megoldás áttekintése 

Az adatszakértők a SageMaker Studio konfigurációival gyorsan megtalálhatják és csatlakozhatnak a meglévő EMR-fürtökhöz. Ezenkívül az adatszakértők néhány kattintással megszüntethetik az EMR-fürtöket A SageMaker Studio előre definiált sablonokkal és igény szerinti EMR-fürtök létrehozásával. Ezen eszközök segítségével az ügyfelek közvetlenül a SageMaker Studio univerzális notebookba ugorhatnak, és kódot írhatnak az Apache Sparkban, a Hive-ban, a Prestoban vagy a PySparkban, hogy nagyarányú adat-előkészítést végezhessenek. Az adatok előkészítéséhez szükséges Spark-kód létrehozásának meredek tanulási görbéje miatt nem minden adatszakértő élvezi ezt az eljárást. Az Amazon EMR-rel az Amazon SageMaker Data Wrangler adatforrásaként most gyorsan és egyszerűen csatlakozhat az Amazon EMR-hez anélkül, hogy egyetlen kódsort is írna.

A következő diagram a megoldásban használt különböző összetevőket mutatja be.

Két hitelesítési lehetőséget mutatunk be, amelyek segítségével kapcsolatot lehet létrehozni az EMR-fürttel. Minden lehetőséghez egyedi köteget telepítünk AWS felhőképződés sablonok.

A CloudFormation sablon a következő műveleteket hajtja végre az egyes opciók kiválasztásakor:

• Létrehoz egy Studio tartományt csak VPC módban a nevű felhasználói profillal együtt studio-user.
• Építőelemeket hoz létre, beleértve a VPC-t, végpontokat, alhálózatokat, biztonsági csoportokat, EMR-fürtöt és egyéb szükséges erőforrásokat a példák sikeres futtatásához.
• Az EMR-fürt esetében összekapcsolja az AWS ragasztóadat-katalógust az EMR Hive és a Presto metatárolójaként, létrehoz egy Hive-táblázatot az EMR-ben, és kitölti azt egy egyesült államokbeli repülőtéri adatkészletből származó adatokkal.
• Az LDAP CloudFormation sablonhoz létrehoz egy Amazon Elastic Compute Cloud (Amazon EC2) példányt az LDAP kiszolgáló hosztolására a Hive és Presto LDAP felhasználó hitelesítéséhez.

1. lehetőség: Lightweight Access Directory Protocol

Az LDAP-hitelesítési CloudFormation sablonhoz egy Amazon EC2-példányt biztosítunk egy LDAP-kiszolgálóval, és beállítjuk az EMR-fürtöt, hogy ezt a kiszolgálót használja a hitelesítéshez. Ez TLS engedélyezve van.

2. lehetőség: No-Auth

A No-Auth hitelesítési CloudFormation sablonban szabványos EMR-fürtöt használunk, amelynél nincs engedélyezve a hitelesítés.

Telepítse az erőforrásokat az AWS CloudFormation segítségével

A környezet üzembe helyezéséhez hajtsa végre a következő lépéseket:

1. Jelentkezzen be a AWS felügyeleti konzol mint egy AWS Identity and Access Management (IAM) felhasználó, lehetőleg adminisztrátor.
2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Indítsa el a Stack alkalmazást a CloudFormation sablon elindításához a megfelelő hitelesítési forgatókönyvhöz. Győződjön meg arról, hogy a CloudFormation-verem üzembe helyezéséhez használt régiónak nincs meglévő Studio-tartománya. Ha már rendelkezik Studio domainnel egy régióban, választhat egy másik régiót.
   • LDAP Launch Stack
     
   • Nincs Auth Launch Stack
     
3. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
4. A Verem neve, írjon be egy nevet a veremnek (például dw-emr-blog).
5. A többi értéket hagyja alapértelmezettként.
6. A folytatáshoz válassza a lehetőséget Következő a verem részleteinek oldaláról és a verembeállításokról. Az LDAP-verem a következő hitelesítő adatokat használja:
   • felhasználónév: david
   • jelszó:  welcome123
7. Az áttekintési oldalon jelölje be a jelölőnégyzetet annak megerősítéséhez, hogy az AWS CloudFormation létrehozhat-e erőforrásokat.
8. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Verem létrehozása. Várjon, amíg a verem állapota megváltozik CREATE_IN_PROGRESS nak nek CREATE_COMPLETE. A folyamat általában 10-15 percig tart.

Megjegyzés: Ha több köteget szeretne kipróbálni, kövesse a Tisztítás szakasz lépéseit. Ne feledje, hogy muszáj törölje a SageMaker Studio tartományt mielőtt a következő verem sikeresen elindítható lenne.

Állítsa be az Amazon EMR-t adatforrásként a Data Wranglerben

Ebben a részben a Data Wranglerben adatforrásként a CloudFormation sablonon keresztül létrehozott meglévő Amazon EMR-fürthöz való csatlakozással foglalkozunk.

Hozzon létre egy új adatfolyamot

Az adatfolyam létrehozásához hajtsa végre a következő lépéseket:

1. A SageMaker konzolon válassza a lehetőséget Amazon SageMaker Studio a navigációs ablaktáblában.
2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Nyitott stúdió.
3. Az Indítóban válassza a lehetőséget Új adatfolyam. Alternatív megoldásként a filé legördülő menüben válassza az Új, majd a Data Wrangler-folyamat lehetőséget.
4. Egy új folyamat létrehozása eltarthat néhány percig. Az áramlás létrehozása után megjelenik a Adatok importálása cimre.

Adja hozzá az Amazon EMR-t adatforrásként a Data Wranglerben

Az Adatforrás hozzáadása menüben válassza a lehetőséget Amazon EMR.

Böngésszen az összes EMR-fürt között, amelyek megtekintéséhez a Studio-végrehajtási szerepkör rendelkezik engedéllyel. Két lehetőség közül választhat a fürthöz való csatlakozáshoz; az egyik interaktív felhasználói felületen keresztül történik, a másik pedig az első hozzon létre egy titkot az AWS Secrets Manager segítségével JDBC URL-lel, beleértve az EMR-fürt információkat is, majd adja meg a tárolt AWS titkos ARN-t a felhasználói felületen a Presto-hoz való csatlakozáshoz. Ebben a blogban az első lehetőséget követjük. Válassza ki az alábbi fürtök egyikét, amelyet használni szeretne. Kattintson Következő, és válassza ki végpontok.

választ Gyors, kapcsolodni amazon EMR, hozzon létre egy nevet a kapcsolat azonosításához, és kattintson a gombra Következő.

választ Hitelesítés írja be az LDAP vagy a No Authentication parancsot, és kattintson a gombra Csatlakozás.

• A Lightweight Directory Access Protocol (LDAP) esetében adja meg a hitelesítéshez szükséges felhasználónevet és jelszót.

• Hitelesítés nélkül csatlakozik az EMR Presto szolgáltatáshoz anélkül, hogy megadná a VPC-n belüli felhasználói hitelesítő adatokat. Lépjen be a Data Wrangler SQL Explorer oldalára az EMR-hez.

A csatlakozás után interaktívan megtekintheti az adatbázisfát és a tábla előnézetét vagy sémáját. Lekérdezheti, felfedezheti és megjelenítheti az EMR-adatokat is. Az előnézethez alapértelmezés szerint 100 rekordot fog látni. Testreszabott lekérdezéshez megadhat SQL utasításokat a lekérdezésszerkesztő mezőben, és miután rákattint a gombra futás gombot, a lekérdezés az EMR Presto motorján fut le.

A Lekérdezés megszakítása gomb lehetővé teszi a folyamatban lévő lekérdezések törlését, ha azok szokatlanul sokáig tartanak.

Az utolsó lépés az importálás. Ha készen áll a lekérdezett adatokkal, lehetősége van frissíteni az adatkiválasztás mintavételi beállításait a mintavételi típusnak (FirstK, Random vagy Stratified) és a mintavételi méretnek megfelelően az adatok Data Wranglerbe történő importálásához.

Kattints import. Az előkészítő oldal betöltődik, lehetővé téve különféle átalakítások és alapvető elemzések hozzáadását az adatkészlethez.

A felső képernyőről lépjen a DataFlow elemre, és adjon hozzá további lépéseket a folyamathoz, ha szükséges az átalakításokhoz és elemzésekhez. Futtathat egy adatbetekintési jelentést az adatminőségi problémák azonosításához, és javaslatokat kaphat a problémák megoldására. Nézzünk néhány példa transzformációt.

Lépjen az adatfolyamba, és ezt a képernyőt kell látnia. Azt mutatja, hogy az EMR-t használjuk adatforrásként a Presto csatlakozó segítségével.

Kattintson az Adattípusok mellett jobbra található + gombra, és válassza az Átalakítás hozzáadása lehetőséget. Amikor ezt megteszi, a következő képernyőnek kell felbukkannia:

Vizsgáljuk meg az adatokat. Látjuk, hogy számos funkcióval rendelkezik, mint pl iata_code, repülőtér, város, voltak, ország, szélességés hosszúság. Láthatjuk, hogy a teljes adatkészlet egy országban, az Egyesült Államokban található, és hiányoznak a szélességi és hosszúsági értékek. Az adatok hiánya torzíthatja a paraméterek becslését, és csökkentheti a minták reprezentativitását, ezért el kell végeznünk néhány beszámítás és kezelje a hiányzó értékeket az adatkészletünkben.

Kattintsunk a Add hozzá a lépést gombot a jobb oldali navigációs sávon. Válassza ki Fogantyú hiányzik. A konfigurációk a következő képernyőképeken láthatók. Alatt Átalakítás, válasszuk Impute. Válassza ki az oszlop típusát mint Numerikus és oszlopnevek Szélesség és a Hosszúság. A hiányzó értékeket hozzávetőleges medián érték felhasználásával számítjuk ki. Tekintse meg és adja hozzá az átalakítást.

Nézzünk most egy másik transzformációs példát. Gépi tanulási modell készítésekor a rendszer eltávolítja az oszlopokat, ha azok redundánsak vagy nem segítik a modellt. Az oszlop eltávolításának legáltalánosabb módja az eldobás. Adatkészletünkben a funkció ország elvehető, mivel az adatkészlet kifejezetten az Egyesült Államok repülőtéri adataira vonatkozik. Lássuk, hogyan tudjuk kezelni az oszlopokat. Kattintsunk a Lépés hozzáadása gombot a jobb oldali navigációs sávon. Válassza ki Oszlopok kezelése. A konfigurációk a következő képernyőképeken láthatók. Alatt Átalakításválassza Dobja el az oszlopot, és al Eldobandó oszlopokválassza Ország.

Folytathatja a lépések hozzáadását az adatkészlethez szükséges különböző átalakítások alapján. Térjünk vissza az adatfolyamunkhoz. Most még két blokkot fog látni, amelyek az általunk végrehajtott átalakításokat mutatják. A mi forgatókönyvünkben láthatja Impute és a Dobja el az oszlopot.

Az ML gyakorlói sok időt töltenek azzal, hogy megalkossák a funkciómérnöki kódot, alkalmazzák azt a kezdeti adatkészleteikre, modelleket tanítanak a tervezett adatkészletekre, és értékelik a modell pontosságát. Tekintettel a munka kísérleti jellegére, még a legkisebb projekt is többszörös iterációhoz vezet. Ugyanazt a szolgáltatásfejlesztő kódot gyakran újra és újra lefuttatják, időt és számítási erőforrásokat pazarolva ugyanazon műveletek megismétlésére. Nagy szervezetekben ez még nagyobb termelékenységveszteséget okozhat, mivel a különböző csapatok gyakran ugyanazokat a munkákat hajtják végre, vagy akár duplikált szolgáltatásmérnöki kódot is írnak, mivel nem ismerik a korábbi munkát. A funkciók újrafeldolgozásának elkerülése érdekében az átalakított szolgáltatásainkat most exportáljuk ide Amazon Feature Store. Kattintsunk a + gombot jobbra Dobja el az oszlopot. Válassza ki a Exportálás És válasszon Sagemaker Feature Store (a Jupyter notebookon keresztül).

Könnyen exportálhatja a generált funkciókat SageMaker Feature Store úti célként történő kiválasztásával. A funkciókat elmentheti egy meglévő szolgáltatáscsoportba, vagy létrehozhat egy újat.

A Data Wrangler segítségével most szolgáltatásokat hoztunk létre, és ezeket a funkciókat egyszerűen tároltuk a Feature Store-ban. Példamunkafolyamatot mutattunk be a Data Wrangler UI funkciótervezésére. Ezután közvetlenül a Data Wranglerből mentettük ezeket a funkciókat a Feature Store-ba egy új funkciócsoport létrehozásával. Végül lefuttattunk egy feldolgozási feladatot, hogy ezeket a funkciókat beépítsük a Feature Store-ba. A Data Wrangler és a Feature Store együtt segített automatikus és megismételhető folyamatok felépítésében, hogy egyszerűsítsük adat-előkészítési feladatainkat minimális kódolási igény mellett. A Data Wrangler rugalmasságot biztosít számunkra, hogy ugyanazt az adat-előkészítési folyamatot automatizáljuk ütemezett munkák. A SageMaker-folyamatokkal (a Jupyter Notebookon keresztül) automatizálhatjuk a képzést vagy a szolgáltatástervezést, és a SageMaker következtetési folyamattal (a Jupyter Notebookon keresztül) telepíthetjük a következtetési végpontra.

Tisztítsuk meg

Ha a Data Wranglerrel végzett munka befejeződött, válassza ki a CloudFormation oldalon létrehozott köteget, és törölje azt, hogy elkerülje a további költségeket.

Következtetés

Ebben a bejegyzésben áttekintettük, hogyan állíthatjuk be az Amazon EMR-t adatforrásként a Data Wranglerben, hogyan lehet átalakítani és elemezni egy adatkészletet, és hogyan exportálhatjuk az eredményeket egy adatfolyamba Jupyter notebookban való használatra. Miután megjelenítettük adatkészletünket a Data Wrangler beépített analitikai funkcióival, tovább javítottuk adatfolyamunkat. Jelentős az a tény, hogy egyetlen kódsor írása nélkül készítettünk adat-előkészítő folyamatot.

A Data Wrangler használatának megkezdéséhez lásd: Készítsen ML adatokat az Amazon SageMaker Data Wrangler segítségével, és tekintse meg a legfrissebb információkat a Data Wrangler termékoldal.

---

A szerzőkről

Ajjay Govindaram az AWS vezető megoldási építésze. Stratégiai ügyfelekkel dolgozik, akik AI/ML-t használnak összetett üzleti problémák megoldására. Tapasztalata abban rejlik, hogy műszaki irányítást, valamint tervezési segítséget nyújt a szerény és nagyszabású AI/ML alkalmazások telepítéséhez. Ismerete az alkalmazás-architektúrától a big data-ig, az analitikáig és a gépi tanulásig terjed. Szívesen hallgat zenét pihenés közben, tapasztal a szabadban, és szeretivel tölti az időt.

Isha Dua Senior Solutions Architect, székhelye a San Francisco Bay Area. Céljaik és kihívásaik megértésével segíti az AWS vállalati ügyfeleit a növekedésben, és útmutatást ad nekik, hogyan építhetik fel alkalmazásaikat a felhőben natív módon, miközben gondoskodnak azok rugalmasságáról és méretezhetőségéről. Szenvedélyesen rajong a gépi tanulási technológiákért és a környezeti fenntarthatóságért.

Rui Jiang szoftverfejlesztő mérnök az AWS-nél, New York-i székhelyű. Tagja a SageMaker Data Wrangler csapatának, amely segít mérnöki megoldások kidolgozásában az AWS vállalati ügyfelei számára üzleti igényeik kielégítése érdekében. A munkán kívül szívesen fedez fel új ételeket, szereti az életmódot, a szabadtéri tevékenységeket és az utazásokat.