A fejlesztői termelékenység növelése: Hogyan használja a Deloitte az Amazon SageMaker Canvast kód nélküli/alacsony kódú gépi tanuláshoz | Amazon webszolgáltatások

A gépi tanulási (ML) modellek gyors felépítésének és üzembe helyezésének képessége egyre fontosabbá válik a mai adatközpontú világban. Az ML modellek felépítése azonban jelentős időt, erőfeszítést és speciális szakértelmet igényel. Az adatgyűjtéstől és tisztítástól a funkciók tervezéséig, a modellépítésig, a hangolásig és a telepítésig az ML projektek gyakran hónapokig tartanak, amíg a fejlesztők befejeződnek. Tapasztalt adattudósokat pedig nehéz találni.

Itt válik elengedhetetlen eszközzé az alacsony kódú és kód nélküli ML szolgáltatások AWS csomagja. Csak néhány kattintással Amazon SageMaker Canvas, akkor kihasználhatja az ML erejét anélkül, hogy kódot kellene írnia.

A Deloitte mély ML-tapasztalattal rendelkező stratégiai rendszerintegrátorként az AWS kód nélküli és alacsony kódú ML-eszközeit használja fel, hogy hatékonyan építsen és telepítsen ML-modelleket a Deloitte ügyfelei és belső eszközei számára. Ezek az eszközök lehetővé teszik a Deloitte számára, hogy ML megoldásokat fejlesszen ki anélkül, hogy kézzel kellene kódolnia a modelleket és a folyamatokat. Ez felgyorsíthatja a projektek teljesítésének ütemezését, és lehetővé teszi a Deloitte számára, hogy több ügyfélmunkát vállaljon.

Az alábbiakban felsorolunk néhány konkrét okot, amiért a Deloitte ezeket az eszközöket használja:

• Hozzáférhetőség nem programozók számára – A kód nélküli eszközök megnyitják az ML modellépítést a nem programozók számára. A csak tartományi szakértelemmel és nagyon csekély kódolási ismeretekkel rendelkező csapattagok ML modelleket fejleszthetnek.
• Az új technológia gyors átvétele – A használatra kész modellek és az AutoML elérhetősége és folyamatos fejlesztése segít abban, hogy a felhasználók folyamatosan élvonalbeli technológiát használjanak.
• Költséghatékony fejlesztés – A kód nélküli eszközök segítenek csökkenteni az ML-modellfejlesztés költségeit és időigényét, így elérhetőbbé teszik az ügyfelek számára, amivel magasabb befektetési megtérülést érhetnek el.

Ezenkívül ezek az eszközök átfogó megoldást kínálnak a gyorsabb munkafolyamatokhoz, lehetővé téve a következőket:

• Gyorsabb adat-előkészítés – A SageMaker Canvas több mint 300 beépített transzformációval és természetes nyelv használatának lehetőségével rendelkezik, amely felgyorsíthatja az adatok előkészítését és az adatok modellépítésre való készenlétét.
• Gyorsabb modellépítés – A SageMaker Canvas használatra kész modelleket, ill Amazon AutoML technológia, amely lehetővé teszi egyedi modellek felépítését a vállalati adatokra, mindössze néhány kattintással. Ez segít felgyorsítani a folyamatot a modellek kódolásához képest az alapoktól.
• Könnyebb telepítés – A SageMaker Canvas lehetőséget kínál a gyártásra kész modellek telepítésére Amazon Sagmaker végpontot néhány kattintással, miközben regisztrálja is Amazon SageMaker Model Registry.

Vishveshwara Vasa, Cloud CTO a Deloitte számára, mondja:

„Az AWS kód nélküli ML szolgáltatásaival, mint például a SageMaker Canvas és a SageMaker Data Wrangler, mi, a Deloitte Consulting új hatékonyságot tártunk fel, 30–40%-kal növelve a fejlesztés sebességét és az üzembe helyezés hatékonyságát az ügyfelek felé irányuló és belső projektjeinkben.”

Ebben a bejegyzésben bemutatjuk egy végponttól végpontig terjedő ML-modell kód nélküli felépítésének erejét a SageMaker Canvas használatával, bemutatva, hogyan építsünk be osztályozási modellt annak előrejelzésére, hogy az ügyfél nem teljesíti-e a kölcsönt. A hitelmulasztások pontosabb előrejelzésével a modell segíthet a pénzügyi szolgáltató vállalatnak kockázatkezelésben, a hitelek megfelelő árazásában, a működés javításában, kiegészítő szolgáltatások nyújtásában és versenyelőny megszerzésében. Bemutatjuk, hogyan tud a SageMaker Canvas gyorsan áttérni a nyers adatokról egy telepített bináris osztályozási modellre a hitel-nemteljesítés előrejelzéséhez.

A SageMaker Canvas átfogó adat-előkészítési lehetőségeket kínál Amazon SageMaker Data Wrangler a SageMaker Canvas munkaterületen. Ez lehetővé teszi a szabványos ML-munkafolyamat összes fázisát, az adatok előkészítésétől a modellépítésig és -telepítésig, egyetlen platformon.

Az adatok előkészítése jellemzően az ML munkafolyamat legidőigényesebb szakasza. Az adatok előkészítésére fordított idő csökkentése érdekében a SageMaker Canvas lehetővé teszi az adatok több mint 300 beépített transzformációval történő előkészítését. Alternatív megoldásként természetes nyelvű felszólításokat írhat, például „dobja el a c oszlop sorait, amelyek kiugró értékek”, és megjelenik az ehhez az adat-előkészítési lépéshez szükséges kódrészlet. Ezután néhány kattintással hozzáadhatja ezt az adat-előkészítési munkafolyamathoz. Ebben a bejegyzésben is megmutatjuk, hogyan kell ezt használni.

Megoldás áttekintése

A következő diagram a SageMaker alacsony kódú és kód nélküli eszközeit használó hitel alapértelmezett besorolási modelljének architektúráját írja le.

Kezdve egy adatkészlettel, amely a hitel-nemteljesítési adatok részleteit tartalmazza Amazon egyszerű tárolási szolgáltatás (Amazon S3), a SageMaker Canvast használjuk, hogy betekintést nyerjünk az adatokba. Ezután funkciótervezést hajtunk végre, hogy olyan átalakításokat alkalmazzunk, mint a kategorikus jellemzők kódolása, a nem szükséges funkciók eldobása stb. Ezután a megtisztított adatokat visszatároljuk az Amazon S3-ba. A megtisztított adatkészletet használjuk osztályozási modell létrehozására a hitel-nemteljesítés előrejelzésére. Ezután van egy gyártásra kész modellünk a következtetéshez.

Előfeltételek

Győződjön meg arról, hogy a következők előfeltételek teljesek, és engedélyezte a Canvas Használatra kész modellek opciót a SageMaker tartomány beállításakor. Ha már beállította a domainjét, módosítsa a domain beállításait és menj Vászonbeállítások hogy engedélyezze a Engedélyezze a Canvas használatra kész modelleket választási lehetőség. Ezenkívül állítsa be és hozza létre a SageMaker Canvas alkalmazást, majd kérje és engedélyezze Antropikus Claude modell hozzáférés on Amazon alapkőzet.

adatbázisba

Nyilvános adatkészletet használunk kacagni amely információkat tartalmaz a pénzügyi kölcsönökről. Az adatkészlet minden sora egyetlen kölcsönt jelent, és az oszlopok az egyes tranzakciók részleteit tartalmazzák. Töltse le ezt az adatkészletet, és tárolja az Ön által választott S3 tárolóban. Az alábbi táblázat felsorolja az adatkészlet mezőit.

Oszlop neve	Adattípus	Leírás
Person_age	Egész szám	A kölcsönt felvevő személy életkora
Person_income	Egész szám	A hitelfelvevő jövedelme
Person_home_ownership	Húr	Lakástulajdon státusza (saját vagy bérelt)
Person_emp_length	Decimális	Munkaviszonyban töltött évek száma
Loan_intent	Húr	A kölcsönzés oka (személyi, egészségügyi, oktatási stb.)
Loan_grade	Húr	Hitel fokozat (A-E)
Loan_int_rate	Decimális	Kamatláb
Loan_amnt	Egész szám	A kölcsön teljes összege
Loan_status	Egész szám	Célzás (függetlenül attól, hogy alapértelmezett volt-e vagy sem)
Loan_percent_income	Decimális	A kölcsön összege a jövedelem százalékához viszonyítva
Cb_person_default_on_file	Egész szám	Korábbi alapértelmezett beállítások (ha vannak)
Cb_person_credit_history_length	Húr	Hiteltörténetük hossza

Egyszerűsítse az adatok előkészítését a SageMaker Canvas segítségével

Az adatok előkészítése az ML projektek erőfeszítéseinek akár 80%-át is igénybe veheti. Az adatok megfelelő előkészítése jobb modellteljesítményhez és pontosabb előrejelzésekhez vezet. A SageMaker Canvas lehetővé teszi az adatok interaktív feltárását, átalakítását és előkészítését SQL vagy Python kód írása nélkül.

Az adatok előkészítéséhez hajtsa végre a következő lépéseket:

1. A SageMaker Canvas konzolon válassza a lehetőséget Adatok előkészítése a navigációs ablaktáblában.
2. A Teremt menüben válasszon dokumentum.
3. A Adatkészlet neve, adja meg az adatkészlet nevét.
4. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt.
   
5. Válassza ki az Amazon S3-at adatforrásként, és csatlakoztassa az adatkészlethez.
6. Az adatkészlet betöltése után hozzon létre egy adatfolyamot az adatkészlet használatával.
   
7. Váltson az elemzések lapra, és hozzon létre a Adatminőségi és betekintési jelentés.

Ez egy ajánlott lépés a bemeneti adatkészlet minőségének elemzéséhez. Ennek a jelentésnek a kimenete azonnali, ML-alapú betekintést nyújt, például az adatok torzítását, az adatok ismétlődését, a hiányzó értékeket és még sok mást. A következő képernyőképen egy minta látható a hiteladatkészlethez generált jelentésből.

Azáltal, hogy ezeket a betekintést az Ön nevében generálja, a SageMaker Canvas olyan problémákat kínál az adatokkal kapcsolatban, amelyeket orvosolni kell az adat-előkészítési szakaszban. A SageMaker Canvas által azonosított két legfontosabb probléma kiválasztásához kódolnia kell a kategorikus jellemzőket, és el kell távolítania az ismétlődő sorokat, hogy a modell minősége jó legyen. Mindkettőt és még sok mást is megtehet a SageMaker Canvas vizuális munkafolyamatában.

1. Először egy-hot kódoljuk a loan_intent, loan_gradeés person_home_ownership
2. Eldobhatod a cb_person_cred_history_length oszlopban, mert ennek az oszlopnak van a legkevesebb előrejelző ereje, amint azt az Adatminőség és betekintési jelentés is mutatja.
   
   A SageMaker Canvas nemrég hozzáadta a Csevegés az adatokkal választási lehetőség. Ez a szolgáltatás az alapmodellek erejét használja fel a természetes nyelvi lekérdezések értelmezésére és Python-alapú kód létrehozására a szolgáltatástervezési átalakítások alkalmazásához. Ezt a funkciót az Amazon Bedrock hajtja, és úgy konfigurálható, hogy teljes egészében a VPC-n fusson, így az adatok soha nem hagyják el a környezetet.
3. Ha ezt a funkciót szeretné használni az ismétlődő sorok eltávolításához, válassza a melletti pluszjelet Dobja el az oszlopot átalakítani, majd választani Csevegés az adatokkal.
   
4. Írja be a lekérdezést természetes nyelven (például „Az ismétlődő sorok eltávolítása az adatkészletből”).
5. Tekintse át a generált transzformációt, és válassza ki Hozzáadás a lépésekhez hogy hozzáadjuk az átalakítást az áramláshoz.
   
6. Végül exportálja ezen átalakítások kimenetét az Amazon S3-ba vagy opcionálisan Amazon SageMaker Feature Store hogy ezeket a funkciókat több projektben is használhassa.

Egy másik lépést is hozzáadhat egy Amazon S3 célhely létrehozásához az adatkészlethez, és méretezheti a munkafolyamatot egy nagy adatkészlethez. A következő diagram a SageMaker Canvas adatfolyamot mutatja vizuális átalakítások hozzáadása után.

A SageMaker Canvas vizuális munkafolyamatainak használatával elvégezte a teljes adatfeldolgozási és szolgáltatástervezési lépést. Ez segít csökkenteni azt az időt, amelyet az adatmérnök a tisztítással és az adatok modellfejlesztésre való előkészítésével tölt hetekről napokra. A következő lépés az ML modell felépítése.

Építsen modellt a SageMaker Canvas segítségével

Az Amazon SageMaker Canvas kód nélküli, végpontok közötti munkafolyamatot biztosít a bináris osztályozási modell felépítéséhez, elemzéséhez, teszteléséhez és üzembe helyezéséhez. Hajtsa végre a következő lépéseket:

1. Hozzon létre egy adatkészletet a SageMaker Canvasban.
2. Adja meg az adatok exportálásához használt S3 helyet, vagy azt az S3 helyet, amely a SageMaker Canvas-feladat célhelyén található.
   
   Most készen áll a modell megépítésére.
3. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Modellek a navigációs ablakban, és válassza ki Új modell.
4. Nevezze el a modellt, és válassza ki Prediktív elemzés mint a modell típusa.
5. Válassza ki az előző lépésben létrehozott adatkészletet.
   
   A következő lépés a modell típusának konfigurálása.
6. Válassza ki a céloszlopot, és a modell típusa automatikusan így lesz beállítva 2 kategóriás előrejelzés.
7. Válassza ki az építési típust, Szabványos felépítés or Gyors felépítés.
   
   A SageMaker Canvas azonnal megjeleníti a várható felépítési időt, amint elkezdi építeni a modellt. A szabványos felépítés általában 2–4 órát vesz igénybe; kisebb adatkészletekhez használhatja a Gyors felépítés opciót, amely mindössze 2–15 percet vesz igénybe. Ennél az adatkészletnél körülbelül 45 percet vesz igénybe a modell felépítésének befejezése. A SageMaker Canvas folyamatosan tájékoztatja Önt az építési folyamat előrehaladásáról.
8. A modell elkészítése után megtekintheti a modell teljesítményét.
   
   A SageMaker Canvas a modell típusától függően különféle mérőszámokat kínál, mint például a pontosság, a precizitás és az F1 pontszám. A következő képernyőkép a bináris osztályozási modell pontosságát és néhány további speciális mérőszámot mutatja.
9. A következő lépés a teszt-előrejelzések elkészítése.
   A SageMaker Canvas lehetővé teszi, hogy kötegelt előrejelzéseket készítsen több bemenetre vagy egyetlen előrejelzésre a modell minőségének gyors ellenőrzése érdekében. A következő képernyőképen egy mintakövetkeztetés látható.
   
10. Az utolsó lépés a betanított modell telepítése.
    A SageMaker Canvas a SageMaker-végpontokon telepíti a modellt, és most már van egy éles modell, amely készen áll a következtetések levonására. A következő képernyőkép a telepített végpontot mutatja.
    

A modell üzembe helyezése után az AWS SDK-n keresztül hívhatja meg, ill AWS parancssori interfész (AWS CLI), vagy indítson API-hívásokat bármely választott alkalmazáshoz, hogy magabiztosan előre jelezze a potenciális hitelfelvevő kockázatát. A modell tesztelésével kapcsolatos további információkért lásd: Valós idejű végpontok meghívása.

Tisztítsuk meg

A további költségek elkerülése érdekében jelentkezzen ki a SageMaker Canvasból or törölje a SageMaker tartományt hogy létrejött. Ezenkívül törölje a SageMaker modell végpontját és a törölje az Amazon S3-ra feltöltött adatkészletet.

Következtetés

A kód nélküli ML felgyorsítja a fejlesztést, leegyszerűsíti a telepítést, nem igényel programozási ismereteket, növeli a szabványosítást és csökkenti a költségeket. Ezek az előnyök vonzóvá tették a kód nélküli ML-t a Deloitte számára ML-szolgáltatási kínálatának javítása érdekében, és 30-40%-kal lerövidítették az ML-modell felépítési ütemtervét.

A Deloitte stratégiai globális rendszerintegrátor több mint 17,000 XNUMX minősített AWS-alkalmazóval szerte a világon. Továbbra is emeli a lécet az AWS kompetenciaprogramban való részvételével 25 kompetencia, beleértve a gépi tanulást. Kapcsolódjon a Deloitte-hoz hogy elkezdje használni az AWS kód nélküli és alacsony kódú megoldásait a vállalat számára.

---

A szerzőkről

Chida Sadayappan vezeti a Deloitte felhőalapú AI/gépi tanulási gyakorlatát. Erős gondolati vezetői tapasztalattal rendelkezik a megbízásokban, és virágzik a vezetői érdekelt felek támogatásában a teljesítményjavítási és modernizációs célok elérésében az AI/ML segítségével az iparágakban. Chida sorozatos technológiai vállalkozó, és lelkes közösségépítő a startup és fejlesztői ökoszisztémákban.

Kuldeep Singh, az AWS globális AI/ML-vezetője, több mint 20 éves technológiával, ügyesen ötvözi értékesítési és vállalkozói szakértelmét az AI, az ML és a kiberbiztonság mélyreható megértésével. Kiválóan teljesít stratégiai globális partnerségek kialakításában, transzformatív megoldások és stratégiák kidolgozásában a különböző iparágakban, különös tekintettel a generatív AI-ra és GSI-re.

Kasi Muthu vezető partner megoldások tervezője, aki az adatokra és az AI/ML-re összpontosít a Houston, TX székhelyű AWS-nél. Szenvedélyesen segít partnereinek és ügyfeleinek felhőalapú adatútjuk felgyorsításában. Megbízható tanácsadó ezen a területen, és rengeteg tapasztalattal rendelkezik a felhőben skálázható, rugalmas és teljesítőképes munkaterhelések tervezésében és felépítésében. A munkán kívül szívesen tölt időt a családjával.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/