Arendaja tootlikkuse suurendamine: kuidas Deloitte kasutab Amazon SageMaker Canvast koodita/madala koodiga masinõppeks | Amazoni veebiteenused

Võimalus kiiresti luua ja juurutada masinõppe (ML) mudeleid muutub tänapäeva andmepõhises maailmas üha olulisemaks. ML-mudelite loomine nõuab aga märkimisväärset aega, vaeva ja eriteadmisi. Alates andmete kogumisest ja puhastamisest kuni funktsioonide projekteerimise, mudelite loomise, häälestamise ja juurutamiseni – ML-projektide valmimine võtab arendajatel sageli kuid. Ja kogenud andmeteadlasi võib olla raske leida.

Siin muutub oluliseks tööriistaks madala koodi ja koodita ML-teenuste AWS-i komplekt. Kasutades vaid mõne klõpsuga Amazon SageMakeri lõuend, saate ML-i võimalusi ära kasutada ilma koodi kirjutamata.

Suure ML-kogemusega strateegilise süsteemiintegraatorina kasutab Deloitte AWS-i koodita ja madala koodiga ML-tööriistu, et tõhusalt luua ja juurutada Deloitte'i klientide ja sisemiste varade jaoks ML-mudeleid. Need tööriistad võimaldavad Deloitte'il arendada ML-lahendusi, ilma et oleks vaja mudeleid ja torujuhtmeid käsitsi kodeerida. See võib aidata kiirendada projekti elluviimise tähtaegu ja võimaldada Deloittel võtta rohkem klienditööd.

Järgnevalt on toodud mõned konkreetsed põhjused, miks Deloitte neid tööriistu kasutab.

• Juurdepääs mitteprogrammeerijatele – Koodivabad tööriistad avavad ML-mudeli loomise mitteprogrammeerijatele. Meeskonnaliikmed, kellel on vaid domeenialased teadmised ja väga vähesed kodeerimisoskused, saavad arendada ML-mudeleid.
• Uue tehnoloogia kiire kasutuselevõtt – Kasutusvalmis mudelite ja AutoML-i kättesaadavus ja pidev täiustamine aitab tagada, et kasutajad kasutavad pidevalt tipptasemel tehnoloogiat.
• Kulusäästlik arendus – Koodivabad tööriistad aitavad vähendada ML-mudeli arendamiseks kuluvat kulusid ja aega, muutes selle klientidele kättesaadavamaks, mis võib aidata neil saavutada suuremat investeeringutasuvust.

Lisaks pakuvad need tööriistad kõikehõlmavat lahendust kiiremate töövoogude jaoks, võimaldades järgmist.

• Kiirem andmete ettevalmistamine – SageMaker Canvasil on üle 300 sisseehitatud teisenduse ja võimalus kasutada loomulikku keelt, mis võib kiirendada andmete ettevalmistamist ja andmete valmistamist mudelite loomiseks.
• Kiirem mudeli koostamine – SageMaker Canvas pakub kasutusvalmis mudeleid või Amazon AutoML tehnoloogia, mis võimaldab luua ettevõtte andmetele kohandatud mudeleid vaid mõne klõpsuga. See aitab protsessi kiirendada võrreldes mudelite kodeerimisega algusest peale.
• Lihtsam kasutuselevõtt – SageMaker Canvas pakub võimalust juurutada tootmisvalmis mudeleid Amazon Sagmaker lõpp-punkti mõne klõpsuga, samal ajal registreerides selle Amazon SageMakeri mudeliregister.

Vishveshwara Vasa, Deloitte'i pilvetehnoloogia juht, ütleb:

„AWS-i koodita ML-teenuste, nagu SageMaker Canvas ja SageMaker Data Wrangler, abil oleme Deloitte Consultingis avanud uusi tõhususi, suurendades arenduskiirust ja juurutamise tootlikkust 30–40% meie klientidele suunatud ja sisemistes projektides.

Selles postituses demonstreerime SageMaker Canvase abil täieliku koodita ML-i mudeli loomise võimsust, näidates teile, kuidas koostada klassifitseerimismudel, et ennustada, kas klient jätab laenu võlgu. Laenuhäireid täpsemalt prognoosides aitab mudel finantsteenuste ettevõttel riske maandada, laenu sobivalt hinnata, tegevust parandada, lisateenuseid pakkuda ja konkurentsieelist saavutada. Näitame, kuidas SageMaker Canvas aitab teil kiiresti algandmetelt laenu maksejõuetuse prognoosimiseks juurutatud binaarse klassifikatsiooni mudelini jõuda.

SageMaker Canvas pakub kõikehõlmavaid andmete ettevalmistamise võimalusi Amazon SageMaker Data Wrangler SageMaker Canvas tööalal. See võimaldab teil läbida kõik standardse ML-i töövoo etapid, alates andmete ettevalmistamisest kuni mudeli loomise ja juurutamiseni, ühel platvormil.

Andmete ettevalmistamine on tavaliselt ML-i töövoo kõige aeganõudvam etapp. Andmete ettevalmistamisele kuluva aja vähendamiseks võimaldab SageMaker Canvas teil andmeid ette valmistada, kasutades üle 300 sisseehitatud teisenduse. Teise võimalusena saate kirjutada loomuliku keele viipasid, näiteks „langetage veeru c read, mis on kõrvalekalded”, ja teile esitatakse selle andmete ettevalmistamise etapi jaoks vajalik koodilõik. Seejärel saate selle mõne klõpsuga lisada oma andmete ettevalmistamise töövoogu. Näitame teile, kuidas seda selles postituses kasutada.

Lahenduse ülevaade

Järgmine diagramm kirjeldab SageMakeri madala koodi ja koodita tööriistu kasutades laenu vaikeklassifikatsiooni mudeli arhitektuuri.

Alustades andmekogumist, mis sisaldab üksikasju laenu vaikeandmete kohta Amazoni lihtne salvestusteenus (Amazon S3), kasutame andmete kohta ülevaate saamiseks SageMaker Canvast. Seejärel teostame funktsioonide projekteerimise, et rakendada teisendusi, nagu kategooriliste funktsioonide kodeerimine, mittevajalike funktsioonide eemaldamine ja palju muud. Järgmisena salvestame puhastatud andmed tagasi Amazon S3-sse. Puhastatud andmestikku kasutame laenumaksete prognoosimiseks klassifitseerimismudeli loomiseks. Siis on meil tootmisvalmis mudel järelduste tegemiseks.

Eeldused

Veenduge, et järgmine eeldused on täielikud ja olete selle lubanud Lõuend Kasutusvalmis mudelid valik SageMakeri domeeni seadistamisel. Kui olete oma domeeni juba seadistanud, muuta oma domeeni seadeid ja mine Lõuendi seaded et võimaldada Lubage Canvas kasutusvalmis mudelid valik. Lisaks seadistage ja luua rakendus SageMaker Canvas, seejärel taotlege ja lubage Juurdepääs inimtekkelise Claude'i modellile on Amazonase aluspõhi.

Andmebaas

Kasutame avalikku andmestikku alates karglema mis sisaldab teavet finantslaenude kohta. Andmestiku iga rida tähistab ühte laenu ja veerud annavad üksikasju iga tehingu kohta. Laadige see andmestik alla ja salvestage see teie valitud S3 ämbrisse. Järgmises tabelis on loetletud andmestiku väljad.

Veeru nimi	Andmetüüp	Kirjeldus
Person_age	Täisarv	Laenu võtnud isiku vanus
Person_income	Täisarv	Laenuvõtja sissetulek
Person_home_ownership	nöör	Kodu omandi staatus (oma või üüritud)
Person_emp_length	Kümnend-	Nende töötatud aastate arv
Loan_intent	nöör	Laenu põhjus (isiklik, meditsiiniline, hariduslik jne)
Loan_grade	nöör	Laenuaste (A–E)
Loan_int_rate	Kümnend-	Intress
Loan_amnt	Täisarv	Laenu kogusumma
Loan_status	Täisarv	Sihtmärk (olenemata sellest, kas need on vaikimisi tehtud või mitte)
Loan_percent_income	Kümnend-	Laenusumma võrreldes sissetuleku protsendiga
Cb_person_default_on_file	Täisarv	Eelmised vaikeseaded (kui neid on)
Cb_person_credit_history_length	nöör	Nende krediidiajaloo pikkus

Lihtsustage andmete ettevalmistamist SageMaker Canvasiga

Andmete ettevalmistamine võib ML-projektides võtta kuni 80% pingutusest. Õige andmete ettevalmistamine tagab mudeli parema jõudluse ja täpsemad prognoosid. SageMaker Canvas võimaldab interaktiivset andmete uurimist, teisendamist ja ettevalmistamist ilma SQL-i või Pythoni koodi kirjutamata.

Andmete ettevalmistamiseks tehke järgmised sammud.

1. Valige SageMaker Canvas konsoolil Andmete ettevalmistamine navigeerimispaanil.
2. Kohta Looma menüüst valige Dokument.
3. eest Andmestiku nimi, sisestage oma andmestiku nimi.
4. Vali Looma.
   
5. Valige andmeallikaks Amazon S3 ja ühendage see andmekogumiga.
6. Pärast andmestiku laadimist looge selle andmestiku abil andmevoog.
   
7. Lülituge analüüside vahekaardile ja looge a Andmekvaliteedi ja ülevaate aruanne.

See on soovitatav samm sisendandmestiku kvaliteedi analüüsimiseks. Selle aruande väljund annab koheseid ML-põhiseid teadmisi, nagu andmete kallutamine, andmete duplikaadid, puuduvad väärtused ja palju muud. Järgmine ekraanipilt näitab laenuandmestiku jaoks loodud aruande näidist.

Kui loote need ülevaated teie nimel, pakub SageMaker Canvas teile andmetega seotud probleeme, mis vajavad andmete ettevalmistamise etapis parandamist. SageMaker Canvas tuvastatud kahe peamise probleemi valimiseks peate kodeerima kategoorilised funktsioonid ja eemaldama dubleerivad read, et teie mudeli kvaliteet oleks kõrge. Saate SageMaker Canvasiga visuaalses töövoos teha mõlemat ja palju muud.

1. Esiteks, üks kuum kodeerimine loan_intent, loan_gradeja person_home_ownership
2. Võite loobuda cb_person_cred_history_length veerus, kuna sellel veerul on kõige väiksem ennustamisvõime, nagu on näidatud andmete kvaliteedi ja ülevaate aruandes.
   
   SageMaker Canvas lisas hiljuti a Vestelge andmetega valik. See funktsioon kasutab põhimudelite jõudu loomuliku keele päringute tõlgendamiseks ja Pythoni-põhise koodi genereerimiseks funktsioonide inseneride teisenduste rakendamiseks. Seda funktsiooni toetab Amazon Bedrock ja seda saab konfigureerida töötama täielikult teie VPC-s, nii et andmed ei lahku kunagi teie keskkonnast.
3. Selle funktsiooni kasutamiseks dubleerivate ridade eemaldamiseks valige plussmärk kõrval Langetage veerg teisendada, seejärel valida Vestelge andmetega.
   
4. Sisestage päring loomulikus keeles (näiteks „Eemalda andmestikust duplikaatread”).
5. Vaadake loodud teisendus üle ja valige Lisa sammudele et lisada teisendus voogu.
   
6. Lõpuks eksportige nende teisenduste väljund Amazon S3-sse või valikuliselt Amazon SageMakeri funktsioonipood kasutada neid funktsioone mitmes projektis.

Samuti saate lisada veel ühe sammu, et luua andmestikule Amazon S3 sihtkoht, et skaleerida suure andmestiku töövoogu. Järgmine diagramm näitab SageMaker Canvas andmevoogu pärast visuaalsete teisenduste lisamist.

Olete lõpetanud kogu andmetöötluse ja funktsioonide projekteerimise etapi, kasutades SageMaker Canvas visuaalseid töövooge. See aitab vähendada aega, mille andmeinsener kulutab puhastamisele ja andmete mudeliarenduseks ettevalmistamisele nädalatest päevadesse. Järgmine samm on ML-mudeli loomine.

Koostage SageMaker Canvasiga mudel

Amazon SageMaker Canvas pakub selle binaarse klassifitseerimismudeli koostamiseks, analüüsimiseks, testimiseks ja juurutamiseks koodivaba täielikku töövoogu. Tehke järgmised sammud.

1. Looge SageMaker Canvas andmestik.
2. Määrake S3 asukoht, mida kasutati andmete eksportimiseks, või S3 asukoht, mis on SageMaker Canvas töö sihtkohas.
   
   Nüüd olete mudeli ehitamiseks valmis.
3. Vali Mudelid navigeerimispaanil ja valige Uus mudel.
4. Nimetage mudel ja valige Ennustav analüüs mudeli tüübina.
5. Valige eelmises etapis loodud andmestik.
   
   Järgmine samm on mudeli tüübi konfigureerimine.
6. Valige sihtveerg ja mudeli tüüp määratakse automaatselt järgmiselt 2 kategooria ennustus.
7. Valige oma ehituse tüüp, Standardne ehitus or Kiire ehitus.
   
   SageMaker Canvas kuvab eeldatava ehitusaja kohe, kui alustate mudeli ehitamist. Standardne ehitamine võtab tavaliselt 2–4 tundi; väiksemate andmekogumite jaoks saate kasutada suvandit Quick build, mis võtab aega vaid 2–15 minutit. Selle konkreetse andmekogumi puhul peaks mudeli koostamise lõpuleviimiseks kuluma umbes 45 minutit. SageMaker Canvas hoiab teid kursis ehitusprotsessi edenemisega.
8. Pärast mudeli ehitamist saate vaadata mudeli jõudlust.
   
   SageMaker Canvas pakub sõltuvalt mudeli tüübist erinevaid mõõdikuid, nagu täpsus, täpsus ja F1 skoor. Järgmine ekraanipilt näitab selle binaarse klassifikatsioonimudeli täpsust ja mõnda muud täpsemat mõõdikut.
9. Järgmine samm on testiennustuste tegemine.
   SageMaker Canvas võimaldab mudeli kvaliteedi kiireks kontrollimiseks teha mitme sisendi või ühe ennustuse partiid. Järgmine ekraanipilt näitab näidisjäreldust.
   
10. Viimane samm on koolitatud mudeli kasutuselevõtt.
    SageMaker Canvas juurutab mudeli SageMakeri lõpp-punktides ja nüüd on teil tootmismudel järelduste tegemiseks valmis. Järgmine ekraanipilt näitab juurutatud lõpp-punkti.
    

Pärast mudeli juurutamist saate sellele helistada AWS SDK kaudu või AWS-i käsurea liides (AWS CLI) või tehke API-kõnesid mis tahes teie valitud rakendusele, et ennustada enesekindlalt potentsiaalse laenuvõtja riski. Mudeli testimise kohta lisateabe saamiseks vaadake Kutsuge reaalajas lõpp-punkte.

Koristage

Lisatasude vältimiseks logige SageMaker Canvasist välja or kustutage SageMakeri domeen mis loodi. Lisaks kustutage SageMakeri mudeli lõpp-punkt ja kustutage Amazon S3-sse üles laaditud andmestik.

Järeldus

Koodita ML kiirendab arendust, lihtsustab juurutamist, ei nõua programmeerimisoskusi, suurendab standardimist ja vähendab kulusid. Need eelised muutsid koodita ML-i Deloitte'i jaoks atraktiivseks, et täiustada oma ML-teenuste pakkumist, ning lühendanud nende ML-mudelite koostamise tähtaegu 30–40%.

Deloitte on strateegiline ülemaailmne süsteemiintegraator, millel on üle 17,000 XNUMX sertifitseeritud AWS-praktiku üle maailma. See tõstab jätkuvalt latti, osaledes AWS-i pädevusprogrammis 25 pädevust, sealhulgas masinõpe. Võtke ühendust Deloitte'iga et hakata kasutama oma ettevõttes AWS-i koodita ja madala koodiga lahendusi.

---

Autoritest

Chida Sadayappan juhib Deloitte Cloud AI/Machine Learning praktikat. Ta toob kaasa tugeva mõttejuhtimise kogemuse töösuhetesse ja toetab edukalt juhtivaid sidusrühmi jõudluse parandamise ja moderniseerimise eesmärkide saavutamisel AI/ML-i abil kõigis tööstusharudes. Chida on saritehnoloogiaettevõtja ning innukas kogukonnaehitaja idufirmade ja arendajate ökosüsteemides.

Kuldeep Singh, AWS-i peamine ülemaailmne AI/ML-i juht, kellel on üle 20-aastane tehnikaalane kogemus, ühendab oskuslikult oma müügi- ja ettevõtlusalased teadmised tehisintellekti, ML-i ja küberturvalisuse sügavate teadmistega. Ta loob suurepäraselt strateegilisi globaalseid partnerlussuhteid, juhib transformatiivseid lahendusi ja strateegiaid erinevates tööstusharudes, keskendudes generatiivsetele AI-le ja GSI-dele.

Kasi Muthu on vanempartnerlahenduste arhitekt, kes keskendub andmetele ja AI/ML-ile Houstonis, TX-is asuvas AWS-is. Ta soovib kirglikult aidata partneritel ja klientidel nende pilvandmeside teekonda kiirendada. Ta on selles valdkonnas usaldusväärne nõustaja ning tal on piisavalt kogemusi pilves skaleeritavate, vastupidavate ja toimivate töökoormuste kavandamisel ja ehitamisel. Väljaspool tööd veedab ta meelsasti perega aega.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/