Povečanje produktivnosti razvijalcev: Kako Deloitte uporablja Amazon SageMaker Canvas za strojno učenje brez kode/nizko kodo | Spletne storitve Amazon

Zmožnost hitre gradnje in uvajanja modelov strojnega učenja (ML) postaja vse bolj pomembna v današnjem svetu, ki temelji na podatkih. Vendar izdelava modelov ML zahteva veliko časa, truda in specializiranega strokovnega znanja. Od zbiranja podatkov in čiščenja do inženiringa funkcij, gradnje modela, prilagajanja in uvajanja, projekti ML pogosto trajajo več mesecev, preden razvijalci dokončajo. In izkušene podatkovne znanstvenike je težko dobiti.

Tu nabor storitev ML z nizko kodo in brez kode AWS postane bistveno orodje. Z uporabo le nekaj klikov Amazon SageMaker Canvas, lahko izkoristite moč ML, ne da bi vam bilo treba napisati kodo.

Kot strateški sistemski integrator z bogatimi izkušnjami ML Deloitte uporablja orodja ML brez in nizke kode iz AWS za učinkovito gradnjo in uvajanje modelov ML za Deloittove stranke in za notranja sredstva. Ta orodja omogočajo Deloittu razvoj rešitev ML, ne da bi bilo treba ročno kodirati modele in cevovode. To lahko pripomore k hitrejšemu izvajanju projektov in Deloittu omogoči, da prevzame več dela s strankami.

Sledi nekaj posebnih razlogov, zakaj Deloitte uporablja ta orodja:

• Dostopnost za neprogramerje – Orodja brez kode omogočajo gradnjo modelov ML neprogramerjem. Člani ekipe z le strokovnim znanjem na področju in zelo malo spretnosti kodiranja lahko razvijejo modele ML.
• Hitro sprejemanje nove tehnologije – Razpoložljivost in stalne izboljšave modelov, pripravljenih za uporabo, in AutoML zagotavljata, da uporabniki nenehno uporabljajo tehnologijo vodilnega razreda.
• Stroškovno učinkovit razvoj – Orodja brez kode pomagajo zmanjšati stroške in čas, potreben za razvoj modela ML, zaradi česar je bolj dostopen strankam, kar jim lahko pomaga doseči višjo donosnost naložbe.

Poleg tega ta orodja zagotavljajo celovito rešitev za hitrejše poteke dela, ki omogočajo naslednje:

• Hitrejša priprava podatkov – SageMaker Canvas ima več kot 300 vgrajenih transformacij in možnost uporabe naravnega jezika, ki lahko pospeši pripravo podatkov in pripravo podatkov za izdelavo modela.
• Hitrejša izdelava modela – SageMaker Canvas ponuja modele, pripravljene za uporabo oz Amazon AutoML tehnologija, ki vam omogoča izdelavo modelov po meri na podatkih podjetja s samo nekaj kliki. To pomaga pospešiti proces v primerjavi z modeli kodiranja od začetka.
• Lažje uvajanje – SageMaker Canvas ponuja možnost uvajanja modelov, pripravljenih za proizvodnjo, v Amazon Sagmaker končno točko v nekaj klikih, hkrati pa jo registrirajte v Register modelov Amazon SageMaker.

Vishveshwara Vasa, CTO v oblaku za Deloitte, pravi:

»S storitvami AWS brez kodiranja ML, kot sta SageMaker Canvas in SageMaker Data Wrangler, smo pri Deloitte Consulting odklenili nove učinkovitosti, s čimer smo povečali hitrost razvoja in produktivnost uvajanja za 30–40 % v naših projektih, obrnjenih k strankam, in internih projektih.«

V tej objavi prikazujemo moč gradnje celovitega modela ML brez kode z uporabo SageMaker Canvas, tako da vam pokažemo, kako zgraditi klasifikacijski model za napovedovanje, ali bo stranka zamudila posojilo. Z natančnejšim napovedovanjem neplačila posojil lahko model pomaga podjetju za finančne storitve pri obvladovanju tveganja, ustrezni ceni posojil, izboljšanju poslovanja, zagotavljanju dodatnih storitev in pridobivanju konkurenčne prednosti. Predstavljamo, kako vam lahko SageMaker Canvas pomaga hitro preiti z neobdelanih podatkov na uveden binarni klasifikacijski model za napovedovanje neplačila posojila.

SageMaker Canvas ponuja celovite zmogljivosti za pripravo podatkov, ki jih poganja Amazon SageMaker Data Wrangler v delovnem prostoru SageMaker Canvas. To vam omogoča, da greste skozi vse faze standardnega poteka dela ML, od priprave podatkov do gradnje in uvajanja modela, na eni platformi.

Priprava podatkov je običajno najbolj časovno intenzivna faza delovnega toka ML. Za zmanjšanje časa, porabljenega za pripravo podatkov, vam SageMaker Canvas omogoča pripravo podatkov z uporabo več kot 300 vgrajenih transformacij. Druga možnost je, lahko napišete pozive v naravnem jeziku, kot je »spusti vrstice za stolpec c, ki so izstopajoči«, in se prikaže delček kode, potreben za ta korak priprave podatkov. To lahko nato z nekaj kliki dodate v potek dela za pripravo podatkov. Tudi v tej objavi vam pokažemo, kako to uporabiti.

Pregled rešitev

Naslednji diagram opisuje arhitekturo za model privzete klasifikacije posojila z uporabo orodij SageMaker z nizko kodo in brez kode.

Začenši z naborom podatkov, ki vsebuje podrobnosti o podatkih o neplačilu posojila Preprosta storitev shranjevanja Amazon (Amazon S3), uporabljamo SageMaker Canvas za pridobitev vpogledov v podatke. Nato izvedemo inženiring funkcij za uporabo transformacij, kot je kodiranje kategoričnih funkcij, opuščanje funkcij, ki niso potrebne, in drugo. Nato očiščene podatke shranimo nazaj v Amazon S3. Očiščen nabor podatkov uporabimo za ustvarjanje klasifikacijskega modela za napovedovanje neplačila posojil. Nato imamo model za sklepanje, pripravljen za proizvodnjo.

Predpogoji

Prepričajte se o naslednjem predpogoji so popolni in da ste omogočili Canvas Modeli, pripravljeni za uporabo možnost pri nastavitvi domene SageMaker. Če ste svojo domeno že nastavili, uredite nastavitve domene in pojdi Nastavitve platna da omogočite Omogoči modele Canvas, pripravljene za uporabo možnost. Poleg tega nastavite in ustvarite aplikacijo SageMaker Canvas, nato zahtevajte in omogočite Antropični dostop do modela Claude on Amazon Bedrock.

Podatkovni niz

Uporabljamo javni nabor podatkov iz kaggle ki vsebuje informacije o finančnih posojilih. Vsaka vrstica v naboru podatkov predstavlja eno posojilo, stolpci pa zagotavljajo podrobnosti o vsaki transakciji. Prenesite ta nabor podatkov in ga shranite v vedro S3 po vaši izbiri. Naslednja tabela navaja polja v naboru podatkov.

Ime stolpca	Vrsta podatkov	Opis
Person_age	Integer	Starost osebe, ki je vzela posojilo
Person_income	Integer	Dohodek posojilojemalca
Person_home_ownership	String	Status lastništva hiše (lastnik ali najem)
Person_emp_length	Decimalno	Število let, ko so zaposleni
Loan_intent	String	Razlog za posojilo (osebni, zdravstveni, izobraževalni itd.)
Loan_grade	String	Razred posojila (A–E)
Loan_int_rate	Decimalno	Obrestna mera
Loan_amnt	Integer	Skupni znesek posojila
Loan_status	Integer	Cilj (ne glede na to, ali so privzeti ali ne)
Loan_percent_income	Decimalno	Znesek posojila v primerjavi z odstotkom dohodka
Cb_person_default_on_file	Integer	Prejšnje privzete nastavitve (če obstajajo)
Cb_person_credit_history_length	String	Dolžina njihove kreditne zgodovine

Poenostavite pripravo podatkov s SageMaker Canvas

Priprava podatkov lahko zahteva do 80 % truda v projektih ML. Pravilna priprava podatkov vodi do boljše učinkovitosti modela in natančnejših napovedi. SageMaker Canvas omogoča interaktivno raziskovanje, transformacijo in pripravo podatkov brez pisanja kode SQL ali Python.

Izvedite naslednje korake za pripravo podatkov:

1. Na konzoli SageMaker Canvas izberite Priprava podatkov v podoknu za krmarjenje.
2. o ustvarjanje izberite meni Dokument.
3. za Ime nabora podatkov, vnesite ime za vaš nabor podatkov.
4. Izberite ustvarjanje.
   
5. Izberite Amazon S3 kot vir podatkov in ga povežite z naborom podatkov.
6. Ko je nabor podatkov naložen, ustvarite podatkovni tok z uporabo tega nabora podatkov.
   
7. Preklopite na zavihek analize in ustvarite a Poročilo o kakovosti podatkov in vpogledih.

To je priporočen korak za analizo kakovosti vhodnega nabora podatkov. Izhod tega poročila ustvari takojšnje vpoglede, ki jih poganja ML, kot so poševni podatki, dvojniki v podatkih, manjkajoče vrednosti in še veliko več. Naslednji posnetek zaslona prikazuje vzorec ustvarjenega poročila za nabor podatkov o posojilu.

Z ustvarjanjem teh vpogledov v vašem imenu vam SageMaker Canvas nudi nabor težav v podatkih, ki jih je treba popraviti v fazi priprave podatkov. Če želite izbrati prvi dve težavi, ki ju je prepoznal SageMaker Canvas, morate kodirati kategorične značilnosti in odstraniti podvojene vrstice, da bo kakovost vašega modela visoka. Oboje in še več lahko naredite v vizualnem delovnem toku s SageMaker Canvas.

1. Najprej enkratno kodirajte loan_intent, loan_gradein person_home_ownership
2. Lahko spustite cb_person_cred_history_length ker ima ta stolpec najmanjšo moč napovedovanja, kot je prikazano v poročilu o kakovosti podatkov in vpogledih.
   
   SageMaker Canvas je nedavno dodal a Klepetajte s podatki možnost. Ta funkcija uporablja moč temeljnih modelov za interpretacijo poizvedb v naravnem jeziku in ustvarjanje kode, ki temelji na Pythonu, za uporabo inženirskih transformacij funkcij. To funkcijo poganja Amazon Bedrock in jo je mogoče konfigurirati tako, da se v celoti izvaja v vašem VPC, tako da podatki nikoli ne zapustijo vašega okolja.
3. Če želite uporabiti to funkcijo za odstranjevanje podvojenih vrstic, izberite znak plus poleg Spustite stolpec transformirajte, nato izberite Klepetajte s podatki.
   
4. Vnesite poizvedbo v naravnem jeziku (na primer »Odstrani podvojene vrstice iz nabora podatkov«).
5. Preglejte ustvarjeno transformacijo in izberite Dodaj v korake da dodate transformacijo v tok.
   
6. Končno izvozite izhod teh transformacij v Amazon S3 ali izbirno Trgovina s funkcijami Amazon SageMaker za uporabo teh funkcij v več projektih.

Prav tako lahko dodate še en korak za ustvarjanje destinacije Amazon S3 za nabor podatkov, da prilagodite potek dela za velik nabor podatkov. Naslednji diagram prikazuje tok podatkov SageMaker Canvas po dodajanju vizualnih transformacij.

Zaključili ste celotno obdelavo podatkov in korak inženiringa funkcij z uporabo vizualnih delovnih tokov v SageMaker Canvas. To pomaga zmanjšati čas, ki ga podatkovni inženir porabi za čiščenje in pripravo podatkov za razvoj modela od tednov do dni. Naslednji korak je izdelava modela ML.

Zgradite model s SageMaker Canvas

Amazon SageMaker Canvas zagotavlja potek dela brez kode od konca do konca za gradnjo, analiziranje, testiranje in uvajanje tega modela binarne klasifikacije. Izvedite naslednje korake:

1. Ustvarite nabor podatkov v SageMaker Canvas.
2. Določite lokacijo S3, ki je bila uporabljena za izvoz podatkov, ali lokacijo S3, ki je na cilju opravila SageMaker Canvas.
   
   Zdaj ste pripravljeni na izdelavo modela.
3. Izberite Modeli v navigacijskem podoknu in izberite Novi model.
4. Poimenujte model in izberite Napovedna analiza kot tip modela.
5. Izberite nabor podatkov, ustvarjen v prejšnjem koraku.
   
   Naslednji korak je konfiguracija vrste modela.
6. Izberite ciljni stolpec in tip modela bo samodejno nastavljen kot Napoved 2 kategorije.
7. Izberite vrsto gradnje, Standardna izdelava or Hitra izdelava.
   
   SageMaker Canvas prikaže pričakovani čas gradnje takoj, ko začnete graditi model. Standardna izdelava običajno traja od 2 do 4 ure; za manjše nabore podatkov lahko uporabite možnost hitre gradnje, ki traja le 2–15 minut. Za ta določen nabor podatkov bi morala izdelava modela trajati približno 45 minut. SageMaker Canvas vas obvešča o napredku postopka izdelave.
8. Ko je model izdelan, si lahko ogledate zmogljivost modela.
   
   SageMaker Canvas ponuja različne meritve, kot so točnost, natančnost in rezultat F1, odvisno od vrste modela. Naslednji posnetek zaslona prikazuje natančnost in nekaj drugih naprednih meritev za ta binarni klasifikacijski model.
9. Naslednji korak je izdelava testnih napovedi.
   SageMaker Canvas vam omogoča izdelavo paketnih napovedi za več vnosov ali eno samo napoved, da hitro preverite kakovost modela. Naslednji posnetek zaslona prikazuje vzorec sklepanja.
   
10. Zadnji korak je uvedba usposobljenega modela.
    SageMaker Canvas razmesti model na končnih točkah SageMaker in zdaj imate produkcijski model, pripravljen za sklepanje. Naslednji posnetek zaslona prikazuje nameščeno končno točko.
    

Ko je model uveden, ga lahko pokličete prek AWS SDK oz Vmesnik ukazne vrstice AWS (AWS CLI) ali opravite klice API-ja kateri koli aplikaciji po vaši izbiri, da zanesljivo napoveste tveganje potencialnega posojilojemalca. Za več informacij o testiranju vašega modela glejte Prikličite končne točke v realnem času.

Čiščenje

Da bi se izognili dodatnim stroškom, odjavite se iz SageMaker Canvas or izbrišite domeno SageMaker ki je nastal. Poleg tega izbrišite končno točko modela SageMaker in izbrišite nabor podatkov, ki je bil naložen v Amazon S3.

zaključek

ML brez kode pospešuje razvoj, poenostavlja uvajanje, ne zahteva veščin programiranja, povečuje standardizacijo in zmanjšuje stroške. Zaradi teh ugodnosti je ML brez kodiranja postalo privlačno za Deloitte, da bi izboljšal ponudbo storitev ML, poleg tega so skrajšali časovne načrte za gradnjo svojega modela ML za 30–40 %.

Deloitte je strateški globalni sistemski integrator z več kot 17,000 certificiranimi izvajalci AWS po vsem svetu. Še naprej dviguje lestvico s sodelovanjem v kompetenčnem programu AWS 25 kompetenc, vključno s strojnim učenjem. Povežite se z Deloitte da začnete uporabljati rešitve AWS brez kode in rešitve z nizko kodo v svojem podjetju.

---

O avtorjih

Chida Sadayappan vodi Deloittovo prakso AI/strojnega učenja v oblaku. V sodelovanje prinaša močno izkušnjo miselnega vodenja in uspeva pri podpiranju izvršnih deležnikov pri doseganju ciljev izboljšanja uspešnosti in posodobitve v panogah z uporabo AI/ML. Chida je serijski tehnološki podjetnik in navdušen graditelj skupnosti v ekosistemih startupov in razvijalcev.

Kuldeep Singh, glavni globalni vodja AI/ML pri AWS z več kot 20-letnimi izkušnjami na področju tehnologije, spretno združuje svoje prodajno in podjetniško strokovno znanje z globokim razumevanjem AI, ML in kibernetske varnosti. Odličen je pri oblikovanju strateških globalnih partnerstev, spodbujanju transformativnih rešitev in strategij v različnih panogah s poudarkom na generativni AI in GSI.

Kasi Muthu je višji arhitekt partnerskih rešitev, ki se osredotoča na podatke in AI/ML pri AWS s sedežem v Houstonu, TX. Strastno želi pomagati partnerjem in strankam pospešiti njihovo potovanje podatkov v oblaku. Je zaupanja vreden svetovalec na tem področju in ima veliko izkušenj z arhitekturo in gradnjo razširljivih, prožnih in zmogljivih delovnih obremenitev v oblaku. Zunaj službe rad preživlja čas s svojo družino.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/