Øk utviklerproduktiviteten: Hvordan Deloitte bruker Amazon SageMaker Canvas for maskinlæring uten kode/lavkode | Amazon Web Services

Evnen til raskt å bygge og distribuere modeller for maskinlæring (ML) blir stadig viktigere i dagens datadrevne verden. Å bygge ML-modeller krever imidlertid betydelig tid, innsats og spesialisert ekspertise. Fra datainnsamling og rengjøring til funksjonsteknikk, modellbygging, tuning og distribusjon, tar ML-prosjekter ofte måneder for utviklere å fullføre. Og erfarne dataforskere kan være vanskelig å få tak i.

Det er her AWS-pakken med lavkode og kodefri ML-tjenester blir et viktig verktøy. Med bare noen få klikk ved å bruke Amazon SageMaker Canvas, kan du dra nytte av kraften til ML uten å måtte skrive noen kode.

Som en strategisk systemintegrator med dyp ML-erfaring, bruker Deloitte ML-verktøyene uten kode og lavkode fra AWS for å effektivt bygge og distribuere ML-modeller for Deloittes kunder og for interne eiendeler. Disse verktøyene lar Deloitte utvikle ML-løsninger uten å måtte håndkode modeller og rørledninger. Dette kan bidra til å fremskynde prosjektleveringstidslinjer og gjøre det mulig for Deloitte å ta på seg mer kundearbeid.

Følgende er noen spesifikke grunner til at Deloitte bruker disse verktøyene:

• Tilgjengelighet for ikke-programmerere – No-code-verktøy åpner opp ML-modellbygging for ikke-programmerere. Teammedlemmer med bare domeneekspertise og svært lite kodingsferdigheter kan utvikle ML-modeller.
• Rask innføring av ny teknologi – Tilgjengelighet og konstante forbedringer på bruksklare modeller og AutoML bidrar til å sikre at brukerne hele tiden bruker ledende teknologi.
• Kostnadseffektiv utvikling – Verktøy uten kode bidrar til å redusere kostnadene og tiden som kreves for utvikling av ML-modeller, noe som gjør den mer tilgjengelig for kundene, noe som kan hjelpe dem med å oppnå høyere avkastning på investeringen.

I tillegg gir disse verktøyene en omfattende løsning for raskere arbeidsflyter, som muliggjør følgende:

• Raskere dataforberedelse – SageMaker Canvas har over 300 innebygde transformasjoner og muligheten til å bruke naturlig språk som kan akselerere dataforberedelse og gjøre data klar for modellbygging.
• Raskere modellbygging – SageMaker Canvas tilbyr bruksklare modeller eller Amazon AutoML teknologi som lar deg bygge tilpassede modeller på bedriftsdata med bare noen få klikk. Dette bidrar til å fremskynde prosessen sammenlignet med koding av modeller fra grunnen av.
• Enklere utplassering – SageMaker Canvas tilbyr muligheten til å distribuere produksjonsklare modeller til en Amazon Sagmaker endepunkt med noen få klikk samtidig som det registreres Amazon SageMaker modellregister.

Vishveshwara Vasa, Cloud CTO for Deloitte, sier:

"Gjennom AWS sine no-code ML-tjenester som SageMaker Canvas og SageMaker Data Wrangler, har vi i Deloitte Consulting låst opp nye effektivitetsgevinster, og forbedret hastigheten på utviklingen og distribusjonsproduktiviteten med 30–40 % på tvers av våre klientvendte og interne prosjekter."

I dette innlegget demonstrerer vi kraften i å bygge en ende-til-ende ML-modell uten kode ved å bruke SageMaker Canvas ved å vise deg hvordan du bygger en klassifiseringsmodell for å forutsi om en kunde vil misligholde et lån. Ved å forutsi mislighold av lån mer nøyaktig, kan modellen hjelpe et finansselskap med å håndtere risiko, prise lån på riktig måte, forbedre driften, tilby tilleggstjenester og få et konkurransefortrinn. Vi demonstrerer hvordan SageMaker Canvas kan hjelpe deg raskt å gå fra rådata til en utplassert binær klassifiseringsmodell for prediksjon av mislighold av lån.

SageMaker Canvas tilbyr omfattende dataforberedelsesfunksjoner drevet av Amazon SageMaker Data Wrangler i SageMaker Canvas-arbeidsområdet. Dette lar deg gå gjennom alle fasene i en standard ML-arbeidsflyt, fra dataforberedelse til modellbygging og distribusjon, på én enkelt plattform.

Dataforberedelse er vanligvis den mest tidkrevende fasen av ML-arbeidsflyten. For å redusere tid brukt på dataforberedelse lar SageMaker Canvas deg klargjøre dataene dine ved å bruke over 300 innebygde transformasjoner. Alternativt du kan skrive spørsmål på naturlig språk, for eksempel "slipp radene for kolonne c som er uteliggere", og bli presentert med kodebiten som er nødvendig for dette dataforberedelsestrinnet. Du kan deretter legge dette til arbeidsflyten for dataforberedelse med noen få klikk. Vi viser deg hvordan du bruker det også i dette innlegget.

Løsningsoversikt

Følgende diagram beskriver arkitekturen for en standardklassifiseringsmodell for lån ved bruk av SageMaker-verktøy med lav kode og ingen kode.

Starter med et datasett som har detaljer om lånets misligholdsdata Amazon enkel lagringstjeneste (Amazon S3), bruker vi SageMaker Canvas for å få innsikt om dataene. Vi utfører deretter funksjonsutvikling for å bruke transformasjoner som koding av kategoriske funksjoner, droppe funksjoner som ikke er nødvendige og mer. Deretter lagrer vi de rensede dataene tilbake i Amazon S3. Vi bruker det rensede datasettet til å lage en klassifiseringsmodell for å forutsi mislighold av lån. Da har vi en produksjonsklar modell for slutning.

Forutsetninger

Pass på at følgende forutsetninger er fullført og at du har aktivert Canvas Klar til bruk modeller alternativet når du setter opp SageMaker-domenet. Hvis du allerede har konfigurert domenet ditt, redigere domeneinnstillingene dine og gå til Lerretsinnstillinger for å aktivere Aktiver Canvas-klare-til-bruk-modeller alternativ. I tillegg, sett opp og lag SageMaker Canvas-applikasjonen, be om og aktiver Antropisk Claude-modelltilgang on Amazonas grunnfjell.

datasett

Vi bruker et offentlig datasett fra kaggle som inneholder informasjon om finansielle lån. Hver rad i datasettet representerer et enkelt lån, og kolonnene gir detaljer om hver transaksjon. Last ned dette datasettet og lagre dette i en S3-bøtte etter eget valg. Følgende tabell viser feltene i datasettet.

Kolonnenavn	Data-type	Beskrivelse
Person_age	Heltall	Alderen på personen som tok et lån
Person_income	Heltall	Inntekt til låntaker
Person_home_ownership	String	Boligeierskapsstatus (egen eller leie)
Person_emp_length	Desimal	Antall år de er ansatt
Loan_intent	String	Årsak for lån (personlig, medisinsk, pedagogisk og så videre)
Loan_grade	String	Lånegrad (A–E)
Loan_int_rate	Desimal	Rentesats
Loan_amnt	Heltall	Totalt lånebeløp
Loan_status	Heltall	Mål (enten de misligholdt eller ikke)
Loan_percent_income	Desimal	Lånebeløp sammenlignet med prosentandel av inntekten
Cb_person_default_on_file	Heltall	Tidligere standardinnstillinger (hvis noen)
Cb_person_credit_history_length	String	Lengden på kreditthistorien deres

Forenkle dataforberedelsen med SageMaker Canvas

Dataklargjøring kan ta opptil 80 % av innsatsen i ML-prosjekter. Riktig dataforberedelse fører til bedre modellytelse og mer nøyaktige spådommer. SageMaker Canvas tillater interaktiv datautforskning, transformasjon og forberedelse uten å skrive SQL- eller Python-kode.

Fullfør følgende trinn for å klargjøre dataene dine:

1. Velg på SageMaker Canvas-konsollen Dataforberedelse i navigasjonsruten.
2. På Opprett meny, velg Document.
3. Til Datasettnavn, skriv inn et navn for datasettet ditt.
4. Velg Opprett.
   
5. Velg Amazon S3 som datakilde og koble den til datasettet.
6. Etter at datasettet er lastet, oppretter du en dataflyt ved å bruke det datasettet.
   
7. Bytt til analyser-fanen og lag en Rapport om datakvalitet og innsikt.

Dette er et anbefalt trinn for å analysere kvaliteten på input-datasettet. Utdataene fra denne rapporten produserer umiddelbar ML-drevet innsikt som dataskjevhet, duplikater i dataene, manglende verdier og mye mer. Følgende skjermbilde viser et eksempel på den genererte rapporten for lånedatasettet.

Ved å generere denne innsikten på dine vegne, gir SageMaker Canvas deg et sett med problemer i dataene som trenger utbedring i dataforberedelsesfasen. For å velge de to øverste problemene identifisert av SageMaker Canvas, må du kode de kategoriske funksjonene og fjerne de dupliserte radene slik at modellkvaliteten din er høy. Du kan gjøre begge deler og mer i en visuell arbeidsflyt med SageMaker Canvas.

1. Først, one-hot encode loan_intent, loan_gradeog person_home_ownership
2. Du kan droppe cb_person_cred_history_length kolonnen fordi den kolonnen har minst prediksjonskraft, som vist i rapporten om datakvalitet og -innsikt.
   
   SageMaker Canvas la nylig til en Chat med data alternativ. Denne funksjonen bruker kraften til grunnmodeller til å tolke spørringer i naturlig språk og generere Python-basert kode for å bruke funksjonsteknologiske transformasjoner. Denne funksjonen er drevet av Amazon Bedrock, og kan konfigureres til å kjøre helt i din VPC slik at data aldri forlater miljøet ditt.
3. For å bruke denne funksjonen til å fjerne dupliserte rader, velg plusstegnet ved siden av Slipp kolonne transformere, og velg deretter Chat med data.
   
4. Skriv inn søket ditt på naturlig språk (for eksempel "Fjern dupliserte rader fra datasettet").
5. Se gjennom den genererte transformasjonen og velg Legg til trinn for å legge transformasjonen til flyten.
   
6. Til slutt, eksporter utdataene fra disse transformasjonene til Amazon S3 eller valgfritt Amazon SageMaker Feature Store å bruke disse funksjonene på tvers av flere prosjekter.

Du kan også legge til et annet trinn for å opprette en Amazon S3-destinasjon for datasettet for å skalere arbeidsflyten for et stort datasett. Følgende diagram viser SageMaker Canvas-dataflyten etter å ha lagt til visuelle transformasjoner.

Du har fullført hele databehandlings- og funksjonsutviklingstrinnet ved å bruke visuelle arbeidsflyter i SageMaker Canvas. Dette bidrar til å redusere tiden en dataingeniør bruker på å rense og gjøre dataene klare for modellutvikling fra uker til dager. Neste trinn er å bygge ML-modellen.

Bygg en modell med SageMaker Canvas

Amazon SageMaker Canvas tilbyr en ende-til-ende arbeidsflyt uten kode for å bygge, analysere, teste og distribuere denne binære klassifiseringsmodellen. Fullfør følgende trinn:

1. Lag et datasett i SageMaker Canvas.
2. Angi enten S3-lokasjonen som ble brukt til å eksportere dataene eller S3-posisjonen som er på destinasjonen for SageMaker Canvas-jobben.
   
   Nå er du klar til å bygge modellen.
3. Velg Modeller i navigasjonsruten og velg Ny modell.
4. Gi modellen et navn og velg Prediktiv analyse som modelltype.
5. Velg datasettet som ble opprettet i forrige trinn.
   
   Det neste trinnet er å konfigurere modelltypen.
6. Velg målkolonnen og modelltypen blir automatisk satt som 2 kategori prediksjon.
7. Velg byggetype, Standard konstruksjon or Rask bygging.
   
   SageMaker Canvas viser forventet byggetid så snart du begynner å bygge modellen. Standard oppbygging tar vanligvis mellom 2–4 timer; du kan bruke hurtigbyggingsalternativet for mindre datasett, som bare tar 2–15 minutter. For dette bestemte datasettet bør det ta rundt 45 minutter å fullføre modellbyggingen. SageMaker Canvas holder deg informert om fremdriften i byggeprosessen.
8. Etter at modellen er bygget, kan du se på modellens ytelse.
   
   SageMaker Canvas gir ulike beregninger som nøyaktighet, presisjon og F1-poengsum avhengig av type modell. Følgende skjermbilde viser nøyaktigheten og noen få andre avanserte beregninger for denne binære klassifiseringsmodellen.
9. Det neste trinnet er å lage testspådommer.
   SageMaker Canvas lar deg lage batch-prediksjoner på flere innganger eller en enkelt prediksjon for raskt å verifisere modellkvaliteten. Følgende skjermbilde viser en prøveslutning.
   
10. Det siste trinnet er å distribuere den trente modellen.
    SageMaker Canvas distribuerer modellen på SageMaker-endepunkter, og nå har du en produksjonsmodell klar for slutning. Følgende skjermbilde viser det distribuerte endepunktet.
    

Etter at modellen er distribuert, kan du ringe den gjennom AWS SDK eller AWS kommandolinjegrensesnitt (AWS CLI) eller foreta API-kall til en hvilken som helst applikasjon du velger for å forutsi risikoen for en potensiell låntaker. For mer informasjon om testing av modellen din, se Påkall endepunkter i sanntid.

Rydd opp

For å unngå ekstra kostnader, logg ut av SageMaker Canvas or slett SageMaker-domenet som ble opprettet. I tillegg, slette SageMaker-modellens endepunkt og slette datasettet som ble lastet opp til Amazon S3.

konklusjonen

No-code ML akselererer utviklingen, forenkler distribusjonen, krever ikke programmeringskunnskaper, øker standardiseringen og reduserer kostnadene. Disse fordelene gjorde ML uten kode attraktivt for Deloitte for å forbedre sine ML-tjenestetilbud, og de har forkortet tidslinjene for ML-modellbygging med 30–40 %.

Deloitte er en strategisk global systemintegrator med over 17,000 XNUMX sertifiserte AWS-utøvere over hele verden. Det fortsetter å heve standarden gjennom deltakelse i AWS Competency Program med 25 kompetanser, inkludert Machine Learning. Ta kontakt med Deloitte for å begynne å bruke AWS løsninger uten kode og lav kode til bedriften din.

---

Om forfatterne

Chida Sadayappan leder Deloittes Cloud AI/Machine Learning-praksis. Han bringer sterk tankeledererfaring til engasjementer og trives med å støtte utøvende interessenter med å oppnå ytelsesforbedring og moderniseringsmål på tvers av bransjer som bruker AI/ML. Chida er en seriell tech-gründer og en ivrig samfunnsbygger innen oppstarts- og utviklerøkosystemene.

Kuldeep Singh, en ledende global AI/ML-leder hos AWS med over 20 år innen teknologi, kombinerer dyktig sin salgs- og entreprenørskapsekspertise med en dyp forståelse av AI, ML og cybersikkerhet. Han utmerker seg i å bygge strategiske globale partnerskap, drive transformative løsninger og strategier på tvers av ulike bransjer med fokus på generativ AI og GSI.

Kasi Muthu er en senior partnerløsningsarkitekt med fokus på data og AI/ML hos AWS basert i Houston, TX. Han brenner for å hjelpe partnere og kunder med å akselerere sin skydatareise. Han er en pålitelig rådgiver på dette feltet og har rikelig med erfaring med å bygge og bygge skalerbare, spenstige og ytende arbeidsbelastninger i skyen. Utenom jobben liker han å tilbringe tid med familien.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/