Forøgelse af udviklerproduktivitet: Sådan bruger Deloitte Amazon SageMaker Canvas til maskinlæring uden kode/lavkode | Amazon Web Services

Evnen til hurtigt at bygge og implementere modeller for maskinlæring (ML) bliver stadig vigtigere i nutidens datadrevne verden. Men at bygge ML-modeller kræver betydelig tid, indsats og specialiseret ekspertise. Fra dataindsamling og -rensning til funktionsteknik, modelbygning, tuning og implementering tager ML-projekter ofte måneder for udviklere at gennemføre. Og erfarne dataforskere kan være svære at få fat på.

Det er her AWS-pakken af ​​lav-kode og no-code ML-tjenester bliver et væsentligt værktøj. Med blot et par klik ved at bruge Amazon SageMaker lærred, kan du drage fordel af kraften i ML uden at skulle skrive nogen kode.

Som en strategisk systemintegrator med dyb ML-erfaring bruger Deloitte ML-værktøjerne uden kode og lavkode fra AWS til effektivt at bygge og implementere ML-modeller for Deloittes kunder og for interne aktiver. Disse værktøjer giver Deloitte mulighed for at udvikle ML-løsninger uden at skulle håndkode modeller og pipelines. Dette kan hjælpe med at fremskynde projektleveringstidslinjer og gøre det muligt for Deloitte at påtage sig mere kundearbejde.

Følgende er nogle specifikke grunde til, at Deloitte bruger disse værktøjer:

• Tilgængelighed for ikke-programmører – No-code værktøjer åbner op for ML-modelbygning for ikke-programmører. Teammedlemmer med kun domæneekspertise og meget få kodningsfærdigheder kan udvikle ML-modeller.
• Hurtig indførelse af ny teknologi – Tilgængelighed og konstant forbedring af klar-til-brug modeller og AutoML hjælper med at sikre, at brugerne konstant bruger førende teknologi.
• Omkostningseffektiv udvikling – No-code værktøjer hjælper med at reducere omkostningerne og den tid, der kræves til udvikling af ML model, hvilket gør det mere tilgængeligt for kunder, hvilket kan hjælpe dem med at opnå et højere investeringsafkast.

Derudover giver disse værktøjer en omfattende løsning til hurtigere arbejdsgange, der muliggør følgende:

• Hurtigere dataforberedelse – SageMaker Canvas har over 300 indbyggede transformationer og evnen til at bruge naturligt sprog, der kan accelerere dataforberedelse og gøre data klar til modelbygning.
• Hurtigere modelbygning – SageMaker Canvas tilbyder brugsklare modeller el Amazon AutoML teknologi, der giver dig mulighed for at bygge brugerdefinerede modeller på virksomhedsdata med blot et par klik. Dette hjælper med at fremskynde processen sammenlignet med kodning af modeller fra bunden.
• Nemmere implementering – SageMaker Canvas giver mulighed for at implementere produktionsklare modeller til en Amazon Sagmaker endepunkt med få klik, mens du også registrerer det i Amazon SageMaker Model Registry.

Vishveshwara Vasa, Cloud CTO for Deloitte, siger:

"Gennem AWS's no-code ML-tjenester, såsom SageMaker Canvas og SageMaker Data Wrangler, har vi hos Deloitte Consulting låst op for nye effektivitetsgevinster, der øger udviklingshastigheden og implementeringsproduktiviteten med 30-40 % på tværs af vores kundevendte og interne projekter."

I dette indlæg demonstrerer vi styrken ved at bygge en end-to-end ML-model uden kode ved hjælp af SageMaker Canvas ved at vise dig, hvordan du opbygger en klassifikationsmodel til at forudsige, om en kunde vil misligholde et lån. Ved at forudsige misligholdelser af lån mere præcist kan modellen hjælpe en finansiel virksomhed med at styre risiko, prissætte lån korrekt, forbedre driften, levere yderligere tjenester og opnå en konkurrencefordel. Vi demonstrerer, hvordan SageMaker Canvas kan hjælpe dig med hurtigt at gå fra rå data til en implementeret binær klassifikationsmodel til forudsigelse af lånmisligholdelse.

SageMaker Canvas tilbyder omfattende dataforberedelsesfunktioner drevet af Amazon SageMaker Data Wrangler i SageMaker Canvas-arbejdsområdet. Dette giver dig mulighed for at gennemgå alle faser af en standard ML-arbejdsgang, fra dataforberedelse til modelopbygning og implementering på en enkelt platform.

Dataforberedelse er typisk den mest tidskrævende fase af ML-arbejdsgangen. For at reducere tid brugt på dataforberedelse giver SageMaker Canvas dig mulighed for at forberede dine data ved hjælp af over 300 indbyggede transformationer. Alternativt du kan skrive prompter i naturligt sprog, såsom "slip rækkerne for kolonne c, der er outliers", og bliv præsenteret for det kodestykke, der er nødvendigt for dette dataforberedelsestrin. Du kan derefter tilføje dette til din dataforberedelsesarbejdsgang med få klik. Vi viser dig også, hvordan du bruger det i dette indlæg.

Løsningsoversigt

Følgende diagram beskriver arkitekturen for en lånestandardklassificeringsmodel ved hjælp af SageMaker lav-kode og no-code værktøjer.

Startende med et datasæt, der har detaljer om lånets misligholdelsesdata Amazon Simple Storage Service (Amazon S3), bruger vi SageMaker Canvas til at få indsigt i dataene. Vi udfører derefter feature engineering for at anvende transformationer såsom kodning af kategoriske funktioner, droppe funktioner, der ikke er nødvendige og mere. Dernæst gemmer vi de rensede data tilbage i Amazon S3. Vi bruger det rensede datasæt til at skabe en klassifikationsmodel til at forudsige misligholdelse af lån. Så har vi en produktionsklar model til slutning.

Forudsætninger

Sørg for, at følgende forudsætninger er færdige, og at du har aktiveret Kanvas Klar til brug modeller mulighed, når du opsætter SageMaker-domænet. Hvis du allerede har konfigureret dit domæne, redigere dine domæneindstillinger og gå til Lærredsindstillinger at aktivere Aktiver Canvas Klar-til-brug-modeller mulighed. Derudover opsætte og oprette SageMaker Canvas-applikationen, anmod og aktiver derefter Antropisk Claude model adgang on Amazonas grundfjeld.

datasæt

Vi bruger et offentligt datasæt fra kaggle der indeholder oplysninger om finansielle lån. Hver række i datasættet repræsenterer et enkelt lån, og kolonnerne giver detaljer om hver transaktion. Download dette datasæt og gem det i en S3-bøtte efter eget valg. Følgende tabel viser felterne i datasættet.

Kolonnenavn	Datatype	Beskrivelse
Person_age	Integer	Alderen på den person, der tog et lån
Person_income	Integer	Låntagers indkomst
Person_home_ownership	String	Boligejerstatus (egen eller leje)
Person_emp_length	Decimal	Antal år de er ansat
Loan_intent	String	Årsag til lån (personlig, medicinsk, uddannelsesmæssig og så videre)
Loan_grade	String	Lånegrad (A–E)
Loan_int_rate	Decimal	Rentesats
Loan_amnt	Integer	Lånets samlede beløb
Loan_status	Integer	Mål (uanset om de misligholdte eller ej)
Loan_percent_income	Decimal	Lånebeløb i forhold til procentdelen af ​​indkomsten
Cb_person_default_on_file	Integer	Tidligere standardindstillinger (hvis nogen)
Cb_person_credit_history_length	String	Længden af ​​deres kredithistorie

Forenkle dataforberedelse med SageMaker Canvas

Dataforberedelse kan tage op til 80 % af indsatsen i ML-projekter. Korrekt dataforberedelse fører til bedre modelydelse og mere præcise forudsigelser. SageMaker Canvas tillader interaktiv dataudforskning, transformation og forberedelse uden at skrive SQL- eller Python-kode.

Udfør følgende trin for at forberede dine data:

1. Vælg på SageMaker Canvas-konsollen Forberedelse af data i navigationsruden.
2. På Opret menu, vælg Dokument.
3. Til Datasætnavn, indtast et navn til dit datasæt.
4. Vælg Opret.
   
5. Vælg Amazon S3 som datakilde, og tilslut det til datasættet.
6. Når datasættet er indlæst, skal du oprette et dataflow ved hjælp af dette datasæt.
   
7. Skift til fanen analyser og opret en Rapport om datakvalitet og indsigt.

Dette er et anbefalet trin til at analysere kvaliteten af ​​inputdatasættet. Outputtet af denne rapport producerer øjeblikkelig ML-drevet indsigt såsom dataskævhed, dubletter i dataene, manglende værdier og meget mere. Følgende skærmbillede viser et eksempel på den genererede rapport for lånedatasættet.

Ved at generere disse indsigter på dine vegne, giver SageMaker Canvas dig en række problemer i dataene, der skal afhjælpes i dataforberedelsesfasen. For at vælge de to øverste problemer identificeret af SageMaker Canvas, skal du kode de kategoriske funktioner og fjerne de duplikerede rækker, så din modelkvalitet er høj. Du kan gøre begge dele og mere i en visuel arbejdsgang med SageMaker Canvas.

1. Først, one-hot encode loan_intent, loan_gradeog person_home_ownership
2. Du kan droppe cb_person_cred_history_length kolonne, fordi den kolonne har den mindste forudsigelsesevne, som vist i rapporten Datakvalitet og indsigt.
   
   SageMaker Canvas tilføjede for nylig en Chat med data mulighed. Denne funktion bruger kraften i fundamentmodeller til at fortolke naturlige sprogforespørgsler og generere Python-baseret kode for at anvende funktionsteknologiske transformationer. Denne funktion er drevet af Amazon Bedrock og kan konfigureres til at køre helt i din VPC, så data aldrig forlader dit miljø.
3. For at bruge denne funktion til at fjerne duplikerede rækker skal du vælge plustegnet ved siden af Drop kolonne transformer, og vælg derefter Chat med data.
   
4. Indtast din forespørgsel på naturligt sprog (f.eks. "Fjern duplikerede rækker fra datasættet").
5. Gennemgå den genererede transformation og vælg Tilføj til trin at tilføje transformationen til flowet.
   
6. Til sidst eksporterer du outputtet af disse transformationer til Amazon S3 eller eventuelt Amazon SageMaker Feature Store at bruge disse funktioner på tværs af flere projekter.

Du kan også tilføje et andet trin for at oprette en Amazon S3-destination for datasættet for at skalere arbejdsgangen for et stort datasæt. Følgende diagram viser SageMaker Canvas-datastrømmen efter tilføjelse af visuelle transformationer.

Du har gennemført hele databehandlings- og funktionsudviklingstrinnet ved hjælp af visuelle arbejdsgange i SageMaker Canvas. Dette hjælper med at reducere den tid, en dataingeniør bruger på at rense og gøre dataene klar til modeludvikling fra uger til dage. Næste skridt er at bygge ML-modellen.

Byg en model med SageMaker Canvas

Amazon SageMaker Canvas giver en kodefri end-to-end workflow til at bygge, analysere, teste og implementere denne binære klassifikationsmodel. Udfør følgende trin:

1. Opret et datasæt i SageMaker Canvas.
2. Angiv enten den S3-placering, der blev brugt til at eksportere dataene, eller den S3-placering, der er på destinationen for SageMaker Canvas-jobbet.
   
   Nu er du klar til at bygge modellen.
3. Vælg Modeller i navigationsruden og vælg Ny model.
4. Navngiv modellen og vælg Forudsigende analyse som modeltype.
5. Vælg det datasæt, der blev oprettet i det forrige trin.
   
   Det næste trin er at konfigurere modeltypen.
6. Vælg målkolonnen, og modeltypen indstilles automatisk som 2 kategori forudsigelse.
7. Vælg din byggetype, Standard opbygning or Hurtig opbygning.
   
   SageMaker Canvas viser den forventede byggetid, så snart du begynder at bygge modellen. Standardopbygning tager normalt mellem 2-4 timer; du kan bruge Quick build-indstillingen til mindre datasæt, som kun tager 2-15 minutter. For dette bestemte datasæt bør det tage omkring 45 minutter at færdiggøre modelopbygningen. SageMaker Canvas holder dig orienteret om udviklingen af ​​byggeprocessen.
8. Efter at modellen er bygget, kan du se på modellens ydeevne.
   
   SageMaker Canvas giver forskellige målinger som nøjagtighed, præcision og F1-score afhængigt af modellens type. Følgende skærmbillede viser nøjagtigheden og et par andre avancerede målinger for denne binære klassifikationsmodel.
9. Det næste trin er at lave testforudsigelser.
   SageMaker Canvas giver dig mulighed for at lave batch-forudsigelser på flere input eller en enkelt forudsigelse for hurtigt at verificere modelkvaliteten. Følgende skærmbillede viser en prøveslutning.
   
10. Det sidste trin er at implementere den trænede model.
    SageMaker Canvas implementerer modellen på SageMaker-endepunkter, og nu har du en produktionsmodel klar til slutninger. Følgende skærmbillede viser det implementerede slutpunkt.
    

Efter at modellen er implementeret, kan du kalde den gennem AWS SDK eller AWS kommandolinjegrænseflade (AWS CLI) eller foretag API-kald til enhver applikation efter eget valg for at forudsige risikoen for en potentiel låntager. For mere information om test af din model, se Påberåb endepunkter i realtid.

Ryd op

For at undgå at pådrage sig yderligere gebyrer, log ud af SageMaker Canvas or slette SageMaker-domænet der blev skabt. Derudover slet SageMaker-modellens slutpunkt , slet det datasæt, der blev uploadet til Amazon S3.

Konklusion

No-code ML accelererer udviklingen, forenkler implementeringen, kræver ikke programmeringsfærdigheder, øger standardiseringen og reducerer omkostningerne. Disse fordele gjorde no-code ML attraktiv for Deloitte for at forbedre sine ML-servicetilbud, og de har forkortet deres ML-modelbyggetidslinjer med 30-40 %.

Deloitte er en strategisk global systemintegrator med over 17,000 certificerede AWS-udøvere over hele kloden. Det fortsætter med at hæve barren gennem deltagelse i AWS Competency Program med 25 kompetencer, herunder Machine Learning. Forbind med Deloitte at begynde at bruge AWS no-code og low-code løsninger til din virksomhed.

---

Om forfatterne

Chida Sadayappan leder Deloittes Cloud AI/Machine Learning-praksis. Han bringer stærk tankeledererfaring til engagementer og trives med at støtte ledende interessenter med at opnå præstationsforbedringer og moderniseringsmål på tværs af industrier, der bruger AI/ML. Chida er en seriel tech-iværksætter og en ivrig samfundsbygger i opstarts- og udviklerøkosystemerne.

Kuldeep Singh, en Principal Global AI/ML-leder hos AWS med over 20 år inden for teknologi, kombinerer dygtigt sin salgs- og iværksætterekspertise med en dyb forståelse af AI, ML og cybersikkerhed. Han udmærker sig ved at skabe strategiske globale partnerskaber, drive transformative løsninger og strategier på tværs af forskellige industrier med fokus på generative AI og GSI'er.

Kasi Muthu er en senior partnerløsningsarkitekt med fokus på data og AI/ML hos AWS baseret i Houston, TX. Han brænder for at hjælpe partnere og kunder med at accelerere deres cloud-datarejse. Han er en betroet rådgiver på dette felt og har masser af erfaring med at arkitekte og bygge skalerbare, robuste og effektive arbejdsbelastninger i skyen. Uden for arbejdet nyder han at tilbringe tid med sin familie.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/