Creșterea productivității dezvoltatorilor: cum folosește Deloitte Amazon SageMaker Canvas pentru învățarea automată fără cod/low-code | Amazon Web Services

Capacitatea de a construi și implementa rapid modele de învățare automată (ML) devine din ce în ce mai importantă în lumea actuală bazată pe date. Cu toate acestea, construirea modelelor ML necesită timp semnificativ, efort și expertiză specializată. De la colectarea și curățarea datelor până la inginerie de caracteristici, construirea de modele, reglare și implementare, proiectele ML durează adesea luni până la finalizarea dezvoltatorilor. Și oamenii de știință de date cu experiență pot fi greu de găsit.

Aici suita AWS de servicii ML cu cod redus și fără cod devine un instrument esențial. Folosind doar câteva clicuri Amazon SageMaker Canvas, puteți profita de puterea ML fără a fi nevoie să scrieți niciun cod.

În calitate de integrator strategic de sisteme cu experiență ML profundă, Deloitte utilizează instrumentele ML fără cod și low-code de la AWS pentru a construi și implementa eficient modele ML pentru clienții Deloitte și pentru activele interne. Aceste instrumente permit Deloitte să dezvolte soluții ML fără a fi nevoie să codifice manual modele și conducte. Acest lucru poate ajuta la accelerarea termenelor de livrare a proiectelor și poate permite Deloitte să își asume mai multă muncă client.

Următoarele sunt câteva motive specifice pentru care Deloitte utilizează aceste instrumente:

• Accesibilitate pentru non-programatori – Instrumentele fără cod deschid crearea de modele ML pentru non-programatori. Membrii echipei cu doar experiență în domeniu și foarte puține abilități de codare pot dezvolta modele ML.
• Adoptarea rapidă a noii tehnologii – Disponibilitatea și îmbunătățirea constantă a modelelor gata de utilizare și AutoML vă ajută să vă asigurați că utilizatorii folosesc în mod constant tehnologia de vârf.
• Dezvoltare rentabilă – Instrumentele fără cod ajută la reducerea costurilor și a timpului necesar pentru dezvoltarea modelului ML, făcându-l mai accesibil clienților, ceea ce îi poate ajuta să obțină o rentabilitate mai mare a investiției.

În plus, aceste instrumente oferă o soluție cuprinzătoare pentru fluxuri de lucru mai rapide, permițând următoarele:

• Pregătirea mai rapidă a datelor – SageMaker Canvas are peste 300 de transformări încorporate și capacitatea de a folosi limbajul natural care poate accelera pregătirea datelor și poate pregăti datele pentru construirea modelului.
• Construire mai rapidă a modelelor – SageMaker Canvas oferă modele gata de utilizare sau Amazon AutoML tehnologie care vă permite să construiți modele personalizate pe datele întreprinderii cu doar câteva clicuri. Acest lucru ajută la accelerarea procesului în comparație cu modelele de codare de la zero.
• Implementare mai ușoară – SageMaker Canvas oferă posibilitatea de a implementa modele gata de producție la un Amazon Sagmaker punctul final în câteva clicuri, în timp ce îl înregistrați Registrul de modele Amazon SageMaker.

Vishveshwara Vasa, Cloud CTO pentru Deloitte, spune:

„Prin serviciile de ML fără cod ale AWS, cum ar fi SageMaker Canvas și SageMaker Data Wrangler, noi cei de la Deloitte Consulting am deblocat noi eficiențe, sporind viteza de dezvoltare și productivitatea implementării cu 30-40% în proiectele noastre orientate către clienți și interne.”

În această postare, demonstrăm puterea construirii unui model ML end-to-end fără cod, utilizând SageMaker Canvas, arătându-vă cum să construiți un model de clasificare pentru a estima dacă un client nu va primi un împrumut. Prevăzând cu mai multă acuratețe valorile implicite ale împrumuturilor, modelul poate ajuta o companie de servicii financiare să gestioneze riscul, să stabilească un preț adecvat pentru împrumuturi, să îmbunătățească operațiunile, să ofere servicii suplimentare și să obțină un avantaj competitiv. Demonstrăm modul în care SageMaker Canvas vă poate ajuta să treceți rapid de la datele brute la un model de clasificare binar implementat pentru predicția implicită a împrumutului.

SageMaker Canvas oferă capabilități complete de pregătire a datelor, dezvoltate de Amazon SageMaker Data Wrangler în spațiul de lucru SageMaker Canvas. Acest lucru vă permite să treceți prin toate fazele unui flux de lucru ML standard, de la pregătirea datelor până la construirea și implementarea modelelor, pe o singură platformă.

Pregătirea datelor este de obicei cea mai mare fază a fluxului de lucru ML. Pentru a reduce timpul petrecut cu pregătirea datelor, SageMaker Canvas vă permite să vă pregătiți datele folosind peste 300 de transformări încorporate. Alternativ, puteți scrie instrucțiuni în limbaj natural, cum ar fi „eliminați rândurile pentru coloana c care sunt valori aberante” și vi se va prezenta fragmentul de cod necesar pentru acest pas de pregătire a datelor. Puteți adăuga apoi acest lucru la fluxul de lucru de pregătire a datelor cu câteva clicuri. Vă arătăm cum să utilizați asta și în această postare.

Prezentare generală a soluțiilor

Următoarea diagramă descrie arhitectura unui model de clasificare implicit a împrumuturilor folosind instrumentele SageMaker low-code și fără cod.

Începând cu un set de date care conține detalii despre datele implicite ale împrumutului Serviciul Amazon de stocare simplă (Amazon S3), folosim SageMaker Canvas pentru a obține informații despre date. Apoi efectuăm inginerie de caracteristici pentru a aplica transformări, cum ar fi codificarea caracteristicilor categoriale, eliminarea caracteristicilor care nu sunt necesare și multe altele. Apoi, stocăm datele curățate înapoi în Amazon S3. Folosim setul de date curățat pentru a crea un model de clasificare pentru prezicerea implicită a împrumuturilor. Apoi avem un model gata de producție pentru inferență.

Cerințe preliminare

Asigurați-vă că următoarele premise sunt complete și că ați activat Canvas Modele gata de utilizare opțiunea la configurarea domeniului SageMaker. Dacă ți-ai configurat deja domeniul, editați setările domeniului dvs și du-te la Setări canvas pentru a activa funcția Activați modelele Canvas gata de utilizare opțiune. În plus, configurați și creați aplicația SageMaker Canvas, apoi solicitați și activați Acces model Claude antropic on Amazon Bedrock.

Setul de date

Folosim un set de date public de la chinuiala care conține informații despre împrumuturile financiare. Fiecare rând din setul de date reprezintă un singur împrumut, iar coloanele oferă detalii despre fiecare tranzacție. Descărcați acest set de date și stocați-l într-o găleată S3 la alegere. Următorul tabel listează câmpurile din setul de date.

Nume coloană	Tipul de date	Descriere
Person_age	Întreg	Vârsta persoanei care a luat un împrumut
Person_income	Întreg	Venitul debitorului
Person_home_ownership	Şir	Statutul de proprietate (proprie sau închiriat)
Person_emp_length	Zecimal	Numărul de ani în care sunt angajați
Loan_intent	Şir	Motivul împrumutului (personal, medical, educațional și așa mai departe)
Loan_grade	Şir	Gradul de împrumut (A–E)
Loan_int_rate	Zecimal	Rata dobânzii
Loan_amnt	Întreg	Valoarea totală a împrumutului
Loan_status	Întreg	Țintă (indiferent dacă au fost implicite sau nu)
Loan_percent_income	Zecimal	Valoarea împrumutului în raport cu procentul din venit
Cb_person_default_on_file	Întreg	Valori implicite anterioare (dacă există)
Cb_person_credit_history_length	Şir	Durata istoricului lor de credit

Simplificați pregătirea datelor cu SageMaker Canvas

Pregătirea datelor poate lua până la 80% din efortul proiectelor ML. Pregătirea corectă a datelor duce la o performanță mai bună a modelului și la predicții mai precise. SageMaker Canvas permite explorarea, transformarea și pregătirea interactivă a datelor fără a scrie niciun cod SQL sau Python.

Parcurgeți următorii pași pentru a vă pregăti datele:

1. Pe consola SageMaker Canvas, alegeți Pregătirea datelor în panoul de navigare.
2. Pe Crea meniu, alegeți Document.
3. Pentru Numele setului de date, introduceți un nume pentru setul dvs. de date.
4. Alege Crea.
   
5. Alegeți Amazon S3 ca sursă de date și conectați-l la setul de date.
6. După ce setul de date este încărcat, creați un flux de date folosind acel setul de date.
   
7. Comutați la fila analize și creați un Raport privind calitatea datelor și perspective.

Acesta este un pas recomandat pentru a analiza calitatea setului de date de intrare. Ieșirea acestui raport produce informații instantanee bazate pe ML, cum ar fi deformarea datelor, duplicatele în date, valorile lipsă și multe altele. Următoarea captură de ecran arată un eșantion al raportului generat pentru setul de date de împrumut.

Prin generarea acestor informații în numele dvs., SageMaker Canvas vă oferă un set de probleme ale datelor care necesită remediere în faza de pregătire a datelor. Pentru a alege primele două probleme identificate de SageMaker Canvas, trebuie să codificați caracteristicile categoriale și să eliminați rândurile duplicate, astfel încât calitatea modelului dvs. să fie ridicată. Puteți face ambele acestea și multe altele într-un flux de lucru vizual cu SageMaker Canvas.

1. În primul rând, codificarea one-hot loan_intent, loan_grade, și person_home_ownership
2. Puteți renunța la cb_person_cred_history_length coloană deoarece acea coloană are cea mai mică putere de predicție, așa cum se arată în Raportul privind calitatea datelor și statistici.
   
   SageMaker Canvas a adăugat recent un Chat cu date opțiune. Această caracteristică folosește puterea modelelor de bază pentru a interpreta interogări în limbaj natural și pentru a genera cod bazat pe Python pentru a aplica transformări de inginerie a caracteristicilor. Această funcție este alimentată de Amazon Bedrock și poate fi configurată să ruleze în întregime într-un VPC dvs., astfel încât datele să nu părăsească niciodată mediul dvs.
3. Pentru a utiliza această funcție pentru a elimina rândurile duplicate, alegeți semnul plus de lângă Aruncați coloana transforma, apoi alege Chat cu date.
   
4. Introduceți interogarea în limbaj natural (de exemplu, „Eliminați rândurile duplicate din setul de date”).
5. Examinați transformarea generată și alegeți Adăugați la pași pentru a adăuga transformarea fluxului.
   
6. În cele din urmă, exportați rezultatul acestor transformări în Amazon S3 sau opțional Magazinul de caracteristici Amazon SageMaker pentru a utiliza aceste funcții în mai multe proiecte.

De asemenea, puteți adăuga un alt pas pentru a crea o destinație Amazon S3 pentru setul de date pentru a scala fluxul de lucru pentru un set de date mare. Următoarea diagramă arată fluxul de date SageMaker Canvas după adăugarea transformărilor vizuale.

Ați finalizat întregul pas de procesare a datelor și de inginerie a caracteristicilor utilizând fluxuri de lucru vizuale în SageMaker Canvas. Acest lucru ajută la reducerea timpului petrecut de un inginer de date pentru curățarea și pregătirea datelor pentru dezvoltarea modelului de la săptămâni la zile. Următorul pas este construirea modelului ML.

Construiți un model cu SageMaker Canvas

Amazon SageMaker Canvas oferă un flux de lucru end-to-end fără cod pentru construirea, analizarea, testarea și implementarea acestui model de clasificare binar. Parcurgeți următorii pași:

1. Creați un set de date în SageMaker Canvas.
2. Specificați fie locația S3 care a fost folosită pentru a exporta datele, fie locația S3 care se află pe destinația jobului SageMaker Canvas.
   
   Acum sunteți gata să construiți modelul.
3. Alege modele în panoul de navigare și alegeți Noul model.
4. Denumiți modelul și selectați Analiza predictivă ca tip de model.
5. Alegeți setul de date creat la pasul anterior.
   
   Următorul pas este configurarea tipului de model.
6. Alegeți coloana țintă și tipul de model va fi setat automat ca Predicție de 2 categorii.
7. Alegeți tipul dvs. de construcție, Construcție standard or Construire rapidă.
   
   SageMaker Canvas afișează timpul de construcție așteptat de îndată ce începeți să construiți modelul. Construcția standard durează de obicei între 2-4 ore; puteți folosi opțiunea de compilare rapidă pentru seturi de date mai mici, care durează doar 2-15 minute. Pentru acest set de date particular, ar trebui să dureze aproximativ 45 de minute pentru a finaliza construirea modelului. SageMaker Canvas vă ține la curent cu progresul procesului de construire.
8. După ce modelul este construit, vă puteți uita la performanța modelului.
   
   SageMaker Canvas oferă diverse valori, cum ar fi acuratețea, precizia și scorul F1, în funcție de tipul modelului. Următoarea captură de ecran arată acuratețea și alte câteva valori avansate pentru acest model de clasificare binar.
9. Următorul pas este să faceți predicții de testare.
   SageMaker Canvas vă permite să faceți predicții în lot pe mai multe intrări sau o singură predicție pentru a verifica rapid calitatea modelului. Următoarea captură de ecran arată un exemplu de inferență.
   
10. Ultimul pas este implementarea modelului antrenat.
    SageMaker Canvas implementează modelul pe punctele finale SageMaker, iar acum aveți un model de producție pregătit pentru inferență. Următoarea captură de ecran arată punctul final implementat.
    

După ce modelul este implementat, îl puteți apela prin AWS SDK sau Interfața liniei de comandă AWS (AWS CLI) sau efectuați apeluri API către orice aplicație la alegere pentru a prezice cu încredere riscul unui potențial împrumutat. Pentru mai multe informații despre testarea modelului dvs., consultați Invocați puncte finale în timp real.

A curăța

Pentru a evita costurile suplimentare, deconectați-vă de la SageMaker Canvas or ștergeți domeniul SageMaker care a fost creat. În plus, ștergeți punctul final al modelului SageMaker și ștergeți setul de date care a fost încărcat pe Amazon S3.

Concluzie

ML fără cod accelerează dezvoltarea, simplifică implementarea, nu necesită abilități de programare, crește standardizarea și reduce costurile. Aceste beneficii au făcut ca ML fără cod să fie atractivă pentru Deloitte pentru a-și îmbunătăți ofertele de servicii ML și și-au scurtat termenele de construire a modelului ML cu 30-40%.

Deloitte este un integrator strategic global de sisteme cu peste 17,000 de practicieni AWS certificați de pe tot globul. Continuă să ridice ștacheta prin participarea la Programul de competențe AWS cu 25 de competențe, inclusiv Machine Learning. Conectați-vă cu Deloitte pentru a începe să utilizați soluții AWS fără cod și low-code pentru întreprinderea dvs.

---

Despre autori

Chida Sadayappan conduce practica Deloitte Cloud AI/Machine Learning. El aduce o experiență puternică de lider de gândire angajamentelor și prosperă în sprijinirea părților interesate executive în atingerea obiectivelor de îmbunătățire a performanței și de modernizare în toate industriile care utilizează AI/ML. Chida este un antreprenor în domeniul tehnologiei în serie și un creator de comunități pasionat în ecosistemele de startup și dezvoltatori.

Kuldeep Singh, un lider global principal AI/ML la AWS cu peste 20 de ani în tehnologie, combină cu pricepere experiența în vânzări și antreprenoriat cu o înțelegere profundă a AI, ML și securitatea cibernetică. El excelează în crearea de parteneriate strategice globale, conducând soluții și strategii transformatoare în diverse industrii, cu accent pe IA generativă și GSI.

Kasi Muthu este un arhitect de soluții partener senior care se concentrează pe date și AI/ML la AWS cu sediul în Houston, TX. Este pasionat să ajute partenerii și clienții să-și accelereze călătoria de date în cloud. Este un consilier de încredere în acest domeniu și are o mulțime de experiență în arhitectura și construirea de sarcini de lucru scalabile, rezistente și performante în cloud. În afara serviciului, îi place să petreacă timpul cu familia.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/