Creați și antrenați modele ML folosind o arhitectură de rețea de date pe AWS: Partea 1

Organizațiile din diverse industrii folosesc inteligența artificială (AI) și învățarea automată (ML) pentru a rezolva provocările de afaceri specifice industriei lor. De exemplu, în industria serviciilor financiare, puteți utiliza AI și ML pentru a rezolva provocările legate de detectarea fraudelor, predicția riscului de credit, marketingul direct și multe altele.

Întreprinderile mari înființează uneori un centru de excelență (CoE) pentru a aborda nevoile diferitelor linii de afaceri (LoBs) cu analize inovatoare și proiecte ML.

Pentru a genera modele ML de înaltă calitate și performante la scară, aceștia trebuie să facă următoarele:

• Oferiți o modalitate ușoară de a accesa datele relevante pentru analiza lor și ML CoE
• Creați responsabilitate pentru furnizorii de date din LoB-uri individuale pentru a partaja active de date selectate care sunt descoperite, ușor de înțeles, interoperabile și de încredere

Acest lucru poate reduce timpul de ciclu lung pentru conversia cazurilor de utilizare ML din experiment în producție și poate genera valoare de afaceri în întreaga organizație.

O arhitectură de tip rețea de date se străduiește să rezolve aceste provocări tehnice și organizaționale prin introducerea unei abordări socio-tehnice descentralizate pentru a partaja, accesa și gestiona date în medii complexe și la scară largă, în cadrul sau între organizații. Modelul de proiectare a rețelei de date creează un model responsabil de partajare a datelor care se aliniază cu creșterea organizațională pentru a atinge obiectivul final de a crește rentabilitatea investițiilor de afaceri în echipele de date, proces și tehnologie.

În această serie din două părți, oferim îndrumări despre modul în care organizațiile pot construi o arhitectură de date modernă folosind un model de proiectare a rețelei de date pe AWS și să permită un CoE de analiză și ML pentru a construi și antrena modele ML cu date în mai multe LoB-uri. Folosim un exemplu de organizație de servicii financiare pentru a stabili contextul și cazul de utilizare pentru această serie.

În această primă postare, arătăm procedurile de configurare a unei arhitecturi de rețea de date cu mai multe conturi de producători și consumatori de date AWS. Apoi ne concentrăm asupra unui produs de date, care este deținut de un singur LoB din cadrul organizației financiare și asupra modului în care acesta poate fi partajat într-un mediu de plasă de date pentru a permite altor LoB să consume și să utilizeze acest produs de date. Acest lucru vizează în principal persoana de administrator de date, care este responsabilă pentru eficientizarea și standardizarea procesului de partajare a datelor între producătorii de date și consumatori și pentru asigurarea conformității cu regulile de guvernare a datelor.

În a doua postare, arătăm un exemplu despre modul în care o analiză și ML CoE pot consuma produsul de date pentru un caz de utilizare pentru predicția riscului. Acest lucru vizează în principal persoana de știință a datelor, care este responsabilă pentru utilizarea atât a activelor de date la nivel organizațional, cât și a terților pentru a construi și a antrena modele ML care extrag informații despre afaceri pentru a îmbunătăți experiența clienților de servicii financiare.

Prezentare generală a rețelei de date

Fondatorul modelului de plasă de date, Zhamak Dehghani, în cartea ei Mesh de date care oferă valoare bazată pe date la scară, a definit patru principii față de obiectivul rețelei de date:

• Proprietatea de domeniu distribuită – Să urmărească o schimbare organizațională de la proprietatea centralizată a datelor de către specialiștii care administrează tehnologiile platformei de date la un model descentralizat de proprietate a datelor, împingând proprietatea și responsabilitatea datelor înapoi la LoB-urile în care datele sunt produse (domenii aliniate la sursă) sau consumate ( domenii aliniate la consum).
• Datele ca produs – Pentru a împinge în amonte responsabilitatea partajării activelor de date curate, de înaltă calitate, interoperabile și securizate. Prin urmare, producătorii de date din diferite LoB-uri sunt responsabili pentru realizarea datelor într-o formă consumabilă chiar la sursă.
• Analiză în autoservire – Pentru a eficientiza experiența utilizatorilor de date de analiză și ML, astfel încât aceștia să poată descoperi, accesa și utiliza produsele de date cu instrumentele lor preferate. În plus, pentru a eficientiza experiența furnizorilor de date LoB pentru a construi, implementa și întreține produse de date prin rețete și componente și șabloane reutilizabile.
• Guvernare computațională federată – Să federalizeze și să automatizeze procesul decizional implicat în gestionarea și controlul accesului la date pentru a fi la nivelul proprietarilor de date din diferitele LoB-uri, ceea ce este încă în conformitate cu politicile juridice, de conformitate și de securitate ale organizației mai largi, care sunt în cele din urmă puse în aplicare prin plasa.

AWS și-a prezentat viziunea pentru construirea unei rețele de date peste AWS în diferite postări:

• În primul rând, ne-am concentrat pe partea organizațională asociată cu proprietatea asupra domeniului distribuit și datele ca principii de produs. Autorii au descris viziunea de a alinia mai multe LOB-uri în întreaga organizație către o strategie de produs de date care oferă domeniilor aliniate la consum instrumente pentru a găsi și obține datele de care au nevoie, garantând în același timp controlul necesar în jurul utilizării acestor date prin introducerea răspunderii pentru domeniile aliniate la sursă pentru a oferi produse de date gata de a fi utilizate chiar la sursă. Pentru mai multe informații, consultați Cum a construit JPMorgan Chase o arhitectură de tip rețea de date pentru a genera o valoare semnificativă pentru a-și îmbunătăți platforma de date pentru întreprinderi.
• Apoi ne-am concentrat pe partea tehnică asociată cu construirea de produse de date, analize în sistem self-service și principii de guvernanță computațională federată. Autorii au descris serviciile de bază AWS care împuternicesc domeniile aliniate la sursă să construiască și să partajeze produse de date, o mare varietate de servicii care pot permite domeniilor aliniate la consumatori să consume produse de date în moduri diferite, în funcție de instrumentele lor preferate și de cazurile de utilizare pe care le au. lucrează la și, în sfârșit, serviciile AWS care guvernează procedura de partajare a datelor prin aplicarea politicilor de acces la date. Pentru mai multe informații, consultați Proiectați o arhitectură de rețea de date folosind AWS Lake Formation și AWS Glue.
• Am prezentat, de asemenea, o soluție pentru a automatiza descoperirea datelor și controlul accesului printr-o interfață de utilizare centralizată a rețelei de date. Pentru mai multe detalii, consultați Creați un flux de lucru de partajare a datelor cu AWS Lake Formation pentru rețeaua dvs. de date.

Caz de utilizare a serviciilor financiare

De obicei, marile organizații de servicii financiare au mai multe LoB-uri, cum ar fi consumer banking, investiții bancare și managementul activelor, precum și una sau mai multe echipe de analiză și ML CoE. Fiecare LoB oferă servicii diferite:

• LoB de servicii bancare pentru consumatori oferă consumatorilor și întreprinderilor o varietate de servicii, inclusiv credit și credit ipotecar, gestionarea numerarului, soluții de plată, produse de depozit și de investiții și multe altele
• LoB bancar comercial sau de investiții oferă soluții financiare cuprinzătoare, cum ar fi împrumuturi, risc de faliment și plăți angro către clienți, inclusiv întreprinderi mici, companii mijlocii și corporații mari
• LoB de gestionare a activelor oferă produse de pensionare și servicii de investiții pentru toate clasele de active

Fiecare LoB își definește propriile produse de date, care sunt organizate de persoane care înțeleg datele și sunt cele mai potrivite pentru a specifica cine este autorizat să le folosească și cum pot fi utilizate. În schimb, alte LoB-uri și domenii de aplicație, cum ar fi analiza și ML CoE, sunt interesate să descopere și să consume produse de date calificate, să le îmbine pentru a genera perspective și să ia decizii bazate pe date.

Următoarea ilustrație ilustrează câteva LoB-uri și exemple de produse de date pe care le pot partaja. De asemenea, prezintă consumatorii de produse de date, cum ar fi analitice și ML CoE, care construiesc modele ML care pot fi implementate în aplicații adresate clienților pentru a îmbunătăți și mai mult experiența clientului final.

Urmând conceptul socio-tehnic al rețelei de date, începem cu aspectul social cu un set de pași organizatorici, precum următorii:

• Folosind experți în domeniu pentru a defini limitele pentru fiecare domeniu, astfel încât fiecare produs de date să poată fi mapat la un anumit domeniu
• Identificarea proprietarilor pentru produsele de date furnizate din fiecare domeniu, astfel încât fiecare produs de date să aibă o strategie definită de proprietar
• Identificarea politicilor de guvernare din stimulente globale și locale sau federate, astfel încât, atunci când consumatorii de date accesează un anumit produs de date, politica de acces asociată produsului poate fi aplicată automat printr-un nivel central de guvernare a datelor

Apoi trecem la aspectul tehnic, care include următorul scenariu end-to-end definit în diagrama anterioară:

1. Împuternicește LoB-ul de servicii bancare pentru consumatori cu instrumente pentru a construi un produs de date privind profilul de credit de consum gata de utilizat.
2. Permiteți LoB bancar pentru consumatori să partajeze produse de date în nivelul de guvernanță centrală.
3. Încorporați definiții globale și federale ale politicilor de acces la date care ar trebui aplicate în timpul accesării produsului de date privind profilul creditului de consum prin intermediul guvernării centrale a datelor.
4. Permiteți analizei și ML CoE să descopere și să acceseze produsul de date prin nivelul de guvernare centrală.
5. Îmbunătățiți analiza și ML CoE cu instrumente pentru a utiliza produsul de date pentru construirea și instruirea unui model de predicție a riscului de credit. Nu acoperim pașii finali (6 și 7 în diagrama precedentă) din această serie. Cu toate acestea, pentru a arăta valoarea de afaceri pe care un astfel de model ML o poate aduce organizației într-un scenariu end-to-end, ilustrăm următoarele:
6. Acest model ar putea fi implementat ulterior înapoi în sistemele orientate către clienți, cum ar fi un portal web bancar pentru consumatori sau o aplicație mobilă.
7. Poate fi utilizat în mod specific în cadrul cererii de împrumut pentru a evalua profilul de risc al cererilor de credit și credit ipotecar.

În continuare, descriem nevoile tehnice ale fiecărei componente.

Aprofundare în nevoile tehnice

Pentru a face produsele de date disponibile pentru toată lumea, organizațiile trebuie să faciliteze partajarea datelor între diferite entități din cadrul organizației, menținând în același timp un control adecvat asupra acestora sau, cu alte cuvinte, să echilibreze agilitatea cu o guvernanță adecvată.

Consumator de date: Analytics și ML CoE

Consumatorii de date, cum ar fi oamenii de știință de date de la analiză și ML CoE, trebuie să fie capabili să facă următoarele:

• Descoperiți și accesați seturi de date relevante pentru un anumit caz de utilizare
• Aveți încredere că seturile de date pe care doresc să le acceseze sunt deja organizate, actualizate și au descrieri solide
• Solicitați acces la seturi de date de interes pentru cazurile lor de afaceri
• Folosiți instrumentele lor preferate pentru a interoga și a procesa astfel de seturi de date în mediul lor pentru ML fără a fi nevoie de replicarea datelor din locația la distanță inițială sau pentru a vă face griji cu privire la complexitățile de inginerie sau infrastructură asociate cu procesarea datelor stocate fizic într-un site la distanță.
• Primiți notificări despre orice actualizări ale datelor făcute de proprietarii datelor

Producător de date: Proprietatea domeniului

Producătorii de date, cum ar fi echipele de domeniu din diferite LoB-uri din organizația de servicii financiare, trebuie să se înregistreze și să partajeze seturi de date organizate care conțin următoarele:

• Metadate tehnice și operaționale, cum ar fi numele și dimensiunile bazelor de date și tabelelor, scheme de coloane și chei
• Metadatele comerciale, cum ar fi descrierea datelor, clasificarea și sensibilitatea
• Urmărirea metadatelor, cum ar fi evoluția schemei de la formularul sursă la cel țintă și orice formulare intermediare
• Metadatele privind calitatea datelor, cum ar fi rapoartele de corectitudine și completitate și prejudecățile datelor
• Politici și proceduri de acces

Acestea sunt necesare pentru a permite consumatorilor de date să descopere și să acceseze date fără a se baza pe proceduri manuale sau a fi nevoiți să contacteze experții din domeniul produsului de date pentru a obține mai multe cunoștințe despre semnificația datelor și modul în care acestea pot fi accesate.

Guvernarea datelor: descoperire, accesibilitate și auditabilitate

Organizațiile trebuie să echilibreze agilitățile ilustrate mai devreme cu atenuarea adecvată a riscurilor asociate cu scurgerile de date. În special în industriile reglementate, cum ar fi serviciile financiare, este necesar să se mențină guvernanța centrală a datelor pentru a oferi accesul general la date și controlul de audit, reducând în același timp amprenta de stocare prin evitarea mai multor copii ale acelorași date în locații diferite.

În arhitecturile tradiționale ale lacurilor de date centralizate, producătorii de date publică adesea date brute și transferă responsabilitatea procesării datelor, gestionării calității datelor și controlului accesului inginerilor de date și infrastructură într-o echipă de platformă de date centralizată. Cu toate acestea, aceste echipe ale platformei de date pot fi mai puțin familiare cu diferitele domenii de date și se bazează în continuare pe sprijinul producătorilor de date pentru a putea gestiona și guverna corect accesul la date în conformitate cu politicile aplicate în fiecare domeniu de date. În schimb, producătorii de date înșiși sunt cel mai bine poziționați pentru a furniza active de date curate și calificate și sunt conștienți de politicile de acces specifice domeniului care trebuie aplicate în timpul accesării activelor de date.

Prezentare generală a soluțiilor

Următoarea diagramă prezintă arhitectura de nivel înalt a soluției propuse.

Abordăm consumul de date de către analytics și ML CoE cu Amazon Atena și Amazon SageMaker in parte 2 din această serie.

În această postare, ne concentrăm asupra procesului de integrare a datelor în rețeaua de date și descriem modul în care un LoB individual, cum ar fi echipa de date pentru domeniul bancar pentru consumatori, poate folosi instrumente AWS, cum ar fi AWS Adeziv și AWS Glue Databrew să pregătească, să organizeze și să îmbunătățească calitatea produselor lor de date și apoi să înregistreze acele produse de date în contul central de guvernanță a datelor prin Formația lacului AWS.

Consumer banking LoB (producător de date)

Unul dintre principiile de bază ale rețelei de date este conceptul de date ca produs. Este foarte important ca echipa de date din domeniul bancar pentru consumatori să lucreze la pregătirea produselor de date care sunt gata de utilizare de către consumatorii de date. Acest lucru se poate face prin utilizarea instrumentelor AWS de extragere, transformare și încărcare (ETL) precum AWS Glue pentru a procesa datele brute colectate pe Serviciul Amazon de stocare simplă (Amazon S3) sau, alternativ, conectați-vă la depozitele de date operaționale în care sunt produse datele. De asemenea, puteți utiliza DataBrew, care este un instrument de pregătire a datelor vizuale fără cod, care facilitează curățarea și normalizarea datelor.

De exemplu, în timp ce pregătește produsul de date privind profilul creditului de consum, echipa de date privind domeniul bancar pentru consumatori poate face o simplă curatare pentru a traduce din germană în engleză numele atributelor datelor brute preluate din setul de date open-source. Datele de credit germane Statlog, care constă din 20 de atribute și 1,000 de rânduri.

Guvernarea datelor

Serviciul de bază AWS pentru activarea guvernării rețelei de date este Lake Formation. Lake Formation oferă capacitatea de a impune guvernarea datelor în fiecare domeniu de date și între domenii pentru a se asigura că datele sunt ușor de descoperit și sigure. Oferă un model de securitate federalizat care poate fi administrat central, cu cele mai bune practici pentru descoperirea datelor, securitate și conformitate, permițând în același timp o agilitate ridicată în fiecare domeniu.

Lake Formation oferă un API pentru a simplifica modul în care datele sunt ingerate, stocate și gestionate, împreună cu securitate la nivel de rând pentru a vă proteja datele. De asemenea, oferă funcționalități precum controlul granular al accesului, tabele guvernate și optimizarea stocării.

În plus, Lake Formations oferă o API de partajare a datelor pe care le puteți folosi pentru a partaja date pe diferite conturi. Acest lucru permite consumatorului de analiză și ML CoE să ruleze interogări Athena care interogă și se unesc tabele în mai multe conturi. Pentru mai multe informații, consultați Ghid pentru dezvoltatori AWS Lake Formation.

Manager de acces la resurse AWS (AWS RAM) oferă o modalitate sigură de a partaja resurse prin AWS Identity and Access Manager (IAM) și utilizatorii din conturile AWS dintr-o organizație sau unități organizaționale (OU) în Organizații AWS.

Lake Formation împreună cu AWS RAM oferă o modalitate de a gestiona partajarea datelor și accesul între conturile AWS. Ne referim la această abordare ca Controlul accesului bazat pe RAM. Pentru mai multe detalii despre această abordare, consultați Creați un flux de lucru de partajare a datelor cu AWS Lake Formation pentru rețeaua dvs. de date.

Lake Formation oferă, de asemenea, o altă modalitate de a gestiona partajarea datelor și accesul folosind Etichete formarea lacului. Ne referim la această abordare ca controlul accesului bazat pe etichete. Pentru mai multe detalii, consultați Creați o arhitectură de date modernă și un model de rețea de date la scară folosind controlul accesului bazat pe etichete AWS Lake Formation.

Pe parcursul acestei postări, folosim abordarea de control al accesului bazată pe etichete, deoarece simplifică crearea de politici pentru un număr mai mic de etichete logice care se găsesc în mod obișnuit în diferite LoB-uri, în loc să specificăm politici privind resursele numite la nivel de infrastructură.

Cerințe preliminare

Pentru a configura o arhitectură de rețea de date, aveți nevoie de cel puțin trei conturi AWS: un cont de producător, un cont central și un cont de consumator.

Implementați mediul rețea de date

Pentru a implementa un mediu mesh de date, puteți utiliza următoarele GitHub depozit. Acest depozit conține trei Formarea AWS Cloud șabloane care implementează un mediu mesh de date care include fiecare dintre conturi (producător, central și consumator). În cadrul fiecărui cont, puteți rula șablonul CloudFormation corespunzător.

Cont central

În contul central, parcurgeți următorii pași:

1. Lansați stiva CloudFormation:
   
2. Creați doi utilizatori IAM:
   1. DataMeshOwner
   2. ProducerSteward
3. Grant DataMeshOwner ca administrator al Formației Lacului.
4. Creați un rol IAM:
   1. LFRegisterLocationServiceRole
5. Creați două politici IAM:
   1. ProducerStewardPolicy
   2. S3DataLakePolicy
6. Creați baza de date card de credit pentru ProducerSteward la contul de producător.
7. Partajați permisiunea de locație a datelor în contul de producător.

Contul de producator

În contul de producător, parcurgeți următorii pași:

1. Lansați stiva CloudFormation:
   
2. Creați găleata S3 credit-card, care ține masa credit_card.
3. Permiteți accesul la găleată S3 pentru rolul de serviciu Lake Formation din contul central.
4. Creați crawler-ul AWS Glue creditCrawler-<ProducerAccountID>.
5. Creați un rol de serviciu crawler AWS Glue.
6. Acordați permisiuni pentru locația compartimentului S3 credit-card-<ProducerAccountID>-<aws-region> la rolul de crawler AWS Glue.
7. Creați un utilizator IAM de administrator de producător.

Cont de consumator

În contul de consumator, parcurgeți următorii pași:

1. Lansați stiva CloudFormation:
   
2. Creați găleata S3 <AWS Account ID>-<aws-region>-athena-logs.
3. Creați grupul de lucru Athena consumer-workgroup.
4. Creați utilizatorul IAM ConsumerAdmin.

Adăugați o bază de date și abonați-vă contul de consumator la aceasta

După ce rulați șabloanele, puteți trece prin pas-cu-pas ghid pentru a adăuga un produs în catalogul de date și pentru a avea consumatorul abonat la acesta. Ghidul începe prin crearea unei baze de date în care producătorul își poate plasa produsele și apoi explică modul în care consumatorul se poate abona la acea bază de date și accesa datele. Toate acestea se realizează în timpul utilizării Etichete LF, care este controlul accesului bazat pe etichete pentru Formarea Lacului.

Înregistrarea de date a produsului

Următoarea arhitectură descrie pașii detaliați ai modului în care echipa LoB de servicii bancare pentru consumatori care acționează ca producători de date își poate înregistra produsele de date în contul central de guvernanță a datelor (produse de date integrate în rețeaua de date a organizației).

Pașii generali pentru înregistrarea unui produs de date sunt următorii:

1. Creați o bază de date țintă pentru produsul de date în contul de guvernanță centrală. De exemplu, șablonul CloudFormation din contul central creează deja baza de date țintă credit-card.
2. Partajați baza de date țintă creată cu originea în contul de producător.
3. Creați o legătură de resursă a bazei de date partajate în contul de producător. În următoarea captură de ecran, vedem pe consola Lake Formation din contul de producător că rl_credit-card este legătura de resursă a credit-card Bază de date.
   
4. Populați tabele (cu datele păstrate în contul de producător) în baza de date a linkurilor de resurse (rl_credit-card) folosind un crawler AWS Glue în contul de producător.
   

Tabelul creat apare automat în contul de guvernanță centrală. Următoarea captură de ecran arată un exemplu de tabel în Lake Formation în contul central. Acest lucru se întâmplă după efectuarea pașilor anteriori pentru a popula baza de date cu linkuri de resurse rl_credit-card în contul de producător.

Concluzie

În partea 1 a acestei serii, am discutat despre obiectivele organizațiilor de servicii financiare de a obține mai multă agilitate pentru echipele lor de analiză și ML și de a reduce timpul de la date la informații. De asemenea, ne-am concentrat pe construirea unei arhitecturi mesh de date pe AWS, unde am introdus servicii AWS ușor de utilizat, scalabile și rentabile, cum ar fi AWS Glue, DataBrew și Lake Formation. Echipele producătoare de date pot folosi aceste servicii pentru a construi și partaja produse de date curate, de înaltă calitate, interoperabile și securizate, care sunt gata de utilizare de către diferiți consumatori de date în scopuri analitice.

In parte 2, ne concentrăm pe echipele de analiză și ML CoE care consumă produse de date partajate de LoB bancar pentru consumatori pentru a construi un model de predicție a riscului de credit folosind servicii AWS precum Athena și SageMaker.

---

Despre autori

Karim Hammouda este arhitect specializat în soluții pentru Analytics la AWS, cu o pasiune pentru integrarea datelor, analiza datelor și BI. El lucrează cu clienții AWS pentru a proiecta și a construi soluții de analiză care contribuie la creșterea afacerii lor. În timpul liber, îi place să se uite la documentare TV și să joace jocuri video cu fiul său.

Hasan Poonawala este arhitect senior de soluții de specialitate AI/ML la AWS, Hasan îi ajută pe clienți să proiecteze și să implementeze aplicații de învățare automată în producție pe AWS. Are peste 12 ani de experiență de lucru ca om de știință a datelor, practician de învățare automată și dezvoltator de software. În timpul liber, lui Hasan îi place să exploreze natura și să petreacă timp cu prietenii și familia.

Benoit de Patoul este arhitect specializat în soluții AI/ML la AWS. El ajută clienții oferind îndrumări și asistență tehnică pentru a construi soluții legate de AI/ML folosind AWS. În timpul liber, îi place să cânte la pian și să petreacă timpul cu prietenii.