Aceasta este a doua postare a unei serii de patru părți care detaliază cum Grupul NatWest, o importantă instituție de servicii financiare, cu care a colaborat Servicii profesionale AWS pentru a construi o nouă platformă de operațiuni de învățare automată (MLOps). În această postare, împărtășim modul în care NatWest Group a folosit AWS pentru a permite implementarea în sistem self-service a platformei MLOps standardizate, sigure și conforme utilizând Catalog de servicii AWS și Amazon SageMaker. Acest lucru a condus la o reducere a timpului necesar pentru furnizarea de noi medii de la zile la doar câteva ore.
Credem că factorii de decizie pot beneficia de acest conținut. CTO, CDAO, oamenii de știință de date senior și inginerii seniori în cloud pot urma acest model pentru a oferi soluții inovatoare pentru echipele lor de știință a datelor și de inginerie.
Citiți întreaga serie:
|
Tehnologie la NatWest Group
NatWest Group este o bancă de relații pentru o lume digitală care oferă servicii financiare pentru peste 19 milioane de clienți din Marea Britanie. Grupul are un portofoliu de tehnologie divers, în care soluțiile pentru provocările de afaceri sunt adesea livrate folosind design-uri personalizate și cu termene lungi.
Recent, NatWest Group a adoptat o strategie bazată pe cloud, care a permis companiei să utilizeze servicii gestionate pentru a furniza resurse de calcul și stocare la cerere. Această mișcare a condus la o îmbunătățire a stabilității generale, scalabilității și performanței soluțiilor de afaceri, reducând în același timp costurile și accelerând cadența de livrare. În plus, trecerea la cloud permite Grupului NatWest să-și simplifice tehnologia prin aplicarea unui set de soluții coerente, repetabile și preaprobate pentru a îndeplini cerințele de reglementare și a funcționa într-o manieră controlată.
Provocări
Etapele pilot ale adoptării unei abordări bazate pe cloud au implicat mai multe faze de experimentare și evaluare, utilizând o mare varietate de servicii de analiză pe AWS. Primele iterații ale platformei cloud a NatWest Group pentru sarcinile de lucru din știința datelor s-au confruntat cu provocări cu furnizarea de medii cloud consistente, sigure și conforme. Procesul de creare a unor noi medii a durat de la câteva zile până la săptămâni sau chiar luni. Dependența de echipele din platforma centrală pentru a construi, furniza, securiza, implementa și gestiona infrastructura și sursele de date a făcut dificilă integrarea noilor echipe pentru a lucra în cloud.
Din cauza disparității în configurația infrastructurii între conturile AWS, echipele care au decis să-și migreze sarcinile de lucru în cloud au trebuit să treacă printr-un proces elaborat de conformitate. Fiecare componentă a infrastructurii a trebuit să fie analizată separat, ceea ce a mărit termenele de audit de securitate.
Începutul dezvoltării în AWS a implicat citirea unui set de ghiduri de documentare scrise de echipele platformei. Pașii inițiali de configurare a mediului au inclus gestionarea cheilor publice și private pentru autentificare, configurarea conexiunilor la serviciile de la distanță folosind Interfața liniei de comandă AWS (AWS CLI) sau SDK din medii de dezvoltare locale și rulează scripturi personalizate pentru conectarea IDE-urilor locale la serviciile cloud. Provocările tehnice au făcut adesea dificilă integrarea noilor membri ai echipei. După ce mediile de dezvoltare au fost configurate, calea de lansare a software-ului în producție a fost la fel de complexă și lungă.
După cum este descris în partea 1 a acestei serii, echipa comună de proiect a colectat o cantitate mare de feedback cu privire la experiența utilizatorului și cerințele de la echipele din NatWest Group înainte de a construi noua platformă de știință a datelor și MLOps. O temă comună în acest feedback a fost nevoia de automatizare și standardizare ca un precursor pentru livrarea rapidă și eficientă a proiectelor pe AWS. Noua platformă folosește servicii gestionate de AWS pentru a optimiza costurile, a reduce eforturile de configurare a platformei și a reduce amprenta de carbon de la rularea unor lucrări de calcul inutil de mari. Standardizarea este încorporată în inima platformei, cu componente de infrastructură preaprobate, complet configurate, securizate, conforme și reutilizabile, care pot fi partajate între echipele de date și analize.
De ce SageMaker Studio?
Echipa a ales Amazon SageMaker Studio ca instrument principal pentru construirea și implementarea conductelor ML. Studio oferă o interfață unică bazată pe web, care oferă utilizatorilor acces complet, control și vizibilitate la fiecare pas necesar pentru a construi, antrena și implementa modele. Maturitatea Studio IDE (mediu de dezvoltare integrat) pentru dezvoltarea modelului, urmărirea metadatelor, gestionarea artefactelor și implementarea au fost printre caracteristicile care au atras puternic echipa NatWest Group.
Oamenii de știință de date de la NatWest Group lucrează cu notebook-uri SageMaker în Studio în timpul etapelor inițiale de dezvoltare a modelului pentru a efectua analize de date, dispute de date și inginerie de caracteristici. După ce utilizatorii sunt mulțumiți de rezultatele acestei lucrări inițiale, codul este ușor convertit în funcții componabile pentru transformarea datelor, antrenamentul modelului, inferența, înregistrarea în jurnal și testele unitare, astfel încât să fie într-o stare pregătită pentru producție.
Etapele ulterioare ale ciclului de viață al dezvoltării modelului implică utilizarea Pipelines Amazon SageMaker, care poate fi inspectat vizual și monitorizat în Studio. Conductele sunt vizualizate într-un DAG (Grafic aciclic direcționat) care codifică pașii în funcție de starea lor în timp ce conducta rulează. În plus, un rezumat al Jurnalele Amazon CloudWatch este afișat lângă DAG pentru a facilita depanarea pașilor eșuați. Oamenii de știință de date primesc un șablon de cod care constă din toți pașii de bază dintr-o conductă SageMaker. Aceasta oferă un cadru standardizat (consecvent pentru toți utilizatorii platformei pentru a ușura colaborarea și partajarea cunoștințelor) în care dezvoltatorii pot adăuga logica și codul de aplicație personalizat, care este specific provocării de afaceri pe care o rezolvă.
Dezvoltatorii rulează conductele în IDE-ul Studio pentru a se asigura că modificările lor de cod se integrează corect cu alți pași ai canalului. După ce modificările de cod au fost revizuite și aprobate, aceste conducte sunt construite și rulate automat pe baza unui declanșator principal de ramuri a depozitului Git. În timpul pregătirii modelului, valorile de evaluare a modelului sunt stocate și urmărite în SageMaker Experiments, care pot fi utilizate pentru reglarea hiperparametrului. După ce un model este antrenat, artefactul model este stocat în Registrul modelului SageMaker, împreună cu metadate legate de containerele model, datele utilizate în timpul antrenamentului, caracteristicile modelului și codul modelului. Registrul modelului joacă un rol cheie în procesul de implementare a modelului, deoarece împachetează toate informațiile despre model și permite automatizarea promovării modelului în mediile de producție.
Inginerii MLOps implementează gestionat Lucrări de transformare în loturi SageMaker, care se scalează pentru a satisface cerințele privind volumul de muncă. Atât joburile de inferență în lot offline, cât și modelele online deservite prin intermediul unui punct final utilizează funcționalitatea de inferență gestionată de SageMaker. Acest lucru avantajează atât echipele de platformă, cât și echipele de aplicații de afaceri, deoarece inginerii de platformă nu mai petrec timp configurând componentele infrastructurii pentru inferența modelului, iar echipele de aplicații de afaceri nu scriu cod standard suplimentar pentru a configura și interacționa cu instanțe de calcul.
De ce AWS Service Catalog?
Echipa a ales AWS Service Catalog pentru a construi un catalog de șabloane de infrastructură sigure, conforme și preaprobate. Componentele de infrastructură dintr-un produs AWS Service Catalog sunt preconfigurate pentru a îndeplini cerințele de securitate ale NatWest Group. Gestionarea accesului la rol, politicile de resurse, configurarea rețelei și politicile de control central sunt configurate pentru fiecare resursă ambalată într-un produs AWS Service Catalog. Produsele sunt versiuni și partajate cu echipele de aplicații, urmând un proces standard care permite echipelor de știință a datelor și de inginerie să se autoservice și să implementeze infrastructura imediat după ce au acces la conturile lor AWS.
Echipele de dezvoltare a platformei pot evolua cu ușurință produsele AWS Service Catalog în timp pentru a permite implementarea de noi funcții bazate pe cerințele de afaceri. Modificările iterative ale produselor sunt făcute cu ajutorul versiunii produselor AWS Service Catalog. Când este lansată o nouă versiune de produs, echipa platformei îmbină modificările codului în ramura principală Git și incrementează versiunea produsului AWS Service Catalog. Există un anumit grad de autonomie și flexibilitate în actualizarea infrastructurii, deoarece conturile de aplicații de afaceri pot folosi versiuni anterioare ale produselor înainte de a migra la cea mai recentă versiune.
Prezentare generală a soluțiilor
Următoarea diagramă de arhitectură la nivel înalt arată cum este implementat un caz de utilizare tipic al unei aplicații de afaceri pe AWS. Următoarele secțiuni intră în mai multe detalii cu privire la arhitectura contului, modul în care este implementată infrastructura, gestionarea accesului utilizatorilor și modul în care sunt utilizate diferite servicii AWS pentru a construi soluții ML.
După cum se arată în diagrama arhitecturii, conturile urmează un model hub and spoke. Un cont de platformă partajat servește ca un cont hub, unde resursele necesare pentru conturile echipei de aplicații de afaceri (spoke) sunt găzduite de echipa platformei. Aceste resurse includ următoarele:
- O bibliotecă de produse de infrastructură securizate, standardizate, utilizate pentru implementările de infrastructură cu autoservire, găzduită de AWS Service Catalog
- Imagini Docker, stocate în Registrul Amazon de containere elastice (Amazon ECR), care sunt utilizate în timpul rulării pașilor conductei SageMaker și a inferenței modelului
- AWS CodeArtifact depozite, care găzduiesc pachete Python preaprobate
Aceste resurse sunt partajate automat cu conturile spoke prin funcția de partajare și import a portofoliului AWS Service Catalog și Gestionarea identității și accesului AWS (IAM) politici de încredere atât în cazul Amazon ECR, cât și în cazul CodeArtifact.
Fiecare echipă de aplicații de afaceri are trei conturi AWS în mediul de infrastructură NatWest Group: dezvoltare, pre-producție și producție. Numele mediului se referă la rolul intenționat al contului în ciclul de viață al dezvoltării științei datelor. Contul de dezvoltare este folosit pentru a efectua analize și dispute de date, pentru a scrie modelul și codul pipelinei de model, pentru a antrena modele și pentru a declanșa implementări de model în mediile de pre-producție și producție prin SageMaker Studio. Contul de pre-producție oglindește configurarea contului de producție și este utilizat pentru a testa implementările de model și joburile de transformare în loturi înainte de a fi lansate în producție. Contul de producție găzduiește modele și rulează sarcini de lucru de inferență de producție.
Managementul utilizatorului
Grupul NatWest are procese stricte de guvernare pentru a impune separarea rolurilor utilizatorilor. Au fost create cinci roluri IAM separate pentru fiecare persoană de utilizator.
Echipa platformei folosește următoarele roluri:
- Inginer suport platformă – Acest rol conține permisiuni pentru activități ca de obicei și o vedere numai în citire a restului mediului pentru monitorizarea și depanarea platformei.
- Inginer de reparare a platformei – Acest rol a fost creat cu permisiuni ridicate. Este folosit dacă există probleme cu platforma care necesită intervenție manuală. Acest rol este asumat doar într-un mod aprobat, limitat în timp.
Echipele de dezvoltare a aplicațiilor de afaceri au trei roluri distincte:
- Conducator tehnic – Acest rol este atribuit șefului echipei de aplicații, adesea un expert în știință de date. Acest utilizator are permisiunea de a implementa și gestiona produse AWS Service Catalog, de a declanșa lansări în producție și de a revizui starea mediului, cum ar fi AWS CodePipeline stări și jurnalele. Acest rol nu are permisiunea de a aproba un model în registrul de modele SageMaker.
- Dezvoltator – Acest rol este atribuit tuturor membrilor echipei care lucrează cu SageMaker Studio, care include ingineri, oameni de știință a datelor și, adesea, liderul echipei. Acest rol are permisiuni pentru a deschide Studio, a scrie cod și a rula și a implementa conducte SageMaker. La fel ca liderul tehnic, acest rol nu are permisiunea de a aproba un model în registrul de modele.
- Aprobator de model – Acest rol are permisiuni limitate legate de vizualizarea, aprobarea și respingerea modelelor din registrul de modele. Motivul acestei separări este de a împiedica orice utilizator care poate construi și antrena modele să aprobe și să-și lanseze propriile modele în medii escaladate.
Sunt create profiluri de utilizator Studio separate pentru dezvoltatori și aprobatorii de modele. Soluția folosește o combinație de declarații de politică IAM și etichete de profil de utilizator SageMaker, astfel încât utilizatorilor li se permite doar să deschidă un profil de utilizator care se potrivește tipului lor de utilizator. Acest lucru asigură că utilizatorului i se atribuie rolul corect IAM de execuție SageMaker (și, prin urmare, permisiunile) atunci când deschide IDE-ul Studio.
Implementări cu autoservire cu AWS Service Catalog
Utilizatorii finali folosesc AWS Service Catalog pentru a implementa produse de infrastructură pentru știința datelor, cum ar fi următoarele:
- Un mediu Studio
- Profiluri de utilizator Studio
- Model de conducte de implementare
- Conducte de instruire
- Conducte de inferență
- Un sistem de monitorizare și alertă
Utilizatorii finali implementează aceste produse direct prin interfața de utilizare AWS Service Catalog, ceea ce înseamnă că se bazează mai puțin pe echipele din platforma centrală pentru a furniza medii. Acest lucru a redus considerabil timpul necesar utilizatorilor pentru a obține acces la noi medii cloud, de la mai multe zile până la doar câteva ore, ceea ce a condus în cele din urmă la o îmbunătățire semnificativă a timpului până la valoarea valorii. Utilizarea unui set comun de produse AWS Service Catalog susține coerența în cadrul proiectelor din întreaga întreprindere și reduce bariera pentru colaborare și reutilizare.
Deoarece toată infrastructura științei datelor este acum implementată printr-un catalog dezvoltat central de produse de infrastructură, s-a avut grijă să construim fiecare dintre aceste produse având în vedere securitatea. Serviciile au fost configurate pentru a comunica în interior Cloud virtual virtual Amazon (Amazon VPC), astfel încât traficul să nu traverseze internetul public. Datele sunt criptate în tranzit și în repaus folosind AWS Service Management Service (AWS KMS). Rolurile IAM au fost, de asemenea, stabilite pentru a urma principiul cel mai mic privilegiu.
În cele din urmă, cu AWS Service Catalog, este ușor pentru echipa platformei să lanseze continuu noi produse și servicii pe măsură ce acestea devin disponibile sau solicitate de echipele de aplicații de afaceri. Acestea pot lua forma unor noi produse de infrastructură, de exemplu oferind posibilitatea utilizatorilor finali de a-și implementa propriile produse Amazon EMR clustere sau actualizări ale produselor de infrastructură existente. Deoarece AWS Service Catalog acceptă versiunea și utilizările produsului Formarea AWS Cloud în culise, actualizările la locul lor pot fi utilizate atunci când sunt lansate versiuni noi ale produselor existente. Acest lucru permite echipelor platformei să se concentreze pe construirea și îmbunătățirea produselor, mai degrabă decât pe dezvoltarea proceselor complexe de actualizare.
Integrare cu software-ul IaC existent al NatWest
AWS Service Catalog este utilizat pentru implementările de infrastructură de știință a datelor cu autoservire. În plus, instrumentul standard de infrastructură ca cod (IaC) al NatWest, Terraform, este folosit pentru a construi infrastructura în conturile AWS. Terraform este utilizat de echipele platformei în timpul procesului inițial de configurare a contului pentru a implementa resursele prealabile ale infrastructurii, cum ar fi VPC-uri, grupuri de securitate, Manager sistem AWS parametri, chei KMS și controale de securitate standard. Infrastructura din contul hub, cum ar fi portofoliile AWS Service Catalog și resursele utilizate pentru a construi imagini Docker, sunt, de asemenea, definite folosind Terraform. Cu toate acestea, produsele AWS Service Catalog în sine sunt create folosind șabloane standard CloudFormation.
Îmbunătățirea productivității dezvoltatorilor și a calității codului cu proiectele SageMaker
proiecte SageMaker oferiți dezvoltatorilor și cercetătorilor de date acces la proiecte de pornire rapidă fără a părăsi SageMaker Studio. Aceste proiecte cu pornire rapidă vă permit să implementați mai multe resurse de infrastructură în același timp, în doar câteva clicuri. Acestea includ un depozit Git care conține un șablon de proiect standardizat pentru tipul de model selectat, Serviciul Amazon de stocare simplă Bucket-uri (Amazon S3) pentru stocarea datelor, modelelor seriale și artefactelor, precum și instruirea modelului și conductele CodePipeline.
Introducerea arhitecturilor standardizate de bază de cod și a instrumentelor fac acum ușor pentru oamenii de știință de date și inginerii să se deplaseze între proiecte și se asigură că calitatea codului rămâne ridicată. De exemplu, cele mai bune practici de inginerie software, cum ar fi verificările de listing și formatare (rulate atât ca verificări automate, cât și ca hook precommit), testele unitare și rapoartele de acoperire sunt acum automatizate ca parte a conductelor de instruire, oferind standardizare pentru toate proiectele. Acest lucru a îmbunătățit mentenabilitatea proiectelor ML și va facilita mutarea acestor proiecte în producție.
Automatizarea implementărilor de modele
Procesul de formare a modelului este orchestrat folosind SageMaker Pipelines. După ce modelele au fost instruite, acestea sunt stocate în registrul de modele SageMaker. Utilizatorii cărora li s-a atribuit rolul de aprobare a modelului pot deschide registrul modelului și pot găsi informații referitoare la procesul de instruire, cum ar fi momentul în care modelul a fost antrenat, valorile hiperparametrilor și valorile de evaluare. Aceste informații îl ajută pe utilizator să decidă dacă aprobă sau respinge un model. Respingerea unui model împiedică implementarea modelului într-un mediu escaladat, în timp ce aprobarea unui model declanșează o conductă de promovare a modelului prin CodePipeline, care copiază automat modelul în contul AWS de pre-producție, gata pentru testarea sarcinii de lucru de inferență. După ce echipa a confirmat că modelul funcționează corect în pre-producție, se aprobă un pas manual în aceeași conductă și modelul este copiat automat în contul de producție, gata pentru sarcinile de lucru de inferență de producție.
Rezultate
Unul dintre obiectivele principale ale acestui proiect de colaborare între NatWest și AWS a fost de a reduce timpul necesar pentru furnizarea și implementarea mediilor cloud pentru știința datelor și modele ML în producție. Acest lucru a fost atins—NatWest poate furniza acum medii AWS noi, scalabile și securizate în câteva ore, comparativ cu zile sau chiar săptămâni. Oamenii de știință și inginerii de date sunt acum împuterniciți să implementeze și să gestioneze singuri infrastructura de știință a datelor folosind AWS Service Catalog, reducând dependența de echipele de platforme centralizate. În plus, utilizarea proiectelor SageMaker permite utilizatorilor să înceapă codificarea și formarea modelelor în câteva minute, oferind în același timp structuri și instrumente de proiect standardizate.
Deoarece AWS Service Catalog servește ca metodă centrală de implementare a infrastructurii științei datelor, platforma poate fi extinsă și actualizată cu ușurință în viitor. Noile servicii AWS pot fi oferite rapid utilizatorilor finali atunci când este nevoie, iar produsele AWS Service Catalog existente pot fi actualizate pentru a profita de noile funcții.
În cele din urmă, trecerea către servicii gestionate pe AWS înseamnă că resursele de calcul sunt furnizate și oprite la cerere. Acest lucru a oferit economii de costuri și flexibilitate, în același timp aliniat cu Ambiția NatWest de a fi net-zero până în 2050 datorită unei reduceri estimate de 75% a CO2 emisiilor.
Concluzie
Adoptarea unei strategii bazate pe cloud la NatWest Group a condus la crearea unei soluții AWS robuste, care poate sprijini un număr mare de echipe de aplicații de afaceri din întreaga organizație. Gestionarea infrastructurii cu AWS Service Catalog a îmbunătățit în mod semnificativ procesul de integrare în cloud prin utilizarea unor blocuri de infrastructură sigure, conforme și preaprobate care pot fi extinse cu ușurință. Componentele de infrastructură gestionate SageMaker au îmbunătățit procesul de dezvoltare a modelului și au accelerat livrarea proiectelor ML.
Pentru a afla mai multe despre procesul de construire a modelelor ML pregătite pentru producție la NatWest Group, aruncați o privire la restul acestei serii de patru părți despre colaborarea strategică dintre NatWest Group și AWS Professional Services:
- Partea 1 explică modul în care NatWest Group a colaborat cu AWS Professional Services pentru a construi o platformă MLOps scalabilă, sigură și durabilă
- Partea 3 oferă o privire de ansamblu asupra modului în care NatWest Group utilizează serviciile SageMaker pentru a construi modele ML auditabile, reproductibile și explicabile
- Partea 4 detaliază modul în care echipele de știință a datelor NatWest migrează modelele lor existente către arhitecturile SageMaker
Despre Autori
Junaid Baba este consultant DevOps la Servicii profesionale AWS El își valorifică experiența în Kubernetes, calculul distribuit, AI/MLOps pentru a accelera adoptarea cloud a clienților din industria serviciilor financiare din Marea Britanie. Junaid este la AWS din iunie 2018. Înainte de aceasta, Junaid a lucrat cu un număr de start-up-uri financiare care au condus practicile DevOps. În afara muncii, el are interese în drumeții, arta modernă și fotografia statică.
Yordanka Ivanova este inginer de date la NatWest Group. Are experiență în construirea și furnizarea de soluții de date pentru companii din industria serviciilor financiare. Înainte de a se alătura NatWest, Yordanka a lucrat ca consultant tehnic, unde a câștigat experiență în utilizarea unei game largi de servicii cloud și tehnologii open-source pentru a oferi rezultate de afaceri pe mai multe platforme cloud. În timpul ei liber, Yordanka îi place să se antreneze, să călătorească și să cânte la chitară.
Michael Anglia este inginer software în echipa Data Science and Innovation de la NatWest Group. Este pasionat de dezvoltarea de soluții pentru rularea sarcinilor de lucru de învățare automată la scară largă în cloud. Înainte de a se alătura grupului NatWest, Michael a lucrat și a condus echipe de inginerie software care dezvoltau aplicații critice în industria serviciilor financiare și a călătoriilor. În timpul liber, îi place să cânte la chitară, să călătorească și să exploreze peisajul rural pe bicicleta sa.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlps-platform-using-aws-service- catalog-and-amazon-sagemaker/
- "
- 100
- Despre Noi
- accelerat
- accelerarea
- acces
- Cont
- peste
- plus
- Suplimentar
- Adoptare
- Avantaj
- TOATE
- Amazon
- printre
- sumă
- Sume
- analiză
- Google Analytics
- aplicație
- aplicatii
- abordare
- aproba
- arhitectură
- Artă
- alocate
- de audit
- Autentificare
- Automata
- Automatizare
- Automatizare și standardizare
- disponibil
- AWS
- Bancă
- deveni
- în spatele scenelor
- fiind
- beneficia
- Beneficiile
- CEL MAI BUN
- Cele mai bune practici
- construi
- Clădire
- afaceri
- carbon
- pasă
- centralizat
- contesta
- provocări
- Verificări
- Cloud
- Platforma Cloud
- servicii de tip cloud
- cod
- Codificare
- colaborare
- combinaţie
- Comun
- Companii
- companie
- comparație
- complex
- conformitate
- conforme
- component
- Calcula
- tehnica de calcul
- Configuraţie
- Conexiuni
- consultant
- Recipient
- Containere
- conține
- conţinut
- continuu
- Control
- a creat
- Crearea
- creaţie
- critic
- personalizat
- clienţii care
- de date
- analiza datelor
- știința datelor
- om de știință de date
- livrate
- livrarea
- livrare
- Cerere
- cererile
- implementa
- dislocate
- Implementarea
- desfășurarea
- implementări
- descris
- modele
- detaliu
- detalii
- dezvoltat
- Dezvoltator
- Dezvoltatorii
- în curs de dezvoltare
- Dezvoltare
- diferit
- dificil
- digital
- direct
- distribuite
- calcul distribuit
- Docher
- Nu
- jos
- conducere
- cu ușurință
- eficient
- Eforturile
- Elaborat
- permite
- Punct final
- inginer
- Inginerie
- inginerii
- Afacere
- Mediu inconjurator
- estimativ
- evaluare
- evolua
- exemplu
- execuție
- existent
- experienţă
- Caracteristică
- DESCRIERE
- feedback-ul
- financiar
- Servicii financiare
- First
- Repara
- Flexibilitate
- Concentra
- urma
- următor
- urmă
- formă
- Cadru
- funcționalitate
- viitor
- merge
- guvernare
- grup
- Grupului
- Ghiduri
- fericit
- ajutor
- ajută
- Înalt
- Cum
- HTTPS
- Identitate
- implementarea
- îmbunătățit
- include
- inclus
- include
- a crescut
- industrii
- industrie
- informații
- Infrastructură
- Inovaţie
- inovatoare
- Instituţie
- integra
- integrate
- interese
- interfaţă
- Internet
- implicat
- probleme de
- IT
- Locuri de munca
- Cheie
- chei
- cunoştinţe
- mare
- Ultimele
- conduce
- AFLAȚI
- învăţare
- Led
- pîrghii
- efectului de pârghie
- Bibliotecă
- Limitat
- Linie
- legarea
- local
- maşină
- masina de învățare
- făcut
- major
- FACE
- administra
- gestionate
- administrare
- de conducere
- manieră
- manual
- materie
- scadență
- sens
- Membri actuali
- Metrici
- milion
- minte
- ML
- model
- Modele
- Monitorizarea
- luni
- mai mult
- muta
- în mişcare
- multiplu
- nume
- rețele
- Funcții noi
- Platforma nouă
- produs nou
- produse noi
- număr
- oferit
- Offline
- La imbarcare
- on-line
- deschide
- Operațiuni
- Optimizați
- organizație
- Altele
- global
- propriu
- special
- parteneriat
- pasionat
- Model
- performanță
- fotografie
- pilot
- platformă
- Platforme
- joc
- Politicile
- Politica
- portofoliu
- portofolii
- principiu
- privat
- Cheile private
- proces
- procese
- Produs
- producere
- productivitate
- Produse
- profesional
- Profil
- Profiluri
- proiect
- Proiecte
- de promovare
- furniza
- furnizează
- furnizarea
- public
- calitate
- Rapid
- repede
- Citind
- reduce
- reducerea
- autoritățile de reglementare
- relaţie
- eliberaţi
- eliberat
- Lansări
- încredere
- Rapoarte
- depozit
- necesita
- necesar
- Cerinţe
- resursă
- Resurse
- REST
- REZULTATE
- revizuiască
- Traseul
- Alerga
- funcţionare
- scalabilitate
- scalabil
- Scară
- scene
- Ştiinţă
- Om de stiinta
- oamenii de stiinta
- sdk
- sigur
- securitate
- selectate
- serie
- serviciu
- Servicii
- set
- configurarea
- Distribuie
- comun
- semnificativ
- asemănător
- simplu
- So
- Software
- Inginer Software
- Inginerie software
- soluţie
- soluţii
- petrece
- Stabilitate
- stivui
- standard
- start-up-uri
- început
- Stat
- Declarații
- Stare
- depozitare
- Strategic
- Strategie
- studio
- a sustine
- Sprijină
- durabilă
- sistem
- sisteme
- sarcini
- echipă
- Tehnic
- Tehnologii
- Tehnologia
- şabloane
- test
- Testarea
- teste
- articulația
- temă
- prin urmare
- Prin
- timp
- instrument
- față de
- Urmărire
- trafic
- Pregătire
- Transforma
- Transformare
- tranzit
- călătorie
- Traveling
- Încredere
- ui
- Uk
- actualizări
- utilizare
- utilizatorii
- folosi
- Utilizand
- varietate
- Vizualizare
- Virtual
- vizibilitate
- bazat pe web
- dacă
- în timp ce
- OMS
- în
- fără
- Apartamente
- a lucrat
- de lucru
- lucrează
- fabrică
- lume