To je druga objava štiridelne serije, ki podrobno opisuje, kako Skupina NatWest, velika institucija za finančne storitve, ki sodeluje z Strokovne storitve AWS zgraditi novo platformo operacij strojnega učenja (MLOps). V tej objavi delimo, kako je skupina NatWest uporabila AWS za omogočanje samopostrežne uvedbe svoje standardizirane, varne in skladne platforme MLOps z uporabo Katalog storitev AWS in Amazon SageMaker. To je privedlo do zmanjšanja časa, ki je potreben za zagotavljanje novih okolij, z dni na le nekaj ur.
Verjamemo, da lahko odločevalcem ta vsebina koristi. Tehnični direktorji, CDAO, višji podatkovni znanstveniki in višji inženirji v oblaku lahko sledijo temu vzorcu, da zagotovijo inovativne rešitve za svoje ekipe za podatkovno znanost in inženiring.
Preberite celotno serijo:
|
Tehnologija pri NatWest Group
NatWest Group je banka odnosov za digitalni svet, ki zagotavlja finančne storitve več kot 19 milijonom strank po vsej Veliki Britaniji. Skupina ima raznovrsten tehnološki portfelj, kjer se rešitve za poslovne izzive pogosto zagotavljajo z zasnovami po meri in z dolgimi roki.
Skupina NatWest je pred kratkim sprejela strategijo na prvem mestu v oblaku, ki je podjetju omogočila uporabo upravljanih storitev za zagotavljanje računalniških in shranjevalnih virov na zahtevo. Ta poteza je privedla do izboljšanja splošne stabilnosti, razširljivosti in zmogljivosti poslovnih rešitev, hkrati pa je zmanjšala stroške in pospešila kadenco dostave. Poleg tega prehod v oblak omogoča NatWest Group, da poenostavi svoj tehnološki sklop z uveljavitvijo nabora doslednih, ponovljivih in vnaprej odobrenih zasnov rešitev za izpolnjevanje regulativnih zahtev in delovanje na nadzorovan način.
Izzivi
Pilotne faze sprejemanja pristopa najprej v oblaku so vključevale več eksperimentalnih in ocenjevalnih faz z uporabo najrazličnejših analitične storitve na AWS. Prve ponovitve oblačne platforme NatWest Group za delovne obremenitve podatkovne znanosti so se soočile z izzivi zagotavljanja doslednih, varnih in skladnih oblačnih okolij. Proces ustvarjanja novih okolij je trajal od nekaj dni do tednov ali celo mesecev. Zanašanje na ekipe osrednje platforme za gradnjo, zagotavljanje, varovanje, uvajanje in upravljanje infrastrukture in virov podatkov je otežilo vključitev novih ekip za delo v oblaku.
Zaradi razlik v konfiguraciji infrastrukture med računi AWS so morale ekipe, ki so se odločile za selitev svojih delovnih obremenitev v oblak, skozi natančen postopek zagotavljanja skladnosti. Vsako infrastrukturno komponento je bilo treba analizirati posebej, kar je podaljšalo časovne okvire revizije varnosti.
Začetek razvoja v AWS je vključeval branje nabora dokumentacijskih vodnikov, ki so jih napisale skupine platform. Začetni koraki nastavitve okolja so vključevali upravljanje javnih in zasebnih ključev za preverjanje pristnosti, konfiguriranje povezav z oddaljenimi storitvami z Vmesnik ukazne vrstice AWS (AWS CLI) ali SDK iz lokalnih razvojnih okolij in izvajanje skriptov po meri za povezovanje lokalnih IDE s storitvami v oblaku. Tehnični izzivi so pogosto otežili vključitev novih članov ekipe. Po konfiguraciji razvojnih okolij je bila pot do izdaje programske opreme v proizvodnji podobno zapletena in dolgotrajna.
Kot je opisano v 1. delu te serije, je skupna projektna skupina zbrala velike količine povratnih informacij o uporabniški izkušnji in zahtevah ekip iz celotne skupine NatWest, preden je zgradila novo podatkovno znanost in platformo MLOps. Skupna tema v teh povratnih informacijah je bila potreba po avtomatizaciji in standardizaciji kot predhodnici hitre in učinkovite izvedbe projektov na AWS. Nova platforma uporablja storitve, ki jih upravlja AWS, za optimizacijo stroškov, zmanjšanje truda pri konfiguraciji platforme in zmanjšanje ogljičnega odtisa zaradi izvajanja nepotrebno velikih računalniških opravil. Standardizacija je vgrajena v srce platforme z vnaprej odobrenimi, popolnoma konfiguriranimi, varnimi, skladnimi in večkrat uporabnimi infrastrukturnimi komponentami, ki si jih lahko izmenjujejo skupine za podatke in analitiko.
Zakaj SageMaker Studio?
Ekipa je izbrala Amazon SageMaker Studio kot glavno orodje za gradnjo in uvajanje cevovodov ML. Studio ponuja enoten spletni vmesnik, ki uporabnikom omogoča popoln dostop, nadzor in vpogled v vsak korak, potreben za gradnjo, usposabljanje in uvajanje modelov. Zrelost Studio IDE (integriranega razvojnega okolja) za razvoj modela, sledenje metapodatkov, upravljanje artefaktov in uvajanje so bile med funkcijami, ki so močno pritegnile skupino NatWest Group.
Podatkovni znanstveniki pri skupini NatWest Group sodelujejo z prenosniki SageMaker v Studiu v začetnih fazah razvoja modela za izvajanje analize podatkov, prerekanje podatkov in inženiring funkcij. Ko so uporabniki zadovoljni z rezultati tega začetnega dela, se koda zlahka pretvori v sestavljive funkcije za transformacijo podatkov, usposabljanje modela, sklepanje, beleženje in preizkuse enot, tako da je v stanju, pripravljenem za proizvodnjo.
Kasnejše stopnje življenjskega cikla razvoja modela vključujejo uporabo Amazonski cevovodi SageMaker, ki jih lahko vizualno pregledujete in spremljate v Studiu. Cevovodi so vizualizirani v DAG (usmerjeni aciklični graf), ki barvno kodira korake na podlagi njihovega stanja med delovanjem cevovoda. Poleg tega povzetek Dnevniki Amazon CloudWatch je prikazan poleg DAG za olajšanje odpravljanja napak pri neuspelih korakih. Podatkovnim znanstvenikom je na voljo predloga kode, ki vsebuje vse temeljne korake v cevovodu SageMaker. To zagotavlja standardiziran okvir (konsistenten med vsemi uporabniki platforme za lažje sodelovanje in izmenjavo znanja), v katerega lahko razvijalci dodajo prilagojeno logiko in aplikacijsko kodo, ki je posebna za poslovni izziv, ki ga rešujejo.
Razvijalci izvajajo cevovode znotraj Studio IDE, da zagotovijo, da se njihove spremembe kode pravilno integrirajo z drugimi koraki cevovoda. Ko so bile spremembe kode pregledane in odobrene, so ti cevovodi izdelani in zagnani samodejno na podlagi sprožilca veje glavnega repozitorija Git. Med usposabljanjem modela se metrike vrednotenja modela shranjujejo in spremljajo v SageMaker Experiments, ki jih je mogoče uporabiti za uravnavanje hiperparametrov. Ko je model usposobljen, se artefakt modela shrani v Register modelov SageMaker, skupaj z metapodatki, povezanimi z vsebniki modela, podatki, uporabljenimi med usposabljanjem, funkcijami modela in kodo modela. Register modelov ima ključno vlogo v procesu uvajanja modela, saj vsebuje vse informacije o modelu in omogoča avtomatizacijo promocije modela v produkcijska okolja.
Inženirji MLOps upravljajo uvajanje Opravila paketnega preoblikovanja SageMaker, ki ustreza zahtevam delovne obremenitve. Tako opravila paketnega sklepanja brez povezave kot spletni modeli, ki jih servira prek končne točke, uporabljajo funkcijo upravljanega sklepanja SageMaker. To koristi tako platformam kot skupinam poslovnih aplikacij, ker inženirji platform ne porabljajo več časa za konfiguriranje infrastrukturnih komponent za sklepanje o modelu, skupine poslovnih aplikacij pa ne pišejo dodatne kode za nastavitev in interakcijo z računalniškimi instancami.
Zakaj AWS Service Catalog?
Ekipa je izbrala AWS Service Catalog za izdelavo kataloga varnih, skladnih in vnaprej odobrenih infrastrukturnih predlog. Infrastrukturne komponente v izdelku kataloga storitev AWS so vnaprej konfigurirane, da izpolnjujejo varnostne zahteve skupine NatWest Group. Upravljanje dostopa do vlog, pravilniki o virih, konfiguracija omrežja in pravilniki osrednjega nadzora so konfigurirani za vsak vir, pakiran v izdelku storitvenega kataloga AWS. Izdelki so različici in deljeni z aplikacijskimi skupinami po standardnem postopku, ki ekipam za podatkovno znanost in inženiring omogoča samopostrežno in uvajanje infrastrukture takoj po pridobitvi dostopa do svojih računov AWS.
Ekipe za razvoj platforme lahko sčasoma enostavno razvijejo izdelke kataloga storitev AWS, da omogočijo implementacijo novih funkcij na podlagi poslovnih zahtev. Ponavljajoče se spremembe izdelkov izvajajo s pomočjo različice izdelkov AWS Service Catalog. Ko je izdana nova različica izdelka, ekipa platforme združi spremembe kode v glavno vejo Git in poveča različico izdelka kataloga storitev AWS. Pri posodabljanju infrastrukture obstaja določena stopnja avtonomije in prilagodljivosti, saj lahko računi poslovnih aplikacij uporabljajo prejšnje različice izdelkov, preden se preselijo na najnovejšo različico.
Pregled rešitev
Naslednji visokonivojski diagram arhitekture prikazuje, kako je tipičen primer uporabe poslovne aplikacije uveden v AWS. Naslednji razdelki podrobneje opisujejo arhitekturo računa, kako je uvedena infrastruktura, upravljanje uporabniškega dostopa in kako se različne storitve AWS uporabljajo za izdelavo rešitev ML.
Kot je prikazano v arhitekturnem diagramu, računi sledijo modelu vozlišča in žic. Račun platforme v skupni rabi služi kot račun središča, kjer sredstva, ki jih potrebujejo (spoke) računi skupine poslovnih aplikacij, gosti ekipa platforme. Ti viri vključujejo naslednje:
- Knjižnica varnih, standardiziranih infrastrukturnih izdelkov, ki se uporabljajo za samopostrežne uvedbe infrastrukture, ki jih gosti AWS Service Catalog
- Docker slike, shranjene v Registar elastičnih zabojnikov Amazon (Amazon ECR), ki se uporabljajo med izvajanjem korakov cevovoda SageMaker in sklepanjem modela
- Artefakt kode AWS repozitorije, ki gostijo vnaprej odobrene pakete Python
Ti viri se samodejno delijo z govornimi računi prek funkcije deljenja in uvoza portfelja storitev AWS Service Catalog ter AWS upravljanje identitete in dostopa (IAM) politike zaupanja v primeru Amazon ECR in CodeArtifact.
Vsaka ekipa za poslovne aplikacije ima tri račune AWS v infrastrukturnem okolju NatWest Group: razvoj, predprodukcijo in proizvodnjo. Imena okolja se nanašajo na predvideno vlogo računa v življenjskem ciklu razvoja podatkovne znanosti. Razvojni račun se uporablja za izvajanje analize podatkov in prepirov, pisanje modela in kode cevovoda modela, usposabljanje modelov in sprožitev uvajanja modelov v predprodukcijska in produkcijska okolja prek SageMaker Studio. Predprodukcijski račun zrcali nastavitev produkcijskega računa in se uporablja za preizkušanje uvedb modelov in opravil paketnega preoblikovanja, preden so izdani v produkcijo. Produkcijski račun gosti modele in izvaja delovne obremenitve sklepanja o proizvodnji.
Upravljanje uporabnikov
NatWest Group ima stroge postopke upravljanja za uveljavljanje ločevanja uporabniških vlog. Za vsako osebo uporabnika je bilo ustvarjenih pet ločenih vlog IAM.
Ekipa platforme uporablja naslednje vloge:
- Inženir za podporo platformi – Ta vloga vsebuje dovoljenja za običajna opravila in pogled samo za branje preostalega okolja za spremljanje in odpravljanje napak platforme.
- Inženir za popravilo platforme – Ta vloga je bila ustvarjena s povišanimi dovoljenji. Uporablja se, če obstajajo težave s platformo, ki zahtevajo ročno posredovanje. Ta vloga se prevzame samo na odobren, časovno omejen način.
Ekipe za razvoj poslovnih aplikacij imajo tri različne vloge:
- Tehnično vodilo – Ta vloga je dodeljena vodji aplikacijske skupine, ki je pogosto višji podatkovni znanstvenik. Ta uporabnik ima dovoljenje za uvajanje in upravljanje izdelkov kataloga storitev AWS, sprožanje izdaj v produkcijo in pregled stanja okolja, kot je npr. AWS CodePipeline stanja in dnevnike. Ta vloga nima dovoljenja za odobritev modela v registru modelov SageMaker.
- Razvojni – Ta vloga je dodeljena vsem članom ekipe, ki delajo s SageMaker Studio, ki vključuje inženirje, podatkovne znanstvenike in pogosto vodjo ekipe. Ta vloga ima dovoljenja za odpiranje Studia, pisanje kode ter zagon in uvajanje cevovodov SageMaker. Tako kot tehnični vodja tudi ta vloga nima dovoljenja za odobritev modela v registru modelov.
- Odobritelj modela – Ta vloga ima omejena dovoljenja v zvezi z ogledovanjem, odobravanjem in zavračanjem modelov v registru modelov. Razlog za to ločitev je preprečiti vsem uporabnikom, ki lahko gradijo in usposabljajo modele, da bi odobrili in izdali lastne modele v eskalirana okolja.
Za razvijalce in odobritelje modelov so ustvarjeni ločeni uporabniški profili Studio. Rešitev uporablja kombinacijo izjav pravilnika IAM in oznak uporabniškega profila SageMaker, tako da je uporabnikom dovoljeno odpreti samo uporabniški profil, ki ustreza njihovemu tipu uporabnika. To zagotavlja, da je uporabniku dodeljena pravilna vloga izvajanja SageMaker IAM (in s tem dovoljenja), ko odpre Studio IDE.
Samopostrežne uvedbe s katalogom storitev AWS
Končni uporabniki uporabljajo katalog storitev AWS za uvajanje infrastrukturnih izdelkov podatkovne znanosti, kot so naslednji:
- Studio okolje
- Uporabniški profili Studio
- Cevovodi za uvajanje modela
- Cevovodi za usposabljanje
- Sklepni cevovodi
- Sistem za spremljanje in alarmiranje
Končni uporabniki uvedejo te izdelke neposredno prek uporabniškega vmesnika kataloga storitev AWS, kar pomeni, da je manj odvisnosti od ekip osrednje platforme za zagotavljanje okolij. To je močno skrajšalo čas, ki ga uporabniki potrebujejo za dostop do novih okolij v oblaku, z več dni na samo nekaj ur, kar je na koncu privedlo do znatnega izboljšanja časa do vrednosti. Uporaba skupnega niza izdelkov kataloga storitev AWS podpira doslednost znotraj projektov v celotnem podjetju in zmanjšuje ovire za sodelovanje in ponovno uporabo.
Ker je vsa infrastruktura za podatkovno znanost zdaj razporejena prek centralno razvitega kataloga infrastrukturnih izdelkov, je bilo poskrbljeno za gradnjo vsakega od teh izdelkov z mislijo na varnost. Storitve so bile konfigurirane za komunikacijo znotraj Navidezni zasebni oblak Amazon (Amazon VPC), tako da promet ne prečka javnega interneta. Podatki so med prenosom in mirovanjem šifrirani AWS Service Key Management (AWS KMS). Vloge IAM so bile nastavljene tudi tako, da sledijo načelu najmanjših privilegijev.
Nazadnje, s katalogom storitev AWS je za ekipo platforme enostavno sproščanje novih izdelkov in storitev, ko postanejo na voljo ali jih potrebujejo ekipe za poslovne aplikacije. Ti so lahko v obliki novih infrastrukturnih izdelkov, ki na primer zagotavljajo možnost končnim uporabnikom, da uvedejo svoje Amazonski EMR grozdov ali posodobitev obstoječih infrastrukturnih izdelkov. Ker katalog storitev AWS podpira različice izdelkov in uporablja Oblikovanje oblaka AWS v zakulisju se lahko uporabijo nadgradnje na mestu, ko se izdajo nove različice obstoječih izdelkov. To omogoča ekipam platforme, da se osredotočijo na gradnjo in izboljšanje izdelkov, namesto na razvoj kompleksnih postopkov nadgradnje.
Integracija z obstoječo programsko opremo NatWest IaC
Katalog storitev AWS se uporablja za samopostrežne uvedbe podatkovne znanstvene infrastrukture. Poleg tega se NatWestovo standardno orodje za infrastrukturo kot kodo (IaC), Terraform, uporablja za gradnjo infrastrukture v računih AWS. Terraform uporabljajo skupine platform med postopkom začetne nastavitve računa za uvajanje predpogojnih infrastrukturnih virov, kot so VPC-ji, varnostne skupine, Upravitelj sistemov AWS parametre, ključe KMS in standardne varnostne kontrole. Infrastruktura v računu vozlišča, kot so portfelji kataloga storitev AWS in viri, uporabljeni za izdelavo slik Docker, so prav tako definirani s pomočjo Terraform. Vendar pa so sami izdelki kataloga storitev AWS zgrajeni z uporabo standardnih predlog CloudFormation.
Izboljšanje produktivnosti razvijalcev in kakovosti kode s projekti SageMaker
Projekti SageMaker razvijalcem in podatkovnim znanstvenikom omogočite dostop do hitrih projektov, ne da bi zapustili SageMaker Studio. Ti projekti za hitri zagon vam omogočajo, da uvedete več infrastrukturnih virov hkrati v samo nekaj klikih. Ti vključujejo repozitorij Git, ki vsebuje standardizirano projektno predlogo za izbrano vrsto modela, Preprosta storitev shranjevanja Amazon (Amazon S3) vedra za shranjevanje podatkov, serializiranih modelov in artefaktov ter cevovodov CodePipeline za usposabljanje modelov in sklepanje.
Uvedba standardiziranih arhitektur in orodij baze kode zdaj znanstvenikom in inženirjem podatkov olajša premikanje med projekti in zagotavlja, da kakovost kode ostaja visoka. Na primer, najboljše prakse programskega inženiringa, kot so preverjanja lintinga in oblikovanja (izvajajo se tako kot samodejna preverjanja kot kavlji pred potrditvijo), testi enot in poročila o pokritosti, so zdaj avtomatizirani kot del cevovodov za usposabljanje, kar zagotavlja standardizacijo v vseh projektih. To je izboljšalo vzdržljivost projektov ML in bo olajšalo prenos teh projektov v proizvodnjo.
Avtomatizacija uvajanja modelov
Proces usposabljanja modela je orkestriran z uporabo SageMaker Pipelines. Ko so modeli usposobljeni, so shranjeni v registru modelov SageMaker. Uporabniki, ki jim je dodeljena vloga odobritelja modela, lahko odprejo register modela in poiščejo informacije v zvezi s postopkom usposabljanja, na primer čas usposabljanja modela, vrednosti hiperparametrov in metrike vrednotenja. Te informacije uporabniku pomagajo pri odločitvi, ali naj model odobri ali zavrne. Zavrnitev modela prepreči uvedbo modela v eskalirano okolje, medtem ko odobritev modela sproži cevovod za promocijo modela prek CodePipeline, ki samodejno kopira model v predprodukcijski račun AWS, pripravljen za testiranje delovne obremenitve sklepanja. Ko ekipa potrdi, da model pravilno deluje v predprodukciji, se odobri ročni korak v istem cevovodu in model se samodejno prekopira v proizvodni račun, pripravljen za delovne obremenitve sklepanja o proizvodnji.
Rezultati
Eden glavnih ciljev tega skupnega projekta med NatWestom in AWS je bil skrajšati čas, ki je potreben za zagotavljanje in uvajanje oblačnih okolij podatkovne znanosti in modelov ML v proizvodnjo. To je bilo doseženo – NatWest lahko zdaj zagotovi nova, razširljiva in varna okolja AWS v nekaj urah, v primerjavi z dnevi ali celo tedni. Podatkovni znanstveniki in inženirji so zdaj pooblaščeni, da sami uvedejo in upravljajo infrastrukturo podatkovne znanosti z uporabo kataloga storitev AWS, kar zmanjšuje odvisnost od ekip centralizirane platforme. Poleg tega uporaba projektov SageMaker omogoča uporabnikom, da začnejo s kodiranjem in usposabljanjem modelov v nekaj minutah, hkrati pa zagotavlja standardizirane projektne strukture in orodja.
Ker AWS Service Catalog služi kot osrednja metoda za uvajanje podatkovne znanstvene infrastrukture, je platformo mogoče enostavno razširiti in nadgraditi v prihodnosti. Nove storitve AWS je mogoče hitro ponuditi končnim uporabnikom, ko se pojavi potreba, obstoječe izdelke kataloga storitev AWS pa je mogoče nadgraditi na mestu, da izkoristijo nove funkcije.
Nazadnje, prehod na upravljane storitve na AWS pomeni, da so računalniški viri omogočeni in zaprti na zahtevo. To je zagotovilo prihranke pri stroških in prilagodljivost, hkrati pa se je uskladilo z NatWestova ambicija, da bo do leta 2050 neto nič zaradi ocenjenega zmanjšanja CO za 75 %2 emisije.
zaključek
Sprejetje strategije oblaka v skupini NatWest Group je vodilo do ustvarjanja robustne rešitve AWS, ki lahko podpira veliko število skupin poslovnih aplikacij v celotni organizaciji. Upravljanje infrastrukture s katalogom storitev AWS je znatno izboljšalo proces vključevanja v oblak z uporabo varnih, skladnih in vnaprej odobrenih gradnikov infrastrukture, ki jih je mogoče preprosto razširiti. Komponente upravljane infrastrukture SageMaker so izboljšale proces razvoja modela in pospešile izvedbo projektov ML.
Če želite izvedeti več o procesu izdelave za proizvodnjo pripravljenih modelov ML v NatWest Group, si oglejte preostanek te štiridelne serije o strateškem sodelovanju med NatWest Group in AWS Professional Services:
- Del 1 pojasnjuje, kako je skupina NatWest sodelovala z AWS Professional Services, da bi zgradila razširljivo, varno in trajnostno platformo MLOps
- Del 3 nudi pregled, kako NatWest Group uporablja storitve SageMaker za izdelavo revizijskih, ponovljivih in razložljivih modelov ML
- Del 4 podrobno opisuje, kako ekipe za podatkovno znanost NatWest selijo svoje obstoječe modele v arhitekture SageMaker
O avtorjih
Junaid Baba je svetovalec za DevOps pri Strokovne storitve AWS Svoje izkušnje s Kubernetesom, porazdeljenim računalništvom, AI/MLOps izkorišča za pospešeno sprejemanje oblaka pri strankah iz industrije finančnih storitev v Združenem kraljestvu. Junaid je pri AWS od junija 2018. Pred tem je Junaid sodeloval s številnimi finančnimi zagonskimi podjetji, ki so spodbujali prakse DevOps. Zunaj dela ga zanimajo treking, moderna umetnost in fotografija.
Jordanka Ivanova je podatkovni inženir pri NatWest Group. Ima izkušnje z gradnjo in zagotavljanjem podatkovnih rešitev za podjetja v industriji finančnih storitev. Preden se je pridružila NatWestu, je Yordanka delala kot tehnična svetovalka, kjer je pridobivala izkušnje pri izkoriščanju najrazličnejših storitev v oblaku in odprtokodnih tehnologij za doseganje poslovnih rezultatov na več platformah v oblaku. Yordanka v prostem času rada telovadi, potuje in igra kitaro.
Michael Anglija je programski inženir v skupini za podatkovno znanost in inovacije pri NatWest Group. Navdušen je nad razvojem rešitev za izvajanje obsežnih delovnih obremenitev strojnega učenja v oblaku. Preden se je pridružil NatWest Group, je Michael delal in vodil ekipe programskega inženiringa, ki so razvijale kritične aplikacije v panogah finančnih storitev in potovanj. V prostem času rad igra kitaro, potuje in raziskuje podeželje s kolesom.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- catalog-and-amazon-sagemaker/
- "
- 100
- O meni
- pospešeno
- pospeševanje
- dostop
- Račun
- čez
- Poleg tega
- Dodatne
- Sprejetje
- Prednost
- vsi
- Amazon
- med
- znesek
- zneski
- Analiza
- analitika
- uporaba
- aplikacije
- pristop
- odobri
- Arhitektura
- Umetnost
- dodeljena
- Revizija
- Preverjanje pristnosti
- Avtomatizirano
- Avtomatizacija
- Avtomatizacija in standardizacija
- Na voljo
- AWS
- Banka
- postanejo
- v zakulisju
- počutje
- koristi
- Prednosti
- BEST
- najboljše prakse
- izgradnjo
- Building
- poslovni
- ogljika
- ki
- centralizirano
- izziv
- izzivi
- Pregledi
- Cloud
- Platforma v oblaku
- storitev v oblaku
- Koda
- Kodiranje
- sodelovanje
- kombinacija
- Skupno
- Podjetja
- podjetje
- v primerjavi z letom
- kompleksna
- skladnost
- skladno
- komponenta
- Izračunajte
- računalništvo
- konfiguracija
- povezave
- svetovalec
- Posoda
- Zabojniki
- Vsebuje
- vsebina
- stalno
- nadzor
- ustvaril
- Ustvarjanje
- Oblikovanje
- kritično
- po meri
- Stranke, ki so
- datum
- Analiza podatkov
- znanost o podatkih
- podatkovni znanstvenik
- dostavi
- dostavo
- dostava
- Povpraševanje
- zahteve
- razporedi
- razporejeni
- uvajanja
- uvajanje
- razmestitve
- opisano
- modeli
- Podatki
- Podrobnosti
- razvili
- Razvojni
- Razvijalci
- razvoju
- Razvoj
- drugačen
- težko
- digitalni
- neposredno
- porazdeljena
- porazdeljeno računalništvo
- Lučki delavec
- Ne
- navzdol
- vožnjo
- enostavno
- učinkovite
- prizadevanja
- Izdelati
- omogočajo
- Končna točka
- inženir
- Inženiring
- Inženirji
- Podjetje
- okolje
- ocenjeni
- Ocena
- razvijajo
- Primer
- izvedba
- obstoječih
- izkušnje
- Feature
- Lastnosti
- povratne informacije
- finančna
- finančne storitve
- prva
- fiksna
- prilagodljivost
- Osredotočite
- sledi
- po
- Odtis
- obrazec
- Okvirni
- funkcionalnost
- Prihodnost
- git
- upravljanje
- skupina
- Skupine
- Vodniki
- srečna
- pomoč
- Pomaga
- visoka
- Kako
- HTTPS
- identiteta
- Izvajanje
- izboljšalo
- vključujejo
- vključeno
- vključuje
- povečal
- industrij
- Industrija
- Podatki
- Infrastruktura
- Inovacije
- inovativne
- ustanova
- integrirati
- integrirana
- interesi
- vmesnik
- Internet
- vključeni
- Vprašanja
- IT
- Delovna mesta
- Ključne
- tipke
- znanje
- velika
- Zadnji
- vodi
- UČITE
- učenje
- Led
- Leverages
- vzvod
- Knjižnica
- Limited
- vrstica
- povezovanje
- lokalna
- stroj
- strojno učenje
- je
- velika
- IZDELA
- upravljanje
- upravlja
- upravljanje
- upravljanje
- Način
- Navodilo
- Matter
- zapadlosti
- kar pomeni,
- člani
- Meritve
- milijonov
- moti
- ML
- Model
- modeli
- spremljanje
- mesecev
- več
- premikanje
- premikanje
- več
- Imena
- mreženje
- Nove funkcije
- Nova platforma
- Nov izdelek
- novi izdelki
- Številka
- ponujen
- offline
- Na vkrcanje
- na spletu
- odprite
- operacije
- Optimizirajte
- Organizacija
- Ostalo
- Splošni
- lastne
- zlasti
- partnerja
- strastno
- Vzorec
- performance
- fotografija
- pilot
- platforma
- Platforme
- igranje
- politike
- politika
- Portfelj
- portfelji
- Načelo
- zasebna
- Zasebni ključi
- Postopek
- Procesi
- Izdelek
- proizvodnja
- produktivnost
- Izdelki
- strokovni
- profil
- Profili
- Projekt
- projekti
- promocija
- zagotavljajo
- zagotavlja
- zagotavljanje
- javnega
- kakovost
- Hitro
- hitro
- reading
- zmanjša
- zmanjšanje
- regulatorni
- Razmerje
- sprostitev
- sprosti
- Izpusti
- odvisnost
- Poročila
- Skladišče
- zahteva
- obvezna
- Zahteve
- vir
- viri
- REST
- Rezultati
- pregleda
- Pot
- Run
- tek
- Prilagodljivost
- razširljive
- Lestvica
- prizori
- Znanost
- Znanstvenik
- Znanstveniki
- SDK
- zavarovanje
- varnost
- izbran
- Serija
- Storitev
- Storitve
- nastavite
- nastavitev
- Delite s prijatelji, znanci, družino in partnerji :-)
- deli
- pomemben
- podobno
- Enostavno
- So
- Software
- Software Engineer
- inženiring programske opreme
- Rešitev
- rešitve
- preživeti
- Stabilnost
- sveženj
- standardna
- start-up podjetij
- začel
- Država
- Izjave
- Status
- shranjevanje
- Strateško
- Strategija
- studio
- podpora
- Podpira
- trajnostno
- sistem
- sistemi
- Naloge
- skupina
- tehnični
- Tehnologije
- Tehnologija
- predloge
- Test
- Testiranje
- testi
- sklep
- tema
- zato
- skozi
- čas
- orodje
- proti
- Sledenje
- Prometa
- usposabljanje
- Transform
- Preoblikovanje
- tranzit
- potovanja
- Potovanje
- Zaupajte
- ui
- Uk
- posodobitve
- uporaba
- Uporabniki
- uporabiti
- Uporaben
- raznolikost
- Poglej
- Virtual
- vidljivost
- Web-Based
- ali
- medtem
- WHO
- v
- brez
- delo
- delal
- deluje
- telovaditi
- deluje
- svet