Detta är det andra inlägget i en serie i fyra delar som beskriver hur NatWest Group, en stor institution för finansiella tjänster, samarbetar med AWS professionella tjänster att bygga en ny plattform för maskininlärning (MLOps). I det här inlägget delar vi hur NatWest Group använde AWS för att möjliggöra självbetjäningsinstallation av deras standardiserade, säkra och kompatibla MLOps-plattform med hjälp av AWS servicekatalog och Amazon SageMaker. Detta har lett till en minskning av den tid det tar att tillhandahålla nya miljöer från dagar till bara några timmar.
Vi tror att beslutsfattare kan dra nytta av detta innehåll. CTO:er, CDAO:er, seniora datavetare och seniora molningenjörer kan följa detta mönster för att tillhandahålla innovativa lösningar för sina datavetenskaps- och ingenjörsteam.
Läs hela serien:
|
Teknik på NatWest Group
NatWest Group är en relationsbank för en digital värld som tillhandahåller finansiella tjänster till mer än 19 miljoner kunder över hela Storbritannien. Koncernen har en mångsidig teknologiportfölj, där lösningar på affärsutmaningar ofta levereras med skräddarsydda konstruktioner och med långa tidslinjer.
Nyligen antog NatWest Group en moln-först-strategi, som har gjort det möjligt för företaget att använda hanterade tjänster för att tillhandahålla on-demand beräknings- och lagringsresurser. Detta steg har lett till en förbättring av den övergripande stabiliteten, skalbarheten och prestanda för affärslösningar, samtidigt som kostnaderna minskat och leveranstakten har accelererats. Genom att flytta till molnet kan NatWest Group dessutom förenkla sin teknikstack genom att genomdriva en uppsättning konsekventa, repeterbara och förgodkända lösningsdesigner för att möta regulatoriska krav och fungera på ett kontrollerat sätt.
Utmaningar
Pilotstadierna för att anta en moln-först-metod involverade flera experiment- och utvärderingsfaser med användning av en mängd olika analystjänster på AWS. De första iterationerna av NatWest Groups molnplattform för datavetenskapliga arbetsbelastningar konfronterade utmaningar med att tillhandahålla konsekventa, säkra och kompatibla molnmiljöer. Processen att skapa nya miljöer tog från några dagar till veckor eller till och med månader. Ett beroende av centrala plattformsteam för att bygga, tillhandahålla, säkra, distribuera och hantera infrastruktur och datakällor gjorde det svårt att ta med nya team att arbeta i molnet.
På grund av skillnaden i infrastrukturkonfiguration mellan AWS-konton, var team som bestämde sig för att migrera sina arbetsbelastningar till molnet tvungna att gå igenom en komplicerad efterlevnadsprocess. Varje infrastrukturkomponent måste analyseras separat, vilket ökade tidslinjerna för säkerhetsgranskningen.
Att komma igång med utvecklingen i AWS innebar att läsa en uppsättning dokumentationsguider skrivna av plattformsteam. De första stegen för installation av miljön inkluderade hantering av offentliga och privata nycklar för autentisering, konfigurering av anslutningar till fjärrtjänster med hjälp av AWS-kommandoradsgränssnitt (AWS CLI) eller SDK från lokala utvecklingsmiljöer och kör anpassade skript för att länka lokala IDE:er till molntjänster. Tekniska utmaningar gjorde det ofta svårt att ta med nya teammedlemmar. Efter att utvecklingsmiljöerna konfigurerats var vägen till att släppa mjukvara i produktion lika komplex och lång.
Som beskrivs i del 1 av denna serie samlade det gemensamma projektteamet in stora mängder feedback om användarupplevelse och krav från team i hela NatWest Group innan de byggde den nya datavetenskapen och MLOps-plattformen. Ett gemensamt tema i denna feedback var behovet av automatisering och standardisering som en föregångare till snabb och effektiv projektleverans på AWS. Den nya plattformen använder AWS-hanterade tjänster för att optimera kostnader, skära ner på plattformskonfigurationsinsatser och minska koldioxidavtrycket från att köra onödigt stora beräkningsjobb. Standardisering är inbäddad i hjärtat av plattformen, med förgodkända, fullt konfigurerade, säkra, kompatibla och återanvändbara infrastrukturkomponenter som kan delas mellan data- och analysteam.
Varför SageMaker Studio?
Laget valde Amazon SageMaker Studio som huvudverktyget för att bygga och distribuera ML-pipelines. Studio tillhandahåller ett enda webbaserat gränssnitt som ger användarna fullständig åtkomst, kontroll och insyn i varje steg som krävs för att bygga, träna och distribuera modeller. Mognaden hos Studio IDE (integrerad utvecklingsmiljö) för modellutveckling, metadataspårning, artefakthantering och distribution var bland de funktioner som tilltalade NatWest Group-teamet starkt.
Dataforskare vid NatWest Group arbetar med SageMaker-anteckningsböcker i Studio under de inledande stadierna av modellutveckling för att utföra dataanalys, datatvistelse och funktionsteknik. Efter att användarna är nöjda med resultatet av detta inledande arbete, omvandlas koden enkelt till komponerbara funktioner för datatransformering, modellträning, slutledning, loggning och enhetstester så att den är i ett produktionsfärdigt tillstånd.
Senare stadier av modellutvecklingens livscykel involverar användning av Amazon SageMaker-rörledningar, som kan inspekteras visuellt och övervakas i Studio. Pipelines visualiseras i en DAG (Directed Acyclic Graph) som färgkodar steg baserat på deras tillstånd medan pipelinen körs. Dessutom en sammanfattning av Amazon CloudWatch-loggar visas bredvid DAG för att underlätta felsökning av misslyckade steg. Dataforskare förses med en kodmall som består av alla grundläggande steg i en SageMaker-pipeline. Detta ger ett standardiserat ramverk (konsekvent för alla användare av plattformen för att underlätta samarbete och kunskapsdelning) där utvecklare kan lägga till den skräddarsydda logiken och applikationskoden som är speciell för den affärsutmaning de löser.
Utvecklare kör pipelines inom Studio IDE för att säkerställa att deras kodändringar integreras korrekt med andra pipelinesteg. Efter att kodändringar har granskats och godkänts, byggs och körs dessa pipelines automatiskt baserat på en huvudutlösare för Git-förvarsgrenen. Under modellträning lagras och spåras mätvärden för modellutvärdering i SageMaker Experiments, som kan användas för justering av hyperparameter. Efter att en modell har tränats lagras modellartefakten i SageMaker-modellregister, tillsammans med metadata relaterade till modellbehållare, data som används under utbildning, modellfunktioner och modellkod. Modellregistret spelar en nyckelroll i modelldistributionsprocessen eftersom det paketerar all modellinformation och möjliggör automatisering av modellreklam till produktionsmiljöer.
MLOps ingenjörer distribuerar hanteras SageMaker batchtransformeringsjobb, vilken skala för att möta kraven på arbetsbelastning. Både offline batch slutledningsjobb och onlinemodeller som serveras via en slutpunkt använder SageMakers hanterade slutledningsfunktion. Detta gynnar både plattforms- och affärsapplikationsteam eftersom plattformsingenjörer inte längre lägger tid på att konfigurera infrastrukturkomponenter för modellinferens, och affärsapplikationsteam inte skriver ytterligare kod för att ställa in och interagera med beräkningsinstanser.
Varför AWS Service Catalog?
Teamet valde AWS Service Catalog för att bygga en katalog med säkra, kompatibla och förgodkända infrastrukturmallar. Infrastrukturkomponenterna i en AWS Service Catalog-produkt är förkonfigurerade för att möta NatWest Groups säkerhetskrav. Rollåtkomsthantering, resurspolicyer, nätverkskonfiguration och centrala kontrollpolicyer konfigureras för varje resurs som är paketerad i en AWS Service Catalog-produkt. Produkterna är versionerade och delas med applikationsteam genom att följa en standardprocess som gör det möjligt för datavetenskaps- och ingenjörsteam att betjäna och distribuera infrastruktur direkt efter att de fått åtkomst till sina AWS-konton.
Plattformsutvecklingsteam kan enkelt utveckla AWS Service Catalog-produkter över tid för att möjliggöra implementering av nya funktioner baserat på affärskrav. Iterativa ändringar av produkter görs med hjälp av AWS Service Catalog produktversionering. När en ny produktversion släpps slår plattformsteamet samman kodändringar till Git-huvudgrenen och ökar versionen av AWS Service Catalog-produkten. Det finns en viss grad av autonomi och flexibilitet i att uppdatera infrastrukturen eftersom affärsapplikationskonton kan använda tidigare versioner av produkter innan de migrerar till den senaste versionen.
Lösningsöversikt
Följande arkitekturdiagram på hög nivå visar hur ett typiskt användningsfall för affärsapplikationer distribueras på AWS. Följande avsnitt går in mer i detalj angående kontoarkitekturen, hur infrastrukturen distribueras, användaråtkomsthantering och hur olika AWS-tjänster används för att bygga ML-lösningar.
Som visas i arkitekturdiagrammet följer konton en nav- och ekermodell. Ett delat plattformskonto fungerar som ett navkonto, där resurser som krävs av företagsapplikationsteamets (talade) konton är värd för plattformsteamet. Dessa resurser inkluderar följande:
- Ett bibliotek med säkra, standardiserade infrastrukturprodukter som används för självbetjäningsinfrastrukturinstallationer, värd av AWS Service Catalog
- Docker-bilder, lagrade i Amazon Elastic Container Registry (Amazon ECR), som används under körningen av SageMaker pipeline steg och modell slutledning
- AWS CodeArtifact repositories, som är värd för förgodkända Python-paket
Dessa resurser delas automatiskt med ekerkonton via AWS Service Catalog portföljdelning och importfunktion, och AWS identitets- och åtkomsthantering (IAM) förtroendepolicyer i fallet med både Amazon ECR och CodeArtifact.
Varje affärsapplikationsteam tillhandahåller tre AWS-konton i NatWest Groups infrastrukturmiljö: utveckling, förproduktion och produktion. Miljönamnen hänvisar till kontots avsedda roll i datavetenskapens utvecklingslivscykel. Utvecklingskontot används för att utföra dataanalys och gräl, skriva modell- och modellpipelinekod, träna modeller och trigga modelldistributioner till förproduktions- och produktionsmiljöer via SageMaker Studio. Förproduktionskontot speglar inställningen av produktionskontot och används för att testa modelldistributioner och batchtransformeringsjobb innan de släpps till produktion. Produktionskontot är värd för modeller och kör produktionsinferenseringsarbetsbelastningar.
Användarhantering
NatWest Group har strikta förvaltningsprocesser för att upprätthålla separation av användarroller. Fem separata IAM-roller har skapats för varje användarperson.
Plattformsteamet använder följande roller:
- Plattformssupporttekniker – Den här rollen innehåller behörigheter för business-as-usual-uppgifter och en skrivskyddad vy av resten av miljön för övervakning och felsökning av plattformen.
- Plattformsfixtekniker – Den här rollen har skapats med förhöjda behörigheter. Den används om det finns problem med plattformen som kräver manuellt ingripande. Denna roll åtas endast på ett godkänt, tidsbegränsat sätt.
Utvecklingsteamen för affärsapplikationer har tre distinkta roller:
- Teknisk ledare – Den här rollen tilldelas applikationsteamets ledare, ofta en senior dataforskare. Den här användaren har behörighet att distribuera och hantera AWS Service Catalog-produkter, utlösa releaser i produktion och granska miljöns status, som t.ex. AWS CodePipeline statusar och loggar. Den här rollen har inte behörighet att godkänna en modell i SageMakers modellregister.
- Utvecklare – Den här rollen tilldelas alla teammedlemmar som arbetar med SageMaker Studio, som inkluderar ingenjörer, datavetare och ofta teamledaren. Den här rollen har behörighet att öppna Studio, skriva kod och köra och distribuera SageMaker-pipelines. Liksom den tekniska ledaren har denna roll inte behörighet att godkänna en modell i modellregistret.
- Modellgodkännare – Den här rollen har begränsade behörigheter för att visa, godkänna och avvisa modeller i modellregistret. Anledningen till denna separation är att förhindra att användare som kan bygga och träna modeller från att godkänna och släppa sina egna modeller i eskalerade miljöer.
Separata Studio-användarprofiler skapas för utvecklare och modellgodkännare. Lösningen använder en kombination av IAM-policyuttalanden och SageMaker användarprofiltaggar så att användare endast får öppna en användarprofil som matchar deras användartyp. Detta säkerställer att användaren tilldelas rätt SageMaker-exekverings-IAM-roll (och därmed behörigheter) när de öppnar Studio IDE.
Självbetjäningsinstallationer med AWS Service Catalog
Slutanvändare använder AWS Service Catalog för att distribuera datavetenskapliga infrastrukturprodukter, som följande:
- En studiomiljö
- Studio användarprofiler
- Rörledningar för utbyggnad av modeller
- Utbildning pipelines
- Slutledningsledningar
- Ett system för övervakning och larm
Slutanvändare distribuerar dessa produkter direkt genom AWS Service Catalog UI, vilket innebär att det är mindre beroende av centrala plattformsteam för att tillhandahålla miljöer. Detta har avsevärt minskat den tid det tar för användare att få tillgång till nya molnmiljöer, från flera dagar ner till bara några timmar, vilket i slutändan har lett till en betydande förbättring av tid till värde. Användningen av en gemensam uppsättning AWS Service Catalog-produkter stödjer konsekvens inom projekt över hela företaget och sänker barriären för samarbete och återanvändning.
Eftersom all datavetenskaplig infrastruktur nu distribueras via en centralt utvecklad katalog med infrastrukturprodukter, har man varit noga med att bygga var och en av dessa produkter med säkerhet i åtanke. Tjänsterna har konfigurerats för att kommunicera inom Amazon Virtual Private Cloud (Amazon VPC) så att trafiken inte passerar det offentliga internet. Data krypteras under överföring och vila med hjälp av AWS nyckelhanteringstjänst (AWS KMS)-tangenter. IAM-roller har också inrättats för att följa principen om minsta privilegium.
Slutligen, med AWS Service Catalog är det enkelt för plattformsteamet att kontinuerligt släppa nya produkter och tjänster när de blir tillgängliga eller efterfrågas av företagsapplikationsteam. Dessa kan ta formen av nya infrastrukturprodukter, till exempel ger slutanvändare möjlighet att distribuera sina egna Amazon EMR kluster eller uppdateringar av befintliga infrastrukturprodukter. Eftersom AWS Service Catalog stöder produktversionering och använder AWS molnformation bakom kulisserna kan uppgraderingar på plats användas när nya versioner av befintliga produkter släpps. Detta gör att plattformsteamen kan fokusera på att bygga och förbättra produkter snarare än att utveckla komplexa uppgraderingsprocesser.
Integration med NatWests befintliga IaC-mjukvara
AWS Service Catalog används för självbetjäning av datavetenskaplig infrastruktur. Dessutom används NatWests standardverktyg för infrastruktur som kod (IaC), Terraform, för att bygga infrastruktur i AWS-kontona. Terraform används av plattformsteam under den första kontoinställningsprocessen för att distribuera nödvändiga infrastrukturresurser som VPC:er, säkerhetsgrupper, AWS systemchef parametrar, KMS-nycklar och standardsäkerhetskontroller. Infrastruktur i navkontot, såsom AWS Service Catalog-portföljer och resurserna som används för att bygga Docker-bilder, definieras också med Terraform. AWS Service Catalog-produkterna själva är dock byggda med hjälp av vanliga CloudFormation-mallar.
Förbättra utvecklarens produktivitet och kodkvalitet med SageMaker-projekt
SageMaker-projekt ge utvecklare och datavetare tillgång till snabbstartsprojekt utan att lämna SageMaker Studio. Dessa snabbstartsprojekt låter dig distribuera flera infrastrukturresurser samtidigt med bara några få klick. Dessa inkluderar ett Git-förråd som innehåller en standardiserad projektmall för den valda modelltypen, Amazon enkel lagringstjänst (Amazon S3) hinkar för att lagra data, serialiserade modeller och artefakter, och modellträning och slutledning av CodePipeline-pipelines.
Införandet av standardiserade kodbasarkitekturer och verktyg gör det nu enkelt för datavetare och ingenjörer att flytta mellan projekt och säkerställa att kodkvaliteten förblir hög. Till exempel är bästa praxis för mjukvaruteknik som linting och formateringskontroller (körs både som automatiska kontroller och pre-commit hooks), enhetstester och täckningsrapporter nu automatiserade som en del av utbildningspipelines, vilket ger standardisering i alla projekt. Detta har förbättrat underhållsbarheten för ML-projekt och kommer att göra det lättare att flytta dessa projekt till produktion.
Automatisera modellinstallationer
Modellutbildningsprocessen orkestreras med SageMaker Pipelines. Efter att modellerna har tränats lagras de i SageMakers modellregister. Användare som tilldelats rollen som modellgodkännare kan öppna modellregistret och hitta information om utbildningsprocessen, till exempel när modellen tränades, hyperparametervärden och utvärderingsmått. Denna information hjälper användaren att bestämma om en modell ska godkännas eller avvisas. Att avvisa en modell förhindrar att modellen distribueras i en eskalerad miljö, medan godkännande av en modell utlöser en modellreklampipeline via CodePipeline som automatiskt kopierar modellen till AWS-kontot för produktion, redo för testning av slutledningsarbetsbelastning. Efter att teamet har bekräftat att modellen fungerar korrekt i förproduktion, godkänns ett manuellt steg i samma pipeline och modellen kopieras automatiskt över till produktionskontot, redo för produktionsinferencing arbetsbelastningar.
Utkomster
Ett av huvudsyften med detta samarbetsprojekt mellan NatWest och AWS var att minska tiden det tar att tillhandahålla och distribuera datavetenskapliga molnmiljöer och ML-modeller i produktion. Detta har uppnåtts – NatWest kan nu tillhandahålla nya, skalbara och säkra AWS-miljöer på några timmar, jämfört med dagar eller till och med veckor. Dataforskare och ingenjörer har nu befogenhet att distribuera och hantera datavetenskaplig infrastruktur själva med hjälp av AWS Service Catalog, vilket minskar beroendet av centraliserade plattformsteam. Dessutom gör användningen av SageMaker-projekt det möjligt för användare att börja koda och träna modeller inom några minuter, samtidigt som de tillhandahåller standardiserade projektstrukturer och verktyg.
Eftersom AWS Service Catalog fungerar som den centrala metoden för att distribuera datavetenskaplig infrastruktur, kan plattformen enkelt utökas och uppgraderas i framtiden. Nya AWS-tjänster kan erbjudas slutanvändare snabbt när behov uppstår, och befintliga AWS Service Catalog-produkter kan uppgraderas på plats för att dra nytta av nya funktioner.
Slutligen innebär övergången till hanterade tjänster på AWS att datorresurser tillhandahålls och stängs av vid behov. Detta har gett kostnadsbesparingar och flexibilitet, samtidigt som det är i linje med NatWests ambition att vara noll år 2050 på grund av en beräknad minskning av CO med 75 %2 utsläpp.
Slutsats
Antagandet av en moln-först-strategi hos NatWest Group ledde till skapandet av en robust AWS-lösning som kan stödja ett stort antal affärsapplikationsteam över hela organisationen. Att hantera infrastruktur med AWS Service Catalog har förbättrat molnets onboardingprocess avsevärt genom att använda säkra, kompatibla och förgodkända byggstenar av infrastruktur som enkelt kan utökas. Hanterade SageMaker-infrastrukturkomponenter har förbättrat modellutvecklingsprocessen och påskyndat leveransen av ML-projekt.
För att lära dig mer om processen för att bygga produktionsfärdiga ML-modeller hos NatWest Group, ta en titt på resten av denna fyradelade serie om det strategiska samarbetet mellan NatWest Group och AWS Professional Services:
- del 1 förklarar hur NatWest Group samarbetade med AWS Professional Services för att bygga en skalbar, säker och hållbar MLOps-plattform
- del 3 ger en översikt över hur NatWest Group använder SageMaker-tjänster för att bygga granskningsbara, reproducerbara och förklarabara ML-modeller
- del 4 beskriver hur NatWest datavetenskapsteam migrerar sina befintliga modeller till SageMaker-arkitekturer
Om författarna
Junaid Baba är DevOps-konsult på AWS professionella tjänster Han utnyttjar sin erfarenhet av Kubernetes, distribuerad datoranvändning, AI/MLOps för att påskynda molnintroduktionen av kunder inom den brittiska finansbranschen. Junaid har funnits med AWS sedan juni 2018. Dessförinnan arbetade Junaid med ett antal finansiella nystartade företag som driver DevOps-praxis. Utanför arbetet har han intressen för vandring, modern konst och stillbildsfotografering.
Yordanka Ivanova är dataingenjör på NatWest Group. Hon har erfarenhet av att bygga och leverera datalösningar för företag inom finansbranschen. Innan hon började på NatWest arbetade Yordanka som teknisk konsult där hon fick erfarenhet av att utnyttja ett brett utbud av molntjänster och teknologier med öppen källkod för att leverera affärsresultat över flera molnplattformar. På fritiden tycker Yordanka om att träna, resa och spela gitarr.
Michael England är en mjukvaruingenjör i Data Science and Innovation-teamet på NatWest Group. Han brinner för att utveckla lösningar för att köra storskaliga Machine Learning-arbetsbelastningar i molnet. Innan han började på NatWest Group, arbetade Michael i och ledde mjukvaruteknikteam som utvecklade kritiska applikationer inom de finansiella tjänsterna och resebranschen. På fritiden tycker han om att spela gitarr, att resa och utforska naturen på sin cykel.
- Myntsmart. Europas bästa bitcoin- och kryptobörs.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
- CryptoHawk. Altcoin radar. Gratis provperiod.
- Källa: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- katalog-och-amazon-sagemaker/
- "
- 100
- Om oss
- accelererad
- accelererande
- tillgång
- Konto
- tvärs
- Dessutom
- Annat
- Antagande
- Fördel
- Alla
- amason
- bland
- mängd
- mängder
- analys
- analytics
- Ansökan
- tillämpningar
- tillvägagångssätt
- godkänna
- arkitektur
- Konst
- delad
- revision
- Autentisering
- Automatiserad
- Automation
- Automation och standardisering
- tillgänglig
- AWS
- Bank
- blir
- bakom kulisserna
- Där vi får lov att vara utan att konstant prestera,
- fördel
- Fördelarna
- BÄST
- bästa praxis
- SLUTRESULTAT
- Byggnad
- företag
- kol
- vilken
- centraliserad
- utmanar
- utmaningar
- Kontroller
- cloud
- Molnplattform
- molntjänster
- koda
- Kodning
- samverkan
- kombination
- Gemensam
- Företag
- företag
- jämfört
- komplex
- Efterlevnad
- kompatibel
- komponent
- Compute
- databehandling
- konfiguration
- Anslutningar
- konsult
- Behållare
- Behållare
- innehåller
- innehåll
- kontinuerligt
- kontroll
- skapas
- Skapa
- skapande
- kritisk
- beställnings
- Kunder
- datum
- dataanalys
- datavetenskap
- datavetare
- levereras
- leverera
- leverans
- Efterfrågan
- krav
- distribuera
- utplacerade
- utplacera
- utplacering
- distributioner
- beskriven
- mönster
- detalj
- detaljer
- utvecklade
- Utvecklare
- utvecklare
- utveckla
- Utveckling
- olika
- svårt
- digital
- direkt
- distribueras
- distribuerad databehandling
- Hamnarbetare
- inte
- ner
- drivande
- lätt
- effektiv
- ansträngningar
- Utveckla
- möjliggöra
- Slutpunkt
- ingenjör
- Teknik
- Ingenjörer
- Företag
- Miljö
- beräknad
- utvärdering
- utvecklas
- exempel
- utförande
- befintliga
- erfarenhet
- Leverans
- Funktioner
- återkoppling
- finansiella
- finansiella tjänster
- Förnamn
- Fast
- Flexibilitet
- Fokus
- följer
- efter
- Fotavtryck
- formen
- Ramverk
- funktionalitet
- framtida
- gå
- styrning
- Grupp
- Gruppens
- Guider
- lyckligt
- hjälpa
- hjälper
- Hög
- Hur ser din drömresa ut
- HTTPS
- Identitet
- genomförande
- förbättras
- innefattar
- ingår
- innefattar
- ökat
- industrier
- industrin
- informationen
- Infrastruktur
- Innovation
- innovativa
- Institution
- integrera
- integrerade
- intressen
- Gränssnitt
- Internet
- involverade
- problem
- IT
- Lediga jobb
- Nyckel
- nycklar
- kunskap
- Large
- senaste
- leda
- LÄRA SIG
- inlärning
- Led
- hävstångs
- hävstångs
- Bibliotek
- Begränsad
- linje
- länkning
- lokal
- Maskinen
- maskininlärning
- gjord
- större
- GÖR
- hantera
- förvaltade
- ledning
- hantera
- sätt
- manuell
- Materia
- förfall
- betyder
- Medlemmar
- Metrics
- miljon
- emot
- ML
- modell
- modeller
- övervakning
- månader
- mer
- flytta
- rörliga
- multipel
- namn
- nätverk
- Nya funktioner
- Ny plattform
- ny produkt
- nya produkter
- antal
- erbjuds
- offline
- Onboarding
- nätet
- öppet
- Verksamhet
- Optimera
- organisation
- Övriga
- övergripande
- egen
- särskilt
- samarbetar
- brinner
- Mönster
- prestanda
- fotografi
- Föraren
- plattform
- Plattformar
- i
- Strategier
- policy
- portfölj
- portföljer
- Principen
- privat
- Privata nycklar
- process
- processer
- Produkt
- Produktion
- produktivitet
- Produkter
- professionell
- Profil
- Profiler
- projektet
- projekt
- främjande
- ge
- ger
- tillhandahålla
- allmän
- kvalitet
- Snabbt
- snabbt
- Läsning
- minska
- reducerande
- regulatorer
- relation
- frigöra
- frigörs
- meddelanden
- tillit
- Rapport
- Repository
- kräver
- Obligatorisk
- Krav
- resurs
- Resurser
- REST
- Resultat
- översyn
- Rutt
- Körning
- rinnande
- skalbarhet
- skalbar
- Skala
- scener
- Vetenskap
- Forskare
- vetenskapsmän
- sDK
- säkra
- säkerhet
- vald
- Serier
- service
- Tjänster
- in
- inställning
- Dela
- delas
- signifikant
- Liknande
- Enkelt
- So
- Mjukvara
- Programvara ingenjör
- mjukvaruutveckling
- lösning
- Lösningar
- spendera
- Stabilitet
- stapel
- standard
- nystartade företag
- igång
- Ange
- uttalanden
- status
- förvaring
- Strategisk
- Strategi
- studio
- stödja
- Stöder
- hållbart
- system
- System
- uppgifter
- grupp
- Teknisk
- Tekniken
- Teknologi
- mallar
- testa
- Testning
- tester
- skarven
- tema
- därför
- Genom
- tid
- verktyg
- mot
- Spårning
- trafik
- Utbildning
- Förvandla
- Transformation
- transitering
- färdas
- Traveling
- Litar
- ui
- Uk
- Uppdateringar
- användning
- användare
- utnyttja
- Använda
- mängd
- utsikt
- Virtuell
- synlighet
- Webb-baserad
- om
- medan
- VEM
- inom
- utan
- Arbete
- arbetade
- arbetssätt
- tränar
- fungerar
- världen