See on külalispostitus, mis on kirjutatud koos Iambic Therapeuticsi juhtrühmaga.
Jambiline teraapia on ravimite avastamise idufirma, mille missiooniks on luua uuenduslikke AI-põhiseid tehnoloogiaid, et tuua vähihaigetele kiiremini paremaid ravimeid.
Meie täiustatud generatiivse ja ennustava tehisintellekti (AI) tööriistad võimaldavad meil kiiremini ja tõhusamalt otsida võimalike ravimimolekulide tohutut ruumi. Meie tehnoloogiad on mitmekülgsed ja rakendatavad ravivaldkondades, valguklassides ja toimemehhanismides. Lisaks diferentseeritud tehisintellekti tööriistade loomisele oleme loonud integreeritud platvormi, mis ühendab tehisintellekti tarkvara, pilvepõhised andmed, skaleeritava arvutustaristu ning suure läbilaskevõimega keemia ja bioloogia võimalused. Platvorm võimaldab nii meie tehisintellekti – pakkudes andmeid meie mudelite täpsustamiseks – kui ka see võimaldab seda, kasutades ära automatiseeritud otsuste tegemise ja andmetöötluse võimalusi.
Mõõdame edu selle järgi, et suudame enneolematu kiirusega toota paremaid kliinilisi kandidaate, et rahuldada patsiendi kiireloomulisi vajadusi: jõudsime programmi käivitamisest kliiniliste kandidaatideni vaid 24 kuuga, mis on oluliselt kiiremini kui meie konkurendid.
Selles postituses keskendume sellele, kuidas kasutasime Puusepp on Amazoni elastse Kubernetese teenus (Amazon EKS), et skaleerida tehisintellekti koolitust ja järeldusi, mis on Iambic avastusplatvormi põhielemendid.
Vajadus skaleeritava AI koolituse ja järelduste järele
Igal nädalal teeb Iambic tehisintellekti järeldusi kümnete mudelite ja miljonite molekulide lõikes, teenindades kahte peamist kasutusjuhtu:
- Meditsiinikeemikud ja teised teadlased kasutavad meie veebirakendust Insight, et uurida keemilist ruumi, pääseda juurde katseandmetele ja neid tõlgendada ning ennustada äsja loodud molekulide omadusi. Kogu seda tööd tehakse interaktiivselt reaalajas, mis tekitab vajaduse madala latentsusaja ja keskmise läbilaskevõimega järelduste järele.
- Samal ajal kujundavad meie generatiivsed AI mudelid automaatselt molekule, mis sihivad paljude omaduste täiustamist, otsivad miljoneid kandidaate ning nõuavad tohutut läbilaskevõimet ja keskmist latentsust.
Tehisintellekti tehnoloogiatest ja asjatundlikest ravimiküttidest juhindudes genereerib meie eksperimentaalne platvorm igal nädalal tuhandeid unikaalseid molekule, millest igaühele tehakse mitu bioloogilist analüüsi. Loodud andmepunkte töödeldakse automaatselt ja neid kasutatakse meie tehisintellekti mudelite viimistlemiseks igal nädalal. Algselt võttis meie mudeli peenhäälestus tundide kaupa protsessori aega, seega oli GPU-de mudeli peenhäälestuse skaleerimise raamistik hädavajalik.
Meie süvaõppemudelitel on mittetriviaalsed nõuded: need on gigabaitide suurused, arvukad ja heterogeensed ning nõuavad kiireks järelduseks ja peenhäälestamiseks GPU-sid. Pilvetaristut silmas pidades vajasime süsteemi, mis võimaldab meil pääseda juurde GPU-dele, skaleerida kiiresti üles ja alla, et tulla toime teravate ja heterogeensete töökoormustega ning käitada suuri Dockeri pilte.
Tahtsime luua skaleeritava süsteemi, et toetada tehisintellekti koolitust ja järeldusi. Kasutame Amazon EKS-i ja otsisime parimat lahendust oma töötajate sõlmede automaatseks skaleerimiseks. Valisime Kubernetese sõlme automaatseks skaleerimiseks Karpenteri mitmel põhjusel:
- Kubernetese integreerimise lihtsus, kasutades Kubernetese semantikat sõlmede nõuete ja skaalamise spetsifikatsioonide määratlemiseks
- Madala latentsusega sõlmede vähendamine
- Meie infrastruktuuriga integreerimise lihtsus kooditööriistana (Terraform)
Sõlmede pakkujad toetavad pingutuseta integreerimist Amazon EKS-i ja muude AWS-i ressurssidega, näiteks Amazon Elastic Compute Cloud (Amazon EC2) juhtumid ja Amazoni elastsete plokkide pood mahud. Ettevõtjate kasutatav Kubernetese semantika toetab suunatud ajastamist, kasutades Kubernetese konstruktsioone, nagu kahjustused või toleratsioonid ja afiinsuse või afiinsusevastased spetsifikatsioonid; need hõlbustavad ka kontrolli GPU eksemplaride arvu ja tüüpide üle, mida Karpenter võib ajastada.
Lahenduse ülevaade
Selles jaotises tutvustame üldist arhitektuuri, mis sarnaneb oma töökoormuse jaoks kasutatavale arhitektuurile, mis võimaldab mudelite elastset juurutamist, kasutades kohandatud mõõdikutel põhinevat tõhusat automaatset skaleerimist.
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Arhitektuur kasutab a lihtne teenus Kubernetese kaustas an EKS klaster. See võib olla mudeli järeldus, andmete simulatsioon või mõni muu konteinerteenus, millele pääseb juurde HTTP-päringu kaudu. Teenus on avatud pöördpuhverserveri abil Traefik. Pöördpuhverserver kogub mõõdikuid teenusele tehtavate kõnede kohta ja avaldab need standardse mõõdikute API kaudu Prometheus. Kubernetese sündmustepõhine automaatne skaleerija (KEDA) on konfigureeritud Prometheuses saadaolevate kohandatud mõõdikute alusel automaatselt skaleerima teeninduspoodide arvu. Siin kasutame kohandatud mõõdikuna taotluste arvu sekundis. Sama arhitektuuriline lähenemine kehtib ka siis, kui valite oma töökoormuse jaoks erineva mõõdiku.
Karpenter jälgib kõiki pooleliolevaid kaustasid, mida ei saa klastris piisavate ressursside puudumise tõttu käivitada. Kui sellised kaunad tuvastatakse, lisab Karpenter vajalike ressursside tagamiseks klastrisse rohkem sõlme. Ja vastupidi, kui klastris on rohkem sõlme, kui plaanitud kaustade jaoks vaja on, eemaldab Karpenter mõned töötaja sõlmed ja kaustad ajastatakse ümber, koondades need vähematesse eksemplaridesse. HTTP päringute arvu sekundis ja sõlmede arvu saab visualiseerida kasutades a grafana armatuurlaud. Automaatse skaleerimise demonstreerimiseks käivitame ühe või mitu lihtsad koormust tekitavad kaunad, mis saadavad HTTP-päringuid teenusele kasutades Curl.
Lahenduse juurutamine
aasta samm-sammult ülevaade, me kasutame AWSi pilv kui keskkond arhitektuuri juurutamiseks. See võimaldab kõiki toiminguid teha veebibrauseris. Saate lahenduse juurutada ka kohalikust arvutist või EC2 eksemplarist.
Kasutuselevõtu lihtsustamiseks ja reprodutseeritavuse parandamiseks järgime selle põhimõtteid tee-raamistik ja struktuur sõltuv dokkija mallist. Kloonime aws-do-eks projekti ja kasutades laevalaadija, koostame konteinerpildi, mis on varustatud vajalike tööriistade ja skriptidega. Konteineris läbime kõik otsast lõpuni läbimise etapid alates EKS-i klastri loomisest koos Karpenteriga kuni skaleerimiseni EC2 eksemplarid.
Selle postituse näite jaoks kasutame järgmist EKS-i klastri manifest:
apiVersion: eksctl.io/v1alpha5
kind: ClusterConfig
metadata:
name: do-eks-yaml-karpenter
version: '1.28'
region: us-west-2
tags:
karpenter.sh/discovery: do-eks-yaml-karpenter
iam:
withOIDC: true
addons:
- name: aws-ebs-csi-driver
version: v1.26.0-eksbuild.1
wellKnownPolicies:
ebsCSIController: true
managedNodeGroups:
- name: c5-xl-do-eks-karpenter-ng
instanceType: c5.xlarge
instancePrefix: c5-xl
privateNetworking: true
minSize: 0
desiredCapacity: 2
maxSize: 10
volumeSize: 300
iam:
withAddonPolicies:
cloudWatch: true
ebs: true
See manifest määratleb klastri nimega do-eks-yaml-karpenter
lisandmoodulina installitud EBS CSI draiveriga. Hallatav sõlmerühm kahega c5.xlarge
sõlmed on kaasatud klastri jaoks vajalike süsteemipoodide käitamiseks. Töötaja sõlmed on hostitud privaatsetes alamvõrkudes ja klastri API lõpp-punkt on vaikimisi avalik.
Samuti võite selle loomise asemel kasutada olemasolevat EKS-klastrit. Kasutame Karpenterit, järgides juhised Karpenteri dokumentatsioonis või käivitades järgmise käsikiri, mis automatiseerib juurutamisjuhised.
Järgmine kood näitab selles näites kasutatavat Karpenteri konfiguratsiooni:
apiVersion: karpenter.sh/v1beta1
kind: NodePool
metadata:
name: default
spec:
template:
metadata: null
labels:
cluster-name: do-eks-yaml-karpenter
annotations:
purpose: karpenter-example
spec:
nodeClassRef:
apiVersion: karpenter.k8s.aws/v1beta1
kind: EC2NodeClass
name: default
requirements:
- key: karpenter.sh/capacity-type
operator: In
values:
- spot
- on-demand
- key: karpenter.k8s.aws/instance-category
operator: In
values:
- c
- m
- r
- g
- p
- key: karpenter.k8s.aws/instance-generation
operator: Gt
values:
- '2'
disruption:
consolidationPolicy: WhenUnderutilized
#consolidationPolicy: WhenEmpty
#consolidateAfter: 30s
expireAfter: 720h
---
apiVersion: karpenter.k8s.aws/v1beta1
kind: EC2NodeClass
metadata:
name: default
spec:
amiFamily: AL2
subnetSelectorTerms:
- tags:
karpenter.sh/discovery: "do-eks-yaml-karpenter"
securityGroupSelectorTerms:
- tags:
karpenter.sh/discovery: "do-eks-yaml-karpenter"
role: "KarpenterNodeRole-do-eks-yaml-karpenter"
tags:
app: autoscaling-test
blockDeviceMappings:
- deviceName: /dev/xvda
ebs:
volumeSize: 80Gi
volumeType: gp3
iops: 10000
deleteOnTermination: true
throughput: 125
detailedMonitoring: true
Määratleme vaikimisi Karpenter NodePooli järgmiste nõuetega:
- Karpenter saab käivitada eksemplare mõlemast
spot
jaon-demand
mahutavusega basseinid - Juhtumid peavad pärinema "
c
" (arvutus optimeeritud), "m
" (Üldine otstarve), "r
” (mälu optimeeritud) või „g
"Ja"p
” (GPU-kiirendusega) andmetöötluspered - Eksemplari genereerimine peab olema suurem kui 2; näiteks,
g3
on vastuvõetav, kuidg2
ei ole
Vaikimisi NodePool määratleb ka katkestuspoliitikad. Alakasutatud sõlmed eemaldatakse, nii et kaustasid saab koondada, et need töötaksid vähematel või väiksematel sõlmedel. Teise võimalusena saame konfigureerida tühjad sõlmed eemaldamiseks pärast määratud ajaperioodi. The expireAfter
säte määrab mis tahes sõlme maksimaalse eluea, enne kui see peatatakse ja vajadusel asendatakse. See aitab vähendada turvaauke ja vältida probleeme, mis on tüüpilised pika tööajaga sõlmedele, nagu failide killustatus või mälulekked.
Vaikimisi varustab Karpenter väikese juurmahuga sõlmi, millest ei piisa tehisintellekti või masinõppe (ML) töökoormuste käitamiseks. Mõned süvaõppe konteineri kujutised võivad olla kümned GB suurused ja me peame tagama, et sõlmedes oleks piisavalt salvestusruumi, et neid kujutisi kasutavaid kausid käitada. Selleks määratleme EC2NodeClass
koos blockDeviceMappings
, nagu on näidatud eelmises koodis.
Karpenter vastutab automaatse skaleerimise eest klastri tasemel. Automaatse skaleerimise seadistamiseks kausta tasemel kasutame KEDA-d, et määratleda kohandatud ressurss nimega ScaledObject
, nagu on näidatud järgmises koodis:
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
metadata:
name: keda-prometheus-hpa
namespace: hpa-example
spec:
scaleTargetRef:
name: php-apache
minReplicaCount: 1
cooldownPeriod: 30
triggers:
- type: prometheus
metadata:
serverAddress: http://prometheus- server.prometheus.svc.cluster.local:80
metricName: http_requests_total
threshold: '1'
query: rate(traefik_service_requests_total{service="hpa-example-php-apache-80@kubernetes",code="200"}[2m])
Eelnev manifest määratleb a ScaledObject
nimetatud keda-prometheus-hpa
, mis vastutab php-apache juurutuse skaleerimise eest ja hoiab alati töös vähemalt ühe koopia. See skaleerib selle juurutuse kaustasid mõõdiku alusel http_requests_total
Prometheuses saadaval, mis on saadud määratud päringuga, ja sihib kaustade suurendamist nii, et iga kaust ei teenindaks rohkem kui ühte päringut sekundis. See vähendab koopiaid pärast seda, kui päringu laadimine on olnud alla läve kauem kui 30 sekundit.
. kasutuselevõtu spetsifikatsioon meie näite teenus sisaldab järgmist ressursitaotlused ja piirangud:
resources:
limits:
cpu: 500m
nvidia.com/gpu: 1
requests:
cpu: 200m
nvidia.com/gpu: 1
Selle konfiguratsiooni korral kasutab iga teeninduspult täpselt ühte NVIDIA GPU-d. Uute kaustade loomisel on need ootel olekus, kuni GPU on saadaval. Karpenter lisab klastrisse GPU sõlmed vastavalt vajadusele ootel olevate kaustade mahutamiseks.
A koormust tekitav pod saadab teenusele etteantud sagedusega HTTP-päringuid. Suurendame taotluste arvu, suurendades failis koopiate arvu koormuse generaatori kasutuselevõtt.
Täielik skaleerimistsükkel koos kasutuspõhise sõlmede konsolideerimisega visualiseeritakse Grafana armatuurlaual. Järgmine armatuurlaud näitab sõlmede arvu klastris eksemplari tüübi järgi (ülemine), päringute arvu sekundis (all vasakul) ja kaustade arvu (all paremal).
Alustame ainult kahe c5.xlarge CPU eksemplariga, millega klaster loodi. Seejärel juurutame ühe teenuse eksemplari, mis nõuab ühte GPU-d. Karpenter lisab selle vajaduse rahuldamiseks eksemplari g4dn.xlarge. Seejärel juurutame koormuse generaatori, mille tõttu KEDA lisab rohkem teenindusmooduleid ja Karpenter lisab rohkem GPU eksemplare. Pärast optimeerimist seatakse olek ühele p3.8xlarge eksemplarile 8 GPU-ga ja ühele g5.12xlarge eksemplarile 4 GPU-ga.
Kui skaleerime koormust genereeriva juurutuse 40 koopiani, loob KEDA täiendavad teeninduspesad, et säilitada nõutav päringukoormus podi kohta. Karpenter lisab klastrisse sõlmed g4dn.metal ja g4dn.12xlarge, et pakkuda täiendavatele moodulitele vajalikke GPU-sid. Skaleeritud olekus sisaldab klaster 16 GPU sõlme ja teenindab umbes 300 päringut sekundis. Kui vähendame koormusgeneraatorit ühele koopiale, toimub vastupidine protsess. Pärast jahtumisperioodi vähendab KEDA hoolduspulkade arvu. Kui töötab vähem sõlme, eemaldab Karpenter klastrist alakasutatud sõlmed ja teeninduspodid konsolideeritakse, et töötada vähemates sõlmedes. Kui laadimispult eemaldatakse, jääb töötama üksainus hoolduspulk ühel g1dn.xlarge eksemplaril, millel on 4 GPU. Kui eemaldame ka teeninduspuldi, jääb klaster algolekusse ainult kahe protsessori sõlmega.
Seda käitumist saame jälgida, kui NodePool
on seadistus consolidationPolicy: WhenUnderutilized
.
Selle sätte abil konfigureerib Karpenter klastri dünaamiliselt nii väheste sõlmedega kui võimalik, pakkudes samal ajal piisavalt ressursse kõigi kaustade käitamiseks ja minimeerides ka kulusid.
Järgmisel armatuurlaual näidatud skaleerimiskäitumist täheldatakse, kui NodePool
on seatud konsolideerimispoliitika WhenEmpty
Koos consolidateAfter: 30s
.
Selle stsenaariumi korral peatatakse sõlmed ainult siis, kui neil pärast jahtumisperioodi ei tööta ühtegi kausta. Skaleerimiskõver tundub kasutuspõhise konsolideerimispoliitikaga võrreldes ühtlane; samas on näha, et skaleeritud olekus kasutatakse rohkem sõlme (22 vs 16).
Üldiselt tagab podi ja klastri automaatse skaleerimise kombineerimine selle, et klaster skaleeruks dünaamiliselt töökoormusega, eraldades vajaduse korral ressursse ja eemaldades need, kui neid ei kasutata, maksimeerides seeläbi kasutust ja minimeerides kulusid.
Tulemused
Iambic kasutas seda arhitektuuri GPU-de tõhusaks kasutamiseks AWS-is ja töökoormuse migreerimiseks protsessorilt GPU-le. Kasutades EC2 GPU toega eksemplare, Amazon EKS-i ja Karpenterit, suutsime võimaldada kiiremat järeldust meie füüsikapõhiste mudelite jaoks ja kiireid katsete iteratsiooniaegu rakendusteadlastele, kes tuginevad koolitusele kui teenusele.
Järgmine tabel võtab kokku mõned selle migratsiooni ajamõõdikud.
Ülesanne | Protsessorid | GPU |
Järeldus difusioonimudelite abil füüsikapõhiste ML-mudelite jaoks | 3,600 sekundit |
100 sekundit (GPU-de loomupärase komplekteerimise tõttu) |
ML mudelkoolitus teenusena | 180 minuti | 4 minuti |
Järgmine tabel võtab kokku mõned meie aja- ja kulumõõdikud.
Ülesanne | Toimivus/kulu | |
Protsessorid | GPU | |
ML mudeli koolitus |
240 minuti keskmiselt 0.70 dollarit treeningülesande kohta |
20 minuti keskmiselt 0.38 dollarit treeningülesande kohta |
kokkuvõte
Selles postituses näitasime, kuidas Iambic kasutas Karpenterit ja KEDA-d meie Amazon EKS-i infrastruktuuri skaleerimiseks, et see vastaks meie tehisintellekti järelduste ja koolituse töökoormuse latentsusnõuetele. Karpenter ja KEDA on võimsad avatud lähtekoodiga tööriistad, mis aitavad automaatselt skaleerida EKS-i klastreid ja nendes töötavat töökoormust. See aitab optimeerida arvutuskulusid, täites samal ajal jõudlusnõudeid. Saate koodi vaadata ja sama arhitektuuri oma keskkonnas juurutada, järgides selle täielikku ülevaadet GitHub repo.
Autoritest
Matthew Welborn on masinõppe direktor ettevõttes Iambic Therapeutics. Tema ja tema meeskond kasutavad tehisintellekti, et kiirendada uudsete ravimite tuvastamist ja väljatöötamist, tuues kiiremini patsientideni elupäästvaid ravimeid.
Paul Whittemore on Iambic Therapeuticsi peainsener. Ta toetab taristu tarnimist Iambic AI-põhisele ravimite avastamise platvormile.
Alex Iankoulski on ML/AI Frameworksi pealahenduste arhitekt, kes keskendub klientide abistamisele oma tehisintellekti töökoormuse korraldamisel konteinerite ja AWS-i kiirendatud andmetöötluse infrastruktuuri abil.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/scale-ai-training-and-inference-for-drug-discovery-through-amazon-eks-and-karpenter/
- :on
- :on
- :mitte
- ][lk
- $ UP
- 1
- 10
- 100
- 125
- 16
- 200
- 200m
- 22
- 24
- 26%
- 28
- 30
- 300
- 40
- 600
- 7
- 70
- 8
- 80
- a
- võime
- Võimalik
- MEIST
- kiirendama
- kiirendatud
- vastuvõetav
- juurdepääs
- juurdepääsetav
- majutada
- üle
- tegevus
- lisama
- Lisa
- Täiendavad lisad
- aadress
- Lisab
- edasijõudnud
- afiinsus
- pärast
- AI
- AI mudelid
- AI koolitus
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- mööda
- Ka
- alati
- Amazon
- Amazon EC2
- Amazon Web Services
- an
- ja
- mistahes
- API
- app
- ilmub
- kohaldatav
- taotlus
- rakendatud
- kehtib
- lähenemine
- arhitektuuri-
- arhitektuur
- OLEME
- valdkondades
- kunstlik
- tehisintellekti
- Tehisintellekt (AI)
- AS
- At
- auto
- Automatiseeritud
- automatiseerib
- automaatselt
- saadaval
- vältima
- AWS
- põhineb
- partii
- BE
- olnud
- enne
- käitumine
- taga
- alla
- BEST
- Parem
- Peale
- bioloogia
- Blokeerima
- mõlemad
- põhi
- tooma
- Toomine
- brauseri
- ehitama
- kuid
- by
- kutsutud
- Kutsub
- CAN
- vähk
- kandidaadid
- võimeid
- Võimsus
- suurtähtedega
- juhtudel
- põhjuste
- kontrollima
- keemiline
- keemia
- Vali
- Valisin
- klassid
- kliiniline
- Cloud
- pilve infrastruktuur
- Cluster
- kood
- kogub
- kombineerimine
- võrreldes
- konkurendid
- täitma
- Lõpetatud
- arvutamine
- Arvutama
- arvuti
- arvutustehnika
- konfiguratsioon
- konfigureeritud
- konsolideerimine
- konsolideerimine
- konstrueerib
- Konteiner
- Konteinerid
- sisaldab
- kontrollida
- vastupidi
- rahune maha
- tuum
- Maksma
- kulud
- võiks
- looma
- loodud
- loob
- loomine
- CSI
- kõver
- tava
- Kliendid
- tsükkel
- armatuurlaud
- andmed
- andmepunktid
- andmetöötlus
- Otsuse tegemine
- sügav
- sügav õpe
- vaikimisi
- määratlema
- Määratleb
- tarne
- näitama
- juurutada
- kasutuselevõtu
- juurutab
- Disain
- kavandatud
- tuvastatud
- & Tarkvaraarendus
- skeem
- erinev
- diferentseeritud
- Diffusion
- suunatud
- Juhataja
- avastus
- Katkestus
- do
- laevalaadija
- dokumentatsioon
- tehtud
- alla
- kümneid
- ajendatud
- juht
- uimasti
- kaks
- dünaamiliselt
- iga
- tõhusalt
- tõhus
- vaevata
- elemendid
- võimaldama
- lubatud
- võimaldab
- Lõpuks-lõpuni
- Lõpp-punkt
- insener
- tohutu
- piisavalt
- keskkond
- varustatud
- asutatud
- sündmus
- Iga
- täpselt
- näide
- olemasolevate
- eksperiment
- eksperimentaalne
- ekspert
- uurima
- avatud
- hõlbustada
- KIIRE
- kiiremini
- vähe
- vähem
- fail
- Keskenduma
- keskendub
- järgima
- Järel
- eest
- killustatus
- Raamistik
- raamistikud
- Sagedus
- Alates
- täis
- Üldine
- loodud
- genereerib
- põlvkond
- generatiivne
- Generatiivne AI
- generaator
- saama
- GPU
- GPU
- suurem
- Grupp
- külaline
- Külaline Postitus
- käepide
- Olema
- he
- aitama
- aidates
- aitab
- siin
- tema
- võõrustas
- Lahtiolekuajad
- Kuidas
- aga
- http
- HTTPS
- Identifitseerimine
- if
- illustreerib
- pilt
- pildid
- hädavajalik
- parandama
- paranemine
- in
- lisatud
- Suurendama
- kasvav
- Infrastruktuur
- omane
- esialgne
- esialgu
- uuenduslik
- ülevaade
- paigaldatud
- Näiteks
- selle asemel
- juhised
- integreeritud
- integratsioon
- Intelligentsus
- tõlgendada
- küsimustes
- IT
- iteratsioon
- jpg
- lihtsalt
- hoiab
- Võti
- Laps
- Labels
- puudus
- suur
- Hilinemine
- algatama
- Juhtimine
- Lekked
- õppimine
- kõige vähem
- lahkus
- Tase
- Finantsvõimendus
- elu
- piirid
- koormus
- kohalik
- Pikk
- enam
- otsin
- Madal
- masin
- masinõpe
- säilitada
- tegema
- TEEB
- juhitud
- maksimeerimine
- maksimaalne
- mai..
- mõõtma
- mehhanismid
- keskmine
- Vastama
- koosolekul
- Mälu
- ühineb
- Metaandmed
- metall
- meetriline
- Meetrika
- rännanud
- ränne
- miljonid
- minimeerimine
- missioon
- ML
- mudel
- mudelid
- monitorid
- kuu
- rohkem
- mitmekordne
- peab
- nimi
- Nimega
- vajalik
- Vajadus
- vaja
- Uus
- äsja
- ei
- sõlme
- sõlmed
- romaan
- number
- arvukad
- Nvidia
- jälgima
- saadud
- of
- on
- On-Demand
- ONE
- ainult
- avatud
- avatud lähtekoodiga
- operaator
- Võimalused
- optimeerimine
- optimeerima
- optimeeritud
- or
- Muu
- meie
- välja
- üle
- enda
- patsient
- patsientidel
- kuni
- kohta
- jõudlus
- täidab
- periood
- Koht
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- võrra
- Poliitika
- poliitika
- võimalik
- post
- sisse
- võimas
- eelnev
- ennustada
- esitada
- esmane
- Peamine
- põhimõtted
- era-
- protsess
- Töödeldud
- töötlemine
- tootma
- Programm
- projekt
- omadused
- Valk
- anda
- pakkudes
- volikiri
- avalik
- eesmärk
- päringu
- kiiresti
- R
- reaalne
- reaalajas
- põhjustel
- vähendama
- vähendab
- filtreeri
- piirkond
- lootma
- jäänused
- kõrvaldama
- Eemaldatud
- eemaldab
- eemaldades
- asendatakse
- vastus
- taotleda
- Taotlusi
- nõudma
- nõutav
- Nõuded
- Vajab
- ressurss
- Vahendid
- vastutav
- tagasikäik
- õige
- Roll
- juur
- jooks
- jooksmine
- sama
- skaalautuvia
- Skaala
- skaala ai
- skaleeritud
- Kaalud
- ketendamine
- stsenaarium
- plaanitud
- planeerimine
- teadlased
- skripte
- Otsing
- otsimine
- Teine
- sekundit
- Osa
- turvalisus
- nähtud
- semantika
- saatma
- saadab
- server
- teenib
- teenus
- Teenused
- teenindavad
- komplekt
- kehtestamine
- settib
- tutvustatud
- näidatud
- Näitused
- märgatavalt
- sarnane
- lihtsustama
- simuleerimine
- ühekordne
- SUURUS
- väike
- väiksem
- siluda
- So
- tarkvara
- lahendus
- Lahendused
- mõned
- allikas
- Ruum
- spetsifikatsioonid
- määratletud
- specs
- kiirus
- Kaubandus-
- standard
- algus
- käivitamisel
- riik
- Sammud
- peatatud
- ladustamine
- struktuur
- alamvõrgud
- edu
- selline
- piisav
- parem
- varustamise
- toetama
- Toetab
- kindel
- SVC
- süsteem
- tabel
- võtab
- sihtimine
- eesmärgid
- meeskond
- Tehnoloogiad
- šabloon
- kümneid
- Terraform
- kui
- et
- .
- Riik
- oma
- Neile
- SIIS
- ravimid
- Seal.
- sellega
- Need
- nad
- see
- tuhandeid
- künnis
- Läbi
- läbilaskevõime
- aeg
- korda
- et
- võttis
- töövahendid
- ülemine
- koolitus
- tõsi
- kaks
- tüüp
- liigid
- tüüpiline
- ainulaadne
- enneolematu
- kuni
- tööajad
- kiireloomuline
- us
- kasutama
- Kasutatud
- kasutamine
- v1
- Väärtused
- suur
- mitmekülgne
- versioon
- kaudu
- maht
- mahud
- vs
- Haavatavused
- läbikäiguks
- tagaotsitav
- oli
- we
- web
- Veebirakendus
- veebibrauseri
- veebiteenused
- nädal
- Hästi
- olid
- M
- Mis on
- millal
- mis
- kuigi
- WHO
- will
- koos
- jooksul
- Töö
- töötaja
- yaml
- sa
- Sinu
- sephyrnet