Tänään meillä on ilo julkistaa esikatselu Amazon SageMaker Profiler, kyky Amazon Sage Maker joka tarjoaa yksityiskohtaisen kuvan AWS:n laskentaresursseista, jotka on hankittu SageMakerin syväoppimismallien koulutuksen aikana. SageMaker Profiler -sovelluksella voit seurata kaikkia suorittimen ja grafiikkasuorittimen toimintaa, kuten suorittimen ja grafiikkasuorittimen käyttöä, ytimen ajoa GPU:illa, ytimen käynnistämistä suorittimissa, synkronointitoimintoja, muistitoimintoja GPU:iden välillä, ytimen käynnistysten ja vastaavien ajojen välisiä viiveitä sekä tiedonsiirtoa. prosessorien ja GPU:iden välillä. Tässä viestissä opastamme sinut SageMaker Profilerin ominaisuuksien läpi.
SageMaker Profiler tarjoaa Python-moduuleja PyTorch- tai TensorFlow-harjoitusskriptien merkitsemiseen ja SageMaker Profilerin aktivointiin. Se tarjoaa myös käyttöliittymän (UI), joka visualisoi profiili, tilastollinen yhteenveto profiloiduista tapahtumista ja koulutustyön aikajana GPU:iden ja CPU:iden välisten tapahtumien aikasuhteen seuraamiseksi ja ymmärtämiseksi.
Koulutustehtävien profiloinnin tarve
Syväoppimisen (DL) nousun myötä koneoppimisesta (ML) on tullut laskenta- ja dataintensiivistä, mikä tyypillisesti vaatii usean solmun ja usean GPU:n klustereita. Kun huippuluokan mallien koko kasvaa biljoonien parametrien luokkaa, myös niiden laskennallinen monimutkaisuus ja kustannukset kasvavat nopeasti. ML-harjoittajien on selviydyttävä yleisistä tehokkaan resurssien käytön haasteista kouluttaessaan näin suuria malleja. Tämä on erityisen ilmeistä suurissa kielimalleissa (LLM), joissa on tyypillisesti miljardeja parametreja ja jotka siksi vaativat suuria monisolmuisia GPU-klustereita kouluttaakseen niitä tehokkaasti.
Harjoitettaessa näitä malleja suurilla laskentaklustereilla voimme kohdata laskentaresurssien optimoinnin haasteita, kuten I/O-pullonkauloja, ytimen käynnistysviiveitä, muistirajoituksia ja alhaista resurssien käyttöastetta. Jos koulutustyön konfiguraatiota ei optimoida, nämä haasteet voivat johtaa laitteiston tehottomaan käyttöön ja pidempiin koulutusaikoihin tai keskeneräisiin koulutusajoihin, mikä lisää projektin kokonaiskustannuksia ja aikatauluja.
Edellytykset
Seuraavat ovat edellytyksiä SageMaker Profilerin käytön aloittamiselle:
- SageMaker-verkkotunnus AWS-tililläsi – Katso ohjeet verkkotunnuksen määrittämiseen Sisääntulo Amazon SageMaker -verkkotunnukseen nopean asennuksen avulla. Sinun on myös lisättävä toimialueen käyttäjäprofiileja yksittäisille käyttäjille, jotta he voivat käyttää SageMaker Profiler UI -sovellusta. Katso lisätietoja Lisää ja poista SageMaker Domain -käyttäjäprofiileja.
- Oikeudet – Seuraava luettelo on vähimmäiskäyttöoikeusjoukko, joka tulee määrittää suoritusroolille SageMaker Profiler UI -sovelluksen käyttöä varten:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
Valmistele ja suorita koulutustyö SageMaker Profilerin avulla
Voit aloittaa ytimen kaappauksen GPU:illa harjoitustyön ollessa käynnissä muokkaamalla harjoitusskriptiä SageMaker Profiler Python -moduuleilla. Tuo kirjasto ja lisää start_profiling()
ja stop_profiling()
menetelmät profiloinnin alun ja lopun määrittelemiseksi. Voit myös käyttää valinnaisia mukautettuja merkintöjä lisätäksesi merkkejä harjoitusskriptiin visualisoidaksesi laitteiston toimintoja kunkin vaiheen tiettyjen toimintojen aikana.
Voit profiloida harjoitusskriptit SageMaker Profilerilla kahdella tavalla. Ensimmäinen lähestymistapa perustuu kokonaisten toimintojen profilointiin; toinen lähestymistapa perustuu tiettyjen koodirivien profilointiin funktioissa.
Jos haluat profiloida funktioiden mukaan, käytä kontekstinhallintaa smppy.annotate
merkitäksesi kaikki toiminnot. Seuraava esimerkkikomentosarja näyttää, kuinka kontekstinhallinta kääritään harjoitussilmukan ja kaikkien toimintojen käärimiseen kussakin iteraatiossa:
Voit myös käyttää smppy.annotation_begin()
ja smppy.annotation_end()
merkitä tiettyjä koodirivejä funktioissa. Lisätietoja on kohdassa dokumentointi.
Määritä SageMaker koulutustöiden käynnistysohjelma
Kun olet tehnyt merkinnät ja määrittänyt profiloijan aloitusmoduulit, tallenna harjoitusskripti ja valmistele SageMaker-kehysestimaattori harjoittelua varten SageMaker Python SDK:n avulla.
- Aseta a
profiler_config
objektin avullaProfilerConfig
jaProfiler
moduulit seuraavasti: - Luo SageMaker-estimaattori
profiler_config
edellisessä vaiheessa luotu objekti. Seuraava koodi näyttää esimerkin PyTorch-estimaattorin luomisesta:
Jos haluat luoda TensorFlow-estimaattorin, tuo sagemaker.tensorflow.TensorFlow
sen sijaan ja määritä yksi SageMaker Profilerin tukemista TensorFlow-versioista. Lisätietoja tuetuista kehyksistä ja ilmentymätyypeistä on kohdassa Tuetut puitteet.
- Aloita harjoittelu suorittamalla sovitusmenetelmä:
Käynnistä SageMaker Profiler UI
Kun koulutustyö on valmis, voit käynnistää SageMaker Profiler -käyttöliittymän visualisoidaksesi ja tutkiaksesi koulutustyön profiilia. Pääset SageMaker Profiler UI -sovellukseen SageMaker Profiler -aloitussivun kautta SageMaker-konsolissa tai SageMaker-toimialueen kautta.
Käynnistä SageMaker Profiler UI -sovellus SageMaker-konsolissa suorittamalla seuraavat vaiheet:
- Valitse SageMaker-konsolissa Profiler navigointipaneelissa.
- Alle Aloita, valitse toimialue, jossa haluat käynnistää SageMaker Profiler UI -sovelluksen.
Jos käyttäjäprofiilisi kuuluu vain yhdelle toimialueelle, et näe verkkotunnuksen valintavaihtoehtoa.
- Valitse käyttäjäprofiili, jolle haluat käynnistää SageMaker Profiler UI -sovelluksen.
Jos verkkotunnuksessa ei ole käyttäjäprofiilia, valitse Luo käyttäjäprofiili. Lisätietoja uuden käyttäjäprofiilin luomisesta on kohdassa Lisää ja poista käyttäjäprofiileja.
- Valita Avaa Profiler.
Voit myös käynnistä SageMaker Profiler -käyttöliittymä verkkotunnuksen tietosivulta.
Hanki näkemyksiä SageMaker Profilerista
Kun avaat SageMaker Profiler -käyttöliittymän, Valitse ja lataa profiili sivu avautuu, kuten seuraavassa kuvakaappauksessa näkyy.
Voit tarkastella luetteloa kaikista SageMaker Profileriin lähetetyistä koulutustehtävistä ja etsiä tiettyä koulutustyötä sen nimen, luontiajan ja suorituksen tilan (Käytössä, Valmis, Epäonnistui, Pysäytetty tai Pysäytys) perusteella. Lataa profiili valitsemalla koulutustyö, jota haluat tarkastella ja valita Ladata. Työn nimen tulee näkyä Ladattu profiili osio yläosassa.
Valitse työn nimi luodaksesi kojelaudan ja aikajanan. Huomaa, että kun valitset työn, käyttöliittymä avaa automaattisesti kojelaudan. Voit ladata ja visualisoida yhden profiilin kerrallaan. Jos haluat ladata toisen profiilin, sinun on ensin purettava aiemmin ladattu profiili. Voit poistaa profiilin valitsemalla roskakorin kuvakkeen Ladattu profiili osiossa.
Tässä viestissä tarkastelemme an ALBEF koulutustyö kahdessa ml.p4d.24xlarge tapauksessa.
Kun olet ladannut ja valinnut harjoitustyön, käyttöliittymä avaa koontinäyttöön. sivu, kuten seuraavassa kuvakaappauksessa näkyy.
Näet kaaviot tärkeimmistä mittareista, nimittäin grafiikkasuorittimen aktiivisuudesta, grafiikkasuorittimen käyttöajasta ajan mittaan, prosessorin aktiivisesta ajasta ja suorittimen käyttöajasta ajan mittaan. GPU:n aktiivisen ajan ympyräkaavio näyttää prosenttiosuuden GPU:n aktiivisesta ajasta verrattuna GPU:n joutoaikaan, jonka avulla voimme tarkistaa, ovatko GPU:t aktiivisempia kuin tyhjäkäynnillä koko harjoitustyön ajan.. Grafiikkasuorittimen käyttöasteen aikajanakaavio näyttää keskimääräisen grafiikkasuorittimen käyttöasteen ajan funktiona solmukohtaisesti yhdistäen kaikki solmut yhteen kaavioon. Voit tarkistaa, onko GPU:illa epätasapainoinen työkuormitus, vajaakäyttöongelmia, pullonkauloja tai tyhjäkäyntiongelmia tietyin aikavälein. Lisätietoja näiden mittareiden tulkinnasta on kohdassa dokumentointi.
Kojelauta tarjoaa lisäkaavioita, mukaan lukien kaikkien GPU-ytimien käyttämä aika, 15 parhaan GPU-ytimen käyttämä aika, kaikkien GPU-ytimien käynnistysmäärät ja 15 parhaan GPU-ytimen käynnistysmäärät, kuten seuraavassa kuvakaappauksessa näkyy.
Lopuksi kojelaudan avulla voit visualisoida lisämittareita, kuten vaiheiden aikajakauman, joka on histogrammi, joka näyttää vaiheiden kestojen jakautumisen GPU:illa, ja ytimen tarkkuuden jakautumisen ympyräkaavion, joka näyttää prosenttiosuuden ytimien ajamiseen käytetystä ajasta. eri tietotyypeissä, kuten FP32, FP16, INT32 ja INT8.
Voit myös hankkia GPU-toimintojakaumasta ympyräkaavion, joka näyttää prosenttiosuuden ajasta, joka on käytetty GPU-toimintoihin, kuten ytimien suorittamiseen, muistiin (memcpy
ja memset
), ja synkronointi (sync
). Voit visualisoida grafiikkasuorittimen muistitoimintoihin käytetyn ajan prosenttiosuuden GPU-muistitoimintojen jakautumisympyräkaaviosta.
Voit myös luoda omia histogrammeja mukautetun mittarin perusteella, jonka olet lisännyt manuaalisesti, kuten aiemmin tässä viestissä on kuvattu. Kun lisäät mukautetun huomautuksen uuteen histogrammiin, valitse tai kirjoita harjoitusskriptiin lisäämäsi huomautuksen nimi.
Aikajanan käyttöliittymä
SageMaker Profiler -käyttöliittymä sisältää myös aikajanarajapinnan, joka tarjoaa yksityiskohtaisen kuvan laskentaresursseista suorittimelle ajoitettujen ja grafiikkasuorittimilla suoritettavien toimintojen ja ytimien tasolla. Aikajana on järjestetty puurakenteeseen, joka antaa sinulle tietoja isäntätasosta laitetasolle, kuten seuraavassa kuvakaappauksessa näkyy.
Jokaisen CPU:n osalta voit seurata suorittimen suorituskyvyn laskureita, kuten clk_unhalted_ref.tsc
ja itlb_misses.miss_causes_a_walk
. Jokaiselle 2x p4d.24xlarge -esiintymän GPU:lle näet isäntäaikajanan ja laitteen aikajanan. Ytimen käynnistykset ovat isäntäaikajanalla ja ytimen ajot ovat laitteen aikajanalla.
Voit myös zoomata yksittäisiin vaiheisiin. Seuraavassa kuvakaappauksessa olemme lähentäneet vaiheeseen_41. Seuraavassa kuvakaappauksessa valittu aikajananauha on AllReduce
käyttö, olennainen viestintä- ja synkronointivaihe hajautetussa koulutuksessa, suoritetaan GPU-0:lla. Huomaa kuvakaappauksessa, että ytimen käynnistys GPU-0-isännässä muodostaa yhteyden ytimeen, joka ajetaan GPU-0-laitevirrassa 1, joka on merkitty syaanilla nuolella.
Saatavuus ja näkökohdat
SageMaker Profiler on saatavilla PyTorchissa (versiot 2.0.0 ja 1.13.1) ja TensorFlow'ssa (versiot 2.12.0 ja 2.11.1). Seuraavassa taulukossa on linkit tuettuihin AWS Deep Learning Containers SageMakerille.
Puitteet | Versio | AWS DLC -kuvan URI |
PyTorch | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
PyTorch | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler on tällä hetkellä saatavilla seuraavilla alueilla: US East (Ohio, N. Virginia), US West (Oregon) ja Eurooppa (Frankfurt, Irlanti).
SageMaker Profiler on saatavana koulutusinstanssityypeissä ml.p4d.24xlarge, ml.p3dn.24xlarge ja ml.g4dn.12xlarge.
Täydellinen luettelo tuetuista kehyksistä ja versioista on kohdassa dokumentointi.
SageMaker Profiler veloitetaan SageMaker Free Tier -tason tai ominaisuuden ilmaisen kokeilujakson päätyttyä. Katso lisätietoja Amazon SageMaker -hinnoittelu.
SageMaker Profilerin suorituskyky
Vertasimme SageMaker Profilerin yleiskustannuksia erilaisiin avoimen lähdekoodin profiloijeihin. Vertailussa käytetty lähtökohta saatiin harjoitustyön suorittamisesta ilman profiloijaa.
Keskeinen löytömme paljasti, että SageMaker Profiler johti yleensä lyhyempään laskutettavaan harjoittelun kestoon, koska sillä oli vähemmän ylimääräistä aikaa päästä päähän suoritetuissa harjoitusajoissa. Se myös tuotti vähemmän profilointidataa (jopa 10 kertaa vähemmän) verrattuna avoimen lähdekoodin vaihtoehtoihin. SageMaker Profilerin luomat pienemmät profilointiartefaktit vaativat vähemmän tallennustilaa, mikä säästää myös kustannuksia.
Yhteenveto
SageMaker Profilerin avulla voit saada yksityiskohtaista tietoa laskentaresurssien käytöstä, kun harjoitat syväoppimismallejasi. Tämän avulla voit ratkaista suorituskyvyn hotspotit ja pullonkaulat varmistaaksesi tehokkaan resurssien käytön, mikä lopulta alentaa koulutuskustannuksia ja lyhentää harjoituksen kokonaiskestoa.
Aloita SageMaker Profiler -sovelluksen käyttö kohdasta dokumentointi.
Tietoja Tekijät
Roy Allela on vanhempi AI/ML Specialist Solutions -arkkitehti AWS:ssä Münchenissä, Saksassa. Roy auttaa AWS-asiakkaita – pienistä startupeista suuriin yrityksiin – kouluttamaan ja ottamaan käyttöön suuria kielimalleja tehokkaasti AWS:ssä. Roy on intohimoinen laskennallisiin optimointiongelmiin ja tekoälyn työkuormien suorituskyvyn parantamiseen.
Sushant Moon on tietotutkija AWS:ssä, Intiassa, ja on erikoistunut opastamaan asiakkaita heidän tekoäly-/ML-hankkeissaan. Hänellä on monipuolinen tausta, joka kattaa vähittäiskaupan, rahoituksen ja vakuutusalan, ja hän toimittaa innovatiivisia ja räätälöityjä ratkaisuja. Ammatillisen elämänsä lisäksi Sushant löytää virkistystä uimisesta ja hakee inspiraatiota matkoiltaan eri kohteisiin.
Diksha Sharma on AI/ML Specialist Solutions -arkkitehti Worldwide Specialist Organizationissa. Hän työskentelee julkisen sektorin asiakkaiden kanssa auttaakseen heitä suunnittelemaan tehokkaita, turvallisia ja skaalautuvia koneoppimissovelluksia, mukaan lukien generatiiviset tekoälyratkaisut AWS:ssä. Vapaa-ajallaan Diksha rakastaa lukea, maalata ja viettää aikaa perheensä kanssa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. Autot / sähköautot, hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- ChartPrime. Nosta kaupankäyntipeliäsi ChartPrimen avulla. Pääsy tästä.
- BlockOffsets. Ympäristövastuun omistuksen nykyaikaistaminen. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- :on
- :On
- :ei
- $ YLÖS
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- 15%
- 17
- 20
- 7
- 9
- a
- Meistä
- pääsy
- poikki
- aktivoimalla
- aktiivinen
- toiminta
- toiminta
- lisätä
- lisä-
- lisää
- lisä-
- Jälkeen
- vastaan
- aggregaatioainetta
- AI
- AI / ML
- Kaikki
- Myös
- vaihtoehdot
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- ja
- Ilmoittaa
- Ilmoittaa
- Toinen
- Kaikki
- näyttää
- Hakemus
- sovellukset
- lähestymistapa
- lähestymistavat
- OVAT
- AS
- osoitettu
- At
- automaattisesti
- saatavissa
- keskimäärin
- AWS
- tausta
- perustua
- Lähtötilanne
- BE
- koska
- tulevat
- ollut
- Alku
- kuuluu
- välillä
- Jälkeen
- miljardeja
- BIN
- by
- CAN
- kyvyt
- valmiudet
- Kaappaaminen
- tietty
- haasteet
- maksut
- Kaavio
- tarkastaa
- Valita
- koodi
- Yhteinen
- Viestintä
- verrattuna
- vertailu
- täydellinen
- Valmistunut
- monimutkaisuus
- Laskea
- Konfigurointi
- Yhdistää
- Console
- Kontit
- tausta
- vastaava
- Hinta
- kustannukset
- laskurit
- luoda
- luotu
- Luominen
- luominen
- Tällä hetkellä
- asiakassuhde
- Asiakkaat
- syaani
- kojelauta
- tiedot
- tietojen tutkija
- syvä
- syvä oppiminen
- määritellä
- Antaa
- sijoittaa
- on kuvattu
- yksityiskohtainen
- yksityiskohdat
- laite
- eri
- jaettu
- hajautettu koulutus
- jakelu
- useat
- verkkotunnuksen
- verkkotunnuksia
- tehty
- alas
- ajaa
- kesto
- aikana
- kukin
- Aikaisemmin
- Itään
- tehokas
- tehokkaasti
- mahdollistaa
- mahdollistaa
- loppu
- päittäin
- pyrkii
- päättyy
- varmistaa
- enter
- Koko
- merkintä
- aikakausi
- aikakausia
- olennainen
- Eurooppa
- Tapahtumat
- ilmeinen
- esimerkki
- teloitus
- tutkia
- Epäonnistui
- perhe
- Ominaisuus
- rahoittaa
- löytäminen
- löydöt
- viimeistely
- Etunimi
- sovittaa
- jälkeen
- seuraa
- varten
- Eteenpäin
- Puitteet
- puitteet
- Ilmainen
- ilmainen kokeilu
- alkaen
- koko
- tehtävät
- yleensä
- tuottaa
- syntyy
- generatiivinen
- Generatiivinen AI
- Saksa
- saada
- Antaminen
- GPU
- GPU
- kaavio
- Kasvaa
- HAD
- Palvelimet
- Olla
- he
- auttaa
- auttaa
- hänen
- hänen
- isäntä
- Miten
- Miten
- HTML
- http
- HTTPS
- i
- ICON
- Idle
- if
- kuva
- toteuttaa
- tuoda
- parantaminen
- in
- sisältää
- Mukaan lukien
- Kasvaa
- Intia
- ilmoitettu
- henkilökohtainen
- tehoton
- tiedot
- innovatiivinen
- tuloa
- oivalluksia
- Inspiraatio
- esimerkki
- sen sijaan
- ohjeet
- vakuutus
- liitäntä
- tulee
- Irlanti
- kysymykset
- IT
- iteraatio
- SEN
- Job
- Työpaikat
- jpg
- avain
- tarrat
- lasku
- Kieli
- suuri
- käynnistää
- käynnistää
- oppiminen
- vähemmän
- Taso
- Kirjasto
- elämä
- rajat
- linjat
- linkit
- Lista
- kuormitus
- lastaus
- kauemmin
- pois
- rakastaa
- Matala
- kone
- koneoppiminen
- johtaja
- käsin
- Muisti
- menetelmä
- menetelmät
- metrinen
- Metrics
- minimi
- ML
- malli
- mallit
- muokata
- Moduulit
- lisää
- täytyy
- nimi
- nimittäin
- suunnistus
- Tarve
- Uusi
- Nro
- solmu
- solmut
- objekti
- saada
- saatu
- of
- Tarjoukset
- Ohio
- on
- ONE
- vain
- avata
- avoimen lähdekoodin
- avautuu
- toiminta
- Operations
- optimointi
- optimoitu
- Vaihtoehto
- or
- tilata
- Oregon
- organisaatio
- Järjestetty
- yli
- yleinen
- oma
- sivulla
- lasi
- parametrit
- erityinen
- erityisesti
- intohimoinen
- varten
- osuus
- suorituskyky
- aika
- Oikeudet
- Platon
- Platonin tietotieto
- PlatonData
- tyytyväinen
- Kohta
- Kirje
- Tarkkuus
- Valmistella
- edellytyksiä
- preview
- edellinen
- aiemmin
- ongelmia
- ammatillinen
- Profiili
- Profiilit
- profilointi
- Edistyminen
- projekti
- tarjoaa
- julkinen
- Python
- pytorch
- nopea
- nopeasti
- hinta
- Lue
- vähentää
- alueet
- nuorentaminen
- yhteys
- poistaa
- edellyttää
- resurssi
- Esittelymateriaalit
- johtua
- vähittäiskauppa
- Revealed
- Nousta
- Rooli
- roy
- ajaa
- juoksu
- toimii
- sagemaker
- Säästä
- tallentaa
- skaalautuva
- suunniteltu
- Tiedemies
- skriptejä
- sdk
- Haku
- Toinen
- Osa
- sektori
- turvallinen
- nähdä
- etsii
- valittu
- valitsemalla
- vanhempi
- Palvelut
- setti
- asetus
- hän
- shouldnt
- esitetty
- Näytä
- single
- Koko
- pieni
- pienempiä
- Ratkaisumme
- lähde
- jännitys
- asiantuntija
- erikoistunut
- erityinen
- viettää
- käytetty
- Alkaa
- alkoi
- Startups
- huippu-
- tilastollinen
- Tila
- Vaihe
- Askeleet
- pysähtynyt
- pysäyttäminen
- Levytila
- virta
- rakenne
- toimitettu
- niin
- YHTEENVETO
- Tuetut
- tahdistus
- taulukko
- Räätälöity
- ottaa
- tensorflow
- kuin
- että
- -
- heidän
- Niitä
- Siellä.
- siten
- siksi
- Nämä
- tätä
- Kautta
- kauttaaltaan
- porras
- aika
- aikajana
- aikataulut
- kertaa
- että
- ylin
- raita
- Seuranta
- Juna
- koulutus
- siirtää
- matkustaa
- puu
- oikeudenkäynti
- biljoonia
- kaksi
- tyypit
- tyypillisesti
- ui
- Lopulta
- ymmärtäminen
- us
- käyttää
- käytetty
- käyttäjä
- Käyttöliittymä
- Käyttäjät
- käyttämällä
- eri
- versio
- versiot
- Näytä
- virginia
- vs
- haluta
- oli
- we
- verkko
- verkkopalvelut
- Länsi
- kun
- joka
- vaikka
- tulee
- with
- ilman
- toimii
- maailmanlaajuisesti
- olisi
- kääri
- Voit
- Sinun
- zephyrnet
- zoomaus