Viimeaikainen syväoppimisen kehitys on johtanut yhä suurempiin malleihin, kuten GPT-3, BLOOM ja OPT, joista joissakin on jo yli 100 miljardia parametria. Vaikka suuret mallit ovat yleensä tehokkaampia, tällaisten mallien kouluttaminen vaatii huomattavia laskentaresursseja. Vaikka käytettäisiin kehittyneitä hajautettuja koulutuskirjastoja, kuten FSDP ja DeepSpeed, on yleistä, että koulutustyöt vaativat satoja kiihdytinlaitteita useita viikkoja tai kuukausia kerrallaan.
Vuoden 2022 lopulla AWS ilmoitti yleisestä saatavuudesta Amazon EC2 Trn1 -esiintymät virtansa AWS Trainium– tarkoitukseen rakennettu koneoppimiskiihdytin (ML), joka on optimoitu tarjoamaan korkean suorituskyvyn, kustannustehokkaan ja massiivisesti skaalautuvan alustan syvän oppimismallien opettamiseen pilvessä. Trn1-esiintymiä on saatavana useissa eri koossa (katso seuraava taulukko), joissa on jopa 16 Trainium-kiihdytintä ilmentymää kohti.
Esineen koko | Trainiumin kiihdyttimet | Kiihdytinmuisti (GB) | vCPU: t | Instanssimuisti (GiB) | Verkon kaistanleveys (Gbps) |
trn1.2xsuuri | 1 | 32 | 8 | 32 | Jopa 12.5 |
trn1.32xsuuri | 16 | 512 | 128 | 512 | 800 |
trn1n.32xlarge (tulossa pian) | 16 | 512 | 128 | 512 | 1600 |
Trn1-esiintymiä voidaan ottaa käyttöön joko itsenäisinä ilmentyminä pienempiä koulutustöitä varten tai erittäin skaalautuvissa ultraklustereissa, jotka tukevat hajautettua koulutusta kymmenien tuhansien Trainium-kiihdytinten kesken. Kaikki Trn1-esiintymät tukevat itsenäistä kokoonpanoa, kun taas Trn1-ultraklusterit vaativat trn1.32xlarge- tai trn1n.32xlarge-esiintymiä. Ultraklusterissa useita Trn1-esiintymiä sijoitetaan samaan paikkaan tietyllä AWS-saatavuusvyöhykkeellä ja ne on yhdistetty nopeaan, matalan viiveen EFA (Elastic Fabric Adapter) -verkkoon, joka tarjoaa 800 Gbps estävää verkon kaistanleveyttä esiintymää kohden kollektiivisia laskentatoimintoja varten. . Alkuvuodesta 1 julkaistava trn32n.2023xlarge ilmentymätyyppi kasvattaa tämän kaistanleveyden 1600 XNUMX Gbps:iin ilmentymää kohti.
Monet yritysasiakkaat päättävät ottaa syvän oppimisen työkuormituksensa käyttöön Kubernetesin avulla, joka on tosiasiallinen standardi konttien järjestämiseen pilvessä. AWS-asiakkaat käyttävät usein näitä työkuormia Amazonin elastisten kuberneettien palvelu (Amazon EKS). Amazon EKS on hallittu Kubernetes-palvelu, joka yksinkertaistaa Kubernetes-klusterien luomista, määrittämistä, elinkaaria ja seurantaa samalla kun se tarjoaa täyden joustavuuden alkupään Kubernetesista.
Tänään meillä on ilo ilmoittaa virallisesta tuesta hajautetuille koulutustöille Amazon EKS- ja EC2 Trn1 -esiintymillä. Tämän ilmoituksen myötä voit nyt helposti suorittaa suuria konttimuotoisia koulutustöitä Amazon EKS:ssä samalla kun hyödynnät Trn1-esiintymien tarjoamaa hinta-suorituskykyä, skaalautuvuutta ja helppokäyttöisyyttä.
Tämän ilmoituksen ohella julkaisemme myös yksityiskohtaisen opetusohjelman, joka opastaa sinua suorittamaan vaiheet, joita tarvitaan usean esiintymän hajautetun koulutustyön suorittamiseen (BERT-vaiheen 1 esikoulutus) käyttämällä Amazon EKS- ja Trn1-esiintymiä. Tässä viestissä opit ratkaisun arkkitehtuurista ja käyt läpi useita opetusohjelman keskeisiä vaiheita. Viittaavat virallinen opetusohjelmavarasto täydelliseen päästä päähän -työnkulkuun.
Jatkossa laaja perehtyneisyys AWS-ydinpalveluihin, kuten Amazonin elastinen laskentapilvi (Amazon EC2) ja Amazon EKS, ja syväoppimisen ja PyTorchin perustiedot auttaisivat.
Ratkaisuarkkitehtuuri
Seuraava kaavio kuvaa ratkaisuarkkitehtuuria.
Ratkaisu koostuu seuraavista pääkomponenteista:
- EKS-klusteri
- EKS-solmuryhmä, joka koostuu trn1.32xsuurista ilmentymistä
- - AWS Neuron SDK
- EKS-laajennukset Neuronille ja EFA:lle
- An Amazonin elastisten säiliörekisteri (Amazon ECR) Repository
- Harjoitussäiliön kuva
- An Amazon FSx Lusterille tiedostojärjestelmä
- Volcano eräajoitus ja etcd-palvelin
- TorchX-yleistyönkäynnistin
- TorchX DDP-moduuli Trainiumille
Ratkaisun ytimessä on EKS-klusteri, joka tarjoaa sinulle Kubernetes-ydinhallintatoiminnot EKS-palvelun päätepisteen kautta. Yksi Amazon EKS:n eduista on, että palvelu tarkkailee ja skaalaa aktiivisesti ohjaustasoa kuormituksen perusteella, mikä varmistaa korkean suorituskyvyn suurissa työkuormissa, kuten hajautetussa harjoittelussa. EKS-klusterin sisällä on solmuryhmä, joka koostuu kahdesta tai useammasta trn1.32xlarge Trainium-pohjaisesta ilmentymästä, jotka sijaitsevat samalla Saatavuusvyöhykkeellä.
Neuron SDK on ohjelmistopino, joka tarjoaa ohjaimen, kääntäjän, suoritusajan, kehysintegroinnin (esimerkiksi PyTorch Neuron) ja käyttäjätyökalut, joiden avulla voit käyttää Trainium-kiihdytinten etuja. Neuron-laiteohjain toimii suoraan EKS-solmuissa (Trn1-esiintymät) ja tarjoaa pääsyn Trainium-siruihin solmuissa käynnistetyistä koulutussäiliöistä. EKS-klusteriin on asennettu Neuron- ja EFA-laajennukset, jotka tarjoavat pääsyn hajautetun koulutuksen edellyttämiin Trainium-siruihin ja EFA-verkkolaitteisiin.
Harjoitussäiliökuvien tallentamiseen käytetään ECR-arkistoa. Nämä kuvat sisältävät Neuron SDK:n (lukuun ottamatta Neuron-ohjainta, joka toimii suoraan Trn1-esiintymissä), PyTorch-harjoituskomentosarjan ja vaadittavat riippuvuudet. Kun koulutustyö käynnistetään EKS-klusterissa, säilökuvat vedetään ensin Amazon ECR:stä EKS-solmuihin ja PyTorch-työntekijäkontit instantioidaan sitten kuvista.
Jaettu tallennustila tarjotaan käyttämällä korkean suorituskyvyn FSx for Luster -tiedostojärjestelmää, joka on samassa Saatavuusvyöhykkeellä kuin trn1.32xlarge -esiintymät. FSx for Luster -tiedostojärjestelmän luomista ja liittämistä EKS-klusteriin välittää Amazon FSx Luster CSI -ohjaimelle. Tässä ratkaisussa jaettua tallennustilaa käytetään harjoitustietojoukon ja koulutusprosessin aikana luotujen lokien tai artefaktien tallentamiseen.
Ratkaisu käyttää TorchX universaali työnkäynnistin käynnistää hajautetut koulutustyöt Amazon EKS:ssä. TorchX:llä on kaksi tärkeää riippuvuutta: Volcano eräajoitus ja etcd-palvelin. Volcano hoitaa koulutustöiden ajoituksen ja jonon, kun taas etcd-palvelin on avainarvovarasto, jota TorchElastic käyttää synkronointiin ja vertaishakuun työn käynnistyksen aikana.
Kun harjoitustyö käynnistetään TorchX:n avulla, käynnistyskomento käyttää Trainiumille toimitettua TorchX-hajautettua DDP-moduulia yleisen harjoitustyön määrittämiseen ja sitten asianmukaisten torchrun-komentojen suorittamiseen kussakin PyTorch-työntekijäpodissa. Kun työ on käynnissä, sitä voidaan valvoa tavallisilla Kubernetes-työkaluilla (kuten kubectl) tai tavallisilla ML-työkalusarjoilla, kuten TensorBoardilla.
Ratkaisun yleiskatsaus
Katsotaanpa tämän ratkaisun tärkeitä vaiheita. Koko tässä yleiskatsauksessa viittaamme Käynnistä monisolmuinen PyTorch Neuron Training -työ Trainiumissa TorchX:n ja EKS:n avulla opetusohjelma GitHubissa.
Luo EKS-klusteri
Aloita hajautettu koulutustyö Amazon EKS:ssä Trn1-instanssien kanssa luomalla ensin EKS-klusterin, kuten opetusohjelma GitHubissa. Klusterin luominen voidaan toteuttaa vakiotyökaluilla, kuten eksctl
ja AWS-pilven muodostuminen.
Luo EKS-solmuryhmä
Seuraavaksi meidän on luotava EKS-solmuryhmä, joka sisältää kaksi tai useampia trn1.32xlarge -esiintymiä tuetulla alueella. Opetusohjelmassa AWS CloudFormationia käytetään Trainium-kohtaisen EC2-käynnistysmallin luomiseen, joka varmistaa, että Trn1-esiintymät käynnistetään asianmukaisella Amazon Machine Image:llä (AMI) ja oikealla EFA-verkkokokoonpanolla, joka tarvitaan hajautetun koulutuksen tukemiseen. AMI sisältää myös Neuron-laiteohjaimen, joka tukee Trainium-kiihdytinsiruja. Kanssa eksctl
Amazon EKS -hallintatyökalulla voit helposti luoda Trainium-solmuryhmän käyttämällä YAML-perusluetteloa, joka viittaa äskettäin luotuun käynnistysmalliin. Esimerkiksi:
Edellisessä luettelossa useita määritteitä on määritetty sallimaan Trn1-esiintymien käyttö EKS-klusterissa. Ensimmäinen, metadata.region
on asetettu yhdelle alueista, joka tukee Trn1-esiintymiä (tällä hetkellä us-east-1
ja us-west-2
). Seuraavaksi Amazon EKS vaatii saatavuusvyöhykkeitä varten, että määritetään kaksi Availability Zone -aluetta. Yhden näistä saatavuusvyöhykkeistä on tuettava Trn1-esiintymien käyttöä, kun taas toinen voidaan valita satunnaisesti. Opetusohjelma näyttää kuinka määrittää, mitkä saatavuusvyöhykkeet sallivat Trn1-esiintymiä AWS-tililläsi. Sama Trn1:tä tukeva Saatavuusvyöhyke on määritettävä myös käyttämällä availabiltyZones
EKS-solmuryhmään liittyvä attribuutti. efaEnabled
asetetaan true
konfiguroidaksesi solmut sopivalla EFA-verkkokokoonpanolla, joka tarvitaan hajautettuun koulutukseen. Lopuksi, launchTemplate.id
solmuryhmään liittyvä attribuutti osoittaa EC2-käynnistysmalliin, joka on luotu AWS CloudFormationin avulla aikaisemmassa vaiheessa.
Olettaen, että olet jo ottanut käyttöön CloudFormation-mallin ja asentanut sen eksctl
hallintatyökalun avulla voit luoda Trainium-yhteensopivan EKS-solmuryhmän suorittamalla seuraavan koodin:
Asenna Kubernetes-laajennukset Trainium- ja EFA-laitteille
Kun solmuryhmä on paikallaan, seuraava askel on asentaa Kubernetes-laajennukset, jotka tukevat Trainium-kiihdytintä (Neuron-laajennuksen kautta) ja EFA-laitteita (EFA-laajennuksen kautta). Nämä laajennukset voidaan helposti asentaa klusteriin standardin avulla kubectl
hallintatyökalu, kuten opetusohjelmassa näkyy.
TorchX-yleisen PyTorch-käynnistimen käyttäminen hajautettujen koulutustöiden käynnistämiseen edellyttää kaksi edellytystä: Volcano-eräajastin ja etcd-palvelin. Kuten Neuron- ja EFA-laajennukset, voimme käyttää kubectl
työkalu Volcanon ja etcd-palvelimen asentamiseen EKS-klusteriin.
Liitä jaettu tallennustila EKS-klusteriin
Opetusohjelmassa FSx for Luster tarjoaa tehokkaan jaetun tiedostojärjestelmän, jota EKS-työntekijät voivat käyttää. Tätä jaettua tallennustilaa käytetään harjoitustietojoukon sekä koulutusprosessin aikana luotujen artefaktien ja lokien isännöimiseen. Opetusohjelmassa kuvataan, kuinka jaettu tallennustila luodaan ja liitetään klusteriin käyttämällä Amazon FSx Luster CSI -ohjaimelle.
Luo harjoitussäiliökuva
Seuraavaksi meidän on luotava koulutussäilökuva, joka sisältää PyTorch-harjoituskomentosarjan mahdollisten riippuvuuksien kanssa. Opetusohjelmaan sisältyy esimerkki Dockerfile-tiedostosta, joka sisältää BERTin esikoulutuskomentosarjan ohjelmistoriippuvuuksineen. Docker-tiedostoa käytetään koulutuskonttikuvan rakentamiseen, ja kuva työnnetään sitten ECR-tietovarastoon, josta PyTorch-työntekijät voivat noutaa kuvan, kun koulutustyö käynnistetään klusterissa.
Aseta harjoitustiedot
Ennen harjoitustyön käynnistämistä harjoitustiedot kopioidaan ensin FSx for Lustren jaettuun tallennustilaan. Opetusohjelmassa kerrotaan, kuinka luodaan tilapäinen Kubernetes-podikko, jolla on pääsy jaettuun tallennustilaan, ja näytetään, kuinka podiin kirjaudutaan, jotta voit ladata ja purkaa harjoitustietojoukon Linuxin tavallisilla komentotulkkikomennoilla.
Erilaisten infrastruktuuri- ja ohjelmistoedellytysten ansiosta voimme nyt keskittyä ratkaisun Trainium-näkökohtiin.
Esikäännä mallisi
Neuron SDK tukee PyTorchia integraatiokerroksen kautta PyTorch Neuron. Oletusarvoisesti PyTorch Neuron toimii juuri-in-time-käännöksellä, jossa koulutustyön eri neuroverkkolaskentakaaviot kootaan sellaisina kuin ne kohtaavat koulutusprosessin aikana. Suuremmissa malleissa voi olla kätevämpää käyttää mukana toimitettua neuron_parallel_compile
työkalu, jolla esikäännetään ja tallennetaan välimuistiin erilaisia laskentakaavioita etukäteen, jotta vältetään kaavioiden kokoaminen harjoittelun aikana. Ennen kuin aloitat koulutustyön EKS-klusterissa, opetusohjelma näyttää, kuinka esikäännöstyö käynnistetään ensin TorchX:n kautta käyttämällä neuron_parallel_compile
työkalu. Esikäännöstyön päätyttyä Neuron-kääntäjä on tunnistanut ja kääntänyt kaikki hermoverkon laskentakaaviot ja tallentanut ne jaettuun tallennustilaan myöhempää käyttöä varten varsinaisen BERT-esikoulutustyön aikana.
Käynnistä hajautettu koulutustyö
Kun esikäännös on valmis, TorchX:ää käytetään 64 työntekijän hajautetun koulutustyön käynnistämiseen kahdessa trn1.32xlarge-esiintymässä, joissa on 32 työntekijää ilmentymää kohti. Käytämme 32 työntekijää esiintymää kohden, koska jokainen trn1.32xlarge ilmentymä sisältää 16 Trainium-kiihdytintä, joista jokaisessa on 2 NeuronCores. Jokaista NeuronCorea voidaan käyttää ainutlaatuisena PyTorch XLA -laite harjoituskäsikirjoituksessa. Esimerkki TorchX-käynnistyskomennosta opetusohjelmasta näyttää seuraavalta koodilta:
Edellisen TorchX-komennon eri komentoriviargumentit kuvataan yksityiskohtaisesti opetusohjelmassa. Seuraavat argumentit ovat kuitenkin tärkeimmät koulutustehtävän määrittämisessä:
- -cfg queue=test – Määrittää harjoitustyössä käytettävän Volcano-jonon
- -cfg image_repo – Määrittää TorchX-säilökuville käytettävän ECR-tietovaraston
- -script_args – Määrittää argumentit, jotka tulee välittää PyTorch-harjoituskomentosarjalle
- –nnodes ja –nproc_per_node – Koulutustyössä käytettävien tapausten ja työntekijöiden määrä instansseja kohden
- –Script – Koulutussäilön sisällä käynnistettävän PyTorch-harjoitusskriptin nimi
- -Kuva – Polku harjoituskonttikuvaan Amazon ECR:ssä
- -bf16 – Otetaanko BF16-tietotyyppi käyttöön vai ei
Seuraa koulutustyötä
Koulutustyön alkamisen jälkeen on olemassa erilaisia tapoja, joilla työtä voidaan seurata. Opetusohjelma näyttää, kuinka seurata peruskoulutuskomentosarjan mittareita komentorivillä käyttämällä kubectl
, kuinka seurata visuaalisesti harjoitusohjelman edistymistä TensorBoardissa (katso seuraava kuvakaappaus) ja kuinka seurata Trainium-kiihdytin käyttöä käyttämällä neuron-top
työkalu Neuron SDK:sta.
Puhdista tai käytä uudelleen ympäristöä
Kun koulutustyö on valmis, klusteria voidaan sitten käyttää uudelleen tai konfiguroida uudelleen muita koulutustöitä varten. Esimerkiksi EKS-solmuryhmää voidaan nopeasti skaalata käyttämällä eksctl
komento tukeakseen koulutustöitä, jotka vaativat lisää Trn1-esiintymiä. Vastaavasti mukana toimitettuja Dockerfile- ja TorchX-käynnistyskomentoja voidaan helposti muokata tukemaan muita syväoppimismalleja ja koulutustopologioiden jakelua.
Jos klusteria ei enää tarvita, opetusohjelma sisältää myös kaikki vaiheet, joita tarvitaan EKS-infrastruktuurin ja siihen liittyvien resurssien poistamiseen.
Yhteenveto
Tässä viestissä tutkimme, kuinka Trn1-esiintymät ja Amazon EKS tarjoavat hallitun alustan tehokkaaseen, kustannustehokkaaseen ja massiivisesti skaalautuvaan syväoppimismallien hajautettuun koulutukseen. Jaoimme myös kattavan opetusohjelman, joka näyttää kuinka suorittaa todellista usean esiintymän hajautettua koulutustyötä Amazon EKS:ssä Trn1-instanssien avulla, ja korostimme useita ratkaisun avainvaiheita ja komponentteja. Tämä opetusohjelman sisältö voidaan helposti mukauttaa muihin malleihin ja työkuormiin, ja se tarjoaa sinulle perustavanlaatuisen ratkaisun syväoppimismallien hajautettuun koulutukseen AWS:ssä.
Lisätietoja Trainium-käyttöisten Trn1-esiintymien käytön aloittamisesta on kohdassa Neuronin dokumentaatio.
Tietoja Tekijät
Scott Perry on ratkaisuarkkitehti Annapurna ML -kiihdyttimessä AWS:ssä. Hän toimii Kanadassa, ja hän auttaa asiakkaita ottamaan käyttöön ja optimoimaan syväoppimiskoulutusta ja päättelytyökuormia käyttämällä AWS Inferentiaa ja AWS Trainiumia. Hänen kiinnostuksen kohteitaan ovat suuret kielimallit, syvävahvistusoppiminen, IoT ja genomiikka.
Lorea Arrizabalaga on ratkaisuarkkitehti, joka on linjassa Ison-Britannian julkisella sektorilla, jossa hän auttaa asiakkaita suunnittelemaan ML-ratkaisuja Amazon SageMakerin avulla. Hän on myös osa Technical Field Communityä, joka on omistautunut laitteistokiihdytykseen ja auttaa AWS Inferentia- ja AWS Trainium -työkuormien testaamisessa ja vertailussa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/scaling-distributed-training-with-aws-trainium-and-amazon-eks/
- 1
- 100
- 11
- 2022
- 2023
- 7
- a
- pystyy
- Meistä
- kiihdytin
- kiihdyttimiä
- pääsy
- Accessed
- saavutettu
- poikki
- aktiivisesti
- lisä-
- edistää
- kehittynyt
- Etu
- linjassa
- Kaikki
- jo
- Vaikka
- Amazon
- Amazon EC2
- Amazon Sage Maker
- ja
- Ilmoittaa
- ilmoitti
- Ilmoitus
- sovellettu
- sopiva
- arkkitehtuuri
- perustelut
- näkökohdat
- liittyvä
- liittää
- attribuutteja
- saatavuus
- saatavissa
- AWS
- AWS-pilven muodostuminen
- AWS Inferencia
- kaistanleveys
- perustua
- perustiedot
- koska
- ennen
- benchmarking
- Hyödyt
- Miljardi
- Kukinta
- laaja
- rakentaa
- Kätkö
- nimeltään
- Kanada
- sirut
- Valita
- valittu
- pilvi
- Cluster
- koodi
- Kollektiivinen
- tuleva
- Tulossa pian
- Yhteinen
- yhteisö
- täydellinen
- valmistuminen
- osat
- kattava
- Laskea
- Konfigurointi
- kytketty
- Koostuu
- Kontti
- Kontit
- sisältää
- pitoisuus
- ohjaus
- Mukava
- Ydin
- kustannustehokas
- luoda
- luotu
- Luominen
- luominen
- CSI
- Tällä hetkellä
- Asiakkaat
- tiedot
- DDP
- omistautunut
- syvä
- syvä oppiminen
- oletusarvo
- sijoittaa
- käyttöön
- on kuvattu
- Malli
- yksityiskohta
- yksityiskohtainen
- kehitys
- laite
- Laitteet
- suoraan
- löytö
- jaettu
- hajautettu koulutus
- jako-
- download
- kuljettaja
- aikana
- kukin
- Aikaisemmin
- Varhainen
- helppokäyttöisyys
- helposti
- myöskään
- mahdollistaa
- päittäin
- päätepiste
- varmistaa
- yritys
- Jopa
- esimerkki
- innoissaan
- lukuun ottamatta
- olemassa
- tutkitaan
- uute
- kangas
- perehtyneisyys
- ala
- filee
- Etunimi
- Joustavuus
- Keskittää
- seurata
- jälkeen
- Puitteet
- alkaen
- koko
- toiminnallisuus
- general
- genomiikka
- saada
- GitHub
- tietty
- kaavio
- kaaviot
- Ryhmä
- Oppaat
- Vetimet
- Palvelimet
- sydän
- hyödyllinen
- auttaa
- Korkea
- korkea suorituskyky
- Korostettu
- erittäin
- isäntä
- Miten
- Miten
- Kuitenkin
- HTML
- HTTPS
- Sadat
- ID
- tunnistettu
- kuva
- kuvien
- epäsuora
- tärkeä
- in
- sisältää
- mukana
- sisältää
- Kasvaa
- yhä useammin
- Infrastruktuuri
- asentaa
- asennetaan
- esimerkki
- integraatio
- etu
- Esineiden internet
- IT
- Job
- Työpaikat
- avain
- laji
- Kieli
- suuri
- laaja
- suurempi
- Myöhään
- käynnistää
- käynnistettiin
- käynnistäminen
- kerros
- OPPIA
- oppiminen
- Led
- kirjastot
- linja
- linux
- kuormitus
- kauemmin
- katso
- ulkonäkö
- kone
- koneoppiminen
- tärkein
- onnistui
- johto
- massiivisesti
- Muisti
- Metadata
- Metrics
- ML
- mallit
- muokattu
- Moduulit
- monitori
- seurataan
- seuranta
- näytöt
- kk
- lisää
- eniten
- moninkertainen
- nimi
- Tarve
- verkko
- verkostoituminen
- neuroverkkomallien
- seuraava
- solmu
- solmut
- numero
- tarjotaan
- tarjoamalla
- virallinen
- ONE
- toimii
- Operations
- Optimoida
- optimoitu
- orkestrointi
- tilata
- Muut
- hahmoteltu
- ääriviivat
- yleinen
- yleiskatsaus
- parametrit
- osa
- Hyväksytty
- polku
- vertainen
- suorituskyky
- vaihe
- Paikka
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- kytkeä
- liitännäiset
- pistettä
- Kirje
- powered
- voimakas
- edellytyksiä
- prosessi
- Edistyminen
- toimittaa
- mikäli
- tarjoaa
- tarjoamalla
- julkinen
- Julkaiseminen
- työntää
- pytorch
- nopeasti
- satunnainen
- todellinen maailma
- viittaukset
- alue
- alueet
- liittyvä
- poistaa
- säilytyspaikka
- edellyttää
- tarvitaan
- Vaatii
- Esittelymateriaalit
- arviot
- ajaa
- juoksu
- sagemaker
- sama
- skaalautuvuus
- skaalautuva
- asteikot
- skaalaus
- sdk
- sektori
- palvelu
- Palvelut
- setti
- useat
- yhteinen
- Kuori
- shouldnt
- esitetty
- Näytä
- merkittävä
- samalla lailla
- koot
- pienempiä
- So
- Tuotteemme
- ratkaisu
- Ratkaisumme
- jonkin verran
- määritelty
- pino
- itsenäinen
- standardi
- alkoi
- käynnistyksen
- Vaihe
- Askeleet
- Yhä
- Levytila
- verkkokaupasta
- niin
- tuki
- Tuetut
- Tukee
- tahdistus
- järjestelmä
- taulukko
- ottaen
- joukkue-
- Tekninen
- sapluuna
- tilapäinen
- Testaus
- -
- UK
- heidän
- tuhansia
- Kautta
- kauttaaltaan
- aika
- että
- työkalu
- työkalut
- koulutus
- totta
- oppitunti
- Uk
- unique
- Yleismaailmallinen
- käyttää
- käyttäjä
- eri
- versio
- kautta
- tilavuus
- tavalla
- viikkoa
- onko
- joka
- vaikka
- tulee
- sisällä
- työntekijä
- työntekijöitä
- olisi
- yaml
- Voit
- Sinun
- zephyrnet
- alueet