Tämä on vierasblogiviesti, joka on kirjoitettu yhdessä Hussain Jagirdarin kanssa Games24x7:stä.
Pelit 24x7 on yksi Intian arvokkaimmista monipelialustoista ja viihdyttää yli 100 miljoonaa pelaajaa erilaisissa taitopeleissä. Kun "Science of Gaming" on heidän ydinfilosofiansa, he ovat mahdollistaneet vision kokonaisvaltaisesta informatiikasta pelin dynamiikasta, pelialustoista ja pelaajista yhdistämällä pelien tekoälyn, pelidatatieteen ja pelien käyttäjätutkimuksen ortogonaalisia tutkimussuuntia. Tekoäly- ja datatieteen tiimi sukeltaa moniulotteiseen dataan ja suorittaa erilaisia käyttötapauksia, kuten pelaajamatkan optimointia, pelitoimintojen havaitsemista, hyperpersonointia, asiakas 360:tä ja paljon muuta AWS:ssä.
Games24x7 käyttää automatisoitua, tietopohjaista tekoälypohjaista viitekehystä jokaisen pelaajan käyttäytymisen arvioimiseen alustalla tapahtuvien vuorovaikutusten kautta ja ilmoittaa käyttäjille epänormaalista käyttäytymisestä. He ovat rakentaneet syvälle oppivan mallin ScarceGAN, joka keskittyy äärimmäisen harvinaisten tai niukkojen näytteiden tunnistamiseen moniulotteisesta pitkittäisestä telemetriasta, jossa on pieniä ja heikkoja etikettejä. Tämä teos on julkaistu v CIKM'21 ja se on avoimen lähdekoodin Harvinaisen luokan tunnistamiseen pitkittäistelemetriatietoille. Mallin tuotanto- ja käyttöönottotarve oli ensiarvoisen tärkeää, jotta voidaan luoda selkäranka vastuullisen pelin mahdollistamiseen heidän alustallaan, jossa liputetut käyttäjät voidaan viedä erilaisen moderoinnin ja hallinnan matkalle.
Tässä viestissä kerromme, kuinka Games24x7 paransi koulutusjärjestelmiään vastuullista pelialustaa varten Amazon Sage Maker.
Asiakkaiden haasteet
Games24x7:n DS/AI-tiimi käytti useita AWS:n tarjoamia palveluita, mukaan lukien SageMaker-muistikirjat, AWS-vaihetoiminnot, AWS Lambdaja Amazonin EMR, putkistojen rakentamiseen erilaisiin käyttötarkoituksiin. Käsitelläkseen tiedonjakelun ajautumista ja siten kouluttaakseen ScarceGAN-malliaan uudelleen he huomasivat, että olemassa oleva järjestelmä tarvitsi paremman MLOps-ratkaisun.
Edellisessä Step Functions -prosessissa yksi monoliittinen koodikanta suoritti tietojen esikäsittelyä, uudelleenkoulutusta ja arviointia. Tästä tuli pullonkaula vianmäärityksessä, askeleen lisäämisessä tai poistamisessa tai jopa pienten muutosten tekemisessä yleiseen infrastruktuuriin. Tämä vaihetoiminto loi joukon ilmentymiä tietojen poimimiseksi ja käsittelemiseksi S3:sta, ja esikäsittelyn, koulutuksen ja arvioinnin lisävaiheet suoritettaisiin yhdessä suuressa EC2-esiintymässä. Skenaarioissa, joissa putkisto epäonnistui missä tahansa vaiheessa, koko työnkulku oli käynnistettävä uudelleen alusta, mikä johti toistuviin ajoihin ja kasvatti kustannuksia. Kaikki koulutus- ja arviointimittarit tarkastettiin manuaalisesti Amazon Simple Storage Servicestä (Amazon S3). Ei ollut mekanismia mallilla tehtyjen useiden kokeiden metatietojen välittämiseksi ja tallentamiseksi. Hajautetun malliseurannan, perusteellisen tutkimuksen ja parhaan mallin poimimisen ansiosta datatieteen tiimiltä vaadittiin tunteja. Kaikkien näiden ponnistelujen kasautuminen oli johtanut joukkueen tuottavuuden laskuun ja yleiskustannuksiin. Lisäksi nopeasti kasvavan tiimin kanssa oli erittäin haastavaa jakaa tätä tietoa koko tiimin kesken.
Koska MLOps-konseptit ovat erittäin laajoja ja kaikkien vaiheiden toteuttaminen vaatii aikaa, päätimme, että ensimmäisessä vaiheessa käsittelemme seuraavia ydinkysymyksiä:
- Turvallinen, hallittu ja mallipohjainen ympäristö kouluttaaksemme uudelleen sisäistä syväoppimismalliamme alan parhaiden käytäntöjen avulla
- Parametrisoitu koulutusympäristö, joka lähettää eri parametrijoukon jokaiselle uudelleenkoulutustyölle ja tarkastaa viimeiset ajot
- Mahdollisuus seurata visuaalisesti harjoittelu- ja arviointimittareita sekä metadataa kokeiden seurantaa ja vertailua varten
- Mahdollisuus skaalata jokaista vaihetta yksitellen ja käyttää aiempia vaiheita uudelleen vaiheen epäonnistuessa
- Yksi omistettu ympäristö mallien rekisteröimiseen, ominaisuuksien tallentamiseen ja päättelyputkien kutsumiseen
- Moderni työkalusarja, joka voi minimoida laskentavaatimukset, alentaa kustannuksia ja edistää kestävää ML-kehitystä ja -toimintoja sisällyttämällä joustavuuden käyttää erilaisia esiintymiä eri vaiheissa
- Vertailumallin luominen huippuluokan MLOps-putkistosta, jota voitaisiin käyttää useissa datatieteen ryhmissä
Games24x7 alkoi arvioida muita ratkaisuja, mukaan lukien Amazon SageMaker Studio Pipelines. Jo olemassa olevalla Step Functions -ratkaisulla oli rajoituksia. Studio-putkistossa oli joustavuutta lisätä tai poistaa vaihe milloin tahansa. Myös yleinen arkkitehtuuri ja niiden datariippuvuudet kunkin vaiheen välillä voidaan visualisoida DAG:ien avulla. Uudelleenkoulutusvaiheiden arvioinnista ja hienosäädöstä tuli varsin tehokasta, kun otimme käyttöön erilaiset Amazon SageMaker -toiminnot, kuten Amazon SageMaker Studion, Pipelines, Processing, Training, mallirekisteri sekä kokeet ja kokeilut. AWS Solution Architecture -tiimi osoitti suurta syvää sukellusta ja oli todella tärkeässä asemassa tämän ratkaisun suunnittelussa ja toteutuksessa.
Ratkaisun yleiskatsaus
Seuraava kaavio kuvaa ratkaisuarkkitehtuuria.
Ratkaisu käyttää a SageMaker Studio uudelleenkoulutuskokeiden suorittamiseen. Koodi liukuhihnan komentosarjan kutsumiseen on saatavilla Studio-muistikirjoissa, ja voimme muuttaa hyperparametreja ja syöttöä/lähtöä liukuhihnaa kutsuttaessa. Tämä on aivan erilainen kuin aikaisemmassa menetelmässämme, jossa kaikki parametrit oli koodattu skripteihin ja kaikki prosessit olivat erottamattomasti yhteydessä toisiinsa. Tämä vaati monoliittisen koodin modularisoinnin eri vaiheisiin.
Seuraava kaavio havainnollistaa alkuperäistä monoliittista prosessiamme.
modularisointi
Jotta jokainen vaihe voidaan skaalata, seurata ja ajaa erikseen, monoliittinen koodi täytyi moduloida. Parametrit, tiedot ja koodiriippuvuudet kunkin vaiheen välillä poistettiin, ja vaiheiden jaetuille komponenteille luotiin jaetut moduulit. Kuva modularisoinnista on esitetty alla: -
Jokaisen yksittäisen moduulin testaus tehtiin paikallisesti SageMaker SDK:n avulla Käsikirjoitustila koulutusta, käsittelyä ja arviointia varten vaati pieniä muutoksia koodissa, joka suoritetaan SageMakerin kanssa. The paikallisen tilan testaus syväoppimista varten skriptit voidaan tehdä joko SageMaker-muistikirjoilla, jos ne ovat jo käytössä, tai käyttämällä Paikallinen tila käyttäen SageMaker Pipelinesiä jos aloitetaan suoraan Pipelinesistä. Tämä auttaa vahvistamaan, toimivatko mukautetut komentosarjamme SageMaker-esiintymissä.
Jokainen moduuli testattiin sitten erikseen käyttämällä SageMaker Training/processing SDK:ta käyttäen Käsikirjoitustila ja suoritit ne järjestyksessä manuaalisesti SageMaker-instanssien avulla jokaisessa vaiheessa, kuten alla harjoitusvaiheessa:
Amazon S3:a käytettiin lähdetietojen saamiseen prosessoitavaksi ja välitiedot, tietokehykset ja NumPy-tulokset tallentamiseen takaisin Amazon S3:een seuraavaa vaihetta varten. Kun yksittäisten moduulien välinen integrointitestaus esikäsittelyä, koulutusta ja arviointia varten oli valmis, SageMaker Pipeline SDK:t joka on integroitu SageMaker Python SDK:ihin, joita jo käytimme yllä olevissa vaiheissa, antoi meille mahdollisuuden ketjuttaa kaikki nämä moduulit ohjelmallisesti välittämällä kunkin vaiheen syöttöparametrit, tiedot, metatiedot ja tulosteet syötteenä seuraaviin vaiheisiin.
Voisimme käyttää uudelleen aiempaa Sagemaker Python SDK -koodia suorittaaksemme moduulit yksitellen Sagemaker Pipeline SDK -pohjaisiin ajoihin. Liukuhihnan kunkin vaiheen väliset suhteet määräytyvät vaiheiden välisten datariippuvuuksien perusteella.
Putken viimeiset vaiheet ovat seuraavat:
- Tietojen esikäsittely
- Uudelleenkoulutus
- Arviointi
- Mallin rekisteröinti
Seuraavissa osioissa käsittelemme jokaista vaihetta yksityiskohtaisemmin, kun niitä suoritetaan SageMaker Pipeline SDK:iden kanssa.
Tietojen esikäsittely
Tämä vaihe muuntaa raakasyötetiedot ja esikäsittelee ja jakaa juna-, validointi- ja testijoukkoja. Tätä käsittelyvaihetta varten instantoimme SageMaker-käsittelytyön TensorFlow Framework -prosessori, joka ottaa skriptimme, kopioi tiedot Amazon S3:sta ja vetää sitten SageMakerin tarjoaman ja ylläpitämän Docker-kuvan. Tämä Docker-säilö antoi meille mahdollisuuden välittää kirjastoriippuvuutemme vaatimusten.txt-tiedostossa samalla, kun kaikki TensorFlow-kirjastot olivat jo mukana, ja skriptin polun lähdehakemisto. Koulutus- ja validointitiedot menevät harjoitusvaiheeseen ja testidata eteenpäin arviointivaiheeseen. Parasta tämän säilön käytössä oli, että sen avulla pystyimme välittämään erilaisia tuloja ja lähtöjä eri S3-sijainteina, jotka voitiin sitten siirtää vaiheriippuvuutena SageMaker-liukuhihnan seuraaviin vaiheisiin.
Uudelleenkoulutus
Käärimme koulutusmoduulin läpi SageMaker-putkistot TrainingStep API ja käyttivät jo saatavilla olevia syväoppimissäiliökuvia TensorFlow Framework -estimaattorin (tunnetaan myös nimellä Script-tila) kautta SageMaker koulutus. Komentosarjatila mahdollisti minimaalisen muutoksen harjoituskoodissamme, ja SageMakerin valmiiksi rakennettu Docker-säilö käsittelee Python-, Framework-versiot ja niin edelleen. ProcessingOutputs from Data_Preprocessing
vaihe välitettiin tämän vaiheen koulutussyötteenä.
Kaikki hyperparametrit välitettiin estimaattorin läpi JSON-tiedoston kautta. Lähetimme jo koulutusmittareitamme stdOutin kautta käsikirjoituksessamme jokaista koulutusjaksoa varten. Koska halusimme seurata käynnissä olevan koulutustyön mittareita ja verrata niitä aiempiin koulutustöihin, meidän täytyi vain jäsentää tämä StdOut määrittämällä metrimääritykset regexin kautta noutaaksemme mittarit StdOutista jokaiselle aikakaudelle.
Oli mielenkiintoista ymmärtää, että SageMaker Pipelines automaattisesti integroituu SageMaker Experiments API:n kanssa, joka luo oletuksena kokeilu-, kokeilu- ja kokeilukomponentin jokaista ajoa varten. Tämän avulla voimme verrata harjoitusmittareita, kuten tarkkuutta ja tarkkuutta useissa juoksuissa alla olevan kuvan mukaisesti.
Jokaista koulutustyötä kohti luomme neljä erilaista mallia Amazon S3:lle mukautetun liiketoimintamäärittelymme perusteella.
Arviointi
Tämä vaihe lataa koulutetut mallit Amazon S3:sta ja arvioi mukautettuja mittareitamme. Tämä ProcessingStep ottaa mallin ja testitiedot syötteensä ja tyhjentää raportit mallin suorituskyvystä Amazon S3:ssa.
Käytämme mukautettuja mittareita, joten voidaksemme rekisteröidä nämä mukautetut mittarit mallirekisteriin, meidän on muutettava Amazon S3:een CSV-muodossa tallennettujen arviointimittojen skeema SageMaker mallin laatu JSON-lähtö. Sitten voimme rekisteröidä tämän arvioinnin JSON-metriikan sijainnin mallirekisteriin.
Seuraavissa kuvakaappauksissa on esimerkki siitä, kuinka muunnosimme CSV-tiedoston Sagemaker Model -laadun JSON-muotoon.
Mallin rekisteröinti
Kuten aiemmin mainittiin, loimme useita malleja yhdessä harjoitusvaiheessa, joten meidän piti rekisteröidä kaikki neljä mallia mallirekisteriin SageMaker Pipelines Lambda -integraatiolla. Yhden mallin rekisteröintiin voimme käyttää ModelStep API SageMaker-mallin luomiseksi rekisteriin. Jokaiselle mallille Lambda-toiminto hakee malliartefaktin ja arviointimetriikan Amazon S3:sta ja luo mallipaketin tiettyyn ARN:ään, jotta kaikki neljä mallia voidaan rekisteröidä yhteen mallirekisteriin. SageMaker Python -sovellusliittymät antoi meille myös mahdollisuuden lähettää mukautettuja metatietoja, jotka halusimme välittää parhaiden mallien valitsemiseksi. Tämä osoittautui tärkeäksi virstanpylväksi tuottavuuden kannalta, koska kaikkia malleja voidaan nyt verrata ja tarkastaa yhdestä ikkunasta. Toimitimme metatiedot, joiden avulla mallit voidaan yksilöllisesti erottaa toisistaan. Tämä auttoi myös yksittäisen mallin hyväksymisessä mallin mittareihin perustuvien vertaisarviointien ja johdon arvioiden avulla.
Yllä oleva koodilohko näyttää esimerkin siitä, kuinka lisäsimme metatiedot mallipaketin syötteen kautta mallirekisteriin yhdessä mallimittareiden kanssa.
Alla oleva kuvakaappaus näyttää, kuinka helposti voimme vertailla eri malliversioiden mittareita, kun ne on rekisteröity.
Pipeline Invocation
Putkilinja voidaan kutsua läpi Tapahtumasilta , Sagemaker Studio tai SDK itse. Kutsu suorittaa työt vaiheiden välisten tietoriippuvuuksien perusteella.
Yhteenveto
Tässä viestissä osoitimme, kuinka Games24x7 muutti MLOps-resurssejaan SageMaker-putkien kautta. Kyky visuaalisesti seurata koulutusmittareita ja arviointimittareita parametroidun ympäristön avulla, skaalata vaiheet yksilöllisesti oikean käsittelyalustan ja keskitetyn mallirekisterin avulla osoittautui tärkeäksi virstanpylväksi standardoinnissa ja edistymisessä tarkastettavissa olevaan, uudelleenkäytettävään, tehokkaaseen ja selitettävissä olevaan työnkulkuun. . Tämä projekti on suunnitelma eri datatieteen ryhmien kesken, ja se on lisännyt yleistä tuottavuutta antamalla jäsenille mahdollisuuden toimia, hallita ja tehdä yhteistyötä parhaiden käytäntöjen mukaisesti.
Jos sinulla on samanlainen käyttötapaus ja haluat aloittaa, suosittelemme käymään SageMakerin kautta Käsikirjoitustila ja SageMaker päästä päähän esimerkkejä käyttämällä Sagemaker Studiota. Näissä esimerkeissä on tekniset yksityiskohdat, joita on käsitelty tässä blogissa.
Moderni tietostrategia antaa sinulle kattavan suunnitelman tietojen hallintaan, käyttöön, analysoimiseen ja käsittelyyn. AWS tarjoaa täydellisimmän palveluvalikoiman koko päästä päähän -datamatkalle kaikille työkuormille, kaikentyyppisille datalle ja kaikille halutuille liiketoimintatuloksille. Tämä puolestaan tekee AWS:stä parhaan paikan avata arvoa tiedoistasi ja muuttaa ne tiedoksi.
Tietoja Tekijät
Hussain Jagirdar on vanhempi tutkija - soveltava tutkimus Games24x7-sivustolla. Hän on tällä hetkellä mukana tutkimuksessa selitettävän tekoälyn ja syväoppimisen alalla. Hänen viimeaikaiseen työhönsä on kuulunut syvä generatiivinen mallinnus, aikasarjamallinnus ja niihin liittyvät koneoppimisen ja tekoälyn osa-alueet. Hän on myös intohimoinen MLO:ista ja standardisoivista projekteista, jotka vaativat rajoituksia, kuten skaalautuvuutta, luotettavuutta ja herkkyyttä.
Sumir Kumar on AWS:n ratkaisuarkkitehti ja hänellä on yli 13 vuoden kokemus teknologiateollisuudesta. AWS:llä hän työskentelee läheisessä yhteistyössä AWS-avainasiakkaiden kanssa suunnitellakseen ja toteuttaakseen pilvipohjaisia ratkaisuja, jotka ratkaisevat monimutkaisia liiketoimintaongelmia. Hän on erittäin intohimoinen data-analytiikasta ja koneoppimisesta, ja hän on todistetusti auttanut organisaatioita hyödyntämään tietojensa täyden potentiaalin AWS Cloudin avulla.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/how-games24x7-transformed-their-retraining-mlops-pipelines-with-amazon-sagemaker/
- :On
- 1
- 10
- 100
- 11
- 7
- a
- kyky
- Meistä
- edellä
- pääsy
- kertymä
- tarkkuus
- ACM
- poikki
- Toimia
- Toiminta
- lisä-
- lisä-
- Lisäksi
- osoite
- hyväksytty
- Hyväksyminen
- Jälkeen
- AI
- Kaikki
- Salliminen
- mahdollistaa
- jo
- Amazon
- Amazon Sage Maker
- Amazon SageMaker Studio
- Analytics
- analysoida
- ja
- api
- sovellettu
- arkkitehtuuri
- OVAT
- ALUE
- noin
- AS
- arviointi
- Varat
- At
- tilintarkastus
- tarkastettavissa
- tarkastettu
- Automatisoitu
- automaattisesti
- saatavissa
- AWS
- takaisin
- Selkäranka
- perustua
- BE
- koska
- Alku
- takana
- ovat
- alle
- benchmark
- PARAS
- parhaat käytännöt
- Paremmin
- välillä
- Tukkia
- Blogi
- Rakentaminen
- rakennettu
- liiketoiminta
- by
- CAN
- tapaus
- tapauksissa
- keskeinen
- ketju
- haastava
- muuttaa
- Muutokset
- luokka
- tarkasti
- pilvi
- Cluster
- koodi
- ao
- tehdä yhteistyötä
- verrata
- verrattuna
- täydellinen
- monimutkainen
- komponentti
- osat
- kattava
- Laskea
- käsitteet
- lujittaa
- rajoitteet
- Kontti
- Kontit
- ohjaus
- hallinnassa
- muuntaa
- muunnetaan
- Ydin
- Hinta
- kustannukset
- voisi
- katettu
- luoda
- luotu
- luo
- Luominen
- Tällä hetkellä
- asiakassuhde
- asiakas
- Asiakkaat
- tiedot
- Data Analytics
- tietojenkäsittely
- tietostrategia
- data-driven
- hajautettu
- päätti
- omistautunut
- syvä
- syväsukellus
- syvä oppiminen
- oletusarvo
- määrittelemällä
- Kysyntä
- osoittivat
- riippuvuus
- Malli
- haluttu
- yksityiskohta
- yksityiskohdat
- Detection
- määritetty
- Kehitys
- eri
- suoraan
- löysi
- pohtia
- erottaa
- jakelu
- Satamatyöläinen
- alas
- ajaa
- dynamiikka
- kukin
- Aikaisemmin
- helposti
- tehokas
- ponnisteluja
- myöskään
- työllistää
- käytössä
- mahdollistaa
- päittäin
- Koko
- ympäristö
- aikakausi
- arviointiin
- arviointi
- Jopa
- Joka
- esimerkki
- Esimerkit
- teloitus
- olemassa
- olemassa oleva järjestelmä
- experience
- kokeilu
- laaja
- uute
- erittäin
- Epäonnistui
- Ominaisuudet
- filee
- lopullinen
- Etunimi
- Merkityt
- liput
- Joustavuus
- keskittyy
- jälkeen
- seuraa
- varten
- muoto
- Puitteet
- alkaen
- koko
- toiminto
- toiminnallisuudet
- tehtävät
- edelleen
- peli
- Gamers
- Pelit
- pelaamista
- pelialusta
- tuottaa
- generatiivinen
- saada
- antaa
- Go
- Goes
- suuri
- vieras
- kahva
- Vetimet
- Kova
- Olla
- ottaa
- auttaa
- auttanut
- auttaa
- auttaa
- TUNTIA
- Miten
- HTML
- HTTPS
- Tunnistaminen
- kuva
- kuvien
- toteuttaa
- täytäntöönpano
- täytäntöönpanosta
- tuoda
- parani
- in
- mukana
- Mukaan lukien
- sisältävät
- kasvoi
- henkilökohtainen
- Erikseen
- teollisuus
- Infrastruktuuri
- panos
- tietoa
- esimerkki
- instrumentaalinen
- integroitu
- integraatio
- vuorovaikutukset
- mielenkiintoinen
- tutkimus
- osallistuva
- eristäminen
- kysymykset
- IT
- iteraatio
- SEN
- itse
- Job
- Työpaikat
- matka
- jpg
- json
- avain
- tuntemus
- tunnettu
- tarrat
- suuri
- oppiminen
- kirjastot
- Kirjasto
- pitää
- rajoitukset
- liittyvät
- kuormat
- paikallisesti
- sijainti
- sijainnit
- kone
- koneoppiminen
- merkittävä
- TEE
- Tekeminen
- hoitaa
- johto
- käsin
- mekanismi
- Jäsenet
- mainitsi
- Metadata
- menetelmä
- metrinen
- Metrics
- virstanpylväs
- miljoona
- minimi
- vähäinen
- ML
- MLOps
- tila
- malli
- mallit
- maltillisuus
- Moderni
- Moduulit
- Moduulit
- seuranta
- yhtenäinen
- lisää
- eniten
- moninkertainen
- nimi
- Tarve
- seuraava
- muistikirja
- numpy
- of
- on
- ONE
- jatkuva
- avata
- käyttää
- Operations
- optimointi
- tilata
- organisaatioiden
- alkuperäinen
- Muut
- ulostulo
- yleinen
- paketti
- parametrit
- Tärkein
- osa
- kulkea
- Hyväksytty
- kulkee
- Ohimenevä
- intohimoinen
- polku
- suorituskyky
- filosofia
- putki
- Paikka
- suunnitelma
- foorumi
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- Pelaa
- soitin
- pelaajat
- yletön
- Kohta
- Kirje
- mahdollinen
- powered
- käytännöt
- Tarkkuus
- edellinen
- ongelmia
- prosessi
- Prosessit
- käsittely
- tuottavuus
- projekti
- hankkeet
- ominaisuudet
- osoittautui
- todistettu
- mikäli
- tarjoaa
- julkaistu
- Vetää
- Python
- laatu
- HARVINAINEN
- raaka
- äskettäinen
- suositella
- ennätys
- regex
- ilmoittautua
- kirjattu
- Rekisteröinti
- rekisterin
- liittyvä
- Ihmissuhteet
- luotettavuus
- poistettu
- poistamalla
- toistuva
- Raportit
- tarvitaan
- vaatimukset
- tutkimus
- vastuullinen
- Vastuullinen pelaaminen
- uudelleen
- tulokset
- palata
- uudelleen käytettävä
- uudelleenkäyttö
- Arvostelut
- Rooli
- ajaa
- juoksu
- sagemaker
- SageMaker-putkistot
- skaalautuvuus
- Asteikko
- skaalaus
- Niukka
- skenaariot
- tiede
- Tiedemies
- kuvakaappauksia
- skriptejä
- sdk
- osiot
- turvallinen
- lähettäminen
- vanhempi
- Herkkyys
- Järjestys
- palvelu
- Palvelut
- setti
- Setit
- Jaa:
- yhteinen
- näyttää
- esitetty
- Näytä
- samankaltainen
- Yksinkertainen
- single
- taito
- pieni
- So
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- lähde
- erityinen
- splits
- Vaihe
- standardointi
- alkoi
- Aloita
- huippu-
- tilasto
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- Strategia
- studio
- niin
- kestävä
- järjestelmä
- vie
- joukkue-
- tiimit
- Tekninen
- Elektroniikka
- sapluuna
- tensorflow
- testi
- Testaus
- että
- -
- Alue
- Lähde
- heidän
- Niitä
- siksi
- Nämä
- Kautta
- aika
- että
- raita
- Juna
- koulutettu
- koulutus
- transformoitu
- oikeudenkäynti
- tutkimuksissa
- VUORO
- tyypit
- ymmärtää
- ainoastaan
- avata
- us
- käyttää
- käyttölaukku
- käyttäjä
- Käyttäjät
- validointi
- arvokas
- arvo
- lajike
- eri
- visio
- halusi
- joka
- vaikka
- koko
- tulee
- with
- sisällä
- Referenssit
- toimii
- olisi
- kääritty
- vuotta
- Voit
- Sinun
- zephyrnet