Meillä on ilo ilmoittaa avoimen lähdekoodin julkaisusta GraphStorm 0.1, alhaisen koodin yrityskuvaajan koneoppimiskehys (ML) graafisen ML-ratkaisujen rakentamiseen, kouluttamiseen ja käyttöönottamiseksi monimutkaisissa yritystason kaavioissa päivissä kuukausien sijaan. GraphStormin avulla voit rakentaa ratkaisuja, jotka ottavat suoraan huomioon miljardien entiteettien välisten suhteiden tai vuorovaikutusten rakenteen, joka on luonnostaan upotettu useimpiin reaalimaailman tietoihin, mukaan lukien petosten havaitsemisskenaariot, suositukset, yhteisön havaitseminen ja haku-/hakuongelmat.
Tähän asti on ollut tunnetusti vaikeaa rakentaa, kouluttaa ja ottaa käyttöön graafisen ML-ratkaisuja monimutkaisille yrityskaavioille, joissa on helposti miljardeja solmuja, satoja miljardeja reunoja ja kymmeniä attribuutteja – ajattele vaikka Amazon.comin tuotteita kuvaavaa kuvaajaa. , tuotteen ominaisuudet, asiakkaat ja paljon muuta. GraphStormin avulla julkaisemme työkalut, joita Amazon käyttää sisäisesti tuodakseen suuria graafisia ML-ratkaisuja tuotantoon. GraphStorm ei edellytä sinun olevan graafin ML:n asiantuntija, ja se on saatavilla Apache v2.0 -lisenssillä GitHubissa. Saat lisätietoja GraphStormista vierailemalla osoitteessa GitHub-arkisto.
Tässä viestissä tarjoamme johdannon GraphStormiin, sen arkkitehtuuriin ja esimerkkikäyttötapauksen sen käytöstä.
Esittelyssä GraphStorm
Graafialgoritmit ja graafinen ML ovat nousemassa huippuluokan ratkaisuiksi moniin tärkeisiin liiketoimintaongelmiin, kuten transaktioriskien ennustamiseen, asiakkaiden mieltymysten ennakointiin, tunkeutumisten havaitsemiseen, toimitusketjujen optimointiin, sosiaalisten verkostojen analysointiin ja liikenteen ennustamiseen. Esimerkiksi, Amazon Guard Duty, alkuperäinen AWS-uhkien havaitsemispalvelu, käyttää miljardeja reunoja sisältävää kuvaajaa parantaakseen uhkatiedon kattavuutta ja tarkkuutta. Tämän ansiosta GuardDuty voi luokitella aiemmin näkemättömät verkkotunnukset erittäin todennäköisesti haitallisiksi tai hyvänlaatuisiksi sen perusteella, että ne liittyvät tunnettuihin haitallisiin verkkotunnuksiin. Käyttämällä Graph Neural Networks (GNN:itä) GuardDuty pystyy parantamaan kykyään varoittaa asiakkaita.
Graafisten ML-ratkaisujen kehittäminen, käynnistäminen ja käyttö vie kuitenkin kuukausia ja vaatii graafisen ML-osaamista. Ensimmäisenä askeleena graafisen ML-tutkijan on rakennettava graafisen ML-malli tietylle käyttötapaukselle käyttämällä kehystä, kuten Deep Graph Library (DGL). Tällaisten mallien kouluttaminen on haastavaa yrityssovellusten graafien koon ja monimutkaisuuden vuoksi, sillä ne saavuttavat rutiininomaisesti miljardeja solmuja, satoja miljardeja reunoja, erilaisia solmu- ja reunatyyppejä sekä satoja solmu- ja reunamääritteitä. Yrityskuvaajat voivat vaatia teratavuja muistia, jolloin graafisen ML-tutkijan on rakennettava monimutkaisia koulutusputkia. Lopuksi, kun malli on koulutettu, ne on otettava käyttöön johtopäätösten tekemiseksi, mikä vaatii päättelyputkia, jotka ovat yhtä vaikeita rakentaa kuin koulutusputket.
GraphStorm 0.1 on matalan koodin omaava yritysgraafin ML-kehys, jonka avulla ML-harjoittajat voivat helposti valita ennalta määritettyjä graafisten ML-malleja, jotka ovat osoittautuneet tehokkaiksi, suorittaa hajautettua koulutusta miljardeja solmuja sisältäville kaavioille ja ottaa mallit käyttöön tuotantoon. GraphStorm tarjoaa kokoelman sisäänrakennettuja graafisen ML-malleja, kuten Relational Graph Convolutional Networks (RGCN), Relational Graph Attention Networks (RGAT) ja Heterogeneous Graph Transformer (HGT) yrityssovelluksiin, joissa on heterogeeniset graafit, mikä mahdollistaa ML-insinöörien vähäisen työvoiman. graph ML-asiantuntemus kokeilla erilaisia malliratkaisuja tehtäväänsä ja valita oikea nopeasti. Päästä päähän hajautetut koulutus- ja päättelyputket, jotka skaalautuvat miljardin mittakaavan yrityskaavioihin, tekevät päättelyjen kouluttamisesta, käyttöönotosta ja suorittamisesta helppoa. Jos olet uusi GraphStorm tai graph ML yleensä, hyödyt ennalta määritetyistä malleista ja liukuhihnasta. Jos olet asiantuntija, sinulla on kaikki mahdollisuudet virittää koulutusputkistoa ja malliarkkitehtuuria parhaan suorituskyvyn saavuttamiseksi. GraphStorm on rakennettu DGL:n päälle, joka on laajalti suosittu GNN-mallien kehittämiskehys, ja se on saatavana avoimen lähdekoodina Apache v2.0 -lisenssillä.
"GraphStorm on suunniteltu auttamaan asiakkaita kokeilemaan ja ottamaan käyttöön graafisen ML-menetelmiä teollisuuden sovelluksissa nopeuttaakseen graafin ML:n käyttöönottoa", sanoo George Karypis, vanhempi tutkija Amazon AI/ML -tutkimuksesta. "Amazonin julkaisun jälkeen GraphStorm on vähentänyt graafisen ML-pohjaisten ratkaisujen rakentamista jopa viisinkertaiseksi."
"GraphStorm antaa tiimillemme mahdollisuuden kouluttaa GNN- upotusta itsevalvotulla tavalla kaavioon, jossa on 288 miljoonaa solmua ja 2 miljardia reunaa", sanoo Haining Yu, Amazon Measurementin, Ad Techin ja Data Sciencen johtava soveltuva tutkija. "Valmiiksi koulutetut GNN-upotukset osoittavat 24 %:n parannusta ostajien aktiviteettien ennustetehtävään verrattuna uusimpaan BERT-pohjaiseen lähtötasoon; se ylittää myös vertailutehokkuuden muissa mainossovelluksissa."
"Ennen GraphStormia asiakkaat pystyivät skaalaamaan vain pystysuunnassa käsitelläkseen 500 miljoonan reunan kuvaajia", sanoo Brad Bebee, Amazon Neptunen ja Amazon Timestreamin GM. "GraphStorm antaa asiakkaille mahdollisuuden skaalata GNN-mallin koulutusta massiivisilla Amazon Neptune -grafioilla, joissa on kymmeniä miljardeja reunoja."
GraphStorm tekninen arkkitehtuuri
Seuraava kuva esittää GraphStormin teknistä arkkitehtuuria.
GraphStorm on rakennettu PyTorchin päälle, ja se voi toimia yhdellä GPU:lla, useilla GPU:illa ja useilla GPU-koneilla. Se koostuu kolmesta kerroksesta (merkitty keltaisiin ruutuihin edellisessä kuvassa):
- Alakerros (Dist GraphEngine) – Alakerros sisältää peruskomponentit, jotka mahdollistavat hajautetun graafin ML:n, mukaan lukien hajautetut graafit, hajautetut tensorit, hajautetut upotukset ja hajautetut näytteenottimet. GraphStorm tarjoaa näiden komponenttien tehokkaat toteutukset graafisen ML-koulutuksen skaalaamiseksi miljardisolmun kaavioihin.
- Keskikerros (GS-koulutus/päätelmäputki) – Keskikerros tarjoaa kouluttajia, arvioijia ja ennustajia, jotka yksinkertaistavat mallin koulutusta ja päätelmiä sekä sisäänrakennetuille malleille että mukautetuille malleille. Käytännössä tämän kerroksen API:ta käyttämällä voit keskittyä mallin kehittämiseen murehtimatta mallikoulutuksen skaalaamisesta.
- Yläkerros (GS-mallin eläintarha) – Yläkerros on mallieläintarha, jossa on suosittuja GNN- ja ei-GNN-malleja eri kaaviotyypeille. Tätä kirjoitettaessa se tarjoaa RGCN:n, RGAT:n ja HGT:n heterogeenisille kaavioille ja BERTGNN:n tekstikaavioille. Tulevaisuudessa lisäämme tuen temporaalisille graafimalleille, kuten TGAT aikakaavioille sekä TransE ja DistMult tietograafille.
Kuinka käyttää GraphStormia
GraphStormin asentamisen jälkeen tarvitset vain kolme vaihetta GML-mallien rakentamiseen ja kouluttamiseen sovelluksellesi.
Ensin esikäsittelet tietosi (mahdollisesti mukaan lukien mukautetun ominaisuuden suunnittelun) ja muunnat ne GraphStormin vaatimaan taulukkomuotoon. Määrität kullekin solmutyypille taulukon, jossa luetellaan kaikki kyseisen tyypin solmut ja niiden ominaisuudet sekä jokaiselle solmulle yksilöllinen tunnus. Jokaiselle reunatyypille määritetään samalla tavalla taulukko, jossa jokainen rivi sisältää kyseisen tyypin reunan lähde- ja kohdesolmutunnukset (lisätietoja on kohdassa Käytä omia tietojasi opetusohjelmassa). Lisäksi toimitat JSON-tiedoston, joka kuvaa kaavion yleisen rakenteen.
Toiseksi komentoriviliittymän (CLI) kautta käytät GraphStormin sisäänrakennettua ohjelmaa construct_graph
osa GraphStorm-kohtaista tietojenkäsittelyä, mikä mahdollistaa tehokkaan hajautetun koulutuksen ja päättelyn.
Kolmanneksi määrität mallin ja koulutuksen YAML-tiedostossa (esimerkki) ja kutsu jälleen CLI:n avulla jokin viidestä sisäänrakennetusta komponentista (gs_node_classification
, gs_node_regression
, gs_edge_classification
, gs_edge_regression
, gs_link_prediction
) koulutusputkina mallin kouluttamiseksi. Tämän vaiheen tuloksena saadaan koulutetut malliesineet. Tehdäksesi johtopäätöksen sinun on toistettava kaksi ensimmäistä vaihetta muuttaaksesi päättelytiedot kaavioksi käyttämällä samaa GraphStorm-komponenttia (construct_graph
) kuten ennen.
Lopuksi voit käyttää yhtä viidestä sisäänrakennetusta komponentista, jota käytettiin mallin koulutuksessa, päättelyputkena upotusten tai ennustetulosten luomiseksi.
Kokonaisvirtaus on myös kuvattu seuraavassa kuvassa.
Seuraavassa osiossa tarjoamme esimerkin käyttötapauksesta.
Tee ennusteita raaka-OAG-tiedoista
Tässä viestissä osoitamme, kuinka helposti GraphStorm voi mahdollistaa graafisen ML-koulutuksen ja päättelyn suuresta raakatietojoukosta. The Avaa akateeminen kaavio (OAG) sisältää viisi kokonaisuutta (paperit, kirjoittajat, tapahtumapaikat, sidosryhmät ja opintoala). Raaka tietojoukko on tallennettu JSON-tiedostoihin, joissa on yli 500 Gt.
Tehtävämme on rakentaa malli paperin tutkimusalan ennustamiseksi. Opintoalan ennustamiseksi voit muotoilla sen usean tunnisteen luokittelutehtäväksi, mutta on vaikeaa käyttää one-hot-koodausta tarrojen tallentamiseen, koska kenttiä on satoja tuhansia. Siksi sinun tulee luoda tutkimusalan solmut ja muotoilla tämä ongelma linkin ennustetehtäväksi, joka ennustaa, mihin tutkimusalan solmuihin paperisolmun tulee muodostaa yhteys.
Tämän tietojoukon mallintamiseksi kaaviomenetelmällä ensimmäinen vaihe on käsitellä tietojoukko ja poimia entiteetit ja reunat. Voit poimia viisi erilaista reunaa JSON-tiedostoista määrittääksesi kaavion, kuten seuraavassa kuvassa. Voit käyttää Jupyter-muistikirjaa GraphStormissa esimerkkikoodi käsitellä tietojoukkoa ja luoda viisi entiteettitaulukkoa kullekin entiteettityypille ja viisi reunataulukkoa kullekin reunatyypille. Jupyter-muistikirja luo myös BERT-upotuksia entiteeteille, joissa on tekstidataa, kuten papereita.
Kun olet määrittänyt entiteetit ja entiteettien väliset reunat, voit luoda mag_bert.json
, joka määrittää kaavion kaavion ja kutsuu sisäänrakennetun kaavion rakennusputkilinjan construct_graph
GraphStormissa luodaksesi kaavion (katso seuraava koodi). Vaikka GraphStorm-graafin rakennusputkilinja toimii yhdessä koneessa, se tukee moniprosessointia solmujen ja reunaominaisuuksien käsittelemiseksi rinnakkain (--num_processes
) ja voi tallentaa entiteetti- ja reunaominaisuuksia ulkoiseen muistiin (--ext-mem-workspace
) skaalata suuriin tietokokonaisuuksiin.
Näin suuren kaavion käsittelemiseksi tarvitset suuren muistin prosessorin esiintymän kaavion muodostamiseen. Voit käyttää an Amazonin elastinen laskentapilvi (Amazon EC2) r6id.32xlarge instanssi (128 vCPU ja 1 Tt RAM) tai r6a.48xlarge instanssi (192 vCPU ja 1.5 Tt RAM) OAG-kaavion muodostamiseen.
Kun olet luonut kaavion, voit käyttää gs_link_prediction
linkin ennustusmallin kouluttamiseen neljään g5.48xlarge-instanssiin. Kun käytät sisäänrakennettuja malleja, käynnistät hajautetun harjoitustyön vain yhden komentorivin. Katso seuraava koodi:
Mallikoulutuksen jälkeen malliartefaktti tallennetaan kansioon /data/mag_lp_model
.
Nyt voit suorittaa linkin ennustuspäätelmän luodaksesi GNN-upotuksia ja arvioidaksesi mallin suorituskykyä. GraphStorm tarjoaa useita sisäänrakennettuja arviointimittareita mallin suorituskyvyn arvioimiseksi. Esimerkiksi linkin ennustusongelmissa GraphStorm tulostaa automaattisesti metrisen keskiarvon käänteisarvon (MRR). MRR on arvokas mittari kaaviolinkkien ennustemallien arvioinnissa, koska se arvioi, kuinka korkealle todelliset linkit ovat ennustettujen linkkien joukossa. Tämä tallentaa ennusteiden laadun ja varmistaa, että mallimme priorisoi todelliset yhteydet oikein, mikä on tavoitteemme.
Voit suorittaa päättelyn yhdellä komentorivillä seuraavan koodin osoittamalla tavalla. Tässä tapauksessa malli saavuttaa MRR:n 0.31 rakennetun graafin testijoukossa.
Huomaa, että päättelyliukuhihna luo upotuksia linkin ennustemallista. Voit ratkaista minkä tahansa paperin tutkimusalan löytämisen ongelman suorittamalla k-lähimmän naapurin haun upotuksille.
Yhteenveto
GraphStorm on uusi graafisen ML-kehys, jonka avulla on helppo rakentaa, kouluttaa ja ottaa käyttöön graafisen ML-malleja teollisuuden kaavioissa. Se vastaa joihinkin keskeisiin graafisen ML:n haasteisiin, mukaan lukien skaalautuvuus ja käytettävyys. Se tarjoaa sisäänrakennettuja komponentteja, jotka käsittelevät miljardin mittakaavan kaavioita raakasyötetiedoista mallinopetukseen ja mallin päättelyyn, ja se on mahdollistanut useiden Amazon-tiimien kouluttamisen uusimman tekniikan graafisen ML-malleja erilaisissa sovelluksissa. Tutustu meidän GitHub-arkisto lisätietoja.
Tietoja Tekijät
Da Zheng on vanhempi sovellettu tutkija AWS AI/ML -tutkimuksessa, joka johtaa graafin koneoppimisryhmää kehittämään tekniikoita ja puitteita graafisen koneoppimisen tuomiseksi tuotantoon. Da valmistui tietojenkäsittelytieteen tohtoriksi Johns Hopkinsin yliopistosta.
Florian Saupe on pääasiallinen tekninen tuotepäällikkö AWS AI/ML -tutkimuksessa, joka tukee edistyneitä tiederyhmiä, kuten graafisen koneoppimisryhmän, ja parantaa tuotteita, kuten Amazon DataZone ML-ominaisuuksilla. Ennen AWS:ään liittymistään Florian johti automaattisen ajon teknistä tuotehallintaa Boschilla, oli strategiakonsultti McKinsey & Companyssa ja työskenteli ohjausjärjestelmien/robotiikan tutkijana – alalla, jolla hänellä on tohtorintutkinto.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- EVM Finance. Hajautetun rahoituksen yhtenäinen käyttöliittymä. Pääsy tästä.
- Quantum Media Group. IR/PR vahvistettu. Pääsy tästä.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/fast-track-graph-ml-with-graphstorm-a-new-way-to-solve-problems-on-enterprise-scale-graphs/
- :on
- :On
- $ YLÖS
- 1
- 1 TB
- 100
- 16
- 31
- 500
- 7
- 8
- 9
- a
- pystyy
- Meistä
- akateeminen
- kiihdyttää
- Tili
- tarkkuus
- toiminta
- todellinen
- Ad
- lisätä
- Lisäksi
- osoitteet
- Hyväksyminen
- mainokset
- kehittynyt
- kuuluminen
- Jälkeen
- uudelleen
- AI / ML
- Hälytys
- algoritmit
- Kaikki
- sallia
- mahdollistaa
- Myös
- Amazon
- Amazon EC2
- Amazonin Neptuuni
- Amazonin aikavirta
- Amazon Web Services
- Amazon.com
- keskuudessa
- an
- analyysi
- ja
- Ilmoittaa
- ennakointi
- Kaikki
- Apache
- api
- Hakemus
- sovellukset
- sovellettu
- arkkitehtuuri
- OVAT
- AS
- Yhdistys
- At
- huomio
- attribuutteja
- Tekijät
- Automatisoitu
- automaattisesti
- saatavissa
- AWS
- perustua
- Lähtötilanne
- perustiedot
- Pohjimmiltaan
- BE
- koska
- ollut
- ennen
- benchmark
- hyödyttää
- PARAS
- välillä
- Miljardi
- miljardeja
- sekä
- pohja
- laatikot
- brad
- tuoda
- rakentaa
- rakennettu
- sisäänrakennettu
- liiketoiminta
- mutta
- by
- CAN
- kyvyt
- kaappaa
- Kaappaaminen
- tapaus
- kahleet
- haasteet
- haastava
- tarkastaa
- luokittelu
- koodi
- kokoelma
- KOM
- yhteisö
- yritys
- monimutkainen
- monimutkaisuus
- komponentti
- osat
- Laskea
- tietokone
- Tietojenkäsittelyoppi
- kytkeä
- Liitännät
- muodostuu
- rakentaa
- rakentamalla
- rakentaminen
- konsultti
- sisältää
- ohjaus
- voisi
- kattavuus
- luoda
- asiakassuhde
- asiakas
- Asiakkaat
- da
- tiedot
- tietojenkäsittely
- tietojenkäsittely
- aineistot
- päivää
- syvä
- määrittelee
- määrittelemällä
- osoittaa
- sijoittaa
- käyttöön
- suunniteltu
- määränpää
- Detection
- kehittää
- kehittämällä
- Kehitys
- dgl
- eri
- vaikea
- suoraan
- jaettu
- hajautettu koulutus
- do
- ei
- verkkotunnuksia
- kymmeniä
- ajo
- kaksi
- kukin
- helposti
- helppo
- reuna
- Tehokas
- tehokas
- vaivaa
- upotettu
- upottamisen
- syntymässä
- mahdollistaa
- käytössä
- mahdollistaa
- päittäin
- Tekniikka
- Engineers
- parantaa
- yritys
- yksiköt
- kokonaisuus
- arvioida
- arviointiin
- arviointi
- Jopa
- esimerkki
- ylittää
- innoissaan
- kokeilu
- asiantuntija
- asiantuntemus
- ulkoinen
- uute
- Ominaisuus
- Ominaisuudet
- ala
- Fields
- Kuva
- filee
- Asiakirjat
- Vihdoin
- löytäminen
- Etunimi
- virtaus
- Keskittää
- jälkeen
- varten
- muoto
- neljä
- Puitteet
- puitteet
- petos
- petosten havaitseminen
- alkaen
- tulevaisuutta
- general
- tuottaa
- synnyttää
- Yrjö
- saada
- GitHub
- tietty
- GM
- GPU
- GPU
- kaavio
- kaaviot
- Ryhmä
- kahva
- Kova
- Olla
- he
- auttaa
- tätä
- Korkea
- erittäin
- hänen
- pitää
- Miten
- Kuinka korkea
- Miten
- http
- HTTPS
- Sadat
- ID
- ids
- if
- tärkeä
- parantaa
- parannus
- parantaminen
- in
- Muilla
- Mukaan lukien
- teollisuus
- tiedot
- luonnostaan
- panos
- asentaminen
- esimerkki
- sen sijaan
- Älykkyys
- vuorovaikutukset
- liitäntä
- sisäisesti
- tulee
- esittely
- IT
- SEN
- Job
- Johns Hopkins University
- tuloaan
- jpg
- json
- vain
- avain
- tuntemus
- tunnettu
- tarrat
- suuri
- laaja
- käynnistää
- käynnistäminen
- kerros
- kerrokset
- johtaa
- johtava
- OPPIA
- oppiminen
- Kirjasto
- Lisenssi
- pitää
- Todennäköisesti
- linja
- LINK
- linkit
- Listat
- vähän
- kone
- koneoppiminen
- Koneet
- Toukokuu
- tehdä
- TEE
- Tekeminen
- johto
- johtaja
- tapa
- monet
- merkitty
- massiivinen
- McKinsey
- McKinsey & Company
- tarkoittaa
- mittaus
- Muisti
- menetelmä
- menetelmät
- metrinen
- Metrics
- Keskimmäinen
- miljoona
- ML
- malli
- mallit
- kk
- lisää
- eniten
- moninkertainen
- syntyperäinen
- Tarve
- Neptunus
- verkko
- verkot
- hermoverkkoihin
- Uusi
- solmu
- solmut
- muistikirja
- nyt
- tavoite
- of
- Tarjoukset
- on
- ONE
- vain
- avoimen lähdekoodin
- avoimen lähdekoodin
- toiminta
- optimoimalla
- Vaihtoehdot
- or
- Muut
- meidän
- ulos
- yli
- yleinen
- oma
- Paperi
- paperit
- Parallel
- Suorittaa
- suorituskyky
- poimia
- putki
- Platon
- Platonin tietotieto
- PlatonData
- Suosittu
- Kirje
- mahdollisesti
- ennustaa
- ennusti
- ennustamiseen
- ennustus
- Ennusteet
- mieltymykset
- aiemmin
- Pääasiallinen
- Ongelma
- ongelmia
- prosessi
- käsittely
- Tuotteet
- tuotehallinta
- tuotepäällikkö
- tuotanto
- Tuotteemme
- todistettu
- toimittaa
- tarjoaa
- tarjoamalla
- laittaa
- pytorch
- laatu
- nopeasti
- RAM
- sijoittui
- raaka
- tavoittaa
- saavuttaa
- todellinen maailma
- suosituksia
- Vähentynyt
- Ihmissuhteet
- vapauta
- toistaa
- edellyttää
- tarvitaan
- Vaatii
- tutkimus
- tulokset
- oikein
- riskit
- rutiininomaisesti
- RIVI
- ajaa
- sama
- sanoo
- skaalautuvuus
- Asteikko
- skenaariot
- tiede
- Tiedemies
- tutkijat
- Haku
- Osa
- nähdä
- vanhempi
- palvelu
- Palvelut
- setti
- shouldnt
- näyttää
- esitetty
- Näytä
- samalla lailla
- yksinkertaistaa
- yksinkertaisesti
- single
- Koko
- sosiaalinen
- sosiaalinen verkosto
- Ratkaisumme
- SOLVE
- jonkin verran
- lähde
- huippu-
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- Strategia
- rakenne
- tutkimus
- niin
- toimittaa
- Toimitusketjut
- tuki
- Tukea
- Tukee
- taulukko
- ottaa
- vie
- Tehtävä
- joukkue-
- tiimit
- teknologia
- Tekninen
- tekniikat
- kymmeniä
- testi
- että
- -
- Tulevaisuus
- Kaavio
- Lähde
- heidän
- Siellä.
- siksi
- Nämä
- ne
- ajatella
- tätä
- vaikka?
- tuhansia
- uhkaus
- kolmella
- kertaa
- että
- työkalut
- ylin
- liikenne
- Juna
- koulutettu
- koulutus
- kauppa
- Muuttaa
- muuntaja
- totta
- yrittää
- kaksi
- tyyppi
- tyypit
- varten
- unique
- yliopisto
- käytettävyys
- käyttää
- käyttölaukku
- käytetty
- käyttötarkoituksiin
- käyttämällä
- arvokas
- eri
- tapahtumapaikat
- pystysuoraan
- kautta
- Vierailla
- oli
- Tapa..
- we
- verkko
- verkkopalvelut
- HYVIN
- kun
- joka
- laajalti
- tulee
- with
- ilman
- työskenteli
- kirjoittaminen
- yaml
- Voit
- Sinun
- zephyrnet
- ZOO