Tämä blogiviesti on kirjoitettu yhdessä Chaoyang He:n ja Salman Avestimehrin kanssa FedML:stä.
Todellisen terveydenhuollon ja biotieteiden (HCLS) tietojen analysointi asettaa useita käytännön haasteita, kuten hajautetut tietosiilot, riittävän datan puute missään yksittäisessä paikassa harvinaisten tapahtumien varalta, tiedon jakamisen kieltävät sääntelyohjeet, infrastruktuurivaatimukset ja luomisesta aiheutuvat kustannukset. keskitetty tietovarasto. Koska HCLS-kumppanit ja -asiakkaat ovat tiukasti säännellyllä alalla, etsivät yksityisyyttä suojelevia mekanismeja hallitakseen ja analysoidakseen laajamittaista, hajautettua ja arkaluontoista tietoa.
Näiden haasteiden lieventämiseksi ehdotamme avoimen lähdekoodin federated learning (FL) -kehyksen käyttöä FedML, jonka avulla voit analysoida arkaluontoisia HCLS-tietoja kouluttamalla globaalin koneoppimismallin paikallisesti eri paikoissa säilytetystä hajautetusta tiedosta. FL ei vaadi tietojen siirtämistä tai jakamista sivustojen välillä tai keskitetyn palvelimen kanssa mallin koulutusprosessin aikana.
Tässä kaksiosaisessa sarjassa näytämme, kuinka voit ottaa käyttöön pilvipohjaisen FL-kehyksen AWS:ssä. Ensimmäisessä viestissä kuvailimme FL-konsepteja ja FedML-kehystä. Vuonna toinen viesti, esittelemme käyttötapaukset ja tietojoukon osoittaaksemme sen tehokkuuden analysoitaessa todellisia terveydenhuollon tietojoukkoja, kuten eICU:n tiedot, joka koostuu yli 200 sairaalasta kerätyn monikeskuksen tehohoidon tietokannasta.
Tausta
Vaikka HCLS:n tuottaman tiedon määrä ei ole koskaan ollut suurempi, tällaisten tietojen käyttöön liittyvät haasteet ja rajoitteet rajoittavat sen käyttökelpoisuutta tulevassa tutkimuksessa. Koneoppiminen (ML) tarjoaa mahdollisuuden puuttua joihinkin näistä huolenaiheista, ja sitä otetaan käyttöön data-analytiikan edistämiseksi ja merkityksellisten näkemysten saamiseksi erilaisista HCLS-tiedoista käyttötapauksiin, kuten hoitoon, kliinisen päätöksenteon tukeen, tarkkuuslääketieteeseen, triage- ja diagnoosiin sekä krooniseen hoitoon. hoidon hallinta. Koska ML-algoritmit eivät useinkaan ole riittäviä suojaamaan potilastason tietojen yksityisyyttä, HCLS-kumppanit ja -asiakkaat ovat yhä kiinnostuneempia käyttämään yksityisyyttä suojaavia mekanismeja ja infrastruktuuria laajamittaisten, hajautettujen ja arkaluonteisten tietojen hallintaan ja analysointiin. [1]
Olemme kehittäneet AWS:lle FL-kehyksen, joka mahdollistaa hajautettujen ja arkaluonteisten terveystietojen analysoinnin yksityisyyttä suojelevalla tavalla. Se sisältää jaetun ML-mallin koulutuksen siirtämättä tai jakamatta tietoja sivustojen välillä tai keskitetyn palvelimen kanssa mallin koulutusprosessin aikana, ja se voidaan toteuttaa useilla AWS-tileillä. Osallistujat voivat joko säilyttää tietojaan omissa järjestelmissään tai hallitsemansa AWS-tilissä. Siksi se tuo analytiikan dataan sen sijaan, että siirtäisi tietoja analytiikkaan.
Tässä viestissä näytimme, kuinka voit ottaa käyttöön avoimen lähdekoodin FedML-kehyksen AWS:ssä. Testaamme viitekehystä eICU-tiedoilla, joka on yli 200 sairaalasta kerätty monikeskusinen tehohoitotietokanta, ennustaaksemme sairaalapotilaiden kuolleisuutta. Voimme käyttää tätä FL-kehystä analysoidaksemme muita aineistoja, mukaan lukien genomi- ja biotieteet. Se voidaan ottaa käyttöön myös muilla aloilla, jotka ovat täynnä hajautettua ja arkaluonteista tietoa, mukaan lukien rahoitus- ja koulutussektorit.
Yhdistetty oppiminen
Tekniikan kehitys on johtanut tietojen räjähdysmäiseen kasvuun eri toimialoilla, mukaan lukien HCLS. HCLS-organisaatiot tallentavat tietoja usein siiloihin. Tämä on suuri haaste dataohjatussa oppimisessa, joka vaatii suuria tietojoukkoja yleistääkseen hyvin ja saavuttaakseen halutun suoritustason. Lisäksi korkealaatuisten tietojoukkojen kerääminen, kuratointi ja ylläpito vie paljon aikaa ja kustannuksia.
Federated learning lieventää näitä haasteita kouluttamalla yhteistyössä hajautettua dataa käyttäviä ML-malleja ilman, että niitä tarvitsee jakaa tai keskittää. Se mahdollistaa erilaisten sivustojen esittämisen lopullisessa mallissa, mikä vähentää mahdollista sivustokohtaisen harhaan liittyvää riskiä. Kehys noudattaa asiakas-palvelin-arkkitehtuuria, jossa palvelin jakaa globaalin mallin asiakkaiden kanssa. Asiakkaat kouluttavat mallia paikallisten tietojen perusteella ja jakavat parametrit (kuten kaltevuus tai mallipainot) palvelimen kanssa. Palvelin kokoaa nämä parametrit päivittääkseen globaalin mallin, joka sitten jaetaan asiakkaiden kanssa seuraavaa koulutuskierrosta varten, kuten seuraavassa kuvassa näkyy. Tämä iteratiivinen mallikoulutusprosessi jatkuu, kunnes globaali malli konvergoi.
Viime vuosina tämä uusi oppimisparadigma on otettu menestyksekkäästi käyttöön ML-mallien koulutuksen tiedonhallinnan huolenaiheiden käsittelemiseksi. Yksi tällainen yritys on MELLODDYInnovative Medicines Initiative (IMI) -vetoinen konsortio, jonka toiminnan tarjoaa AWS. Se on kolmivuotinen ohjelma, johon osallistuu 3 lääkeyritystä, 10 akateemista laitosta ja 2 teknologiakumppania. Sen ensisijaisena tavoitteena on kehittää monitehtävä FL-kehys parantaakseen lääkekehitykseen perustuvien mallien ennakoivaa suorituskykyä ja kemiallista soveltuvuutta. Alusta sisältää useita AWS-tilejä, joista jokainen lääkekumppani säilyttää täyden hallinnan tiliensä ylläpitämiseksi yksityisten tietojoukkojensa ylläpitämiseksi, ja keskitetyn ML-tilin, joka koordinoi mallikoulutustehtäviä.
Konsortio koulutti malleja miljardeissa datapisteissä, jotka koostuivat yli 20 miljoonasta pienestä molekyylistä yli 40,000 4 biologisessa määrityksessä. Kokeellisten tulosten perusteella yhteistyömallit osoittivat 10 %:n parannusta molekyylien luokittelussa joko farmakologisesti tai toksikologisesti aktiivisiksi tai inaktiivisiksi. Se johti myös 2 prosentin kasvuun sen kyvyssä antaa luotettavia ennusteita, kun sitä sovelletaan uudentyyppisiin molekyyleihin. Lopuksi yhteistyömallit olivat tyypillisesti XNUMX % parempia arvioimaan toksikologisten ja farmakologisten aktiivisuuksien arvoja.
FedML
FedML on avoimen lähdekoodin kirjasto, joka helpottaa FL-algoritmien kehittämistä. Se tukee kolmea laskentaparadigmaa: reunalaitteiden koulutusta laitteessa, hajautettua laskentaa ja yhden koneen simulointia. Se tarjoaa myös monipuolista algoritmista tutkimusta joustavalla ja yleisellä API-suunnittelulla ja kattavilla referenssiperustoteutuksilla (optimoija, mallit ja tietojoukot). Yksityiskohtainen kuvaus FedML-kirjastosta on kohdassa FedML.
Seuraava kuva esittää FedML:n avoimen lähdekoodin kirjastoarkkitehtuuria.
Kuten edellisestä kuvasta näkyy, sovelluksen näkökulmasta FedML suojaa taustalla olevan koodin yksityiskohdat ja hajautetun koulutuksen monimutkaiset konfiguraatiot. Sovellustasolla, kuten tietokonenäön, luonnollisen kielen käsittelyn ja tiedon louhinnan, datatieteilijöiden ja insinöörien tarvitsee vain kirjoittaa malli, tiedot ja kouluttaja samalla tavalla kuin erillinen ohjelma ja lähettää se sitten FedMLRunner-objektille Suorita kaikki prosessit seuraavan koodin mukaisesti. Tämä vähentää huomattavasti sovelluskehittäjien FL:n suorittamiskustannuksia.
FedML-algoritmi on edelleen työn alla ja sitä parannetaan jatkuvasti. Tätä tarkoitusta varten FedML tiivistää ydinkouluttajan ja aggregaattorin ja tarjoaa käyttäjille kaksi abstraktia objektia, FedML.core.ClientTrainer
ja FedML.core.ServerAggregator
, joiden tarvitsee vain periä näiden kahden abstraktin objektin rajapinnat ja välittää ne FedMLRunnerille. Tällainen räätälöinti tarjoaa ML-kehittäjille maksimaalista joustavuutta. Voit määrittää mielivaltaisia mallirakenteita, optimoijia, häviöfunktioita ja paljon muuta. Nämä mukautukset voidaan myös yhdistää saumattomasti aiemmin mainittuun avoimen lähdekoodin yhteisöön, avoimeen alustaan ja sovellusekologiaan FedMLRunnerin avulla, joka ratkaisee täysin pitkän viiveen ongelman innovatiivisista algoritmeista kaupallistamiseen.
Lopuksi, kuten edellisessä kuvassa näkyy, FedML tukee hajautettuja laskentaprosesseja, kuten monimutkaisia suojausprotokollia ja hajautettua koulutusta Directed Acyclic Graph (DAG) -virtauslaskentaprosessina, mikä tekee monimutkaisten protokollien kirjoittamisesta samanlaisia kuin erilliset ohjelmat. Tämän idean pohjalta suojausprotokolla Flow Layer 1 ja ML-algoritmiprosessi Flow Layer 2 voidaan helposti erottaa toisistaan, jotta turvainsinöörit ja ML-insinöörit voivat toimia samalla, kun säilytetään modulaarinen arkkitehtuuri.
Avoimen lähdekoodin FedML-kirjasto tukee hajautettuja ML-käyttötapauksia reuna- ja pilvipalveluille. Reunassa kehys helpottaa reunamallien koulutusta ja käyttöönottoa matkapuhelimiin ja esineiden internet (IoT) -laitteisiin. Pilvessä se mahdollistaa maailmanlaajuisen yhteistyön ML:n, mukaan lukien usean alueen ja usean vuokralaisen julkiset pilvikoontipalvelimet, sekä yksityisen pilven käyttöönoton Docker-tilassa. Viitekehys käsittelee keskeisiä yksityisyyden suojaamiseen liittyviä huolenaiheita, kuten turvallisuus, yksityisyys, tehokkuus, heikko valvonta ja oikeudenmukaisuus.
Yhteenveto
Tässä viestissä näytimme, kuinka voit ottaa käyttöön avoimen lähdekoodin FedML-kehyksen AWS:ssä. Tämän avulla voit kouluttaa ML-mallin hajautetun datan perusteella ilman, että sitä tarvitsee jakaa tai siirtää. Luomme usean tilin arkkitehtuurin, jossa todellisessa tilanteessa organisaatiot voivat liittyä ekosysteemiin hyötyäkseen yhteistoiminnallisesta oppimisesta säilyttäen samalla tietojen hallinnan. Vuonna Seuraava viesti, käytämme usean sairaalan eICU-tietoaineistoa osoittaaksemme sen tehokkuuden todellisessa skenaariossa.
Tarkista esitys re:MARS 2022 -tapahtumassa, jossa keskitytään "Managed Federated Learning on AWS: Tapaustutkimus terveydenhuollon alalla” saadaksesi yksityiskohtaisen esittelyn tästä ratkaisusta.
Viite
[1] Kaissis, GA, Makowski, MR, Rückert, D. et ai. Turvallinen, yksityisyyttä säilyttävä ja yhdistetty koneoppiminen lääketieteellisessä kuvantamisessa. Nat Mach Intell 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
Tietoja Tekijät
Olivia Choudhury, PhD, on AWS:n Senior Partner Solutions -arkkitehti. Hän auttaa kumppaneita terveydenhuollon ja biotieteiden alalla suunnittelemaan, kehittämään ja skaalaamaan huippuluokan ratkaisuja hyödyntäen AWS:ää. Hänellä on tausta genomiikasta, terveydenhuollon analytiikasta, liittoutuneesta oppimisesta ja yksityisyyttä suojelevasta koneoppimisesta. Työn ulkopuolella hän pelaa lautapelejä, maalaa maisemia ja kerää mangaa.
Vidya Sagar Ravipati on johtaja yrityksessä Amazon ML Solutions Lab, jossa hän hyödyntää laajaa kokemustaan laajamittaisista hajautetuista järjestelmistä ja intohimoaan koneoppimiseen auttaakseen AWS-asiakkaita eri toimialoilla nopeuttamaan tekoälyn ja pilvipalvelujen käyttöönottoa. Aikaisemmin hän oli koneoppimisinsinööri Connectivity Services -palvelussa Amazonissa, joka auttoi rakentamaan räätälöinnin ja ennakoivan ylläpidon alustoja.
Wajahat Aziz on koneoppimis- ja HPC-ratkaisujen pääarkkitehti AWS:ssä, jossa hän keskittyy auttamaan terveydenhuollon ja biotieteiden asiakkaita hyödyntämään AWS-teknologioita huippuluokan ML- ja HPC-ratkaisujen kehittämiseen monenlaisiin käyttötapauksiin, kuten lääkekehitykseen, Kliiniset kokeet ja yksityisyyttä säilyttävä koneoppiminen. Työn ulkopuolella Wajahat tykkää tutkia luontoa, patikoida ja lukea.
Divya Bhargavi on Data Scientist ja Media and Entertainment Vertical Lead Amazon ML Solutions Labissa, jossa hän ratkaisee arvokkaita liiketoimintaongelmia AWS-asiakkaille koneoppimisen avulla. Hän työskentelee kuvien/videoiden ymmärtämisen, tietokaavioiden suositusjärjestelmien ja ennakoivan mainonnan käyttötapausten parissa.
Ujjwal Ratan on AI/ML- ja datatieteen johtaja AWS Healthcare and Life Science -liiketoimintayksikössä ja on myös AI/ML-ratkaisujen pääarkkitehti. Ujjwal on vuosien ajan ollut terveydenhuolto- ja biotieteiden alan ajatusjohtaja ja auttanut useita Global Fortune 500 -organisaatioita saavuttamaan innovaatiotavoitteensa ottamalla käyttöön koneoppimisen. Hänen työnsä, johon liittyy lääketieteellisen kuvantamisen, jäsentämättömän kliinisen tekstin ja genomiikan analysointi, on auttanut AWS:ää rakentamaan tuotteita ja palveluita, jotka tarjoavat erittäin yksilöllistä ja tarkasti kohdennettua diagnostiikkaa ja terapiaa. Vapaa-ajallaan hän kuuntelee (ja soittaa) musiikkia ja tekee suunnittelemattomia retkiä perheensä kanssa.
Chaoyang He on FedML, Inc:n perustaja ja teknologiajohtaja, startup, joka pyrkii rakentamaan avointa ja yhteistyöhön perustuvaa tekoälyä mistä tahansa ja missä tahansa mittakaavassa. Hänen tutkimuksensa keskittyy hajautettuihin/federoituihin koneoppimisalgoritmeihin, järjestelmiin ja sovelluksiin. Hän sai Ph.D. Tietojenkäsittelytieteessä vuodesta University of Southern California, Los Angeles, Yhdysvallat.
Salman Avestimehr on professori, USC-Amazon Center for Secure and Trusted Machine Learning (Trusted AI) avajaisjohtaja ja Information Theory and Machine Learning (vITAL) -tutkimuslaboratorion johtaja sähkö- ja tietokonetekniikan osaston ja tietojenkäsittelytieteen osastolla. Etelä-Kalifornian yliopisto. Hän on myös FedML:n perustaja ja toimitusjohtaja. Hän sai tohtorintutkintoni. Sähkötekniikan ja tietojenkäsittelytieteen alalta UC Berkeleystä vuonna 2008. Hänen tutkimuksensa keskittyy tietoteoriaan, hajautettuun ja liittoutuneeseen koneoppimiseen, turvalliseen ja yksityisyyttä säilyttävään oppimiseen ja tietojenkäsittelyyn.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- kyky
- TIIVISTELMÄ
- abstrakteja
- akateeminen
- kiihdyttää
- Pääsy
- Tili
- Tilit
- Saavuttaa
- poikki
- aktiivinen
- toiminta
- asykliset
- osoite
- osoitteet
- hyväksytty
- hyväksymällä
- Hyväksyminen
- edistää
- mainonta
- aggregaatit
- aggregaatti
- Kerääjä
- AI
- AI / ML
- algoritmi
- algoritmi
- algoritmit
- Kaikki
- mahdollistaa
- Amazon
- Amazon ML Solutions Lab
- keskuudessa
- analyysi
- Analytics
- analysoida
- analysointi
- ja
- ja infrastruktuuri
- angeles
- kaikkialla
- api
- Hakemus
- sovellukset
- sovellettu
- arkkitehtuuri
- alueet
- liittyvä
- AWS
- tausta
- perustua
- Lähtötilanne
- koska
- ovat
- hyödyttää
- Berkeley
- Paremmin
- puolueellisuus
- miljardeja
- Uutiset ja media
- hallitus
- Lautapelit
- Tuo
- rakentaa
- Rakentaminen
- liiketoiminta
- Kalifornia
- nimeltään
- joka
- tapaus
- tapaustutkimus
- tapauksissa
- luokittelu
- keskus
- keskeinen
- keskitetty
- toimitusjohtaja
- haaste
- haasteet
- kemiallinen
- Valita
- asiakkaat
- Kliininen
- kliinisiä tutkimuksia
- pilvi
- pilvien hyväksyminen
- Perustaja
- koodi
- yhteistyöhön
- kaupallistaminen
- yhteisö
- yhteisö rakennus
- Yritykset
- täydellinen
- täysin
- monimutkainen
- kattava
- tietokone
- Tietotekniikka
- Tietojenkäsittelyoppi
- Tietokoneen visio
- tietojenkäsittely
- käsitteet
- Koskea
- huolenaiheet
- luottavainen
- kytketty
- Liitännät
- Koostuu
- konsortio
- alituisesti
- rajoitteet
- jatkuu
- ohjaus
- koordinoimalla
- Ydin
- Hinta
- Luominen
- kriittinen
- CTO
- kuratointi
- Asiakkaat
- räätälöinnin
- PÄIVÄ
- tiedot
- Data Analytics
- data mining
- datapisteet
- tietojenkäsittely
- tietojen tutkija
- tietojen jakaminen
- data-driven
- tietokanta
- aineistot
- hajautettu
- päätös
- toimitus
- osoittaa
- osoittivat
- osasto
- sijoittaa
- käyttöönotto
- on kuvattu
- kuvaus
- Malli
- yksityiskohtainen
- yksityiskohdat
- kehittää
- kehitetty
- kehittäjille
- kehittämällä
- Kehitys
- laite
- Laitteet
- eri
- Johtaja
- jaettu
- hajautettu laskenta
- hajautetut järjestelmät
- hajautettu koulutus
- useat
- Satamatyöläinen
- ei
- verkkotunnuksen
- verkkotunnuksia
- huume
- aikana
- kukin
- Aikaisemmin
- helposti
- ekosysteemi
- reuna
- koulutus
- tehokkuuden
- tehokkuus
- vaivaa
- myöskään
- mahdollistaa
- insinööri
- Tekniikka
- Engineers
- Viihde
- Tapahtumat
- experience
- tutkia
- helpottamaan
- Helpottaa
- oikeudenmukaisuus
- perhe
- Kuva
- lopullinen
- Vihdoin
- rahoittaa
- Etunimi
- Joustavuus
- joustava
- virtaus
- keskityttiin
- keskittyy
- jälkeen
- seuraa
- rikkaus
- Puitteet
- Ilmainen
- alkaen
- koko
- tehtävät
- tulevaisuutta
- Pelit
- keräys
- genomiikka
- Global
- tavoite
- Tavoitteet
- hallinto
- kaltevuudet
- kaavio
- suurempi
- suuresti
- Kasvava
- Kasvu
- suuntaviivat
- terveys
- terveydenhuollon
- sankari
- auttaa
- auttanut
- auttaa
- auttaa
- korkealaatuisia
- erittäin
- sairaalat
- Miten
- hpc
- HTTPS
- ajatus
- Imaging
- täytäntöön
- tuoda
- parantaa
- parani
- parannus
- in
- toimeton
- virkaanastujaiset
- Inc.
- Mukaan lukien
- Kasvaa
- teollisuuden
- teollisuus
- tiedot
- Infrastruktuuri
- aloite
- Innovaatio
- innovatiivinen
- oivalluksia
- laitokset
- korko
- rajapinnat
- Internet
- Internet asioita
- Esineiden internet
- IT
- yhdistää
- avain
- tuntemus
- Osaaminen Graph
- laboratorio
- Lack
- Kieli
- suuri
- laaja
- kerros
- kerros 1
- Kerros 2
- johtaa
- johtaja
- oppiminen
- Led
- Taso
- Vaikutusvalta
- vipusuhteita
- vipuvaikutuksen
- Kirjasto
- elämä
- Life Science
- Life Sciences
- rajat
- Kuunteleminen
- kuormitus
- paikallinen
- paikallisesti
- Pitkät
- niitä
- Los Angeles
- pois
- kone
- koneoppiminen
- ylläpitää
- huolto
- merkittävä
- Tekeminen
- hoitaa
- johto
- johtaja
- toimitusjohtaja
- tapa
- maaliskuu
- maksimi
- mielekäs
- Media
- lääketieteellinen
- lääketiede
- mainitsi
- miljoona
- kaivos-
- MIT
- lieventää
- ML
- Puhelinnumero
- matkapuhelimet
- tila
- malli
- mallit
- modulaarinen
- lisää
- liikkua
- liikkuvat
- moninkertainen
- Musiikki
- Luonnollinen
- Luonnollinen kielen käsittely
- luonto
- Tarve
- Uusi
- seuraava
- objekti
- esineet
- Tarjoukset
- ONE
- avata
- avoimen lähdekoodin
- käyttää
- Tilaisuus
- organisaatioiden
- Muut
- ulkopuolella
- paradigma
- parametrit
- osa
- osallistujat
- kumppani
- kumppani
- intohimo
- potilas
- Suorittaa
- suorituskyky
- Personointi
- yksilöllinen
- Pharma
- Lääkealan
- puhelimet
- foorumi
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- Kohta
- Näkökulma
- pistettä
- aiheuttaa
- Kirje
- mahdollinen
- powered
- Käytännön
- tarkasti
- Tarkkuus
- ennustaa
- Ennusteet
- esittää
- esitys
- lahjat
- aiemmin
- ensisijainen
- Pääasiallinen
- yksityisyys
- yksityinen
- Ongelma
- ongelmia
- prosessi
- Prosessit
- käsittely
- Tuotteemme
- Opettaja
- Ohjelma
- Ohjelmat
- Edistyminen
- ehdottaa
- suojella
- protokolla
- protokollat
- toimittaa
- tarjoaa
- julkinen
- Julkinen pilvi
- HARVINAINEN
- RE
- Lukeminen
- todellinen maailma
- sai
- äskettäinen
- Suositus
- vähentää
- vähentämällä
- terveisin
- säännelty
- sääntelyn
- säilytyspaikka
- edustettuina
- edellyttää
- vaatimus
- Vaatii
- tutkimus
- ne
- tulokset
- säilyttäen
- arviot
- Riski
- tie
- kierros
- juoksu
- sama
- Asteikko
- tiede
- tieteet
- Tiedemies
- tutkijat
- saumattomasti
- sektorit
- turvallinen
- turvallisuus
- etsiä
- vanhempi
- sensible
- Sarjat
- servers
- Palvelut
- setti
- useat
- Jaa:
- yhteinen
- osakkeet
- jakaminen
- näyttää
- esitetty
- merkittävä
- samankaltainen
- simulointi
- single
- paikka
- Sivustot
- pieni
- So
- ratkaisu
- Ratkaisumme
- Ratkaisee
- jonkin verran
- Eteläinen
- itsenäinen
- Alkaa
- käynnistyksen
- huippu-
- Yhä
- verkkokaupasta
- tutkimus
- Onnistuneesti
- niin
- riittävä
- valvonta
- tuki
- Tukee
- järjestelmät
- ottaen
- kohdennettu
- tehtävät
- Technologies
- Elektroniikka
- testi
- -
- tiedot
- heidän
- terapeutiikka
- siksi
- asiat
- ajatus
- kolmella
- aika
- että
- Juna
- koulutettu
- koulutus
- tutkimuksissa
- luotettu
- tyypit
- tyypillisesti
- taustalla oleva
- ymmärtäminen
- yksikkö
- yliopisto
- Päivitykset
- USA
- käyttää
- Käyttäjät
- hyödyllisyys
- arvot
- lajike
- valtava
- pystysuunnassa
- Näytä
- visio
- elintärkeä
- tilavuus
- läpikäynti
- joka
- vaikka
- KUKA
- leveä
- sisällä
- ilman
- Referenssit
- toimii
- kirjoittaa
- kirjoittaminen
- vuotta
- tuotto
- Voit
- zephyrnet