See ajaveebi postitus on kirjutatud koos Chaoyang He ja Salman Avestimehriga FedML-ist.
Reaalmaailma tervishoiu- ja bioteaduste (HCLS) andmete analüüsimine tekitab mitmeid praktilisi väljakutseid, nagu hajutatud andmehoidlad, haruldaste sündmuste jaoks ühes kohas piisavate andmete puudumine, andmete jagamist keelavad regulatiivsed juhised, infrastruktuuri nõuded ja loomisega seotud kulud. tsentraliseeritud andmehoidla. Kuna tegemist on rangelt reguleeritud domeeniga, otsivad HCLS-i partnerid ja kliendid privaatsust säilitavaid mehhanisme, et hallata ja analüüsida suuremahulisi, hajutatud ja tundlikke andmeid.
Nende väljakutsete leevendamiseks teeme ettepaneku kasutada avatud lähtekoodiga ühendatud õppimise (FL) raamistikku FedML, mis võimaldab analüüsida tundlikke HCLS-andmeid, treenides globaalset masinõppemudelit erinevates kohtades lokaalselt hoitavatest hajutatud andmetest. FL ei nõua mudeli koolitusprotsessi ajal andmete teisaldamist ega jagamist saitide vahel või tsentraliseeritud serveriga.
Selles kaheosalises seerias demonstreerime, kuidas saate AWS-is pilvepõhise FL-raamistiku juurutada. Esimeses postituses kirjeldasime FL-i kontseptsioone ja FedML-i raamistikku. Aastal teine postitus, tutvustame kasutusjuhtumeid ja andmestikku, et näidata selle tõhusust reaalsete tervishoiuandmete, näiteks eICU andmed, mis koosneb enam kui 200 haiglast kogutud mitmekeskuselisest intensiivravi andmebaasist.
Taust
Kuigi HCLS-i loodud andmete maht pole kunagi olnud suurem, piiravad sellistele andmetele juurdepääsuga seotud väljakutsed ja piirangud selle kasulikkust tulevastes uuringutes. Masinõpe (ML) annab võimaluse lahendada mõned neist probleemidest ja seda võetakse kasutusele, et edendada andmeanalüüsi ja saada sisukaid teadmisi erinevatest HCLS-i andmetest selliste kasutusjuhtumite jaoks nagu hooldus, kliiniliste otsuste tugi, täppismeditsiin, triaaž ja diagnoosimine ning kroonilised uuringud. hoolduse juhtimine. Kuna ML-algoritmid ei ole patsiendi tasemel andmete privaatsuse kaitsmisel sageli piisavad, on HCLS-i partnerite ja klientide seas kasvav huvi kasutada suuremahuliste, hajutatud ja tundlike andmete haldamiseks ja analüüsimiseks privaatsust säilitavaid mehhanisme ja infrastruktuuri. [1]
Oleme AWS-i jaoks välja töötanud FL-raamistiku, mis võimaldab analüüsida hajutatud ja tundlikke terviseandmeid privaatsust säilitaval viisil. See hõlmab jagatud ML-mudeli väljaõpetamist ilma andmeid teisaldamata või jagamata saitide vahel või tsentraliseeritud serveriga mudeli koolitusprotsessi ajal ning seda saab rakendada mitmel AWS-i kontol. Osalejad saavad valida, kas nad säilitavad oma andmeid kohapealsetes süsteemides või AWS-i kontol, mida nad juhivad. Seetõttu toob see andmetesse analüütika, mitte ei vii andmeid analüütikasse.
Selles postituses näitasime, kuidas saate AWS-is avatud lähtekoodiga FedML-i raamistikku juurutada. Katsetame raamistikku eICU andmetega, mis on enam kui 200 haiglast kogutud mitmekeskuseline intensiivravi andmebaas, et ennustada haiglasiseste patsientide suremust. Seda FL-raamistikku saame kasutada teiste andmekogumite, sealhulgas genoomi- ja bioteaduste andmete analüüsimiseks. Seda saavad kasutusele võtta ka muud domeenid, mis on tulvil hajutatud ja tundlikke andmeid, sealhulgas rahandus- ja haridussektorid.
Liitõpe
Tehnoloogia areng on toonud kaasa andmete plahvatusliku kasvu tööstusharudes, sealhulgas HCLS-is. HCLS-i organisatsioonid salvestavad andmeid sageli silodesse. See kujutab endast suurt väljakutset andmepõhises õppes, mis nõuab hästi üldistamiseks ja soovitud jõudlustaseme saavutamiseks suuri andmekogumeid. Lisaks nõuab kvaliteetsete andmekogumite kogumine, kureerimine ja säilitamine märkimisväärset aega ja kulusid.
Liitõpe leevendab neid väljakutseid, koolitades ühiselt hajutatud andmeid kasutavaid ML-mudeleid, ilma et oleks vaja neid jagada või tsentraliseerida. See võimaldab lõppmudelis esindada erinevaid saite, vähendades saidipõhise eelarvamuse võimalikku riski. Raamistik järgib klient-server arhitektuuri, kus server jagab klientidega globaalset mudelit. Kliendid koolitavad mudelit kohalike andmete põhjal ja jagavad serveriga parameetreid (nt gradiendid või mudeli kaalud). Server koondab need parameetrid globaalse mudeli värskendamiseks, mida seejärel jagatakse klientidega järgmiseks koolitusvooruks, nagu on näidatud järgmisel joonisel. See iteratiivne mudelikoolituse protsess jätkub, kuni globaalne mudel läheneb.
Viimastel aastatel on see uus õppimisparadigma edukalt kasutusele võetud, et lahendada ML-mudelite väljaõppe andmehaldus. Üks selline pingutus on MELLODY, uuenduslike ravimite algatuse (IMI) juhitud konsortsium, mida toetab AWS. See on 3-aastane programm, mis hõlmab 10 ravimifirmat, 2 akadeemilist asutust ja 3 tehnoloogiapartnerit. Selle peamine eesmärk on töötada välja mitme ülesandega FL-raamistik, et parandada ravimite avastamisel põhinevate mudelite ennustavat jõudlust ja keemilist rakendatavust. Platvorm sisaldab mitut AWS-i kontot, kus iga farmaatsiapartner säilitab täieliku kontrolli oma vastavate kontode üle, et säilitada oma privaatseid andmekogumeid, ja kesksest ML-kontost, mis koordineerib mudelkoolituse ülesandeid.
Konsortsium koolitas mudeleid miljarditel andmepunktidel, mis koosnesid enam kui 20 miljonist väikesest molekulist enam kui 40,000 4 bioloogilises testis. Eksperimentaalsete tulemuste põhjal näitasid koostöömudelid 10% paranemist molekulide kategoriseerimisel farmakoloogiliselt või toksikoloogiliselt aktiivseteks või mitteaktiivseteks. See tõi kaasa ka 2% tõusu selle võimes anda kindlaid ennustusi, kui seda rakendatakse uut tüüpi molekulidele. Lõpuks olid koostöömudelid toksikoloogiliste ja farmakoloogiliste aktiivsuste väärtuste hindamisel tavaliselt XNUMX% paremad.
FedML
FedML on avatud lähtekoodiga teek, mis hõlbustab FL-algoritmi arendamist. See toetab kolme andmetöötlusparadigmat: seadmesisene koolitus servaseadmete jaoks, hajutatud andmetöötlus ja ühe masina simulatsioon. See pakub ka mitmekesist algoritmilist uurimistööd koos paindliku ja üldise API-kujundusega ning igakülgsete võrdluspõhiste rakendustega (optimeerija, mudelid ja andmekogumid). FedML-i teegi üksikasjaliku kirjelduse saamiseks vaadake FedML.
Järgmine joonis kujutab FedML-i avatud lähtekoodiga teegi arhitektuuri.
Nagu eelmisel joonisel näha, varjab FedML rakenduse seisukohast aluseks oleva koodi üksikasju ja hajutatud koolituse keerulisi konfiguratsioone. Rakenduse tasemel, nagu arvutinägemine, loomuliku keele töötlemine ja andmekaeve, peavad andmeteadlased ja insenerid kirjutama mudeli, andmed ja koolitaja samamoodi nagu eraldiseisva programmi jaoks ning seejärel edastama selle FedMLRunneri objektile. lõpetage kõik protsessid, nagu on näidatud järgmises koodis. See vähendab oluliselt rakenduste arendajate FL-i täitmise üldkulusid.
FedML-i algoritm on endiselt pooleli ja seda täiustatakse pidevalt. Sel eesmärgil võtab FedML kokku põhikoolitaja ja koondaja ning annab kasutajatele kaks abstraktset objekti, FedML.core.ClientTrainer
ja FedML.core.ServerAggregator
, mis peavad pärima ainult nende kahe abstraktse objekti liidesed ja edastama need FedMLRunnerile. Selline kohandamine pakub ML-i arendajatele maksimaalset paindlikkust. Saate määratleda suvalised mudelistruktuurid, optimeerijad, kadufunktsioonid ja palju muud. Neid kohandusi saab sujuvalt ühendada ka varem mainitud avatud lähtekoodiga kogukonna, avatud platvormi ja rakenduste ökoloogiaga FedMLRunneri abiga, mis lahendab täielikult pika viivituse probleemi alates uuenduslikest algoritmidest kuni kommertsialiseerimiseni.
Lõpuks, nagu on näidatud eelmisel joonisel, toetab FedML hajutatud andmetöötlusprotsesse, nagu keerulised turbeprotokollid ja hajutatud väljaõpe kui suunatud atsüklilise graafiku (DAG) voo arvutamise protsess, muutes keerukate protokollide kirjutamise sarnaseks eraldiseisvate programmidega. Sellest ideest lähtudes saab turvaprotokolli Flow Layer 1 ja ML-algoritmi protsessi Flow Layer 2 hõlpsasti eraldada, et turvainsenerid ja ML-insenerid saaksid töötada, säilitades samal ajal modulaarse arhitektuuri.
FedML-i avatud lähtekoodiga teek toetab ühendatud ML-i kasutusjuhtumeid nii serva kui ka pilve jaoks. Ääre peal hõlbustab raamistik ääremudelite koolitamist ja juurutamist mobiiltelefonides ja asjade interneti (IoT) seadmetes. Pilves võimaldab see globaalset koostööpõhist ML-i, sealhulgas mitme piirkonna ja mitme rentniku avalikke pilve koondamise servereid, samuti privaatpilve juurutamist Dockeri režiimis. Raamistik käsitleb privaatsust säilitava FL-i peamisi probleeme, nagu turvalisus, privaatsus, tõhusus, nõrk järelevalve ja õiglus.
Järeldus
Selles postituses näitasime, kuidas saate AWS-is avatud lähtekoodiga FedML-i raamistikku juurutada. See võimaldab teil treenida ML-mudelit hajutatud andmetel, ilma et oleks vaja neid jagada või teisaldada. Seadistasime mitme konto arhitektuuri, kus reaalse stsenaariumi korral saavad organisatsioonid liituda ökosüsteemiga, et saada kasu koostöös õppimisest, säilitades samal ajal andmete haldamise. Aastal Järgmine postitus, kasutame mitme haigla eICU andmestikku, et näidata selle tõhusust reaalses maailmas.
Vaadake üle re:MARS 2022 esitlus, mis keskendub teemale "Hallatud liitõpe AWS-is: tervishoiu juhtumiuuring” selle lahenduse üksikasjaliku ülevaate saamiseks.
Viide
[1] Kaissis, GA, Makowski, MR, Rückert, D. jt. Turvaline, privaatsust säilitav ja ühendatud masinõpe meditsiinilises pildistamises. Nat Mach Intell 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
Autoritest
Olivia Choudhury, PhD, on AWSi vanempartnerlahenduste arhitekt. Ta aitab partneritel tervishoiu ja bioteaduste valdkonnas kavandada, arendada ja skaleerida tipptasemel lahendusi, kasutades AWS-i. Tal on genoomika, tervishoiuanalüütika, liitõppe ja privaatsust säilitava masinõppe taust. Väljaspool tööd mängib ta lauamänge, maalib maastikke ja kogub mangasid.
Vidya Sagar Ravipati on juhataja ettevõttes Amazon ML Solutions Lab, kus ta kasutab oma tohutut kogemust suuremahuliste hajutatud süsteemide vallas ja kirge masinõppe vastu, et aidata AWS-i klientidel erinevates tööstusharudes kiirendada nende tehisintellekti ja pilve kasutuselevõttu. Varem oli ta Amazoni ühenduvusteenuste masinõppeinsener, kes aitas luua isikupärastamise ja ennustava hoolduse platvorme.
Wajahat Aziz on AWS-i masinõppe ja HPC lahenduste peaarhitekt, kus ta keskendub tervishoiu- ja bioteaduste klientide abistamisele AWS-i tehnoloogiate võimendamisel, et arendada tipptasemel ML- ja HPC-lahendusi mitmesugusteks kasutusjuhtudeks, nagu ravimiarendus, Kliinilised katsed ja privaatsust säilitav masinõpe. Väljaspool tööd meeldib Wajahatile loodust uurida, matkata ja lugeda.
Divya Bhargavi on andmeteadlane ning meedia ja meelelahutuse vertikaaljuht Amazon ML Solutions Labis, kus ta lahendab masinõpet kasutades AWS-i klientide jaoks väärtuslikke äriprobleeme. Ta tegeleb piltide/videote mõistmise, teadmiste graafikute soovitussüsteemide ja ennustavate reklaamide kasutamise juhtumitega.
Ujjwal Ratan on AI/ML ja andmeteaduse juht AWS-i tervishoiu ja bioteaduste äriüksuses ning on ka AI/ML lahenduste peaarhitekt. Aastate jooksul on Ujjwal olnud tervishoiu- ja bioteaduste tööstuse mõtteliider, aidates mitmel Global Fortune 500 organisatsioonil saavutada oma innovatsioonieesmärke, võttes kasutusele masinõppe. Tema töö, mis hõlmab meditsiinilise pildistamise, struktureerimata kliinilise teksti ja genoomika analüüsi, on aidanud AWS-il luua tooteid ja teenuseid, mis pakuvad väga isikupärastatud ja täpselt sihitud diagnostikat ja ravi. Vabal ajal kuulab (ja mängib) meelsasti muusikat ning teeb perega planeerimata väljasõite.
Chaoyang He on ettevõtte FedML, Inc. kaasasutaja ja tehnoloogiajuht. See idufirma töötab avatud ja koostööl põhineva tehisintellekti loomise nimel kõikjal ja igal tasandil. Tema uurimistöö keskendub hajutatud/liitunud masinõppe algoritmidele, süsteemidele ja rakendustele. Ta sai doktorikraadi. aastast arvutiteaduses University of Southern California, Los Angeles, USA.
Salman Avestimehr on professor, USC-Amazoni turvalise ja usaldusväärse masinõppe keskuse (usaldatud AI) avadirektor ning infoteooria ja masinõppe (vITAL) uurimislabori direktor USA elektri- ja arvutitehnika osakonnas ja arvutiteaduse osakonnas. Lõuna-California ülikool. Ta on ka FedML-i kaasasutaja ja tegevjuht. Ta sai minu doktorikraadi. 2008. aastal UC Berkeley elektrotehnika ja arvutiteaduste erialal. Tema uurimistöö keskendub teabeteooria, detsentraliseeritud ja ühendatud masinõppe, turvalise ja privaatsust säilitava õppe ja andmetöötluse valdkondadele.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- võime
- ABSTRACT
- kokkuvõtteid
- akadeemiline
- kiirendama
- Ligipääs
- konto
- Kontod
- Saavutada
- üle
- aktiivne
- tegevus
- atsükliline
- aadress
- aadressid
- vastu
- Vastuvõtmine
- Vastuvõtmine
- edendama
- reklaam
- agregaatide
- koondamine
- Agregaator
- AI
- AI / ML
- algoritm
- algoritmiline
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- Amazon
- Amazon ML Solutions Lab
- vahel
- analüüs
- analytics
- analüüsima
- analüüsides
- ja
- infrastruktuuri
- Angeles
- kuskil
- API
- taotlus
- rakendused
- rakendatud
- arhitektuur
- valdkondades
- seotud
- AWS
- tagapõhi
- põhineb
- Baseline
- sest
- on
- kasu
- Berkeley
- Parem
- erapoolikus
- miljardeid
- Blogi
- juhatus
- Lauamängud
- Toob
- ehitama
- Ehitus
- äri
- California
- kutsutud
- mis
- juhul
- juhtumiuuring
- juhtudel
- kategoriseerimine
- keskus
- kesk-
- tsentraliseeritud
- tegevjuht
- väljakutse
- väljakutseid
- keemiline
- Vali
- kliendid
- kliiniline
- Kliinilistes uuringutes
- Cloud
- pilve adopteerimine
- Asutaja
- kood
- koostööl
- kommertsialiseerumine
- kogukond
- kogukonna ülesehitamine
- Ettevõtted
- täitma
- täiesti
- keeruline
- terviklik
- arvuti
- Arvutitehnika
- Arvutiteadus
- Arvuti visioon
- arvutustehnika
- mõisted
- Murettekitav
- Murettekitav
- kindel
- seotud
- Side
- Koosneb
- konsortsium
- pidevalt
- piiranguid
- pidev
- kontrollida
- koordineerimine
- tuum
- Maksma
- loomine
- kriitiline
- CTO
- curating
- Kliendid
- kohandamine
- DAG
- andmed
- Andmete analüüs
- andmete kaevandamine
- andmepunktid
- andmeteadus
- andmeteadlane
- andmete jagamine
- andmepõhistele
- andmebaas
- andmekogumid
- Detsentraliseeritud
- otsus
- tarne
- näitama
- Näidatud
- osakond
- juurutada
- kasutuselevõtu
- kirjeldatud
- kirjeldus
- Disain
- üksikasjalik
- detailid
- arendama
- arenenud
- Arendajad
- arenev
- & Tarkvaraarendus
- seade
- seadmed
- erinev
- Juhataja
- jagatud
- hajutatud arvutus
- hajutatud süsteemid
- jagatud koolitus
- mitu
- laevalaadija
- Ei tee
- domeen
- Domeenid
- uimasti
- ajal
- iga
- Ajalugu
- kergesti
- ökosüsteemi
- serv
- Käsitöö
- tõhusus
- efektiivsus
- jõupingutusi
- kumbki
- võimaldab
- insener
- Inseneriteadus
- Inseneride
- meelelahutus
- sündmused
- kogemus
- uurima
- hõlbustada
- hõlbustab
- õiglus
- pere
- Joonis
- lõplik
- Lõpuks
- rahastama
- esimene
- Paindlikkus
- paindlik
- voog
- keskendunud
- keskendub
- Järel
- järgneb
- heaolu
- Raamistik
- tasuta
- Alates
- täis
- funktsioonid
- tulevik
- Mängud
- kogumine
- genoomika
- Globaalne
- eesmärk
- Eesmärgid
- valitsemistava
- kalded
- graafik
- suurem
- suuresti
- Kasvavad
- Kasv
- suunised
- Tervis
- tervishoid
- Held
- aitama
- aitas
- aidates
- aitab
- kvaliteetne
- kõrgelt
- haiglad
- Kuidas
- hpc
- HTTPS
- idee
- Imaging
- rakendatud
- import
- parandama
- paranenud
- paranemine
- in
- inaktiivne
- Avamine
- Inc
- Kaasa arvatud
- Suurendama
- tööstusharudes
- tööstus
- info
- Infrastruktuur
- algatus
- Innovatsioon
- uuenduslik
- teadmisi
- institutsioonid
- huvi
- liidesed
- Internet
- Asjade Internet
- asjade Interneti
- IT
- liituma
- Võti
- teadmised
- Teadmised graafik
- labor
- puudus
- keel
- suur
- suuremahuline
- kiht
- kiht 1
- Kiht 2
- viima
- juht
- õppimine
- Led
- Tase
- Finantsvõimendus
- võimendab
- võimendav
- Raamatukogu
- elu
- Eluteadus
- Maaülikooli
- piirid
- Kuulamine
- koormus
- kohalik
- kohapeal
- Pikk
- a
- Los Angeles
- kaotus
- masin
- masinõpe
- säilitada
- hooldus
- peamine
- Tegemine
- juhtima
- juhtimine
- juht
- juhtiv
- viis
- Marss
- maksimaalne
- tähendusrikas
- Meedia
- meditsiini-
- meditsiin
- mainitud
- miljon
- Kaevandamine
- MIT
- Leevendada
- ML
- mobiilne
- mobiiltelefonid
- viis
- mudel
- mudelid
- modulaarne
- rohkem
- liikuma
- liikuv
- mitmekordne
- muusika
- Natural
- Natural Language Processing
- loodus
- Vajadus
- Uus
- järgmine
- objekt
- esemeid
- Pakkumised
- ONE
- avatud
- avatud lähtekoodiga
- töötama
- Võimalus
- organisatsioonid
- Muu
- väljaspool
- paradigma
- parameetrid
- osa
- osalejad
- partner
- partnerid
- kirg
- patsient
- täitma
- jõudlus
- Isikupärastamine
- Isikliku
- Pharma
- Pharmaceutical
- telefonid
- inimesele
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- Punkt
- Vaatepunkt
- võrra
- tekitab
- post
- potentsiaal
- sisse
- Praktiline
- täpselt
- Täpsus
- ennustada
- Ennustused
- esitada
- esitlus
- kingitusi
- varem
- esmane
- Peamine
- privaatsus
- era-
- Probleem
- probleeme
- protsess
- Protsessid
- töötlemine
- Toodet
- Õpetaja
- Programm
- Programmid
- Edu
- esitama
- kaitsta
- protokoll
- protokollid
- anda
- annab
- avalik
- Avalik pilv
- HARULDANE
- RE
- Lugemine
- päris maailm
- saadud
- hiljuti
- Soovitus
- vähendab
- vähendamine
- osas
- reguleeritud
- regulatiivne
- Hoidla
- esindatud
- nõudma
- nõue
- Vajab
- teadustöö
- need
- Tulemused
- säilitamine
- läbi
- Oht
- tee
- ümber
- jooksmine
- sama
- Skaala
- teadus
- TEADUSED
- teadlane
- teadlased
- sujuvalt
- Sektorid
- kindlustama
- turvalisus
- otsima
- vanem
- tundlik
- Seeria
- Serverid
- Teenused
- komplekt
- mitu
- Jaga
- jagatud
- Aktsiad
- jagamine
- näitama
- näidatud
- märkimisväärne
- sarnane
- simuleerimine
- ühekordne
- site
- Saidid
- väike
- So
- lahendus
- Lahendused
- Lahendab
- mõned
- Lõunapoolne
- standalone
- algus
- käivitamisel
- modernne
- Veel
- salvestada
- Uuring
- Edukalt
- selline
- piisav
- järelevalve
- toetama
- Toetab
- süsteemid
- võtmine
- suunatud
- ülesanded
- Tehnoloogiad
- Tehnoloogia
- test
- .
- teave
- oma
- ravimid
- seetõttu
- asjad
- arvasin
- kolm
- aeg
- et
- Rong
- koolitatud
- koolitus
- uuringutes
- Usaldatud
- liigid
- tüüpiliselt
- aluseks
- mõistmine
- üksus
- Ülikool
- Värskendused
- USA
- kasutama
- Kasutajad
- kasulikkus
- Väärtused
- sort
- suur
- vertikaalid
- vaade
- nägemus
- tähtis
- maht
- läbikäiguks
- mis
- kuigi
- WHO
- lai
- jooksul
- ilma
- Töö
- töötab
- kirjutama
- kirjutamine
- aastat
- saak
- sa
- sephyrnet