Ezt a blogbejegyzést Chaoyang He-vel és Salman Avestimehrrel közösen írták a FedML-től.
A valós egészségügyi és élettudományi (HCLS) adatok elemzése számos gyakorlati kihívást vet fel, mint például az elosztott adatsilók, a ritka eseményekre egyetlen helyen történő elegendő adat hiánya, az adatmegosztást tiltó szabályozási irányelvek, az infrastruktúra követelményei és a létrehozás költségei. központosított adattár. Mivel erősen szabályozott tartományba tartoznak, a HCLS-partnerek és -ügyfelek magánélet-megőrző mechanizmusokat keresnek a nagy léptékű, elosztott és érzékeny adatok kezelésére és elemzésére.
E kihívások mérséklésére javasoljuk egy nyílt forráskódú egyesített tanulási (FL) keretrendszer használatát FedML, amely lehetővé teszi az érzékeny HCLS-adatok elemzését egy globális gépi tanulási modell betanításával a különböző helyeken lokálisan tárolt elosztott adatokból. Az FL-nek nincs szüksége az adatok áthelyezésére vagy megosztására helyek között vagy egy központi szerverrel a modell betanítási folyamata során.
Ebben a kétrészes sorozatban bemutatjuk, hogyan telepíthet felhőalapú FL-keretrendszert az AWS-re. Az első bejegyzésben az FL koncepciókat és a FedML keretrendszert ismertettük. Ban,-ben második bejegyzés, bemutatjuk a használati eseteket és az adatkészletet, hogy megmutassuk annak hatékonyságát a valós egészségügyi adatkészletek elemzésében, mint pl. eICU adatok, amely több mint 200 kórházból gyűjtött többközpontú kritikus ellátási adatbázist tartalmaz.
Háttér
Bár a HCLS által generált adatok mennyisége soha nem volt ekkora, az ilyen adatokhoz való hozzáféréssel kapcsolatos kihívások és korlátok korlátozzák az adatok jövőbeli kutatásban való használhatóságát. A gépi tanulás (ML) lehetőséget kínál ezen aggodalmak némelyikének kezelésére, és bevezetésre kerül az adatelemzés előmozdítása, valamint a különféle HCLS-adatokból való értelmes betekintések levonására olyan felhasználási esetekre, mint az ellátás, a klinikai döntések támogatása, a precíziós orvoslás, az osztályozás és a diagnózis, valamint a krónikus ellátás irányítása. Mivel az ML algoritmusok gyakran nem megfelelőek a betegszintű adatok magánéletének védelmében, a HCLS partnerek és ügyfelek körében egyre nagyobb az érdeklődés a magánélet-megőrző mechanizmusok és infrastruktúra alkalmazása iránt a nagy léptékű, elosztott és érzékeny adatok kezelésére és elemzésére. [1]
Kifejlesztettünk egy FL-keretrendszert az AWS-re, amely lehetővé teszi az elosztott és érzékeny egészségügyi adatok adatvédelmi szempontból történő elemzését. Ez magában foglalja a megosztott ML-modell betanítását anélkül, hogy a modell betanítási folyamata során áthelyezné vagy megosztaná az adatokat a helyek között vagy egy központi szerverrel, és több AWS-fiókon keresztül is megvalósítható. A résztvevők dönthetnek úgy, hogy adataikat a helyszíni rendszereikben vagy az általuk felügyelt AWS-fiókban tárolják. Ezért az elemzést az adatokhoz viszi, ahelyett, hogy áthelyezné az adatokat az elemzésbe.
Ebben a bejegyzésben bemutattuk, hogyan telepítheti a nyílt forráskódú FedML keretrendszert az AWS-re. A keretrendszert az eICU-adatokon teszteljük, egy többközpontú, több mint 200 kórházból összegyűjtött kritikus ellátási adatbázison, hogy előre jelezzük a kórházi betegek halálozását. Ezt az FL-keretet más adatkészletek elemzésére használhatjuk, beleértve a genomikai és élettudományi adatokat. Más olyan területek is átvehetik, amelyek bővelkednek megosztott és érzékeny adatokkal, beleértve a pénzügyi és oktatási szektort.
Összevont tanulás
A technológia fejlődése az adatok robbanásszerű növekedéséhez vezetett az ágazatokban, beleértve a HCLS-t is. A HCLS szervezetek gyakran silókban tárolják az adatokat. Ez komoly kihívást jelent az adatvezérelt tanulásban, amelyhez nagy adatkészletekre van szükség a jó általánosításhoz és a kívánt teljesítményszint eléréséhez. Ezenkívül a jó minőségű adatkészletek összegyűjtése, gondozása és karbantartása jelentős időt és költséget igényel.
Az egyesített tanulás enyhíti ezeket a kihívásokat azáltal, hogy közösen képezi az ML modelleket, amelyek elosztott adatokat használnak, anélkül, hogy meg kellene osztani vagy központosítani őket. Lehetővé teszi a különböző helyek megjelenítését a végső modellben, csökkentve a helyalapú torzítás lehetséges kockázatát. A keretrendszer kliens-szerver architektúrát követ, ahol a szerver egy globális modellt oszt meg az ügyfelekkel. Az ügyfelek helyi adatok alapján betanítják a modellt, és megosztják a paramétereket (például színátmeneteket vagy modellsúlyokat) a szerverrel. A szerver összesíti ezeket a paramétereket, hogy frissítse a globális modellt, amelyet aztán megoszt a kliensekkel a következő képzési körben, ahogy az a következő ábrán látható. A modellképzés ezen iteratív folyamata addig tart, amíg a globális modell konvergál.
Az elmúlt években ezt az új tanulási paradigmát sikeresen alkalmazták az ML modellek képzési adatkezelésével kapcsolatos problémák megoldására. Az egyik ilyen erőfeszítés az MELLODY, az Innovative Medicines Initiative (IMI) által vezetett konzorcium, amelyet az AWS működtet. Ez egy 3 éves program, amelyben 10 gyógyszergyártó cég, 2 felsőoktatási intézmény és 3 technológiai partner vesz részt. Elsődleges célja egy többfeladatos FL keretrendszer kifejlesztése a gyógyszerkutatáson alapuló modellek prediktív teljesítményének és kémiai alkalmazhatóságának javítására. A platform több AWS-fiókot tartalmaz, ahol minden gyógyszertári partner megtartja saját fiókjainak teljes ellenőrzését a privát adatkészleteik karbantartása érdekében, valamint egy központi ML-fiókot, amely koordinálja a modellképzési feladatokat.
A konzorcium több milliárd adatponton képezte ki a modelleket, amelyek több mint 20 millió kis molekulából állnak, több mint 40,000 4 biológiai vizsgálat során. A kísérleti eredmények alapján a kollaboratív modellek 10%-os javulást mutattak a molekulák farmakológiai vagy toxikológiailag aktív vagy inaktív kategóriába történő besorolásában. Ez 2%-kal növelte a magabiztos előrejelzések képességét is, ha új típusú molekulákra alkalmazzák. Végül, az együttműködési modellek jellemzően XNUMX%-kal jobbak voltak a toxikológiai és farmakológiai aktivitások értékeinek becslésében.
FedML
A FedML egy nyílt forráskódú könyvtár, amely megkönnyíti az FL algoritmusok fejlesztését. Három számítási paradigmát támogat: a peremeszközök eszközön történő oktatását, az elosztott számítástechnikát és az egygépes szimulációt. Különféle algoritmikus kutatásokat is kínál rugalmas és általános API-tervezéssel és átfogó referencia-alapvonal implementációkkal (optimalizáló, modellek és adatkészletek). A FedML könyvtár részletes leírását lásd: FedML.
A következő ábra a FedML nyílt forráskódú könyvtári architektúráját mutatja be.
Amint az az előző ábrán látható, az alkalmazás szempontjából a FedML védi a mögöttes kód részleteit és az elosztott képzés összetett konfigurációit. Alkalmazási szinten, mint például a számítógépes látás, a természetes nyelvi feldolgozás és az adatbányászat, az adattudósoknak és mérnököknek csak meg kell írniuk a modellt, az adatokat és a trénert ugyanúgy, mint egy önálló programot, majd át kell adniuk a FedMLRunner objektumnak. fejezze be az összes folyamatot a következő kódban látható módon. Ez nagymértékben csökkenti az alkalmazásfejlesztők FL végrehajtásának többletköltségét.
A FedML algoritmus még mindig folyamatban van, és folyamatosan fejlesztik. Ebből a célból a FedML elvonatkoztatja az alapvető trénert és aggregátort, és két absztrakt objektumot biztosít a felhasználóknak, FedML.core.ClientTrainer
és a FedML.core.ServerAggregator
, amelyeknek csak e két absztrakt objektum interfészét kell örökölniük, és át kell adniuk a FedMLRunnernek. Az ilyen testreszabás maximális rugalmasságot biztosít az ML fejlesztőknek. Tetszőleges modellstruktúrákat, optimalizálókat, veszteségfüggvényeket és egyebeket határozhat meg. Ezek a testreszabások zökkenőmentesen összekapcsolhatók a korábban említett nyílt forráskódú közösséggel, nyílt platformmal és alkalmazásökológiával is a FedMLRunner segítségével, amely teljesen megoldja a hosszú késleltetési problémákat az innovatív algoritmusoktól a kereskedelmi forgalomba hozatalig.
Végül, amint az az előző ábrán látható, a FedML támogatja az elosztott számítási folyamatokat, például az összetett biztonsági protokollokat és az elosztott képzést irányított aciklikus grafikon (DAG) áramlási számítási folyamatként, így az összetett protokollok írása hasonló az önálló programokhoz. Ezen ötlet alapján a Flow Layer 1 biztonsági protokoll és a Flow Layer 2 ML algoritmus folyamat könnyen szétválasztható, így a biztonsági mérnökök és az ML mérnökök a moduláris architektúra fenntartása mellett működhetnek.
A FedML nyílt forráskódú könyvtára támogatja az egyesített ML-használati eseteket széleken és felhőben egyaránt. A peremen a keretrendszer megkönnyíti az élmodellek képzését és telepítését mobiltelefonokon és tárgyak internetes (IoT) eszközökön. A felhőben lehetővé teszi a globális együttműködésen alapuló ML-t, beleértve a többrégiós és több bérlős nyilvános felhő-aggregációs szervereket, valamint a privát felhőbe történő telepítést Docker módban. A keretrendszer a magánélet védelmét szolgáló FL tekintetében olyan kulcsfontosságú aggályokat kezel, mint a biztonság, az adatvédelem, a hatékonyság, a gyenge felügyelet és a méltányosság.
Következtetés
Ebben a bejegyzésben bemutattuk, hogyan telepítheti a nyílt forráskódú FedML keretrendszert az AWS-re. Ez lehetővé teszi egy ML modell betanítását elosztott adatokon anélkül, hogy meg kellene osztania vagy át kellene helyeznie azokat. Létrehoztunk egy többfiókos architektúrát, ahol valós forgatókönyv esetén a szervezetek csatlakozhatnak az ökoszisztémához, hogy az adatkezelés fenntartása mellett élvezhessék az együttműködésen alapuló tanulás előnyeit. Ban,-ben következő post, a több kórházból álló eICU adatkészletet használjuk annak hatékonyságának valós forgatókönyv szerinti bemutatására.
Kérjük, tekintse át a re:MARS 2022 bemutatóját, amelynek középpontjában a „Managed Federated Learning on AWS: Esettanulmány az egészségügyi ellátáshoz” a megoldás részletes ismertetéséhez.
Referencia
[1] Kaissis, GA, Makowski, MR, Rückert, D. et al. Biztonságos, magánéletet megőrző és egyesített gépi tanulás az orvosi képalkotásban. Nat Mach Intell 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
A szerzőkről
Olivia Choudhury, PhD, az AWS vezető partner-megoldási építésze. Segít partnereinek az egészségügy és az élettudományok területén az AWS-t kihasználó legkorszerűbb megoldások tervezésében, fejlesztésében és méretezésében. Genomikai, egészségügyi elemzési, egyesített tanulási és magánélet-megőrző gépi tanulási háttérrel rendelkezik. Munkán kívül társasjátékokkal játszik, tájképeket fest és mangákat gyűjt.
Vidya Sagar Ravipati menedzser a Amazon ML Solutions Lab, ahol a nagyszabású elosztott rendszerek terén szerzett hatalmas tapasztalatát és a gépi tanulás iránti szenvedélyét kamatoztatja, hogy segítse az AWS ügyfeleit a különböző iparágakban az AI és a felhő alkalmazásának felgyorsításában. Korábban gépi tanulási mérnökként dolgozott az Amazon Connectivity Services területén, és segített személyre szabott és prediktív karbantartási platformok felépítésében.
Wajahat Aziz az AWS fő gépi tanulási és HPC-megoldások építésze, ahol arra összpontosít, hogy segítse az egészségügyi és élettudományi ügyfeleket az AWS-technológiák kiaknázásában a legkorszerűbb ML és HPC megoldások kifejlesztésében számos felhasználási esetre, például gyógyszerfejlesztésre, Klinikai vizsgálatok és a magánélet védelmét megőrző gépi tanulás. A munkán kívül Wajahat szereti felfedezni a természetet, túrázni és olvasni.
Divya Bhargavi Data Scientist és Media and Entertainment vertikális vezető az Amazon ML Solutions Labnál, ahol nagy értékű üzleti problémákat old meg az AWS-ügyfelek számára a Machine Learning segítségével. Kép/videó megértéssel, tudásgrafikon ajánlórendszerekkel, prediktív hirdetéshasználati esetekkel foglalkozik.
Ujjwal Ratan az AI/ML és az adattudomány vezetője az AWS Egészségügyi és Élettudományi Üzletágában, valamint az AI/ML megoldások vezető építésze. Az évek során Ujjwal vezető szerepet töltött be az egészségügyben és az élettudományokban, és segített több Global Fortune 500 szervezetnek elérni innovációs céljait a gépi tanulás bevezetésével. Munkája az orvosi képalkotás, a strukturálatlan klinikai szöveg és a genomika elemzésével segítette az AWS-t olyan termékeket és szolgáltatásokat építeni, amelyek magasan személyre szabott és pontosan célzott diagnosztikát és terápiát biztosítanak. Szabadidejében szívesen hallgat (és játszik) zenét, és nem tervezett kirándulásokat tesz a családjával.
Chaoyang He társalapítója és technológiai igazgatója a FedML, Inc.-nek, egy olyan startupnak, amely egy nyílt és együttműködő mesterséges intelligencia közösséget építeni bárhonnan, bármilyen léptékben. Kutatásai az elosztott/összevont gépi tanulási algoritmusokra, rendszerekre és alkalmazásokra összpontosítanak. Ph.D fokozatot szerzett. a számítástechnikában a University of Southern California, Los Angeles, USA.
Salman Avestimehr professzor, az USC-Amazon Center for Secure and Trusted Machine Learning (Megbízható AI) beiktató igazgatója, valamint az Információelmélet és Gépi Tanulás (vITAL) kutatólaboratóriumának igazgatója a Villamos- és Számítástechnikai Tanszéken és Számítástechnikai Tanszéken. Dél-Kaliforniai Egyetem. A FedML társalapítója és vezérigazgatója is. Megkapta a Ph.D. Kutatásai az információelmélet, a decentralizált és egyesített gépi tanulás, a biztonságos és magánéletet megőrző tanulás és számítástechnika területeire összpontosítanak.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- képesség
- KIVONAT
- absztraktokat
- egyetemi
- gyorsul
- Hozzáférés
- Fiók
- Fiókok
- Elérése
- át
- aktív
- tevékenységek
- aciklikus
- cím
- címek
- fogadott
- Elfogadása
- Örökbefogadás
- előre
- Hirdetés
- aggregátumok
- összesítés
- Összesítő
- AI
- AI / ML
- algoritmus
- algoritmikus
- algoritmusok
- Minden termék
- lehetővé teszi, hogy
- amazon
- Amazon ML Solutions Lab
- között
- elemzés
- analitika
- elemez
- elemzése
- és a
- és az infrastruktúra
- Angeles
- bárhol
- api
- Alkalmazás
- alkalmazások
- alkalmazott
- építészet
- területek
- társult
- AWS
- háttér
- alapján
- kiindulási
- mert
- hogy
- haszon
- Berkeley
- Jobb
- előítélet
- milliárd
- Blog
- bizottság
- Társasjátékok
- Bring
- épít
- Épület
- üzleti
- Kalifornia
- hívott
- ami
- eset
- esettanulmány
- esetek
- kategorizálása
- Központ
- központi
- központosított
- vezérigazgató
- kihívás
- kihívások
- kémiai
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- ügyfél részére
- Klinikai
- klinikai vizsgálatok
- felhő
- felhő elfogadása
- Társalapító
- kód
- kollaboratív
- kereskedelmi
- közösség
- közösségi épület
- Companies
- teljes
- teljesen
- bonyolult
- átfogó
- számítógép
- Informatika
- Computer Science
- Számítógépes látás
- számítástechnika
- fogalmak
- Vonatkozik
- aggodalmak
- magabiztos
- összefüggő
- Connectivity
- Összeáll
- konzorcium
- állandóan
- korlátok
- tovább
- ellenőrzés
- koordinációs
- Mag
- Költség
- létrehozása
- kritikai
- CTO
- kurátorképzésének
- Ügyfelek
- testreszabás
- DAG
- dátum
- Adatelemzés
- adatbányászat
- adat pontok
- adat-tudomány
- adattudós
- adatmegosztás
- adatalapú
- adatbázis
- adatkészletek
- decentralizált
- döntés
- kézbesítés
- bizonyítani
- igazolták
- osztály
- telepíteni
- bevetés
- leírt
- leírás
- Design
- részletes
- részletek
- Fejleszt
- fejlett
- fejlesztők
- fejlesztése
- Fejlesztés
- eszköz
- Eszközök
- különböző
- Igazgató
- megosztott
- elosztott számítástechnika
- elosztott rendszerek
- elosztott képzés
- számos
- Dokkmunkás
- Nem
- domain
- domainek
- gyógyszer
- alatt
- minden
- Korábban
- könnyen
- ökoszisztéma
- él
- Oktatás
- hatékonyság
- hatékonyság
- erőfeszítés
- bármelyik
- lehetővé teszi
- mérnök
- Mérnöki
- Mérnökök
- Szórakozás
- események
- tapasztalat
- feltárása
- megkönnyítése
- megkönnyíti
- méltányosság
- család
- Ábra
- utolsó
- Végül
- finanszíroz
- vezetéknév
- Rugalmasság
- rugalmas
- áramlási
- összpontosított
- koncentrál
- következő
- következik
- Szerencse
- Keretrendszer
- Ingyenes
- ból ből
- Tele
- funkciók
- jövő
- Games
- gyűjtése
- genomika
- Globális
- cél
- Célok
- kormányzás
- színátmenetek
- grafikon
- nagyobb
- nagymértékben
- Növekvő
- Növekedés
- irányelvek
- Egészség
- egészségügyi
- hős
- segít
- segített
- segít
- segít
- jó minőségű
- nagyon
- kórházak
- Hogyan
- hpc
- HTTPS
- ötlet
- Leképezés
- végre
- importál
- javul
- javított
- javulás
- in
- tétlen
- alakuló
- Inc.
- Beleértve
- Növelje
- iparágak
- ipar
- információ
- Infrastruktúra
- Kezdeményezés
- Innováció
- újító
- meglátások
- intézmények
- kamat
- interfészek
- Internet
- internet a dolgok
- tárgyak internete
- IT
- csatlakozik
- Kulcs
- tudás
- Tudás Graph
- labor
- hiány
- nyelv
- nagy
- nagyarányú
- réteg
- 1 réteg
- Réteg 2
- vezet
- vezető
- tanulás
- Led
- szint
- Tőkeáttétel
- kihasználja
- erőfölény
- könyvtár
- élet
- Élettudományi
- Life Sciences
- határértékek
- Kihallgatás
- kiszámításának
- helyi
- helyileg
- Hosszú
- az
- Los Angeles
- le
- gép
- gépi tanulás
- fenntartása
- karbantartás
- fontos
- Gyártás
- kezelése
- vezetés
- menedzser
- kezelése
- mód
- március
- maximális
- jelentőségteljes
- Média
- orvosi
- orvostudomány
- említett
- millió
- Bányászati
- MIT
- Enyhít
- ML
- Mobil
- mobiltelefonok
- Mód
- modell
- modellek
- moduláris
- több
- mozog
- mozgó
- többszörös
- zene
- Természetes
- Természetes nyelvi feldolgozás
- Természet
- Szükség
- Új
- következő
- tárgy
- objektumok
- Ajánlatok
- ONE
- nyitva
- nyílt forráskódú
- működik
- Alkalom
- szervezetek
- Más
- kívül
- paradigma
- paraméterek
- rész
- résztvevők
- partner
- partnerek
- szenvedély
- beteg
- Teljesít
- teljesítmény
- Testreszabás
- Személyre
- Pharma
- Gyógyszeripari
- telefonok
- emelvény
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- játék
- pont
- Nézőpont
- pont
- pózok
- állás
- potenciális
- powered
- Gyakorlati
- pontosan
- Pontosság
- előre
- Tippek
- be
- bemutatás
- ajándékot
- korábban
- elsődleges
- Fő
- magánélet
- magán
- Probléma
- problémák
- folyamat
- Folyamatok
- feldolgozás
- Termékek
- Egyetemi tanár
- Program
- Programok
- Haladás
- javasol
- védelme
- protokoll
- protokollok
- ad
- biztosít
- nyilvános
- Nyilvános felhő
- RITKA
- RE
- Olvasás
- való Világ
- kapott
- új
- Ajánlást
- csökkenti
- csökkentő
- tekintetében
- szabályozott
- szabályozók
- raktár
- képviselők
- szükség
- követelmény
- megköveteli,
- kutatás
- azok
- Eredmények
- visszatartó
- Kritika
- Kockázat
- út
- körül
- futás
- azonos
- Skála
- Tudomány
- TUDOMÁNYOK
- Tudós
- tudósok
- zökkenőmentesen
- ágazatok
- biztonság
- biztonság
- Keresnek
- idősebb
- érzékeny
- Series of
- Szerverek
- Szolgáltatások
- készlet
- számos
- Megosztás
- megosztott
- Megoszt
- megosztás
- előadás
- mutatott
- jelentős
- hasonló
- tettetés
- egyetlen
- weboldal
- Webhely (ek)
- kicsi
- So
- megoldások
- Megoldások
- Megoldja
- néhány
- Déli
- önálló
- kezdet
- indítás
- csúcs-
- Még mindig
- tárolni
- Tanulmány
- sikeresen
- ilyen
- elegendő
- felügyelet
- támogatás
- Támogatja
- Systems
- bevétel
- célzott
- feladatok
- Technologies
- Technológia
- teszt
- A
- az információ
- azok
- gyógykezelés
- ebből adódóan
- dolgok
- gondoltam
- három
- idő
- nak nek
- Vonat
- kiképzett
- Képzések
- vizsgálatok
- Megbízható
- típusok
- jellemzően
- mögöttes
- megértés
- egység
- egyetemi
- Frissítések
- USA
- használ
- Felhasználók
- hasznosság
- Értékek
- fajta
- Hatalmas
- függőlegesek
- Megnézem
- látomás
- fontos
- kötet
- végigjátszás
- ami
- míg
- WHO
- széles
- belül
- nélkül
- Munka
- művek
- ír
- írás
- év
- Hozam
- te
- zephyrnet