Questo post sul blog è stato scritto in collaborazione con Chaoyang He e Salman Avestimehr di FedML.
L'analisi dei dati sanitari e delle scienze della vita (HCLS) del mondo reale pone diverse sfide pratiche, come silos di dati distribuiti, mancanza di dati sufficienti in ogni singolo sito per eventi rari, linee guida normative che vietano la condivisione dei dati, requisiti infrastrutturali e costi sostenuti per la creazione un archivio dati centralizzato. Poiché si trovano in un dominio altamente regolamentato, i partner e i clienti di HCLS cercano meccanismi di tutela della privacy per gestire e analizzare dati sensibili, distribuiti e su larga scala.
Per mitigare queste sfide, proponiamo di utilizzare un framework di apprendimento federato (FL) open source chiamato FedML, che consente di analizzare i dati sensibili di HCLS addestrando un modello di machine learning globale da dati distribuiti conservati localmente in diversi siti. FL non richiede lo spostamento o la condivisione dei dati tra i siti o con un server centralizzato durante il processo di addestramento del modello.
In questa serie in due parti, dimostriamo come distribuire un framework FL basato su cloud su AWS. Nel primo post, abbiamo descritto i concetti FL e il framework FedML. Nel secondo post, presentiamo i casi d'uso e il set di dati per dimostrarne l'efficacia nell'analisi di set di dati sanitari del mondo reale, come il dati eICU, che comprende un database di terapia intensiva multicentrico raccolto da oltre 200 ospedali.
sfondo
Sebbene il volume dei dati generati da HCLS non sia mai stato così grande, le sfide ei vincoli associati all'accesso a tali dati ne limitano l'utilità per la ricerca futura. L'apprendimento automatico (ML) offre l'opportunità di affrontare alcune di queste preoccupazioni e viene adottato per far progredire l'analisi dei dati e ricavare approfondimenti significativi da diversi dati HCLS per casi d'uso come erogazione di cure, supporto decisionale clinico, medicina di precisione, triage e diagnosi e malattie croniche gestione delle cure. Poiché gli algoritmi ML spesso non sono adeguati per proteggere la privacy dei dati a livello di paziente, c'è un crescente interesse tra i partner e i clienti di HCLS a utilizzare meccanismi e infrastrutture di tutela della privacy per la gestione e l'analisi di dati sensibili, distribuiti e su larga scala. [1]
Abbiamo sviluppato un framework FL su AWS che consente di analizzare i dati sanitari distribuiti e sensibili nel rispetto della privacy. Implica l'addestramento di un modello ML condiviso senza spostare o condividere i dati tra i siti o con un server centralizzato durante il processo di addestramento del modello e può essere implementato su più account AWS. I partecipanti possono scegliere di mantenere i propri dati nei propri sistemi locali o in un account AWS che controllano. Pertanto, porta l'analisi ai dati, piuttosto che spostare i dati nell'analisi.
In questo post, abbiamo mostrato come distribuire il framework FedML open source su AWS. Testiamo il framework sui dati eICU, un database multicentrico di terapia intensiva raccolto da oltre 200 ospedali, per prevedere la mortalità dei pazienti in ospedale. Possiamo utilizzare questo framework FL per analizzare altri set di dati, inclusi i dati genomici e delle scienze della vita. Può anche essere adottato da altri domini che sono pieni di dati distribuiti e sensibili, compresi i settori della finanza e dell'istruzione.
Apprendimento federato
I progressi tecnologici hanno portato a una crescita esplosiva dei dati in tutti i settori, tra cui HCLS. Le organizzazioni HCLS spesso archiviano i dati in silos. Ciò rappresenta una sfida importante nell'apprendimento basato sui dati, che richiede grandi set di dati per generalizzare bene e raggiungere il livello di prestazioni desiderato. Inoltre, la raccolta, la cura e la manutenzione di set di dati di alta qualità richiedono tempi e costi significativi.
L'apprendimento federato mitiga queste sfide formando in modo collaborativo modelli ML che utilizzano dati distribuiti, senza la necessità di condividerli o centralizzarli. Consente di rappresentare diversi siti all'interno del modello finale, riducendo il potenziale rischio di bias basato sul sito. Il framework segue un'architettura client-server, in cui il server condivide un modello globale con i client. I client addestrano il modello in base a dati locali e condividono parametri (come gradienti o pesi del modello) con il server. Il server aggrega questi parametri per aggiornare il modello globale, che viene quindi condiviso con i client per il prossimo ciclo di formazione, come mostrato nella figura seguente. Questo processo iterativo di addestramento del modello continua finché il modello globale non converge.
Negli ultimi anni, questo nuovo paradigma di apprendimento è stato adottato con successo per affrontare il problema della governance dei dati nell'addestramento dei modelli ML. Uno di questi sforzi è MELLODDY, un consorzio guidato dall'Innovative Medicines Initiative (IMI), alimentato da AWS. Si tratta di un programma triennale che coinvolge 3 aziende farmaceutiche, 10 istituzioni accademiche e 2 partner tecnologici. Il suo obiettivo principale è sviluppare un framework FL multi-task per migliorare le prestazioni predittive e l'applicabilità chimica dei modelli basati sulla scoperta di farmaci. La piattaforma comprende più account AWS, con ciascun partner farmaceutico che mantiene il pieno controllo dei rispettivi account per mantenere i propri set di dati privati e un account ML centrale che coordina le attività di addestramento del modello.
Il consorzio ha addestrato modelli su miliardi di punti dati, costituiti da oltre 20 milioni di piccole molecole in oltre 40,000 analisi biologiche. Sulla base dei risultati sperimentali, i modelli collaborativi hanno dimostrato un miglioramento del 4% nella classificazione delle molecole come farmacologicamente o tossicologicamente attive o inattive. Ha anche portato a un aumento del 10% nella sua capacità di produrre previsioni sicure quando applicato a nuovi tipi di molecole. Infine, i modelli collaborativi erano in genere migliori del 2% nella stima dei valori delle attività tossicologiche e farmacologiche.
FedML
FedML è una libreria open source per facilitare lo sviluppo di algoritmi FL. Supporta tre paradigmi informatici: formazione su dispositivo per dispositivi edge, calcolo distribuito e simulazione di una singola macchina. Offre inoltre una ricerca algoritmica diversificata con un design API flessibile e generico e implementazioni di base di riferimento complete (ottimizzatore, modelli e set di dati). Per una descrizione dettagliata della libreria FedML, fare riferimento a FedML.
La figura seguente presenta l'architettura della libreria open source di FedML.
Come mostrato nella figura precedente, dal punto di vista dell'applicazione, FedML protegge i dettagli del codice sottostante e le configurazioni complesse dell'addestramento distribuito. A livello di applicazione, come la visione artificiale, l'elaborazione del linguaggio naturale e il data mining, i data scientist e gli ingegneri devono solo scrivere il modello, i dati e il trainer nello stesso modo di un programma autonomo e quindi passarlo all'oggetto FedMLRunner per completare tutti i processi, come mostrato nel codice seguente. Ciò riduce notevolmente l'overhead per gli sviluppatori di applicazioni per eseguire FL.
L'algoritmo FedML è ancora un work in progress e viene costantemente migliorato. A tal fine, FedML astrae il core trainer e l'aggregatore e fornisce agli utenti due oggetti astratti, FedML.core.ClientTrainer
ed FedML.core.ServerAggregator
, che devono solo ereditare le interfacce di questi due oggetti astratti e passarle a FedMLRunner. Tale personalizzazione offre agli sviluppatori ML la massima flessibilità. Puoi definire strutture di modello arbitrarie, ottimizzatori, funzioni di perdita e altro ancora. Queste personalizzazioni possono anche essere collegate senza soluzione di continuità con la comunità open source, la piattaforma aperta e l'ecologia delle applicazioni menzionate in precedenza con l'aiuto di FedMLRunner, che risolve completamente il problema del lungo ritardo dagli algoritmi innovativi alla commercializzazione.
Infine, come mostrato nella figura precedente, FedML supporta processi di elaborazione distribuiti, come protocolli di sicurezza complessi e formazione distribuita come processo di elaborazione del flusso Directed Acyclic Graph (DAG), rendendo la scrittura di protocolli complessi simile ai programmi autonomi. Sulla base di questa idea, il protocollo di sicurezza Flow Layer 1 e il processo dell'algoritmo ML Flow Layer 2 possono essere facilmente separati in modo che gli ingegneri della sicurezza e gli ingegneri ML possano operare mantenendo un'architettura modulare.
La libreria open source FedML supporta casi d'uso ML federati per edge e cloud. Nell'edge, il framework facilita la formazione e l'implementazione di modelli edge su telefoni cellulari e dispositivi Internet of Things (IoT). Nel cloud, consente il ML collaborativo globale, inclusi i server di aggregazione del cloud pubblico multi-regione e multi-tenant, nonché l'implementazione del cloud privato in modalità Docker. Il framework affronta le preoccupazioni chiave per quanto riguarda la FL che preserva la privacy come sicurezza, privacy, efficienza, supervisione debole ed equità.
Conclusione
In questo post, abbiamo mostrato come distribuire il framework FedML open source su AWS. Ciò consente di addestrare un modello ML su dati distribuiti, senza la necessità di condividerlo o spostarlo. Abbiamo creato un'architettura multi-account in cui, in uno scenario reale, le organizzazioni possono unirsi all'ecosistema per beneficiare dell'apprendimento collaborativo mantenendo la governance dei dati. Nel prossimo post, utilizziamo il set di dati eICU multi-ospedaliero per dimostrarne l'efficacia in uno scenario reale.
Si prega di rivedere la presentazione a re:MARS 2022 incentrata su "Managed Federated Learning su AWS: un caso di studio per l'assistenza sanitaria” per una procedura dettagliata di questa soluzione.
Riferimento
[1] Kaissis, GA, Makowski, MR, Rückert, D. et al. Machine learning sicuro, rispettoso della privacy e federato nell'imaging medicale. Nat Mach Intell 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
Informazioni sugli autori
Olivia Choudhury, PhD, è Senior Partner Solutions Architect presso AWS. Aiuta i partner, nel settore Healthcare e Life Sciences, a progettare, sviluppare e scalare soluzioni all'avanguardia sfruttando AWS. Ha un background in genomica, analisi sanitaria, apprendimento federato e apprendimento automatico per la tutela della privacy. Al di fuori del lavoro, gioca a giochi da tavolo, dipinge paesaggi e colleziona manga.
Vidya Sagar Ravipati è Manager presso il Laboratorio di soluzioni Amazon ML, dove sfrutta la sua vasta esperienza nei sistemi distribuiti su larga scala e la sua passione per il machine learning per aiutare i clienti AWS in diversi settori verticali ad accelerare la loro adozione di intelligenza artificiale e cloud. In precedenza, era un ingegnere di machine learning nei servizi di connettività presso Amazon che ha contribuito a creare piattaforme di personalizzazione e manutenzione predittiva.
Wajahat Aziz è Principal Machine Learning e HPC Solutions Architect presso AWS, dove si concentra sull'aiutare i clienti del settore sanitario e delle scienze della vita a sfruttare le tecnologie AWS per lo sviluppo di soluzioni ML e HPC all'avanguardia per un'ampia varietà di casi d'uso come lo sviluppo di farmaci, Sperimentazioni cliniche e apprendimento automatico a tutela della privacy. Al di fuori del lavoro, a Wajahat piace esplorare la natura, fare escursioni e leggere.
Divya Bhargavi è Data Scientist e Media and Entertainment Vertical Lead presso l'Amazon ML Solutions Lab, dove risolve problemi aziendali di alto valore per i clienti AWS utilizzando Machine Learning. Si occupa di comprensione di immagini/video, sistemi di raccomandazione di grafici di conoscenza, casi d'uso di pubblicità predittiva.
Ujjwal Ratan è il leader per AI/ML e Data Science nella Business Unit AWS Healthcare and Life Science ed è anche Principal AI/ML Solutions Architect. Nel corso degli anni, Ujjwal è stato un leader di pensiero nel settore sanitario e delle scienze della vita, aiutando diverse organizzazioni Global Fortune 500 a raggiungere i propri obiettivi di innovazione adottando l'apprendimento automatico. Il suo lavoro che coinvolge l'analisi dell'imaging medico, del testo clinico non strutturato e della genomica ha aiutato AWS a creare prodotti e servizi che forniscono diagnostica e terapeutica altamente personalizzate e mirate. Nel tempo libero ama ascoltare (e suonare) musica e fare viaggi imprevisti con la sua famiglia.
Chaoyang He è co-fondatore e CTO di FedML, Inc., una startup in corsa per una comunità che costruisce un'IA aperta e collaborativa da qualsiasi luogo e su qualsiasi scala. La sua ricerca si concentra su algoritmi, sistemi e applicazioni di machine learning distribuiti/federati. Ha conseguito il dottorato di ricerca. in Informatica dal University of Southern California, Los Angeles, Stati Uniti.
Salman Avestimehr è professore, direttore inaugurale dell'USC-Amazon Center for Secure and Trusted Machine Learning (Trusted AI) e direttore del laboratorio di ricerca di teoria dell'informazione e apprendimento automatico (vITAL) presso il dipartimento di ingegneria elettrica e informatica e il dipartimento di informatica di Università della California del Sud. È anche co-fondatore e CEO di FedML. Ha ricevuto il mio dottorato di ricerca. in Ingegneria elettrica e Scienze informatiche presso la UC Berkeley nel 2008. La sua ricerca si concentra sulle aree della teoria dell'informazione, dell'apprendimento automatico decentralizzato e federato, dell'apprendimento e dell'informatica sicuri e rispettosi della privacy.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- capacità
- ABSTRACT
- abstract
- accademico
- accelerare
- Accedendo
- Il mio account
- conti
- Raggiungere
- operanti in
- attivo
- attività
- aciclico
- indirizzo
- indirizzi
- adottato
- Adottando
- Adozione
- avanzare
- Pubblicità
- aggregati
- aggregazione
- Aggregator
- AI
- AI / ML
- algoritmo
- algoritmica
- Algoritmi
- Tutti
- consente
- Amazon
- Laboratorio di soluzioni Amazon ML
- tra
- .
- analitica
- analizzare
- l'analisi
- ed
- e infrastruttura
- Angeles
- ovunque
- api
- Applicazioni
- applicazioni
- applicato
- architettura
- aree
- associato
- AWS
- sfondo
- basato
- Linea di base
- perché
- essendo
- beneficio
- Berkeley
- Meglio
- pregiudizio
- miliardi
- Blog
- tavola
- Giochi da tavolo
- Porta
- costruire
- Costruzione
- affari
- California
- detto
- che
- Custodie
- caso di studio
- casi
- categorizzazione
- centro
- centrale
- centralizzata
- ceo
- Challenge
- sfide
- chimico
- Scegli
- clienti
- Info su
- test clinici
- Cloud
- adozione del cloud
- Co-fondatore
- codice
- collaborativo
- commercializzazione
- comunità
- costruzione della comunità
- Aziende
- completamento di una
- completamente
- complesso
- globale
- computer
- Ingegneria Informatica
- Informatica
- Visione computerizzata
- informatica
- concetti
- Problemi della Pelle
- preoccupazioni
- fiducioso
- collegato
- Connettività
- Consistente
- consorzio
- costantemente
- vincoli
- continua
- di controllo
- coordinamento
- Nucleo
- Costo
- Creazione
- critico
- CTO
- curatela
- Clienti
- personalizzazione
- GIORNO
- dati
- Dati Analytics
- data mining
- punti dati
- scienza dei dati
- scienziato di dati
- condivisione dei dati
- data-driven
- Banca Dati
- dataset
- decentrata
- decisione
- consegna
- dimostrare
- dimostrato
- Shirts Department
- schierare
- deployment
- descritta
- descrizione
- Design
- dettagliati
- dettagli
- sviluppare
- sviluppato
- sviluppatori
- in via di sviluppo
- Mercato
- dispositivo
- dispositivi
- diverso
- Direttore
- distribuito
- calcolo distribuito
- sistemi distribuiti
- formazione distribuita
- paesaggio differenziato
- docker
- non
- dominio
- domini
- droga
- durante
- ogni
- In precedenza
- facilmente
- ecosistema
- bordo
- Istruzione
- efficacia
- efficienza
- sforzo
- o
- Abilita
- ingegnere
- Ingegneria
- Ingegneri
- Intrattenimento
- eventi
- esperienza
- esplora
- facilitare
- facilita
- equità
- famiglia
- figura
- finale
- Infine
- finanziare
- Nome
- Flessibilità
- flessibile
- flusso
- concentrato
- si concentra
- i seguenti
- segue
- Fortune
- Contesto
- Gratis
- da
- pieno
- funzioni
- futuro
- Giochi
- raccolta
- genomica
- globali
- scopo
- Obiettivi
- la governance
- gradienti
- grafico
- maggiore
- molto
- Crescita
- Crescita
- linee guida
- Salute e benessere
- assistenza sanitaria
- Eroe
- Aiuto
- aiutato
- aiutare
- aiuta
- alta qualità
- vivamente
- ospedali
- Come
- hpc
- HTTPS
- idea
- Imaging
- implementato
- importare
- competenze
- migliorata
- miglioramento
- in
- inattivo
- Inaugurale
- Inc.
- Compreso
- Aumento
- industrie
- industria
- informazioni
- Infrastruttura
- iniziativa
- Innovazione
- creativi e originali
- intuizioni
- istituzioni
- interesse
- interfacce
- Internet
- Internet delle cose
- IoT
- IT
- join
- Le
- conoscenze
- Conoscenza Grafico
- laboratorio
- Dipingere
- Lingua
- grandi
- larga scala
- strato
- livello 1
- Strato 2
- portare
- leader
- apprendimento
- Guidato
- Livello
- Leva
- leveraggi
- leveraging
- Biblioteca
- Vita
- Scienze della Vita
- Life Sciences
- limiti
- Ascolto
- caricare
- locale
- a livello locale
- Lunghi
- dei
- Los Angeles
- spento
- macchina
- machine learning
- mantenere
- manutenzione
- maggiore
- Fare
- gestire
- gestione
- direttore
- gestione
- modo
- marzo
- massimo
- significativo
- Media
- medicale
- medicina
- menzionato
- milione
- Siti di estrazione mineraria
- CON
- Ridurre la perdita dienergia con una
- ML
- Mobile
- cellulari
- Moda
- modello
- modelli
- componibile
- Scopri di più
- cambiano
- in movimento
- multiplo
- Musica
- Naturale
- Elaborazione del linguaggio naturale
- Natura
- Bisogno
- New
- GENERAZIONE
- oggetto
- oggetti
- Offerte
- ONE
- aprire
- open source
- operare
- Opportunità
- organizzazioni
- Altro
- al di fuori
- paradigma
- parametri
- parte
- partecipanti
- partner
- partner
- passione
- paziente
- Eseguire
- performance
- personalizzazione
- Personalizzata
- Pharma
- Pharmaceutical
- telefoni
- piattaforma
- Piattaforme
- Platone
- Platone Data Intelligence
- PlatoneDati
- gioco
- punto
- Punto di vista
- punti
- pone
- Post
- potenziale
- alimentato
- Pratico
- precisamente
- Precisione
- predire
- Previsioni
- presenti
- presentazione
- regali
- in precedenza
- primario
- Direttore
- Privacy
- un bagno
- Problema
- problemi
- processi
- i processi
- lavorazione
- Prodotti
- Insegnante
- Programma
- Programmi
- Progressi
- offre
- proteggere
- protocollo
- protocolli
- fornire
- fornisce
- la percezione
- cloud pubblico
- RARO
- RE
- Lettura
- mondo reale
- ricevuto
- recente
- Consigli
- riduce
- riducendo
- Saluti
- regolamentati
- normativo
- deposito
- rappresentato
- richiedere
- requisito
- richiede
- riparazioni
- quelli
- Risultati
- di ritegno
- recensioni
- Rischio
- strada
- tondo
- running
- stesso
- Scala
- Scienze
- SCIENZE
- Scienziato
- scienziati
- senza soluzione di continuità
- Settori
- sicuro
- problemi di
- Cercare
- anziano
- delicata
- Serie
- Server
- Servizi
- set
- alcuni
- Condividi
- condiviso
- azioni
- compartecipazione
- mostrare attraverso le sue creazioni
- mostrato
- significativa
- simile
- simulazione
- singolo
- site
- Siti
- piccole
- So
- soluzione
- Soluzioni
- risolve
- alcuni
- Meridionale
- standalone
- inizia a
- startup
- state-of-the-art
- Ancora
- Tornare al suo account
- Studio
- Con successo
- tale
- sufficiente
- supervisione
- supporto
- supporti
- SISTEMI DI TRATTAMENTO
- presa
- mirata
- task
- Tecnologie
- Tecnologia
- test
- I
- le informazioni
- loro
- terapeutica
- perciò
- cose
- pensiero
- tre
- tempo
- a
- Treni
- allenato
- Training
- studi clinici
- di fiducia
- Tipi di
- tipicamente
- sottostante
- e una comprensione reciproca
- unità
- Università
- Aggiornanento
- USA
- uso
- utenti
- utilità
- Valori
- varietà
- Fisso
- verticali
- Visualizza
- visione
- importantissima
- volume
- walkthrough
- quale
- while
- OMS
- largo
- entro
- senza
- Lavora
- lavori
- scrivere
- scrittura
- anni
- dare la precedenza
- Tu
- zefiro