このブログ投稿は、FedML の Chaoyang He と Salman Avestimehr の共著です。
実世界のヘルスケアおよびライフ サイエンス (HCLS) データを分析すると、分散データ サイロ、まれなイベントに対応する単一サイトでの十分なデータの不足、データ共有を禁止する規制ガイドライン、インフラストラクチャ要件、および作成にかかるコストなど、いくつかの実際的な課題が生じます。一元化されたデータ リポジトリ。 彼らは高度に規制されたドメインに属しているため、HCLS のパートナーと顧客は、大規模で分散された機密データを管理および分析するためのプライバシー保護メカニズムを求めています。
これらの課題を軽減するために、オープンソースの連合学習 (FL) フレームワークを使用することを提案します。 FedMLこれにより、さまざまなサイトでローカルに保持されている分散データからグローバルな機械学習モデルをトレーニングすることで、機密の HCLS データを分析できます。 FL では、モデルのトレーニング プロセス中に、サイト間または中央サーバーとの間でデータを移動または共有する必要はありません。
この XNUMX 部構成のシリーズでは、クラウドベースの FL フレームワークを AWS にデプロイする方法を示します。 最初の投稿では、FL の概念と FedML フレームワークについて説明しました。 の中に 2番目の投稿、ユースケースとデータセットを提示して、実際のヘルスケアデータセットの分析におけるその有効性を示します。 eICUデータは、200 を超える病院から収集された多施設の救命救急データベースで構成されています。
経歴
HCLS によって生成されたデータの量はこれまでにないほど多くなっていますが、そのようなデータへのアクセスに関連する課題と制約により、将来の研究での有用性が制限されています。 機械学習 (ML) は、これらの懸念のいくつかに対処する機会を提供し、データ分析を促進し、ケア提供、臨床意思決定支援、精密医療、トリアージと診断、および慢性疾患などのユースケースのために多様な HCLS データから有意義な洞察を引き出すために採用されています。ケアマネジメント。 多くの場合、ML アルゴリズムは患者レベルのデータのプライバシーを保護するのに十分ではないため、HCLS のパートナーと顧客の間で、大規模で分散された機密データを管理および分析するためのプライバシー保護メカニズムとインフラストラクチャを使用することに関心が高まっています。 [1]
AWS で FL フレームワークを開発しました。これにより、分散された機密性の高い健康データをプライバシーを保護しながら分析できます。 これには、モデルのトレーニング プロセス中にサイト間または中央サーバーでデータを移動または共有することなく、共有 ML モデルをトレーニングすることが含まれ、複数の AWS アカウントにわたって実装できます。 参加者は、データをオンプレミス システムに保持するか、自分が管理する AWS アカウントに保持するかを選択できます。 したがって、データを分析に移動するのではなく、分析をデータにもたらします。
この投稿では、オープンソースの FedML フレームワークを AWS にデプロイする方法を示しました。 院内患者の死亡率を予測するために、200 以上の病院から収集された多施設の救命救急データベースである eICU データでフレームワークをテストします。 この FL フレームワークを使用して、ゲノムや生命科学のデータを含む他のデータセットを分析できます。 また、金融や教育部門など、分散した機密データが蔓延している他の分野でも採用できます。
連合学習
テクノロジーの進歩により、HCLS を含む業界全体でデータが爆発的に増加しています。 HCLS 組織は、多くの場合、データをサイロに保存します。 これは、データ駆動型の学習に大きな課題をもたらします。データ駆動型の学習では、大規模なデータセットを適切に一般化し、必要なレベルのパフォーマンスを達成する必要があります。 さらに、高品質のデータセットを収集、キュレート、および維持するには、多大な時間とコストがかかります。
フェデレーテッド ラーニングは、分散データを使用する ML モデルを共同でトレーニングすることにより、それらを共有または一元化する必要なく、これらの課題を軽減します。 これにより、最終モデル内で多様なサイトを表すことができ、サイトベースのバイアスの潜在的なリスクが軽減されます。 このフレームワークは、サーバーがクライアントとグローバル モデルを共有するクライアント サーバー アーキテクチャに従います。 クライアントは、ローカル データに基づいてモデルをトレーニングし、パラメーター (勾配やモデルの重みなど) をサーバーと共有します。 次の図に示すように、サーバーはこれらのパラメーターを集約してグローバル モデルを更新し、次のトレーニング ラウンドのためにクライアントと共有します。 このモデル トレーニングの反復プロセスは、グローバル モデルが収束するまで続きます。
近年、この新しい学習パラダイムは、ML モデルのトレーニングにおけるデータ ガバナンスの懸念に対処するためにうまく採用されています。 そんな取り組みの一つが メロディは、AWS を利用した Innovative Medicines Initiative (IMI) 主導のコンソーシアムです。 これは、製薬会社 3 社、学術機関 10 社、技術パートナー 2 社が参加する 3 年間のプログラムです。 その主な目標は、創薬ベースのモデルの予測性能と化学的適用性を向上させるマルチタスク FL フレームワークを開発することです。 このプラットフォームは複数の AWS アカウントで構成され、各製薬パートナーはそれぞれのアカウントを完全に制御してプライベート データセットを維持し、中央の ML アカウントがモデルのトレーニング タスクを調整します。
コンソーシアムは、20 を超える生物学的アッセイにおける 40,000 万を超える小分子からなる数十億のデータ ポイントでモデルをトレーニングしました。 実験結果に基づいて、共同モデルは、分子を薬理学的または毒物学的に活性または非活性のいずれかに分類する際に 4% の改善を示しました。 また、新しいタイプの分子に適用した場合、信頼できる予測を生成する能力が 10% 向上しました。 最後に、共同モデルは、毒物学的および薬理学的活性の値の推定において、通常 2% 優れていました。
FedML
FedML は、FL アルゴリズムの開発を容易にするオープンソース ライブラリです。 エッジ デバイスのオンデバイス トレーニング、分散コンピューティング、単一マシン シミュレーションの XNUMX つのコンピューティング パラダイムをサポートします。 また、柔軟で汎用的な API 設計と包括的な参照ベースライン実装 (オプティマイザー、モデル、およびデータセット) を使用して、多様なアルゴリズム研究を提供します。 FedML ライブラリの詳細については、次を参照してください。 FedML.
次の図は、FedML のオープンソース ライブラリ アーキテクチャを示しています。
前の図に見られるように、アプリケーションの観点から見ると、FedML は基盤となるコードの詳細と分散トレーニングの複雑な構成を隠します。 コンピューター ビジョン、自然言語処理、データ マイニングなどのアプリケーション レベルでは、データ サイエンティストとエンジニアは、モデル、データ、トレーナーをスタンドアロン プログラムと同じ方法で記述し、それを FedMLRunner オブジェクトに渡して、次のコードに示すように、すべてのプロセスを完了します。 これにより、アプリケーション開発者が FL を実行するためのオーバーヘッドが大幅に削減されます。
FedML アルゴリズムはまだ進行中の作業であり、常に改善されています。 この目的のために、FedML はコア トレーナーとアグリゲーターを抽象化し、ユーザーに XNUMX つの抽象オブジェクトを提供します。 FedML.core.ClientTrainer
& FedML.core.ServerAggregator
これら XNUMX つの抽象オブジェクトのインターフェースを継承し、FedMLRunner に渡すだけで済みます。 このようなカスタマイズにより、ML 開発者は最大限の柔軟性を得ることができます。 任意のモデル構造、オプティマイザー、損失関数などを定義できます。 これらのカスタマイズは、革新的なアルゴリズムから商用化までの長いラグの問題を完全に解決する FedMLRunner の助けを借りて、前述のオープンソース コミュニティ、オープン プラットフォーム、およびアプリケーション エコロジーとシームレスに接続することもできます。
最後に、前の図に示すように、FedML は、複雑なセキュリティ プロトコルなどの分散コンピューティング プロセスや、有向非巡回グラフ (DAG) フロー コンピューティング プロセスとしての分散トレーニングをサポートし、スタンドアロン プログラムと同様に複雑なプロトコルを記述できるようにします。 この考え方に基づき、セキュリティプロトコルのFlow Layer 1とMLアルゴリズム処理のFlow Layer 2を簡単に分離できるため、セキュリティエンジニアとMLエンジニアはモジュールアーキテクチャを維持しながら運用することができます。
FedML オープンソース ライブラリは、エッジとクラウドのフェデレーション ML ユース ケースをサポートします。 エッジでは、このフレームワークにより、携帯電話やモノのインターネット (IoT) デバイスへのエッジ モデルのトレーニングと展開が容易になります。 クラウドでは、マルチリージョンおよびマルチテナントのパブリック クラウド アグリゲーション サーバーを含むグローバルな共同 ML と、Docker モードでのプライベート クラウドの展開が可能になります。 このフレームワークは、セキュリティ、プライバシー、効率性、監督の弱さ、公平性など、プライバシーを保護する FL に関する主要な懸念事項に対処します。
まとめ
この投稿では、オープンソースの FedML フレームワークを AWS にデプロイする方法を示しました。 これにより、共有または移動する必要なく、分散データで ML モデルをトレーニングできます。 私たちはマルチアカウント アーキテクチャをセットアップしました。実際のシナリオでは、組織がエコシステムに参加して、データ ガバナンスを維持しながら共同学習の恩恵を受けることができます。 の中に 次の投稿、マルチホスピタル eICU データセットを使用して、現実世界のシナリオでの有効性を実証します。
「re:MARS 2022」でのプレゼンテーションをご覧ください。AWS でのマネージド フェデレーテッド ラーニング: ヘルスケアのケーススタディ」で、このソリューションの詳細なウォークスルーを確認できます。
参照
[1] Kaissis, GA, Makowski, MR, Rückert, D. et al. 医用画像処理における安全でプライバシーを保護するフェデレーション機械学習。 ナット マッハ インテル 2、305–311 (2020)。 https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
著者について
オリビア・チョードリー、PhD は、AWS のシニア パートナー ソリューション アーキテクトです。 彼女は、ヘルスケアおよびライフ サイエンス分野のパートナーが、AWS を活用した最先端のソリューションを設計、開発、スケーリングするのを支援しています。 彼女は、ゲノミクス、ヘルスケア分析、連合学習、プライバシー保護機械学習のバックグラウンドを持っています。 仕事以外では、ボードゲームをしたり、風景を描いたり、漫画を集めたりしています。
ヴィディヤ・サーガル・ラヴィパティ のマネージャーです Amazon MLソリューションラボ、彼は大規模な分散システムでの豊富な経験と機械学習への情熱を活用して、さまざまな業界のAWSのお客様がAIとクラウドの採用を加速できるよう支援しています。 以前は、Amazonのコネクティビティサービスの機械学習エンジニアであり、パーソナライズおよび予知保全プラットフォームの構築を支援していました。
ワジャハット・アジズ AWS のプリンシパル機械学習および HPC ソリューション アーキテクトであり、ヘルスケアおよびライフ サイエンスのお客様が AWS テクノロジーを活用して、医薬品開発などのさまざまなユース ケース向けの最先端の ML および HPC ソリューションを開発できるよう支援することに注力しています。臨床試験、プライバシー保護機械学習。 仕事以外では、Wajahat は自然探索、ハイキング、読書が好きです。
ディヴィヤ・バルガヴィ Amazon ML Solutions Lab のデータサイエンティストであり、メディアとエンターテイメントの垂直リーダーであり、機械学習を使用して AWS のお客様の価値の高いビジネス上の問題を解決しています。 彼女は、画像/動画の理解、ナレッジ グラフ推奨システム、予測広告のユース ケースに取り組んでいます。
ウジワルラタン AWS ヘルスケアおよびライフ サイエンス ビジネス ユニットの AI/ML およびデータ サイエンスのリーダーであり、プリンシパル AI/ML ソリューション アーキテクトでもあります。 長年にわたり、Ujjwal はヘルスケアおよびライフ サイエンス業界のソート リーダーとして、複数のグローバル フォーチュン 500 組織が機械学習を採用することでイノベーションの目標を達成するのを支援してきました。 医療画像、構造化されていない臨床テキスト、ゲノミクスの分析を含む彼の仕事は、AWS が高度にパーソナライズされ、正確にターゲットを絞った診断と治療を提供する製品とサービスを構築するのに役立ちました。 余暇には、音楽を聴いたり (演奏したり)、家族との予定外の遠征を楽しんでいます。
何朝陽 FedML, Inc. の共同創設者兼 CTO です。FedML, Inc. は、オープンで協調的な AI をどこからでも、あらゆる規模で構築するコミュニティのために運営されているスタートアップです。 彼の研究は、分散型/フェデレーション型の機械学習アルゴリズム、システム、およびアプリケーションに焦点を当てています。 彼は博士号を取得しました。 からのコンピューターサイエンスの博士号 サザンカリフォルニア大学、ロサンゼルス、米国。
サルマン・アヴェスティメル 教授であり、USC-Amazon Center for Secure and Trusted Machine Learning (Trusted AI) の初代所長であり、同大学の電気およびコンピュータ工学部とコンピュータ サイエンス部の情報理論および機械学習 (vITAL) 研究所の所長です。南カリフォルニア大学。 彼は FedML の共同設立者兼 CEO でもあります。 彼は私の博士号を取得しました。 2008 年にカリフォルニア大学バークレー校で電気工学とコンピューター サイエンスの学士号を取得しました。彼の研究は、情報理論、分散型および連合型の機械学習、安全でプライバシーを保護する学習とコンピューティングの分野に焦点を当てています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- 能力
- 抽象
- 抄録
- アカデミック
- 加速する
- アクセス
- アカウント
- 達成する
- 越えて
- アクティブ
- 活動
- 非周期的
- 住所
- アドレス
- 採択
- 採用
- 養子縁組
- 進める
- 広告運用
- 骨材
- 凝集
- アグリゲーター
- AI
- AI / ML
- アルゴリズム
- アルゴリズムの
- アルゴリズム
- すべて
- ことができます
- Amazon
- Amazon MLソリューションラボ
- 間で
- 分析
- 分析論
- 分析します
- 分析する
- &
- とインフラ
- アンヘレス
- どこにでも
- API
- 申し込み
- 適用された
- 建築
- エリア
- 関連する
- AWS
- 背景
- ベース
- ベースライン
- なぜなら
- さ
- 恩恵
- バークリー
- より良いです
- バイアス
- 億
- ブログ
- ボード
- ボードゲーム
- もたらす
- ビルド
- 建物
- ビジネス
- カリフォルニア州
- 呼ばれます
- これ
- 場合
- ケーススタディ
- 例
- 分類
- センター
- 中央の
- 集中型の
- 最高経営責任者(CEO)
- 挑戦する
- 課題
- 化学物質
- 選択する
- クライアント
- 臨床
- 臨床試験
- クラウド
- クラウドの採用
- 共同創設者
- コード
- 共同
- 商業化
- コミュニティ
- コミュニティビルディング
- 企業
- コンプリート
- 完全に
- 複雑な
- 包括的な
- コンピュータ
- コンピューター工学
- コンピュータサイエンス
- Computer Vision
- コンピューティング
- コンセプト
- 懸念
- 懸念事項
- 確信して
- 交流
- 接続性
- からなる
- コンソーシアム
- 絶えず
- 制約
- 続ける
- コントロール
- 調整する
- 基本
- 費用
- 作成
- 重大な
- CTO
- キュレーション
- Customers
- カスタム化
- DAG
- データ
- データ分析
- データマイニング
- データポイント
- データサイエンス
- データサイエンティスト
- データ共有
- データ駆動型の
- データベース
- データセット
- 分権化された
- 決定
- 配達
- 実証します
- 実証
- 部門
- 展開します
- 展開
- 記載された
- 説明
- 設計
- 詳細な
- 細部
- 開発する
- 発展した
- 開発者
- 開発
- 開発
- デバイス
- Devices
- 異なります
- 取締役
- 配布
- 分散コンピューティング
- 分散システム
- 分散トレーニング
- 異なる
- デッカー
- そうではありません
- ドメイン
- ドメイン
- 薬
- 間に
- 各
- 前
- 簡単に
- エコシステム
- エッジ(Edge)
- 教育
- 有効
- 効率
- 努力
- どちら
- 可能
- エンジニア
- エンジニアリング
- エンジニア
- エンターテインメント
- イベント
- 体験
- 探る
- 容易にする
- 促進する
- 公平
- 家族
- フィギュア
- ファイナル
- 最後に
- ファイナンス
- 名
- 柔軟性
- フレキシブル
- フロー
- 焦点を当て
- 焦点を当てて
- フォロー中
- 次
- フォーチュン
- フレームワーク
- 無料版
- から
- フル
- 機能
- 未来
- Games
- 集まり
- ゲノミクス
- グローバル
- 目標
- 目標
- ガバナンス
- 勾配
- グラフ
- 大きい
- 大いに
- 成長
- 成長性
- ガイドライン
- 健康
- ヘルスケア
- ヒーロー
- 助けます
- 助けました
- 助け
- ことができます
- 高品質
- 非常に
- 病院
- 認定条件
- hpc
- HTTPS
- アイデア
- イメージング
- 実装
- import
- 改善します
- 改善されました
- 改善
- in
- 非アクティブな
- 就任式
- (株)
- 含めて
- 増える
- 産業
- 産業を変えます
- 情報
- インフラ
- イニシアチブ
- 革新的手法
- 革新的な
- 洞察
- 機関
- 関心
- インターフェース
- インターネット
- モノのインターネット
- IOT
- IT
- join
- キー
- 知識
- 知識グラフ
- ラボ
- 欠如
- 言語
- 大
- 大規模
- 層
- 層1
- 層2
- つながる
- リーダー
- 学習
- ツェッペリン
- レベル
- 活用します
- レバレッジ
- 活用
- 図書館
- 生活
- ライフサイエンス
- 生命科学
- 制限
- 耳を傾ける
- 負荷
- ローカル
- 局部的に
- 長い
- インクルード
- ロサンゼルス
- 損失
- 機械
- 機械学習
- 維持する
- メンテナンス
- 主要な
- 作成
- 管理します
- 管理
- マネージャー
- 管理する
- 方法
- 火星
- 意味のある
- メディア
- 医療の
- 薬
- 言及した
- 百万
- 鉱業
- マサチューセッツ工科大学(MIT)
- 軽減する
- ML
- モバイル
- 携帯電話
- モード
- モデル
- モジュラー
- 他には?
- 移動する
- の試合に
- 音楽を聴く際のスピーカーとして
- ナチュラル
- 自然言語処理
- 自然
- 必要
- 新作
- 次の
- オブジェクト
- オブジェクト
- オファー
- ONE
- 開いた
- オープンソース
- 操作する
- 機会
- 組織
- その他
- 外側
- パラダイム
- パラメータ
- 部
- 参加者
- パートナー
- パートナー
- 情熱
- 患者
- 実行する
- パフォーマンス
- 個人化
- カスタマイズ
- ファーマ
- 薬剤
- 携帯電話
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 再生
- ポイント
- 視点
- ポイント
- ポーズ
- ポスト
- 潜在的な
- パワード
- 実用的
- 正確に
- 精度
- 予測する
- 予測
- 現在
- プレゼンテーション
- プレゼント
- 前に
- 主要な
- 校長
- プライバシー
- プライベート
- 問題
- 問題
- プロセス
- ラボレーション
- 処理
- 製品
- 東京大学大学院海洋学研究室教授
- 演奏曲目
- プログラム
- 進捗
- 提案する
- 保護
- プロトコル
- 提供します
- は、大阪で
- 公共
- パブリッククラウド
- 珍しい
- RE
- リーディング
- 現実の世界
- 受け
- 最近
- おすすめ
- 軽減
- 縮小
- よろしく
- 規制
- レギュレータ
- 倉庫
- で表さ
- 必要とする
- 要件
- 必要
- 研究
- それらの
- 結果
- 保持
- レビュー
- リスク
- ロード
- 円形
- ランニング
- 同じ
- 規模
- 科学
- 科学
- 科学者
- 科学者たち
- シームレス
- セクター
- 安全に
- セキュリティ
- Seek
- シニア
- 敏感な
- シリーズ
- サーバー
- サービス
- セッションに
- いくつかの
- シェアする
- shared
- 株式
- シェアリング
- 表示する
- 示す
- 重要
- 同様の
- ウェブサイト
- サイト
- 小さい
- So
- 溶液
- ソリューション
- 解決する
- 一部
- 南部の
- スタンドアロン
- start
- スタートアップ
- 最先端の
- まだ
- 店舗
- 勉強
- 首尾よく
- そのような
- 十分な
- 監督
- サポート
- サポート
- システム
- 取得
- 対象となります
- タスク
- テクノロジー
- テクノロジー
- test
- 情報
- アプリ環境に合わせて
- 治療薬
- したがって、
- 物事
- 考え
- 三
- 時間
- 〜へ
- トレーニング
- 訓練された
- トレーニング
- 試験
- 信頼されている
- 一般的に
- 根本的な
- 理解する
- 単位
- 大学
- アップデイト
- USA
- つかいます
- users
- ユーティリティ
- 価値観
- 多様
- 広大な
- 垂直
- 詳しく見る
- ビジョン
- 極めて重要な
- ボリューム
- ウォークスルー
- which
- while
- 誰
- ワイド
- 以内
- 無し
- 仕事
- 作品
- 書きます
- 書き込み
- 年
- 産出
- You
- ゼファーネット