AWS 深層学習チャレンジ 5 年 2022 月 1 日から 2022 年 XNUMX 月 XNUMX 日まで開催され、学界、スタートアップ企業、企業組織からの参加者が参加して、スキルをテストし、選択した深層学習モデルをトレーニングします。 アマゾン エラスティック コンピューティング クラウド （Amazon EC2） DL1 インスタンス そしてHabanaのSynapseAI SDK。 Intel の企業である Habana Labs の Gaudi アクセラレータを搭載した EC2 DL1 インスタンスは、深層学習モデルのトレーニング専用に設計されています。 参加者は、GPU ベースのインスタンスよりも DL1 が提供する価格とパフォーマンスの大幅なメリットを実感できました。
受賞者を発表し、このハッカソンでトレーニングされた機械学習 (ML) モデルの一部を紹介できることを嬉しく思います。 コンピュータビジョン、自然言語処理、音響モデリングなど、EC2 DL1 インスタンスでサポートされている深層学習のユースケースについて学びます。
優勝モデル
私たちの第XNUMX位の勝者は Gustavo Zomer によって提出されたプロジェクト. 多言語化の実装です CLIP (対照的な言語イメージの事前トレーニング)。 CLIP は、2021 年に OpenAI によって、自己教師あり学習を通じてより大きなデータセット全体でより一般化可能な画像分類器をトレーニングする方法として導入されました。 これは、インターネット上で豊富に利用できるさまざまな自然言語監視を備えた大量の画像セットでトレーニングされていますが、英語に限定されています。 このプロジェクトは、CLIP のテキスト エンコーダーを XLM-RoBERTa と呼ばれる多言語テキスト エンコーダーに置き換えて、モデルの適用範囲を複数の言語に広げます。 この変更された CLIP の実装は、複数の言語にわたって画像とキャプションを組み合わせることができます。 モデルは 16 つの DL1 インスタンスにまたがる XNUMX のアクセラレーターでトレーニングされ、複数のノードで複数の Gaudi アクセラレーターを使用するように ML トレーニングをスケーリングして、トレーニングのスループットを向上させ、トレーニングにかかる時間を短縮する方法を示しました。 審査員は、言葉の壁を打ち破るためのディープ ラーニングの効果的な使用と、分散トレーニングを使用した技術的な実装に感銘を受けました。
XNUMX 番目に、 Remco van Akker によって提出されたプロジェクト. GAN (Generative Adversarial Network) を使用して、医療アプリケーション用の合成網膜画像データを生成します。 合成データは、医療アプリケーションのモデル トレーニングで使用され、労働集約的で生産コストがかかる注釈付き医療データの不足を克服します。 合成データをデータ拡張の一部として使用して、バイアスを取り除き、医療アプリケーションのビジョン モデルをより一般化できます。 このプロジェクトは、ヘルスケアにおける AI と ML の適用に影響を与える現実世界の問題を解決するために DL1 に生成モデルを実装したため、際立っていました。
トップXNUMXを締めくくるのは Zohar Jackson によって提出されたプロジェクト セマンティック セグメンテーション用のビジョン トランスフォーマー モデルを実装しました。 このプロジェクトでは、Ray Tune ライブラリを使用してハイパーパラメーターを微調整し、Horovod を使用して、16 つの DL1 インスタンスにまたがる XNUMX 個の Gaudi アクセラレーターでトレーニングを並列化します。
上位 XNUMX 名の受賞者に加えて、参加者は、最高の技術的実装、最高の潜在的影響、最も創造的なプロジェクトなど、いくつかの賞を受賞しました。 このようなハッカソンを構築したすべての受賞者にお祝いを申し上げます。 インパクトのあるプロジェクトの多様なセット Gaudi アクセラレータ ベースの EC2 DL1 インスタンスで。 参加者が今後も DL1 インスタンスで何を構築していくのか楽しみです。
DL1 インスタンスの使用を開始する
このハッカソンのさまざまなプロジェクトで実証されているように、EC2 DL1 インスタンスを使用して、自然言語処理、オブジェクト検出、画像認識などのユースケース向けの深層学習モデルをトレーニングできます。 DL1 インスタンスを使用すると、現行世代の GPU ベースの EC40 インスタンスと比較して、深層学習モデルのトレーニングの価格/パフォーマンスが最大 2% 向上します。 訪問 Amazon EC2 DL1 インスタンス DL1 インスタンスがトレーニング ワークロードをどのように高速化できるかについての詳細をご覧ください。
著者について
ドヴィ・バジパイ AWS のシニア プロダクト マネージャーです。 彼は、機械学習とハイパフォーマンス コンピューティングのワークロード用の EC2 インスタンスの開発に取り組んでいます。
アムル・ラガブ AWS のプリンシパル ソリューション アーキテクトです。 彼は、お客様が複雑な計算ワークロードを大規模に実行できるように技術的なガイダンスを提供しています。
シュルティ・コパーカー AWS のシニア プロダクト マーケティング マネージャーです。 彼女は、顧客が機械学習のニーズに合わせて EC2 アクセラレーテッド コンピューティング インフラストラクチャを調査、評価、採用するのを支援しています。
