在 AWS 深度学习挑战 5 年 2022 月 1 日至 2022 年 XNUMX 月 XNUMX 日举行，来自学术界、初创公司和企业组织的参与者加入测试他们的技能并训练他们选择的深度学习模型 亚马逊弹性计算云 （Amazon EC2） DL1 实例 和 Habana 的 SynapseAI SDK。 EC2 DL1 实例由英特尔公司 Habana Labs 的 Gaudi 加速器提供支持，专为训练深度学习模型而设计。 参与者能够意识到 DL1 相对于基于 GPU 的实例具有显着的性价比优势。
我们很高兴地宣布获胜者，并展示在本次黑客马拉松中训练的一些机器学习 (ML) 模型。 您将了解 EC2 DL1 实例支持的一些深度学习用例，包括计算机视觉、自然语言处理和声学建模。
获奖车型
我们的第一名得主是 Gustavo Zomer 提交的项目. 这是多语言的实现 CLIP （对比语言-图像预训练）。 CLIP 于 2021 年由 OpenAI 引入，作为一种通过自我监督学习在更大的数据集上训练更通用的图像分类器的方法。 它在大量图像上进行了训练，这些图像具有各种各样的自然语言监督，这些图像在互联网上大量可用，但仅限于英语。 该项目将 CLIP 中的文本编码器替换为名为 XLM-RoBERTa 的多语言文本编码器，以扩大模型对多种语言的适用性。 这种修改后的 CLIP 实现能够将图像与多种语言的字幕配对。 该模型在两个 DL16 实例上的 1 个加速器上进行了训练，展示了如何扩展 ML 训练以在多个节点上使用多个 Gaudi 加速器来提高训练吞吐量并缩短训练时间。 评委们对深度学习打破语言障碍的有效使用以及使用分布式培训的技术实施印象深刻。
第二，我们有一个 Remco van Akker 提交的项目. 它使用 GAN（生成对抗网络）为医疗应用生成合成视网膜图像数据。 合成数据用于医学应用中的模型训练，以克服带注释的医学数据的稀缺性，这是劳动密集型且生产成本高的问题。 合成数据可用作数据增强的一部分，以消除偏差并使医疗应用中的视觉模型更具通用性。 该项目之所以脱颖而出，是因为它在 DL1 上实施了一个生成模型，以解决影响 AI 和 ML 在医疗保健中应用的现实问题。
我们的前三名是 Zohar Jackson 提交的项目 实现了用于语义分割的视觉转换器模型。 该项目使用 Ray Tune 库来微调超参数，并使用 Horovod 在两个 DL16 实例上的 1 个 Gaudi 加速器上并行训练。
除了前三名获奖者外，参赛者还获得了其他几个奖项，包括最佳技术实施、最高潜在影响和最具创意项目。 我们祝贺本次黑客马拉松的所有获胜者构建了这样一个 多样化的有影响力的项目 在基于 Gaudi 加速器的 EC2 DL1 实例上。 我们迫不及待地想看看我们的参与者将继续在 DL1 实例上构建什么。
开始使用 DL1 实例
正如本次黑客马拉松中的各种项目所展示的，您可以使用 EC2 DL1 实例来训练深度学习模型，以用于自然语言处理、对象检测和图像识别等用例。 与当前一代基于 GPU 的 EC1 实例相比，使用 DL40 实例，您还可以在训练深度学习模型方面获得高达 2% 的性价比。 访问 Amazon EC2 DL1 实例 了解有关 DL1 实例如何加速您的训练工作负载的更多信息。
关于作者
德维·巴杰派 是 AWS 的高级产品经理。 他致力于为机器学习和高性能计算中的工作负载开发 EC2 实例。
阿姆拉格布 是 AWS 的首席解决方案架构师。 他提供技术指导，帮助客户大规模运行复杂的计算工作负载。
斯鲁蒂·科帕卡 是 AWS 的高级产品营销经理。 她帮助客户探索、评估和采用 EC2 加速计算基础架构来满足他们的机器学习需求。
