AWS Deep Learning Challenge widzi innowacyjne i efektywne wykorzystanie instancji Amazon EC2 DL1

W Wyzwanie głębokiego uczenia AWS odbywających się od 5 stycznia 2022 do 1 marca 2022, uczestnicy ze środowisk akademickich, startupów i organizacji korporacyjnych połączyli się, aby sprawdzić swoje umiejętności i przeszkolić wybrany przez siebie model głębokiego uczenia się za pomocą Elastyczna chmura obliczeniowa Amazon (Amazonka EC2) Instancje DL1 i Habana's SynapseAI SDK. Instancje EC2 DL1 obsługiwane przez akceleratory Gaudi firmy Habana Labs, firmy Intel, są zaprojektowane specjalnie do trenowania modeli uczenia głębokiego. Uczestnicy mogli zdać sobie sprawę ze znaczących korzyści w zakresie stosunku ceny do wydajności, jakie oferuje DL1 w porównaniu z instancjami opartymi na GPU.

Z radością ogłaszamy zwycięzców i prezentujemy niektóre modele uczenia maszynowego (ML), które zostały przeszkolone podczas tego hackathonu. Dowiesz się o niektórych przypadkach użycia głębokiego uczenia, które są obsługiwane przez instancje EC2 DL1, w tym o wizji komputerowej, przetwarzaniu języka naturalnego i modelowaniu akustycznym.

Zwycięskie modele

Naszym zdobywcą pierwszego miejsca jest projekt zgłoszony przez Gustavo Zomer. To implementacja wielojęzycznego CLIP (Wstępne szkolenie językowe z obrazem kontrastowym). CLIP został wprowadzony przez OpenAI w 2021 roku jako sposób na trenowanie bardziej uogólniającego klasyfikatora obrazów w większych zbiorach danych poprzez samonadzorowane uczenie się. Jest wyszkolony na dużym zestawie obrazów z szeroką gamą nadzoru języka naturalnego, który jest szeroko dostępny w Internecie, ale ogranicza się do języka angielskiego. Ten projekt zastępuje koder tekstu w CLIP wielojęzycznym koderem tekstu o nazwie XLM-RoBERTa, aby rozszerzyć zastosowanie modelu na wiele języków. Ta zmodyfikowana implementacja CLIP jest w stanie łączyć obrazy z podpisami w wielu językach. Model został przeszkolony na 16 akceleratorach w dwóch instancjach DL1, pokazując, jak można skalować szkolenie ML, aby używać wielu akceleratorów Gaudi w wielu węzłach w celu zwiększenia przepustowości szkolenia i skrócenia czasu uczenia. Jurorzy byli pod wrażeniem efektywnego wykorzystania głębokiego uczenia się do przełamywania barier językowych oraz technicznego wdrożenia, które wykorzystywało szkolenie rozproszone.

Na drugim miejscu mamy projekt zgłoszony przez Remco van Akker. Wykorzystuje GAN (Generative Adversarial Network) do generowania syntetycznych danych obrazu siatkówki do zastosowań medycznych. Dane syntetyczne są wykorzystywane do uczenia modeli w zastosowaniach medycznych w celu przezwyciężenia niedoboru danych medycznych z adnotacjami, co jest pracochłonne i kosztowne w produkcji. Dane syntetyczne mogą być wykorzystywane jako część wzbogacania danych w celu usunięcia błędów systematycznych i uczynienia modeli wizyjnych w zastosowaniach medycznych bardziej uogólnionymi. Projekt ten wyróżniał się, ponieważ zaimplementował model generatywny na DL1, aby rozwiązać rzeczywisty problem mający wpływ na zastosowanie AI i ML w opiece zdrowotnej.

Dopełnieniem naszych trzech najlepszych było? projekt zgłoszony przez Zohara Jackson który zaimplementował model transformatora wizyjnego do segmentacji semantycznej. Ten projekt wykorzystuje bibliotekę Ray Tune do precyzyjnego dostrajania hiperparametrów i używa Horovod do zrównoleglenia treningu na 16 akceleratorach Gaudi w dwóch instancjach DL1.

Oprócz trzech najlepszych zwycięzców, uczestnicy zdobyli kilka innych nagród, w tym najlepsze wdrożenie techniczne, największy potencjalny wpływ i najbardziej kreatywny projekt. Serdecznie gratulujemy wszystkim zwycięzcom tego hackathonu za zbudowanie takiego różnorodny zestaw efektownych projektów na instancjach EC2 DL1 opartych na akceleratorach Gaudi. Nie możemy się doczekać, aby zobaczyć, co nasi uczestnicy będą dalej budować na instancjach DL1 w przyszłości.

Zacznij korzystać z instancji DL1

Jak pokazano w różnych projektach w tym hackathonie, możesz używać instancji EC2 DL1 do trenowania modeli uczenia głębokiego dla przypadków użycia, takich jak przetwarzanie języka naturalnego, wykrywanie obiektów i rozpoznawanie obrazów. Dzięki instancjom DL1 zyskujesz nawet o 40% lepszy stosunek ceny do wydajności do trenowania modeli uczenia głębokiego w porównaniu z instancjami EC2 opartymi na procesorach graficznych obecnej generacji. Wizyta Wystąpienia Amazon EC2 DL1 aby dowiedzieć się więcej o tym, jak instancje DL1 mogą przyspieszyć obciążenia treningowe.

O autorach

Dvij Bajpai jest starszym menedżerem produktu w AWS. Zajmuje się tworzeniem instancji EC2 dla obciążeń w uczeniu maszynowym i obliczeniach o wysokiej wydajności.

Amra Ragaba jest głównym architektem rozwiązań w AWS. Zapewnia wskazówki techniczne, aby pomóc klientom w obsłudze złożonych obciążeń obliczeniowych na dużą skalę.

Shruti Koparkar jest starszym menedżerem ds. marketingu produktów w AWS. Pomaga klientom odkrywać, oceniać i dostosowywać akcelerowaną infrastrukturę obliczeniową EC2 do ich potrzeb w zakresie uczenia maszynowego.