Ten post został napisany wspólnie przez Zdenko Estok, Cloud Architect w Accenture i Sakara Selimcana, DeepRacer SME w Accenture.
Wraz z rosnącym wykorzystaniem sztucznej inteligencji (AI) i uczenia maszynowego (ML) w ogromnej większości branż (od opieki zdrowotnej po ubezpieczenia, od produkcji po marketing), główny nacisk przesuwa się na efektywność podczas budowania i szkolenia modeli na dużą skalę. Stworzenie skalowalnego i bezproblemowego środowiska do analizy danych ma kluczowe znaczenie. Uruchomienie i skonfigurowanie środowiska dostosowanego do konkretnego przypadku użycia może zająć dużo czasu, a jeszcze trudniejsze jest włączenie współpracowników do współpracy.
Zgodnie z Accenture, firmy, którym uda się skutecznie skalować AI i ML, mogą osiągnąć prawie trzykrotny zwrot z inwestycji. Mimo to nie wszystkie firmy osiągają oczekiwane zwroty z podróży AI/ML. Zestawy narzędzi do automatyzacji infrastruktury stają się niezbędne do poziomego skalowania wysiłków AI/ML w korporacji.
AWS Deep Racer to prosty i przyjemny sposób na rozpoczęcie uczenia się przez wzmacnianie (RL), techniki ML, w której agent odkrywa optymalne działania do podjęcia w danym środowisku. W naszym przypadku byłby to pojazd AWS DeepRacer, próbujący szybko ścigać się po torze. Możesz szybko rozpocząć pracę z RL dzięki praktycznym samouczkom, które przeprowadzą Cię przez podstawy szkolenia modeli RL i przetestują je w ekscytującym, doświadczenie w wyścigach samochodów autonomicznych.
W tym poście pokazano, jak firmy mogą używać infrastruktury jako kodu (IaC) z Zestaw programistyczny AWS Cloud (AWS CDK), aby przyspieszyć tworzenie i replikację wysoce przenośnej infrastruktury i łatwo konkurować o wydarzenia AWS DeepRacer na dużą skalę.
„IaC w połączeniu z zarządzanym środowiskiem Jupyter dało nam to, co najlepsze z obu światów: powtarzalne, wysoce przenośne środowiska do nauki danych, dzięki którym mogliśmy dołączyć do naszych konkurentów AWS DeepRacer, aby skupić się na tym, co robią najlepiej: szybko szkolić szybkie modele”.
– Selimcan Sakar, AWS DeepRacer SME w Accenture.
Omówienie rozwiązania
Koordynacja wszystkich niezbędnych usług zajmuje dużo czasu, jeśli chodzi o tworzenie skalowalnego szablonu, który można zastosować w wielu przypadkach użycia. W przeszłości, Tworzenie chmury AWS szablony zostały utworzone w celu zautomatyzowania tworzenia tych usług. Dzięki postępom w automatyzacji i konfigurowaniu wraz ze wzrostem poziomu abstrakcji w celu konfigurowania różnych środowisk za pomocą narzędzi IaC, AWS CDK jest szeroko stosowany w różnych przedsiębiorstwach. AWS CDK to platforma programistyczna typu open source do definiowania zasobów aplikacji w chmurze. Wykorzystuje znajomość i moc ekspresji języków programowania do modelowania aplikacji, przy jednoczesnym udostępnianiu zasobów w bezpieczny i powtarzalny sposób.
W tym poście umożliwiamy udostępnianie różnych składników wymaganych do przeprowadzania analizy dziennika przy użyciu Amazon Sage Maker na AWS DeepRacer przez AWS CDK konstrukty.
Chociaż wykres analizy w konsoli DeepRacer jest skuteczny i prosty w odniesieniu do przyznanych nagród i osiągniętych postępów, nie daje wglądu w to, jak szybko samochód porusza się po punktach trasy ani jaką linię preferuje samochód na torze . W tym miejscu do gry wchodzi zaawansowana analiza logów. Nasza zaawansowana analiza logów ma na celu zwiększenie efektywności treningu retrospektywnie, aby zrozumieć, które funkcje nagród i przestrzenie akcji działają lepiej niż inne podczas szkolenia wielu modeli i czy model jest przetrenowany, aby zawodnicy mogli trenować mądrzej i osiągać lepsze wyniki przy mniejszej liczbie treningów.
Nasze rozwiązanie opisuje konfigurację środowiska AWS DeepRacer przy użyciu AWS CDK w celu przyspieszenia podróży użytkowników eksperymentujących z analizą logów SageMaker i uczeniem wzmacniającym w AWS na potrzeby wydarzenia AWS DeepRacer.
Administrator może uruchomić skrypt AWS CDK dostępny w pliku GitHub repo za pośrednictwem Konsola zarządzania AWS lub w terminalu po załadowaniu kodu w ich środowisku. Kroki są następujące:
- Otwarte Chmura AWS9 na konsoli.
- Załaduj moduł AWS CDK z GitHub do środowiska AWS Cloud9.
- Skonfiguruj moduł AWS CDK zgodnie z opisem w tym poście.
- Otwórz plik cdk.context.json i sprawdź wszystkie parametry.
- W razie potrzeby zmodyfikuj parametry i uruchom polecenie AWS CDK z wybraną osobą, aby uruchomić skonfigurowane środowisko odpowiednie dla tej osoby.
Poniższy schemat ilustruje architekturę rozwiązania.
Z pomocą AWS CDK możemy kontrolować wersje naszych udostępnionych zasobów i mieć wysoce przenośne środowisko, które jest zgodne z najlepszymi praktykami na poziomie przedsiębiorstwa.
Wymagania wstępne
Aby udostępnić środowiska ML z AWS CDK, spełnij następujące wymagania wstępne:
- Mieć dostęp do konta AWS i uprawnień w regionie, aby wdrażać niezbędne zasoby dla różnych osób. Upewnij się, że masz poświadczenia i uprawnienia do wdrożenia stosu AWS CDK na swoim koncie.
- Zalecamy przestrzeganie pewnych najlepszych praktyk, które są opisane w koncepcjach wyszczególnionych w następujących zasobach:
- Sklonuj GitHub repo do swojego środowiska.
Wdróż portfel na swoje konto
W tym wdrożeniu używamy AWS Cloud9 do stworzenia środowiska data science przy użyciu AWS CDK.
- Przejdź do konsoli AWS Cloud9.
- Określ typ środowiska, typ instancji i platformę.
- Określ swoje AWS Zarządzanie tożsamością i dostępem (IAM), rola VPC i podsieć.
- W swoim środowisku AWS Cloud9 utwórz nowy folder o nazwie DeepRacer.
- Uruchom następujące polecenie, aby zainstalować AWS CDK i upewnij się, że masz odpowiednie zależności do wdrożenia portfela:
- Aby sprawdzić, czy AWS CDK został zainstalowany i uzyskać dostęp do dokumentów, uruchom następujące polecenie w swoim terminalu (powinno ono przekierować Cię do dokumentacji AWS CDK):
- Teraz możemy sklonować repozytorium AWS DeepRacer z GitHub.
- Otwórz sklonowane repozytorium w AWS Cloud9:
Po zapoznaniu się z treścią w DeepRacer_cdk
katalog, pojawi się plik o nazwie package.json
ze zdefiniowanymi wszystkimi wymaganymi modułami i zależnościami. Tutaj możesz zdefiniować swoje zasoby w module.
- Następnie zainstaluj wszystkie wymagane moduły i zależności dla aplikacji AWS CDK:
Spowoduje to syntezę odpowiedniego szablonu CloudFormation.
- Aby uruchomić wdrożenie, zmień plik context.json z nazwami parametrów lub jawnie zdefiniuj je w czasie wykonywania:
Następujące komponenty są tworzone do analizy logów AWS DeepRacer na podstawie uruchomienia skryptu:
- An Rola IAM dla notebooka SageMaker z zarządzaną polityką
- A Instancja notebooka SageMaker z typem instancji jawnie dodanym jako parametr kontekstu cdk lub wartością domyślną przechowywaną w pliku context.json
- VPC z CIDR, jak określono w pliku context.json, wraz z czterema skonfigurowanymi podsieciami publicznymi
- Nowa grupa zabezpieczeń dla instancji notebooka Sagemaker umożliwiająca komunikację w ramach VPC
- Zasady cyklu życia SageMaker ze skryptem bash, który wstępnie ładuje zawartość innego Repozytorium GitHub, który zawiera pliki, których używamy do uruchamiania analizy logów na modelach AWS DeepRacer
- Możesz uruchomić stos AWS CDK w następujący sposób:
- Przejdź do konsoli AWS CloudFormation w regionie, w którym wdrożono stos, aby zweryfikować zasoby.
Teraz użytkownicy mogą zacząć korzystać z tych usług do pracy z analizą logów i głębokim szkoleniem modelu RL w SageMaker dla AWS DeepRacer.
Testowanie modułów
Możesz także uruchomić kilka testów jednostkowych przed wdrożeniem stosu, aby sprawdzić, czy przypadkowo nie usunąłeś żadnych wymaganych zasobów. Testy jednostkowe znajdują się w DeepRacer/test/deep_racer.test.ts
i można go uruchomić za pomocą następującego kodu:
Generuj diagramy za pomocą cdk-dia
Aby wygenerować diagramy, wykonaj następujące kroki:
- Zainstalować
graphviz
za pomocą narzędzi systemu operacyjnego:
Spowoduje to zainstalowanie aplikacji cdk-dia.
- Teraz uruchom następujący kod:
Graficzna reprezentacja stosu AWS CDK zostanie zapisana w formacie .png.
Po wykonaniu powyższych kroków powinieneś zobaczyć proces tworzenia wystąpienia notesu ze stanem Do czasu. Gdy stan wystąpienia notesu to Czynny (jak pokazano na poniższym zrzucie ekranu), możesz przejść do kolejnych kroków.
- Dodaj Otwórz Jupyter aby rozpocząć uruchamianie skryptu w języku Python w celu przeprowadzenia analizy dziennika.
Aby uzyskać dodatkowe informacje na temat analizy logów przy użyciu AWS DeepRacer i powiązanych wizualizacji, zobacz Używanie analizy logów do przeprowadzania eksperymentów i wygrywania wyścigu AWS DeepRacer F1 ProAm.
Sprzątać
Aby uniknąć opłat bieżących, wykonaj następujące czynności:
- Użyj cdk destroy, aby usunąć zasoby utworzone za pomocą AWS CDK.
- W konsoli AWS CloudFormation usuń stos CloudFormation.
Wnioski
Wydarzenia AWS DeepRacer to świetny sposób na wzbudzenie zainteresowania i poszerzenie wiedzy ML na wszystkich filarach i poziomach organizacji. W tym poście podzieliliśmy się tym, jak możesz skonfigurować dynamiczne środowisko AWS DeepRacer i skonfigurować selektywne usługi, aby przyspieszyć podróż użytkowników na platformie AWS. Omówiliśmy, jak tworzyć usługi Amazon SageMaker Notebook Instance, role IAM, konfigurację cyklu życia notebooka SageMaker z najlepszymi praktykami, VPC i Elastyczna chmura obliczeniowa Amazon (Amazon EC2) w oparciu o identyfikację kontekstu za pomocą AWS CDK i skalowanie dla różnych użytkowników za pomocą AWS DeepRacer.
Skonfiguruj środowisko CDK i uruchom notatnik zaawansowanej analizy logów, aby zapewnić efektywność działania modułu. Pomóż zawodnikom osiągnąć lepsze wyniki w krótszym czasie i uzyskaj szczegółowy wgląd w funkcje nagród i działania.
Referencje
Więcej informacji można znaleźć w następujących zasobach:
- Zautomatyzuj konfigurację Amazon SageMaker Studio za pomocą AWS CDK
- Dokumentacja API AWS SageMaker CDK
O autorach
Zdenko Estok pracuje jako architekt chmury i inżynier DevOps w Accenture. Współpracuje z AABG przy opracowywaniu i wdrażaniu innowacyjnych rozwiązań chmurowych. Specjalizuje się w infrastrukturze jako kodzie i bezpieczeństwie chmury. Zdenko lubi jeździć do biura na rowerze i lubi spacery na łonie natury.
Selimcan „Can” Sakar jest deweloperem i architektem rozwiązań w chmurze w Accenture, skupiającym się na sztucznej inteligencji i pasjonującym się obserwowaniem konwergencji modeli.
Szikhara Kwatry jest architektem rozwiązań specjalistycznych AI/ML w Amazon Web Services, współpracującym z wiodącym globalnym integratorem systemów. Shikhar pomaga w projektowaniu, budowaniu i utrzymywaniu ekonomicznych, skalowalnych środowisk chmurowych dla organizacji oraz wspiera partnera GSI w budowaniu strategicznych rozwiązań branżowych na AWS. Shikhar lubi grać na gitarze, komponować muzykę i ćwiczyć uważność w wolnym czasie.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Zdolny
- przyśpieszyć
- Accenture
- dostęp
- przypadkowo
- Konto
- Osiągać
- osiągnięty
- w poprzek
- Działania
- działania
- w dodatku
- Dodatkowy
- przyjęty
- zaawansowany
- postępy
- Po
- Agent
- AI
- AI / ML
- AIDS
- Cele
- Wszystkie kategorie
- Pozwalać
- Amazonka
- Amazon EC2
- Amazon Sage Maker
- Studio Amazon SageMaker
- Amazon Web Services
- ilość
- analiza
- i
- Inne
- api
- Aplikacja
- Zastosowanie
- aplikacje
- stosowany
- architektura
- na około
- sztuczny
- sztuczna inteligencja
- Sztuczna inteligencja (AI)
- pomagać
- powiązany
- zautomatyzować
- Automatyzacja
- dostępny
- AWS
- Chmura AWS9
- Tworzenie chmury AWS
- AWS Deep Racer
- na podstawie
- bash
- Podstawy
- stają się
- zanim
- jest
- BEST
- Najlepsze praktyki
- Ulepsz Swój
- przynieść
- Budowanie
- nazywa
- Może uzyskać
- wózek
- walizka
- Etui
- pewien
- zmiana
- Opłaty
- Chmura
- Cloud Security
- Cloud9
- kod
- współpracować
- koledzy
- połączony
- Komunikacja
- Firmy
- rywalizować
- konkurenci
- kompletny
- składniki
- obliczać
- Koncepcje
- systemu
- znaczny
- Konsola
- zawiera
- zawartość
- kontekst
- kontrola
- zbieżny
- KORPORACJA
- Odpowiedni
- Stwórz
- stworzony
- Tworzenie
- tworzenie
- Listy uwierzytelniające
- dane
- nauka danych
- głęboko
- Domyślnie
- zdefiniowane
- rozwijać
- wdrażane
- wdrażanie
- Wdrożenie
- opisane
- zniszczyć
- szczegółowe
- detale
- rozwijać
- Deweloper
- oprogramowania
- schematy
- różne
- Odkrywa
- omówione
- dokumentacja
- Nie
- napęd
- podczas
- dynamiczny
- z łatwością
- Efektywne
- efektywność
- skutecznie
- starania
- bądź
- umożliwiać
- inżynier
- na poziomie przedsiębiorstwa
- przedsiębiorstwa
- Środowisko
- środowiska
- niezbędny
- Parzyste
- wydarzenie
- wydarzenia
- ekscytujący
- spodziewany
- ekspresyjny
- f1
- Znajomość
- FAST
- filet
- Akta
- i terminów, a
- Skupiać
- następujący
- następujący sposób
- format
- Framework
- od
- zabawa
- Funkcje
- Wzrost
- Generować
- otrzymać
- GitHub
- Dać
- dany
- Globalne
- udzielony
- wykres
- wspaniały
- Zarządzanie
- poprowadzi
- hands-on
- opieki zdrowotnej
- pomoc
- Podświetlony
- wysoko
- Poziomy
- W jaki sposób
- How To
- HTML
- HTTPS
- identyfikacja
- tożsamość
- wdrożenia
- in
- Zwiększać
- wzrastający
- przemysłowa
- przemysł
- Informacja
- Infrastruktura
- Innowacyjny
- wgląd
- spostrzeżenia
- zainstalować
- zainstalowany
- przykład
- ubezpieczenie
- Inteligencja
- odsetki
- Inwestycje
- IT
- podróż
- json
- Klawisz
- Uprzejmy
- wiedza
- Języki
- uruchomić
- prowadzący
- nauka
- poziomy
- Linia
- załadunek
- usytuowany
- maszyna
- uczenie maszynowe
- Większość
- robić
- zarządzanie
- zarządzane
- i konserwacjami
- sposób
- produkcja
- Marketing
- Poznaj nasz
- Uważność
- ML
- model
- modele
- Moduł
- Moduły
- porusza się
- wielokrotność
- Muzyka
- Nazwy
- Natura
- prawie
- niezbędny
- Nowości
- Następny
- notatnik
- Biurowe
- Onboard
- trwający
- open source
- Oprogramowanie typu open source
- operacyjny
- system operacyjny
- Optymalny
- zamówienie
- organizacja
- Pozostałe
- parametr
- parametry
- partnerem
- pasja
- Przeszłość
- wykonywania
- uprawnienia
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- Grać
- gra
- polityka
- teczka
- Post
- power
- praktyki
- warunki wstępne
- pierwotny
- wygląda tak
- Programowanie
- języki programowania
- Postęp
- pod warunkiem,
- zaopatrzenie
- publiczny
- Python
- szybko
- Wyścig
- racers
- Bridgestone
- podnieść
- nośny
- polecić
- przekierowanie
- w sprawie
- region
- usunąć
- powtarzalne
- replikacja
- składnica
- reprezentacja
- wymagany
- Zasoby
- Efekt
- powrót
- powraca
- przeglądu
- Nagradzać
- Nagrody
- Rola
- role
- run
- bieganie
- "bezpiecznym"
- sagemaker
- skalowalny
- Skala
- skala ai
- skalowaniem
- nauka
- bezpieczeństwo
- selektywny
- Usługi
- zestaw
- ustawienie
- shared
- Przesunięcia
- powinien
- pokazane
- Targi
- Prosty
- mądrzejszy
- EMS
- So
- Tworzenie
- rozwoju oprogramowania
- rozwiązanie
- Rozwiązania
- kilka
- obowiązuje
- specjalista
- specjalizuje się
- specyficzny
- określony
- stos
- początek
- rozpoczęty
- Rynek
- Cel
- Nadal
- przechowywany
- bezpośredni
- Strategiczny
- studio
- podsieci
- podsieci
- podpory
- system
- dostosowane
- Brać
- trwa
- szablon
- Szablony
- terminal
- test
- Testy
- Połączenia
- Podstawy
- ich
- Przez
- czas
- do
- narzędzia
- śledzić
- Pociąg
- Trening
- Potroić
- tutoriale
- zrozumieć
- jednostka
- us
- posługiwać się
- przypadek użycia
- Użytkownicy
- wartość
- różnorodny
- Naprawiono
- pojazd
- zweryfikować
- wersja
- przez
- oglądania
- sieć
- usługi internetowe
- Co
- czy
- który
- Podczas
- szeroko
- będzie
- wygrać
- w ciągu
- Praca
- pracujący
- działa
- świat
- by
- You
- Twój
- zefirnet