Dieser Beitrag wurde gemeinsam von Zdenko Estok, Cloud Architect bei Accenture und Sakar Selimcan, DeepRacer SME bei Accenture, verfasst.
Mit dem zunehmenden Einsatz von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) für die überwiegende Mehrheit der Branchen (vom Gesundheitswesen bis zum Versicherungswesen, von der Fertigung bis zum Marketing) verlagert sich der Hauptfokus auf die Effizienz beim Erstellen und Trainieren von Modellen in großem Maßstab. Die Schaffung einer skalierbaren und problemlosen Data-Science-Umgebung ist der Schlüssel. Es kann viel Zeit in Anspruch nehmen, eine Umgebung zu starten und zu konfigurieren, die auf einen bestimmten Anwendungsfall zugeschnitten ist, und es kann noch schwieriger sein, Kollegen für die Zusammenarbeit einzubinden.
Laut Accenture, können Unternehmen, denen es gelingt, KI und ML effizient zu skalieren, eine fast dreifache Rendite erzielen. Dennoch erreichen nicht alle Unternehmen ihre erwarteten Renditen auf ihrer KI/ML-Reise. Toolkits zur Automatisierung der Infrastruktur werden für die horizontale Skalierung von KI/ML-Bemühungen innerhalb eines Unternehmens unerlässlich.
AWS Deep Racer ist eine einfache und unterhaltsame Möglichkeit, mit Reinforcement Learning (RL) zu beginnen, einer ML-Technik, bei der ein Agent die optimalen Aktionen in einer bestimmten Umgebung entdeckt. In unserem Fall wäre das ein AWS DeepRacer-Fahrzeug, das versucht, schnell um eine Strecke zu fahren. Mit praktischen Tutorials, die Sie durch die Grundlagen des Trainings von RL-Modellen führen und diese in einem spannenden, autonomes Autorennerlebnis.
Dieser Beitrag zeigt, wie Unternehmen Infrastructure as Code (IaC) mit dem nutzen können AWS Cloud-Entwicklungskit (AWS CDK), um die Erstellung und Replikation einer hochgradig übertragbaren Infrastruktur zu beschleunigen und problemlos um AWS DeepRacer-Veranstaltungen in großem Maßstab zu konkurrieren.
„IaC in Kombination mit einer verwalteten Jupyter-Umgebung gab uns das Beste aus beiden Welten: wiederholbare, hochgradig übertragbare Data-Science-Umgebungen, in denen wir unsere AWS DeepRacer-Konkurrenten integrieren konnten, um uns auf das zu konzentrieren, was sie am besten können: schnelle Modelle schnell trainieren.“
– Selimcan Sakar, AWS DeepRacer KMU bei Accenture.
Lösungsüberblick
Die Orchestrierung aller erforderlichen Dienste nimmt viel Zeit in Anspruch, wenn es darum geht, eine skalierbare Vorlage zu erstellen, die für mehrere Anwendungsfälle angewendet werden kann. In der Vergangenheit, AWS CloudFormation Es wurden Vorlagen erstellt, um die Erstellung dieser Dienste zu automatisieren. Mit den Fortschritten in der Automatisierung und Konfiguration mit zunehmenden Abstraktionsebenen zum Einrichten verschiedener Umgebungen mit IaC-Tools wird das AWS CDK in verschiedenen Unternehmen weit verbreitet. Das AWS CDK ist ein Open-Source-Softwareentwicklungs-Framework zum Definieren Ihrer Cloud-Anwendungsressourcen. Es nutzt die Vertrautheit und Ausdruckskraft von Programmiersprachen zum Modellieren Ihrer Anwendungen und stellt gleichzeitig Ressourcen auf sichere und wiederholbare Weise bereit.
In diesem Beitrag ermöglichen wir die Bereitstellung verschiedener Komponenten, die für die Durchführung von Protokollanalysen erforderlich sind Amazon Sage Maker auf AWS DeepRacer über AWS CDK Konstrukte.
Obwohl das in der DeepRacer-Konsole bereitgestellte Analysediagramm in Bezug auf die gewährten Belohnungen und den erzielten Fortschritt effektiv und unkompliziert ist, gibt es keinen Einblick darüber, wie schnell sich das Auto durch die Wegpunkte bewegt oder welche Art von Linie das Auto um die Strecke herum bevorzugt . Hier kommt die erweiterte Protokollanalyse ins Spiel. Unsere fortschrittliche Protokollanalyse zielt darauf ab, das Training im Nachhinein effizienter zu gestalten, um zu verstehen, welche Belohnungsfunktionen und Aktionsräume beim Training mehrerer Modelle besser funktionieren als die anderen und ob ein Modell überangepasst ist, damit Rennfahrer intelligenter trainieren und mit weniger Training bessere Ergebnisse erzielen können.
Unsere Lösung beschreibt eine AWS DeepRacer-Umgebungskonfiguration unter Verwendung des AWS CDK, um die Reise von Benutzern zu beschleunigen, die mit SageMaker-Protokollanalyse und Reinforcement Learning auf AWS für ein AWS DeepRacer-Event experimentieren.
Ein Administrator kann das in bereitgestellte AWS CDK-Skript ausführen GitHub Repo über das AWS-Managementkonsole oder im Terminal nach dem Laden des Codes in ihre Umgebung. Die Schritte sind wie folgt:
- Offen AWS Cloud9 auf der Konsole.
- Laden Sie das AWS CDK-Modul von GitHub in die AWS Cloud9-Umgebung.
- Konfigurieren Sie das AWS CDK-Modul wie in diesem Beitrag beschrieben.
- Öffnen Sie die Datei cdk.context.json und überprüfen Sie alle Parameter.
- Ändern Sie die Parameter nach Bedarf und führen Sie den AWS CDK-Befehl mit der beabsichtigten Persona aus, um die für diese Persona geeignete konfigurierte Umgebung zu starten.
Das folgende Diagramm zeigt die Lösungsarchitektur.
Mithilfe des AWS CDK können wir unsere bereitgestellten Ressourcen versionieren und verfügen über eine hochgradig transportable Umgebung, die den Best Practices auf Unternehmensebene entspricht.
Voraussetzungen:
Um ML-Umgebungen mit dem AWS CDK bereitzustellen, erfüllen Sie die folgenden Voraussetzungen:
- Zugriff auf ein AWS-Konto und Berechtigungen innerhalb der Region haben, um die erforderlichen Ressourcen für verschiedene Personas bereitzustellen. Stellen Sie sicher, dass Sie über die Anmeldeinformationen und Berechtigungen verfügen, um den AWS CDK-Stack in Ihrem Konto bereitzustellen.
- Wir empfehlen, bestimmte Best Practices zu befolgen, die durch die in den folgenden Ressourcen beschriebenen Konzepte hervorgehoben werden:
- Klonen Sie die GitHub Repo in Ihre Umgebung.
Stellen Sie das Portfolio in Ihrem Konto bereit
In dieser Bereitstellung verwenden wir AWS Cloud9, um eine Data-Science-Umgebung mit dem AWS CDK zu erstellen.
- Navigieren Sie zur AWS Cloud9-Konsole.
- Geben Sie Ihren Umgebungstyp, Instance-Typ und Ihre Plattform an.
- Geben Sie Ihre AWS Identity and Access Management and (IAM)-Rolle, VPC und Subnetz.
- Erstellen Sie in Ihrer AWS Cloud9-Umgebung einen neuen Ordner namens DeepRacer.
- Führen Sie den folgenden Befehl aus, um das AWS CDK zu installieren, und stellen Sie sicher, dass Sie über die richtigen Abhängigkeiten zum Bereitstellen des Portfolios verfügen:
- Um zu überprüfen, ob das AWS CDK installiert wurde, und um auf die Dokumente zuzugreifen, führen Sie den folgenden Befehl in Ihrem Terminal aus (es sollte Sie zur AWS CDK-Dokumentation weiterleiten):
- Jetzt können wir das AWS DeepRacer-Repository klonen GitHub.
- Öffnen Sie das geklonte Repository in AWS Cloud9:
Nachdem Sie den Inhalt in der überprüft haben DeepRacer_cdk
Verzeichnis, gibt es eine Datei namens package.json
mit allen erforderlichen Modulen und Abhängigkeiten definiert. Hier können Sie Ihre Ressourcen in einem Modul definieren.
- Installieren Sie als Nächstes alle erforderlichen Module und Abhängigkeiten für die AWS CDK-App:
Dadurch wird die entsprechende CloudFormation-Vorlage synthetisiert.
- Um das Deployment auszuführen, ändern Sie entweder die Datei context.json mit Parameternamen oder definieren sie explizit während der Laufzeit:
Die folgenden Komponenten werden für die AWS DeepRacer-Protokollanalyse basierend auf der Ausführung des Skripts erstellt:
- An IAM-Rolle für das SageMaker-Notebook mit einer verwalteten Richtlinie
- A SageMaker-Notebook-Instanz wobei der Instance-Typ entweder explizit als cdk-Kontextparameter hinzugefügt oder als Standardwert in der Datei „context.json“ gespeichert wird
- Eine VPC mit CIDR, wie in der Datei context.json angegeben, zusammen mit vier konfigurierten öffentlichen Subnetzen
- Eine neue Sicherheitsgruppe für die Sagemaker-Notebook-Instance, die die Kommunikation innerhalb der VPC ermöglicht
- Eine SageMaker-Lebenszyklusrichtlinie mit einem Bash-Skript, das den Inhalt einer anderen vorab lädt GitHub-Repository, die die Dateien enthält, die wir zum Ausführen der Protokollanalyse auf den AWS DeepRacer-Modellen verwenden
- Sie können den AWS CDK-Stack wie folgt ausführen:
- Gehen Sie zur AWS CloudFormation-Konsole in der Region, in der der Stack bereitgestellt wird, um die Ressourcen zu überprüfen.
Jetzt können Benutzer diese Dienste nutzen, um mit Protokollanalysen und tiefgreifendem RL-Modelltraining auf SageMaker für AWS DeepRacer zu arbeiten.
Modulprüfung
Sie können auch einige Komponententests ausführen, bevor Sie den Stack bereitstellen, um sicherzustellen, dass Sie nicht versehentlich erforderliche Ressourcen entfernt haben. Die Unit-Tests befinden sich in DeepRacer/test/deep_racer.test.ts
und kann mit folgendem Code ausgeführt werden:
Erstellen Sie Diagramme mit cdk-dia
Führen Sie die folgenden Schritte aus, um Diagramme zu generieren:
- Installieren
graphviz
Verwenden Sie die Tools Ihres Betriebssystems:
Dadurch wird die cdk-dia-Anwendung installiert.
- Führen Sie nun den folgenden Code aus:
Eine grafische Darstellung Ihres AWS CDK-Stacks wird im PNG-Format gespeichert.
Nachdem Sie die vorherigen Schritte ausgeführt haben, sollten Sie den Erstellungsprozess der Notebook-Instance mit Status sehen können Zu überprüfen. Wenn der Status der Notebook-Instance lautet Im Dienst (wie im folgenden Screenshot gezeigt), können Sie mit den nächsten Schritten fortfahren.
- Auswählen Öffne Jupyter um das Python-Skript zum Durchführen der Protokollanalyse auszuführen.
Weitere Details zur Protokollanalyse mit AWS DeepRacer und zugehörigen Visualisierungen finden Sie unter Verwenden von Protokollanalysen, um Experimente voranzutreiben und das AWS DeepRacer F1 ProAm Race zu gewinnen.
Aufräumen
Führen Sie die folgenden Schritte aus, um laufende Gebühren zu vermeiden:
- Verwenden Sie cdk Destroy, um die über das AWS CDK erstellten Ressourcen zu löschen.
- Löschen Sie in der AWS CloudFormation-Konsole den CloudFormation-Stack.
Zusammenfassung
AWS DeepRacer-Veranstaltungen sind eine großartige Möglichkeit, das Interesse zu wecken und das ML-Wissen über alle Säulen und Ebenen einer Organisation hinweg zu erweitern. In diesem Beitrag haben wir mitgeteilt, wie Sie eine dynamische AWS DeepRacer-Umgebung konfigurieren und ausgewählte Dienste einrichten können, um die Reise der Benutzer auf der AWS-Plattform zu beschleunigen. Wir haben besprochen, wie Sie Dienste erstellen Amazon SageMaker Notebook Instance, IAM-Rollen, SageMaker Notebook-Lebenszykluskonfiguration mit Best Practices, eine VPC und Amazon Elastic Compute-Cloud (Amazon EC2)-Instances basierend auf der Identifizierung des Kontexts mit dem AWS CDK und der Skalierung für verschiedene Benutzer mit AWS DeepRacer.
Konfigurieren Sie die CDK-Umgebung und führen Sie das erweiterte Protokollanalyse-Notebook aus, um die Ausführung des Moduls effizienter zu gestalten. Unterstützen Sie Rennfahrer dabei, in kürzerer Zeit bessere Ergebnisse zu erzielen, und erhalten Sie detaillierte Einblicke in Belohnungsfunktionen und -aktionen.
Bibliographie
Weitere Informationen finden Sie in den folgenden Ressourcen:
- Automatisieren Sie die Einrichtung von Amazon SageMaker Studio mit AWS CDK
- AWS SageMaker CDK-API-Referenz
Über die Autoren
Zdenko Estok arbeitet als Cloud-Architekt und DevOps-Ingenieur bei Accenture. Er arbeitet mit AABG zusammen, um innovative Cloud-Lösungen zu entwickeln und zu implementieren, und ist auf Infrastruktur als Code und Cloud-Sicherheit spezialisiert. Zdenko fährt gerne mit dem Fahrrad ins Büro und genießt angenehme Spaziergänge in der Natur.
Selimcan „Can“ Sakar ist Cloud-First-Entwickler und Lösungsarchitekt bei Accenture mit Schwerpunkt auf künstlicher Intelligenz und einer Leidenschaft für das Konvergieren von Modellen.
Shichar Kwatra ist ein auf KI/ML spezialisierter Lösungsarchitekt bei Amazon Web Services und arbeitet mit einem führenden globalen Systemintegrator zusammen. Shikhar hilft bei der Architektur, dem Aufbau und der Wartung kosteneffizienter, skalierbarer Cloud-Umgebungen für die Organisation und unterstützt den GSI-Partner beim Aufbau strategischer Branchenlösungen auf AWS. In seiner Freizeit spielt Shikhar gerne Gitarre, komponiert Musik und praktiziert Achtsamkeit.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
- 10
- 100
- 11
- 7
- 9
- a
- Fähig
- beschleunigen
- Accenture
- Zugang
- versehentlich
- Konto
- Erreichen
- erreicht
- über
- Action
- Aktionen
- hinzugefügt
- Zusätzliche
- angenommen
- advanced
- Fortschritte
- Nach der
- Makler
- AI
- AI / ML
- AIDS
- Ziel
- Alle
- Zulassen
- Amazon
- Amazon EC2
- Amazon Sage Maker
- Amazon SageMaker-Studio
- Amazon Web Services
- Betrag
- Analyse
- und
- Ein anderer
- Bienen
- App
- Anwendung
- Anwendungen
- angewandt
- Architektur
- um
- künstlich
- künstliche Intelligenz
- Künstliche Intelligenz (AI)
- helfen
- damit verbundenen
- automatisieren
- Automation
- verfügbar
- AWS
- AWS Cloud9
- AWS CloudFormation
- AWS Deep Racer
- basierend
- bash
- Grundlagen
- werden
- Bevor
- Sein
- BESTE
- Best Practices
- Besser
- bringen
- Building
- namens
- Kann bekommen
- Auto
- Häuser
- Fälle
- sicher
- Übernehmen
- Gebühren
- Cloud
- Cloud-Sicherheit
- Cloud9
- Code
- zusammenarbeiten
- Kopien
- kombiniert
- Kommunikation
- Unternehmen
- konkurrieren
- Konkurrenz
- abschließen
- Komponenten
- Berechnen
- Konzepte
- Konfiguration
- erheblich
- Konsul (Console)
- enthält
- Inhalt
- Kontext
- Smartgeräte App
- konvergieren
- KONZERN
- Dazugehörigen
- erstellen
- erstellt
- Erstellen
- Schaffung
- Referenzen
- technische Daten
- Datenwissenschaft
- tief
- Standard
- definiert
- einsetzen
- Einsatz
- Bereitstellen
- Einsatz
- beschrieben
- zerstören
- detailliert
- Details
- entwickeln
- Entwickler:in / Unternehmen
- Entwicklung
- Diagramme
- anders
- Entdeckt
- diskutiert
- Dokumentation
- Tut nicht
- Antrieb
- im
- dynamisch
- leicht
- Effektiv
- Effizienz
- effizient
- Bemühungen
- entweder
- ermöglichen
- Ingenieur
- Unternehmensebene
- Unternehmen
- Arbeitsumfeld
- Umgebungen
- essential
- Sogar
- Event
- Veranstaltungen
- unterhaltsame Programmpunkte
- erwartet
- expressiv
- f1
- Vertrautheit
- FAST
- Reichen Sie das
- Mappen
- Vorname
- Setzen Sie mit Achtsamkeit
- Folgende
- folgt
- Format
- Unser Ansatz
- für
- Spaß
- Funktionen
- Gewinnen
- erzeugen
- bekommen
- GitHub
- ABSICHT
- gegeben
- Global
- erteilt
- Graph
- groß
- Gruppe an
- Guide
- praktische
- Gesundheitswesen
- Hilfe
- Besondere
- hoch
- Horizontale
- Ultraschall
- Hilfe
- HTML
- HTTPS
- Identifizierung
- Identitätsschutz
- implementieren
- in
- Erhöhung
- zunehmend
- Branchen
- Energiegewinnung
- Information
- Infrastruktur
- innovativ
- Einblick
- Einblicke
- installieren
- installiert
- Instanz
- Versicherung
- Intelligenz
- Interesse
- Investments
- IT
- Reise
- JSON
- Wesentliche
- Art
- Wissen
- Sprachen
- starten
- führenden
- lernen
- Cholesterinspiegel
- Line
- Laden
- located
- Maschine
- Maschinelles Lernen
- Mehrheit
- um
- verwalten
- verwaltet
- Management
- Weise
- Herstellung
- Marketing
- Triff
- Achtsamkeit
- ML
- Modell
- für
- Modul
- Module
- bewegt sich
- mehrere
- Musik
- Namen
- Natur
- fast
- notwendig,
- Neu
- weiter
- Notizbuch
- Office
- Onboard
- laufend
- Open-Source-
- Quelloffene Software
- die
- Betriebssystem
- optimal
- Auftrag
- Organisation
- Anders
- Parameter
- Parameter
- Partner
- Leidenschaft & KREATIVITÄT
- passt
- Durchführung
- Berechtigungen
- Plattform
- Plato
- Datenintelligenz von Plato
- PlatoData
- Play
- spielend
- Datenschutzrichtlinien
- Mappe
- Post
- Werkzeuge
- Praktiken
- Voraussetzungen
- primär
- Prozessdefinierung
- Programmierung
- Programmiersprachen
- Fortschritt
- vorausgesetzt
- Bereitstellung
- Öffentlichkeit
- Python
- schnell
- Rennen
- Rennfahrer
- Renn-
- erhöhen
- Bereich
- empfehlen
- umleiten
- in Bezug auf
- Region
- entfernen
- wiederholbar
- Replikation
- Quelle
- Darstellung
- falls angefordert
- Downloads
- Die Ergebnisse
- Rückkehr
- Rückgabe
- Überprüfen
- Belohnen
- Belohnung
- Rollen
- Rollen
- Führen Sie
- Laufen
- Safe
- sagemaker
- skalierbaren
- Skalieren
- Skala ai
- Skalierung
- Wissenschaft
- Sicherheitdienst
- selektiv
- Lösungen
- kompensieren
- Setup
- von Locals geführtes
- Schichten
- sollte
- gezeigt
- Konzerte
- Einfacher
- schlauer
- KMU
- So
- Software
- Software-Entwicklung
- Lösung
- Lösungen
- einige
- Räume
- Spezialist
- spezialisiert
- spezifisch
- angegeben
- Stapel
- Anfang
- begonnen
- Status
- Shritte
- Immer noch
- gelagert
- einfach
- Strategisch
- Studio Adressen
- Subnetz
- Subnetze
- Unterstützt
- System
- zugeschnitten
- Nehmen
- nimmt
- Vorlage
- Vorlagen
- Terminal
- Test
- Tests
- Das
- Die Grundlagen
- ihr
- Durch
- Zeit
- zu
- Werkzeuge
- verfolgen sind
- Training
- Ausbildung
- Verdreifachen
- Tutorials
- verstehen
- Einheit
- us
- -
- Anwendungsfall
- Nutzer
- Wert
- verschiedene
- riesig
- Fahrzeug
- überprüfen
- Version
- beobachten
- Netz
- Web-Services
- Was
- ob
- welche
- während
- weit
- werden wir
- gewinnen
- .
- Arbeiten
- arbeiten,
- Werk
- weltweit
- würde
- Du
- Ihr
- Zephyrnet