Bereitstellen und Verwalten von ML-Umgebungen mit Amazon SageMaker Canvas unter Verwendung von AWS CDK und AWS Service Catalog

Die Verbreitung von maschinellem Lernen (ML) in einer Vielzahl von Anwendungsfällen wird in allen Branchen immer häufiger. Dies übertrifft jedoch die Zunahme der Anzahl von ML-Praktikern, die traditionell für die Implementierung dieser technischen Lösungen zur Realisierung von Geschäftsergebnissen verantwortlich waren.

In heutigen Unternehmen besteht ein Bedarf an maschinellem Lernen, das von Nicht-ML-Praktikern verwendet werden kann, die mit Daten vertraut sind, was die Grundlage von ML darstellt. Um dies Wirklichkeit werden zu lassen, wird der Wert von ML im gesamten Unternehmen durch No-Code-ML-Plattformen realisiert. Diese Plattformen ermöglichen es verschiedenen Personen, z. B. Geschäftsanalysten, ML zu verwenden, ohne eine einzige Codezeile zu schreiben, und Lösungen für Geschäftsprobleme schnell, einfach und intuitiv bereitzustellen. Amazon SageMaker-Leinwand ist ein visueller Point-and-Click-Service, der es Geschäftsanalysten ermöglicht, ML zur Lösung von Geschäftsproblemen zu verwenden, indem sie selbst genaue Vorhersagen erstellen – ohne ML-Erfahrung zu benötigen oder eine einzige Codezeile schreiben zu müssen. Canvas hat die Verwendung von ML im Unternehmen um eine einfach zu bedienende, intuitive Benutzeroberfläche erweitert, die Unternehmen dabei unterstützt, Lösungen schnell zu implementieren.

Obwohl Canvas die Demokratisierung von ML ermöglicht hat, bleibt die Herausforderung der sicheren Bereitstellung und Bereitstellung von ML-Umgebungen bestehen. Typischerweise liegt dies in den meisten großen Unternehmen in der Verantwortung der zentralen IT-Teams. In diesem Beitrag erörtern wir, wie IT-Teams sichere ML-Umgebungen verwalten, bereitstellen und verwalten können Amazon SageMaker-Leinwand, AWS Cloud-Entwicklungskit (AWS-CDK) und AWS-Servicekatalog. Der Beitrag enthält eine Schritt-für-Schritt-Anleitung für IT-Administratoren, um dies schnell und umfassend zu erreichen.

Überblick über das AWS CDK und den AWS Service Catalog

Das AWS CDK ist ein Open-Source-Softwareentwicklungs-Framework zum Definieren Ihrer Cloud-Anwendungsressourcen. Es nutzt die Vertrautheit und Ausdruckskraft von Programmiersprachen zum Modellieren Ihrer Anwendungen und stellt gleichzeitig Ressourcen auf sichere und wiederholbare Weise bereit.

Mit AWS Service Catalog können Sie bereitgestellte IT-Services, Anwendungen, Ressourcen und Metadaten zentral verwalten. Mit AWS Service Catalog können Sie Cloud-Ressourcen mit Infrastructure as Code (IaC)-Vorlagen erstellen, freigeben, organisieren und verwalten und eine schnelle und unkomplizierte Bereitstellung ermöglichen.

Lösungsüberblick

Wir ermöglichen die Bereitstellung von ML-Umgebungen mit Canvas in drei Schritten:

1. Zunächst teilen wir Ihnen mit, wie Sie mit AWS Service Catalog ein Portfolio von Ressourcen verwalten können, die für die genehmigte Nutzung von Canvas erforderlich sind.
2. Anschließend stellen wir mithilfe des AWS CDK ein beispielhaftes AWS Service Catalog-Portfolio für Canvas bereit.
3. Abschließend demonstrieren wir, wie Sie Canvas-Umgebungen nach Bedarf innerhalb von Minuten bereitstellen können.

Voraussetzungen:

Um ML-Umgebungen mit Canvas, dem AWS CDK und AWS Service Catalog bereitzustellen, müssen Sie Folgendes tun:

1. Zugriff auf das AWS-Konto haben, in dem das Servicekatalog-Portfolio bereitgestellt wird. Stellen Sie sicher, dass Sie über die Anmeldeinformationen und Berechtigungen verfügen, um den AWS CDK-Stack in Ihrem Konto bereitzustellen. Das AWS CDK-Workshop ist eine hilfreiche Ressource, auf die Sie sich beziehen können, wenn Sie Unterstützung benötigen.
2. Wir empfehlen, bestimmte Best Practices zu befolgen, die durch die in den folgenden Ressourcen beschriebenen Konzepte hervorgehoben werden:
3. Clone Dieses GitHub-Repository in Ihre Umgebung.

Stellen Sie genehmigte ML-Umgebungen mit Amazon SageMaker Canvas mithilfe von AWS Service Catalog bereit

In regulierten Branchen und den meisten großen Unternehmen müssen Sie die Anforderungen einhalten, die von IT-Teams zur Bereitstellung und Verwaltung von ML-Umgebungen vorgeschrieben werden. Dazu können ein sicheres, privates Netzwerk, Datenverschlüsselung, Kontrollen, um nur autorisierte und authentifizierte Benutzer zuzulassen, wie z AWS Identity and Access Management and (IAM) für den Zugriff auf Lösungen wie Canvas sowie eine strenge Protokollierung und Überwachung zu Prüfungszwecken.

Als IT-Administrator können Sie AWS Service Catalog verwenden, um sichere, reproduzierbare ML-Umgebungen mit SageMaker Canvas in einem Produktportfolio zu erstellen und zu organisieren. Dies wird mithilfe von IaC-Steuerelementen verwaltet, die eingebettet sind, um die zuvor genannten Anforderungen zu erfüllen, und die bei Bedarf innerhalb von Minuten bereitgestellt werden können. Sie können auch die Kontrolle darüber behalten, wer auf dieses Portfolio zugreifen kann, um Produkte auf den Markt zu bringen.

Das folgende Diagramm veranschaulicht diese Architektur.

Beispielablauf

In diesem Abschnitt demonstrieren wir ein Beispiel für ein AWS Service Catalog-Portfolio mit SageMaker Canvas. Das Portfolio besteht aus verschiedenen Aspekten der Canvas-Umgebung, die Teil des Servicekatalog-Portfolios sind:

• Studio-Domain – Canvas ist eine Anwendung, die darin ausgeführt wird Studio-Domains. Die Domäne besteht aus einer Amazon Elastic File System (Amazon EFS)-Volume, eine Liste autorisierter Benutzer und eine Reihe von Sicherheits-, Anwendungs-, Richtlinien- und Amazon Virtual Private Cloud (VPC)-Konfigurationen. Ein AWS-Konto ist mit einer Domäne pro Region verknüpft.
• Amazon S3 Eimer – Nachdem die Studio-Domäne erstellt wurde, wird eine Amazon Simple Storage-Service (Amazon S3)-Bucket wird für Canvas bereitgestellt, um das Importieren von Datensätzen aus lokalen Dateien zu ermöglichen, was auch als lokaler Datei-Upload bezeichnet wird. Dieser Bucket befindet sich im Konto des Kunden und wird einmalig bereitgestellt.
• Canvas-Benutzer – SageMaker Canvas ist eine Anwendung, in der Sie Benutzerprofile innerhalb der Studio-Domäne für jeden Canvas-Benutzer hinzufügen können, der damit fortfahren kann, Datensätze zu importieren, ML-Modelle zu erstellen und zu trainieren, ohne Code schreiben zu müssen, und Vorhersagen für das Modell auszuführen.
• Geplantes Herunterfahren von Canvas-Sitzungen – Canvas-Benutzer können sich von der Canvas-Oberfläche abmelden, wenn sie mit ihren Aufgaben fertig sind. Alternative, Administratoren können Canvas-Sitzungen beenden von dem AWS-Managementkonsole als Teil der Verwaltung der Canvas-Sitzungen. In diesem Teil des AWS Service Catalog-Portfolios wird ein AWS Lambda Funktion wird erstellt und bereitgestellt, um Canvas-Sitzungen in definierten geplanten Intervallen automatisch herunterzufahren. Dies hilft, offene Sitzungen zu verwalten und sie zu schließen, wenn sie nicht verwendet werden.

Dieser Beispielablauf befindet sich in der GitHub-Repository zum schnellen Nachschlagen.

Stellen Sie den Flow mit dem AWS CDK bereit

In diesem Abschnitt stellen wir den zuvor beschriebenen Ablauf mithilfe des AWS CDK bereit. Nach der Bereitstellung können Sie auch die Versionsverfolgung durchführen und das Portfolio verwalten.

Den Portfolio-Stack finden Sie in app.py und die Produktstapel unter dem products/ Mappe. Sie können die IAM-Rollen durchlaufen, AWS-Schlüsselverwaltungsservice (AWS KMS)-Schlüssel und VPC-Setup in der studio_constructs/ Mappe. Bevor Sie den Stack in Ihrem Konto bereitstellen, können Sie die folgenden Zeilen in bearbeiten app.py und Portfoliozugriff auf eine IAM-Rolle Ihrer Wahl gewähren.

Sie können den Zugriff auf das Portfolio für die relevanten IAM-Benutzer, -Gruppen und -Rollen verwalten. Sehen Benutzern Zugriff gewähren für weitere Informationen an.

Stellen Sie das Portfolio in Ihrem Konto bereit

Sie können jetzt die folgenden Befehle ausführen, um das AWS CDK zu installieren und sicherzustellen, dass Sie über die richtigen Abhängigkeiten zum Bereitstellen des Portfolios verfügen:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

Führen Sie die folgenden Befehle aus, um das Portfolio in Ihrem Konto bereitzustellen:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

Die ersten beiden Befehle rufen Ihre Konto-ID und aktuelle Region mithilfe von ab AWS-Befehlszeilenschnittstelle (AWS CLI) auf Ihrem Computer. Im Anschluss daran cdk bootstrap und cdk deploy Erstellen Sie Assets lokal und stellen Sie den Stack in wenigen Minuten bereit.

Das Portfolio ist jetzt im AWS Service Catalog zu finden, wie im folgenden Screenshot gezeigt.

On-Demand-Bereitstellung

Die Produkte innerhalb des Portfolios können schnell und einfach bei Bedarf aus dem heraus eingeführt werden Provisioning Menü in der AWS Service Catalog-Konsole. Ein typischer Ablauf besteht darin, zuerst die Studio-Domäne und das automatische Herunterfahren von Canvas zu starten, da dies normalerweise eine einmalige Aktion ist. Anschließend können Sie der Domäne Canvas-Benutzer hinzufügen. Die Domänen-ID und der ARN der Benutzer-IAM-Rolle werden gespeichert AWS-Systemmanager und werden automatisch mit den Benutzerparametern gefüllt, wie im folgenden Screenshot gezeigt.

Sie können auch Kostenzuordnungs-Tags verwenden, die jedem Benutzer zugeordnet sind. Zum Beispiel, UserCostCenter ist ein Beispiel-Tag, bei dem Sie den Namen jedes Benutzers hinzufügen können.

Wichtige Überlegungen zur Steuerung von ML-Umgebungen mit Canvas

Nachdem wir nun ein AWS Service Catalog-Portfolio bereitgestellt und bereitgestellt haben, das sich auf Canvas konzentriert, möchten wir einige Überlegungen zur Steuerung der Canvas-basierten ML-Umgebungen hervorheben, die sich auf die Domäne und das Benutzerprofil konzentrieren.

Im Folgenden finden Sie Überlegungen zur Studio-Domäne:

• Networking for Canvas wird auf Ebene der Studio-Domäne verwaltet, wobei die Domäne für sichere Konnektivität in einem privaten VPC-Subnetz bereitgestellt wird. Sehen Sichern der Amazon SageMaker Studio-Konnektivität mithilfe einer privaten VPC um mehr zu erfahren.
• Eine standardmäßige IAM-Ausführungsrolle wird auf Domänenebene definiert. Diese Standardrolle wird allen Canvas-Benutzern in der Domäne zugewiesen.
• Die Verschlüsselung erfolgt mit AWS KMS, indem das EFS-Volume in der Domäne verschlüsselt wird. Für zusätzliche Kontrollen können Sie Ihren eigenen verwalteten Schlüssel angeben, der auch als kundenverwalteter Schlüssel (CMK) bezeichnet wird. Sehen Schützen Sie ruhende Daten mithilfe von Verschlüsselung um mehr zu erfahren.
• Das Hochladen von Dateien von Ihrer lokalen Festplatte erfolgt durch Anhängen einer Cross-Origin Resource Sharing (CORS)-Richtlinie an den von Canvas verwendeten S3-Bucket. Sehen Erteilen Sie Ihren Benutzern Berechtigungen zum Hochladen lokaler Dateien um mehr zu erfahren.

Folgendes sind Überlegungen zum Benutzerprofil:

• Die Authentifizierung in Studio kann sowohl über Single Sign-On (SSO) als auch über IAM erfolgen. Wenn Sie einen bestehenden Identitätsanbieter haben, um Benutzer für den Zugriff auf die Konsole zu föderieren, können Sie jeder föderierten Identität mit IAM ein Studio-Benutzerprofil zuweisen. Siehe den Abschnitt Zuweisen der Richtlinie zu Studio-Benutzern in Konfigurieren von Amazon SageMaker Studio für Teams und Gruppen mit vollständiger Ressourcenisolation um mehr zu erfahren.
• Sie können jedem Benutzerprofil IAM-Ausführungsrollen zuweisen. Während der Verwendung von Studio übernimmt ein Benutzer die seinem Benutzerprofil zugeordnete Rolle, die die standardmäßige Ausführungsrolle überschreibt. Sie können dies für fein abgestimmte Zugriffskontrollen innerhalb eines Teams verwenden.
• Sie können mithilfe von attributbasierten Zugriffskontrollen (ABAC) Isolation erreichen, um sicherzustellen, dass Benutzer nur auf die Ressourcen ihres Teams zugreifen können. Sehen Konfigurieren von Amazon SageMaker Studio für Teams und Gruppen mit vollständiger Ressourcenisolation um mehr zu erfahren.
• Sie können eine detaillierte Kostenverfolgung durchführen, indem Sie Kostenzuordnungs-Tags auf Benutzerprofile anwenden.

Aufräumen

Um die vom AWS CDK-Stack oben erstellten Ressourcen zu bereinigen, navigieren Sie zur AWS CloudFormation-Stacks-Seite und löschen Sie die Canvas-Stacks. Sie können auch laufen cdk destroy aus dem Repository-Ordner, um dasselbe zu tun.

Zusammenfassung

In diesem Beitrag haben wir Ihnen mitgeteilt, wie Sie ML-Umgebungen mit Canvas mithilfe von AWS Service Catalog und dem AWS CDK schnell und einfach bereitstellen können. Wir haben besprochen, wie Sie ein Portfolio in AWS Service Catalog erstellen, das Portfolio bereitstellen und es in Ihrem Konto bereitstellen können. IT-Administratoren können diese Methode verwenden, um Benutzer, Sitzungen und damit verbundene Kosten während der Bereitstellung von Canvas bereitzustellen und zu verwalten.

Erfahren Sie mehr über Canvas auf der zur Produktseite und dem Entwicklerhandbuch. Zur weiteren Lektüre können Sie lernen, wie man Geschäftsanalysten den Zugriff auf SageMaker Canvas mit AWS SSO ohne die Konsole ermöglichen. Sie können auch lernen, wie Geschäftsanalysten und Datenwissenschaftler können mit Canvas und Studio schneller zusammenarbeiten.

Über die Autoren

David Gallitelli ist ein Specialist Solutions Architect für AI/ML in der EMEA-Region. Er hat seinen Sitz in Brüssel und arbeitet eng mit Kunden in den Benelux-Ländern zusammen. Er ist Entwickler, seit er sehr jung war und begann im Alter von 7 Jahren zu programmieren. Er begann an der Universität AI/ML zu lernen und hat sich seitdem darin verliebt.

Sofian Hamiti ist ein AI / ML-spezialisierter Lösungsarchitekt bei AWS. Er hilft Kunden in verschiedenen Branchen, ihre AI / ML-Reise zu beschleunigen, indem er ihnen hilft, durchgängige Lösungen für maschinelles Lernen zu entwickeln und zu operationalisieren.

Shyam Srinivasan ist Principal Product Manager im AWS AI/ML-Team und leitet das Produktmanagement für Amazon SageMaker Canvas. Shyam kümmert sich darum, die Welt durch Technologie zu einem besseren Ort zu machen, und ist leidenschaftlich daran interessiert, wie KI und ML auf diesem Weg ein Katalysator sein können.

Avi Patel arbeitet als Softwareentwickler im Amazon SageMaker Canvas-Team. Sein Hintergrund besteht darin, Full Stack mit Frontend-Fokus zu arbeiten. In seiner Freizeit trägt er gerne zu Open-Source-Projekten im Krypto-Raum bei und lernt neue DeFi-Protokolle kennen.

Jared Heywood ist Senior Business Development Manager bei AWS. Er ist ein globaler KI/ML-Spezialist, der Kunden mit maschinellem Lernen ohne Code unterstützt. Er hat in den letzten 5 Jahren im AutoML-Bereich gearbeitet und Produkte bei Amazon wie Amazon SageMaker JumpStart und Amazon SageMaker Canvas eingeführt.