Amazon SageMaker-Modellkarten ermöglichen es Ihnen, die Art und Weise, wie Modelle dokumentiert werden, zu standardisieren und so einen Einblick in den Lebenszyklus eines Modells zu erhalten, vom Entwurf über den Aufbau bis hin zur Schulung und Evaluierung. Modellkarten sollen eine zentrale Informationsquelle für geschäftliche und technische Metadaten zum Modell sein, die zuverlässig für Prüf- und Dokumentationszwecke verwendet werden können. Sie stellen ein Factsheet des Modells bereit, das für die Modellgovernance wichtig ist.
Bisher waren Modellkarten logisch einem Modell im zugeordnet Amazon SageMaker-Modellregistrierung Verwenden der Modellnamenübereinstimmung. Wenn Kunden jedoch ein Geschäftsproblem mithilfe eines Modells für maschinelles Lernen (ML) lösen, erstellen sie bei der Iteration des Problems mehrere Versionen des Modells und müssen mehrere Modellversionen operationalisieren und steuern. Daher benötigen sie die Möglichkeit, eine Modellkarte einer bestimmten Modellversion zuzuordnen.
In diesem Beitrag besprechen wir eine neue Funktion, die die Integration von Modellkarten in die Modellregistrierung auf der Ebene der bereitgestellten Modellversion unterstützt. Wir besprechen die Lösungsarchitektur und Best Practices für die Verwaltung von Modellkartenversionen und zeigen Ihnen, wie Sie die Modellkartenintegration mit der Modellversion in der Modellregistrierung einrichten, operationalisieren und steuern.
Lösungsüberblick
SageMaker-Modellkarten helfen Ihnen, die Dokumentation Ihrer Modelle aus Governance-Perspektive zu standardisieren, und die SageMaker-Modellregistrierung unterstützt Sie bei der Bereitstellung und Operationalisierung von ML-Modellen. Die Modellregistrierung unterstützt eine hierarchische Struktur zum Organisieren und Speichern von ML-Modellen mit Modellmetadateninformationen.
Wenn eine Organisation ein Geschäftsproblem mithilfe von ML löst, beispielsweise eine Prognose zur Kundenabwanderung, empfehlen wir die folgenden Schritte:
- Erstellen Sie eine Musterkarte für das zu lösende Geschäftsproblem.
- Erstellen Sie eine Modellpaketgruppe für das zu lösende Geschäftsproblem.
- Erstellen, trainieren, bewerten und registrieren Sie die erste Version der Modellpaketversion (z. B. Customer Churn V1).
- Aktualisieren Sie die Modellkarte, indem Sie die Modellpaketversion mit der Modellkarte verknüpfen.
- Klonen Sie beim Durchlaufen einer neuen Modellpaketversion die Modellkarte aus der vorherigen Version und verknüpfen Sie sie mit der neuen Modellpaketversion (z. B. Customer Churn V2).
Die folgende Abbildung zeigt, wie eine SageMaker-Modellkarte in die Modellregistrierung integriert wird.
Wie im vorherigen Diagramm dargestellt, können Sie durch die Integration von SageMaker-Modellkarten und der Modellregistrierung eine Modellkarte einer bestimmten Modellversion in der Modellregistrierung zuordnen. Dadurch können Sie eine einzige Quelle der Wahrheit für Ihre registrierten Modellversionen einrichten, mit umfassender und standardisierter Dokumentation über alle Phasen der Modellreise auf SageMaker, was die Auffindbarkeit erleichtert und Governance, Compliance und Verantwortlichkeit während des gesamten Modelllebenszyklus fördert.
Best Practices für die Verwaltung von Modellkarten
Der Einsatz von maschinellem Lernen mit Governance ist heutzutage für viele Unternehmensorganisationen eine entscheidende Anforderung, insbesondere in stark regulierten Branchen. Im Rahmen dieser Anforderungen stellt AWS mehrere Dienste bereit, die einen zuverlässigen Betrieb der ML-Umgebung ermöglichen.
SageMaker-Modellkarten dokumentieren wichtige Details zu Ihren ML-Modellen an einem einzigen Ort für eine optimierte Governance und Berichterstattung. Mit Modellkarten können Sie Details wie den beabsichtigten Verwendungszweck und die Risikobewertung eines Modells, Trainingsdetails und -metriken, Bewertungsergebnisse und Beobachtungen sowie zusätzliche Hinweise wie Überlegungen, Empfehlungen und benutzerdefinierte Informationen erfassen.
Modellkarten müssen im Rahmen Ihres Entwicklungsprozesses während des gesamten Prozesses verwaltet und aktualisiert werden ML-Lebenszyklus. Sie sind ein wichtiger Bestandteil der kontinuierlichen Bereitstellung und Pipelines im ML. So wie ein Well-Architected ML-Projekt Continuous Integration und Continuous Delivery (CI/CD) unter dem Dach von MLOps implementiert, ist ein kontinuierlicher ML-Dokumentationsprozess in vielen regulierten Branchen oder für Anwendungsfälle mit höherem Risiko eine entscheidende Fähigkeit. Modellkarten gehören zu den Best Practices für eine verantwortungsvolle und transparente ML-Entwicklung.
Das folgende Diagramm zeigt, wie Modellkarten Teil eines Entwicklungslebenszyklus sein sollten.
Berücksichtigen Sie die folgenden Best Practices:
- Wir empfehlen, Modellkarten zu Beginn Ihres Projektlebenszyklus zu erstellen. In der ersten Phase des Projekts, wenn Sie daran arbeiten Identifizierung des Geschäftsziels und Formulierung des ML-Problems, sollten Sie mit der Erstellung der Modellkarte beginnen. Während Sie die verschiedenen Schritte der Geschäftsanforderungen und wichtigen Leistungsmetriken durcharbeiten, können Sie die Modellkarte im Entwurfsstatus erstellen und die Geschäftsdetails und beabsichtigten Verwendungszwecke festlegen.
- Als Teil Ihres Lebenszyklusphase der Modellentwicklung, sollten Sie die Modellregistrierung verwenden, um Modelle für die Produktion zu katalogisieren, Modellversionen zu verwalten und einem Modell Metadaten zuzuordnen. Die Modellregistrierung ermöglicht die Abstammungsverfolgung.
- Nachdem Sie die Iteration erfolgreich abgeschlossen haben und bereit sind, Ihr Modell in der Produktion bereitzustellen, ist es an der Zeit, die Modellkarte zu aktualisieren. Im Bereitstellungslebenszyklusphasekönnen Sie die Modelldetails der Modellkarte aktualisieren. Sie sollten auch Schulungsdetails, Bewertungsdetails, ethische Überlegungen sowie Vorbehalte und Empfehlungen aktualisieren.
Mit Modellkarten sind Versionen verknüpft. Eine bestimmte Modellversion ist für alle Attribute außer dem Modellkartenstatus unveränderlich. Wenn Sie weitere Änderungen an der Modellkarte vornehmen, beispielsweise an Bewertungsmetriken, Beschreibungen oder beabsichtigten Verwendungszwecken, erstellt SageMaker eine neue Version der Modellkarte, um die aktualisierten Informationen widerzuspiegeln. Dadurch soll sichergestellt werden, dass eine einmal erstellte Modellkarte nicht manipuliert werden kann. Darüber hinaus kann jeder eindeutige Modellname nur mit einer Modellkarte verknüpft sein und kann nach dem Erstellen der Modellkarte nicht mehr geändert werden.
ML-Modelle sind dynamisch und Workflow-Automatisierungskomponenten ermöglichen Ihnen eine einfache Skalierung Ihrer Fähigkeit, Hunderte von Modellen in der Produktion zu erstellen, zu trainieren, zu testen und bereitzustellen, schneller zu iterieren, Fehler aufgrund manueller Orchestrierung zu reduzieren und wiederholbare Mechanismen zu erstellen.
Daher sieht der Lebenszyklus Ihrer Modellkarten wie im folgenden Diagramm beschrieben aus. Jedes Mal, wenn Sie Ihre Modellkarte im Laufe des Modelllebenszyklus aktualisieren, erstellen Sie automatisch eine neue Version der Modellkarte. Jedes Mal, wenn Sie eine neue Modellversion iterieren, erstellen Sie eine neue Modellkarte, die einige Modellkarteninformationen der vorherigen Modellversionen erben und demselben Lebenszyklus folgen kann.
Die Anforderungen:
In diesem Beitrag wird davon ausgegangen, dass Sie bereits Modelle in Ihrer Modellregistrierung haben. Wenn Sie mitmachen möchten, können Sie das folgende SageMaker-Beispiel auf GitHub verwenden, um Ihre Modellregistrierung zu füllen: SageMaker Pipelines-Integration mit Model Monitor und Clarify.
Integrieren Sie eine Modellkarte mit der Modellversion in die Modellregistrierung
In diesem Beispiel haben wir die model-monitor-clarify-group
Paket in unserem Modellregister.
In diesem Paket stehen zwei Modellvarianten zur Verfügung.
In diesem Beispiel verknüpfen wir Version 1 des Modells mit einer neuen Modellkarte. In der Modellregistrierung können Sie die Details für Version 1 sehen.
Wir können jetzt die neue Funktion im SageMaker Python SDK verwenden. Von dem sagemaker.model_card ModelPackage
Modul können Sie eine bestimmte Modellversion aus der Modellregistrierung auswählen, mit der Sie die Modellkarte verknüpfen möchten.
Sie können nun eine neue Modellkarte für die Modellversion erstellen und diese angeben model_package_details
Parameter mit dem abgerufenen vorherigen Modellpaket. Sie müssen die Modellkarte mit allen erforderlichen zusätzlichen Details ausfüllen. Für diesen Beitrag erstellen wir als Beispiel eine einfache Modellkarte.
Anschließend können Sie diese Definition verwenden, um mit dem SageMaker Python SDK eine Modellkarte zu erstellen.
Beim erneuten Laden der Modellkarte sehen Sie unten das zugehörige Modell "__model_package_details"
.
Sie haben auch die Möglichkeit, eine vorhandene Modellkarte mit zu aktualisieren model_package
wie im Beispielcode-Snippet unten gezeigt:
Wenn schließlich beim Erstellen oder Aktualisieren einer neuen Modellpaketversion in einem vorhandenen Modellpaket bereits eine Modellkarte in dieser Modellpaketgruppe vorhanden ist, können einige Informationen wie Geschäftsdetails und beabsichtigte Verwendungszwecke auf die neue Modellkarte übertragen werden.
Aufräumen
Benutzer sind dafür verantwortlich, Ressourcen zu bereinigen, wenn sie mit dem im Abschnitt „Voraussetzungen“ genannten Notizbuch erstellt wurden. Bitte befolgen Sie die Anweisungen im Notizbuch, um Ressourcen zu bereinigen.
Zusammenfassung
In diesem Beitrag haben wir besprochen, wie man eine SageMaker-Modellkarte mit einer Modellversion in die Modellregistrierung integriert. Wir haben die Lösungsarchitektur mit Best Practices für die Implementierung einer Modellkarte geteilt und gezeigt, wie Sie eine Modellkarte einrichten und in Betrieb nehmen, um Ihren Modell-Governance-Status zu verbessern. Wir empfehlen Ihnen, diese Lösung auszuprobieren und Ihr Feedback im Kommentarbereich zu teilen.
Über die Autoren
Widder Vittal ist Principal ML Solutions Architect bei AWS. Er verfügt über mehr als 20 Jahre Erfahrung in der Architektur und Entwicklung verteilter, Hybrid- und Cloud-Anwendungen. Seine Leidenschaft gilt der Entwicklung sicherer und skalierbarer KI/ML- und Big-Data-Lösungen, um Unternehmenskunden bei der Einführung und Optimierung der Cloud zu unterstützen und so ihre Geschäftsergebnisse zu verbessern. In seiner Freizeit fährt er Motorrad und geht mit seinem zweijährigen Schäfchen spazieren!
Natacha Fort ist Government Data Science Lead für den öffentlichen Sektor Australien und Neuseeland, Principal SA bei AWS. Sie hilft Unternehmen bei der Navigation auf ihrem Weg zum maschinellen Lernen, unterstützt sie von der Formulierung des Problems des maschinellen Lernens bis zur Bereitstellung in der Produktion und stellt gleichzeitig sicher, dass die besten Architekturpraktiken vorhanden sind, um ihren Erfolg sicherzustellen. Natacha konzentriert sich bei Organisationen auf MLOps und verantwortungsvolle KI.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/integrate-amazon-sagemaker-model-cards-with-the-model-registry/
- :hast
- :Ist
- $UP
- 1
- 100
- 20
- 20 Jahre
- 7
- 8
- a
- Fähigkeit
- LiveBuzz
- Rechenschaftspflicht
- Erreichen
- über
- Zusätzliche
- zusätzlich
- Adoption
- Nach der
- aufs Neue
- AI
- AI / ML
- Alle
- erlaubt
- entlang
- bereits
- ebenfalls
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- und
- jedem
- Anwendungen
- Architektur
- SIND
- AS
- Partnerschaftsräte
- damit verbundenen
- übernimmt
- At
- Attribute
- Wirtschaftsprüfung
- Australien
- Im Prinzip so, wie Sie es von Google Maps kennen.
- Automation
- verfügbar
- AWS
- BE
- unten
- BESTE
- Best Practices
- Big
- Big Data
- bauen
- Building
- Geschäft
- CAN
- capability
- Erfassung
- Karte
- Karten
- durchgeführt
- Fälle
- Katalog
- geändert
- Änderungen
- Reinigung
- Cloud
- Cloud-Einführung
- Code
- Bemerkungen
- Compliance
- Komponenten
- umfassend
- Überlegungen
- kontinuierlich
- erstellen
- erstellt
- schafft
- Erstellen
- Schaffung
- kritischem
- Original
- Kunde
- Kunden
- technische Daten
- Datenwissenschaft
- Definition
- Lieferanten
- einsetzen
- Einsatz
- Bereitstellen
- beschrieben
- Beschreibung
- Entwerfen
- Details
- Bestimmen
- Entwicklung
- anders
- diskutieren
- diskutiert
- verteilt
- Dokument
- Dokumentation
- Lüftung
- zwei
- dynamisch
- jeder
- Früh
- leicht
- ermöglichen
- ermöglicht
- ermutigen
- gewährleisten
- Unternehmen
- Arbeitsumfeld
- Fehler
- etablieren
- ethisch
- bewerten
- Auswertung
- Jedes
- Beispiel
- vorhandenen
- existiert
- ERFAHRUNGEN
- erleichtern
- beschleunigt
- Merkmal
- Feedback
- Abbildung
- Vorname
- konzentriert
- folgen
- Folgende
- Aussichten für
- für
- GitHub
- gegeben
- Governance
- der Regierung
- Gruppe an
- Haben
- he
- Hilfe
- hilft
- höher
- hoch
- seine
- Ultraschall
- Hilfe
- aber
- HTML
- HTTPS
- hunderte
- Hybrid
- if
- zeigt
- unveränderlich
- Umsetzung
- implementiert
- wichtig
- zu unterstützen,
- in
- Branchen
- Information
- initiieren
- Anleitung
- integrieren
- Integriert
- Integration
- Integration
- beabsichtigt
- in
- IT
- Reise
- jpg
- führen
- lernen
- Niveau
- Lebenszyklus
- Gefällt mir
- Abstammung
- LINK
- Linking
- Laden
- aussehen
- Los
- Maschine
- Maschinelles Lernen
- um
- Making
- verwalten
- verwaltet
- flächendeckende Gesundheitsprogramme
- manuell
- viele
- Spiel
- Mechanismen
- erwähnt
- Metadaten
- Metrik
- ML
- MLOps
- Modell
- für
- Modul
- Überwachen
- Motorrad
- mehrere
- Name
- Navigieren
- notwendig,
- Need
- Neu
- Neuseeland
- vor allem
- Notizbuch
- jetzt an
- of
- on
- einmal
- EINEM
- einzige
- Betrieb
- Optimierung
- Option
- or
- Orchesterbearbeitung
- Organisation
- Organisationen
- Organisieren
- Andere
- UNSERE
- Ergebnisse
- übrig
- Paket
- Parameter
- Teil
- besondere
- leidenschaftlich
- Leistung
- Perspektive
- Phase
- Ort
- Plato
- Datenintelligenz von Plato
- PlatoData
- Bitte
- Post
- Praktiken
- Prognose
- früher
- Principal
- Aufgabenstellung:
- Prozessdefinierung
- Produktion
- Projekt
- Die Förderung der
- die
- bietet
- Öffentlichkeit
- Zwecke
- Python
- RAM
- Wertung
- bereit
- empfehlen
- Empfehlungen
- Veteran
- reflektieren
- Registrieren
- eingetragen
- Registratur
- geregelt
- regulierte Branchen
- zuverlässig
- wiederholbar
- Reporting
- Anforderung
- Voraussetzungen:
- Downloads
- für ihren Verlust verantwortlich.
- Die Ergebnisse
- Risiko
- SA
- sagemaker
- gleich
- skalierbaren
- Skalieren
- Wissenschaft
- Sdk
- Abschnitt
- Bibliotheken
- Verbindung
- sehen
- Lösungen
- kompensieren
- mehrere
- Teilen
- von Locals geführtes
- sie
- sollte
- zeigte
- gezeigt
- Konzerte
- Einfacher
- Single
- Schnipsel
- Lösung
- Lösungen
- Löst
- Auflösung
- einige
- Quelle
- spezifisch
- Stufen
- Status
- Shritte
- Speicherung
- gestrafft
- Struktur
- Erfolg
- Erfolgreich
- so
- Unterstützung
- Unterstützt
- sicher
- Technische
- Test
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- Sie
- dann
- damit
- deswegen
- vom Nutzer definierten
- fehlen uns die Worte.
- diejenigen
- Durch
- während
- Zeit
- zu
- heute
- Tracking
- Training
- Ausbildung
- transparent
- Wahrheit
- versuchen
- XNUMX
- Regenschirm
- für
- einzigartiges
- Aktualisierung
- aktualisiert
- Aktualisierung
- -
- benutzt
- verwendet
- Verwendung von
- v1
- Version
- Versionen
- Sichtbarkeit
- wollen
- Weg..
- we
- Netz
- Web-Services
- waren
- wann
- während
- werden wir
- mit
- Arbeiten
- Arbeitsablauf.
- arbeiten,
- würde
- Jahr
- Du
- Ihr
- Zealand
- Zephyrnet