Maschinelles Lernen am Edge durch reale Anwendungsfälle entmystifizieren

Edge ist ein Begriff, der sich auf einen Standort bezieht, weit entfernt von der Cloud oder einem großen Rechenzentrum, an dem Sie ein Computergerät (Edge-Gerät) haben, das (Edge-)Anwendungen ausführen kann. Edge Computing ist die Ausführung von Workloads auf diesen Edge-Geräten. Machine Learning at the Edge (ML@Edge) ist ein Konzept, das die Möglichkeit bietet, ML-Modelle lokal auf Edge-Geräten auszuführen. Diese ML-Modelle können dann von der Edge-Anwendung aufgerufen werden. ML@Edge ist wichtig für viele Szenarien, in denen Rohdaten aus Quellen weit entfernt von der Cloud gesammelt werden. Diese Szenarien können auch spezifische Anforderungen oder Einschränkungen haben:

• Vorhersagen in Echtzeit mit geringer Latenz
• Schlechte oder nicht vorhandene Konnektivität zur Cloud
• Gesetzliche Einschränkungen, die das Senden von Daten an externe Dienste nicht zulassen
• Große Datensätze, die lokal vorverarbeitet werden müssen, bevor Antworten an die Cloud gesendet werden

Im Folgenden sind einige der vielen Anwendungsfälle aufgeführt, die von ML-Modellen profitieren können, die in der Nähe der Ausrüstung laufen, die die für die Vorhersagen verwendeten Daten generiert:

• Schutz und Sicherheit – Ein Sperrgebiet, in dem schwere Maschinen in einem automatisierten Hafen operieren, wird von einer Kamera überwacht. Betritt eine Person versehentlich diesen Bereich, wird ein Sicherheitsmechanismus aktiviert, um die Maschinen zu stoppen und den Menschen zu schützen.
• Vorausschauende Wartung – Vibrations- und Audiosensoren sammeln Daten von einem Getriebe einer Windkraftanlage. Ein Anomalieerkennungsmodell verarbeitet die Sensordaten und identifiziert Anomalien bei der Ausrüstung. Wenn eine Anomalie erkannt wird, kann das Edge-Gerät in Echtzeit eine Notfallmessung starten, um eine Beschädigung der Ausrüstung zu vermeiden, z. B. die Bremsen einlegen oder den Generator vom Netz trennen.
• Fehlererkennung in Produktionslinien – Eine Kamera erfasst Bilder von Produkten auf einem Förderband und verarbeitet die Rahmen mit einem Bildklassifizierungsmodell. Wird ein Defekt festgestellt, kann das Produkt ohne manuellen Eingriff automatisch ausgesondert werden.

Obwohl ML@Edge viele Anwendungsfälle abdecken kann, gibt es komplexe architektonische Herausforderungen, die gelöst werden müssen, um ein sicheres, robustes und zuverlässiges Design zu haben. In diesem Beitrag erfahren Sie einige Details zu ML@Edge, verwandten Themen und zur Verwendung von AWS-Services, um diese Herausforderungen zu meistern und eine vollständige Lösung für Ihre ML-am-Edge-Workload zu implementieren.

ML@Edge-Übersicht

In Bezug auf ML@Edge und Internet of Things (IoT) herrscht häufig Verwirrung, daher ist es wichtig zu klären, wie sich ML@Edge von IoT unterscheidet und wie beide zusammenkommen könnten, um in bestimmten Fällen eine leistungsstarke Lösung bereitzustellen.

Eine Edge-Lösung, die ML@Edge verwendet, besteht aus zwei Hauptkomponenten: einer Edge-Anwendung und einem ML-Modell (das von der Anwendung aufgerufen wird), das auf dem Edge-Gerät ausgeführt wird. Bei ML@Edge geht es darum, den Lebenszyklus eines oder mehrerer ML-Modelle zu steuern, die auf einer Flotte von Edge-Geräten bereitgestellt werden. Der Lebenszyklus des ML-Modells kann auf der Cloud-Seite beginnen (on Amazon Sage Maker, zum Beispiel), endet aber normalerweise mit einer eigenständigen Bereitstellung des Modells auf dem Edge-Gerät. Jedes Szenario erfordert unterschiedliche Lebenszyklen von ML-Modellen, die aus vielen Phasen bestehen können, z. B. Datenerfassung; Datenaufbereitung; Modellerstellung, -kompilierung und -bereitstellung auf dem Edge-Gerät; Laden und Ausführen von Modellen; und Wiederholung des Lebenszyklus.

Der ML@Edge-Mechanismus ist nicht für den Anwendungslebenszyklus verantwortlich. Zu diesem Zweck sollte ein anderer Ansatz verfolgt werden. Die Entkopplung des ML-Modelllebenszyklus und des Anwendungslebenszyklus gibt Ihnen die Freiheit und Flexibilität, sie in unterschiedlichen Geschwindigkeiten weiterzuentwickeln. Stellen Sie sich eine mobile Anwendung vor, die ein ML-Modell als Ressource wie ein Bild oder eine XML-Datei einbettet. In diesem Fall müssen Sie jedes Mal, wenn Sie ein neues Modell trainieren und es auf den Mobiltelefonen bereitstellen möchten, die gesamte Anwendung erneut bereitstellen. Dies kostet Zeit und Geld und kann Fehler in Ihre Anwendung einführen. Indem Sie den Lebenszyklus des ML-Modells entkoppeln, veröffentlichen Sie die mobile App einmal und stellen so viele Versionen des ML-Modells bereit, wie Sie benötigen.

Aber wie korreliert IoT mit ML@Edge? IoT bezieht sich auf physische Objekte, die in Technologien wie Sensoren, Verarbeitungsfähigkeit und Software eingebettet sind. Diese Objekte sind über das Internet oder andere Kommunikationsnetze mit anderen Geräten und Systemen verbunden, um Daten auszutauschen. Die folgende Abbildung veranschaulicht diese Architektur. Das Konzept wurde ursprünglich entwickelt, als an einfache Geräte gedacht wurde, die nur Daten vom Edge sammeln, eine einfache lokale Verarbeitung durchführen und das Ergebnis an eine leistungsfähigere Recheneinheit senden, die Analyseprozesse ausführt, die Menschen und Unternehmen bei ihrer Entscheidungsfindung helfen. Die IoT-Lösung ist für die Steuerung des Edge-Anwendungslebenszyklus verantwortlich. Weitere Informationen zum IoT finden Sie unter Internet der Dinge.

Wenn Sie bereits über eine IoT-Anwendung verfügen, können Sie ML@Edge-Funktionen hinzufügen, um das Produkt effizienter zu machen, wie in der folgenden Abbildung gezeigt. Denken Sie daran, dass ML@Edge nicht von IoT abhängt, aber Sie können sie kombinieren, um eine leistungsfähigere Lösung zu erstellen. Wenn Sie dies tun, verbessern Sie das Potenzial Ihres einfachen Geräts, schneller Echtzeit-Einblicke für Ihr Unternehmen zu generieren, als nur Daten zur späteren Verarbeitung an die Cloud zu senden.

Wenn Sie eine neue Edge-Lösung mit ML@Edge-Funktionen von Grund auf neu erstellen, ist es wichtig, eine flexible Architektur zu entwerfen, die sowohl die Lebenszyklen der Anwendung als auch des ML-Modells unterstützt. Wir stellen später in diesem Beitrag einige Referenzarchitekturen für Edge-Anwendungen mit ML@Edge bereit. Aber lassen Sie uns zunächst tiefer in das Edge-Computing eintauchen und lernen, wie Sie das richtige Edge-Gerät für Ihre Lösung basierend auf den Einschränkungen der Umgebung auswählen.

Edge-Computing

Je nachdem, wie weit das Gerät von der Cloud oder einem großen Rechenzentrum (Basis) entfernt ist, müssen drei Hauptmerkmale der Edge-Geräte berücksichtigt werden, um die Leistung und Langlebigkeit des Systems zu maximieren: Rechen- und Speicherkapazität, Konnektivität und Stromverbrauch. Das folgende Diagramm zeigt drei Gruppen von Edge-Geräten, die unterschiedliche Spezifikationen dieser Eigenschaften kombinieren, je nachdem, wie weit sie von der Basis entfernt sind.

Die Gruppen sind wie folgt:

• MECs (Multi-Access Edge Computing) – MECs oder kleine Rechenzentren, die sich durch niedrige oder extrem niedrige Latenz und hohe Bandbreite auszeichnen, sind gängige Umgebungen, in denen ML@Edge Vorteile ohne große Einschränkungen im Vergleich zu Cloud-Workloads bringen kann. 5G-Antennen und -Server in Fabriken, Lagern, Labors usw. mit minimalen Energieeinschränkungen und guter Internetverbindung bieten verschiedene Möglichkeiten, ML-Modelle auf GPUs und CPUs, virtuellen Maschinen, Containern und Bare-Metal-Servern auszuführen.
• Randnah – Dies ist der Fall, wenn Mobilität oder Datenaggregation erforderlich sind und die Geräte einige Einschränkungen hinsichtlich Stromverbrauch und Verarbeitungsleistung haben, aber dennoch eine zuverlässige Konnektivität aufweisen, wenn auch mit höherer Latenz, mit begrenztem Durchsatz und teurer als „nah am Rand“. Zu dieser Gruppe gehören mobile Anwendungen, spezielle Boards zur Beschleunigung von ML-Modellen oder einfache Geräte mit Kapazitäten zur Ausführung von ML-Modellen, die von drahtlosen Netzwerken abgedeckt werden.
• Ferne Kante – In diesem Extremszenario haben Edge-Geräte starke Stromverbrauchs- oder Konnektivitätseinschränkungen. Folglich ist die Rechenleistung auch in vielen Far-Edge-Szenarien eingeschränkt. Landwirtschaft, Bergbau, Überwachung und Sicherheit sowie Seetransport sind einige Bereiche, in denen Far-Edge-Geräte eine wichtige Rolle spielen. Einfache Boards, normalerweise ohne GPUs oder andere KI-Beschleuniger, sind üblich. Sie sind darauf ausgelegt, einfache ML-Modelle zu laden und auszuführen, die Vorhersagen in einer lokalen Datenbank zu speichern und bis zum nächsten Vorhersagezyklus zu schlafen. Die Geräte, die Echtzeitdaten verarbeiten müssen, können große lokale Speicher haben, um Datenverluste zu vermeiden.

Herausforderungen

Es ist üblich, ML@Edge-Szenarien zu haben, in denen Sie Hunderte oder Tausende (vielleicht sogar Millionen) von Geräten haben, auf denen dieselben Modelle und Edge-Anwendungen ausgeführt werden. Wenn Sie Ihr System skalieren, ist es wichtig, über eine robuste Lösung zu verfügen, die die Anzahl der Geräte verwalten kann, die Sie unterstützen müssen. Dies ist eine komplexe Aufgabe, und für diese Szenarien müssen Sie viele Fragen stellen:

• Wie betreibe ich ML-Modelle auf einer Geräteflotte am Edge?
• Wie erstelle, optimiere und stelle ich ML-Modelle auf mehreren Edge-Geräten bereit?
• Wie sichere ich mein Modell, während ich es am Edge bereitstelle und ausführe?
• Wie überwache ich die Leistung meines Modells und trainiere es bei Bedarf neu?
• Wie eliminiere ich die Notwendigkeit, ein großes Framework wie TensorFlow oder PyTorch auf meinem eingeschränkten Gerät zu installieren?
• Wie stelle ich ein oder mehrere Modelle mit meiner Edge-Anwendung als einfache API bereit?
• Wie erstelle ich einen neuen Datensatz mit den von den Edge-Geräten erfassten Nutzdaten und Vorhersagen?
• Wie erledige ich all diese Aufgaben automatisch (MLOps plus ML@Edge)?

Im nächsten Abschnitt geben wir Antworten auf all diese Fragen anhand von Beispielanwendungsfällen und Referenzarchitekturen. Wir besprechen auch, welche AWS-Services Sie kombinieren können, um vollständige Lösungen für jedes der untersuchten Szenarien zu erstellen. Wenn Sie jedoch mit einem sehr einfachen Ablauf beginnen möchten, der beschreibt, wie Sie einige der von AWS bereitgestellten Dienste verwenden, um Ihre ML@Edge-Lösung zu erstellen, ist dies ein Beispiel:

Mit SageMaker können Sie ganz einfach einen Datensatz vorbereiten und die ML-Modelle erstellen, die auf den Edge-Geräten bereitgestellt werden. Mit Amazon SageMaker Neokönnen Sie das von Ihnen trainierte Modell für das von Ihnen ausgewählte Edge-Gerät kompilieren und optimieren. Nach dem Kompilieren des Modells benötigen Sie nur eine leichte Laufzeit, um es auszuführen (vom Dienst bereitgestellt). Amazon SageMaker Edge-Manager ist verantwortlich für die Verwaltung des Lebenszyklus aller ML-Modelle, die auf Ihrer Flotte von Edge-Geräten bereitgestellt werden. Edge Manager kann Flotten von bis zu Millionen von Geräten verwalten. Ein Agent, der auf jedem der Edge-Geräte installiert ist, macht die bereitgestellten ML-Modelle als API für die Anwendung verfügbar. Der Agent ist auch für das Sammeln von Metriken, Nutzlasten und Vorhersagen verantwortlich, die Sie zum Überwachen oder Erstellen eines neuen Datasets verwenden können, um das Modell bei Bedarf neu zu trainieren. Endlich mit Amazon SageMaker-Pipelineskönnen Sie eine automatisierte Pipeline mit allen Schritten erstellen, die zum Erstellen, Optimieren und Bereitstellen von ML-Modellen für Ihre Geräteflotte erforderlich sind. Diese automatisierte Pipeline kann dann durch einfache Ereignisse, die Sie definieren, ohne menschliches Eingreifen ausgelöst werden.

Anwendungsfall 1

Nehmen wir an, ein Flugzeughersteller möchte Teile und Werkzeuge in der Produktionshalle erkennen und verfolgen. Um die Produktivität zu steigern, müssen den Ingenieuren in jeder Phase der Produktion alle erforderlichen Teile und die richtigen Werkzeuge zur Verfügung stehen. Wir wollen Fragen beantworten können wie: Wo ist Teil A? oder Wo ist Werkzeug B? Wir haben bereits mehrere IP-Kameras installiert und mit einem lokalen Netzwerk verbunden. Die Kameras decken den gesamten Hangar ab und können HD-Videos in Echtzeit über das Netzwerk streamen.

AWS-Panorama passt gut in diesen Fall. AWS Panorama bietet eine ML-Appliance und einen verwalteten Service, mit denen Sie Computer Vision (CV) zu Ihrer bestehenden Flotte von IP-Kameras hinzufügen und automatisieren können. AWS Panorama bietet Ihnen die Möglichkeit, CV zu Ihren vorhandenen IP-Kameras (Internet Protocol) hinzuzufügen und Aufgaben zu automatisieren, die traditionell eine menschliche Inspektion und Überwachung erfordern.

In der folgenden Referenzarchitektur zeigen wir die Hauptkomponenten der Anwendung, die auf einer AWS Panorama Appliance ausgeführt wird. Das Panorama Application SDK erleichtert das Erfassen von Videos aus Kamerastreams, das Durchführen von Inferenzen mit einer Pipeline mehrerer ML-Modelle und das Verarbeiten der Ergebnisse mithilfe von Python-Code, der in einem Container ausgeführt wird. Sie können Modelle aus jeder gängigen ML-Bibliothek wie TensorFlow, PyTorch oder TensorRT ausführen. Die Ergebnisse des Modells können in Geschäftssysteme in Ihrem lokalen Netzwerk integriert werden, sodass Sie in Echtzeit auf Ereignisse reagieren können.

Die Lösung besteht aus folgenden Schritten:

1. Verbinden und konfigurieren Sie ein AWS Panorama-Gerät mit demselben lokalen Netzwerk.
2. Trainieren Sie ein ML-Modell (Objekterkennung), um Teile und Werkzeuge in jedem Frame zu identifizieren.
3. Erstellen Sie eine AWS Panorama-Anwendung, die die Vorhersagen aus dem ML-Modell erhält, einen Tracking-Mechanismus auf jedes Objekt anwendet und die Ergebnisse an eine Echtzeit-Datenbank sendet.
4. Die Bediener können Abfragen an die Datenbank senden, um die Teile und Werkzeuge zu lokalisieren.

Anwendungsfall 2

Stellen Sie sich für unseren nächsten Anwendungsfall vor, wir erstellen eine Dashcam für Fahrzeuge, die in der Lage ist, den Fahrer in vielen Situationen zu unterstützen, z. B. Fußgängern auszuweichen, basierend auf a CV25-Board von Ambaralla. Das Hosten von ML-Modellen auf einem Gerät mit begrenzten Systemressourcen kann schwierig sein. Nehmen wir in diesem Fall an, dass wir bereits über einen etablierten Over-the-Air (OTA)-Bereitstellungsmechanismus verfügen, um die erforderlichen Anwendungskomponenten auf dem Edge-Gerät bereitzustellen. Wir würden jedoch immer noch von der Möglichkeit profitieren, die OTA-Bereitstellung des Modells selbst durchzuführen und dadurch den Anwendungslebenszyklus und den Modelllebenszyklus zu isolieren.

Amazon SageMaker Edge-Manager und Amazon SageMaker Neo passen gut für diesen Anwendungsfall.

Edge Manager erleichtert ML-Edge-Entwicklern die Verwendung derselben vertrauten Tools in der Cloud oder auf Edge-Geräten. Es reduziert den Zeit- und Arbeitsaufwand, der erforderlich ist, um Modelle in die Produktion zu bringen, und ermöglicht es Ihnen gleichzeitig, die Modellqualität in Ihrer gesamten Geräteflotte kontinuierlich zu überwachen und zu verbessern. SageMaker Edge enthält einen OTA-Bereitstellungsmechanismus, mit dem Sie Modelle unabhängig von der Anwendungs- oder Gerätefirmware in der Flotte bereitstellen können. Das Edge Manager-Agent ermöglicht es Ihnen, mehrere Modelle auf demselben Gerät auszuführen. Der Agent sammelt Vorhersagedaten basierend auf der von Ihnen gesteuerten Logik, z. B. Intervallen, und lädt sie in die Cloud hoch, sodass Sie Ihre Modelle im Laufe der Zeit regelmäßig neu trainieren können. SageMaker Edge signiert Ihre Modelle kryptografisch, sodass Sie überprüfen können, ob sie beim Übergang von der Cloud zum Edge-Gerät nicht manipuliert wurden.

Neo ist ein Compiler as a Service und passt besonders gut in diesen Anwendungsfall. Neo optimiert automatisch ML-Modelle für die Inferenz auf Cloud-Instanzen und Edge-Geräten, um schneller und ohne Genauigkeitsverlust zu laufen. Sie beginnen mit einem ML-Modell, das mit einem von erstellt wurde unterstützte Frameworks und in SageMaker oder anderswo geschult. Dann wählen Sie Ihre Zielhardwareplattform (siehe Liste der Unterstützte Geräte). Mit einem einzigen Klick optimiert Neo das trainierte Modell und kompiliert es in ein Paket, das mit der leichtgewichtigen SageMaker Edge-Laufzeitumgebung ausgeführt werden kann. Der Compiler verwendet ein ML-Modell, um die Leistungsoptimierungen anzuwenden, die die beste verfügbare Leistung für Ihr Modell auf der Cloud-Instanz oder dem Edge-Gerät extrahieren. Anschließend stellen Sie das Modell als SageMaker-Endpunkt oder auf unterstützten Edge-Geräten bereit und beginnen mit der Vorhersage.

Das folgende Diagramm veranschaulicht diese Architektur.

Der Lösungsworkflow besteht aus den folgenden Schritten:

1. Der Entwickler baut, trainiert, validiert und erstellt das endgültige Modellartefakt, das auf der Dashcam bereitgestellt werden muss.
2. Rufen Sie Neo auf, um das trainierte Modell zu kompilieren.
3. Der SageMaker Edge-Agent wird auf dem Edge-Gerät, in diesem Fall der Dashcam, installiert und konfiguriert.
4. Erstellen Sie ein Bereitstellungspaket mit einem signierten Modell und der Laufzeit, die vom SageMaker Edge-Agenten verwendet wird, um das optimierte Modell zu laden und aufzurufen.
5. Stellen Sie das Paket mithilfe des vorhandenen OTA-Bereitstellungsmechanismus bereit.
6. Die Edge-Anwendung interagiert mit dem SageMaker Edge-Agenten, um Rückschlüsse zu ziehen.
7. Der Agent kann (falls erforderlich) so konfiguriert werden, dass er Stichprobeneingabedaten in Echtzeit von der Anwendung zu Zwecken der Modellüberwachung und -verfeinerung sendet.

Anwendungsfall 3

Angenommen, Ihr Kunde entwickelt eine Anwendung, die Anomalien in den Mechanismen einer Windkraftanlage (wie Getriebe, Generator oder Rotor) erkennt. Das Ziel ist es, den Schaden an der Ausrüstung zu minimieren, indem lokale Schutzverfahren im laufenden Betrieb ausgeführt werden. Diese Turbinen sind sehr teuer und befinden sich an schwer zugänglichen Orten. Jede Turbine kann mit einem NVIDIA Jetson-Gerät ausgestattet werden, um Sensordaten von der Turbine zu überwachen. Wir brauchen dann eine Lösung, um die Daten zu erfassen und einen ML-Algorithmus zu verwenden, um Anomalien zu erkennen. Wir brauchen auch einen OTA-Mechanismus, um die Software und ML-Modelle auf dem Gerät auf dem neuesten Stand zu halten.

AWS IoT Greengrass V2 zusammen mit Edge Manager passen gut in diesen Anwendungsfall. AWS IoT Greengrass ist eine Open-Source-IoT-Edge-Laufzeit und ein Cloud-Service, der Sie beim Erstellen, Bereitstellen und Verwalten von IoT-Anwendungen auf Ihren Geräten unterstützt. Sie können AWS IoT Greengrass verwenden, um Edge-Anwendungen mit vorgefertigten Softwaremodulen, genannt Komponenten, das Ihre Edge-Geräte mit AWS-Diensten oder Diensten von Drittanbietern verbinden kann. Diese Fähigkeit von AWS IoT Greengrass erleichtert die Bereitstellung von Assets auf Geräten, einschließlich eines SageMaker Edge-Agenten. AWS IoT Greengrass ist für die Verwaltung des Anwendungslebenszyklus verantwortlich, während Edge Manager den Lebenszyklus des ML-Modells entkoppelt. Dies gibt Ihnen die Flexibilität, die gesamte Lösung weiterzuentwickeln, indem Sie neue Versionen der Edge-Anwendung und ML-Modelle unabhängig voneinander bereitstellen. Das folgende Diagramm veranschaulicht diese Architektur.

Die Lösung besteht aus folgenden Schritten:

1. Der Entwickler baut, trainiert, validiert und erstellt das endgültige Modellartefakt, das in der Windkraftanlage eingesetzt werden muss.
2. Rufen Sie Neo auf, um das trainierte Modell zu kompilieren.
3. Erstellen Sie eine Modellkomponente mit Edge Manager mit AWS IoT Greengrass V2-Integration.
4. Richten Sie AWS IoT Greengrass V2 ein.
5. Erstellen Sie eine Inferenzkomponente mit AWS IoT Greengrass V2.
6. Die Edge-Anwendung interagiert mit dem SageMaker Edge-Agenten, um Rückschlüsse zu ziehen.
7. Der Agent kann (falls erforderlich) so konfiguriert werden, dass er Stichprobeneingabedaten in Echtzeit von der Anwendung zu Zwecken der Modellüberwachung und -verfeinerung sendet.

Anwendungsfall 4

Betrachten wir für unseren letzten Anwendungsfall ein Schiff, das Container transportiert, wobei jeder Container über einige Sensoren verfügt und ein Signal an die lokal bereitgestellte Rechen- und Speicherinfrastruktur sendet. Die Herausforderung besteht darin, dass wir den Inhalt jedes Containers und den Zustand der Waren basierend auf Temperatur, Feuchtigkeit und Gasen in jedem Container kennen wollen. Außerdem wollen wir alle Waren in jedem Container nachverfolgen. Während der gesamten Reise besteht keine Internetverbindung, und die Reise kann Monate dauern. Die ML-Modelle, die auf dieser Infrastruktur laufen, sollten die Daten vorverarbeiten und Informationen generieren, um alle unsere Fragen zu beantworten. Die generierten Daten müssen monatelang lokal gespeichert werden. Die Edge-Anwendung speichert alle Inferenzen in einer lokalen Datenbank und synchronisiert dann die Ergebnisse mit der Cloud, wenn sich das Schiff dem Hafen nähert.

AWS Schneekegel und AWS-Schneeball von dem AWS Snow-Familie könnte sehr gut in diesen Anwendungsfall passen.

AWS Snowcone ist ein kleines, robustes und sicheres Edge-Computing- und Datenmigrationsgerät. Snowcone wurde gemäß dem OSHA-Standard für ein von einer Person anhebbares Gerät entwickelt. Mit Snowcone können Sie Edge-Workloads ausführen Amazon Elastic Compute-Cloud (Amazon EC2) Computing und lokale Speicherung in rauen, nicht miteinander verbundenen Feldumgebungen wie Bohrinseln, Such- und Rettungsfahrzeugen, Militärstandorten oder Fabrikhallen sowie abgelegenen Büros, Krankenhäusern und Kinos.

Snowball fügt im Vergleich zu Snowcone mehr Rechenleistung hinzu und eignet sich daher möglicherweise hervorragend für anspruchsvollere Anwendungen. Die Compute Optimized-Funktion bietet eine optionale NVIDIA Tesla V100-GPU zusammen mit EC2-Instances, um die Leistung einer Anwendung in nicht verbundenen Umgebungen zu beschleunigen. Mit der GPU-Option können Sie Anwendungen wie Advanced ML und Full-Motion-Videoanalyse in Umgebungen mit wenig oder keiner Konnektivität ausführen.

Zusätzlich zur EC2-Instance haben Sie die Freiheit, jede Art von Edge-Lösung zu erstellen und bereitzustellen. Zum Beispiel: Sie können verwenden Amazon ECS oder andere Container-Manager, um die Edge-Anwendung, den Edge Manager-Agenten und das ML-Modell als einzelne Container bereitzustellen. Diese Architektur würde Anwendungsfall 2 ähneln (mit der Ausnahme, dass sie die meiste Zeit offline funktioniert), mit dem Hinzufügen eines Container-Manager-Tools.

Das folgende Diagramm veranschaulicht diese Lösungsarchitektur.

Um diese Lösung zu implementieren, bestellen Sie einfach Ihr Snow-Gerät bei der AWS-Managementkonsole und starten Sie Ihre Ressourcen.

Zusammenfassung

In diesem Beitrag haben wir die verschiedenen Aspekte von Edge besprochen, mit denen Sie basierend auf Ihrem Anwendungsfall arbeiten können. Wir haben auch einige der Schlüsselkonzepte rund um ML@Edge besprochen und wie die Entkopplung des Anwendungslebenszyklus und des ML-Modelllebenszyklus Ihnen die Freiheit gibt, sie ohne Abhängigkeit voneinander weiterzuentwickeln. Wir haben betont, wie die Auswahl des richtigen Edge-Geräts für Ihre Workload und das Stellen der richtigen Fragen während des Lösungsprozesses Ihnen helfen können, rückwärts zu arbeiten und die richtigen AWS-Services einzugrenzen. Wir haben auch verschiedene Anwendungsfälle zusammen mit Referenzarchitekturen vorgestellt, um Sie zu inspirieren, Ihre eigenen Lösungen zu erstellen, die für Ihre Workload geeignet sind.

---

Über die Autoren

Dinesh Kumar Subramani ist Senior Solutions Architect im UKIR SMB-Team mit Sitz in Edinburgh, Schottland. Er ist spezialisiert auf künstliche Intelligenz und maschinelles Lernen. Dinesh arbeitet gerne mit Kunden aus verschiedenen Branchen zusammen, um ihnen bei der Lösung ihrer Probleme mit AWS-Services zu helfen. Außerhalb der Arbeit verbringt er gerne Zeit mit seiner Familie, spielt Schach und genießt Musik aller Genres.

Samir Araújo ist AI / ML Solutions Architect bei AWS. Er hilft Kunden bei der Erstellung von AI / ML-Lösungen, die ihre geschäftlichen Herausforderungen mithilfe von AWS lösen. Er hat an mehreren AI / ML-Projekten gearbeitet, die sich mit Computer Vision, Verarbeitung natürlicher Sprache, Prognose, ML am Rande und vielem mehr befassen. In seiner Freizeit spielt er gerne mit Hardware- und Automatisierungsprojekten und hat ein besonderes Interesse an Robotik.

• Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
• Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
• CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
• Quelle: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-cases/