Dies ist ein Gastbeitrag von Ian Lantzy, Senior Software & Machine Learning Engineer von Kustomer, und dem AWS-Team Umesh Kalaspurkar, Prasad Shetty und Jonathan Greifenberger.
In Kustomers eigenen Worten: „Kustomer ist die Omnichannel-SaaS-CRM-Plattform, die den Kundenservice von Unternehmen neu erfindet, um herausragende Erlebnisse zu bieten. Basierend auf intelligenter Automatisierung skalieren wir, um die Anforderungen jedes Contact Centers und Unternehmens zu erfüllen, indem wir Daten aus mehreren Quellen vereinheitlichen und es Unternehmen ermöglichen, mühelosen, konsistenten und personalisierten Service und Support über eine einzige Zeitachsenansicht bereitzustellen.“
Kustomer wollte die Möglichkeit haben, große Mengen an Support-Kommunikation für seine Geschäftskunden – Kundenerfahrungs- und Serviceorganisationen – schnell zu analysieren und die Ermittlung von Informationen wie der Absicht des Endkunden, Kundendienstproblemen und anderen relevanten Erkenntnissen in Bezug auf den Verbraucher zu automatisieren. Das Verständnis dieser Merkmale kann CX-Organisationen dabei helfen, Tausende von eingehenden Support-E-Mails zu verwalten, indem der Inhalt automatisch klassifiziert und kategorisiert wird. Kustomer nutzt Amazon Sage Maker um die Analyse der eingehenden Support-Kommunikation über ihre KI-basierte zu verwalten Kunden-IQ Plattform. Der Konversationsklassifizierungsdienst von Kustomer IQ ist in der Lage, Konversationen zu kontextualisieren und ansonsten mühsame und sich wiederholende Aufgaben zu automatisieren, wodurch die Ablenkung der Agenten und die Gesamtkosten pro Kontakt reduziert werden. Dieser und andere IQ-Services von Kustomer haben die Produktivität und Automatisierung für seine Geschäftskunden gesteigert.
In diesem Beitrag sprechen wir darüber, wie Kustomer benutzerdefinierte Docker-Images für SageMaker-Training und -Inferenz verwendet, was die Integration erleichtert und den Prozess rationalisiert. Mit diesem Ansatz klassifizieren die Geschäftskunden von Kustomer monatlich über 50 Support-E-Mails automatisch mit einer Genauigkeit von bis zu 70 %.
Hintergründe und Herausforderungen
Kustomer verwendet eine benutzerdefinierte Textklassifizierungspipeline für seinen Konversationsklassifizierungsdienst. Dies hilft ihnen, Tausende von Anfragen pro Tag durch automatische Klassifizierung und Kategorisierung unter Verwendung der Trainings- und Inferenz-Orchestrierung von SageMaker zu verwalten. Die Trainings-Engine für die Konversationsklassifizierung verwendet benutzerdefinierte Docker-Images, um Daten zu verarbeiten und Modelle anhand historischer Konversationen zu trainieren, und sagt dann die Themen, Kategorien oder andere benutzerdefinierte Labels voraus, die ein bestimmter Agent benötigt, um die Konversationen zu klassifizieren. Dann verwendet die Vorhersage-Engine die trainierten Modelle mit einem anderen benutzerdefinierten Docker-Image, um Konversationen zu kategorisieren, die Organisationen verwenden, um die Berichterstattung zu automatisieren oder Konversationen basierend auf ihrem Thema an ein bestimmtes Team weiterzuleiten.
Der SageMaker-Kategorisierungsprozess beginnt mit der Einrichtung einer Trainings- und Inferenzpipeline, die Textklassifizierung und kontextbezogene Empfehlungen bereitstellen kann. Ein typisches Setup würde mit serverlosen Ansätzen wie implementiert AWS Lambda für die Datenvorverarbeitung und -nachverarbeitung, da es eine minimale Bereitstellungsanforderung mit einem effektiven On-Demand-Preismodell hat. Die Verwendung von SageMaker mit Abhängigkeiten wie TensorFlow, NumPy und Pandas kann jedoch die Modellpaketgröße schnell erhöhen, was den gesamten Bereitstellungsprozess umständlich und schwierig zu verwalten macht. Kustomer verwendete benutzerdefinierte Docker-Images, um diese Herausforderungen zu bewältigen.
Benutzerdefinierte Docker-Images bieten erhebliche Vorteile:
- Ermöglicht größere komprimierte Paketgrößen (über 10 GB), die beliebte Frameworks für maschinelles Lernen (ML) wie TensorFlow, MXNet, PyTorch oder andere enthalten können.
- Ermöglicht es Ihnen, benutzerdefinierten Code oder lokal entwickelte Algorithmen einzubringen Amazon SageMaker-Studio Notebooks für schnelle Iteration und Modelltraining.
- Vermeidet Verzögerungen bei der Vorverarbeitung, die in Lambda beim Entpacken von Bereitstellungspaketen verursacht werden.
- Bietet Flexibilität für die nahtlose Integration in interne Systeme.
- Zukünftige Kompatibilität und Skalierbarkeit machen es einfacher, einen Dienst mit Docker zu konvertieren, anstatt .zip-Dateien in einer Lambda-Funktion packen zu müssen.
- Reduziert die Bearbeitungszeit für eine CI/CD-Bereitstellungspipeline.
- Bietet Docker-Vertrautheit innerhalb des Teams und Benutzerfreundlichkeit.
- Bietet Zugriff auf Datenspeicher über APIs und eine Back-End-Laufzeit.
- Bietet eine bessere Unterstützung für das Eingreifen bei jeder Vor- oder Nachverarbeitung, für die Lambda einen separaten Rechendienst für jeden Prozess (z. B. Training oder Bereitstellung) erfordern würde.
Lösungsüberblick
Die Kategorisierung und Kennzeichnung von Support-E-Mails ist ein entscheidender Schritt im Kundensupportprozess. Es ermöglicht Unternehmen, Gespräche an die richtigen Teams weiterzuleiten und auf hohem Niveau zu verstehen, worüber ihre Kunden sie kontaktieren. Die Geschäftskunden von Kustomer führen jeden Tag Tausende von Gesprächen, daher ist die Klassifizierung in großem Umfang eine Herausforderung. Die Automatisierung dieses Prozesses hilft Agenten, effektiver zu sein und einen kohärenteren Support zu bieten, und hilft ihren Kunden, indem sie sie schneller mit den richtigen Leuten verbinden.
Das folgende Diagramm veranschaulicht die Lösungsarchitektur:
Der Konversationsklassifizierungsprozess beginnt damit, dass der Geschäftskunde Kustomer die Erlaubnis erteilt, eine Schulungs- und Inferenzpipeline einzurichten, die ihm bei der Textklassifizierung und kontextbezogenen Empfehlungen helfen kann. Kustomer stellt seinen Kunden eine Benutzeroberfläche zur Verfügung, um den Trainings- und Inferenzprozess zu überwachen, der mithilfe von SageMaker zusammen mit TensorFlow-Modellen und benutzerdefinierten Docker-Images implementiert wird. Der Prozess des Erstellens und Verwendens eines Klassifikators ist in fünf Hauptworkflows unterteilt, die von einem laufenden Worker-Dienst koordiniert werden Amazon ECS. Um die Pipeline-Ereignisse zu koordinieren und das Training und die Bereitstellung des Modells auszulösen, verwendet der Worker eine Amazon SQS Warteschlange und lässt sich mithilfe des von AWS bereitgestellten Node.js SDK direkt in SageMaker integrieren. Die Arbeitsabläufe sind:
- Datenexport
- Datenvorverarbeitung
- Ausbildung
- Einsatz
- Inferenz
Datenexport
Der Datenexportprozess wird nach Bedarf ausgeführt und beginnt mit einem Genehmigungsprozess des Geschäftskunden von Kustomer, um die Verwendung von E-Mail-Daten für die Analyse zu bestätigen. Daten, die für den Klassifizierungsprozess relevant sind, werden über die anfängliche E-Mail erfasst, die der Endkunde erhält. Beispielsweise enthält eine Support-E-Mail normalerweise den vollständigen zusammenhängenden Gedanken des Problems mit Details zum Problem. Im Rahmen des Exportprozesses werden die E-Mails aus dem Datenspeicher (MongoDB bzw Amazon OpenSearch) und gespeichert Amazon Simple Storage-Service (Amazon S3).
Datenvorverarbeitung
Die Datenvorverarbeitungsphase bereinigt den Datensatz für Trainings- und Inferenzworkflows, indem alle HTML-Tags aus Kunden-E-Mails entfernt und sie durch mehrere Reinigungs- und Bereinigungsschritte geführt werden, um fehlerhaftes HTML zu erkennen. Dieser Prozess umfasst die Verwendung von Hugging Face Tokenizer und Transformer. Wenn der Bereinigungsprozess abgeschlossen ist, werden dem Ausgabedataset alle zusätzlichen benutzerdefinierten Token hinzugefügt, die für das Training erforderlich sind.
Während der Vorverarbeitungsphase ruft eine Lambda-Funktion ein benutzerdefiniertes Docker-Image auf. Dieses Image besteht aus einer Python 3.8 Slim Base, der AWS Lambda Python Runtime Interface-Client, und Abhängigkeiten wie z NumPy und Pandas. Das benutzerdefinierte Docker-Image wird auf gespeichert Amazon Elastic Container-Registrierung (Amazon ECR) und dann zur Bereitstellung durch die CI/CD-Pipeline geleitet. Die bereitgestellte Lambda-Funktion tastet die Daten ab, um drei unterschiedliche Datensätze pro Klassifikator zu generieren:
- Ausbildung – Wird für den eigentlichen Trainingsprozess verwendet
- Validierung – Wird zur Validierung während des TensorFlow-Trainingsprozesses verwendet
- Test – Wird gegen Ende des Trainingsprozesses für Metrikmodellvergleiche verwendet
Die generierten Ausgabedatensätze sind Pandas-Pickle-Dateien, die in Amazon S3 gespeichert werden, um von der Trainingsphase verwendet zu werden.
Ausbildung
Das benutzerdefinierte Trainingsbild von Kustomer verwendet einen TensorFlow 2.7-GPU-optimierten Docker Image als Basis. Benutzerdefinierter Code, Abhängigkeiten und Basismodelle werden eingeschlossen, bevor das benutzerdefinierte Docker-Trainingsbild in ECR hochgeladen wird. P3-Instance-Typen werden für den Trainingsprozess verwendet, und die Verwendung eines GPU-optimierten Basisimages trägt dazu bei, den Trainingsprozess so effizient wie möglich zu gestalten. Amazon SageMaker wird mit diesem benutzerdefinierten Docker-Image verwendet, um TensorFlow-Modelle zu trainieren, die dann in S3 gespeichert werden. Benutzerdefinierte Metriken werden ebenfalls berechnet und gespeichert, um bei zusätzlichen Funktionen wie Modellvergleichen und automatischem Neutraining zu helfen. Sobald die Schulungsphase abgeschlossen ist, wird der KI-Mitarbeiter benachrichtigt und der Geschäftskunde kann den Bereitstellungsworkflow starten.
Einsatz
Für den Bereitstellungs-Workflow wird ein benutzerdefiniertes Docker-Inferenz-Image mithilfe eines TensorFlow-Serving-Basis-Image erstellt (das speziell für schnelle Inferenz erstellt wurde). Zusätzlicher Code und Abhängigkeiten wie numPy, Pandas, benutzerdefinierte NL usw. sind enthalten, um zusätzliche Funktionen bereitzustellen, z. B. Formatieren und Bereinigen von Eingaben vor der Inferenz. FastAPI ist auch als Teil des benutzerdefinierten Images enthalten und wird verwendet, um die REST-API-Endpunkte für Rückschlüsse und Zustandsprüfungen bereitzustellen. SageMaker wird dann so konfiguriert, dass die in S3 gespeicherten TensorFlow-Modelle mit dem Inferenzbild auf rechenoptimierten ml.c5-AWS-Instanzen bereitgestellt werden, um hochleistungsfähige Inferenzendpunkte zu generieren. Jeder Endpunkt wird für die Verwendung durch einen einzelnen Kunden erstellt, um seine Modelle und Daten zu isolieren.
Inferenz
Sobald der Bereitstellungs-Workflow abgeschlossen ist, übernimmt der Inferenz-Workflow. Alle ersten eingehenden Support-E-Mails werden durch die Inferenz-API für die bereitgestellten Klassifikatoren geleitet, die für diesen Kunden spezifisch sind. Die bereitgestellten Klassifikatoren führen dann eine Textklassifizierung für jede dieser E-Mails durch, wobei jede Klassifikationskennzeichnung für den Kunden generiert.
Mögliche Erweiterungen und Anpassungen
Kustomer erwägt, die Lösung um die folgenden Verbesserungen zu erweitern:
- Hugging Face-DLCs – Kustomer verwendet derzeit die Basis-Docker-Images von TensorFlow für die Datenvorverarbeitungsphase und plant eine Migration Hugging Face Deep Learning Container (DLCs). Dies hilft Ihnen, sofort mit dem Training von Modellen zu beginnen und den komplizierten Prozess des Erstellens und Optimierens Ihrer Trainingsumgebungen von Grund auf zu überspringen. Weitere Informationen finden Sie unter Umarmendes Gesicht bei Amazon SageMaker.
- Rückkopplungsschleife – Sie können eine Rückkopplungsschleife mithilfe von Techniken des aktiven Lernens oder des bestärkenden Lernens implementieren, um die Gesamteffizienz des Modells zu steigern.
- Integration mit anderen internen Systemen – Kustomer möchte die Möglichkeit haben, die Textklassifizierung mit anderen Systemen wie Smart Suggestions zu integrieren, einem weiteren Kustomer IQ-Service, der Hunderte von Shortcuts durchsucht und die Shortcuts vorschlägt, die für eine Kundenanfrage am relevantesten sind, wodurch die Antwortzeiten und die Leistung der Agenten verbessert werden.
Zusammenfassung
In diesem Beitrag haben wir besprochen, wie Kustomer benutzerdefinierte Docker-Images für SageMaker-Training und -Inferenz verwendet, was die Integration erleichtert und den Prozess rationalisiert. Wir haben gezeigt, wie Kustomer Lambda und SageMaker mit benutzerdefinierten Docker-Images nutzt, die bei der Implementierung des Textklassifizierungsprozesses mit Vorverarbeitungs- und Nachverarbeitungs-Workflows helfen. Dies bietet Flexibilität bei der Verwendung größerer Bilder für die Modellerstellung, das Training und die Inferenz. Die Container-Image-Unterstützung für Lambda ermöglicht es Ihnen, Ihre Funktion noch weiter anzupassen und eröffnet viele neue Anwendungsfälle für serverloses ML. Die Lösung nutzt mehrere AWS-Services, darunter SageMaker, Lambda, Docker-Images, Amazon ECR, Amazon ECS, Amazon SQS und Amazon S3.
Wenn Sie mehr über Kustomer erfahren möchten, empfehlen wir Ihnen, die zu besuchen Kundenseite und erkunden Sie ihre Fallstudien.
Klicken Sie auf Kostenlos erhalten und dann auf Installieren. hier um Ihre Reise mit Amazon SageMaker zu beginnen. Für praktische Erfahrungen können Sie auf Amazon SageMaker verweisen Werkstatt.
Über die Autoren
Umesh Kalaspurkar ist ein in New York ansässiger Lösungsarchitekt für AWS. Er bringt mehr als 20 Jahre Erfahrung in der Konzeption und Durchführung von digitalen Innovations- und Transformationsprojekten in Unternehmen und Startups mit. Er ist motiviert, Kunden dabei zu helfen, Herausforderungen zu erkennen und zu meistern. Außerhalb der Arbeit genießt Umesh es, Vater zu sein, Ski zu fahren und zu reisen.
Ian Lanzy ist Senior Software & Machine Learning Engineer bei Kustomer und darauf spezialisiert, Forschungsaufgaben im Bereich maschinelles Lernen zu übernehmen und sie in Produktionsdienstleistungen umzuwandeln.
Prasad Shetty ist ein in Boston ansässiger Lösungsarchitekt für AWS. Er hat Softwareprodukte entwickelt und seit über 20 Jahren die Modernisierung und digitale Innovation von Produkten und Dienstleistungen in Unternehmen geleitet. Er treibt die Cloud-Strategie und -Akzeptanz leidenschaftlich voran und nutzt Technologien, um großartige Kundenerlebnisse zu schaffen. In seiner Freizeit fährt Prasad gerne Rad und reist.
Jonathan Greifenberg ist ein in New York ansässiger Senior Account Manager für AWS mit 25 Jahren Erfahrung in der IT-Branche. Jonathan leitet ein Team, das Kunden aus verschiedenen Branchen und Branchen bei ihrer Cloud-Einführung und -Modernisierung unterstützt.
- Coinsmart. Europas beste Bitcoin- und Krypto-Börse.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. DEN FREIEN ZUGANG.
- CryptoHawk. Altcoin-Radar. Kostenlose Testphase.
- Quelle: https://aws.amazon.com/blogs/machine-learning/how-kustomer-utilizes-custom-docker-images-amazon-sagemaker-to-build-a-text-classification-pipeline/
- "
- &
- 100
- 20 Jahre
- 7
- Über uns
- Zugang
- Konto
- über
- aktiv
- Zusätzliche
- Adoption
- Vorteil
- Vorteilen
- Agenten
- AI
- Algorithmen
- Alle
- Amazon
- Analyse
- Ein anderer
- Bienen
- APIs
- Ansatz
- Architektur
- Automation
- AWS
- Sein
- bauen
- Building
- Geschäft
- Fähigkeiten
- Fälle
- verursacht
- challenges
- Herausforderungen
- Schecks
- Einstufung
- Reinigung
- Cloud
- Code
- Kommunikation
- Unternehmen
- Berechnen
- Verbraucher
- Container
- Behälter
- enthält
- Inhalt
- Gespräch
- Gespräche
- Customer Experience
- Kundenservice
- Kundensupport
- Kunden
- technische Daten
- Tag
- Verzögerungen
- Lieferanten
- Demand
- Einsatz
- Design
- entwickelt
- digital
- Entdeckung
- Docker
- Fahren
- Effektiv
- Effizienz
- ermöglichen
- ermutigen
- Endpunkt
- Ingenieur
- Unternehmen
- Veranstaltungen
- Beispiel
- Ausbau
- ERFAHRUNGEN
- Erfahrungen
- Gesicht
- FAST
- Fed
- Feedback
- Vorname
- Flexibilität
- Folgende
- Funktion
- Funktionalität
- erzeugen
- Unterstützung
- GPU
- groß
- GUEST
- Guest Post
- mit
- Gesundheit
- Hilfe
- hilft
- High
- Ultraschall
- HTTPS
- hunderte
- identifizieren
- Image
- implementieren
- umgesetzt
- inklusive
- Einschließlich
- Erhöhung
- hat
- Branchen
- Energiegewinnung
- Information
- Innovation
- Einblicke
- integrieren
- Integration
- Intelligent
- Absicht
- Schnittstelle
- Problem
- IT
- Beschriftung
- Etiketten
- grosse
- größer
- LERNEN
- lernen
- geführt
- Niveau
- Hebelwirkungen
- örtlich
- Maschine
- Maschinelles Lernen
- Making
- Manager
- Metrik
- ML
- Modell
- für
- MongoDB
- vor allem warme
- New York
- Orchesterbearbeitung
- Auftrag
- Organisationen
- Andere
- Andernfalls
- Personen
- Leistung
- Plattform
- Beliebt
- möglich
- Prognose
- gebühr
- Aufgabenstellung:
- Prozessdefinierung
- Produkt
- Produktion
- PRODUKTIVITÄT
- Produkte
- Projekte
- die
- bietet
- schnell
- Reduzierung
- erfordern
- falls angefordert
- Forschungsprojekte
- Antwort
- REST
- Straße
- Führen Sie
- Laufen
- Skalierbarkeit
- Skalieren
- Sdk
- Serverlos
- Leistungen
- Dienst
- kompensieren
- Einfacher
- Größe
- smart
- So
- Software
- Lösungen
- spezialisiert
- speziell
- gespalten
- Stufe
- Anfang
- Startups
- storage
- speichern
- Läden
- Strategie
- Strippen
- Es wurden Studien
- wesentlich
- Support
- Systeme und Techniken
- Reden
- und Aufgaben
- Team
- Techniken
- Technologie
- Tausende
- Durch
- Zeit
- Tokens
- Themen
- Ausbildung
- Transformation
- verstehen
- Anzeigen
- Was
- .
- Worte
- Arbeiten
- Jahr