Dit is een gastpost van Schaalbaar kapitaal, een toonaangevende FinTech in Europa die digitaal vermogensbeheer en een makelaarsplatform met een vast handelstarief aanbiedt.
Als snelgroeiend bedrijf zijn de doelstellingen van Scalable Capital niet alleen om een โโinnovatieve, robuuste en betrouwbare infrastructuur op te bouwen, maar ook om onze klanten de beste ervaringen te bieden, vooral als het gaat om klantenservice.
Scalable ontvangt dagelijks honderden e-mailvragen van onze klanten. Door de implementatie van een modern Natural Language Processing (NLP)-model is het responsproces veel efficiรซnter vormgegeven en is de wachttijd voor cliรซnten enorm verkort. Het machine learning (ML)-model classificeert nieuwe inkomende klantverzoeken zodra ze binnenkomen en stuurt ze door naar vooraf gedefinieerde wachtrijen, waardoor onze toegewijde klantensuccesagenten zich kunnen concentreren op de inhoud van de e-mails op basis van hun vaardigheden en passende antwoorden kunnen geven.
In dit bericht demonstreren we de technische voordelen van het gebruik van Hugging Face-transformatoren die worden ingezet Amazon Sage Maker, zoals training en experimenten op grote schaal, en verhoogde productiviteit en kostenefficiรซntie.
Probleemstelling
Scalable Capital is een van de snelst groeiende FinTechs in Europa. Met als doel investeringen te democratiseren, biedt het bedrijf zijn klanten gemakkelijke toegang tot de financiรซle markten. Klanten van Scalable kunnen actief deelnemen aan de markt via het brokerage-handelsplatform van het bedrijf, of Scalable Wealth Management gebruiken om op een intelligente en geautomatiseerde manier te investeren. In 2021 kende Scalable Capital een vertienvoudiging van haar klantenbestand, van tienduizenden naar honderdduizenden.
Om onze klanten een eersteklas (en consistente) gebruikerservaring te bieden voor alle producten en klantenservice, was het bedrijf op zoek naar geautomatiseerde oplossingen om efficiรซntie te genereren voor een schaalbare oplossing met behoud van operationele uitmuntendheid. De datawetenschaps- en klantenserviceteams van Scalable Capital hebben vastgesteld dat een van de grootste knelpunten bij de dienstverlening aan onze klanten het reageren op e-mailvragen was. Concreet was het knelpunt de classificatiestap, waarbij medewerkers dagelijks verzoekteksten moesten lezen en labelen. Nadat de e-mails naar de juiste wachtrijen waren geleid, kwamen de betreffende specialisten snel in actie en losten de gevallen op.
Om dit classificatieproces te stroomlijnen, heeft het datawetenschapsteam van Scalable een multitask NLP-model gebouwd en geรฏmplementeerd met behulp van de modernste transformatorarchitectuur, gebaseerd op de vooraf getrainde distilbert-basis-duitse behuizing model uitgegeven door Hugging Face. distilbert-basis-duitse behuizing gebruikt kennis distillatie methode om een โโkleiner taalrepresentatiemodel voor algemene doeleinden voor te trainen dan het originele BERT-basismodel. De gedistilleerde versie levert vergelijkbare prestaties als de originele versie, maar is kleiner en sneller. Om ons ML-levenscyclusproces te vergemakkelijken, hebben we besloten SageMaker te gebruiken om onze modellen te bouwen, te implementeren, te bedienen en te monitoren. In de volgende sectie introduceren we ons projectarchitectuurontwerp.
Overzicht oplossingen
De ML-infrastructuur van Scalable Capital bestaat uit twee AWS-accounts: รฉรฉn als omgeving voor de ontwikkelingsfase en de andere voor de productiefase.
Het volgende diagram toont de workflow voor ons e-mailclassificatieproject, maar kan ook worden gegeneraliseerd naar andere datawetenschapsprojecten.
De workflow bestaat uit de volgende onderdelen:
- Modelexperimenten โ Datawetenschappers gebruiken Amazon SageMaker Studio het uitvoeren van de eerste stappen in de datawetenschapslevenscyclus: verkennende data-analyse (EDA), het opschonen en voorbereiden van data, en het bouwen van prototypemodellen. Wanneer de verkennende fase voltooid is, wenden we ons tot VSCode, gehost door een SageMaker-notebook, als ons ontwikkelingshulpmiddel op afstand om onze codebasis te modulariseren en te produceren. Om verschillende soorten modellen en modelconfiguraties te verkennen en tegelijkertijd onze experimenten bij te houden, gebruiken we SageMaker Training en SageMaker Experiments.
- Modelbouw โ Nadat we een model hebben gekozen voor onze productie-use case, in dit geval een multi-task distilbert-basis-duitse behuizing model, verfijnd op basis van het vooraf getrainde model van Hugging Face, committen en pushen we onze code naar de ontwikkelbranche van Github. De samenvoegingsgebeurtenis van Github activeert onze Jenkins CI-pijplijn, die op zijn beurt een SageMaker Pipelines-taak met testgegevens start. Dit fungeert als een test om ervoor te zorgen dat codes worden uitgevoerd zoals verwacht. Voor testdoeleinden wordt een testeindpunt geรฏmplementeerd.
- Modelimplementatie โ Nadat ze zich ervan hebben verzekerd dat alles naar verwachting werkt, voegen datawetenschappers de ontwikkeltak samen met de primaire tak. Deze samenvoeggebeurtenis activeert nu een SageMaker Pipelines-taak waarbij productiegegevens worden gebruikt voor trainingsdoeleinden. Daarna worden modelartefacten geproduceerd en opgeslagen in een uitvoer Amazon eenvoudige opslagservice (Amazon S3) bucket en er wordt een nieuwe modelversie vastgelegd in het SageMaker-modelregister. Datawetenschappers onderzoeken de prestaties van het nieuwe model en keuren vervolgens goed of het in lijn is met de verwachtingen. De modelgoedkeuringsgebeurtenis wordt vastgelegd door Amazon EventBridge, dat het model vervolgens implementeert op een SageMaker-eindpunt in de productieomgeving.
- MLops โ Omdat het SageMaker-eindpunt privรฉ is en niet kan worden bereikt door services buiten de VPC, AWS Lambda functie en Amazon API-gateway openbaar eindpunt zijn vereist om met CRM te communiceren. Telkens wanneer nieuwe e-mails in de CRM-inbox binnenkomen, roept CRM het openbare API Gateway-eindpunt aan, dat op zijn beurt de Lambda-functie activeert om het privรฉ-SageMaker-eindpunt aan te roepen. De functie stuurt de classificatie vervolgens terug naar CRM via het openbare API Gateway-eindpunt. Om de prestaties van ons geรฏmplementeerde model te monitoren, implementeren we een feedbacklus tussen CRM en de datawetenschappers om de voorspellingsstatistieken van het model bij te houden. Maandelijks werkt CRM de historische gegevens bij die worden gebruikt voor experimenten en modeltraining. We gebruiken Door Amazon beheerde workflows voor Apache Airflow (Amazon MWAA) als planner voor onze maandelijkse omscholing.
In de volgende secties worden de stappen voor gegevensvoorbereiding, modelexperimenten en modelimplementatie gedetailleerder beschreven.
Data voorbereiding
Scalable Capital maakt gebruik van een CRM-tool voor het beheren en opslaan van e-mailgegevens. Relevante e-mailinhoud bestaat uit onderwerp, hoofdtekst en de bewaarderbanken. Er zijn drie labels die u aan elke e-mail kunt toewijzen: van welke branche de e-mail afkomstig is, welke wachtrij geschikt is en het specifieke onderwerp van de e-mail.
Voordat we beginnen met het trainen van NLP-modellen, zorgen we ervoor dat de invoergegevens schoon zijn en dat de labels volgens verwachting worden toegewezen.
Om schone onderzoeksinhoud van Scalable-clients op te halen, verwijderen we uit onbewerkte e-mailgegevens en extra tekst en symbolen, zoals e-mailhandtekeningen, impressums, citaten uit eerdere berichten in e-mailketens, CSS-symbolen, enzovoort. Anders kunnen onze toekomstig getrainde modellen slechter presteren.
Labels voor e-mails evolueren in de loop van de tijd naarmate schaalbare klantenserviceteams nieuwe toevoegen en bestaande verfijnen of verwijderen om aan de zakelijke behoeften te voldoen. Om ervoor te zorgen dat labels voor trainingsgegevens en verwachte classificaties voor voorspellingen up-to-date zijn, werkt het data science-team nauw samen met het klantenserviceteam om de juistheid van de labels te garanderen.
Experimenteren met modellen
We beginnen ons experiment met de direct beschikbare, voorgetrainde mensen distilbert-basis-duitse behuizing model uitgegeven door Hugging Face. Omdat het vooraf getrainde model een taalrepresentatiemodel voor algemene doeleinden is, kunnen we de architectuur aanpassen om specifieke downstream-taken uit te voeren, zoals classificatie en het beantwoorden van vragen, door de juiste hoofden aan het neurale netwerk te koppelen. In ons gebruiksscenario is de stroomafwaartse taak waarin we geรฏnteresseerd zijn sequentieclassificatie. Zonder de bestaande architectuur, besluiten we drie afzonderlijke, vooraf getrainde modellen voor elk van onze vereiste categorieรซn te verfijnen. Met de SageMaker knuffelend gezicht Deep Learning-containers (DLC's) wordt het starten en beheren van NLP-experimenten eenvoudig gemaakt met Hugging Face-containers en de SageMaker Experiments API.
Het volgende is een codefragment van train.py
:
De volgende code is de Hugging Face-schatter:
Om de verfijnde modellen te valideren, gebruiken we de F1-score vanwege de onevenwichtige aard van onze e-maildataset, maar ook om andere statistieken te berekenen, zoals nauwkeurigheid, precisie en herinnering. Om ervoor te zorgen dat de SageMaker Experiments API de statistieken van de trainingstaak registreert, moeten we eerst de statistieken loggen in de lokale console van de trainingstaak, die worden opgehaald door Amazon Cloud Watch. Vervolgens definiรซren we het juiste regex-formaat om de CloudWatch-logboeken vast te leggen. De metrische definities omvatten de naam van de metrische gegevens en regex-validatie voor het extraheren van de metrische gegevens uit de trainingstaak:
Als onderdeel van de trainingsiteratie voor het classificatiemodel gebruiken we een verwarringsmatrix en een classificatierapport om het resultaat te evalueren. De volgende afbeelding toont de verwarringsmatrix voor branchevoorspellingen.
De volgende schermafbeelding toont een voorbeeld van het classificatierapport voor branchevoorspellingen.
Als volgende iteratie van ons experiment zullen we hiervan profiteren leren met meerdere taken om ons model te verbeteren. Multi-task leren is een vorm van training waarbij een model leert meerdere taken tegelijkertijd op te lossen, omdat de gedeelde informatie tussen taken de leerefficiรซntie kan verbeteren. Door nog twee classificatiekoppen aan de originele distilbert-architectuur te koppelen, kunnen we multitasking-finetuning uitvoeren, waardoor redelijke meetwaarden voor ons klantenserviceteam worden bereikt.
Modelimplementatie
In ons gebruiksscenario moet de e-mailclassificator worden geรฏmplementeerd op een eindpunt, waarnaar onze CRM-pijplijn een reeks niet-geclassificeerde e-mails kan sturen en voorspellingen kan terugkrijgen. Omdat we naast de inferentie van het Hugging Face-model ook over andere logica beschikken, zoals het opschonen van invoergegevens en het voorspellen van meerdere taken, moeten we een aangepast inferentiescript schrijven dat voldoet aan de SageMaker-standaard.
Het volgende is een codefragment van inference.py
:
Wanneer alles klaar is, gebruiken we SageMaker Pipelines om onze trainingspijplijn te beheren en deze aan onze infrastructuur te koppelen om onze MLOps-installatie te voltooien.
Om de prestaties van het geรฏmplementeerde model te monitoren, bouwen we een feedbacklus zodat CRM ons de status van geclassificeerde e-mails kan geven wanneer cases zijn gesloten. Op basis van deze informatie maken we aanpassingen om het ingezette model te verbeteren.
Conclusie
In dit bericht hebben we gedeeld hoe SageMaker het data science-team bij Scalable faciliteert om de levenscyclus van een data science-project efficiรซnt te beheren, namelijk het e-mailclassifier-project. De levenscyclus begint met de eerste fase van data-analyse en -verkenning met SageMaker Studio; gaat verder met het experimenteren en implementeren van modellen met SageMaker-training, gevolgtrekking en Hugging Face DLC's; en wordt aangevuld met een trainingspijplijn waarbij SageMaker Pipelines is geรฏntegreerd met andere AWS-services. Dankzij deze infrastructuur kunnen we nieuwe modellen efficiรซnter itereren en inzetten, en daardoor zowel bestaande processen binnen Scalable als de ervaringen van onze klanten verbeteren.
Raadpleeg de volgende bronnen voor meer informatie over Hugging Face en SageMaker:
Over de auteurs
Dr. Sandra Schmid is hoofd Data Analytics bij Scalable GmbH. Samen met haar teams is ze verantwoordelijk voor datagedreven benaderingen en use cases in het bedrijf. Haar belangrijkste focus is het vinden van de beste combinatie van machine learning- en datawetenschapsmodellen en bedrijfsdoelen om zoveel mogelijk bedrijfswaarde en efficiรซntie uit data te halen.
Hoei Dang Datawetenschapper bij Scalable GmbH. Zijn verantwoordelijkheden omvatten data-analyse, het bouwen en inzetten van machine learning-modellen, en het ontwikkelen en onderhouden van infrastructuur voor het data science-team. In zijn vrije tijd houdt hij van lezen, wandelen, rotsklimmen en op de hoogte blijven van de nieuwste ontwikkelingen op het gebied van machine learning.
Mia Chang is een ML Specialist Solutions Architect voor Amazon Web Services. Ze werkt met klanten in EMEA en deelt best practices voor het uitvoeren van AI/ML-workloads in de cloud met haar achtergrond in toegepaste wiskunde, informatica en AI/ML. Ze richt zich op NLP-specifieke werklasten en deelt haar ervaringen als conferentiespreker en boekauteur. In haar vrije tijd houdt ze van yoga, bordspellen en koffie zetten.
Moritz Guertler is Account Executive in het Digital Native Businesses-segment bij AWS. Hij richt zich op klanten in de FinTech-ruimte en ondersteunt hen bij het versnellen van innovatie door middel van een veilige en schaalbare cloudinfrastructuur.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
- BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/accelerate-client-success-management-through-email-classification-with-hugging-face-on-amazon-sagemaker/
- : heeft
- :is
- :niet
- :waar
- $UP
- 1
- 100
- 13
- 15%
- 17
- 2021
- 26%
- 32
- 500
- 7
- a
- in staat
- Over
- boven
- versnellen
- versnellen
- ACCEPTEREN
- toegang
- accommoderen
- Volgens
- Account
- accounts
- nauwkeurigheid
- Bereikt
- over
- actief
- Handelingen
- aanpassen
- toevoegen
- toevoeging
- aanpassingen
- adopteren
- Voordeel
- Na
- daarna
- agenten
- AI / ML
- streven
- toestaat
- ook
- Amazone
- Amazon Sage Maker
- Amazon Web Services
- onder
- an
- analyse
- analytics
- en
- elke
- apache
- api
- toegepast
- benaderingen
- passend
- goedkeuring
- goedkeuren
- architectuur
- ZIJN
- argumenten
- AS
- toegewezen
- At
- hechten
- auteur
- geautomatiseerde
- Beschikbaar
- AWS
- terug
- achtergrond
- Banken
- baseren
- gebaseerde
- basis
- BE
- omdat
- geweest
- wezen
- betekent
- BEST
- 'best practices'
- tussen
- boord
- Gezelschapsspelletjes
- lichaam
- boek
- Tak
- Breken
- makelarij
- bouw
- Gebouw
- bebouwd
- bedrijfsdeskundigen
- ondernemingen
- maar
- by
- CAN
- hoofdstad
- Hoofdstad
- vangen
- gevangen
- dragen
- geval
- gevallen
- categorieรซn
- ketens
- classificatie
- geklasseerd
- Schoonmaak
- klant
- klanten
- Beklimming
- Sluiten
- CLOSED
- Cloud
- cloud infrastructuur
- code
- codebasis
- codes
- Koffie
- samenwerking
- combinatie van
- komt
- plegen
- communiceren
- afstand
- Bedrijf
- vergelijkbaar
- compleet
- voltooit
- componenten
- Berekenen
- computer
- Computer Science
- Conferentie
- verwarring
- consequent
- bestaat uit
- troosten
- containers
- content
- inhoud
- te corrigeren
- CRM
- CSS
- bewaarder
- gewoonte
- klant
- Klanten
- dagelijks
- gegevens
- gegevensanalyse
- gegevens Analytics
- Data voorbereiding
- data science
- data scientist
- Gegevensgestuurde
- Datum
- beslissen
- beslist
- toegewijd aan
- deep
- diepgaand leren
- Standaard
- bepalen
- gedefinieerd
- definities
- democratiseren
- tonen
- implementeren
- ingezet
- het inzetten
- inzet
- ontplooit
- Design
- detail
- ontwikkelen
- het ontwikkelen van
- Ontwikkeling
- ontwikkelingen
- anders
- digitaal
- digitaal vermogensbeheer
- beneden
- twee
- elk
- En het is heel gemakkelijk
- efficiรซntie
- efficiรซnt
- anders
- e-mails
- EMEA
- medewerkers
- in staat stellen
- Endpoint
- bezig
- verzekeren
- Milieu
- tijdperk
- vooral
- Europa
- schatten
- evaluatie
- Event
- alles
- ontwikkelen
- onderzoeken
- voorbeeld
- Uitmuntendheid
- uitvoerend
- bestaand
- verwachting
- verwachtingen
- verwacht
- ervaring
- ervaren
- Ervaringen
- experiment
- experimenten
- exploratie
- Verkennende gegevensanalyse
- Verken
- extra
- f1
- Gezicht
- vergemakkelijken
- vergemakkelijkt
- Mode
- sneller
- snelste
- snelst groeiende
- feedback
- Figuur
- financieel
- het vinden van
- FinTech
- fintechs
- Voornaam*
- eerste stappen
- plat
- Focus
- richt
- volgend
- Voor
- formulier
- formaat
- Gratis
- oppompen van
- functie
- toekomst
- Krijgen
- Spellen
- poort
- voor algemeen gebruik
- voortbrengen
- krijgen
- GitHub
- GmBH
- Doelen
- Groeiend
- Gast
- Gast Bericht
- HAD
- Hebben
- he
- hoofd
- hoofden
- haar
- zijn
- historisch
- gehost
- Hoe
- HTML
- http
- HTTPS
- Honderden
- geรฏdentificeerd
- if
- uitvoeren
- uitvoering
- verbeteren
- in
- omvatten
- Inkomend
- Laat uw omzet
- meer
- informatie
- Infrastructuur
- eerste
- Innovatie
- innovatieve
- invoer
- vragen
- onderzoek
- geรฏntegreerde
- Intelligent
- geรฏnteresseerd
- in
- voorstellen
- Investeren
- investering
- oproept
- IT
- herhaling
- HAAR
- Jobomschrijving:
- json
- Houden
- sleutel
- label
- labels
- taal
- grootste
- laatste
- leidend
- LEARN
- leren
- levenscyclus van uw product
- Lijn
- laden
- lokaal
- inloggen
- ingelogd
- op zoek
- uit
- machine
- machine learning
- gemaakt
- Het handhaven
- maken
- maken
- beheer
- beheerd
- management
- beheren
- Markt
- Markten
- wiskunde
- Matrix
- gaan
- samenvoegen evenement
- berichten
- methode
- metriek
- Metriek
- macht
- ML
- MLops
- model
- modellen
- Modern
- monitor
- maandelijks
- meer
- beweegt
- veel
- meervoudig
- naam
- namelijk
- inheemse
- Naturel
- Natural Language Processing
- NATUUR
- Noodzaak
- behoeften
- netwerk
- neurale
- neuraal netwerk
- New
- volgende
- nlp
- notitieboekje
- nu
- aantal
- of
- Aanbod
- on
- EEN
- degenen
- Slechts
- operationele
- or
- bestellen
- origineel
- Overige
- anders-
- onze
- uit
- uitgang
- buiten
- over
- deel
- deelnemen
- Uitvoeren
- prestatie
- fase
- uitgekozen
- pijpleiding
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- mogelijk
- Post
- praktijken
- precisie
- voorspelling
- Voorspellingen
- voorbereiding
- vorig
- primair
- privaat
- processen
- verwerking
- geproduceerd
- productie
- produktiviteit
- Producten
- project
- projecten
- gepast
- prototype
- zorgen voor
- biedt
- publiek
- gepubliceerde
- doeleinden
- Duwen
- vraag
- snel
- citaten
- verhogen
- tarief
- Rauw
- bereikt
- Lees
- lezing
- klaar
- redelijk
- ontvangt
- archief
- Gereduceerd
- verwijzen
- verfijnen
- regex
- registreren
- register
- relevante
- betrouwbaar
- vanop
- verwijderen
- verslag
- vertegenwoordiging
- te vragen
- verzoeken
- nodig
- opgelost
- Resources
- degenen
- reageert
- antwoord
- reacties
- verantwoordelijkheden
- verantwoordelijk
- resultaat
- terugkeer
- robuust
- rots
- lopend
- sagemaker
- SageMaker-pijpleidingen
- dezelfde
- schaalbare
- Scale
- Wetenschap
- Wetenschapper
- wetenschappers
- script
- sectie
- secties
- beveiligen
- segment
- sturen
- apart
- Volgorde
- dienen
- service
- Diensten
- setup
- gevormd
- gedeeld
- Aandelen
- ze
- Shows
- handtekeningen
- Eenvoudig
- gelijktijdig
- vaardigheden
- kleinere
- snipper
- So
- oplossing
- Oplossingen
- OPLOSSEN
- binnenkort
- Tussenruimte
- Spreker
- specialist
- specialisten
- specifiek
- specifiek
- Stadium
- begin
- Start
- starts
- state-of-the-art
- Status
- verblijven
- Stap voor
- Stappen
- mediaopslag
- opgeslagen
- bewaartemperatuur
- gestroomlijnd
- studio
- onderwerpen
- succes
- dergelijk
- steunen
- zeker
- Nemen
- Taak
- taken
- team
- teams
- Technisch
- tienen
- proef
- Testen
- tekst
- neem contact
- Bedankt
- dat
- De
- hun
- Ze
- harte
- Er.
- daarom
- ze
- dit
- duizenden kosten
- drie
- Door
- niet de tijd of
- naar
- samen
- tools
- onderwerp
- fakkel
- spoor
- Handel
- Trading Platform
- Trainen
- getraind
- Trainingen
- transformator
- transformers
- enorm
- BEURT
- twee
- type dan:
- types
- updates
- us
- .
- use case
- gebruikt
- Gebruiker
- Gebruikerservaring
- toepassingen
- gebruik
- BEVESTIG
- bevestiging
- waarde
- versie
- Het wachten
- was
- we
- Rijkdom
- Vermogensbeheer
- web
- webservices
- GOED
- waren
- wanneer
- telkens als
- welke
- en
- Met
- binnen
- zonder
- workflow
- workflows
- Bedrijven
- schrijven
- Yoga
- zephyrnet