Ez egy vendég bejegyzés a következőtől Méretezhető tőke, Európában vezető FinTech, amely digitális vagyonkezelést és brókerplatformot kínál átalánydíjas kereskedéssel.
Gyorsan növekvő vállalatként a Scalable Capital célja, hogy ne csak egy innovatív, robusztus és megbízható infrastruktúrát építsen ki, hanem ügyfeleink számára is a legjobb élményt nyújtsa, különösen az ügyfélszolgáltatások terén.
A Scalable naponta több száz e-mailes megkeresést kap ügyfeleinktől. A modern természetes nyelvi feldolgozási (NLP) modell bevezetésével a válaszadási folyamat sokkal hatékonyabban formálódott, és az ügyfelek várakozási ideje is jelentősen lecsökkent. A gépi tanulási (ML) modell azonnal osztályozza az új bejövő ügyfélkéréseket, amint megérkeznek, és előre definiált sorokba irányítja őket, ami lehetővé teszi, hogy dedikált ügyfél-sikerügynökeink képességeiknek megfelelően az e-mailek tartalmára összpontosítsanak, és megfelelő válaszokat adjanak.
Ebben a bejegyzésben bemutatjuk a Hugging Face transzformátorok használatának műszaki előnyeit Amazon SageMaker, mint például a képzés és a nagyszabású kísérletezés, valamint a termelékenység és a költséghatékonyság növelése.
Probléma
A Scalable Capital az egyik leggyorsabban növekvő FinTech Európában. A társaság a befektetések demokratizálása érdekében ügyfelei számára könnyű hozzáférést biztosít a pénzügyi piacokhoz. A Scalable ügyfelei aktívan részt vehetnek a piacon a vállalat brókerkereskedési platformján keresztül, vagy a Scalable Wealth Management segítségével intelligens és automatizált módon fektethetnek be. 2021-ben a Scalable Capital ügyfélköre tízszeresére, több tízezerről százezresre nőtt.
Annak érdekében, hogy ügyfeleinknek csúcskategóriás (és konzisztens) felhasználói élményt biztosítsunk a termékek és az ügyfélszolgálat között, a vállalat olyan automatizált megoldásokat keresett, amelyek a skálázható megoldások hatékonyságának növelését és a működési kiválóság megőrzését szolgálják. A Scalable Capital adattudományi és ügyfélszolgálati csapatai megállapították, hogy ügyfeleink kiszolgálásának egyik legnagyobb szűk keresztmetszete az e-mailes megkeresésekre való válaszadás volt. Konkrétan a szűk keresztmetszet az osztályozási lépés volt, amelyben az alkalmazottaknak napi rendszerességgel kellett elolvasniuk és felcímkézni a kérés szövegét. Miután az e-maileket a megfelelő sorba irányították, a megfelelő szakemberek gyorsan bevonták és megoldották az eseteket.
Az osztályozási folyamat egyszerűsítése érdekében a Scalable adattudományi csapata egy többfeladatos NLP-modellt épített és telepített a legkorszerűbb transzformátor-architektúra felhasználásával, az előre betanított módszerek alapján. distilbert-alap-német-tokos a Hugging Face által kiadott modell. distilbert-alap-német-tokos használja az tudás lepárlása módszer egy kisebb általános célú nyelvi reprezentációs modell előképzésére, mint az eredeti BERT alapmodell. A desztillált változat az eredeti verzióhoz hasonló teljesítményt ér el, miközben kisebb és gyorsabb. Az ML életciklus-folyamatának megkönnyítése érdekében úgy döntöttünk, hogy a SageMaker alkalmazást alkalmazzuk modelljeink felépítéséhez, telepítéséhez, kiszolgálásához és monitorozásához. A következő részben bemutatjuk projektarchitektúránkat.
Megoldás áttekintése
A Scalable Capital ML infrastruktúrája két AWS-fiókból áll: az egyik a fejlesztési szakasz környezete, a másik pedig a gyártási szakasz számára.
A következő diagram az e-mail osztályozó projektünk munkafolyamatát mutatja, de általánosítható más adattudományi projektekre is.
A munkafolyamat a következő összetevőkből áll:
- Modell kísérletezés – Az adattudósok használják Amazon SageMaker Studio az adattudományi életciklus első lépéseinek elvégzése: feltáró adatelemzés (EDA), adatok tisztítása és előkészítése, valamint prototípus modellek építése. Amikor a kísérleti szakasz befejeződött, a SageMaker notebook által üzemeltetett VSCode-ot távoli fejlesztőeszközként használjuk kódbázisunk modularizálása és gyártása érdekében. A különböző típusú modellek és modellkonfigurációk felfedezéséhez, valamint kísérleteink nyomon követéséhez a SageMaker képzést és a SageMaker kísérleteket használjuk.
- Modell felépítés – Miután a termelési felhasználási esetünkhöz modellt választunk, jelen esetben többfeladatos distilbert-alap-német-tokos A Hugging Face előképzett modelljéből finomhangolt modellt véglegesítjük és továbbítjuk a Github fejlesztési ágába. A Github összevonási esemény elindítja a Jenkins CI folyamatot, amely viszont elindít egy SageMaker Pipelines feladatot tesztadatokkal. Ez tesztként működik, hogy megbizonyosodjon arról, hogy a kódok a várt módon futnak-e. Tesztelési célból tesztvégpont kerül telepítésre.
- Modell telepítés – Miután megbizonyosodtak arról, hogy minden a várt módon működik, az adattudósok egyesítik a fejlesztési ágat az elsődleges ágba. Ez az összevonási esemény most egy SageMaker Pipelines-feladatot indít el, amely termelési adatokat használ oktatási célokra. Ezt követően modelltermékeket állítanak elő és tárolnak egy kimenetben Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödröt, és egy új modellverzió kerül naplózásra a SageMaker modellnyilvántartásába. Az adattudósok megvizsgálják az új modell teljesítményét, majd jóváhagyják, hogy az megfelel-e az elvárásoknak. A modell jóváhagyási eseményét rögzíti Amazon EventBridge, amely ezután telepíti a modellt egy SageMaker végpontra az éles környezetben.
- MLOps – Mivel a SageMaker végpont privát, és nem érhető el a VPC-n kívüli szolgáltatásokkal, an AWS Lambda funkció és Amazon API átjáró nyilvános végpont szükséges a CRM-mel való kommunikációhoz. Amikor új e-mailek érkeznek a CRM-beérkezett üzenetek mappájába, a CRM meghívja az API-átjáró nyilvános végpontját, amely viszont elindítja a Lambda függvényt a privát SageMaker-végpont meghívására. A funkció ezután az API-átjáró nyilvános végpontján keresztül visszaküldi az osztályozást a CRM-nek. A telepített modellünk teljesítményének nyomon követése érdekében visszacsatolási hurkot alkalmazunk a CRM és az adatkutatók között, hogy nyomon követhessük a modell előrejelzési mutatóit. A CRM havonta frissíti a kísérletezéshez és a modellképzéshez használt előzményadatokat. Használjuk Amazon által felügyelt munkafolyamatok az Apache Airflow számára (Amazon MWAA) a havi átképzésünk ütemezőjeként.
A következő részekben részletesebben lebontjuk az adat-előkészítési, a modellkísérletezési és a modelltelepítési lépéseket.
Adatok előkészítése
A Scalable Capital CRM-eszközt használ az e-mail adatok kezelésére és tárolására. A vonatkozó e-mail tartalma a tárgyból, a törzsből és a letétkezelő bankokból áll. Minden e-mailhez három címkét lehet hozzárendelni: melyik üzletágtól származik az e-mail, melyik a megfelelő sor, és az e-mail konkrét témája.
Az NLP modellek betanításának megkezdése előtt megbizonyosodunk arról, hogy a bemeneti adatok tiszták, és a címkék az elvárásoknak megfelelően vannak hozzárendelve.
A skálázható kliensek tiszta lekérdezési tartalmának lekéréséhez eltávolítjuk a nyers e-mail adatokból, valamint az extra szövegeket és szimbólumokat, például az e-mail aláírásokat, impresszumokat, az e-mail láncokban lévő korábbi üzenetek idézeteit, a CSS-szimbólumokat stb. Ellenkező esetben jövőbeli betanított modelljeink teljesítménye csökkenhet.
Az e-mailek címkéi idővel fejlődnek, ahogy a méretezhető ügyfélszolgálati csapatok újakat adnak hozzá, és finomítják vagy eltávolítják a meglévőket, hogy megfeleljenek az üzleti igényeknek. Annak biztosítása érdekében, hogy a képzési adatok címkéi, valamint az előrejelzések várható besorolásai naprakészek legyenek, az adattudományi csapat szorosan együttműködik az ügyfélszolgálati csapattal a címkék helyességének biztosítása érdekében.
Modell kísérletezés
Kísérletünket a könnyen elérhető előképzettekkel kezdjük distilbert-alap-német-tokos a Hugging Face által kiadott modell. Mivel az előre betanított modell egy általános célú nyelvi reprezentációs modell, az architektúrát hozzáigazíthatjuk meghatározott downstream feladatok elvégzéséhez – például osztályozáshoz és kérdésmegválaszoláshoz – úgy, hogy megfelelő fejeket kapcsolunk a neurális hálózathoz. Használati esetünkben a minket érdeklő downstream feladat a szekvenciaosztályozás. Módosítása nélkül a meglévő architektúra, úgy döntünk, hogy három különálló, előre betanított modellt finomítunk minden egyes szükséges kategóriánkhoz. A ... val SageMaker átölelő arc mély tanulási tartályok (DLC-k), az NLP-kísérletek elindítása és kezelése egyszerűvé válik a Hugging Face tárolókkal és a SageMaker Experiments API-val.
A következő egy kódrészlet a train.py
:
A következő kód a Hugging Face becslése:
A finomhangolt modellek érvényesítéséhez a F1-pontszám e-mail adatkészletünk kiegyensúlyozatlan természete miatt, hanem más mérőszámok, például pontosság, precizitás és visszahívás kiszámításához is. Ahhoz, hogy a SageMaker Experiments API regisztrálja a képzési feladat mérőszámait, először naplóznunk kell a mérőszámokat a képzési feladat helyi konzoljára, amelyeket a amazonfelhőóra. Ezután meghatározzuk a megfelelő regex formátumot a CloudWatch naplók rögzítéséhez. A metrikadefiníciók magukban foglalják a mérőszámok nevét és a reguláris kifejezés érvényesítését a metrikák betanítási feladatból való kinyeréséhez:
Az osztályozó modell betanítási iterációjának részeként összekeverési mátrixot és osztályozási jelentést használunk az eredmény kiértékeléséhez. A következő ábra az üzletág előrejelzésének zavarmátrixát mutatja be.
A következő képernyőképen egy példa látható az üzletág előrejelzésére vonatkozó besorolási jelentésre.
Kísérletünk következő iterációjaként kihasználjuk többfeladatos tanulás modellünk fejlesztésére. A többfeladatos tanulás egy olyan képzési forma, ahol a modell több feladat egyidejű megoldását tanulja meg, mivel a feladatok közötti megosztott információ javíthatja a tanulás hatékonyságát. Az eredeti distilbert architektúrához további két osztályozófej csatlakoztatásával többfeladatos finomhangolást hajthatunk végre, amely ésszerű mérőszámokat ér el ügyfélszolgálati csapatunk számára.
Modell telepítés
Használati esetünkben az e-mail osztályozót egy végpontra kell telepíteni, amelyre a CRM-folyamat besorolatlan e-maileket küldhet, és visszajelzéseket kaphat. Mivel más logikáink is vannak – például a bemeneti adatok tisztítása és a többfeladatos előrejelzések – a Hugging Face modell-következtetésen kívül, olyan egyéni következtetési szkriptet kell írnunk, amely megfelel a SageMaker szabvány.
A következő egy kódrészlet a inference.py
:
Amikor minden készen van, a SageMaker Pipelines segítségével kezeljük a képzési folyamatunkat, és csatoljuk az infrastruktúránkhoz az MLOps beállításának befejezéséhez.
A telepített modell teljesítményének nyomon követése érdekében visszacsatolási hurkot építünk ki, amely lehetővé teszi a CRM számára, hogy az ügyek lezárása után tájékoztassa a minősített e-mailek állapotáról. Ezen információk alapján módosítjuk a telepített modellt.
Következtetés
Ebben a bejegyzésben megosztottuk, hogyan segíti a SageMaker a Scalable adattudományi csapatát egy adattudományi projekt életciklusának hatékony kezelésében, nevezetesen az e-mail osztályozó projektben. Az életciklus az adatelemzés és -feltárás kezdeti szakaszával kezdődik a SageMaker Studio segítségével; áttér a modellkísérletekre és a SageMaker képzéssel, következtetésekkel és Hugging Face DLC-kkel történő telepítésre; és kiegészíti a más AWS-szolgáltatásokkal integrált SageMaker Pipelines képzési folyamattal. Ennek az infrastruktúrának köszönhetően hatékonyabban tudjuk ismételni és bevezetni az új modelleket, így képesek vagyunk javítani a Scalable meglévő folyamatait, valamint ügyfeleink tapasztalatait.
Ha többet szeretne megtudni a Hugging Face-ről és a SageMakerről, tekintse meg a következő forrásokat:
A szerzőkről
Dr. Schmid Szandra a Scalable GmbH adatelemzési részlegének vezetője. Ő felel az adatvezérelt megközelítésekért és a vállalati felhasználási esetekért csapataival együtt. Fő célja a gépi tanulás és az adattudományi modellek és üzleti célok legjobb kombinációjának megtalálása annak érdekében, hogy az adatokból a lehető legtöbb üzleti értéket és hatékonyságot érje el.
Huy Dang Adattudós a Scalable GmbH-nál. Feladatai közé tartozik az adatelemzés, a gépi tanulási modellek felépítése és bevezetése, valamint az adattudományi csapat infrastruktúrájának fejlesztése és karbantartása. Szabadidejében szeret olvasni, túrázni, sziklamászni, és naprakész marad a legújabb gépi tanulási fejlesztésekkel.
Mia Chang az Amazon Web Services ML Specialist Solutions Architect. EMEA-beli ügyfelekkel dolgozik, és megosztja a bevált gyakorlatokat az AI/ML munkaterhelések felhőben történő futtatásával kapcsolatban alkalmazott matematikai, számítástechnikai és mesterséges intelligencia/ML háttérrel. Az NLP-specifikus munkaterhelésekre összpontosít, és megosztja tapasztalatait konferencia előadóként és könyvszerzőként. Szabadidejében szeret jógázni, társasjátékozni és kávét főzni.
Moritz Guertler fiókvezető az AWS Digital Native Businesses szegmensében. A FinTech területen dolgozó ügyfelekre összpontosít, és támogatja őket az innováció felgyorsításában a biztonságos és skálázható felhő-infrastruktúrán keresztül.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/accelerate-client-success-management-through-email-classification-with-hugging-face-on-amazon-sagemaker/
- :van
- :is
- :nem
- :ahol
- $ UP
- 1
- 100
- 13
- 15%
- 17
- 2021
- 26%
- 32
- 500
- 7
- a
- Képes
- Rólunk
- felett
- gyorsul
- gyorsuló
- Elfogad!
- hozzáférés
- elhelyezésére
- Szerint
- Fiók
- Fiókok
- pontosság
- ér
- át
- aktívan
- cselekmények
- alkalmazkodni
- hozzá
- mellett
- kiigazítások
- elfogadja
- Előny
- Után
- később
- szerek
- AI / ML
- cél
- lehetővé teszi, hogy
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- között
- an
- elemzés
- analitika
- és a
- bármilyen
- Apache
- api
- alkalmazott
- megközelít
- megfelelő
- jóváhagyás
- jóváhagy
- építészet
- VANNAK
- érvek
- AS
- kijelölt
- At
- csatolja
- szerző
- Automatizált
- elérhető
- AWS
- vissza
- háttér
- Banks
- bázis
- alapján
- alap
- BE
- mert
- óta
- hogy
- Előnyök
- BEST
- legjobb gyakorlatok
- között
- bizottság
- Társasjátékok
- test
- könyv
- Ág
- szünet
- ügynöki jutalék
- épít
- Épület
- épült
- üzleti
- vállalkozások
- de
- by
- TUD
- tőke
- A fővárosé
- elfog
- rögzített
- visz
- eset
- esetek
- kategóriák
- láncok
- besorolás
- osztályozott
- Takarításra
- vásárló
- ügyfél részére
- Mászó
- közel
- zárt
- felhő
- felhő infrastruktúra
- kód
- kódbázis
- kódok
- Kávé
- együttműködés
- kombináció
- jön
- elkövetni
- kommunikálni
- vállalat
- Társaságé
- hasonló
- teljes
- Befejezi
- alkatrészek
- Kiszámít
- számítógép
- Computer Science
- Konferencia
- zavar
- következetes
- áll
- Konzol
- Konténerek
- tartalom
- tartalom
- kijavítására
- CRM
- CSS
- gondnok
- szokás
- vevő
- Ügyfelek
- napi
- dátum
- adatelemzés
- Adatelemzés
- Adatok előkészítése
- adat-tudomány
- adattudós
- adatalapú
- találka
- dönt
- határozott
- elszánt
- mély
- mély tanulás
- alapértelmezett
- meghatározott
- meghatározott
- definíciók
- demokratizálni
- bizonyítani
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- bevet
- Design
- részlet
- Fejleszt
- fejlesztése
- Fejlesztés
- fejlesztések
- különböző
- digitális
- digitális vagyonkezelés
- le-
- két
- minden
- könnyű
- hatékonyság
- eredményesen
- más
- e-mailek
- EMEA
- alkalmazottak
- lehetővé
- Endpoint
- elkötelezett
- biztosítására
- Környezet
- korszak
- különösen
- Európa
- értékelni
- értékelés
- esemény
- minden
- fejlődik
- megvizsgálni
- példa
- Kiváló
- végrehajtó
- létező
- várakozás
- várakozások
- várható
- tapasztalat
- tapasztalt
- Tapasztalatok
- kísérlet
- kísérletek
- kutatás
- Feltáró adatelemzés
- feltárása
- külön-
- f1
- Arc
- megkönnyítése
- megkönnyíti
- Divat
- gyorsabb
- leggyorsabb
- leggyorsabban növekvő
- Visszacsatolás
- Ábra
- pénzügyi
- megtalálása
- FINTECH
- fintechs
- vezetéknév
- első lépések
- lakás
- Összpontosít
- koncentrál
- következő
- A
- forma
- formátum
- Ingyenes
- ból ből
- funkció
- jövő
- Nyereség
- Games
- gateway
- Általános rendeltetésű
- generál
- kap
- GitHub
- GmBH
- Célok
- Növekvő
- Vendég
- Vendég bejegyzés
- kellett
- Legyen
- he
- fej
- fejek
- neki
- övé
- történeti
- házigazdája
- Hogyan
- HTML
- http
- HTTPS
- Több száz
- azonosított
- if
- végre
- végrehajtási
- javul
- in
- tartalmaz
- Bejövő
- Növelje
- <p></p>
- információ
- Infrastruktúra
- kezdetben
- Innováció
- újító
- bemenet
- Érdeklődés
- vizsgálat
- integrált
- Intelligens
- érdekelt
- bele
- bevezet
- befektet
- beruházás
- behívja
- IT
- ismétlés
- ITS
- Munka
- json
- Tart
- Kulcs
- Címke
- Címkék
- nyelv
- legnagyobb
- legutolsó
- vezető
- TANUL
- tanulás
- életciklus
- vonal
- kiszámításának
- helyi
- log
- bejelentkezve
- keres
- le
- gép
- gépi tanulás
- készült
- fenntartása
- csinál
- Gyártás
- kezelése
- sikerült
- vezetés
- kezelése
- piacára
- piacok
- matematika
- Mátrix
- megy
- esemény összevonása
- üzenetek
- módszer
- metrikus
- Metrics
- esetleg
- ML
- MLOps
- modell
- modellek
- modern
- monitor
- havi
- több
- mozog
- sok
- többszörös
- név
- ugyanis
- bennszülött
- Természetes
- Természetes nyelvi feldolgozás
- Természet
- Szükség
- igények
- hálózat
- ideg-
- neurális hálózat
- Új
- következő
- NLP
- jegyzetfüzet
- Most
- szám
- of
- Ajánlatok
- on
- ONE
- azok
- csak
- operatív
- or
- érdekében
- eredeti
- Más
- másképp
- mi
- ki
- teljesítmény
- kívül
- felett
- rész
- részt vesz
- Teljesít
- teljesítmény
- fázis
- válogatott
- csővezeték
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- lehetséges
- állás
- gyakorlat
- Pontosság
- előrejelzés
- Tippek
- előkészítés
- előző
- elsődleges
- magán
- folyamat
- Folyamatok
- feldolgozás
- Készült
- Termelés
- termelékenység
- Termékek
- program
- projektek
- megfelelő
- prototípus
- ad
- biztosít
- nyilvános
- közzétett
- célokra
- Nyomja
- kérdés
- gyorsan
- idézetek
- emel
- Arány
- Nyers
- elérte
- Olvass
- Olvasás
- kész
- ésszerű
- kap
- nyilvántartások
- Csökkent
- utal
- finomítani
- regex
- Regisztráció
- iktató hivatal
- megbízható
- távoli
- eltávolítása
- jelentést
- képviselet
- kérni
- kéri
- kötelező
- megoldódott
- Tudástár
- azok
- válaszol
- válasz
- válaszok
- felelősség
- felelős
- eredményez
- visszatérés
- erős
- Szikla
- futás
- sagemaker
- SageMaker csővezetékek
- azonos
- skálázható
- Skála
- Tudomány
- Tudós
- tudósok
- forgatókönyv
- Rész
- szakaszok
- biztonság
- részes
- küld
- különálló
- Sorozat
- szolgál
- szolgáltatás
- Szolgáltatások
- felépítés
- alakú
- megosztott
- Megoszt
- ő
- Műsorok
- aláírások
- Egyszerű
- egyszerre
- készségek
- kisebb
- töredék
- So
- megoldások
- Megoldások
- SOLVE
- nemsokára
- Hely
- Hangszóró
- szakember
- szakemberek
- különleges
- kifejezetten
- Színpad
- kezdet
- Kezdve
- kezdődik
- csúcs-
- Állapot
- tartózkodás
- Lépés
- Lépései
- tárolás
- memorizált
- tárolása
- áramvonal
- stúdió
- tárgy
- siker
- ilyen
- Támogatja
- biztos
- Vesz
- Feladat
- feladatok
- csapat
- csapat
- Műszaki
- tíz
- teszt
- Tesztelés
- szöveg
- mint
- Kösz
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- ebből adódóan
- ők
- ezt
- ezer
- három
- Keresztül
- idő
- nak nek
- együtt
- szerszám
- téma
- fáklya
- vágány
- Kereskedés
- Kereskedési Platform
- Vonat
- kiképzett
- Képzések
- transzformátor
- transzformerek
- borzasztóan
- FORDULAT
- kettő
- típus
- típusok
- Frissítés
- us
- használ
- használati eset
- használt
- használó
- User Experience
- használ
- segítségével
- ÉRVÉNYESÍT
- érvényesítés
- érték
- változat
- Várakozás
- volt
- we
- Vagyon
- vagyonkezelés
- háló
- webes szolgáltatások
- JÓL
- voltak
- amikor
- bármikor
- ami
- míg
- val vel
- belül
- nélkül
- munkafolyamat
- munkafolyamatok
- művek
- ír
- Jóga
- zephyrnet