A szövegtől az álommunkáig: NLP-alapú állásajánló létrehozása a Talent.com oldalon az Amazon SageMakerrel | Amazon webszolgáltatások

Ennek a bejegyzésnek a társszerzői Anatolij Khomenko, a gépi tanulási mérnök és Abdenour Bezzouh, a Talent.com technológiai igazgatója.

Alapítva 2011, Talent.com a világ egyik legnagyobb foglalkoztatási forrása. A vállalat egyetlen kereshető platformban egyesíti ügyfeleik fizetett álláshirdetéseit a nyilvános álláshirdetésekkel. A több mint 30 országban felsorolt ​​több mint 75 millió állást tartalmazó Talent.com számos nyelven, iparágban és terjesztési csatornán kínál állásokat. Az eredmény egy olyan platform, amely álláskeresők millióit párosítja a rendelkezésre álló állásokkal.

A Talent.com küldetése, hogy az interneten elérhető összes állást központosítsa, hogy segítsen az álláskeresőknek megtalálni a számukra legmegfelelőbbet, miközben a legjobb keresési élményt nyújtja számukra. Fókuszban a relevancia van, mivel az ajánlott munkák sorrendje létfontosságú, hogy a felhasználók érdeklődésének leginkább megfelelő állásokat mutassuk be. A Talent.com illesztési algoritmusának teljesítménye kiemelkedően fontos az üzlet sikere szempontjából, és kulcsfontosságú hozzájárul a felhasználói élményhez. Nehéz megjósolni, hogy mely állások relevánsak egy álláskereső számára a rendelkezésre álló korlátozott mennyiségű információ alapján, amely általában néhány kulcsszót és egy helyet tartalmaz.

Ennek a küldetésnek megfelelően a Talent.com és az AWS összefogott egy állásajánló motor létrehozása érdekében, amely a legmodernebb természetes nyelvi feldolgozást (NLP) és a mély tanulási modell képzési technikákat használja. Amazon SageMaker hogy páratlan élményt nyújtson az álláskeresőknek. Ez a bejegyzés bemutatja az állásajánló rendszer tervezésének közös megközelítését, beleértve a funkciótervezést, a mély tanulási modell architektúra tervezését, a hiperparaméter-optimalizálást és a modellértékelést, amely biztosítja megoldásunk megbízhatóságát és hatékonyságát mind az álláskeresők, mind a munkáltatók számára. A rendszert az AWS és a Talent.com együttműködésével egy elkötelezett alkalmazott gépi tanulási (ML) tudósokból, ML-mérnökökből és szakterületi szakértőkből álló csapat fejlesztette ki.

Az ajánlási rendszer 8.6%-kal növelte az átkattintási arányt (CTR) az online A/B tesztelés során egy korábbi XGBoost-alapú megoldáshoz képest, így a Talent.com felhasználók millióinak jobb munkához juthat.

A megoldás áttekintése

A rendszer áttekintését a következő ábra szemlélteti. A rendszer a felhasználó keresési lekérdezését veszi be bemenetként, és kiadja a munkák rangsorolt ​​listáját a megfelelőség sorrendjében. Az állás helytállóságát a kattintási valószínűséggel mérik (annak valószínűsége, hogy egy álláskereső rákattint egy állásra további információért).

A rendszer négy fő összetevőből áll:

• Modell architektúra – Ennek az állásajánló motornak a lényege egy mély tanuláson alapuló Triple Tower Pointwise modell, amely tartalmaz egy lekérdezéskódolót, amely kódolja a felhasználói keresési lekérdezéseket, egy dokumentumkódolót, amely kódolja a munkaköri leírásokat, és egy interakciós kódolót, amely feldolgozza a múltbeli felhasználói munkát. interakciós jellemzők. A három torony kimenetei össze vannak kötve, és áthaladnak egy osztályozófejen, hogy megjósolják a munka kattintási valószínűségét. Azáltal, hogy ezt a modellt a Talent.com keresési lekérdezéseivel, munkaköri jellemzőivel és felhasználói interakciós adatokkal kapcsolatosan tanítja, ez a rendszer személyre szabott és rendkívül releváns állásajánlatokat kínál az álláskeresőknek.
• Funkciótervezés – Két funkciótervezési sorozatot hajtunk végre, hogy értékes információkat nyerjünk ki a bemeneti adatokból, és betápláljuk azokat a modell megfelelő tornyaiba. A két készlet szabványos tervezési és finomhangolt Sentence-BERT (SBERT) beágyazás. A szabványos tervezett funkciókat használjuk bemenetként az interakciós kódolóba, és betápláljuk a SBERT-ből származó beágyazást a lekérdezéskódolóba és a dokumentumkódolóba.
• Modell optimalizálás és tuning – Fejlett képzési módszereket alkalmazunk a rendszer betanításához, teszteléséhez és üzembe helyezéséhez a SageMakerrel. Ez magában foglalja a SageMaker Distributed Data Parallel (DDP) képzést, a SageMaker automatikus modellhangolást (AMT), a tanulási ütem ütemezését és a korai leállítást a modell teljesítményének és képzési sebességének javítása érdekében. A DDP képzési keretrendszer használata hozzávetőlegesen nyolcszor gyorsabbá tette modellképzésünket.
• Modell értékelés – Offline és online értékelést is végzünk. A modell teljesítményét a görbe alatti területtel (AUC) és az átlagos K-pontossággal (mAP@K) értékeljük az offline kiértékelésben. Az online A/B tesztelés során értékeljük a CTR javulását.

A következő részekben ennek a négy komponensnek a részleteit mutatjuk be.

Mély tanulási modell architektúra tervezése

Triple Tower Deep Pointwise (TTDP) modellt tervezünk egy háromtoronyos mélytanulási architektúra és a pontonkénti páros modellezési megközelítés használatával. A háromtornyos architektúra három párhuzamos mély neurális hálózatot biztosít, és mindegyik torony önállóan dolgoz fel egy-egy szolgáltatáskészletet. Ez a tervezési minta lehetővé teszi a modell számára, hogy különböző reprezentációkat tanuljon meg különböző információforrásokból. Miután megkaptuk mindhárom torony reprezentációját, összefűzzük őket, és áthaladnak egy osztályozófejen, hogy a végső előrejelzést (0–1) készítsük a kattintás valószínűségére vonatkozóan (pontos modellezési beállítás).

A három torony elnevezése az általuk feldolgozott információk alapján történik: a lekérdezéskódoló feldolgozza a felhasználói keresési lekérdezést, a dokumentumkódoló feldolgozza a jelölt állás dokumentációs tartalmát, beleértve a munkakör megnevezését és a cég nevét, az interakciókódoló pedig a korábbi felhasználói interakciókból származó releváns funkciókat használja. és történelem (bővebben a következő részben).

Ezen tornyok mindegyike döntő szerepet játszik abban, hogy megtanulják, hogyan ajánljanak állásokat:

• Lekérdezés kódoló – A lekérdezéskódoló beveszi a felhasználó álláskeresési lekérdezéséből származó SBERT beágyazásokat. A beágyazásokat egy általunk finomhangolt SBERT modellen keresztül javítjuk. Ez a kódoló feldolgozza és megérti a felhasználó álláskeresési szándékát, beleértve a domain-specifikus beágyazásaink által rögzített részleteket és árnyalatokat.
• Dokumentumkódoló – A dokumentumkódoló feldolgozza az egyes álláshirdetések információit. Konkrétan az összefűzött szöveg SBERT beágyazásait veszi át a munkakörből és a cégből. Az intuíció az, hogy a felhasználókat jobban érdeklik azok a jelölt állások, amelyek relevánsabbak a keresési lekérdezés szempontjából. Az állások és a keresési lekérdezések ugyanabba a vektortérbe való leképezésével (amelyet a SBERT határoz meg) a modell megtanulhatja megjósolni, hogy egy álláskereső mekkora valószínűséggel fog kattintani a potenciális állásokra.
• Interakció kódoló – Az interakciókódoló a felhasználónak az álláshirdetésekkel való korábbi interakcióit kezeli. A funkciók egy szabványos funkciótervezési lépésen keresztül jönnek létre, amely magában foglalja a munkakörök és a vállalatok népszerűségi mutatóinak kiszámítását, a kontextus-hasonlósági pontszámok megállapítását, valamint az interakciós paraméterek kinyerését a korábbi felhasználói elköteleződésekből. Ezenkívül feldolgozza a munkakör megnevezésében azonosított megnevezett entitásokat és a keresési lekérdezéseket egy előre betanított elnevezett entitásfelismerő (NER) modellel.

Mindegyik torony párhuzamosan generál egy független kimenetet, amelyeket aztán összefűznek. Ezt a kombinált jellemzővektort azután a rendszer átadja, hogy megjósolja a felhasználói lekérdezés munkalistájának kattintási valószínűségét. A háromtornyos architektúra rugalmasságot biztosít a különböző bemenetek vagy jellemzők közötti összetett kapcsolatok rögzítésében, lehetővé téve a modell számára, hogy kihasználja az egyes tornyok erősségeit, miközben az adott feladathoz kifejezőbb ábrázolásokat tanul.

A jelölt állások előre jelzett kattintási valószínűségét magastól alacsonyig rangsorolják, személyre szabott állásajánlatokat generálva. Ezzel a folyamattal biztosítjuk, hogy minden egyes információt – legyen az a felhasználó keresési szándéka, állásajánlat részletei vagy korábbi interakciók – teljes mértékben rögzítse egy adott torony. A köztük lévő összetett kapcsolatokat a toronykimenetek kombinációja is megragadja.

Funkciótervezés

Két funkciótervezési folyamatot hajtunk végre, hogy értékes információkat nyerjünk ki a nyers adatokból, és betápláljuk azokat a modell megfelelő tornyaiba: standard jellemzők tervezése és finomhangolt SBERT beágyazások.

Standard funkció tervezés

Adat-előkészítési folyamatunk a szabványos jellemzők tervezésével kezdődik. Összességében négy funkciótípust határozunk meg:

• Népszerűség – Népszerűségi pontszámokat számolunk egyéni munkaköri szinten, foglalkozási szinten és vállalati szinten. Ez egy mérőszámot ad arra vonatkozóan, hogy egy adott állás vagy cég mennyire vonzó lehet.
• Szöveghasonlóság – A különböző szöveges elemek közötti kontextuális kapcsolat megértéséhez hasonlósági pontszámokat számítunk ki, beleértve a keresési lekérdezés és a munkacím közötti karakterlánc-hasonlóságot. Ez segít felmérni a megnyílt állás relevanciáját az álláskereső keresési vagy jelentkezési előzményei szempontjából.
• Kölcsönhatás – Ezen túlmenően interakciós funkciókat kinyerünk az álláshirdetésekkel kapcsolatos korábbi felhasználói elköteleződésekből. Ennek kiváló példája a múltbeli kattintott állások és a jelölt állások közötti hasonlóság beágyazása. Ez a mérőszám segít megérteni a hasonlóságot a felhasználó korábbi állásai és a közelgő álláslehetőségek között. Ez növeli az állásajánló motorunk pontosságát.
• profil – Végül a felhasználói profilból kinyerjük a felhasználó által definiált állásérdeklődési információkat, és összehasonlítjuk az új állásra jelentkezőkkel. Ez segít megérteni, hogy egy állásra jelölt megfelel-e a felhasználó érdeklődésének.

Adat-előkészítésünk döntő lépése egy előre betanított NER modell alkalmazása. Egy NER-modell megvalósításával azonosíthatjuk és címkézhetjük a megnevezett entitásokat a munkakörökben és a keresési lekérdezéseken belül. Következésképpen ez lehetővé teszi számunkra, hogy hasonlósági pontszámokat számítsunk ki ezen azonosított entitások között, fókuszáltabb és kontextus-tudatosabb rokonsági mérőszámot biztosítva. Ez a módszertan csökkenti az adataink zaját, és árnyaltabb, környezetérzékenyebb módszert ad a munkák összehasonlítására.

Finomhangolt SBERT beágyazások

Munkaajánló rendszerünk relevanciájának és pontosságának fokozása érdekében a SBERT, egy erőteljes transzformátor alapú modell erejét használjuk, amely a szemantikai jelentések és szövegkörnyezetek szövegből való megragadásában való jártasságáról ismert. Azonban az olyan általános beágyazások, mint a SBERT, bár hatékonyak, előfordulhat, hogy nem ragadják meg teljesen az egyedi árnyalatokat és terminológiákat, amelyek egy adott területen, például a miénkben rejlőek, és amelyek a foglalkoztatás és az álláskeresés köré épülnek. Ennek kiküszöbölése érdekében a tartományspecifikus adataink segítségével finomhangoljuk a SBERT beágyazásokat. Ez a finomhangolási folyamat úgy optimalizálja a modellt, hogy jobban megértse és feldolgozza az iparág-specifikus nyelvezetet, szakzsargont és kontextust, így a beágyazások jobban tükrözik az adott tartományunkat. Ennek eredményeként a kifinomult beágyazások jobb teljesítményt kínálnak mind a szemantikai, mind a kontextuális információk rögzítésében a mi szféránkon belül, ami pontosabb és értelmesebb munkaajánlatokat tesz lehetővé felhasználóink ​​számára.

A következő ábra a SBERT finomhangolási lépését szemlélteti.

Finomhangoljuk a SBERT beágyazásokat TripletLoss koszinusz-távolság mérőszámmal, amely megtanulja a szövegbeágyazást, ahol a horgony és a pozitív szövegek nagyobb koszinusz hasonlósággal rendelkeznek, mint a horgony és a negatív szövegek. A felhasználók keresési lekérdezéseit használjuk horgonyszövegként. A pozitív és negatív szövegek bemeneteként a munkakörök és a munkáltatók neveit kombináljuk. A pozitív szövegek olyan álláshirdetésekből származnak, amelyekre a megfelelő felhasználó kattintott, míg a negatív szövegek olyan álláshirdetésekből, amelyekre a felhasználó nem kattintott. A következő példa a finomhangolási eljárás végrehajtására:

import math
from datetime import datetime from torch.utils.data import DataLoader
from sentence_transformers import (SentenceTransformer, SentencesDataset, LoggingHandler, losses)
from sentence_transformers.readers import InputExample model_name = 'all-mpnet-base-v2'
train_batch_size = 16
num_epochs = 1
model_save_path = (f'output/{model_name}_'+ datetime.now().strftime("%Y-%m-%d_%H-%M-%S")) ### load pre-trained SBERT model
model = SentenceTransformer(model_name, device="cuda") ### construct training dataset of triplet texts,
### stored in three lists (achors, positives, negatives)
train_examples =[]
for anchor, positive, negative in zip(achors, positives, negatives): train_examples.append(InputExample(texts=(anchor, positive, negative))) train_dataset = SentencesDataset(train_examples, model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=train_batch_size) ### use TripletLoss with cosine distance metric and margin=0.5
distance_metric=losses.TripletDistanceMetric.COSINE
train_loss = losses.TripletLoss(model=model, distance_metric=distance_metric, triplet_margin=0.5) ### 10% of train data for warm-up
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) # Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path=model_save_path)

Modellképzés a SageMaker Distributed Data Parallel programmal

A SageMaker Distributed Data Parallel-t (SMDDP) használjuk, a SageMaker ML platform egyik funkcióját, amely a PyTorch DDP-re épül. Optimalizált környezetet biztosít PyTorch DDP képzési feladatok futtatásához a SageMaker platformon. Úgy tervezték, hogy jelentősen felgyorsítsa a mély tanulási modell képzését. Ezt úgy éri el, hogy egy nagy adatkészletet kisebb darabokra bont, és több GPU között osztja el őket. A modellt minden GPU-n replikálják. Minden GPU önállóan dolgozza fel a hozzárendelt adatokat, és az eredményeket a rendszer az összes GPU-n leválogatja és szinkronizálja. A DDP gondoskodik a gradiens kommunikációról, hogy a modellreplikákat szinkronban tartsa, és átfedi azokat a gradiens számításokkal a képzés felgyorsítása érdekében. Az SMDDP egy optimalizált AllReduce algoritmust használ a GPU-k közötti kommunikáció minimalizálására, csökkenti a szinkronizálási időt és javítja az általános képzési sebességet. Az algoritmus alkalmazkodik a különböző hálózati feltételekhez, így rendkívül hatékony mind a helyszíni, mind a felhőalapú környezetekben. Az SMDDP architektúrában (ahogyan a következő ábrán látható) az elosztott betanítást is sok csomópontból álló fürt segítségével skálázzák. Ez nem csak több GPU-t jelent egy számítási példányban, hanem sok példányt több GPU-val, ami tovább gyorsítja a képzést.

Az architektúrával kapcsolatos további információkért lásd: A SageMaker Distributed Data Parallel Library bemutatása.

Az SMDDP segítségével lényegesen le tudtuk csökkenteni a TTDP-modellünk betanítási idejét, így nyolcszor gyorsabb lett. A gyorsabb képzési idők azt jelentik, hogy gyorsabban iterálhatjuk és fejleszthetjük modelljeinket, ami rövidebb idő alatt jobb állásajánlatokat tesz lehetővé felhasználóink ​​számára. Ez a hatékonyságnövekedés fontos szerepet játszik az állásajánló motorunk versenyképességének megőrzésében a gyorsan fejlődő munkaerőpiacon.

A tanítási parancsfájlt az SMDDP-vel csak három sornyi kóddal adaptálhatja, amint az a következő kódblokkban látható. Példaként a PyTorch használatával az egyetlen dolog, amit tennie kell, az az SMDDP könyvtár PyTorch kliensének importálása (smdistributed.dataparallel.torch.torch_smddp). Az ügyfél regisztrál smddp a PyTorch háttérprogramjaként.

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist dist.init_process_group(backend='smddp')

Miután rendelkezik egy működő PyTorch-szkripttel, amely alkalmas az elosztott adatok párhuzamos könyvtárának használatára, megteheti elosztott képzési feladat elindítása a SageMaker Python SDK használatával.

A modell teljesítményének értékelése

Az ajánlási rendszer teljesítményének értékelésekor döntő fontosságú, hogy olyan mutatókat válasszunk, amelyek szorosan illeszkednek az üzleti célokhoz, és egyértelműen megértik a modell hatékonyságát. Esetünkben az AUC-t használjuk a TTDP-modell munkakattintás-előrejelzési teljesítményének értékelésére, a mAP@K-t pedig a végső rangsorolt ​​álláslista minőségének értékelésére.

Az AUC a vevő működési jellemzői (ROC) görbe alatti területre vonatkozik. Azt a valószínűséget jelenti, hogy egy véletlenszerűen kiválasztott pozitív példa magasabb rangsorolásra kerül, mint egy véletlenszerűen kiválasztott negatív példa. 0 és 1 között mozog, ahol az 1 az ideális osztályozót jelöli, a 0.5 pedig a véletlenszerű tippet. A mAP@K egy olyan mérőszám, amelyet gyakran használnak az információ-visszakereső rendszerek minőségének felmérésére, mint például az állásajánló motorunk. Azt méri, hogy egy adott lekérdezésnél vagy felhasználónál milyen átlagos K-releváns elem lekérhető. 0 és 1 között mozog, ahol az 1 az optimális besorolást, a 0 pedig a lehető legalacsonyabb pontosságot jelzi az adott K érték mellett. Kiértékeljük az AUC, mAP@1 és mAP@3 értékeket. Ezek a mutatók együttesen lehetővé teszik számunkra, hogy felmérjük a modell azon képességét, hogy különbséget tudjon tenni a pozitív és negatív osztályok (AUC) között, és mennyire sikeres a legrelevánsabb tételek rangsorolása az élen (mAP@K).

Offline értékelésünk alapján a TTDP modell az alapmodellt – a meglévő XGBoost-alapú termelési modellt – 16.65%-kal az AUC, 20%-kal a mAP@1 és 11.82%-kal a mAP@3 esetében felülmúlta.

Ezenkívül egy online A/B tesztet terveztünk a javasolt rendszer értékelésére, és a tesztet az Egyesült Államok e-mail lakosságának egy százalékán futtattuk 6 héten keresztül. Összesen körülbelül 22 millió e-mailt küldtek az új rendszer által javasolt munkával. Az ebből eredő kattintások számának növekedése a korábbi sorozatgyártású modellhez képest 8.6% volt. A Talent.com fokozatosan növeli annak százalékos arányát, hogy az új rendszert a teljes populációra és csatornákra kiterjessze.

Következtetés

Az állásajánló rendszer létrehozása összetett feladat. Minden álláskeresőnek egyedi igényei, preferenciái és szakmai tapasztalatai vannak, amelyekre egy rövid keresésből nem lehet következtetni. Ebben a bejegyzésben a Talent.com együttműködött az AWS-szel, hogy kidolgozzon egy végpontok közötti mély tanuláson alapuló állásajánló megoldást, amely rangsorolja a felhasználóknak ajánlandó munkákat. A Talent.com csapata igazán élvezte az AWS csapattal való együttműködést a probléma megoldásának folyamata során. Ez egy jelentős mérföldkő a Talent.com átalakuló útján, mivel a csapat kihasználja a mélyreható tanulás erejét üzleti tevékenysége megerősítésére.

Ezt a projektet a SBERT segítségével finomhangolták szövegbeágyazások létrehozásához. A cikk írásakor az AWS bevezette Amazon Titan beágyazások keresztül kínált alapmodelljeik (FM-jeik) részeként Amazon alapkőzet, amely egy teljes körűen felügyelt szolgáltatás, amely a vezető AI-cégek nagy teljesítményű alapmodelljeit kínálja. Arra biztatjuk az olvasókat, hogy fedezzék fel az ebben a blogbejegyzésben bemutatott gépi tanulási technikákat, és használják ki az AWS nyújtotta lehetőségeket, például az SMDDP-t, miközben az AWS Bedrock alapmodelljeit használják saját keresési funkcióik létrehozására.

Referenciák

A szerzőkről

Yi Xiang Applied Scientist II az Amazon Machine Learning Solutions Labnál, ahol különböző iparágakban segíti az AWS-ügyfeleket a mesterséges intelligencia és a felhő alkalmazásának felgyorsításában.

Tong Wang vezető alkalmazott tudós az Amazon Machine Learning Solutions Labnál, ahol különböző iparágakban segíti az AWS-ügyfeleket a mesterséges intelligencia és a felhő alkalmazásának felgyorsításában.

Dmitrij Beszpalov vezető alkalmazott tudós az Amazon Machine Learning Solutions Labnál, ahol különböző iparágakban segíti az AWS-ügyfeleket a mesterséges intelligencia és a felhő alkalmazásának felgyorsításában.

Anatolij Khomenko a Talent.com vezető gépi tanulási mérnöke, aki a természetes nyelvi feldolgozás iránti szenvedélye, hogy jó embereket és jó munkát találjon.

Abdenour Bezzouh ügyvezető több mint 25 éves tapasztalattal olyan technológiai megoldások építésében és szállításában, amelyek több millió ügyfélre terjednek ki. Abdenour technológiai igazgatói (CTO) pozíciót töltött be Talent.com amikor az AWS csapata megtervezte és végrehajtotta ezt a konkrét megoldást Talent.com.

Dale Jacques vezető mesterségesintelligencia-szakértő a Generatív AI Innovációs Központban, ahol segít az AWS ügyfeleinek abban, hogy az üzleti problémákat AI megoldásokká alakítsák át.

Yanjun Qi Senior Applied Science Manager az Amazon Machine Learning Solution Labnál. Megújítja és alkalmazza a gépi tanulást, hogy segítse az AWS-ügyfeleket az AI és a felhő alkalmazásának felgyorsításában.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/from-text-to-dream-job-building-an-nlp-based-job-recommender-at-talent-com-with-amazon-sagemaker/