Tekstist unistuste töökohani: NLP-põhise töösoovitaja loomine saidil Talent.com koos Amazon SageMakeriga | Amazoni veebiteenused

Selle postituse kaasautoriteks on masinõppeinsener Anatoli Khomenko ja Talent.com-i tehnoloogiajuht Abdenour Bezzouh.

Asutatud 2011, Talent.com on üks maailma suurimaid tööhõiveallikaid. Ettevõte ühendab oma klientide tasulised tööpakkumised avalike tööpakkumistega üheks otsitavaks platvormiks. Rohkem kui 30 miljoni töökohaga enam kui 75 riigis pakub Talent.com töökohti paljudes keeltes, tööstusharudes ja turustuskanalites. Tulemuseks on platvorm, mis sobitab miljonid tööotsijad vabade töökohtadega.

Talent.com-i missioon on koondada kõik veebis saadaolevad töökohad, et aidata tööotsijatel leida neile parim sobivus, pakkudes samal ajal parimat otsingukogemust. Selle fookuses on asjakohasus, sest soovitatud tööde järjestus on äärmiselt oluline, et näidata kasutajate huvidele kõige sobivamaid töid. Talent.com-i sobitusalgoritmi jõudlus on ettevõtte edukuse seisukohalt ülimalt oluline ja kasutajate kogemuse oluline panus. On keeruline ennustada, millised töökohad on tööotsija jaoks asjakohased, tuginedes pakutavale piiratud hulgale teabele, mis sisaldab tavaliselt mõnda märksõna ja asukohta.

Seda missiooni silmas pidades ühendasid Talent.com ja AWS jõud, et luua töösoovitusmootor, mis kasutab kaasaegseid loomuliku keele töötlemise (NLP) ja süvaõppemudeli koolitustehnikaid. Amazon SageMaker pakkuda tööotsijatele ületamatut kogemust. See postitus näitab meie ühist lähenemist töösoovitussüsteemi kujundamisele, mis hõlmab funktsioonide inseneritööd, süvaõppemudeli arhitektuuri disaini, hüperparameetrite optimeerimist ja mudeli hindamist, mis tagab meie lahenduse usaldusväärsuse ja tõhususe nii tööotsijatele kui ka tööandjatele. Süsteemi arendab AWS-i ja Talent.com-i koostöös pühendunud rakendusliku masinõppe (ML) teadlastest, ML-i inseneridest ja aineekspertidest koosnev meeskond.

Võrreldes varasema XGBoostil põhineva lahendusega, on soovitussüsteem suurendanud veebipõhises A/B-testimises klikkimise määra (CTR) 8.6%, aidates miljonitel Talent.com-i kasutajatel paremaid töökohti leida.

Ülevaade lahendusest

Süsteemi ülevaade on näidatud järgmisel joonisel. Süsteem võtab sisendiks kasutaja otsingupäringu ja väljastab asjakohasuse järjekorras järjestatud tööde loendi. Töökoha asjakohasust mõõdetakse klikkimise tõenäosusega (tõenäosus, et tööotsija klõpsab töökohal lisateabe saamiseks).

Süsteem sisaldab nelja põhikomponenti:

• Mudeli arhitektuur - Selle töösoovitusmootori tuum on sügaval õppimisel põhinev Triple Tower Pointwise mudel, mis sisaldab päringukooderit, mis kodeerib kasutaja otsingupäringuid, dokumendikodeerijat, mis kodeerib ametikirjeldusi, ja interaktsiooni kodeerijat, mis töötleb varasemat kasutajatööd. interaktsiooni omadused. Kolme torni väljundid ühendatakse ja juhitakse läbi klassifitseerimispea, et ennustada töö klikkimise tõenäosust. Koolitades seda mudelit Talent.com-i otsingupäringute, tööspetsiifiliste ja ajalooliste kasutaja interaktsiooniandmete osas, pakub see süsteem tööotsijatele isikupärastatud ja väga asjakohaseid töösoovitusi.
• Funktsioonide projekteerimine – Teostame kaks funktsioonide projekteerimise komplekti, et eraldada sisendandmetest väärtuslikku teavet ja suunata see mudeli vastavatesse tornidesse. Need kaks komplekti on standardsete funktsioonide projekteerimine ja peenhäälestatud Sentence-BERT (SBERT) manused. Kasutame interaktsioonikodeerija sisendina standardseid konstrueeritud funktsioone ja edastame SBERT-i tuletatud manustamise päringukooderisse ja dokumendikodeerijasse.
• Mudeli optimeerimine ja häälestamine – Kasutame SageMakeriga süsteemi koolitamiseks, testimiseks ja juurutamiseks täiustatud koolitusmetoodikaid. See hõlmab SageMaker Distributed Data Parallel (DDP) koolitust, SageMakeri automaatset mudeli häälestamist (AMT), õppimiskiiruse ajastamist ja varajast peatamist, et parandada mudeli jõudlust ja treeningkiirust. DDP koolitusraamistiku kasutamine aitas meie mudelkoolitust kiirendada ligikaudu kaheksa korda kiiremini.
• Mudeli hindamine – Teostame hindamist nii võrguühenduseta kui ka veebis. Võrguühenduseta hindamisel hindame mudeli jõudlust kõveraaluse pindala (AUC) ja keskmise keskmise täpsusega K (mAP@K). Veebipõhise A/B testimise käigus hindame CTR-i täiustusi.

Järgmistes osades tutvustame nende nelja komponendi üksikasju.

Süvaõppe mudeli arhitektuuri disain

Kujundame kolme torni sügavuspunkti (TTDP) mudeli, kasutades kolme torni süvaõppe arhitektuuri ja punktsuunalise paari modelleerimise lähenemisviisi. Kolmekordse torni arhitektuur pakub kolme paralleelset sügavat närvivõrku, kusjuures iga torn töötleb funktsioonide komplekti iseseisvalt. See disainimuster võimaldab mudelil õppida erinevatest teabeallikatest erinevaid esitusi. Kui kõigi kolme torni esitused on saadud, ühendatakse need kokku ja juhitakse läbi klassifitseerimispea, et teha kliki tõenäosuse lõplik ennustus (0–1) (punktipõhise modelleerimise seadistus).

Kolm torni nimetatakse nende töödeldava teabe põhjal: päringu kodeerija töötleb kasutaja otsingupäringut, dokumendi kodeerija töötleb kandidaadi töö dokumentaalset sisu, sealhulgas ametinimetust ja ettevõtte nime, ning interaktsiooni kodeerija kasutab asjakohaseid funktsioone, mis on võetud kasutaja varasemast suhtlusest. ja ajalugu (räägitakse lähemalt järgmises osas).

Kõik need tornid mängivad olulist rolli töökohtade soovitamise õppimisel:

• Päringu kodeerija – Päringu kodeerija võtab vastu kasutaja tööotsingu päringust tuletatud SBERT-manused. Täiustame manustamist SBERT-i mudeli abil, mille peenhäälestus tegime. See kodeerija töötleb ja mõistab kasutaja tööotsimise kavatsusi, sealhulgas üksikasju ja nüansse, mis on jäädvustatud meie domeenipõhiste manustega.
• Dokumendi kodeerija – Dokumendi kodeerija töötleb iga tööloendi teavet. Täpsemalt võtab see ametinimetusest ja ettevõttest koondatud teksti SBERT-i manused. Intuitsioon on see, et kasutajad on rohkem huvitatud kandidaatide töökohtadest, mis on otsingupäringu jaoks asjakohasemad. Kaardistades töökohad ja otsingupäringud samasse vektorruumi (määratleb SBERT), saab mudel õppida ennustama potentsiaalsete töökohtade tõenäosust, millele tööotsija klõpsab.
• Interaktsiooni kodeerija – Interaktsioonide kodeerija käsitleb kasutaja varasemat suhtlust tööloenditega. Funktsioonid luuakse standardse funktsioonide projekteerimisetapi kaudu, mis hõlmab töörollide ja ettevõtete populaarsuse mõõdikute arvutamist, konteksti sarnasuse skooride määramist ja interaktsiooniparameetrite eraldamist varasematest kasutajate seotusest. Samuti töötleb see ametinimetuses ja otsingupäringutes tuvastatud nimega üksusi eelkoolitatud nimega olemi tuvastamise (NER) mudeliga.

Iga torn genereerib paralleelselt sõltumatu väljundi, mis seejärel kõik ühendatakse. Seejärel edastatakse see kombineeritud funktsioonivektor, et ennustada kasutajapäringu tööloendi klikkimise tõenäosust. Kolmekordse torni arhitektuur pakub paindlikkust erinevate sisendite või funktsioonide keerukate suhete jäädvustamisel, võimaldades mudelil ära kasutada iga torni tugevaid külgi, õppides samal ajal antud ülesande jaoks ilmekamaid esitusi.

Kandidaatide prognoositud klikitõenäosused on järjestatud kõrgest madalani, genereerides isikupärastatud töösoovitusi. Selle protsessiga tagame, et iga teabe – olgu see siis kasutaja otsingukavatsus, tööpakkumise üksikasjad või varasemad suhtlused – jäädvustab täielikult sellele pühendatud konkreetne torn. Nendevahelised keerulised suhted on fikseeritud ka torni väljundite kombinatsiooni kaudu.

Funktsioonide projekteerimine

Toorandmetest väärtusliku teabe eraldamiseks ja mudeli vastavatesse tornidesse sisestamiseks teostame kaks funktsioonide projekteerimisprotsessi komplekti: standardsete funktsioonide projekteerimine ja peenhäälestatud SBERT-manused.

Standardfunktsioonide projekteerimine

Meie andmete ettevalmistamise protsess algab standardfunktsioonide kavandamisega. Üldiselt määratleme nelja tüüpi funktsioone:

• Populaarsus – Arvutame populaarsusskoore individuaalse töö, ameti ja ettevõtte tasandil. See annab mõõdiku selle kohta, kui atraktiivne võib konkreetne töökoht või ettevõte olla.
• Tekstiline sarnasus – Erinevate tekstielementide vahelise kontekstuaalse seose mõistmiseks arvutame välja sarnasuse hinded, sealhulgas otsingupäringu ja ametinimetuse vahelise stringi sarnasuse. See aitab meil hinnata avatud töökoha asjakohasust tööotsija otsingu- või kandideerimisajaloo jaoks.
• Koostoime – Lisaks eraldame interaktsioonifunktsioonid varasematest kasutajate tööpakkumistest. Selle suurepärane näide on sarnasus varem klõpsatud ametinimetuste ja kandidaatide ametinimetuste vahel. See meede aitab meil mõista sarnasust varasemate töökohtade vahel, mille vastu kasutaja on huvi üles näidanud, ja tulevaste töövõimaluste vahel. See suurendab meie töösoovitusmootori täpsust.
• profiil – Viimasena eraldame kasutajaprofiilist kasutaja määratud tööhuvide teabe ja võrdleme seda uute töökandidaatidega. See aitab meil mõista, kas töökandidaat vastab kasutaja huvidele.

Meie andmete ettevalmistamise oluline samm on eelkoolitatud NER-mudeli rakendamine. Rakendades NER-i mudelit, saame tuvastada ja märgistada nimelisi üksusi ametinimetustes ja otsingupäringutes. Järelikult võimaldab see meil arvutada nende tuvastatud üksuste sarnasusskoore, pakkudes fokusseeritumat ja kontekstiteadlikumat seotuse mõõdikut. See metoodika vähendab meie andmete müra ja annab meile nüansirikkama ja kontekstitundlikuma meetodi töökohtade võrdlemiseks.

Peenhäälestatud SBERT manused

Oma töösoovitussüsteemi asjakohasuse ja täpsuse suurendamiseks kasutame SBERTi, võimsa trafopõhise mudeli võimsust, mis on tuntud oma oskuse poolest tekstist semantiliste tähenduste ja kontekstide jäädvustamisel. Kuid üldised manustused, nagu SBERT, kuigi tõhusad, ei pruugi täielikult hõlmata ainulaadseid nüansse ja terminoloogiaid, mis on omased konkreetsele domeenile, nagu meie oma, mis keskendub tööhõivele ja tööotsingutele. Selle ületamiseks viimistleme SBERT-i manuseid, kasutades meie domeenispetsiifilisi andmeid. See peenhäälestusprotsess optimeerib mudelit, et mõista ja töödelda paremini tööstusharuspetsiifilist keelt, kõnepruuki ja konteksti, muutes manused meie konkreetset domeeni paremini kajastavaks. Selle tulemusel pakuvad täiustatud manused paremat jõudlust nii semantilise kui ka kontekstuaalse teabe hõivamisel meie sfääris, mis annab meie kasutajatele täpsemaid ja sisukamaid töösoovitusi.

Järgmine joonis illustreerib SBERTi peenhäälestuse etappi.

Täpsustame SBERT-i manuseid kasutades KolmikLoss koosinuskauguse mõõdikuga, mis õpib teksti manustamist, kus ankur- ja positiivsetel tekstidel on suurem koosinussarnasus kui ankur- ja negatiivsetel tekstidel. Kasutame kasutajate otsingupäringuid ankurtekstidena. Kombineerime positiivsete ja negatiivsete tekstide sisenditena ametinimetused ja tööandjate nimed. Positiivsed tekstid on võetud töökuulutustest, millel vastav kasutaja klõpsas, negatiivsed aga töökuulutustest, millel kasutaja ei klõpsanud. Järgnev on peenhäälestusprotseduuri näidisrakendus:

import math
from datetime import datetime from torch.utils.data import DataLoader
from sentence_transformers import (SentenceTransformer, SentencesDataset, LoggingHandler, losses)
from sentence_transformers.readers import InputExample model_name = 'all-mpnet-base-v2'
train_batch_size = 16
num_epochs = 1
model_save_path = (f'output/{model_name}_'+ datetime.now().strftime("%Y-%m-%d_%H-%M-%S")) ### load pre-trained SBERT model
model = SentenceTransformer(model_name, device="cuda") ### construct training dataset of triplet texts,
### stored in three lists (achors, positives, negatives)
train_examples =[]
for anchor, positive, negative in zip(achors, positives, negatives): train_examples.append(InputExample(texts=(anchor, positive, negative))) train_dataset = SentencesDataset(train_examples, model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=train_batch_size) ### use TripletLoss with cosine distance metric and margin=0.5
distance_metric=losses.TripletDistanceMetric.COSINE
train_loss = losses.TripletLoss(model=model, distance_metric=distance_metric, triplet_margin=0.5) ### 10% of train data for warm-up
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) # Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path=model_save_path)

Mudelkoolitus SageMaker Distributed Data Parallel'iga

Kasutame SageMaker Distributed Data Parallel (SMDDP), mis on PyTorch DDP peale ehitatud SageMaker ML platvormi funktsioon. See pakub optimeeritud keskkonda PyTorch DDP koolitustööde tegemiseks SageMakeri platvormil. See on loodud selleks, et oluliselt kiirendada süvaõppe mudeli koolitust. See saavutab selle, jagades suure andmestiku väiksemateks tükkideks ja jagades need mitme GPU vahel. Mudelit korratakse igas GPU-s. Iga GPU töötleb talle määratud andmeid iseseisvalt ning tulemused kõrvutatakse ja sünkroonitakse kõigis GPU-des. DDP hoolitseb gradientside eest, et hoida mudeli koopiad sünkroonituna, ja kattub need gradientarvutustega, et kiirendada treeningut. SMDDP kasutab optimeeritud AllReduce algoritmi, et minimeerida GPU-de vahelist suhtlust, vähendades sünkroonimisaega ja parandades üldist treeningkiirust. Algoritm kohandub erinevate võrgutingimustega, muutes selle väga tõhusaks nii kohapealsetes kui ka pilvepõhistes keskkondades. SMDDP arhitektuuris (nagu on näidatud järgmisel joonisel) skaleeritakse hajutatud koolitust ka paljude sõlmede klastri abil. See ei tähenda mitte ainult mitut GPU-d ühes andmetöötluseksemplaris, vaid paljusid mitme GPU-ga eksemplare, mis kiirendab treenimist veelgi.

Selle arhitektuuri kohta lisateabe saamiseks vaadake Sissejuhatus SageMakeri hajutatud andmete paralleelteegisse.

SMDDP abil oleme suutnud oma TTDP mudeli treeninguaega oluliselt vähendada, muutes selle kaheksa korda kiiremaks. Kiirem koolitusaeg tähendab, et saame oma mudeleid kiiremini korrata ja täiustada, mis annab kasutajatele paremaid töösoovitusi lühema aja jooksul. See tõhususe suurenemine on oluline meie töösoovitusmootori konkurentsivõime säilitamisel kiiresti areneval tööturul.

Saate kohandada oma treeningskripti SMDDP-ga ainult kolme koodireaga, nagu on näidatud järgmises koodiplokis. PyTorchi näitel on ainus asi, mida peate tegema, importima SMDDP teegi PyTorchi klient (smdistributed.dataparallel.torch.torch_smddp). Klient registreerub smddp PyTorchi taustaprogrammina.

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist dist.init_process_group(backend='smddp')

Kui teil on töötav PyTorchi skript, mis on kohandatud hajutatud andmete paralleelteegi kasutamiseks, saate seda teha käivitage hajutatud koolitustöö, kasutades SageMaker Python SDK-d.

Mudeli jõudluse hindamine

Soovitussüsteemi toimivuse hindamisel on ülioluline valida mõõdikud, mis on tihedalt kooskõlas ärieesmärkidega ja annavad selge ülevaate mudeli tõhususest. Meie puhul kasutame AUC-d, et hinnata oma TTDP-mudeli tööklõpsude prognoosimise toimivust, ja mAP@K-d, et hinnata lõplike järjestatud tööde loendi kvaliteeti.

AUC viitab vastuvõtja töökarakteristiku (ROC) kõvera alusele alale. See tähistab tõenäosust, et juhuslikult valitud positiivne näide hinnatakse kõrgemale kui juhuslikult valitud negatiivne näide. See on vahemikus 0–1, kus 1 tähistab ideaalset klassifikaatorit ja 0.5 tähistab juhuslikku oletust. mAP@K on mõõdik, mida tavaliselt kasutatakse teabeotsingusüsteemide (nt meie töösoovitusmootori) kvaliteedi hindamiseks. See mõõdab antud päringu või kasutaja jaoks K kõige olulisema asjakohast üksuse toomise keskmist täpsust. See on vahemikus 0–1, kus 1 näitab optimaalset järjestust ja 0 näitab antud K väärtuse madalaimat võimalikku täpsust. Hindame AUC, mAP@1 ja mAP@3. Need mõõdikud võimaldavad meil ühiselt hinnata mudeli võimet eristada positiivseid ja negatiivseid klasse (AUC) ning selle edukust kõige asjakohasemate üksuste järjestamisel tippu (mAP@K).

Meie võrguühenduseta hinnangu põhjal ületas TTDP mudel algmudelit – olemasolevat XGBoostil põhinevat tootmismudelit – AUC puhul 16.65%, mAP@20 puhul 1% ja mAP@11.82 puhul 3%.

Lisaks kavandasime pakutud süsteemi hindamiseks veebipõhise A/B-testi ja testisime 6 nädala jooksul teatud protsendi USA meilisõnumite kasutajatest. Kokku saadeti uue süsteemi soovitatud tööd kasutades ligikaudu 22 miljonit meili. Sellest tulenev klikkide arvu suurenemine võrreldes eelmise tootmismudeliga oli 8.6%. Talent.com suurendab järk-järgult protsenti, et viia uus süsteem välja kogu elanikkonnale ja kanalitele.

Järeldus

Töösoovitussüsteemi loomine on keeruline ettevõtmine. Igal tööotsijal on ainulaadsed vajadused, eelistused ja töökogemused, mida ei saa lühikesest otsingupäringust järeldada. Selles postituses tegi Talent.com koostööd AWS-iga, et töötada välja täielik sügavõppepõhine töösoovituslahendus, mis reastab kasutajatele soovitatavate tööde loendid. Talent.com-i meeskond nautis tõeliselt koostööd AWS-i meeskonnaga kogu selle probleemi lahendamise protsessi jooksul. See tähistab olulist verstaposti Talent.com-i muutlikul teekonnal, kuna meeskond kasutab oma äritegevuse tugevdamiseks ära sügava õppimise võimet.

Seda projekti viimistleti teksti manustamise loomiseks SBERTi abil. Kirjutamise ajal tutvustas AWS Amazon Titan Embeddings osana nende kaudu pakutavatest alusmudelitest (FM-idest). Amazonase aluspõhi, mis on täielikult hallatav teenus, mis pakub valikut juhtivate tehisintellekti ettevõtete suure jõudlusega alusmudeleid. Soovitame lugejatel uurida selles ajaveebi postituses esitatud masinõppe tehnikaid ja kasutada ära AWS-i, näiteks SMDDP, pakutavaid võimalusi, kasutades samal ajal oma otsingufunktsioonide loomiseks AWS Bedrocki põhimudeleid.

viited

Autoritest

Yi Xiang on rakendusteadlane II Amazoni masinõppelahenduste laboris, kus ta aitab AWS-i klientidel erinevates tööstusharudes kiirendada nende tehisintellekti ja pilve kasutuselevõttu.

Tong Wang on vanemrakendusteadlane Amazoni masinõppelahenduste laboris, kus ta aitab AWS-i klientidel erinevates tööstusharudes kiirendada nende tehisintellekti ja pilve kasutuselevõttu.

Dmitri Bespalov on vanemrakendusteadlane Amazoni masinõppelahenduste laboris, kus ta aitab AWS-i klientidel erinevates tööstusharudes kiirendada nende tehisintellekti ja pilve kasutuselevõttu.

Anatoli Khomenko on Talent.com-i masinõppe vaneminsener, kelle kirg on loomuliku keele töötlemine, mis sobitab head inimesed headele töökohtadele.

Abdenour Bezzouh on tegevjuht, kellel on enam kui 25-aastane kogemus miljonite klientideni ulatuvate tehnoloogiliste lahenduste ehitamisel ja tarnimisel. Abdenour töötas tehnoloogiajuhina (CTO) kell Talent.com kui AWS-i meeskond selle konkreetse lahenduse kavandas ja teostas Talent.com.

Dale Jacques on AI vanemstrateeg generatiivse tehisintellekti innovatsioonikeskuses, kus ta aitab AWS-i klientidel muuta äriprobleemid AI-lahendusteks.

Yanjun Qi on rakendusteaduste vanemjuht Amazoni masinõppelahenduste laboris. Ta teeb uuendusi ja rakendab masinõpet, et aidata AWS-i klientidel kiirendada nende tehisintellekti ja pilve kasutuselevõttu.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/from-text-to-dream-job-building-an-nlp-based-job-recommender-at-talent-com-with-amazon-sagemaker/