Od besedila do sanjske službe: ustvarjanje priporočevalca zaposlitve na podlagi NLP na Talent.com z Amazon SageMaker | Spletne storitve Amazon

To objavo sta soavtorja Anatoly Khomenko, inženir strojnega učenja, in Abdenour Bezzouh, glavni tehnološki direktor pri Talent.com.

Ustanovljen leta 2011, Talent.com je eden največjih virov zaposlovanja na svetu. Podjetje združuje sezname plačanih delovnih mest svojih strank z javnimi seznami delovnih mest v eno samo iskalno platformo. Z več kot 30 milijoni delovnih mest, navedenih v več kot 75 državah, Talent.com ponuja delovna mesta v številnih jezikih, panogah in distribucijskih kanalih. Rezultat je platforma, ki povezuje milijone iskalcev zaposlitve z razpoložljivimi delovnimi mesti.

Poslanstvo Talent.com je centralizirati vsa delovna mesta, ki so na voljo na spletu, da bi iskalcem zaposlitve pomagala najti tisto, kar jim najbolj ustreza, in jim hkrati ponuditi najboljšo izkušnjo iskanja. Njegov poudarek je na ustreznosti, saj je vrstni red priporočenih delovnih mest ključnega pomena za prikaz delovnih mest, ki najbolj ustrezajo interesom uporabnikov. Učinkovitost algoritma za ujemanje Talent.com je najpomembnejša za uspeh podjetja in ključno prispeva k uporabniški izkušnji. Težko je predvideti, katera delovna mesta so primerna za iskalca zaposlitve na podlagi omejene količine zagotovljenih informacij, ki so običajno vsebovane v nekaj ključnih besedah ​​in lokaciji.

Glede na to nalogo sta Talent.com in AWS združila moči, da bi ustvarila motor za priporočila za zaposlitev z uporabo najsodobnejše obdelave naravnega jezika (NLP) in tehnik usposabljanja modelov globokega učenja z Amazon SageMaker da bi iskalcem zaposlitve zagotovili izkušnjo brez primere. Ta objava prikazuje naš skupni pristop k oblikovanju sistema za priporočila za zaposlitev, vključno z inženiringom funkcij, oblikovanjem arhitekture modela globokega učenja, optimizacijo hiperparametrov in vrednotenjem modela, ki zagotavlja zanesljivost in učinkovitost naše rešitve tako za iskalce zaposlitve kot za delodajalce. Sistem je razvila skupina predanih znanstvenikov uporabnega strojnega učenja (ML), inženirjev ML in strokovnjakov za zadeve v sodelovanju med AWS in Talent.com.

Sistem priporočil je povzročil 8.6-odstotno zvišanje razmerja med prikazi in kliki (CTR) pri spletnem A/B testiranju v primerjavi s prejšnjo rešitvijo, ki temelji na XGBoost, kar je milijonom uporabnikov Talent.com pomagalo priti do boljših delovnih mest.

Pregled rešitve

Pregled sistema je prikazan na naslednji sliki. Sistem vzame uporabnikovo iskalno poizvedbo kot vhod in izpiše razvrščen seznam delovnih mest po ustreznosti. Ustreznost zaposlitve se meri z verjetnostjo klika (verjetnost, da iskalec zaposlitve klikne na zaposlitev za več informacij).

Sistem vključuje štiri glavne komponente:

• Arhitektura modela – Jedro tega mehanizma za priporočila delovnih mest je model Triple Tower Pointwise, ki temelji na globokem učenju, ki vključuje kodirnik poizvedb, ki kodira iskalne poizvedbe uporabnikov, kodirnik dokumentov, ki kodira opise delovnih mest, in kodirnik interakcij, ki obdeluje preteklo uporabniško opravilo. značilnosti interakcije. Izhodi treh stolpov so združeni in poslani skozi glavo za razvrščanje, da se napove verjetnost klika opravila. Z usposabljanjem tega modela na iskalnih poizvedbah, specifikah delovnega mesta in zgodovinskih podatkih o interakciji uporabnikov s spletnega mesta Talent.com ta sistem iskalcem zaposlitve ponuja prilagojena in zelo ustrezna priporočila za delo.
• Feature inženiring – Izvajamo dva niza inženiringa funkcij, da iz vhodnih podatkov izvlečemo dragocene informacije in jih vnesemo v ustrezne stolpe v modelu. Dva sklopa sta standardni inženiring funkcij in natančno nastavljene vdelave Sentence-BERT (SBERT). Standardne inženirske funkcije uporabljamo kot vhodne podatke v kodirnik za interakcijo in v kodirnik poizvedb in kodirnik dokumentov dovajamo vdelavo, ki izhaja iz SBERT.
• Optimizacija in nastavitev modela – Za usposabljanje, testiranje in uvajanje sistema s SageMakerjem uporabljamo napredne metodologije usposabljanja. To vključuje usposabljanje SageMaker Distributed Data Parallel (DDP), SageMaker Automatic Model Tuning (AMT), razporejanje hitrosti učenja in zgodnjo zaustavitev za izboljšanje zmogljivosti modela in hitrosti usposabljanja. Uporaba okvira za usposabljanje DDP je pomagala pospešiti naše usposabljanje modela na približno osemkrat hitrejše.
• Ocenjevanje modela – Izvajamo tako offline kot online ocenjevanje. Učinkovitost modela ocenjujemo s površino pod krivuljo (AUC) in srednjo povprečno natančnostjo pri K (mAP@K) pri vrednotenju brez povezave. Med spletnim A/B testiranjem ocenjujemo izboljšave CTR.

V naslednjih razdelkih predstavljamo podrobnosti teh štirih komponent.

Oblikovanje arhitekture modela globokega učenja

Oblikujemo model Triple Tower Deep Pointwise (TTDP) z uporabo arhitekture globokega učenja s tremi stolpi in pristopa modeliranja točkovnih parov. Arhitektura s tremi stolpi zagotavlja tri vzporedne globoke nevronske mreže, pri čemer vsak stolp neodvisno obdeluje niz funkcij. Ta oblikovalski vzorec omogoča modelu, da se nauči različnih predstavitev iz različnih virov informacij. Ko so pridobljene predstavitve iz vseh treh stolpov, se združijo in prenesejo skozi klasifikacijsko glavo, da se naredi končna napoved (0–1) glede verjetnosti klika (nastavitev točkovnega modeliranja).

Trije stolpi so poimenovani na podlagi informacij, ki jih obdelujejo: kodirnik poizvedb obdela iskalno poizvedbo uporabnika, kodirnik dokumentov obdela vsebino dokumentacije kandidata za delovno mesto, vključno z naslovom delovnega mesta in imenom podjetja, kodirnik interakcij pa uporablja ustrezne funkcije, pridobljene iz preteklih uporabniških interakcij. in zgodovino (več o tem v naslednjem razdelku).

Vsak od teh stolpov igra ključno vlogo pri učenju, kako priporočiti delovna mesta:

• Kodirnik poizvedb – Kodirnik poizvedb sprejme vdelave SBERT, ki izhajajo iz uporabnikove poizvedbe za iskanje zaposlitve. Vdelave izboljšamo z modelom SBERT, ki smo ga natančno prilagodili. Ta kodirnik obdeluje in razume uporabnikov namen iskanja zaposlitve, vključno s podrobnostmi in niansami, ki jih zajamejo naše vdelave, specifične za domeno.
• Kodirnik dokumentov – Kodirnik dokumentov obdela informacije vsakega seznama delovnih mest. Natančneje, vzame vdelave SBERT povezanega besedila iz naziva delovnega mesta in podjetja. Intuicija kaže, da bodo uporabnike bolj zanimala delovna mesta kandidatov, ki so bolj relevantna za iskalno poizvedbo. S preslikavo delovnih mest in iskalnih poizvedb v isti vektorski prostor (ki ga definira SBERT) se lahko model nauči napovedati verjetnost potencialnih delovnih mest, ki jih bo iskalec zaposlitve kliknil.
• Interakcijski kodirnik – Kodirnik interakcij obravnava uporabnikove pretekle interakcije s seznami delovnih mest. Funkcije so izdelane s standardnim korakom inženiringa funkcij, ki vključuje izračun meritev priljubljenosti za delovna mesta in podjetja, določanje rezultatov podobnosti konteksta in ekstrahiranje parametrov interakcije iz prejšnjih uporabnikov. Prav tako obdeluje poimenovane entitete, identificirane v nazivu delovnega mesta in iskalnih poizvedbah z vnaprej usposobljenim modelom prepoznavanja poimenovanih entitet (NER).

Vsak stolp vzporedno ustvari neodvisen izhod, ki se nato vsi povežejo skupaj. Ta kombinirani vektor funkcij se nato posreduje za napovedovanje verjetnosti klika seznama delovnih mest za uporabniško poizvedbo. Arhitektura s tremi stolpi zagotavlja prilagodljivost pri zajemanju zapletenih odnosov med različnimi vhodi ali funkcijami, kar omogoča modelu, da izkoristi prednosti vsakega stolpa, medtem ko se uči izrazitejših predstavitev za dano nalogo.

Predvidene verjetnosti klikov za delovna mesta kandidatov so razvrščene od visoke do nizke, kar ustvarja prilagojena priporočila za zaposlitev. S tem postopkom zagotavljamo, da je vsak delček informacije – ne glede na to, ali gre za uporabnikov namen iskanja, podrobnosti seznama delovnih mest ali pretekle interakcije – v celoti zajet s posebnim stolpom, ki je temu namenjen. Kompleksna razmerja med njimi so zajeta tudi s kombinacijo izhodov stolpov.

Feature inženiring

Izvajamo dva niza procesov inženiringa funkcij, da iz neobdelanih podatkov izvlečemo dragocene informacije in jih vnesemo v ustrezne stolpe v modelu: standardno inženirstvo funkcij in natančno nastavljene vdelave SBERT.

Standardni inženiring funkcij

Naš postopek priprave podatkov se začne s standardnim inženiringom funkcij. Na splošno definiramo štiri vrste funkcij:

• Priljubljenosti – Ocene priljubljenosti izračunamo na ravni posameznega delovnega mesta, ravni poklica in ravni podjetja. To zagotavlja meritev, kako privlačno bi lahko bilo določeno delo ali podjetje.
• Besedilna podobnost – Da bi razumeli kontekstualni odnos med različnimi besedilnimi elementi, izračunamo rezultate podobnosti, vključno s podobnostjo niza med iskalno poizvedbo in nazivom delovnega mesta. To nam pomaga oceniti ustreznost prostega delovnega mesta glede na iskalčevo iskanje ali zgodovino prijav.
• Medsebojno – Poleg tega ekstrahiramo funkcije interakcije iz preteklih interakcij uporabnikov s seznami delovnih mest. Glavni primer tega je vdelana podobnost med nazivi delovnih mest, ki so jih kliknili v preteklosti, in nazivi delovnih mest kandidatov. Ta ukrep nam pomaga razumeti podobnost med prejšnjimi zaposlitvami, za katere je uporabnik pokazal zanimanje, in prihajajočimi zaposlitvenimi priložnostmi. To poveča natančnost našega mehanizma za priporočila o zaposlitvi.
• profil – Nazadnje iz uporabniškega profila izvlečemo uporabniško določene informacije o zanimanju za zaposlitev in jih primerjamo z novimi kandidati za zaposlitev. To nam pomaga razumeti, ali se kandidat za zaposlitev ujema z zanimanjem uporabnika.

Ključni korak pri naši pripravi podatkov je uporaba predhodno usposobljenega modela NER. Z implementacijo modela NER lahko identificiramo in označimo poimenovane entitete v nazivih delovnih mest in iskalnih poizvedbah. Posledično nam to omogoča, da izračunamo rezultate podobnosti med temi identificiranimi entitetami, kar zagotavlja bolj osredotočeno in kontekstno ozaveščeno merilo sorodnosti. Ta metodologija zmanjšuje šum v naših podatkih in nam daje bolj niansirano, kontekstno občutljivo metodo primerjave delovnih mest.

Natančno nastavljene vgradnje SBERT

Da bi povečali ustreznost in natančnost našega sistema za priporočila za zaposlitev, uporabljamo moč SBERT, zmogljivega transformatorskega modela, ki je znan po svoji spretnosti pri zajemanju semantičnih pomenov in kontekstov iz besedila. Vendar pa generične vdelave, kot je SBERT, čeprav so učinkovite, morda ne zajamejo v celoti edinstvenih odtenkov in terminologije, ki je del določenega področja, kot je naše, ki se osredotoča na zaposlovanje in iskanje zaposlitve. Da bi to premagali, natančno prilagodimo vdelave SBERT z uporabo naših podatkov, specifičnih za domeno. Ta postopek natančnega prilagajanja optimizira model za boljše razumevanje in obdelavo panožno specifičnega jezika, žargona in konteksta, zaradi česar vdelave bolj odražajo našo specifično domeno. Kot rezultat, izpopolnjene vdelave ponujajo izboljšano zmogljivost pri zajemanju semantičnih in kontekstualnih informacij znotraj našega področja, kar vodi do natančnejših in smiselnejših priporočil za delovna mesta za naše uporabnike.

Naslednja slika prikazuje korak natančne nastavitve SBERT.

Vdelave SBERT natančno prilagodimo z uporabo TripletLoss z metriko kosinusne razdalje, ki se nauči vdelave besedila, kjer imata sidrna in pozitivna besedila večjo kosinusno podobnost kot sidrna in negativna besedila. Iskalne poizvedbe uporabnikov uporabljamo kot sidrna besedila. Nazive delovnih mest in imena delodajalcev združujemo kot vnose v pozitivna in negativna besedila. Pozitivna besedila so vzorčena iz objav delovnih mest, na katere je kliknil ustrezni uporabnik, medtem ko so negativna besedila vzorčena iz objav delovnih mest, na katere uporabnik ni kliknil. Sledi vzorčna izvedba postopka natančnega prilagajanja:

import math
from datetime import datetime from torch.utils.data import DataLoader
from sentence_transformers import (SentenceTransformer, SentencesDataset, LoggingHandler, losses)
from sentence_transformers.readers import InputExample model_name = 'all-mpnet-base-v2'
train_batch_size = 16
num_epochs = 1
model_save_path = (f'output/{model_name}_'+ datetime.now().strftime("%Y-%m-%d_%H-%M-%S")) ### load pre-trained SBERT model
model = SentenceTransformer(model_name, device="cuda") ### construct training dataset of triplet texts,
### stored in three lists (achors, positives, negatives)
train_examples =[]
for anchor, positive, negative in zip(achors, positives, negatives): train_examples.append(InputExample(texts=(anchor, positive, negative))) train_dataset = SentencesDataset(train_examples, model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=train_batch_size) ### use TripletLoss with cosine distance metric and margin=0.5
distance_metric=losses.TripletDistanceMetric.COSINE
train_loss = losses.TripletLoss(model=model, distance_metric=distance_metric, triplet_margin=0.5) ### 10% of train data for warm-up
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) # Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path=model_save_path)

Usposabljanje modelov s SageMaker Distributed Data Parallel

Uporabljamo SageMaker Distributed Data Parallel (SMDDP), funkcijo platforme SageMaker ML, ki je zgrajena na vrhu PyTorch DDP. Zagotavlja optimizirano okolje za izvajanje izobraževalnih opravil PyTorch DDP na platformi SageMaker. Zasnovan je tako, da bistveno pospeši usposabljanje modelov globokega učenja. To doseže tako, da velik nabor podatkov razdeli na manjše dele in jih razdeli na več grafičnih procesorjev. Model se ponovi na vsaki grafični procesorji. Vsak GPE neodvisno obdeluje svoje dodeljene podatke, rezultati pa so razvrščeni in sinhronizirani v vseh GPE. DDP skrbi za gradientno komunikacijo, da ohrani sinhronizacijo replik modelov in jih prekriva z gradientnimi izračuni, da pospeši usposabljanje. SMDDP uporablja optimiziran algoritem AllReduce za zmanjšanje komunikacije med grafičnimi procesorji, kar skrajša čas sinhronizacije in izboljša splošno hitrost usposabljanja. Algoritem se prilagaja različnim omrežnim pogojem, zaradi česar je zelo učinkovit tako za lokalna okolja kot za okolja v oblaku. V arhitekturi SMDDP (kot je prikazano na naslednji sliki) se porazdeljeno usposabljanje spreminja tudi z uporabo gruče številnih vozlišč. To ne pomeni samo več grafičnih procesorjev v računalniški instanci, temveč veliko primerkov z več grafičnimi procesorji, kar dodatno pospeši usposabljanje.

Za več informacij o tej arhitekturi glejte Uvod v vzporedno knjižnico porazdeljenih podatkov SageMaker.

S SMDDP nam je uspelo znatno skrajšati čas usposabljanja za naš model TTDP, tako da je osemkrat hitrejši. Hitrejši čas usposabljanja pomeni, da lahko hitreje ponovimo in izboljšamo svoje modele, kar vodi do boljših priporočil za delo za naše uporabnike v krajšem času. To povečanje učinkovitosti je ključnega pomena za ohranjanje konkurenčnosti našega mehanizma za priporočila za zaposlitev na hitro razvijajočem se trgu dela.

Svoj skript za usposabljanje lahko prilagodite s SMDDP s samo tremi vrsticami kode, kot je prikazano v naslednjem bloku kode. Na primeru PyTorcha je edina stvar, ki jo morate storiti, uvoz odjemalca PyTorch knjižnice SMDDP (smdistributed.dataparallel.torch.torch_smddp). Stranka se registrira smddp kot zaledje za PyTorch.

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist dist.init_process_group(backend='smddp')

Ko imate delujoč skript PyTorch, ki je prilagojen za uporabo porazdeljene podatkovne vzporedne knjižnice, lahko zaženite porazdeljeno usposabljanje z uporabo SDK-ja SageMaker Python.

Ocenjevanje delovanja modela

Pri ocenjevanju uspešnosti priporočilnega sistema je ključnega pomena, da izberete meritve, ki so tesno povezane s poslovnimi cilji in zagotavljajo jasno razumevanje učinkovitosti modela. V našem primeru uporabljamo AUC, da ocenimo uspešnost napovedovanja klika opravil našega modela TTDP, in mAP@K, da ocenimo kakovost končnega rangiranega seznama opravil.

AUC se nanaša na območje pod krivuljo delovanja sprejemnika (ROC). Predstavlja verjetnost, da bo naključno izbrani pozitivni primer uvrščen višje od naključno izbranega negativnega primera. Razpon je od 0–1, kjer 1 označuje idealen klasifikator, 0.5 pa naključno ugibanje. mAP@K je metrika, ki se običajno uporablja za ocenjevanje kakovosti sistemov za iskanje informacij, kot je naš mehanizem za priporočanje delovnih mest. Meri povprečno natančnost pridobivanja prvih K ustreznih elementov za določeno poizvedbo ali uporabnika. Razpon je od 0–1, pri čemer 1 označuje optimalno razvrstitev, 0 pa najmanjšo možno natančnost pri dani vrednosti K. Ocenjujemo AUC, mAP@1 in mAP@3. Skupaj nam te metrike omogočajo, da ocenimo sposobnost modela za razlikovanje med pozitivnimi in negativnimi razredi (AUC) in njegov uspeh pri razvrščanju najpomembnejših postavk na vrh (mAP@K).

Na podlagi naše ocene brez povezave je model TTDP presegel osnovni model – obstoječi proizvodni model, ki temelji na XGBoost – za 16.65 % za AUC, 20 % za mAP@1 in 11.82 % za mAP@3.

Poleg tega smo oblikovali spletni A/B test za ovrednotenje predlaganega sistema in 6 tednov izvajali test na odstotku prebivalstva elektronske pošte v ZDA. Skupaj je bilo približno 22 milijonov e-poštnih sporočil poslanih z uporabo delovnega mesta, ki ga priporoča novi sistem. Posledično povečanje števila klikov v primerjavi s prejšnjim proizvodnim modelom je bilo 8.6 %. Talent.com postopoma povečuje odstotek za uvedbo novega sistema za celotno populacijo in kanale.

zaključek

Ustvarjanje sistema priporočil za zaposlitev je kompleksen podvig. Vsak iskalec zaposlitve ima edinstvene potrebe, preference in poklicne izkušnje, ki jih ni mogoče razbrati iz kratke iskalne poizvedbe. V tej objavi je Talent.com sodeloval z AWS pri razvoju celovite rešitve za priporočanje delovnih mest, ki temelji na globokem učenju in razvršča sezname delovnih mest, ki jih priporoča uporabnikom. Ekipa Talent.com je resnično uživala v sodelovanju z ekipo AWS v celotnem procesu reševanja te težave. To pomeni pomemben mejnik na transformativnem potovanju Talent.com, saj ekipa izkorišča moč poglobljenega učenja za krepitev svojega poslovanja.

Ta projekt je bil natančno nastavljen z uporabo SBERT za ustvarjanje vdelav besedila. V času pisanja je AWS predstavil Amazon Titan Embeddings kot del njihovih temeljnih modelov (FM), ki jih ponujajo prek Amazon Bedrock, ki je popolnoma upravljana storitev, ki ponuja izbor visoko zmogljivih temeljnih modelov vodilnih podjetij z umetno inteligenco. Bralce spodbujamo, da raziščejo tehnike strojnega učenja, predstavljene v tej objavi v spletnem dnevniku, in izkoristijo zmožnosti, ki jih ponuja AWS, kot je SMDDP, hkrati pa uporabijo temeljne modele AWS Bedrock za ustvarjanje lastnih funkcij iskanja.

Reference

O avtorjih

Yi Xiang je uporabna znanstvenica II v laboratoriju Amazon Machine Learning Solutions Lab, kjer pomaga strankam AWS v različnih panogah pri pospeševanju umetne inteligence in sprejemanja oblaka.

Tong Wang je višji aplikativni znanstvenik v laboratoriju Amazon Machine Learning Solutions Lab, kjer strankam AWS v različnih panogah pomaga pospešiti uvajanje umetne inteligence in oblaka.

Dmitrij Bespalov je višji aplikativni znanstvenik v laboratoriju Amazon Machine Learning Solutions Lab, kjer strankam AWS v različnih panogah pomaga pospešiti uvajanje umetne inteligence in oblaka.

Anatolij Homenko je višji inženir strojnega učenja na Talent.com s strastjo do obdelave naravnega jezika, ki povezuje dobre ljudi z dobrimi službami.

Abdenour Bezzouh je izvršni direktor z več kot 25-letnimi izkušnjami pri gradnji in zagotavljanju tehnoloških rešitev, ki so prilagojene milijonom strank. Abdenour je opravljal funkcijo glavnega tehnološkega direktorja (CTO) pri Talent.com ko je ekipa AWS oblikovala in izvedla to posebno rešitev za Talent.com.

Dale Jacques je višji strateg za AI v Generative AI Innovation Center, kjer strankam AWS pomaga prevesti poslovne težave v rešitve AI.

Yanjun Qi je višji vodja uporabnih znanosti v Amazon Machine Learning Solution Lab. Uvaja inovacije in uporablja strojno učenje, da bi strankam AWS pomagala pospešiti njihovo umetno inteligenco in uporabo v oblaku.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/from-text-to-dream-job-building-an-nlp-based-job-recommender-at-talent-com-with-amazon-sagemaker/