Od SMS-a do wymarzonej pracy: tworzenie rekomendacji pracy w oparciu o NLP w Talent.com za pomocą Amazon SageMaker | Usługi internetowe Amazona

Współautorami tego postu są Anatolij Chomenko, inżynier uczenia maszynowego, i Abdenour Bezzouh, dyrektor ds. technologii w Talent.com.

Założona w 2011, talent.com jest jednym z największych na świecie źródeł zatrudnienia. Firma łączy płatne oferty pracy od swoich klientów z publicznymi ofertami pracy w jedną platformę z możliwością wyszukiwania. Z ponad 30 milionami ofert pracy w ponad 75 krajach, Talent.com obsługuje oferty pracy w wielu językach, branżach i kanałach dystrybucji. W rezultacie powstała platforma, która łączy miliony osób poszukujących pracy z dostępnymi ofertami pracy.

Misją Talent.com jest centralizacja wszystkich ofert pracy dostępnych w Internecie, aby pomóc osobom poszukującym pracy znaleźć najlepszą kandydaturę, zapewniając jednocześnie najlepsze doświadczenie wyszukiwania. Koncentruje się na trafności, ponieważ kolejność polecanych ofert pracy jest niezwykle ważna, aby wyświetlić oferty pracy najbardziej odpowiadające zainteresowaniom użytkowników. Wydajność algorytmu dopasowującego Talent.com ma ogromne znaczenie dla sukcesu firmy i ma kluczowy wpływ na doświadczenie użytkowników. Trudno jest przewidzieć, które oferty pracy będą odpowiednie dla osoby poszukującej pracy, na podstawie ograniczonej ilości podanych informacji, zwykle obejmujących kilka słów kluczowych i lokalizację.

Biorąc pod uwagę tę misję, Talent.com i AWS połączyły siły, aby stworzyć silnik rekomendacji stanowisk pracy, wykorzystujący najnowocześniejsze techniki przetwarzania języka naturalnego (NLP) i techniki szkoleniowe w zakresie modelu głębokiego uczenia się z Amazon Sage Maker zapewnić niezrównane doświadczenie osobom poszukującym pracy. W tym poście przedstawiono nasze wspólne podejście do projektowania systemu rekomendacji stanowisk pracy, obejmujące inżynierię funkcji, projektowanie architektury modelu głębokiego uczenia, optymalizację hiperparametrów i ocenę modelu, która zapewnia niezawodność i skuteczność naszego rozwiązania zarówno dla osób poszukujących pracy, jak i pracodawców. System został opracowany przez zespół wyspecjalizowanych naukowców zajmujących się stosowanym uczeniem maszynowym (ML), inżynierów ML i ekspertów merytorycznych we współpracy pomiędzy AWS i Talent.com.

System rekomendacji spowodował wzrost współczynnika klikalności (CTR) w internetowych testach A/B o 8.6% w porównaniu z poprzednim rozwiązaniem opartym na XGBoost, pomagając milionom użytkowników Talent.com znaleźć lepszą pracę.

Przegląd rozwiązania

Przegląd systemu przedstawiono na poniższym rysunku. System przyjmuje zapytanie użytkownika jako dane wejściowe i generuje rankingową listę stanowisk pracy w kolejności trafności. Trafność oferty pracy mierzy się prawdopodobieństwem kliknięcia (prawdopodobieństwo, że osoba poszukująca pracy kliknie ofertę pracy, aby uzyskać więcej informacji).

System składa się z czterech głównych komponentów:

• Architektura modelu – Trzon tego mechanizmu rekomendacji stanowisk pracy stanowi oparty na głębokim uczeniu model Triple Tower Pointwise, który obejmuje koder zapytań, który koduje zapytania wyszukiwania użytkowników, koder dokumentów, który koduje opisy stanowisk oraz koder interakcji, który przetwarza poprzednie zadanie użytkownika funkcje interakcji. Dane wyjściowe trzech wież są łączone i przepuszczane przez głowicę klasyfikacyjną w celu przewidzenia prawdopodobieństwa kliknięcia zadania. Trenując ten model na podstawie zapytań, specyfiki stanowiska i historycznych danych o interakcjach użytkowników z Talent.com, system ten zapewnia osobom poszukującym pracy spersonalizowane i bardzo trafne rekomendacje pracy.
• Inżynieria cech – Wykonujemy dwa zestawy inżynierii cech, aby wyodrębnić cenne informacje z danych wejściowych i wprowadzić je do odpowiednich wież w modelu. Obydwa zestawy to standardowa inżynieria funkcji i dopracowane osadzania Sentence-BERT (SBERT). Używamy standardowych funkcji inżynieryjnych jako danych wejściowych do kodera interakcji i wprowadzamy osadzenie pochodzące z SBERT do kodera zapytań i kodera dokumentu.
• Optymalizacja i tuning modelu – Wykorzystujemy zaawansowane metodologie szkoleniowe do szkolenia, testowania i wdrażania systemu za pomocą SageMaker. Obejmuje to szkolenie SageMaker Distributed Data Parallel (DDP), automatyczne dostrajanie modelu SageMaker (AMT), planowanie szybkości uczenia się i wczesne zatrzymywanie w celu poprawy wydajności modelu i szybkości uczenia. Korzystanie ze struktury szkoleniowej DDP pomogło przyspieszyć nasze szkolenie modelowe do około ośmiokrotnie.
• Ocena modelu – Prowadzimy ewaluację zarówno offline, jak i online. Oceniamy wydajność modelu za pomocą obszaru pod krzywą (AUC) i średniej średniej precyzji w K (mAP@K) w ocenie offline. Podczas internetowych testów A/B oceniamy poprawę CTR.

W poniższych sekcjach przedstawiamy szczegóły dotyczące tych czterech komponentów.

Projektowanie architektury modelu głębokiego uczenia się

Projektujemy model Triple Tower Deep Pointwise (TTDP) przy użyciu architektury głębokiego uczenia się z potrójną wieżą i podejścia do modelowania par punktowych. Architektura z trzema wieżami zapewnia trzy równoległe głębokie sieci neuronowe, przy czym każda wieża niezależnie przetwarza zestaw funkcji. Ten wzorzec projektowy pozwala modelowi uczyć się odrębnych reprezentacji z różnych źródeł informacji. Po uzyskaniu reprezentacji ze wszystkich trzech wież łączy się je i przepuszcza przez głowicę klasyfikacyjną w celu uzyskania ostatecznej prognozy (0–1) prawdopodobieństwa kliknięcia (układ modelowania punktowego).

Nazwy trzech wież opierają się na przetwarzanych informacjach: koder zapytań przetwarza zapytanie wyszukiwania użytkownika, koder dokumentów przetwarza zawartość dokumentacji stanowiska kandydata, w tym stanowisko i nazwę firmy, a koder interakcji wykorzystuje odpowiednie funkcje wyodrębnione z wcześniejszych interakcji użytkownika i historii (więcej o tym w następnej sekcji).

Każda z tych wież odgrywa kluczową rolę w uczeniu się, jak rekomendować oferty pracy:

• Koder zapytań – Koder zapytań pobiera osadzanie SBERT pochodzące z zapytania użytkownika dotyczącego poszukiwania pracy. Ulepszamy osadzanie poprzez dopracowany przez nas model SBERT. Ten koder przetwarza i rozumie zamiary użytkownika związane z poszukiwaniem pracy, w tym szczegóły i niuanse uchwycone przez osadzanie specyficzne dla domeny.
• Koder dokumentów – Koder dokumentów przetwarza informacje o każdym ogłoszeniu o pracę. W szczególności pobiera osadzony tekst SBERT z tytułu stanowiska i firmy. Intuicja jest taka, że ​​użytkownicy będą bardziej zainteresowani ofertami pracy, które są bardziej powiązane z wyszukiwanym hasłem. Mapując oferty pracy i zapytania do tej samej przestrzeni wektorowej (zdefiniowanej przez SBERT), model może nauczyć się przewidywać prawdopodobieństwo potencjalnych ofert pracy, które kliknie osoba poszukująca pracy.
• Koder interakcji – Koder interakcji zajmuje się przeszłymi interakcjami użytkownika z ofertami pracy. Funkcje są tworzone w ramach standardowego etapu inżynierii funkcji, który obejmuje obliczanie wskaźników popularności dla stanowisk pracy i firm, ustalanie ocen podobieństwa kontekstu i wyodrębnianie parametrów interakcji z poprzednich interakcji użytkowników. Przetwarza również nazwane jednostki zidentyfikowane w tytule stanowiska i zapytaniach wyszukiwania za pomocą wstępnie wytrenowanego modelu rozpoznawania nazwanych jednostek (NER).

Każda wieża generuje równolegle niezależny sygnał wyjściowy, który następnie łączy się ze sobą. Ten połączony wektor cech jest następnie przekazywany w celu przewidzenia prawdopodobieństwa kliknięcia oferty pracy w odpowiedzi na zapytanie użytkownika. Architektura z trzema wieżami zapewnia elastyczność w przechwytywaniu złożonych relacji między różnymi danymi wejściowymi lub funkcjami, umożliwiając modelowi wykorzystanie mocnych stron każdej wieży, jednocześnie ucząc się bardziej wyrazistych reprezentacji dla danego zadania.

Przewidywane prawdopodobieństwo kliknięcia kandydatów na stanowiska pracy jest sortowane od wysokiego do najniższego, co generuje spersonalizowane rekomendacje stanowisk. Dzięki temu procesowi zapewniamy, że każda informacja — niezależnie od tego, czy są to zamiary wyszukiwania użytkownika, szczegóły oferty pracy czy wcześniejsze interakcje — jest w pełni przechwytywana przez dedykowaną dla niej konkretną wieżę. Złożone relacje między nimi są również uchwycone poprzez kombinację wyjść wieży.

Inżynieria cech

Wykonujemy dwa zestawy procesów inżynierii cech, aby wyodrębnić cenne informacje z surowych danych i wprowadzić je do odpowiednich wież w modelu: standardowa inżynieria cech i precyzyjnie dostrojone osadzanie SBERT.

Standardowa inżynieria funkcji

Nasz proces przygotowania danych rozpoczyna się od standardowej inżynierii funkcji. Ogólnie rzecz biorąc, definiujemy cztery typy funkcji:

• Popularność – Obliczamy wyniki popularności na poziomie indywidualnego stanowiska, poziomu zawodu i poziomu firmy. Stanowi to miarę tego, jak atrakcyjna może być dana praca lub firma.
• Podobieństwo tekstowe – Aby zrozumieć kontekstowe relacje między różnymi elementami tekstowymi, obliczamy wyniki podobieństwa, w tym podobieństwo ciągów między wyszukiwanym hasłem a stanowiskiem. Pomaga nam to ocenić związek danej oferty pracy z historią poszukiwań lub aplikacji osoby poszukującej pracy.
• Wzajemne oddziaływanie – Ponadto wyodrębniamy funkcje interakcji z wcześniejszych interakcji użytkowników z ofertami pracy. Doskonałym tego przykładem jest osadzanie podobieństwa między klikniętymi w przeszłości stanowiskami pracy a stanowiskami kandydatów. Ta miara pomaga nam zrozumieć podobieństwo między poprzednimi ofertami pracy, którymi zainteresował się użytkownik, a nadchodzącymi ofertami pracy. Zwiększa to precyzję naszego silnika rekomendacji ofert pracy.
• Profil – Na koniec wyodrębniamy z profilu użytkownika informacje o zainteresowaniach zawodowych zdefiniowane przez użytkownika i porównujemy je z nowymi kandydatami do pracy. Pomaga nam to zrozumieć, czy kandydat do pracy odpowiada zainteresowaniom użytkownika.

Kluczowym krokiem w przygotowaniu danych jest zastosowanie wstępnie wytrenowanego modelu NER. Wdrażając model NER, możemy identyfikować i oznaczać nazwane podmioty w tytułach stanowisk i zapytaniach wyszukiwania. W rezultacie pozwala nam to obliczyć wyniki podobieństwa między tymi zidentyfikowanymi jednostkami, zapewniając bardziej ukierunkowaną i świadomą kontekstu miarę pokrewieństwa. Ta metodologia zmniejsza szum w naszych danych i zapewnia bardziej zniuansowaną, kontekstową metodę porównywania ofert pracy.

Dostrojone osadzania SBERT

Aby zwiększyć trafność i dokładność naszego systemu rekomendacji stanowisk pracy, korzystamy z mocy SBERT, potężnego modelu opartego na transformatorach, znanego ze swojej biegłości w przechwytywaniu znaczeń semantycznych i kontekstów z tekstu. Jednakże ogólne osadzania, takie jak SBERT, chociaż skuteczne, mogą nie w pełni uchwycić unikalne niuanse i terminologię właściwą dla konkretnej domeny, takiej jak nasza, która koncentruje się na zatrudnieniu i poszukiwaniu pracy. Aby temu zaradzić, dostrajamy osadzanie SBERT, korzystając z naszych danych specyficznych dla domeny. Ten proces dostrajania optymalizuje model, aby lepiej zrozumieć i przetworzyć specyficzny dla branży język, żargon i kontekst, dzięki czemu osadzanie lepiej odzwierciedla naszą konkretną domenę. W rezultacie ulepszone osadzanie zapewnia lepszą wydajność w przechwytywaniu zarówno informacji semantycznych, jak i kontekstowych w naszej sferze, co prowadzi do dokładniejszych i znaczących rekomendacji stanowisk dla naszych użytkowników.

Poniższy rysunek ilustruje etap dostrajania SBERT.

Dostrajamy osadzania SBERT za pomocą TripletLoss z metryką odległości cosinus, która uczy się osadzania tekstu, gdzie teksty zakotwiczone i pozytywne mają większe podobieństwo cosinus niż teksty zakotwiczone i negatywne. Wykorzystujemy zapytania wyszukiwane przez użytkowników jako teksty zakotwiczeń. Łączymy tytuły stanowisk i nazwy pracodawców jako dane wejściowe do tekstów pozytywnych i negatywnych. Próbki tekstów pozytywnych pochodzą z ofert pracy klikniętych przez odpowiedniego użytkownika, natomiast teksty negatywne z ofert pracy, których użytkownik nie kliknął. Poniżej przedstawiono przykładową implementację procedury dostrajania:

import math
from datetime import datetime from torch.utils.data import DataLoader
from sentence_transformers import (SentenceTransformer, SentencesDataset, LoggingHandler, losses)
from sentence_transformers.readers import InputExample model_name = 'all-mpnet-base-v2'
train_batch_size = 16
num_epochs = 1
model_save_path = (f'output/{model_name}_'+ datetime.now().strftime("%Y-%m-%d_%H-%M-%S")) ### load pre-trained SBERT model
model = SentenceTransformer(model_name, device="cuda") ### construct training dataset of triplet texts,
### stored in three lists (achors, positives, negatives)
train_examples =[]
for anchor, positive, negative in zip(achors, positives, negatives): train_examples.append(InputExample(texts=(anchor, positive, negative))) train_dataset = SentencesDataset(train_examples, model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=train_batch_size) ### use TripletLoss with cosine distance metric and margin=0.5
distance_metric=losses.TripletDistanceMetric.COSINE
train_loss = losses.TripletLoss(model=model, distance_metric=distance_metric, triplet_margin=0.5) ### 10% of train data for warm-up
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) # Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path=model_save_path)

Trenowanie modeli przy użyciu oprogramowania SageMaker Distributed Data Parallel

Korzystamy z SageMaker Distributed Data Parallel (SMDDP), funkcji platformy SageMaker ML zbudowanej na bazie PyTorch DDP. Zapewnia zoptymalizowane środowisko do uruchamiania zadań szkoleniowych PyTorch DDP na platformie SageMaker. Został zaprojektowany, aby znacznie przyspieszyć szkolenie modeli głębokiego uczenia się. Osiąga to poprzez podzielenie dużego zbioru danych na mniejsze części i dystrybucję ich pomiędzy wieloma procesorami graficznymi. Model jest replikowany na każdym GPU. Każdy procesor graficzny przetwarza przypisane mu dane niezależnie, a wyniki są zestawiane i synchronizowane na wszystkich procesorach graficznych. DDP dba o komunikację gradientową, aby synchronizować repliki modeli i nakłada na nie obliczenia gradientowe, aby przyspieszyć szkolenie. SMDDP wykorzystuje zoptymalizowany algorytm AllReduce, aby zminimalizować komunikację między procesorami graficznymi, skracając czas synchronizacji i poprawiając ogólną prędkość uczenia. Algorytm dostosowuje się do różnych warunków sieciowych, dzięki czemu jest bardzo wydajny zarówno w środowiskach lokalnych, jak i opartych na chmurze. W architekturze SMDDP (jak pokazano na poniższym rysunku) uczenie rozproszone jest również skalowane przy użyciu klastra wielu węzłów. Oznacza to nie tylko wiele procesorów graficznych w instancji obliczeniowej, ale wiele instancji z wieloma procesorami graficznymi, co dodatkowo przyspiesza szkolenie.

Aby uzyskać więcej informacji na temat tej architektury, zobacz Wprowadzenie do równoległej biblioteki danych rozproszonych SageMaker.

Dzięki SMDDP udało nam się znacznie skrócić czas uczenia naszego modelu TTDP, czyniąc go ośmiokrotnie szybszym. Krótszy czas szkolenia oznacza, że ​​możemy szybciej iterować i ulepszać nasze modele, co prowadzi do lepszych rekomendacji stanowisk pracy dla naszych użytkowników w krótszym czasie. Ten wzrost wydajności ma zasadnicze znaczenie dla utrzymania konkurencyjności naszego mechanizmu rekomendacji pracy na szybko rozwijającym się rynku pracy.

Możesz dostosować swój skrypt szkoleniowy do SMDDP za pomocą tylko trzech linii kodu, jak pokazano w poniższym bloku kodu. Używając PyTorch jako przykładu, jedyne, co musisz zrobić, to zaimportować klienta PyTorch biblioteki SMDDP (smdistributed.dataparallel.torch.torch_smddp). Klient rejestruje się smddp jako backend dla PyTorch.

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist dist.init_process_group(backend='smddp')

Jeśli masz działający skrypt PyTorch, który jest przystosowany do korzystania z biblioteki równoległej danych rozproszonych, możesz to zrobić uruchom rozproszone zadanie szkoleniowe przy użyciu pakietu SageMaker Python SDK.

Ocena wydajności modelu

Oceniając skuteczność systemu rekomendacji, ważne jest, aby wybrać wskaźniki, które ściśle pokrywają się z celami biznesowymi i zapewniają jasne zrozumienie skuteczności modelu. W naszym przypadku używamy AUC do oceny skuteczności przewidywania kliknięć ofert pracy w naszym modelu TTDP oraz mAP@K do oceny jakości ostatecznej listy ofert pracy.

AUC odnosi się do obszaru pod krzywą charakterystyki operacyjnej odbiornika (ROC). Reprezentuje prawdopodobieństwo, że losowo wybrany przykład pozytywny zostanie oceniony wyżej niż losowo wybrany przykład negatywny. Waha się od 0 do 1, gdzie 1 oznacza idealny klasyfikator, a 0.5 oznacza losowe przypuszczenie. mAP@K to wskaźnik powszechnie używany do oceny jakości systemów wyszukiwania informacji, takich jak nasz silnik rekomendacji ofert pracy. Mierzy średnią precyzję pobierania K najważniejszych elementów dla danego zapytania lub użytkownika. Waha się od 0 do 1, gdzie 1 oznacza ranking optymalny, a 0 oznacza najniższą możliwą precyzję przy danej wartości K. Oceniamy AUC, mAP@1 i mAP@3. Łącznie te metryki pozwalają nam ocenić zdolność modelu do rozróżnienia klas pozytywnych i negatywnych (AUC) oraz jego skuteczność w rankingu najbardziej odpowiednich elementów na górze (mAP@K).

Na podstawie naszej oceny offline wynika, że ​​model TTDP był lepszy od modelu bazowego – istniejącego modelu produkcyjnego opartego na XGBoost – o 16.65% dla AUC, 20% dla mAP@1 i 11.82% dla mAP@3.

Co więcej, zaprojektowaliśmy internetowy test A/B, aby ocenić proponowany system i przeprowadzaliśmy test na odsetku populacji poczty e-mail w USA przez 6 tygodni. Łącznie wysłano około 22 miliony e-maili korzystając z zadania rekomendowanego przez nowy system. Wynikowy wzrost liczby kliknięć w porównaniu z poprzednim modelem produkcyjnym wyniósł 8.6%. Talent.com stopniowo zwiększa odsetek wdrożenia nowego systemu w całej populacji i kanałach.

Wnioski

Stworzenie systemu rekomendacji pracy to złożone przedsięwzięcie. Każda osoba poszukująca pracy ma unikalne potrzeby, preferencje i doświadczenia zawodowe, których nie można wywnioskować z krótkiego zapytania. W tym poście firma Talent.com współpracowała z AWS w celu opracowania kompleksowego rozwiązania do rekomendowania ofert pracy, opartego na głębokim uczeniu się, które tworzy rankingi list ofert pracy do rekomendowania użytkownikom. Zespołowi Talent.com naprawdę podobała się współpraca z zespołem AWS podczas całego procesu rozwiązywania tego problemu. Stanowi to kamień milowy w transformacji Talent.com, ponieważ zespół wykorzystuje moc głębokiego uczenia się, aby wzmocnić swój biznes.

Ten projekt został udoskonalony przy użyciu narzędzia SBERT do generowania osadzania tekstu. W momencie pisania tego tekstu AWS wprowadziło Osadzania Amazon Titan jako część ich podstawowych modeli (FM) oferowanych przez Amazońska skała macierzysta, która jest w pełni zarządzaną usługą zapewniającą wybór wydajnych modeli podstawowych wiodących firm zajmujących się sztuczną inteligencją. Zachęcamy czytelników do zapoznania się z technikami uczenia maszynowego przedstawionymi w tym poście na blogu i wykorzystania możliwości udostępnianych przez AWS, takich jak SMDDP, podczas korzystania z podstawowych modeli AWS Bedrock do tworzenia własnych funkcji wyszukiwania.

Referencje

O autorach

Yi Xiang jest naukowcem stosowanym II w laboratorium Amazon Machine Learning Solutions Lab, gdzie pomaga klientom AWS z różnych branż przyspieszyć wdrażanie sztucznej inteligencji i chmury.

Tong Wang jest Senior Applied Scientist w Amazon Machine Learning Solutions Lab, gdzie pomaga klientom AWS z różnych branż przyspieszyć wdrażanie sztucznej inteligencji i chmury.

Dmitrij Bespałow jest Senior Applied Scientist w Amazon Machine Learning Solutions Lab, gdzie pomaga klientom AWS z różnych branż przyspieszyć wdrażanie sztucznej inteligencji i chmury.

Anatolij Chomenko jest starszym inżynierem uczenia maszynowego w Talent.com z pasją do przetwarzania języka naturalnego dopasowującego dobrych ludzi do dobrych stanowisk pracy.

Abdenoura Bezzouha jest dyrektorem z ponad 25-letnim doświadczeniem w tworzeniu i dostarczaniu rozwiązań technologicznych, które można skalować do milionów klientów. Abdenour zajmował stanowisko dyrektora ds. technologii (CTO) w firmie talent.com kiedy zespół AWS zaprojektował i wykonał to konkretne rozwiązanie talent.com.

Dale’a Jacques’a jest starszym strategiem AI w Centrum Innowacji Generative AI, gdzie pomaga klientom AWS przekładać problemy biznesowe na rozwiązania AI.

Yanjun Qi jest starszym kierownikiem ds. nauk stosowanych w Amazon Machine Learning Solution Lab. Wprowadza innowacje i stosuje uczenie maszynowe, aby pomóc klientom AWS przyspieszyć wdrażanie sztucznej inteligencji i chmury.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/from-text-to-dream-job-building-an-nlp-based-job-recommender-at-talent-com-with-amazon-sagemaker/