Dari teks ke pekerjaan impian: Membangun pemberi rekomendasi pekerjaan berbasis NLP di Talent.com dengan Amazon SageMaker | Layanan Web Amazon

Postingan ini ditulis bersama oleh Anatoly Khomenko, Machine Learning Engineer, dan Abdenour Bezzouh, Chief Technology Officer di Talent.com.

Didirikan pada 2011, Bakat.com merupakan salah satu sumber lapangan kerja terbesar di dunia. Perusahaan ini menggabungkan daftar pekerjaan berbayar dari klien mereka dengan daftar pekerjaan publik ke dalam satu platform yang dapat dicari. Dengan lebih dari 30 juta pekerjaan terdaftar di lebih dari 75 negara, Talent.com melayani pekerjaan dalam berbagai bahasa, industri, dan saluran distribusi. Hasilnya adalah sebuah platform yang mencocokkan jutaan pencari kerja dengan pekerjaan yang tersedia.

Misi Talent.com adalah memusatkan semua pekerjaan yang tersedia di web untuk membantu pencari kerja menemukan pasangan terbaik mereka sekaligus memberikan mereka pengalaman pencarian terbaik. Fokusnya adalah pada relevansi, karena urutan pekerjaan yang direkomendasikan sangat penting untuk menunjukkan pekerjaan yang paling relevan dengan minat pengguna. Kinerja algoritma pencocokan Talent.com sangat penting bagi keberhasilan bisnis dan merupakan kontributor utama bagi pengalaman penggunanya. Sulit untuk memprediksi pekerjaan mana yang relevan bagi pencari kerja berdasarkan terbatasnya jumlah informasi yang diberikan, biasanya hanya berisi beberapa kata kunci dan lokasi.

Mengingat misi ini, Talent.com dan AWS bekerja sama untuk menciptakan mesin rekomendasi pekerjaan menggunakan pemrosesan bahasa alami (NLP) yang canggih dan teknik pelatihan model pembelajaran mendalam dengan Amazon SageMaker untuk memberikan pengalaman yang tak tertandingi bagi pencari kerja. Postingan ini menunjukkan pendekatan bersama kami dalam merancang sistem rekomendasi pekerjaan, termasuk rekayasa fitur, desain arsitektur model pembelajaran mendalam, pengoptimalan hyperparameter, dan evaluasi model yang memastikan keandalan dan efektivitas solusi kami bagi pencari kerja dan pemberi kerja. Sistem ini dikembangkan oleh tim ilmuwan pembelajaran mesin terapan (ML) yang berdedikasi, insinyur ML, dan pakar materi dalam kolaborasi antara AWS dan Talent.com.

Sistem rekomendasi telah mendorong peningkatan rasio klik-tayang (RKT) sebesar 8.6% dalam pengujian A/B online dibandingkan solusi berbasis XGBoost sebelumnya, membantu menghubungkan jutaan pengguna Talent.com ke pekerjaan yang lebih baik.

Ikhtisar solusi

Gambaran umum sistem diilustrasikan pada gambar berikut. Sistem mengambil permintaan pencarian pengguna sebagai masukan dan mengeluarkan daftar peringkat pekerjaan berdasarkan relevansinya. Kesesuaian pekerjaan diukur dengan probabilitas klik (probabilitas pencari kerja mengklik pekerjaan untuk informasi lebih lanjut).

Sistem ini mencakup empat komponen utama:

• Arsitektur model – Inti dari mesin rekomendasi pekerjaan ini adalah model Triple Tower Pointwise berbasis pembelajaran mendalam, yang mencakup encoder kueri yang mengkodekan kueri penelusuran pengguna, encoder dokumen yang mengkodekan deskripsi pekerjaan, dan encoder interaksi yang memproses pekerjaan pengguna sebelumnya fitur interaksi. Output dari ketiga menara digabungkan dan melewati kepala klasifikasi untuk memprediksi probabilitas klik pekerjaan. Dengan melatih model ini berdasarkan kueri penelusuran, spesifikasi pekerjaan, dan data interaksi pengguna historis dari Talent.com, sistem ini memberikan rekomendasi pekerjaan yang dipersonalisasi dan sangat relevan bagi pencari kerja.
• Rekayasa fitur – Kami melakukan dua rangkaian rekayasa fitur untuk mengekstrak informasi berharga dari data masukan dan memasukkannya ke menara terkait dalam model. Kedua set tersebut merupakan rekayasa fitur standar dan penyematan Sentence-BERT (SBERT) yang telah disempurnakan. Kami menggunakan fitur rekayasa standar sebagai masukan ke dalam pembuat enkode interaksi dan memasukkan penyematan turunan SBERT ke dalam pembuat enkode kueri dan pembuat enkode dokumen.
• Pengoptimalan dan penyetelan model – Kami menggunakan metodologi pelatihan tingkat lanjut untuk melatih, menguji, dan menerapkan sistem dengan SageMaker. Hal ini mencakup pelatihan SageMaker Distributed Data Parallel (DDP), SageMaker Automatic Model Tuning (AMT), penjadwalan kecepatan pembelajaran, dan penghentian awal untuk meningkatkan performa model dan kecepatan pelatihan. Penggunaan kerangka pelatihan DDP membantu mempercepat pelatihan model kami hingga sekitar delapan kali lebih cepat.
• Evaluasi model – Kami melakukan evaluasi offline dan online. Kami mengevaluasi kinerja model dengan Area Under the Curve (AUC) dan Mean Average Precision di K (mAP@K) dalam evaluasi offline. Selama pengujian A/B online, kami mengevaluasi peningkatan RKT.

Pada bagian berikut, kami menyajikan rincian keempat komponen tersebut.

Desain arsitektur model pembelajaran mendalam

Kami merancang model Triple Tower Deep Pointwise (TTDP) menggunakan arsitektur pembelajaran mendalam tiga menara dan pendekatan pemodelan pointwise pair. Arsitektur tiga menara menyediakan tiga jaringan saraf dalam paralel, dengan masing-masing menara memproses serangkaian fitur secara independen. Pola desain ini memungkinkan model mempelajari representasi berbeda dari berbagai sumber informasi. Setelah representasi dari ketiga menara diperoleh, ketiga menara tersebut digabungkan dan melewati kepala klasifikasi untuk membuat prediksi akhir (0–1) pada probabilitas klik (penyiapan pemodelan titik).

Ketiga menara diberi nama berdasarkan informasi yang mereka proses: encoder kueri memproses kueri penelusuran pengguna, encoder dokumen memproses konten dokumentasi kandidat pekerjaan termasuk jabatan dan nama perusahaan, dan encoder interaksi menggunakan fitur relevan yang diambil dari interaksi pengguna sebelumnya dan sejarah (dibahas lebih lanjut di bagian selanjutnya).

Masing-masing menara ini memainkan peran penting dalam mempelajari cara merekomendasikan pekerjaan:

• Pembuat enkode kueri – Encoder kueri mengambil penyematan SBERT yang berasal dari kueri pencarian kerja pengguna. Kami menyempurnakan penyematan melalui model SBERT yang kami sempurnakan. Encoder ini memproses dan memahami maksud pencarian kerja pengguna, termasuk detail dan nuansa yang ditangkap oleh penyematan khusus domain kami.
• Pembuat enkode dokumen – Pembuat enkode dokumen memproses informasi setiap daftar pekerjaan. Secara khusus, dibutuhkan penyematan SBERT dari teks gabungan dari jabatan dan perusahaan. Intuisinya adalah pengguna akan lebih tertarik pada kandidat pekerjaan yang lebih relevan dengan permintaan pencarian. Dengan memetakan pekerjaan dan kueri penelusuran ke ruang vektor yang sama (didefinisikan oleh SBERT), model dapat belajar memprediksi kemungkinan pekerjaan potensial yang akan diklik oleh pencari kerja.
• Pembuat enkode interaksi – Encoder interaksi berhubungan dengan interaksi pengguna sebelumnya dengan daftar pekerjaan. Fitur-fitur tersebut dihasilkan melalui langkah rekayasa fitur standar, yang mencakup penghitungan metrik popularitas untuk peran pekerjaan dan perusahaan, menetapkan skor kesamaan konteks, dan mengekstraksi parameter interaksi dari interaksi pengguna sebelumnya. Ini juga memproses entitas bernama yang diidentifikasi dalam jabatan dan kueri penelusuran dengan model pengenalan entitas bernama (NER) yang telah dilatih sebelumnya.

Setiap menara menghasilkan keluaran independen secara paralel, yang semuanya kemudian digabungkan menjadi satu. Vektor fitur gabungan ini kemudian diteruskan untuk memprediksi probabilitas klik dari daftar pekerjaan untuk kueri pengguna. Arsitektur tiga menara memberikan fleksibilitas dalam menangkap hubungan kompleks antara berbagai masukan atau fitur, memungkinkan model memanfaatkan kekuatan setiap menara sambil mempelajari representasi yang lebih ekspresif untuk tugas yang diberikan.

Probabilitas klik kandidat pekerjaan yang diprediksi diberi peringkat dari tinggi ke rendah, sehingga menghasilkan rekomendasi pekerjaan yang dipersonalisasi. Melalui proses ini, kami memastikan bahwa setiap informasi—baik itu maksud pencarian pengguna, detail lowongan pekerjaan, atau interaksi sebelumnya—sepenuhnya ditangkap oleh menara khusus yang didedikasikan untuk informasi tersebut. Hubungan kompleks di antara keduanya juga terlihat melalui kombinasi keluaran menara.

Rekayasa fitur

Kami melakukan dua rangkaian proses rekayasa fitur untuk mengekstrak informasi berharga dari data mentah dan memasukkannya ke dalam menara yang sesuai dalam model: rekayasa fitur standar dan penyematan SBERT yang disempurnakan.

Rekayasa fitur standar

Proses persiapan data kami dimulai dengan rekayasa fitur standar. Secara keseluruhan, kami mendefinisikan empat jenis fitur:

• Paling Populer – Kami menghitung skor popularitas pada tingkat pekerjaan individu, tingkat pekerjaan, dan tingkat perusahaan. Ini memberikan ukuran seberapa menarik suatu pekerjaan atau perusahaan tertentu.
• Kesamaan tekstual – Untuk memahami hubungan kontekstual antara elemen tekstual yang berbeda, kami menghitung skor kesamaan, termasuk kesamaan string antara kueri penelusuran dan jabatan. Hal ini membantu kami mengukur relevansi lowongan pekerjaan dengan riwayat pencarian atau lamaran pencari kerja.
• Interaksi – Selain itu, kami mengekstrak fitur interaksi dari keterlibatan pengguna sebelumnya dengan daftar pekerjaan. Contoh utama dari hal ini adalah penyematan kesamaan antara jabatan pekerjaan yang diklik sebelumnya dan jabatan kandidat. Ukuran ini membantu kami memahami kesamaan antara pekerjaan sebelumnya yang diminati pengguna vs. peluang kerja mendatang. Hal ini meningkatkan ketepatan mesin rekomendasi pekerjaan kami.
• Profil – Terakhir, kami mengekstrak informasi minat pekerjaan yang ditentukan pengguna dari profil pengguna dan membandingkannya dengan kandidat pekerjaan baru. Hal ini membantu kami memahami apakah kandidat pekerjaan sesuai dengan minat pengguna.

Langkah penting dalam persiapan data kami adalah penerapan model NER yang telah dilatih sebelumnya. Dengan menerapkan model NER, kita dapat mengidentifikasi dan memberi label pada entitas bernama dalam jabatan dan kueri penelusuran. Akibatnya, hal ini memungkinkan kami menghitung skor kesamaan antara entitas yang teridentifikasi, sehingga memberikan ukuran keterhubungan yang lebih terfokus dan sadar konteks. Metodologi ini mengurangi gangguan dalam data kami dan memberi kami metode yang lebih bernuansa dan peka konteks dalam membandingkan pekerjaan.

Penyematan SBERT yang disempurnakan

Untuk meningkatkan relevansi dan akurasi sistem rekomendasi pekerjaan kami, kami menggunakan kekuatan SBERT, model berbasis transformator yang kuat, yang dikenal karena kemahirannya dalam menangkap makna semantik dan konteks dari teks. Namun, penyematan umum seperti SBERT, meskipun efektif, mungkin tidak sepenuhnya menangkap nuansa dan terminologi unik yang melekat dalam domain tertentu seperti milik kami, yang berpusat pada pekerjaan dan pencarian kerja. Untuk mengatasinya, kami menyempurnakan penyematan SBERT menggunakan data khusus domain kami. Proses penyempurnaan ini mengoptimalkan model untuk lebih memahami dan memproses bahasa, jargon, dan konteks spesifik industri, sehingga menjadikan penyematan lebih mencerminkan domain spesifik kami. Hasilnya, penyematan yang disempurnakan menawarkan peningkatan kinerja dalam menangkap informasi semantik dan kontekstual dalam lingkup kami, sehingga menghasilkan rekomendasi pekerjaan yang lebih akurat dan bermakna bagi pengguna kami.

Gambar berikut mengilustrasikan langkah penyesuaian SBERT.

Kami menyempurnakan penyematan SBERT menggunakan Kerugian Triplet dengan metrik jarak kosinus yang mempelajari penyematan teks di mana teks jangkar dan positif memiliki kesamaan kosinus yang lebih tinggi daripada teks jangkar dan negatif. Kami menggunakan permintaan pencarian pengguna sebagai teks jangkar. Kami menggabungkan jabatan dan nama perusahaan sebagai masukan pada teks positif dan negatif. Teks positif diambil sampelnya dari postingan lowongan yang diklik oleh pengguna terkait, sedangkan teks negatif diambil sampel dari postingan lowongan yang tidak diklik oleh pengguna. Berikut contoh penerapan prosedur fine-tuning:

import math
from datetime import datetime from torch.utils.data import DataLoader
from sentence_transformers import (SentenceTransformer, SentencesDataset, LoggingHandler, losses)
from sentence_transformers.readers import InputExample model_name = 'all-mpnet-base-v2'
train_batch_size = 16
num_epochs = 1
model_save_path = (f'output/{model_name}_'+ datetime.now().strftime("%Y-%m-%d_%H-%M-%S")) ### load pre-trained SBERT model
model = SentenceTransformer(model_name, device="cuda") ### construct training dataset of triplet texts,
### stored in three lists (achors, positives, negatives)
train_examples =[]
for anchor, positive, negative in zip(achors, positives, negatives): train_examples.append(InputExample(texts=(anchor, positive, negative))) train_dataset = SentencesDataset(train_examples, model)
train_dataloader = DataLoader(train_dataset, shuffle=True, batch_size=train_batch_size) ### use TripletLoss with cosine distance metric and margin=0.5
distance_metric=losses.TripletDistanceMetric.COSINE
train_loss = losses.TripletLoss(model=model, distance_metric=distance_metric, triplet_margin=0.5) ### 10% of train data for warm-up
warmup_steps = math.ceil(len(train_dataloader) * num_epochs * 0.1) # Train the model
model.fit(train_objectives=[(train_dataloader, train_loss)], epochs=num_epochs, warmup_steps=warmup_steps, output_path=model_save_path)

Pelatihan model dengan Data Terdistribusi SageMaker Paralel

Kami menggunakan SageMaker Distributed Data Parallel (SMDDP), sebuah fitur platform SageMaker ML yang dibangun di atas PyTorch DDP. Ini menyediakan lingkungan yang dioptimalkan untuk menjalankan pekerjaan pelatihan PyTorch DDP di platform SageMaker. Ini dirancang untuk mempercepat pelatihan model pembelajaran mendalam secara signifikan. Hal ini dilakukan dengan membagi kumpulan data besar menjadi bagian-bagian yang lebih kecil dan mendistribusikannya ke beberapa GPU. Model ini direplikasi di setiap GPU. Setiap GPU memproses data yang ditugaskan secara independen, dan hasilnya disusun dan disinkronkan di semua GPU. DDP menangani komunikasi gradien untuk menjaga replika model tetap tersinkronisasi dan tumpang tindih dengan komputasi gradien untuk mempercepat pelatihan. SMDDP menggunakan algoritme AllReduce yang dioptimalkan untuk meminimalkan komunikasi antar GPU, mengurangi waktu sinkronisasi, dan meningkatkan kecepatan pelatihan secara keseluruhan. Algoritme ini beradaptasi dengan berbagai kondisi jaringan, sehingga sangat efisien baik untuk lingkungan lokal maupun berbasis cloud. Dalam arsitektur SMDDP (seperti yang ditunjukkan pada gambar berikut), pelatihan terdistribusi juga diskalakan menggunakan cluster yang terdiri dari banyak node. Ini berarti tidak hanya beberapa GPU dalam satu instance komputasi, namun banyak instance dengan beberapa GPU, yang semakin mempercepat pelatihan.

Untuk informasi lebih lanjut tentang arsitektur ini, lihat Pengantar Perpustakaan Paralel Data Terdistribusi SageMaker.

Dengan SMDDP, kami dapat mengurangi waktu pelatihan model TTDP secara signifikan, menjadikannya delapan kali lebih cepat. Waktu pelatihan yang lebih cepat berarti kami dapat mengulangi dan menyempurnakan model kami dengan lebih cepat, sehingga menghasilkan rekomendasi pekerjaan yang lebih baik bagi pengguna kami dalam waktu yang lebih singkat. Peningkatan efisiensi ini sangat penting dalam menjaga daya saing mesin rekomendasi pekerjaan kami di pasar kerja yang berkembang pesat.

Anda dapat mengadaptasi skrip pelatihan Anda dengan SMDDP hanya dengan tiga baris kode, seperti yang ditunjukkan pada blok kode berikut. Menggunakan PyTorch sebagai contoh, satu-satunya hal yang perlu Anda lakukan adalah mengimpor klien PyTorch perpustakaan SMDDP (smdistributed.dataparallel.torch.torch_smddp). Klien mendaftar smddp sebagai backend untuk PyTorch.

import smdistributed.dataparallel.torch.torch_smddp
import torch.distributed as dist dist.init_process_group(backend='smddp')

Setelah Anda memiliki skrip PyTorch yang berfungsi dan disesuaikan untuk menggunakan pustaka paralel data terdistribusi, Anda bisa meluncurkan tugas pelatihan terdistribusi menggunakan SageMaker Python SDK.

Mengevaluasi kinerja model

Saat mengevaluasi kinerja sistem rekomendasi, penting untuk memilih metrik yang selaras dengan tujuan bisnis dan memberikan pemahaman yang jelas tentang efektivitas model. Dalam kasus kami, kami menggunakan AUC untuk mengevaluasi kinerja prediksi klik pekerjaan model TTDP dan mAP@K untuk menilai kualitas daftar pekerjaan peringkat akhir.

AUC mengacu pada area di bawah kurva karakteristik operasi penerima (ROC). Ini mewakili probabilitas bahwa contoh positif yang dipilih secara acak akan diberi peringkat lebih tinggi daripada contoh negatif yang dipilih secara acak. Rentangnya antara 0–1, dengan 1 menunjukkan pengklasifikasi ideal dan 0.5 mewakili tebakan acak. mAP@K adalah metrik yang biasa digunakan untuk menilai kualitas sistem pengambilan informasi, seperti mesin pemberi rekomendasi pekerjaan kami. Ini mengukur presisi rata-rata dalam mengambil K item teratas yang relevan untuk kueri atau pengguna tertentu. Rentangnya antara 0–1, dengan 1 menunjukkan peringkat optimal dan 0 menunjukkan presisi serendah mungkin pada nilai K yang diberikan. Kami mengevaluasi AUC, mAP@1, dan mAP@3. Secara kolektif, metrik ini memungkinkan kami mengukur kemampuan model dalam membedakan kelas positif dan negatif (AUC) dan keberhasilannya dalam memberi peringkat item paling relevan di posisi teratas (mAP@K).

Berdasarkan evaluasi offline kami, model TTDP mengungguli model dasar—model produksi berbasis XGBoost yang ada—sebesar 16.65% untuk AUC, 20% untuk mAP@1, dan 11.82% untuk mAP@3.

Selain itu, kami merancang pengujian A/B online untuk mengevaluasi sistem yang diusulkan dan menjalankan pengujian pada persentase populasi email AS selama 6 minggu. Secara total, sekitar 22 juta email dikirim menggunakan pekerjaan yang direkomendasikan oleh sistem baru. Peningkatan klik yang dihasilkan dibandingkan model produksi sebelumnya adalah 8.6%. Talent.com secara bertahap meningkatkan persentase penerapan sistem baru ini ke seluruh populasi dan saluran.

Kesimpulan

Membuat sistem rekomendasi pekerjaan adalah upaya yang kompleks. Setiap pencari kerja memiliki kebutuhan, preferensi, dan pengalaman profesional unik yang tidak dapat disimpulkan dari permintaan pencarian singkat. Dalam postingan ini, Talent.com berkolaborasi dengan AWS untuk mengembangkan solusi pemberi rekomendasi pekerjaan berbasis pembelajaran mendalam menyeluruh yang memberi peringkat pada daftar pekerjaan untuk direkomendasikan kepada pengguna. Tim Talent.com sangat menikmati kolaborasi dengan tim AWS sepanjang proses penyelesaian masalah ini. Hal ini menandai tonggak penting dalam perjalanan transformatif Talent.com, ketika tim memanfaatkan kekuatan pembelajaran mendalam untuk memberdayakan bisnisnya.

Proyek ini disempurnakan menggunakan SBERT untuk menghasilkan penyematan teks. Pada saat penulisan, AWS memperkenalkan Penyematan Amazon Titan sebagai bagian dari model dasar (FM) yang ditawarkan melalui Batuan Dasar Amazon, yang merupakan layanan terkelola sepenuhnya yang menyediakan pilihan model dasar berperforma tinggi dari perusahaan AI terkemuka. Kami mendorong pembaca untuk menjelajahi teknik pembelajaran mesin yang disajikan dalam postingan blog ini dan memanfaatkan kemampuan yang disediakan oleh AWS, seperti SMDDP, sambil memanfaatkan model dasar AWS Bedrock untuk membuat fungsi pencarian mereka sendiri.

Referensi

Tentang penulis

Yi Xiang adalah Ilmuwan Terapan II di Amazon Machine Learning Solutions Lab, tempat dia membantu pelanggan AWS di berbagai industri mempercepat adopsi AI dan cloud mereka.

Tong Wang adalah Ilmuwan Terapan Senior di Lab Solusi Pembelajaran Mesin Amazon, di mana dia membantu pelanggan AWS di berbagai industri mempercepat adopsi AI dan cloud mereka.

Dmitriy Bespalov adalah Ilmuwan Terapan Senior di Lab Solusi Pembelajaran Mesin Amazon, di mana dia membantu pelanggan AWS di berbagai industri mempercepat adopsi AI dan cloud mereka.

Anatoly Khomenko adalah Insinyur Pembelajaran Mesin Senior di Talent.com dengan hasrat terhadap pemrosesan bahasa alami yang mencocokkan orang-orang baik dengan pekerjaan bagus.

Abdenour Bezzouh adalah seorang eksekutif dengan pengalaman lebih dari 25 tahun dalam membangun dan memberikan solusi teknologi yang menjangkau jutaan pelanggan. Abdenour menjabat sebagai Chief Technology Officer (CTO) di Bakat.com ketika tim AWS merancang dan mengeksekusi solusi khusus ini Bakat.com.

Dale Jacques adalah Pakar Strategi AI Senior di Pusat Inovasi AI Generatif yang membantu pelanggan AWS menerjemahkan masalah bisnis ke dalam solusi AI.

Yanjunqi adalah Manajer Sains Terapan Senior di Lab Solusi Pembelajaran Mesin Amazon. Dia berinovasi dan menerapkan pembelajaran mesin untuk membantu pelanggan AWS mempercepat penerapan AI dan cloud mereka.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/from-text-to-dream-job-building-an-nlp-based-job-recommender-at-talent-com-with-amazon-sagemaker/