پیش گوئی کرنے والے ماڈلز کو تربیت دینے کے لیے Amazon Neptune میں کثیر لسانی متن کی خصوصیات کو انکوڈ کریں۔

ایمیزون نیپچون ایم ایل کی مشین لرننگ (ML) کی صلاحیت ہے۔ ایمیزون نیپچون جو آپ کو اپنے گراف ڈیٹا پر درست اور تیز پیشین گوئیاں کرنے میں مدد کرتا ہے۔ ہڈ کے نیچے، نیپچون ایم ایل گراف نیورل نیٹ ورکس (GNNs) کو بیک وقت گراف کی ساخت اور نوڈ/ایج خصوصیات سے فائدہ اٹھانے کے لیے استعمال کرتا ہے تاکہ ہاتھ میں کام کو حل کیا جا سکے۔ روایتی طریقے یا تو صرف خصوصیات کا استعمال کرتے ہیں اور کوئی گراف ڈھانچہ نہیں (مثال کے طور پر، XGBoost، نیورل نیٹ ورکس)، یا صرف گراف کی ساخت اور کوئی خاصیت نہیں (مثال کے طور پر، node2vec، Label Propagation)۔ نوڈ/ایج پراپرٹیز کو بہتر طریقے سے جوڑنے کے لیے، ML الگورتھم کے لیے اعداد و شمار کو اچھی طرح سے برتاؤ کرنے والے عددی ڈیٹا کی ضرورت ہوتی ہے، لیکن ڈیٹا بیس میں خام ڈیٹا کی دوسری قسمیں ہو سکتی ہیں، جیسے کہ خام متن۔ ان دیگر اقسام کے ڈیٹا کو استعمال کرنے کے لیے، ہمیں پروسیسنگ کے خصوصی اقدامات کی ضرورت ہے جو انہیں ان کی مقامی قسم سے عددی ڈیٹا میں تبدیل کریں، اور ML نتائج کا معیار ان ڈیٹا کی تبدیلیوں کے معیار پر پوری طرح سے منحصر ہے۔ خام متن، جملے کی طرح، تبدیل کرنے کے لیے سب سے مشکل اقسام میں سے ہیں، لیکن نیچرل لینگویج پروسیسنگ (NLP) کے میدان میں حالیہ پیش رفت نے ایسے مضبوط طریقے اختیار کیے ہیں جو متعدد زبانوں سے آنے والے متن اور طوالت کی وسیع اقسام کو سنبھال سکتے ہیں۔

ورژن 1.1.0.0 سے شروع ہونے والا، نیپچون ایم ایل سپورٹ کرتا ہے۔ متعدد ٹیکسٹ انکوڈرز (text_fasttext, متن_سبرٹ, text_word2vec، اور text_tfidf)، جو NLP میں حالیہ پیشرفت کے فوائد لاتا ہے اور کثیر لسانی متن کی خصوصیات کے ساتھ ساتھ زبانوں اور متن کی لمبائی کے بارے میں اضافی تخمینہ کی ضروریات کے لیے معاونت کو قابل بناتا ہے۔ مثال کے طور پر، ملازمت کی سفارش کے استعمال کے معاملے میں، مختلف ممالک میں ملازمت کی پوسٹوں کو مختلف زبانوں میں بیان کیا جا سکتا ہے اور ملازمت کی تفصیل کی لمبائی کافی حد تک مختلف ہوتی ہے۔ مزید برآں، نیپچون ایم ایل ایک کو سپورٹ کرتا ہے۔ آٹو آپشن جو ڈیٹا میں موجود ٹیکسٹ فیچر کی خصوصیات کی بنیاد پر خود بخود بہترین انکوڈنگ طریقہ کا انتخاب کرتا ہے۔

اس پوسٹ میں، ہم ہر ٹیکسٹ انکوڈر کے استعمال کی مثال دیتے ہیں، ان کے فوائد اور نقصانات کا موازنہ کرتے ہیں، اور ایک مثال دکھاتے ہیں کہ کس طرح کام کی سفارش کے کام کے لیے صحیح ٹیکسٹ انکوڈرز کا انتخاب کیا جائے۔

ٹیکسٹ انکوڈر کیا ہے؟

ٹیکسٹ انکوڈنگ کا مقصد نیپچون میں ٹیکسٹ بیسڈ ایج/نوڈ پراپرٹیز کو فکسڈ سائز ویکٹر میں تبدیل کرنا ہے تاکہ ڈاؤن اسٹریم مشین لرننگ ماڈلز میں نوڈ کی درجہ بندی یا لنک پیشن گوئی کے کاموں کے لیے استعمال کیا جا سکے۔ متن کی خصوصیت کی لمبائی بہت مختلف ہو سکتی ہے۔ یہ ایک لفظ، جملہ، جملہ، پیراگراف، یا ایک سے زیادہ جملوں کے ساتھ ایک دستاویز بھی ہو سکتا ہے (نیپچون میں ایک پراپرٹی کا زیادہ سے زیادہ سائز 55 MB ہے)۔ مزید برآں، متن کی خصوصیات مختلف زبانوں میں ہوسکتی ہیں۔ ایسے جملے بھی ہو سکتے ہیں جن میں کئی مختلف زبانوں کے الفاظ ہوتے ہیں، جن کی ہم تعریف کرتے ہیں۔ کوڈ سوئچنگ.

1.1.0.0 ریلیز کے ساتھ شروع کرتے ہوئے، Neptune ML آپ کو کئی مختلف ٹیکسٹ انکوڈرز میں سے انتخاب کرنے کی اجازت دیتا ہے۔ ہر انکوڈر قدرے مختلف طریقے سے کام کرتا ہے، لیکن نیپچون سے ٹیکسٹ ویلیو فیلڈ کو ایک فکسڈ سائز ویکٹر میں تبدیل کرنے کا ایک ہی مقصد ہے جسے ہم نیپچون ML کا استعمال کرتے ہوئے اپنے GNN ماڈل کو بنانے کے لیے استعمال کرتے ہیں۔ نئے انکوڈرز مندرجہ ذیل ہیں:

• text_fasttext (نیا) - استعمال کرتا ہے۔ فاسٹ ٹیکسٹ انکوڈنگ فاسٹ ٹیکسٹ متن کی موثر نمائندگی سیکھنے کے لیے ایک لائبریری ہے۔ text_fasttext ان خصوصیات کے لیے تجویز کیا جاتا ہے جو فاسٹ ٹیکسٹ (انگریزی، چینی، ہندی، ہسپانوی اور فرانسیسی) میں سے ایک اور پانچ زبانوں میں سے صرف ایک استعمال کرتی ہیں۔ دی text_fasttext طریقہ اختیاری طور پر لے سکتے ہیں max_length فیلڈ، جو ٹیکسٹ پراپرٹی ویلیو میں ٹوکنز کی زیادہ سے زیادہ تعداد بتاتا ہے جسے انکوڈ کیا جائے گا، جس کے بعد سٹرنگ کو چھوٹا کر دیا جاتا ہے۔ آپ ٹوکن کو ایک لفظ کے طور پر دیکھ سکتے ہیں۔ یہ کارکردگی کو بہتر بنا سکتا ہے جب ٹیکسٹ پراپرٹی ویلیوز میں لمبی تاریں ہوتی ہیں، کیونکہ اگر max_length مخصوص نہیں ہے، فاسٹ ٹیکسٹ تار کی لمبائی سے قطع نظر تمام ٹوکنز کو انکوڈ کرتا ہے۔
• متن_سبرٹ (نیا) - جملے کا استعمال کرتا ہے BERT (ایس بی ای آر ٹی) انکوڈنگ کا طریقہ۔ SBERT سیاق و سباق کی نمائندگی سیکھنے کے ماڈلز، BERT-Networks کا استعمال کرتے ہوئے جملے کو سرایت کرنے کا ایک طریقہ ہے۔ text_sbert اس وقت تجویز کیا جاتا ہے جب زبان کی حمایت نہ ہو۔ text_fasttext. نیپچون دو SBERT طریقوں کی حمایت کرتا ہے: text_sbert128اگر آپ صرف وضاحت کرتے ہیں تو جو ڈیفالٹ ہے۔ text_sbert، اور text_sbert512. ان کے درمیان فرق ٹیکسٹ پراپرٹی میں ٹوکن کی زیادہ سے زیادہ تعداد ہے جو انکوڈ ہو جاتے ہیں۔ دی text_sbert128 انکوڈنگ صرف پہلے 128 ٹوکنز کو انکوڈ کرتی ہے، جبکہ text_sbert512 512 ٹوکن تک انکوڈ کرتا ہے۔ نتیجے کے طور پر، استعمال کرتے ہوئے text_sbert512 سے زیادہ پروسیسنگ کا وقت درکار ہوسکتا ہے۔ text_sbert128. دونوں طریقے اس سے سست ہیں۔ text_fasttext.
• text_word2vec - استعمال کرتا ہے Word2Vec متن کو انکوڈ کرنے کے لیے اصل میں گوگل کے ذریعہ شائع کردہ الگورتھم۔ Word2Vec صرف انگریزی کو سپورٹ کرتا ہے۔
• text_tfidf - ایک اصطلاح تعدد الٹا دستاویز تعدد کا استعمال کرتا ہے (TF-IDFانکوڈنگ ٹیکسٹ کے لیے ویکٹرائزر۔ TF-IDF انکوڈنگ شماریاتی خصوصیات کو سپورٹ کرتی ہے جو دیگر انکوڈنگز نہیں کرتی ہیں۔ یہ دوسرے تمام نوڈس کے درمیان ایک نوڈ پراپرٹی میں الفاظ کی اہمیت یا مطابقت کا اندازہ لگاتا ہے۔

یاد رکھیں کہ text_word2vec اور text_tfidf پہلے سپورٹ کیا گیا تھا اور نئے طریقے text_fasttext اور text_sbert پرانے طریقوں پر سفارش کی جاتی ہے.

مختلف ٹیکسٹ انکوڈرز کا موازنہ

مندرجہ ذیل جدول تمام معاون ٹیکسٹ انکوڈنگ آپشنز کا تفصیلی موازنہ دکھاتا ہے (text_fasttext, text_sbert، اور text_word2vec). text_tfidf ماڈل پر مبنی انکوڈنگ کا طریقہ نہیں ہے، بلکہ ایک شمار پر مبنی پیمانہ ہے جو اس بات کا اندازہ کرتا ہے کہ ٹوکن (مثال کے طور پر، ایک لفظ) دوسرے نوڈس یا کناروں میں موجود متن کی خصوصیات سے کتنا متعلقہ ہے، اس لیے ہم اس میں شامل نہیں ہیں text_tfidf مقابلے کے لیے ہم استعمال کرنے کی سفارش کرتے ہیں۔ text_tfidf جب آپ ایک نوڈ یا ایج پراپرٹی میں دیگر تمام نوڈ یا ایج پراپرٹیز کے درمیان کچھ الفاظ کی اہمیت یا مطابقت کا اندازہ لگانا چاہتے ہیں۔)

مندرجہ ذیل استعمال کی تجاویز کو نوٹ کریں:

• انگریزی، چینی، ہندی، ہسپانوی اور فرانسیسی میں ٹیکسٹ پراپرٹی ویلیوز کے لیے، text_fasttext تجویز کردہ انکوڈنگ ہے۔ تاہم، یہ ایسے معاملات کو سنبھال نہیں سکتا جہاں ایک ہی جملے میں ایک سے زیادہ زبانوں میں الفاظ شامل ہوں۔ پانچوں کے علاوہ دوسری زبانوں کے لیے fastText حمایت کرتا ہے، استعمال کرتا ہے text_sbert انکوڈنگ
• اگر آپ کے پاس کئی پراپرٹی ویلیو ٹیکسٹ سٹرنگز ہیں، مثال کے طور پر، 120 ٹوکنز، استعمال کریں۔ max_length ہر اسٹرنگ میں ٹوکن کی تعداد کو محدود کرنے کے لیے فیلڈ text_fasttext انکوڈز

خلاصہ کرنے کے لیے، آپ کے استعمال کے معاملے پر منحصر ہے، ہم درج ذیل انکوڈنگ کا طریقہ تجویز کرتے ہیں:

• اگر آپ کے متن کی خصوصیات پانچ معاون زبانوں میں سے ایک میں ہیں، تو ہم استعمال کرنے کی تجویز کرتے ہیں۔ text_fasttext اس کی تیز رفتاری کی وجہ سے۔ text_fasttext تجویز کردہ انتخاب ہے اور آپ استعمال بھی کر سکتے ہیں۔ text_sbert مندرجہ ذیل دو مستثنیات میں۔
• اگر آپ کے متن کی خصوصیات مختلف زبانوں میں ہیں، تو ہم استعمال کرنے کی تجویز کرتے ہیں۔ text_sbert کیونکہ یہ واحد معاون طریقہ ہے جو متعدد مختلف زبانوں میں الفاظ پر مشتمل ٹیکسٹ پراپرٹیز کو انکوڈ کر سکتا ہے۔
• اگر آپ کے متن کی خصوصیات ایک زبان میں ہیں جو پانچ معاون زبانوں میں سے ایک نہیں ہے، تو ہم استعمال کرنے کی تجویز کرتے ہیں۔ text_sbert کیونکہ یہ 50 سے زیادہ زبانوں کو سپورٹ کرتا ہے۔
• اگر آپ کی ٹیکسٹ پراپرٹیز کی اوسط لمبائی 128 سے زیادہ ہے تو استعمال کرنے پر غور کریں۔ text_sbert512 or text_fasttext. دونوں طریقے انکوڈ طویل متن کی ترتیب کو استعمال کر سکتے ہیں۔
• اگر آپ کے متن کی خصوصیات صرف انگریزی میں ہیں، تو آپ استعمال کر سکتے ہیں۔ text_word2vec، لیکن ہم استعمال کرنے کی سفارش کرتے ہیں۔ text_fasttext اس کے تیز تر اندازے کے لیے۔

کیس ڈیمو استعمال کریں: ملازمت کی سفارش کا کام

ملازمت کی سفارش کے کام کا مقصد یہ پیش گوئی کرنا ہے کہ صارفین اپنی پچھلی درخواستوں، آبادیاتی معلومات اور کام کی تاریخ کی بنیاد پر کن ملازمتوں کے لیے درخواست دیں گے۔ یہ پوسٹ استعمال کرتی ہے۔ ایک کھلا کاگل ڈیٹاسیٹ. ہم ڈیٹاسیٹ کو تین نوڈ ٹائپ گراف کے طور پر بناتے ہیں: کام, صارف، اور شہر.

ایک کام اس کے عنوان، تفصیل، ضروریات، واقع شہر اور ریاست سے ہوتا ہے۔ صارف کو بڑے، ڈگری کی قسم، کام کی تاریخ کی تعداد، کام کرنے کے تجربے کے لیے سالوں کی کل تعداد، اور مزید کی خصوصیات کے ساتھ بیان کیا جاتا ہے۔ اس استعمال کے کیس کے لیے، جاب ٹائٹل، جاب کی تفصیل، نوکری کے تقاضے، اور میجر سب کچھ ٹیکسٹ کی شکل میں ہیں۔

ڈیٹاسیٹ میں، صارفین کے پاس درج ذیل خصوصیات ہیں:

• حالت – مثال کے طور پر، CA یا 广东省 (چینی)
• میجر - مثال کے طور پر، انسانی وسائل کا انتظام یا Lic Cytura Fisica (ہسپانوی)
• ڈگری کی قسم – مثال کے طور پر، بیچلر، ماسٹرز، پی ایچ ڈی، یا کوئی نہیں۔
• ورک ہسٹری شمار - مثال کے طور پر، 0، 1، 16، وغیرہ
• کل سال کا تجربہ - مثال کے طور پر، 0.0، 10.0، یا NAN

ملازمتوں میں درج ذیل خصوصیات ہیں:

• عنوان – مثال کے طور پر، انتظامی معاون یا Lic Cultura Física (ہسپانوی)۔
• Description – مثال کے طور پر، "یہ ایڈمنسٹریٹو اسسٹنٹ پوزیشن مواصلات کے شعبوں میں علمی اور انتظامی معاونت کے مختلف کام انجام دینے کے لیے ذمہ دار ہے، ..." تفصیل میں الفاظ کی اوسط تعداد تقریباً 192.2 ہے۔
• ضروریات - مثال کے طور پر، "ملازمت کے تقاضے: 1. تفصیل پر توجہ؛ 2. تیز رفتار ماحول میں کام کرنے کی اہلیت؛ 3. انوائسنگ…"
• حالت: – مثال کے طور پر، CA، NY، وغیرہ۔

نوڈ کی قسم شہر واشنگٹن ڈی سی اور آرلینڈو FL کی طرح صرف ہر نوڈ کے لیے شناخت کنندہ ہے۔ مندرجہ ذیل حصے میں، ہم متن کی مختلف خصوصیات کی خصوصیات کا تجزیہ کرتے ہیں اور وضاحت کرتے ہیں کہ متن کی مختلف خصوصیات کے لیے مناسب متن کے انکوڈرز کو کیسے منتخب کیا جائے۔

مختلف ٹیکسٹ انکوڈرز کو کیسے منتخب کریں۔

ہماری مثال کے طور پر، میجر اور عنوان خصوصیات متعدد زبانوں میں ہیں اور متن کی مختصر ترتیبیں ہیں، لہذا text_sbert سفارش کی جاتی ہے. کے لئے نمونہ کوڈ برآمد پیرامیٹرز درج ذیل کی طرح. کے لئے text_sbert قسم، کوئی اور پیرامیٹر فیلڈز نہیں ہیں۔ یہاں ہم منتخب کرتے ہیں۔ text_sbert128 کے مقابلے میں دیگر text_sbert512کیونکہ متن کی لمبائی 128 سے نسبتاً کم ہے۔

"additionalParams": {
    "neptune_ml": {
        "version": "v2.0",
        "targets": [ ... ],
        "features": [
            {
                "node": "user",
                "property": "Major",
                "type": "text_sbert128"
            },
            {
                "node": "job",
                "property": "Title",
                "type": "text_sbert128",
            }, ...
        ], ...
    }
}

۔ Description اور ضروریات خصوصیات عام طور پر طویل متن کی ترتیب میں ہوتی ہیں۔ تفصیل کی اوسط لمبائی تقریباً 192 الفاظ ہے، جو کہ زیادہ سے زیادہ ان پٹ کی لمبائی سے زیادہ لمبی ہے۔ text_sbert (128)۔ ہم استعمال کر سکتے ہیں۔ text_sbert512، لیکن اس کے نتیجے میں سست اندازہ ہو سکتا ہے۔ اس کے علاوہ، متن ایک ہی زبان (انگریزی) میں ہے۔ لہذا، ہم تجویز کرتے ہیں text_fasttext کے ساتھ en زبان کی قدر اس کے تیز تر اندازے اور محدود ان پٹ طوالت کی وجہ سے۔ کے لئے نمونہ کوڈ برآمد پیرامیٹرز درج ذیل کی طرح. دی text_fasttext انکوڈنگ کا استعمال کرتے ہوئے اپنی مرضی کے مطابق کیا جا سکتا ہے زبان اور زیادہ سے زیادہ طوالت. language قدر کی ضرورت ہے، لیکن max_length اختیاری ہے۔

"additionalParams": {
    "neptune_ml": {
        "version": "v2.0",
        "targets": [ ... ],
        "features": [
            {
                "node": "job",
                "property": "Description",
                "type": "text_fasttext",
                "language": "en",
                "max_length": 256
            },
            {
                "node": "job",
                "property": "Requirements",
                "type": "text_fasttext",
                "language": "en"
            }, ...
        ], ...
    }
}

ملازمت کی سفارش کے استعمال کے معاملات کی مزید تفصیلات میں مل سکتی ہیں۔ نیپچون نوٹ بک ٹیوٹوریل.

مظاہرے کے مقاصد کے لیے، ہم ایک صارف کا انتخاب کرتے ہیں، یعنی صارف 443931، جس کے پاس 'مینیجمنٹ اور ہیومن ریسورسز' میں ماسٹر ڈگری ہے۔ صارف نے "ہیومن ریسورس (HR) مینیجر"، "HR جنرلسٹ"، "ہیومن ریسورسز مینیجر"، "ہیومن ریسورسز ایڈمنسٹریٹر"، اور "سینئر پے رول اسپیشلسٹ" کے عنوان سے پانچ مختلف ملازمتوں کے لیے درخواست دی ہے۔ سفارشی کام کی کارکردگی کا جائزہ لینے کے لیے، ہم صارف کی 50% اپلائی کی گئی جابز (کناروں) کو حذف کر دیتے ہیں (یہاں ہم "ہیومن ریسورسز ایڈمنسٹریٹر" اور "ہیومن ریسورسز (HR) مینیجر کو حذف کر دیتے ہیں) اور سب سے اوپر کی پیشن گوئی کرنے کی کوشش کرتے ہیں۔ 10 نوکریاں جن کے لیے اس صارف کے لیے درخواست دینے کا سب سے زیادہ امکان ہے۔

کام کی خصوصیات اور صارف کی خصوصیات کو انکوڈنگ کرنے کے بعد، ہم ایک رشتہ دار گراف کنولوشنل نیٹ ورک (RGCN) ماڈل کی تربیت دے کر لنک پیشین گوئی کا کام انجام دیتے ہیں۔ نیپچون ایم ایل ماڈل کی تربیت کے لیے تین مراحل کی ضرورت ہوتی ہے: ڈیٹا پروسیسنگ، ماڈل ٹریننگ، اور اینڈ پوائنٹ تخلیق۔ انفرنس اینڈ پوائنٹ بنانے کے بعد، ہم صارف 443931 کے لیے سفارشات پیش کر سکتے ہیں۔ صارف 10 کے لیے پیش گوئی کی گئی ٹاپ 443931 نوکریوں سے (یعنی، "HR جنرلسٹ"، "ہیومن ریسورسز (HR) مینیجر"، "سینئر پے رول اسپیشلسٹ"، "ہیومن ریسورسز ایڈمنسٹریٹر"، "HR تجزیہ کار"، et al.)، ہم مشاہدہ کرتے ہیں کہ حذف شدہ دو نوکریاں 10 پیشین گوئیوں میں شامل ہیں۔

نتیجہ

اس پوسٹ میں، ہم نے نیپچون ایم ایل میں نئے معاون ٹیکسٹ انکوڈرز کا استعمال دکھایا۔ یہ ٹیکسٹ انکوڈر استعمال میں آسان ہیں اور متعدد تقاضوں کی حمایت کر سکتے ہیں۔ خلاصہ،

• text_fasttext ان خصوصیات کے لیے تجویز کیا جاتا ہے جو پانچ زبانوں میں سے ایک اور صرف ایک استعمال کرتی ہیں جو text_fasttext سپورٹ کرتی ہے۔
• text_sbert کی سفارش اس متن کے لیے کی جاتی ہے جس کی text_fasttext تعاون نہیں کرتا۔
• text_word2vec صرف انگریزی کو سپورٹ کرتا ہے، اور کسی بھی منظر نامے میں اسے text_fasttext سے تبدیل کیا جا سکتا ہے۔

حل کے بارے میں مزید تفصیلات کے لیے، دیکھیں GitHub repo. ہم آپ کی ضروریات کو پورا کرنے کے لیے آپ کے گراف ڈیٹا پر ٹیکسٹ انکوڈرز استعمال کرنے کی تجویز کرتے ہیں۔ آپ صرف ایک انکوڈر کا نام منتخب کر سکتے ہیں اور GNN ماڈل کو غیر تبدیل کرتے ہوئے کچھ انکوڈر اوصاف سیٹ کر سکتے ہیں۔

مصنفین کے بارے میں

جیانی ژانگ AWS AI ریسرچ اینڈ ایجوکیشن (AIRE) کے اپلائیڈ سائنسدان ہیں۔ وہ مشین لرننگ الگورتھم، خاص طور پر قدرتی زبان اور گراف سے متعلق مسائل کا استعمال کرتے ہوئے حقیقی دنیا کی ایپلی کیشنز کو حل کرنے پر کام کرتی ہے۔