نالج ایمبیڈنگ کے لیے ڈیپ گراف لائبریری کے ساتھ Trumid میں جدید مشین لرننگ سسٹم تیار کرنا

یہ ایک گیسٹ پوسٹ ہے جو ٹرومیڈ سے Mutisya Ndunda کے ساتھ مل کر لکھی گئی ہے۔

بہت سی صنعتوں کی طرح، کارپوریٹ بانڈ مارکیٹ خود کو ایک سائز کے فٹ ہونے والے تمام نقطہ نظر پر قرض نہیں دیتی۔ یہ وسیع ہے، لیکویڈیٹی بکھری ہوئی ہے، اور ادارہ جاتی کلائنٹس اپنی مخصوص ضروریات کے مطابق حل طلب کرتے ہیں۔ AI اور مشین لرننگ (ML) میں پیشرفت کو کسٹمر کے تجربے کو بہتر بنانے، آپریشنل ورک فلو کی کارکردگی اور درستگی کو بڑھانے، اور تجارتی عمل کے متعدد پہلوؤں کو سپورٹ کرکے کارکردگی کو بڑھانے کے لیے استعمال کیا جا سکتا ہے۔

ٹرومڈ ایک مالیاتی ٹیکنالوجی کمپنی ہے جو کل کا کریڈٹ ٹریڈنگ نیٹ ورک بنا رہی ہے— کارپوریٹ بانڈ مارکیٹ کے شرکاء کے درمیان موثر ٹریڈنگ، معلومات کی ترسیل، اور عمل درآمد کے لیے ایک مارکیٹ۔ Trumid مارکیٹ کی گہری مہارت کے ساتھ معروف مصنوعات کے ڈیزائن اور ٹیکنالوجی کے اصولوں کو ملا کر کریڈٹ ٹریڈنگ کے تجربے کو بہتر بنا رہا ہے۔ نتیجہ ایک انٹیگریٹڈ ٹریڈنگ سلوشن ہے جو ایک بدیہی پلیٹ فارم کے اندر پروٹوکولز اور ایگزیکیوشن ٹولز کا مکمل ایکو سسٹم فراہم کرتا ہے۔

بانڈ ٹریڈنگ مارکیٹ میں روایتی طور پر آف لائن خریدار/بیچنے والے مماثلت کے عمل کو قواعد پر مبنی ٹیکنالوجی کی مدد سے شامل کیا گیا ہے۔ Trumid نے اس تجربے کو تبدیل کرنے کے لیے ایک پہل شروع کی ہے۔ اپنے الیکٹرانک ٹریڈنگ پلیٹ فارم کے ذریعے، تاجر خرید و فروخت کے لیے ہزاروں بانڈز تک رسائی حاصل کر سکتے ہیں، ان کے ساتھ بات چیت کرنے کے لیے مصروف صارفین کی ایک کمیونٹی، اور متعدد تجارتی پروٹوکولز اور عمل درآمد کے حل۔ صارفین کے بڑھتے ہوئے نیٹ ورک کے ساتھ، Trumid کی AI اور Data Strategy ٹیم نے اس کے ساتھ شراکت کی۔ AWS مشین لرننگ سلوشنز لیب. اس کا مقصد ML سسٹم تیار کرنا تھا جو Trumid پر دستیاب بانڈز کے لیے صارفین کی دلچسپی اور ترجیحات کا نمونہ بنا کر زیادہ ذاتی تجارتی تجربہ فراہم کر سکے۔

ان ML ماڈلز کا استعمال بصیرت اور عمل کے لیے وقت کو تیز کرنے کے لیے کیا جا سکتا ہے اس بات کو ذاتی بنا کر کہ معلومات کس طرح ہر صارف کو دکھائی جاتی ہے تاکہ اس بات کو یقینی بنایا جا سکے کہ ایک تاجر جس سب سے زیادہ متعلقہ اور قابل عمل معلومات کا خیال رکھتا ہے وہ ترجیحی اور قابل رسائی ہے۔

اس چیلنج کو حل کرنے کے لیے، ٹرومیڈ اور ایم ایل سلوشنز لیب نے ڈیپ گراف لائبریری برائے نالج ایمبیڈنگ (ڈیپ گراف لائبریری) کا استعمال کرتے ہوئے بنائے گئے گہرے نیورل نیٹ ورک ماڈل پر مبنی ایک اختتام سے آخر تک ڈیٹا کی تیاری، ماڈل ٹریننگ، اور انفرنس کا عمل تیار کیا۔DGL-KE)۔ کے ساتھ ایک آخر سے آخر تک حل ایمیزون سیج میکر بھی تعینات کیا گیا تھا.

گراف مشین لرننگ کے فوائد

حقیقی دنیا کا ڈیٹا پیچیدہ اور ایک دوسرے سے جڑا ہوا ہے، اور اکثر نیٹ ورک ڈھانچے پر مشتمل ہوتا ہے۔ مثالوں میں فطرت میں مالیکیولز، سوشل نیٹ ورکس، انٹرنیٹ، روڈ ویز، اور مالیاتی تجارتی پلیٹ فارم شامل ہیں۔

گراف اس پیچیدگی کو ماڈل کرنے کا ایک قدرتی طریقہ فراہم کرتے ہیں جو اہم اور بھرپور معلومات کو نکال کر اداروں کے درمیان تعلقات میں سرایت کرتے ہیں۔

روایتی ML الگورتھم کے لیے ڈیٹا کو ٹیبل یا ترتیب کے طور پر ترتیب دینے کی ضرورت ہوتی ہے۔ یہ عام طور پر اچھی طرح سے کام کرتا ہے، لیکن کچھ ڈومینز زیادہ قدرتی طور پر اور مؤثر طریقے سے گرافس (جیسے ایک دوسرے سے متعلق اشیاء کا نیٹ ورک، جیسا کہ اس پوسٹ میں بعد میں دکھایا گیا ہے) کے ذریعے ظاہر کیا جاتا ہے۔ ان گراف ڈیٹاسیٹس کو جدولوں یا ترتیبوں میں مجبور کرنے کے بجائے، آپ گراف ایم ایل الگورتھم کا استعمال کر سکتے ہیں تاکہ اعداد و شمار کی نمائندگی کریں اور اس سے سیکھیں جیسا کہ اس کے گراف کی شکل میں پیش کیا گیا ہے، بشمول جزو نوڈس، کناروں اور دیگر خصوصیات کے بارے میں معلومات۔

اس بات پر غور کرتے ہوئے کہ بانڈ ٹریڈنگ کو فطری طور پر خریداروں اور بیچنے والوں کے درمیان بات چیت کے نیٹ ورک کے طور پر پیش کیا جاتا ہے جس میں مختلف قسم کے بانڈ آلات شامل ہوتے ہیں، ایک مؤثر حل کے لیے مارکیٹ میں شرکت کرنے والے تاجروں کی کمیونٹیز کے نیٹ ورک اثرات کو استعمال کرنے کی ضرورت ہے۔ آئیے دیکھتے ہیں کہ ہم نے کس طرح تجارتی نیٹ ورک کے اثرات کا فائدہ اٹھایا اور اس وژن کو یہاں نافذ کیا۔

حل

بانڈ ٹریڈنگ کی خصوصیات کئی عوامل سے ہوتی ہے، بشمول تجارتی سائز، مدت، جاری کنندہ، شرح، کوپن کی قدر، بولی/پوچھنا پیشکش، اور اس میں شامل تجارتی پروٹوکول کی قسم۔ آرڈرز اور تجارت کے علاوہ، Trumid "دلچسپی کے اشارے" (IOIs) کو بھی حاصل کرتا ہے۔ تاریخی تعامل کے اعداد و شمار تجارتی رویے اور وقت کے ساتھ ساتھ بدلتے ہوئے مارکیٹ کے حالات کو ظاہر کرتا ہے۔ ہم نے اس ڈیٹا کو ٹریڈرز، بانڈز، اور جاری کنندگان کے درمیان ٹائم اسٹیمپڈ تعاملات کا گراف بنانے کے لیے استعمال کیا، اور مستقبل کے تعاملات کی پیشین گوئی کرنے کے لیے گراف ML کا استعمال کیا۔

سفارشی حل چار اہم مراحل پر مشتمل ہے:

• ٹریڈنگ ڈیٹا کو گراف ڈیٹاسیٹ کے طور پر تیار کرنا
• علمی گراف ایمبیڈنگ ماڈل کی تربیت
• نئی تجارت کی پیشن گوئی
• حل کو توسیع پذیر ورک فلو کے طور پر پیک کرنا

مندرجہ ذیل حصوں میں، ہم ہر قدم پر مزید تفصیل سے بات کرتے ہیں۔

ٹریڈنگ ڈیٹا کو گراف ڈیٹاسیٹ کے طور پر تیار کرنا

ٹریڈنگ ڈیٹا کو گراف کے طور پر پیش کرنے کے بہت سے طریقے ہیں۔ ایک آپشن یہ ہے کہ نوڈس، کناروں اور پراپرٹیز کے ساتھ مکمل طور پر ڈیٹا کی نمائندگی کریں: ٹریڈرز پراپرٹیز کے ساتھ نوڈس کے طور پر (جیسے آجر یا میعاد)، بانڈز بطور پراپرٹیز (جاری کنندہ، بقایا رقم، میچورٹی، ریٹ، کوپن ویلیو) اور تجارت خصوصیات کے ساتھ کناروں کے طور پر (تاریخ، قسم، سائز)۔ دوسرا آپشن ڈیٹا کو آسان بنانا اور صرف نوڈس اور ریلیشنز کا استعمال کرنا ہے (تعلقات ٹائپ شدہ کناروں جیسے ٹریڈڈ یا جاری کردہ ہیں)۔ اس مؤخر الذکر نقطہ نظر نے ہمارے معاملے میں بہتر کام کیا، اور ہم نے مندرجہ ذیل تصویر میں دکھایا گیا گراف استعمال کیا۔

مزید برآں، ہم نے متروک سمجھے جانے والے کچھ کناروں کو ہٹا دیا: اگر کوئی تاجر 100 سے زیادہ مختلف بانڈز کے ساتھ بات چیت کرتا ہے، تو ہم نے صرف آخری 100 بانڈز رکھے ہیں۔

آخر میں، ہم نے گراف ڈیٹاسیٹ کو کناروں کی فہرست کے طور پر محفوظ کیا۔ TSV فارمیٹ:

t987	trade-old		i55198
t995	trade-old		i55306
t987	trade-recent	i24528
t995	trade-recent	i49181
t987	ioi-recent		i24523
t995	ioi-old 		i49178
…
i49611	issued-by		XXX
i46569	issued-by		YYY
i46507	issued-by		ZZZ

علمی گراف ایمبیڈنگ ماڈل کی تربیت

صرف نوڈس اور تعلقات پر مشتمل گرافس کے لیے (اکثر علمی گراف کہلاتے ہیں)، DGL ٹیم نے نالج گراف ایمبیڈنگ فریم ورک تیار کیا۔ DGL-KE. KE کا مطلب علم میں سرایت کرنا ہے، جس کا مقصد کوآرڈینیٹس (ایمبیڈنگ) کے ذریعے نوڈس اور تعلقات (علم) کی نمائندگی کرنا اور کوآرڈینیٹس کو بہتر بنانا (تربیت) دینا ہے تاکہ نقاط سے اصل گراف کی ساخت کو بازیافت کیا جا سکے۔ دستیاب ایمبیڈنگ ماڈلز کی فہرست میں، ہم نے TransE (ٹرانسلشنل ایمبیڈنگز) کو منتخب کیا۔ TransE درج ذیل مساوات کو قریب کرنے کے مقصد کے ساتھ ایمبیڈنگز کو تربیت دیتا ہے:

ماخذ نوڈ ایمبیڈنگ + ریلیشن ایمبیڈنگ = ٹارگٹ نوڈ ایمبیڈنگ (1)

ہم نے ماڈل کو پکار کر تربیت دی۔ dglke_train کمانڈ. تربیت کا آؤٹ پٹ ایک ماڈل فولڈر ہے جس میں تربیت یافتہ ایمبیڈنگز شامل ہیں۔

TransE کے بارے میں مزید تفصیلات کے لیے رجوع کریں۔ ملٹی ریلیشنل ڈیٹا کی ماڈلنگ کے لیے ایمبیڈنگز کا ترجمہ کرنا.

نئی تجارت کی پیشن گوئی

اپنے ماڈل کے ساتھ کسی تاجر سے نئی تجارت کی پیشن گوئی کرنے کے لیے، ہم نے مساوات (1) کا استعمال کیا: ٹریڈر ایمبیڈنگ کو تجارتی-حالیہ ایمبیڈنگ میں شامل کریں اور نتیجے میں ایمبیڈنگ کے قریب ترین بانڈز تلاش کریں۔

ہم نے اسے دو مراحل میں کیا:

1. کے ساتھ تمام ممکنہ تجارتی حالیہ تعلقات کے لیے اسکور کی گنتی کریں۔ dglke_predict.
2. ہر تاجر کے لیے سب سے اوپر 100 سب سے زیادہ سکور کا حساب لگائیں۔

DGL-KE استعمال کرنے کے طریقے کے بارے میں تفصیلی ہدایات کے لیے، رجوع کریں۔ ڈیپ گراف لائبریری کے ساتھ پیمانے پر علمی گراف سرایت کرنے کی تربیت اور DGL-KE دستاویزات.

حل کو توسیع پذیر ورک فلو کے طور پر پیک کرنا

ہم نے اپنے کوڈ کو تیار کرنے اور ڈیبگ کرنے کے لیے SageMaker نوٹ بکس کا استعمال کیا۔ پیداوار کے لیے، ہم ماڈل کو ایک سادہ API کال کے طور پر استعمال کرنا چاہتے تھے۔ ہم نے پایا کہ ہمیں ڈیٹا کی تیاری، ماڈل ٹریننگ، اور پیشین گوئی کو الگ کرنے کی ضرورت نہیں ہے، اور پوری پائپ لائن کو ایک اسکرپٹ کے طور پر پیک کرنا اور SageMaker پروسیسنگ کا استعمال کرنا آسان تھا۔ سیج میکر پروسیسنگ آپ کو وسائل کی تقسیم اور ڈیٹا کی منتقلی کے بارے میں فکر کیے بغیر منتخب کردہ مثال کی قسم اور ڈوکر امیج پر دور سے اسکرپٹ چلانے کی اجازت دیتی ہے۔ یہ ہمارے لیے آسان اور سرمایہ کاری مؤثر تھا، کیونکہ GPU مثال صرف اسکرپٹ کو چلانے کے لیے درکار 15 منٹ کے دوران استعمال اور ادائیگی کی جاتی ہے۔

سیج میکر پروسیسنگ کے استعمال کے بارے میں تفصیلی ہدایات کے لیے، دیکھیں ایمیزون سیج میکر پروسیسنگ - مکمل طور پر منظم ڈیٹا پروسیسنگ اور ماڈل کی تشخیص اور پروسیسنگ.

نتائج کی نمائش

ہمارے حسب ضرورت گراف ماڈل نے دیگر طریقوں کے مقابلے میں بہت اچھی کارکردگی کا مظاہرہ کیا: تمام ٹریڈر اقسام میں زیادہ مستحکم نتائج کے ساتھ، کارکردگی میں 80% بہتری آئی ہے۔ ہم نے کارکردگی کو اوسط یاد سے ماپا (سفارش کنندہ کے ذریعہ پیش گوئی کی گئی حقیقی تجارت کا فیصد، تمام تاجروں سے اوسط)۔ دیگر معیاری میٹرکس کے ساتھ، بہتری 50-130% تک تھی۔

اس کارکردگی نے ہمیں ٹریڈرز اور بانڈز کو بہتر طریقے سے میچ کرنے کے قابل بنایا، جو کہ ماڈل کے اندر ٹریڈر کے بہتر تجربے کی نشاندہی کرتا ہے، مشین لرننگ نے سخت کوڈڈ قوانین سے ایک بڑا قدم آگے بڑھایا، جس کی پیمائش کرنا مشکل ہو سکتا ہے۔

نتیجہ

Trumid اپنے صارفین کی کمیونٹی کو اختراعی مصنوعات اور ورک فلو کی افادیت فراہم کرنے پر مرکوز ہے۔ کل کے کریڈٹ ٹریڈنگ نیٹ ورک کی تعمیر کے لیے ساتھیوں اور صنعت کے ماہرین جیسے AWS ML Solutions Lab کے ساتھ مسلسل تعاون کی ضرورت ہے، جو آپ کو تیزی سے اختراع کرنے میں مدد کرنے کے لیے ڈیزائن کیا گیا ہے۔

مزید معلومات کے لیے، درج ذیل وسائل دیکھیں:

مصنفین کے بارے میں

مارک وین اوڈیوسڈن Amazon Web Services میں Amazon ML Solutions Lab ٹیم کے ساتھ ایک سینئر ڈیٹا سائنٹسٹ ہے۔ وہ مصنوعی ذہانت اور مشین لرننگ کے ساتھ کاروباری مسائل حل کرنے کے لیے AWS صارفین کے ساتھ کام کرتا ہے۔ کام سے باہر آپ اسے ساحل سمندر پر، اپنے بچوں کے ساتھ کھیلتے، سرفنگ یا پتنگ سرفنگ کرتے ہوئے پا سکتے ہیں۔

Mutisya Ndunda Trumid میں ڈیٹا اسٹریٹیجی اور AI کے سربراہ ہیں۔ وہ ایک تجربہ کار مالیاتی پیشہ ور ہے جس کے پاس کیپٹل مارکیٹس، تجارت اور مالیاتی ٹیکنالوجی میں 20 سال سے زیادہ کا وسیع ادارہ جاتی تجربہ ہے۔ Mutisya مصنوعی ذہانت، مشین لرننگ اور بڑے ڈیٹا اینالیٹکس میں ایک دہائی سے زیادہ کے تجربے کے ساتھ ایک مضبوط مقداری اور تجزیاتی پس منظر رکھتا ہے۔ ٹرومیڈ سے پہلے، وہ الفا ورٹیکس کے سی ای او تھے، ایک مالیاتی ٹیکنالوجی کمپنی جو مالیاتی اداروں کو ملکیتی AI الگورتھم کے ذریعے چلنے والے تجزیاتی حل پیش کرتی ہے۔ متیسیا نے کارنیل یونیورسٹی سے الیکٹریکل انجینئرنگ میں بیچلر کی ڈگری اور کارنیل یونیورسٹی سے فنانشل انجینئرنگ میں ماسٹر کی ڈگری حاصل کی۔

آئزک پریویٹیرا ایمیزون مشین لرننگ سلوشنز لیب میں ایک سینئر ڈیٹا سائنٹسٹ ہے، جہاں وہ صارفین کے کاروباری مسائل کو حل کرنے کے لیے مخصوص مشین لرننگ اور گہری سیکھنے کے حل تیار کرتا ہے۔ وہ بنیادی طور پر کمپیوٹر ویژن اسپیس میں کام کرتا ہے، AWS صارفین کو تقسیم شدہ تربیت اور فعال سیکھنے کے قابل بنانے پر توجہ مرکوز کرتا ہے۔