Amazon SageMaker پر RLHF کے ساتھ اپنے LLMs کو بہتر بنانا | ایمیزون ویب سروسز

Reinforcement Learning from Human Feedback (RLHF) کو انڈسٹری کی معیاری تکنیک کے طور پر تسلیم کیا جاتا ہے تاکہ اس بات کو یقینی بنایا جا سکے کہ بڑے لینگویج ماڈلز (LLMs) ایسے مواد کو تیار کرتے ہیں جو سچا، بے ضرر اور مددگار ہو۔ یہ تکنیک انسانی آراء کی بنیاد پر ایک "انعام ماڈل" کی تربیت کے ذریعے چلتی ہے اور اس ماڈل کو ری انفورسمنٹ لرننگ (RL) کے ذریعے ایجنٹ کی پالیسی کو بہتر بنانے کے لیے بطور انعام استعمال کرتی ہے۔ RLHF نے LLMs تیار کرنے کے لیے ضروری ثابت کیا ہے جیسے OpenAI's ChatGPT اور Anthropic's Claude جو انسانی مقاصد سے ہم آہنگ ہیں۔ وہ دن گئے جب آپ کو اپنے کاموں کو حل کرنے کے لیے GPT-3 جیسے بیس ماڈلز حاصل کرنے کے لیے غیر فطری فوری انجینئرنگ کی ضرورت ہوتی ہے۔

RLHF کا ایک اہم انتباہ یہ ہے کہ یہ ایک پیچیدہ اور اکثر غیر مستحکم طریقہ کار ہے۔ ایک طریقہ کے طور پر، RLHF کا تقاضا ہے کہ آپ کو پہلے انعامی ماڈل کی تربیت کرنی چاہیے جو انسانی ترجیحات کی عکاسی کرتا ہو۔ اس کے بعد، اصل ماڈل سے بہت دور گئے بغیر انعامی ماڈل کے تخمینہ شدہ انعام کو زیادہ سے زیادہ کرنے کے لیے LLM کو ٹھیک بنایا جانا چاہیے۔ اس پوسٹ میں، ہم یہ دکھائیں گے کہ ایمیزون سیج میکر پر RLHF کے ساتھ بیس ماڈل کو کیسے ٹھیک کیا جائے۔ ہم آپ کو یہ بھی دکھاتے ہیں کہ نتیجے میں آنے والے ماڈل کی بہتری کو درست کرنے کے لیے انسانی تشخیص کیسے کی جائے۔

شرائط

شروع کرنے سے پہلے، یقینی بنائیں کہ آپ درج ذیل وسائل کو استعمال کرنے کا طریقہ سمجھتے ہیں:

حل جائزہ

بہت سے جنریٹو AI ایپلی کیشنز کا آغاز بنیادی LLMs کے ساتھ کیا جاتا ہے، جیسے GPT-3، جنہیں ٹیکسٹ ڈیٹا کی بڑی مقدار پر تربیت دی گئی تھی اور عام طور پر عوام کے لیے دستیاب ہیں۔ بنیادی LLMs، پہلے سے طے شدہ طور پر، ایسے انداز میں متن تیار کرنے کا شکار ہوتے ہیں جو ہدایات پر عمل کرنے کا طریقہ نہ جاننے کے نتیجے میں غیر متوقع اور بعض اوقات نقصان دہ ہوتا ہے۔ مثال کے طور پر، فوری طور پر، "میرے والدین کو ایک ای میل لکھیں جس میں انہیں سالگرہ مبارک ہو"، ایک بیس ماڈل ایسا ردعمل پیدا کر سکتا ہے جو پرامپٹ کی خودکار تکمیل سے مشابہت رکھتا ہو (مثال کے طور پر "اور کئی سالوں کی محبت ایک ساتھ") واضح ہدایات کے طور پر پرامپٹ کی پیروی کرنے کے بجائے (مثلاً تحریری ای میل)۔ ایسا اس لیے ہوتا ہے کیونکہ ماڈل کو اگلے ٹوکن کی پیشن گوئی کرنے کی تربیت دی جاتی ہے۔ بیس ماڈل کی ہدایات پر عمل کرنے کی صلاحیت کو بہتر بنانے کے لیے، انسانی ڈیٹا اینوٹیٹرز کو مختلف اشارے پر جوابات لکھنے کا کام سونپا جاتا ہے۔ جمع کردہ جوابات (اکثر مظاہرے کے اعداد و شمار کے طور پر کہا جاتا ہے) اس عمل میں استعمال ہوتے ہیں جسے سپروائزڈ فائن ٹیوننگ (SFT) کہتے ہیں۔ RLHF ماڈل کے رویے کو انسانی ترجیحات کے ساتھ مزید بہتر اور ہم آہنگ کرتا ہے۔ اس بلاگ پوسٹ میں، ہم تشریح کرنے والوں سے مخصوص پیرامیٹرز، جیسے مددگار، سچائی اور بے ضرریت کی بنیاد پر ماڈل آؤٹ پٹ کی درجہ بندی کرنے کو کہتے ہیں۔ نتیجے میں آنے والا ترجیحی ڈیٹا ایک انعامی ماڈل کو تربیت دینے کے لیے استعمال کیا جاتا ہے جس کے نتیجے میں پروکسیمل پالیسی آپٹیمائزیشن (PPO) نامی کمک سیکھنے والے الگورتھم کے ذریعے زیر نگرانی فائن ٹیونڈ ماڈل کو تربیت دینے کے لیے استعمال کیا جاتا ہے۔ ریوارڈ ماڈلز اور کمک سیکھنے کا اطلاق ہیومن ان دی لوپ فیڈ بیک کے ساتھ بار بار کیا جاتا ہے۔

مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔

اس بلاگ پوسٹ میں، ہم واضح کرتے ہیں کہ کس طرح RLHF کو Amazon SageMaker پر مقبول، اوپن سورس کے ساتھ تجربہ کر کے انجام دیا جا سکتا ہے۔ RLHF ریپو Trlx. اپنے تجربے کے ذریعے، ہم یہ ظاہر کرتے ہیں کہ کس طرح RLHF کو عوامی طور پر دستیاب استعمال کرتے ہوئے ایک بڑے زبان کے ماڈل کی مدد یا نقصان کو بڑھانے کے لیے استعمال کیا جا سکتا ہے۔ مددگار اور بے ضرر پن (HH) ڈیٹاسیٹ Anthropic کی طرف سے فراہم کردہ. اس ڈیٹاسیٹ کا استعمال کرتے ہوئے، ہم اپنا تجربہ کرتے ہیں۔ ایمیزون سیج میکر اسٹوڈیو نوٹ بک جو ایک پر چل رہا ہے۔ ml.p4d.24xlarge مثال. آخر میں، ہم فراہم کرتے ہیں a Jupyter نوٹ بک ہمارے تجربات کو نقل کرنے کے لیے۔

ضروری شرائط کو ڈاؤن لوڈ اور انسٹال کرنے کے لیے نوٹ بک میں درج ذیل مراحل کو مکمل کریں:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

مظاہرے کا ڈیٹا درآمد کریں۔

RLHF کے پہلے مرحلے میں ایک بیس LLM کو ٹھیک کرنے کے لیے مظاہرے کا ڈیٹا اکٹھا کرنا شامل ہے۔ اس بلاگ پوسٹ کے مقصد کے لیے، ہم HH ڈیٹاسیٹ میں مظاہرے کا ڈیٹا استعمال کر رہے ہیں جیسا کہ اوپر بتایا گیا ہے۔ ہم مظاہرے کا ڈیٹا براہ راست Hugging Face ڈیٹاسیٹس پیکج سے لوڈ کر سکتے ہیں:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

بیس ایل ایل ایم کی فائن ٹیوننگ کی نگرانی کی۔

اگلا مرحلہ ایک بیس LLM کی زیر نگرانی فائن ٹیوننگ کرنا ہے۔ اس بلاگ پوسٹ میں، ہم اس بیس ماڈل کا حوالہ دیتے ہیں جس کی نگرانی کی گئی فائن ٹیوننگ صرف "SFT ماڈل" کے طور پر کی گئی ہے۔ مظاہرے کے اعداد و شمار سے سیکھنے کے لیے زیر نگرانی فائن ٹیوننگ کی ضرورت ہوتی ہے تاکہ ایک LLM ہمارے بات چیت کے کام کو اچھی طرح انجام دے اور مددگار اور بے ضرر ہونا سیکھے۔ اس پوسٹ میں، ہم عوامی طور پر دستیاب کا استعمال کرتے ہیں۔ EleutherAI/gpt-j-6b ماڈل کو گلے لگانے والے چہرے پر میزبانی کی گئی۔ ہم Trlx فریم ورک بھی استعمال کرتے ہیں جو اس ماڈل کی نگرانی میں فائن ٹیوننگ کے لیے کوڈ فراہم کرتا ہے۔

تربیت شروع کرنے کے لیے درج ذیل کمانڈز چلائیں:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

ترجیحی ڈیٹا درآمد کریں۔

جیسا کہ پچھلے خاکہ میں دکھایا گیا ہے، RLHF میں ایک اہم مرحلہ ترجیحی ڈیٹا حاصل کرنا شامل ہے۔ ترجیحی ڈیٹا مثالوں کا ایک مجموعہ ہے جو یہ ظاہر کرتا ہے کہ کس طرح انسان مدد اور بے ضرریت کے معیار کی بنیاد پر ایک مشین کی پیداوار کو دوسری مشین پر ترجیح دیتا ہے۔

درج ذیل جدول ترجیح کے تصور کو ظاہر کرتا ہے:

اپنے انعام کے ماڈل کو تربیت دیں۔

ہمارے انعامی ماڈل پر مبنی ہے۔ GPT-J-6B اور پہلے ذکر کردہ HH ڈیٹاسیٹ پر ٹھیک ہے۔ چونکہ انعام کے ماڈل کی تربیت اس پوسٹ کا فوکس نہیں ہے، اس لیے ہم پہلے سے تربیت یافتہ انعامی ماڈل استعمال کریں گے جو Trlx ریپو میں بیان کیا گیا ہے، Dahoas/gptj-rm-static. اگر آپ اپنے انعامی ماڈل کو تربیت دینا چاہتے ہیں، تو براہ کرم ملاحظہ کریں۔ GitHub پر خودکار لائبریری.

RLHF ٹریننگ

اب جب کہ ہم نے RLHF ٹریننگ کے لیے تمام مطلوبہ اجزاء حاصل کر لیے ہیں (یعنی ایک SFT ماڈل اور ایک انعامی ماڈل)، اب ہم RLHF کا استعمال کرتے ہوئے پالیسی کو بہتر بنانا شروع کر سکتے ہیں۔

ایسا کرنے کے لیے، ہم SFT ماڈل کے راستے میں ترمیم کرتے ہیں۔ examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

پھر ہم ٹریننگ کمانڈ چلاتے ہیں:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

اسکرپٹ اپنے موجودہ وزن کا استعمال کرتے ہوئے SFT ماڈل کو شروع کرتا ہے اور پھر انہیں انعامی ماڈل کی رہنمائی میں بہتر بناتا ہے، تاکہ نتیجہ میں آنے والا RLHF تربیت یافتہ ماڈل انسانی ترجیحات کے مطابق ہو۔ مندرجہ ذیل خاکہ RLHF کی تربیت کے آگے بڑھنے کے ساتھ ہی ماڈل آؤٹ پٹ کے انعامی اسکور دکھاتا ہے۔ کمک کی تربیت انتہائی غیر مستحکم ہوتی ہے، اس لیے منحنی خطوط میں اتار چڑھاؤ آتا ہے، لیکن انعام کا مجموعی رجحان اوپر کی طرف ہے، مطلب یہ ہے کہ ماڈل کی پیداوار انعام کے ماڈل کے مطابق انسانی ترجیحات کے ساتھ زیادہ سے زیادہ منسلک ہوتی جا رہی ہے۔ مجموعی طور پر، انعام 3.42-ویں تکرار پر -1e-0 سے 9.869-ویں تکرار پر -3e-3000 کی بلند ترین قدر تک بہتر ہو جاتا ہے۔

مندرجہ ذیل خاکہ RLHF چلاتے وقت ایک مثالی وکر دکھاتا ہے۔

انسانی تشخیص

RLHF کے ساتھ اپنے SFT ماڈل کو ٹھیک کرنے کے بعد، اب ہمارا مقصد فائن ٹیوننگ کے عمل کے اثرات کا جائزہ لینا ہے کیونکہ اس کا تعلق ہمارے ایسے وسیع تر ہدف سے ہے جو مددگار اور بے ضرر ہوں۔ اس مقصد کی حمایت میں، ہم RLHF کے ساتھ ماڈل کے ذریعے پیدا ہونے والے جوابات کا موازنہ SFT ماڈل کے ذریعے پیدا کردہ ردعمل سے کرتے ہیں۔ ہم HH ڈیٹاسیٹ کے ٹیسٹ سیٹ سے اخذ کردہ 100 اشارے کے ساتھ تجربہ کرتے ہیں۔ ہم پروگرامی طور پر دو جوابات حاصل کرنے کے لیے SFT اور فائن ٹیونڈ RLHF ماڈل دونوں کے ذریعے ہر پرامپٹ کو پاس کرتے ہیں۔ آخر میں، ہم انسانی تشریح کرنے والوں سے کہتے ہیں کہ سمجھی جانے والی مدد اور بے ضرریت کی بنیاد پر ترجیحی ردعمل کا انتخاب کریں۔

انسانی تشخیص کے نقطہ نظر کی وضاحت، آغاز، اور انتظام کے ذریعے کیا جاتا ہے۔ ایمیزون سیج میکر گراؤنڈ ٹروتھ پلس لیبلنگ سروس. سیج میکر گراؤنڈ ٹروتھ پلس صارفین کو اعلیٰ معیار کے، بڑے پیمانے پر تربیتی ڈیٹاسیٹ تیار کرنے کے قابل بناتا ہے تاکہ فاؤنڈیشن ماڈلز کو انسانوں کی طرح تخلیقی AI کام انجام دے سکیں۔ یہ ہنر مند انسانوں کو ماڈل آؤٹ پٹ کا جائزہ لینے کی بھی اجازت دیتا ہے تاکہ وہ انسانی ترجیحات کے مطابق ہوں۔ مزید برآں، یہ ایپلیکیشن بنانے والوں کو اس قابل بناتا ہے کہ وہ ٹریننگ ڈیٹا سیٹس کی تیاری کے دوران اپنی صنعت یا کمپنی کے ڈیٹا کا استعمال کرتے ہوئے ماڈلز کو اپنی مرضی کے مطابق بنائیں۔ جیسا کہ پچھلے بلاگ پوسٹ میں دکھایا گیا ہے۔ ("ایمیزون سیج میکر گراؤنڈ ٹروتھ پلس سے آپ کی تخلیقی AI ایپلیکیشنز کے لیے اعلیٰ معیار کے انسانی تاثرات")، سیج میکر گراؤنڈ ٹروتھ پلس ورک فلو، لیبلنگ انٹرفیس، اور ایک ہنر مند افرادی قوت فراہم کرتا ہے تاکہ ان کاموں کو کسٹمر کی جانب سے مکمل طور پر منظم سروس میں مکمل کرنے کے لیے اعلیٰ معیار کے انسانی فیڈ بیک ڈیٹا تیار کیا جا سکے۔ ہم اپنے تجربے کے انسانی تشخیص کے مرحلے کو آسان بنانے کے لیے ذیل میں دکھائے گئے UI کی طرح ایک ٹاسک انٹرفیس استعمال کرتے ہیں۔

ہم اپنے ماڈل کے تجزیے کے تجربے کو اس بات کا تعین کر کے ختم کرتے ہیں کہ دو ماڈلز میں سے کون سے - SFT یا RLHF - نے ایسے جوابات تیار کیے جن کو زیادہ ترجیح دی گئی۔ 84 میں سے 100 پرامپٹس اور جوابات کا جائزہ لیا جا رہا ہے، ہم مشاہدہ کرتے ہیں کہ RLHF کے ساتھ ٹھیک بنائے گئے ماڈل کے ردعمل کم از کم اتنے اچھے یا زیادہ ترجیحی ہیں جو SFT (RLHF سے تربیت یافتہ ماڈل ہے 30 بار زیادہ ترجیح دی گئی، 54 بار بندھے ہوئے)۔ جیسا کہ نیچے دیے گئے جدول میں دکھایا گیا ہے، ماڈل کے جوابات کا معیاری موازنہ معاون ثبوت فراہم کرتا ہے جو اس بات کی وضاحت کرتا ہے کہ کس طرح RLHF ماڈل SFT ماڈل کے مقابلے میں زیادہ مددگار اور حقیقت میں درست ثابت ہوتا ہے۔ ایک اجتماعی طور پر لیا گیا، ہمارا تجربہ بتاتا ہے کہ RLHF، درحقیقت، ماڈل کی پیداوار پیدا کرنے کی صلاحیت کو بہتر بناتا ہے جو دلچسپی کی اقدار کے ساتھ بہتر طور پر ہم آہنگ ہو۔

زہریلا کی تشخیص

یہ معلوم کرنے کے لیے کہ کس طرح RLHF ماڈل نسلوں میں زہریلے پن کو کم کرتا ہے، ہم مقبول پر بینچ مارک RealToxicityPrompt ٹیسٹ سیٹ اور 0 (زہریلے نہیں) سے 1 (زہریلے) تک مسلسل پیمانے پر زہریلا کی پیمائش کریں۔ ہم تصادفی طور پر RealToxicityPrompt ٹیسٹ سیٹ سے 1,000 ٹیسٹ کیسز کا انتخاب کرتے ہیں اور SFT اور RLHF ماڈل آؤٹ پٹس کی زہریلا کا موازنہ کرتے ہیں۔ ہماری تشخیص کے ذریعے، ہم نے پایا کہ RLHF ماڈل SFT ماڈل (اوسط 0.129) سے کم زہریلا (اوسط 0.134) حاصل کرتا ہے، جو آؤٹ پٹ نقصان کو کم کرنے میں RLHF تکنیک کی تاثیر کو ظاہر کرتا ہے۔

صاف کرو

ایک بار جب آپ مکمل کر لیں، آپ کو کلاؤڈ وسائل کو حذف کرنا چاہیے جو آپ نے اضافی فیسوں سے بچنے کے لیے بنائے ہیں۔ اگر آپ نے اس تجربے کو سیج میکر نوٹ بک میں عکس بند کرنے کا انتخاب کیا ہے، تو آپ کو صرف اس نوٹ بک کی مثال کو روکنے کی ضرورت ہے جسے آپ استعمال کر رہے تھے۔ مزید معلومات کے لیے، AWS Sagemaker Developer Guide کی دستاویزات کو "پر دیکھیں۔صاف کرو".

نتیجہ

اس پوسٹ میں، ہم نے Amazon SageMaker پر RLHF کے ساتھ بیس ماڈل، GPT-J-6B کو تربیت دینے کا طریقہ دکھایا۔ ہم نے کوڈ فراہم کیا ہے جس میں بتایا گیا ہے کہ کس طرح زیر نگرانی تربیت کے ساتھ بیس ماڈل کو ٹھیک کرنا ہے، انعامی ماڈل کو تربیت دینا، اور انسانی حوالہ کے ڈیٹا کے ساتھ RL ٹریننگ۔ ہم نے یہ ظاہر کیا کہ RLHF تربیت یافتہ ماڈل کو تشریح کرنے والوں کے ذریعہ ترجیح دی جاتی ہے۔ اب، آپ اپنی درخواست کے لیے اپنی مرضی کے مطابق طاقتور ماڈل بنا سکتے ہیں۔

اگر آپ کو اپنے ماڈلز کے لیے اعلیٰ معیار کے تربیتی ڈیٹا کی ضرورت ہے، جیسے کہ مظاہرے کا ڈیٹا یا ترجیحی ڈیٹا، ایمیزون سیج میکر آپ کی مدد کر سکتا ہے۔ ڈیٹا لیبلنگ ایپلی کیشنز بنانے اور لیبلنگ ورک فورس کا انتظام کرنے سے وابستہ غیر متفاوت بھاری لفٹنگ کو ہٹا کر۔ جب آپ کے پاس ڈیٹا ہو تو اپنا RLHF تربیت یافتہ ماڈل حاصل کرنے کے لیے یا تو SageMaker Studio Notebook ویب انٹرفیس یا GitHub ریپوزٹری میں فراہم کردہ نوٹ بک کا استعمال کریں۔

مصنفین کے بارے میں

ویفینگ چن AWS ہیومن ان دی لوپ سائنس ٹیم میں ایک اپلائیڈ سائنٹسٹ ہے۔ وہ کمپیوٹر وژن، نیچرل لینگویج پروسیسنگ اور جنریٹو AI ڈومین پر پھیلے ہوئے زمینی حقائق کے حصول میں صارفین کی مدد کرنے کے لیے مشین کی مدد سے لیبلنگ کے حل تیار کرتا ہے۔

ایرن لی ہیومین ان دی لوپ سروسز، AWS AI، Amazon میں اپلائیڈ سائنس مینیجر ہے۔ اس کی تحقیقی دلچسپیاں 3D گہری تعلیم، اور وژن اور زبان کی نمائندگی کی تعلیم ہیں۔ اس سے پہلے وہ Alexa AI میں سینئر سائنسدان، Scale AI میں مشین لرننگ کے سربراہ اور Pony.ai کے چیف سائنٹسٹ تھے۔ اس سے پہلے، وہ Uber ATG میں پرسیپشن ٹیم اور Uber میں مشین لرننگ پلیٹ فارم ٹیم کے ساتھ تھا جو خود مختار ڈرائیونگ، مشین لرننگ سسٹمز اور AI کے اسٹریٹجک اقدامات کے لیے مشین لرننگ پر کام کر رہی تھی۔ انہوں نے اپنا کیریئر بیل لیبز سے شروع کیا اور کولمبیا یونیورسٹی میں منسلک پروفیسر رہے۔ اس نے ICML'17 اور ICCV'19 میں ٹیوٹوریلز کو مشترکہ طور پر پڑھایا، اور NeurIPS، ICML، CVPR، ICCV میں خود مختار ڈرائیونگ، 3D ویژن اور روبوٹکس، مشین لرننگ سسٹم اور ایڈورسریل مشین لرننگ کے لیے مشین لرننگ پر متعدد ورکشاپس کا مشترکہ اہتمام کیا۔ انہوں نے کارنیل یونیورسٹی میں کمپیوٹر سائنس میں پی ایچ ڈی کی ہے۔ وہ ACM فیلو اور IEEE فیلو ہے۔

کوشک کلیانارمن AWS میں ہیومن ان دی لوپ سائنس ٹیم میں سافٹ ویئر ڈویلپمنٹ انجینئر ہے۔ اپنے فارغ وقت میں وہ باسکٹ بال کھیلتا ہے اور اپنے خاندان کے ساتھ وقت گزارتا ہے۔

Xiong Zhou AWS میں ایک سینئر اپلائیڈ سائنٹسٹ ہے۔ وہ Amazon SageMaker جغرافیائی صلاحیتوں کے لیے سائنس ٹیم کی قیادت کرتا ہے۔ ان کی تحقیق کے موجودہ شعبے میں کمپیوٹر ویژن اور موثر ماڈل ٹریننگ شامل ہے۔ اپنے فارغ وقت میں، وہ دوڑنا، باسکٹ بال کھیلنا اور اپنے خاندان کے ساتھ وقت گزارنا پسند کرتا ہے۔

یلیکس ولیمز AWS AI میں ایک اپلائیڈ سائنسدان ہے جہاں وہ انٹرایکٹو مشین انٹیلی جنس سے متعلق مسائل پر کام کرتا ہے۔ ایمیزون میں شامل ہونے سے پہلے، وہ ٹینیسی یونیورسٹی میں الیکٹریکل انجینئرنگ اور کمپیوٹر سائنس کے شعبہ میں پروفیسر تھے۔ وہ مائیکروسافٹ ریسرچ، موزیلا ریسرچ، اور آکسفورڈ یونیورسٹی میں تحقیقی عہدوں پر بھی فائز رہ چکے ہیں۔ انہوں نے واٹر لو یونیورسٹی سے کمپیوٹر سائنس میں پی ایچ ڈی کی ڈگری حاصل کی۔

امماr چنائے AWS ہیومن-ان-دی-لوپ سروسز کے جنرل مینیجر/ڈائریکٹر ہیں۔ اپنے فارغ وقت میں، وہ اپنے تین کتوں: Waffle، Widget اور Walker کے ساتھ مثبت تقویت بخش سیکھنے پر کام کرتا ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/