Amazon EU ڈیزائن اور تعمیر میں مدد کے لیے Amazon SageMaker پر ایک جنریٹو AI سے چلنے والا حل | ایمیزون ویب سروسز

Amazon EU ڈیزائن اینڈ کنسٹرکشن (Amazon D&C) ٹیم انجینئرنگ ٹیم ہے جو پورے یورپ اور MENA کے علاقے میں Amazon ویئر ہاؤسز کو ڈیزائن اور تعمیر کرتی ہے۔ پراجیکٹس کے ڈیزائن اور تعیناتی کے عمل میں ایمیزون سے متعلق انجینئرنگ کے تقاضوں اور پراجیکٹ کے مخصوص رہنما خطوط کے بارے میں معلومات کے لیے کئی قسم کی درخواستیں (RFIs) شامل ہیں۔ یہ درخواستیں بنیادی ڈیزائن کی قدروں کی سادہ بازیافت سے لے کر ویلیو انجینئرنگ کی تجاویز کا جائزہ لینے، رپورٹس کے تجزیہ اور تعمیل کی جانچ تک ہوتی ہیں۔ آج، ان سے ایک مرکزی تکنیکی ٹیم خطاب کرتی ہے، جو موضوع کے ماہرین (SMEs) پر مشتمل ہوتی ہے جو اس طرح کے انتہائی تکنیکی خصوصی سوالات کے جوابات دے سکتی ہے، اور پروجیکٹ کی زندگی کے دوران تمام اسٹیک ہولڈرز اور ٹیموں کو یہ سروس فراہم کرتی ہے۔ ٹیم ایک کی تلاش میں ہے۔ پیدا کرنے والا AI جلدی سے معلومات حاصل کرنے اور ان کے انجینئرنگ ڈیزائن کے ساتھ آگے بڑھنے کے لیے سوالوں کا جواب دینے کا حل۔ قابل ذکر بات یہ ہے کہ استعمال کے یہ کیسز صرف Amazon D&C ٹیم تک ہی محدود نہیں ہیں بلکہ پروجیکٹ کی تعیناتی میں شامل گلوبل انجینئرنگ سروسز کے وسیع دائرہ کار پر لاگو ہوتے ہیں۔ پروجیکٹ لائف سائیکل میں مصروف اسٹیک ہولڈرز اور ٹیموں کی پوری رینج تخلیقی AI سوالوں کے جواب دینے والے حل سے فائدہ اٹھا سکتی ہے، کیونکہ یہ انجینئرنگ ڈیزائن اور پروجیکٹ مینجمنٹ کے عمل کو ہموار کرتے ہوئے، اہم معلومات تک فوری رسائی کے قابل بنائے گا۔

سوالوں کے جوابات کے لیے موجودہ تخلیقی AI حل بنیادی طور پر مبنی ہیں۔ بازیافت اگمینٹڈ جنریشن (RAG)۔ آر اے جی کے ذریعے دستاویزات تلاش کرتا ہے۔ بڑی زبان کا ماڈل (LLM) ایمبیڈنگ اور ویکٹرنگ، کلسٹرنگ کے ذریعے تلاش کے نتائج سے سیاق و سباق تخلیق کرتا ہے، اور جواب حاصل کرنے کے لیے فاؤنڈیشن ماڈل کا اندازہ لگانے کے لیے سیاق و سباق کو ایک بڑھے ہوئے پرامپٹ کے طور پر استعمال کرتا ہے۔ یہ طریقہ Amazon D&C کی انتہائی تکنیکی دستاویزات کے لیے کم کارگر ہے، جس میں ایکسل شیٹس، میزیں، فہرستیں، اعداد و شمار اور تصاویر جیسے اہم غیر ساختہ ڈیٹا شامل ہیں۔ اس صورت میں، سوالوں کا جواب دینے کا کام دستاویزات کے ساتھ LLM کو ٹھیک کرنے سے بہتر کام کرتا ہے۔ فائن ٹیوننگ ماڈل کے معیار اور درستگی کو بہتر بنانے کے لیے پہلے سے تربیت یافتہ LLM کے وزن کو ایڈجسٹ اور موافق بناتی ہے۔

ان چیلنجوں سے نمٹنے کے لیے، ہم RAG اور فائن ٹیونڈ LLMs کے ساتھ ایک نیا فریم ورک پیش کرتے ہیں۔ حل استعمال کرتا ہے۔ ایمیزون سیج میکر جمپ اسٹارٹ ماڈل فائن ٹیوننگ اور انفرنس کے لیے بنیادی سروس کے طور پر۔ اس پوسٹ میں، ہم نہ صرف حل فراہم کرتے ہیں، بلکہ حقیقی دنیا کے استعمال کے معاملات میں حل کو لاگو کرتے وقت سیکھے گئے اسباق اور بہترین طریقوں پر بھی بات کرتے ہیں۔ ہم موازنہ اور اس کے برعکس کرتے ہیں کہ ہمارے استعمال کے معاملے میں مختلف طریقوں اور اوپن سورس LLMs نے کس طرح کارکردگی کا مظاہرہ کیا اور اس بات پر تبادلہ خیال کیا کہ ماڈل کی کارکردگی اور وسائل کی لاگت کی گنتی کے درمیان تجارت کو کیسے تلاش کیا جائے۔

حل جائزہ

حل میں مندرجہ ذیل اجزاء ہیں، جیسا کہ آرکیٹیکچر ڈایاگرام میں دکھایا گیا ہے:

1. مواد کا ذخیرہ - D&C مواد میں انسانی پڑھنے کے قابل دستاویزات کی ایک وسیع رینج شامل ہے جس میں مختلف فارمیٹس ہیں، جیسے کہ PDF فائلیں، ایکسل شیٹس، ویکی پیجز، اور مزید۔ اس حل میں، ہم نے ان مواد کو ایک میں محفوظ کیا۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی اور ان کو معلومات کی بازیافت کے ساتھ ساتھ تخمینہ کے لیے علم کی بنیاد کے طور پر استعمال کیا۔ مستقبل میں، ہم انٹیگریشن اڈاپٹر بنائیں گے تاکہ وہ جہاں رہتے ہیں وہاں سے براہ راست مواد تک رسائی حاصل کر سکیں۔
2. آر اے جی فریم ورک ایک عمدہ ٹیونڈ ایل ایل ایم کے ساتھ - یہ مندرجہ ذیل ذیلی اجزاء پر مشتمل ہے:
   1. RAG فریم ورک - یہ دستاویزات سے متعلقہ ڈیٹا کو بازیافت کرتا ہے، بازیافت شدہ ڈیٹا کو سیاق و سباق میں شامل کرکے پرامپٹ کو بڑھاتا ہے، اور آؤٹ پٹس تیار کرنے کے لیے اسے ٹھیک ٹیونڈ LLM میں منتقل کرتا ہے۔
   2. فائن ٹیونڈ ایل ایل ایم - ہم نے دستاویزات اور مواد سے تربیتی ڈیٹاسیٹ بنایا اور فاؤنڈیشن ماڈل پر فائن ٹیوننگ کی۔ ٹیوننگ کے بعد، ماڈل نے D&C کے مواد سے علم سیکھا، اور اس وجہ سے وہ آزادانہ طور پر سوالات کا جواب دے سکتا ہے۔
   3. فوری توثیق کا ماڈیول - یہ صارف کے پرامپٹ اور فائن ٹیوننگ کے لیے ڈیٹاسیٹ کے درمیان سیمنٹک میچ کی پیمائش کرتا ہے۔ اگر LLM اس سوال کا جواب دینے کے لیے ٹھیک ہے، تو آپ جواب کے لیے ٹھیک ٹیونڈ ماڈل کا اندازہ لگا سکتے ہیں۔ اگر نہیں، تو آپ جواب پیدا کرنے کے لیے RAG استعمال کر سکتے ہیں۔
   4. لینگ چین - ہم استعمال کرتے ہیں لینگ چین آنے والے سوالات کا جواب دینے کے لیے ایک ورک فلو بنانا۔
3. اختتامی صارف UI - یہ چیٹ بوٹ UI ہے جو صارفین کے سوالات اور استفسارات کو حاصل کرتا ہے، اور RAG اور LLM جواب سے جواب پیش کرتا ہے۔

اگلے حصوں میں، ہم یہ ظاہر کرتے ہیں کہ کس طرح RAG ورک فلو تخلیق کیا جائے اور عمدہ ماڈلز کیسے بنائے جائیں۔

سیج میکر جمپ اسٹارٹ کے فاؤنڈیشن ماڈلز کے ساتھ RAG

RAG پہلے سے تربیت یافتہ گھنے بازیافت اور ترتیب سے ترتیب (seq2seq) فاؤنڈیشن ماڈلز کی طاقتوں کو یکجا کرتا ہے۔ Amazon D&C دستاویزات سے سوال کے جواب کے لیے، ہمیں درج ذیل کو پہلے سے تیار کرنے کی ضرورت ہے:

• ایل ایل ایم ایمبیڈنگ ماڈل کا استعمال کرتے ہوئے دستاویزات کو ایمبیڈ کرنا اور انڈیکس کرنا - ہم نے متعدد دستاویزات کو دستاویز کے باب اور سیکشن کے ڈھانچے کی بنیاد پر چھوٹے حصوں میں تقسیم کیا، انڈیکس بنانے کے لیے SageMaker JumpStart پر Amazon GPT-J-6B ماڈل کے ساتھ تجربہ کیا، اور انڈیکسز کو FAISS ویکٹر اسٹور میں اسٹور کیا۔
• پرامپٹس سے ردعمل پیدا کرنے کے لیے پہلے سے تربیت یافتہ فاؤنڈیشن ماڈل - ہم نے SageMaker JumpStart پر Flan-T5 XL، Flan-T5 XXL، اور Falcon-7B ماڈلز کے ساتھ تجربہ کیا۔

سوالوں کے جواب دینے کے عمل کو LangChain کے ذریعے لاگو کیا جاتا ہے، جو کہ زبان کے ماڈلز سے چلنے والی ایپلیکیشنز تیار کرنے کا فریم ورک ہے۔ سلسلہ میں ورک فلو مندرجہ ذیل مراحل پر مشتمل ہے:

1. صارف سے ایک سوال حاصل کریں۔
2. کے ذریعے اشاریہ شدہ دستاویزات پر سیمنٹک تلاش کریں۔ FAISS K سب سے زیادہ متعلقہ دستاویز کے ٹکڑوں کو حاصل کرنے کے لیے۔
3. پرامپٹ ٹیمپلیٹ کی وضاحت کریں، جیسے

   """Answer based on context:nn{context}nn{question}"""

4. بازیافت شدہ دستاویز کے ٹکڑوں کو اس طرح بڑھا دیں۔ {context} اور صارف کا سوال بطور {question} پرامپٹ میں
5. تعمیر شدہ زیرو شاٹ پرامپٹ کے ساتھ فاؤنڈیشن ماڈل کا اشارہ کریں۔
6. ماڈل آؤٹ پٹ صارف کو واپس کریں۔

ہم نے Amazon D&C کی ضروریات اور وضاحتوں پر 125 سوالات کا تجربہ کیا، اور RAG نے کچھ سوالات کے لیے اچھا جواب دیا۔ مندرجہ ذیل مثال میں، Flan-T5-XXL ماڈل کے ساتھ RAG نے دستاویزات کے صحیح حصوں سے درست جواب فراہم کیا۔

س	پینے کے فوارے اور واٹر کولر کے لیے پلمبنگ کی ضروریات کیا ہیں؟ (سیکشن 22 47 00)
متوقع جواب	ڈویلپر گودام میں کام کرنے والے ہر ٹوائلٹ بلاک کے داخلی دروازے سے متصل گودام کی دیوار کی جگہ پر اور لاکر روم کے ٹوائلٹ بلاک سے متصل مساوی جگہ پر پانی ڈسپنسنگ بارز فراہم کرے گا۔ یونٹس ایمیزون کے معیار کے مطابق ہوں گے۔ انسٹالیشن سے پہلے حتمی نمبر اور جگہ کا تعین ایمیزون کے ساتھ کیا جانا چاہیے۔ ہر مقام پر کم از کم دو یونٹ ٹھنڈا اور کمرے کے درجہ حرارت کا پانی فراہم کیا جائے۔ واٹر کولر یا واٹر بارز - ڈیولپر پوری سہولت میں ریموٹ واٹر کولرز یا واٹر بارز کے لیے ضرورت کے مطابق پینے کے قابل پانی کی فراہمی فراہم کرے گا۔ ڈویلپر واٹر بارز کے لیے بریک رومز میں ضروری پانی کے پوائنٹس، نکاسی آب اور کوئی بھی برقی خدمات فراہم کرے گا جو کیٹرنگ کنٹریکٹر فراہم کرے گا۔
RAG جواب (GPT-J-6B Flan-T5-XXL کے ساتھ سرایت کرنا)	ڈویلپر گودام میں کام کرنے والے ہر ٹوائلٹ بلاک کے داخلی دروازے سے متصل گودام کی دیوار کی جگہ پر اور لاکر روم کے ٹوائلٹ بلاک سے متصل مساوی جگہ پر پانی ڈسپنسنگ بارز فراہم کرے گا۔ یونٹس ایمیزون کے معیار کے مطابق ہوں گے۔ انسٹالیشن سے پہلے حتمی نمبر اور جگہ کا تعین ایمیزون کے ساتھ کیا جانا چاہیے۔ ہر مقام پر کم از کم دو یونٹ ٹھنڈا اور کمرے کے درجہ حرارت کا پانی فراہم کیا جائے۔ واٹر کولر یا واٹر بارز - ڈیولپر پوری سہولت میں ریموٹ واٹر کولرز یا واٹر بارز کے لیے ضرورت کے مطابق پینے کے قابل پانی کی فراہمی فراہم کرے گا۔ ڈویلپر واٹر بارز کے لیے بریک رومز میں ضروری پانی کے پوائنٹس، نکاسی آب اور کوئی بھی برقی خدمات فراہم کرے گا جو کیٹرنگ کنٹریکٹر فراہم کرے گا۔

تاہم، ہم نے مشاہدہ کیا کہ RAG ان سوالات کے واضح اور کرکرا جواب نہیں دیتا جو زیادہ مخصوص اور انتہائی تکنیکی ہیں، جیسے کہ رہنما خطوط، نمبرز اور اعداد و شمار۔ جیسا کہ مندرجہ ذیل مثال میں دکھایا گیا ہے، جب تکنیکی جہت کی پیداوار کی توقع کی جاتی ہے، RAG مخصوص جواب فراہم نہیں کر سکتا، بنیادی طور پر اس لیے کہ سرایت کرنے اور تلاش کرنے کا عمل ایک مختصر سیاق و سباق واپس نہیں کر سکتا۔

س	P2 فرسٹ فلور لیول کنکریٹ کے لیے فلور ہائٹس کی کیا ضرورت ہے؟
متوقع جواب	7,50 میٹر اے ایف ایف ایل
RAG جواب (GPT-J-6B Flan-T5-XXL کے ساتھ سرایت کرنا)	P2 فرسٹ فلور لیول کنکریٹ

اس کو بہتر کرنے کی ضرورت ہے کیونکہ اس استعمال کے معاملے میں نتائج کی تنقید کی وجہ سے فریب کو برداشت نہیں کیا جاتا ہے۔

سیج میکر پر ایل ایل ایم کو ٹھیک بنائیں

اس چیلنج سے نمٹنے اور رسپانس کے معیار کو بہتر بنانے کے لیے، ہم سوال کے جواب دینے والے کام کے لیے دستاویزات کا استعمال کرتے ہوئے LLM ماڈل کو ٹھیک کرنے کے لیے ایک نیا طریقہ اختیار کرتے ہیں۔ ماڈل کو براہ راست دستاویزات سے متعلقہ علم سیکھنے کی تربیت دی جائے گی۔ RAG کے برعکس، یہ اس بات پر منحصر نہیں ہے کہ آیا دستاویزات کو صحیح طریقے سے سرایت اور انڈیکس کیا گیا ہے، اور آیا سیمنٹک سرچ الگورتھم ویکٹر ڈیٹا بیس سے انتہائی متعلقہ مواد کو واپس کرنے کے لیے کافی موثر ہے۔

فائن ٹیوننگ کے لیے ٹریننگ ڈیٹاسیٹ تیار کرنے کے لیے، ہم D&C دستاویزات سے معلومات نکالتے ہیں اور ڈیٹا کو درج ذیل فارمیٹ میں بناتے ہیں:

• ہدایات - کام کی وضاحت کرتا ہے اور جزوی اشارہ فراہم کرتا ہے۔
• ان پٹ - مزید سیاق و سباق فراہم کرتا ہے۔
• ریسپانس - ماڈل کی پیداوار

تربیتی عمل کے دوران، ہم ہر حصے میں ایک انسٹرکشن کلید، ان پٹ کلید، اور رسپانس کلید شامل کرتے ہیں، انہیں ٹریننگ پرامپٹ میں جوڑتے ہیں، اور اسے ٹوکنائز کرتے ہیں۔ اس کے بعد ڈیٹا کو سیج میکر میں ایک ٹرینر کو فیڈ کیا جاتا ہے تاکہ عمدہ ماڈل تیار کیا جا سکے۔

تربیت کے عمل کو تیز کرنے اور کمپیوٹ کے وسائل کی لاگت کو کم کرنے کے لیے، ہم نے کام کیا۔ پیرامیٹر موثر فائن ٹیوننگ (PEFT) کے ساتھ کم درجہ کی موافقت (LoRA) تکنیک۔ PEFT ہمیں صرف اضافی ماڈل پیرامیٹرز کی ایک چھوٹی سی تعداد کو ٹھیک کرنے کی اجازت دیتا ہے، اور LoRA کم درجے کے سڑنے کے ذریعے دو چھوٹے میٹرکس کے ساتھ وزن کی تازہ کاریوں کی نمائندگی کرتا ہے۔ 8 بٹ کوانٹائزیشن پر PEFT اور LoRA کے ساتھ (ایک کمپریشن آپریشن جو ماڈل کے میموری فوٹ پرنٹ کو مزید کم کرتا ہے اور ٹریننگ اور انفرنس کی کارکردگی کو تیز کرتا ہے)، ہم g125dn.x مثال کے اندر 4 سوال جواب کے جوڑوں کی تربیت کو فٹ کرنے کے قابل ہیں۔ ایک GPU کے ساتھ۔

فائن ٹیوننگ کی تاثیر کو ثابت کرنے کے لیے، ہم نے SageMaker پر متعدد LLMs کے ساتھ تجربہ کیا۔ ہم نے چھوٹے سائز کے پانچ ماڈل منتخب کیے: Bloom-7B، Flan-T5-XL، GPT-J-6B، اور Falcon-7B SageMaker JumpStart پر، اور Dolly-3B سے۔ گلے لگانے والا چہرہ سیج میکر پر۔

8 بٹ LoRA پر مبنی تربیت کے ذریعے، ہم قابل تربیت پیرامیٹرز کو ہر ماڈل کے مکمل وزن کے 5% سے زیادہ تک کم کرنے کے قابل ہیں۔ تربیت میں 10-20 ادوار کا وقت لگتا ہے، جیسا کہ درج ذیل تصویر میں دکھایا گیا ہے۔ ہر ماڈل کے لیے، فائن ٹیوننگ کے عمل g4dn.x مثال کے ایک واحد GPU پر فٹ ہو سکتے ہیں، جس نے کمپیوٹ وسائل کے اخراجات کو بہتر بنایا۔

سیج میکر پر تعینات عمدہ ماڈل کا اندازہ لگائیں۔

ہم نے RAG فریم ورک کے ساتھ Fine-tuned ماڈل کو SageMaker پر ایک واحد GPU g4dn.x نوڈ میں تعینات کیا اور 125 سوالات کے نتائج کا موازنہ کیا۔ ماڈل کی کارکردگی کو دو میٹرکس سے ماپا جاتا ہے۔ ایک ہے۔ RED (Recal-Oriented Understudy for Gisting Evaluation) سکور، ایک مقبول قدرتی زبان پروسیسنگ (NLP) ماڈل کی تشخیص کا طریقہ جو حوالہ کے جملے میں الفاظ کی کل گنتی کے تحت مماثل الفاظ کی مقدار کا حساب لگاتا ہے۔ دوسرا ہے معنوی (متن) مماثلت سکور، جو کہ ٹرانسفارمر ماڈل کا استعمال کرتے ہوئے ان کی ایمبیڈنگ حاصل کرنے کے لیے جملوں کو انکوڈ کرنے کے لیے، پھر ان کے مماثلت کے سکور کی گنتی کے لیے کوزائن مماثلت میٹرک کا استعمال کر کے متن کے معنی کے دو ٹکڑوں کے معنی کتنے قریب ہیں۔ تجربات سے، ہم دیکھ سکتے ہیں کہ یہ دونوں میٹرکس سوالات کے جوابات کے معیار کو پیش کرنے میں کافی حد تک مطابقت رکھتے ہیں۔

مندرجہ ذیل جدول اور اعداد و شمار میں، ہم دیکھ سکتے ہیں کہ Falcon-7B ماڈل جواب دینے کا بہترین معیار فراہم کرتا ہے، اور Flan-T5-XL اور Dolly-3B ماڈل بھی درست ردعمل پیدا کرتے ہیں۔

.	RAG_GPT-J-6B_Flan-T5-XL	RAG_GPT-J-6B_Flan-T5-XXL	فائن ٹیونڈ بلوم-7B1	فائن ٹیونڈ Flan-T5-XL	ٹھیک ٹیونڈ GPT-J-6B	فائن ٹیونڈ ڈولی -3 بی	فائن ٹیونڈ Falcon-7B
روج سکور	0.1938	0.2747	0.3914	0.4977	0.3740	0.6991	0.9459
سیمنٹک مماثلت کا اسکور	0.4121	0.4786	0.5666	0.7205	0.5414	0.8147	0.9774

مندرجہ ذیل ماڈلز سے ایک مثال جواب ہے۔ Flan-T5-XL ماڈل کے ساتھ RAG نے ایک انتہائی فریب سے بھرا ردعمل فراہم کیا، جبکہ RAG کی طرف سے بڑے Flan-T5-XXL ماڈل کے ساتھ ردعمل زیادہ متعلقہ تھا لیکن پھر بھی مکمل متوقع پیغام کا احاطہ کرنے کے قابل نہیں تھا۔ تقابلی طور پر، تمام عمدہ ماڈلز (Flan-T5-XL، Dolly-3B، اور Falcon-7B) متوقع جواب کے طور پر انتہائی درست جواب فراہم کرنے کے قابل تھے۔

س	پوسٹ گرائنڈنگ سیلر/ہارڈینر کی ضروریات کیا ہیں؟ (TS0004 – سیکشن 2.8)
متوقع جواب	اے آر فلور پر پیسنے/سینڈنگ کے طریقہ کار کے بعد لیتھیم پر مبنی سیلر/ہارڈینر استعمال کیا جائے گا۔ براہ کرم TGC /0007 AR Floor SCA طریقہ کار سے رجوع کریں۔ متبادلات پر غور کیا جائے گا لیکن ایمیزون اور فلورنگ کنسلٹنٹ کے ذریعہ منظور ہونا ضروری ہے۔
RAG سے جواب (GPT-J-6B Flan-T5-XL کے ساتھ سرایت کرنا)	پینیٹریٹنگ کنکریٹ ہارڈنر پر پری پیور میٹنگ میں بحث کی جانی چاہیے اور فلورنگ کنسلٹنٹ اور ایمیزون سے اس کی منظوری ہونی چاہیے۔
RAG سے جواب (GPT-J-6B Flan-T5-XXL کے ساتھ سرایت کرنا)	مجوزہ کمپاؤنڈ پر بحث کرنے سے پہلے کی میٹنگ میں ہونا چاہیے اور اسے فلورنگ کنسلٹنٹ اور ایمیزون سے منظور کیا جانا چاہیے۔ متبادلات پر غور کیا جائے گا لیکن ایمیزون اور فلورنگ کنسلٹنٹ کے ذریعہ منظور ہونا ضروری ہے۔
ٹھیک ٹیونڈ Flan-T5-XL سے جواب	اے آر فلور پر پیسنے/سینڈنگ کے طریقہ کار کے بعد لیتھیم پر مبنی سیلر/ہارڈینر استعمال کیا جائے گا۔ براہ کرم TGC /0007 AR Floor SCA طریقہ کار سے رجوع کریں۔ متبادلات پر غور کیا جائے گا لیکن ایمیزون اور فلورنگ کنسلٹنٹ کے ذریعہ منظور ہونا ضروری ہے۔
فائن ٹیونڈ ڈولی 3B سے جواب	اے آر فلور پر پیسنے/سینڈنگ کے طریقہ کار کے بعد لیتھیم پر مبنی سیلر/ہارڈینر استعمال کیا جائے گا۔ براہ کرم TGC /0007 AR Floor SCA طریقہ کار سے رجوع کریں۔ متبادلات پر غور کیا جائے گا لیکن ایمیزون اور فلورنگ کنسلٹنٹ کے ذریعہ منظور ہونا ضروری ہے۔
فائن ٹیونڈ Falcon-7B سے جواب	اے آر فلور پر پیسنے/سینڈنگ کے طریقہ کار کے بعد لیتھیم پر مبنی سیلر/ہارڈینر استعمال کیا جائے گا۔ براہ کرم TGC /0007 AR Floor SCA طریقہ کار سے رجوع کریں۔ متبادلات پر غور کیا جائے گا لیکن ایمیزون اور فلورنگ کنسلٹنٹ کے ذریعہ منظور ہونا ضروری ہے۔

حل پروٹو ٹائپ اور نتیجہ

ہم نے پیش کردہ فن تعمیر کی بنیاد پر ایک پروٹو ٹائپ تیار کیا اور نتیجہ کو ظاہر کرنے کے لیے تصور کا ثبوت دیا۔ RAG فریم ورک اور فائن ٹیونڈ LLM دونوں سے فائدہ اٹھانے کے لیے، اور فریب کو کم کرنے کے لیے، ہم پہلے آنے والے سوال کو معنوی طور پر درست کرتے ہیں۔ اگر سوال فائن ٹیوننگ کے تربیتی اعداد و شمار میں شامل ہے (فائن ٹیونڈ ماڈل کے پاس پہلے سے ہی اعلیٰ معیار کا جواب فراہم کرنے کا علم ہے)، تو ہم فائن ٹیونڈ ماڈل کا اندازہ لگانے کے لیے فوری طور پر سوال کی ہدایت کرتے ہیں۔ بصورت دیگر، سوال LangChain کے ذریعے جاتا ہے اور RAG سے جواب ملتا ہے۔ درج ذیل خاکہ اس ورک فلو کو واضح کرتا ہے۔

ہم نے 166 سوالات کے ٹیسٹ ڈیٹاسیٹ کے ساتھ فن تعمیر کا تجربہ کیا، جس میں ماڈل کو ٹھیک کرنے کے لیے استعمال ہونے والے 125 سوالات اور ایک اضافی 41 سوالات ہیں جن کے ساتھ عمدہ ماڈل کو تربیت نہیں دی گئی تھی۔ ایمبیڈنگ ماڈل اور فائن ٹیونڈ Falcon-7B ماڈل کے ساتھ RAG فریم ورک نے 0.7898 کے ROUGE سکور اور 0.8781 کے سیمنٹک مماثلت کے اسکور کے ساتھ اعلیٰ معیار کے نتائج فراہم کیے ہیں۔ جیسا کہ درج ذیل مثالوں میں دکھایا گیا ہے، فریم ورک صارفین کے سوالات کے جوابات پیدا کرنے کے قابل ہے جو D&C دستاویزات کے ساتھ اچھی طرح سے مماثل ہیں۔

درج ذیل تصویر ہماری پہلی مثال دستاویز ہے۔

مندرجہ ذیل اسکرین شاٹ بوٹ آؤٹ پٹ کو ظاہر کرتا ہے۔

بوٹ ٹیبل یا فہرست سے ڈیٹا کے ساتھ جواب دینے اور متعلقہ سوالات کے اعداد و شمار ظاہر کرنے کے قابل بھی ہے۔ مثال کے طور پر، ہم درج ذیل دستاویز کا استعمال کرتے ہیں۔

مندرجہ ذیل اسکرین شاٹ بوٹ آؤٹ پٹ کو ظاہر کرتا ہے۔

ہم ایک دستاویز کو اعداد و شمار کے ساتھ بھی استعمال کر سکتے ہیں، جیسا کہ درج ذیل مثال میں ہے۔

مندرجہ ذیل اسکرین شاٹ بوٹ آؤٹ پٹ کو متن اور اعداد و شمار کے ساتھ دکھاتا ہے۔

مندرجہ ذیل اسکرین شاٹ بوٹ آؤٹ پٹ کو صرف اعداد و شمار کے ساتھ دکھاتا ہے۔

سیکھے گئے اسباق اور بہترین عمل

حل کے ڈیزائن اور متعدد LLMs کے ساتھ تجربات کے ذریعے، ہم نے سیکھا کہ تخلیقی AI حل میں سوال کے جواب دینے والے کام کے معیار اور کارکردگی کو کیسے یقینی بنایا جائے۔ جب آپ اپنے سوال کا جواب دینے والے استعمال کے معاملات میں حل کا اطلاق کرتے ہیں تو ہم درج ذیل بہترین طریقوں کی تجویز کرتے ہیں:

• RAG انجینئرنگ کے سوالات کے معقول جوابات فراہم کرتا ہے۔ کارکردگی کا بہت زیادہ انحصار دستاویز کی سرایت اور اشاریہ سازی پر ہے۔ انتہائی غیر ساختہ دستاویزات کے لیے، آپ کو LLM ایمبیڈنگ اور انڈیکسنگ سے پہلے دستاویزات کو صحیح طریقے سے تقسیم کرنے اور بڑھانے کے لیے کچھ دستی کام کی ضرورت پڑ سکتی ہے۔
• RAG فائنل آؤٹ پٹ کا تعین کرنے کے لیے انڈیکس کی تلاش اہم ہے۔ آپ کو اچھی سطح کی درستگی حاصل کرنے کے لیے تلاش کے الگورتھم کو مناسب طریقے سے ٹیون کرنا چاہیے اور اس بات کو یقینی بنانا چاہیے کہ RAG مزید متعلقہ ردعمل پیدا کرے۔
• فائن ٹیونڈ ایل ایل ایم انتہائی تکنیکی اور غیر ساختہ دستاویزات سے اضافی علم سیکھنے کے قابل ہوتے ہیں، اور تربیت کے بعد دستاویزات پر انحصار کیے بغیر ماڈل کے اندر علم رکھتے ہیں۔ یہ خاص طور پر استعمال کے معاملات میں مفید ہے جہاں فریب کو برداشت نہیں کیا جاتا ہے۔
• ماڈل رسپانس کے معیار کو یقینی بنانے کے لیے، فائن ٹیوننگ کے لیے ٹریننگ ڈیٹاسیٹ فارمیٹ کو مناسب طریقے سے بیان کردہ، ٹاسک کے لیے مخصوص پرامپٹ ٹیمپلیٹ کا استعمال کرنا چاہیے۔ انسانی جیسا ردعمل پیدا کرنے کے لیے انفرنس پائپ لائن کو اسی ٹیمپلیٹ کی پیروی کرنی چاہیے۔
• LLMs اکثر کافی قیمت کے ٹیگ کے ساتھ آتے ہیں اور کافی وسائل اور بہت زیادہ اخراجات کا مطالبہ کرتے ہیں۔ آپ PEFT اور LoRA اور کوانٹائزیشن تکنیک کا استعمال کر سکتے ہیں تاکہ کمپیوٹ پاور کی طلب کو کم کیا جا سکے اور اعلی تربیت اور تخمینہ لاگت سے بچ سکیں۔
• سیج میکر جمپ سٹارٹ فائن ٹیوننگ، انفرنس اور تعیناتی کے لیے پہلے سے تربیت یافتہ LLMs تک آسانی سے رسائی فراہم کرتا ہے۔ یہ آپ کے تخلیقی AI حل کے ڈیزائن اور نفاذ کو نمایاں طور پر تیز کر سکتا ہے۔

نتیجہ

سیج میکر پر آر اے جی فریم ورک اور فائن ٹیونڈ ایل ایل ایم کے ساتھ، ہم صارفین کے سوالات اور اشارے پر انسانوں کی طرح کے جوابات فراہم کرنے کے قابل ہیں، اس طرح صارفین کو انتہائی غیر منظم اور غیر منظم دستاویزات کی ایک بڑی مقدار سے درست معلومات حاصل کرنے کے قابل بناتے ہیں۔ ہم حل تیار کرنا جاری رکھیں گے، جیسے کہ پچھلے تعاملات سے اعلیٰ سطحی سیاق و سباق کا جواب فراہم کرنا، اور انسانی تاثرات سے ماڈلز کو مزید بہتر بنانا۔

آپ کی رائے ہمیشہ خوش آئند ہے۔ براہ کرم تبصرے کے سیکشن میں اپنے خیالات اور سوالات چھوڑیں۔

---

مصنفین کے بارے میں

یونفی بائی AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے۔ AI/ML، ڈیٹا سائنس اور تجزیات میں پس منظر کے ساتھ، Yunfei صارفین کو کاروباری نتائج فراہم کرنے کے لیے AWS سروسز کو اپنانے میں مدد کرتا ہے۔ وہ AI/ML اور ڈیٹا اینالیٹکس سلوشنز ڈیزائن کرتا ہے جو پیچیدہ تکنیکی چیلنجوں پر قابو پاتے ہیں اور اسٹریٹجک مقاصد کو آگے بڑھاتے ہیں۔ Yunfei نے الیکٹرانک اور الیکٹریکل انجینئرنگ میں پی ایچ ڈی کی ہے۔ کام سے باہر، یونفی کو پڑھنے اور موسیقی کا شوق ہے۔

برک گوزلوکلو بوسٹن، ایم اے میں واقع ایک پرنسپل ایم ایل اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے۔ برک کے پاس سمولیشن ماڈلنگ، ڈیٹا سائنس، اور ایم ایل ٹیکنالوجی میں صنعت کا 15 سال سے زیادہ کا تجربہ ہے۔ وہ عالمی صارفین کو اپنے کاروباری مقاصد کے حصول کے لیے AWS ٹیکنالوجیز اور خاص طور پر AI/ML سلوشنز کو اپنانے میں مدد کرتا ہے۔ برک نے METU سے ایرو اسپیس انجینئرنگ میں پی ایچ ڈی، سسٹم انجینئرنگ میں ایم ایس، اور کیمبرج، ایم اے میں ایم آئی ٹی سے سسٹم ڈائنامکس میں پوسٹ ڈاک۔ بورک یوگا اور مراقبہ کے بارے میں پرجوش ہیں۔

ایلاد ڈویک ایمیزون میں کنسٹرکشن ٹیکنالوجی مینیجر ہے۔ تعمیراتی اور پراجیکٹ مینجمنٹ میں پس منظر کے ساتھ، ایلاد ٹیموں کو تعمیراتی منصوبوں کی فراہمی کے لیے نئی ٹیکنالوجیز اور ڈیٹا پر مبنی عمل کو اپنانے میں مدد کرتا ہے۔ وہ ضروریات اور حل کی نشاندہی کرتا ہے، اور مخصوص صفات کی ترقی میں سہولت فراہم کرتا ہے۔ ایلاد نے سٹرکچرل انجینئرنگ میں ایم بی اے اور بی ایس سی کیا ہے۔ کام سے باہر، ایلاد کو یوگا، لکڑی کا کام کرنا، اور اپنے خاندان کے ساتھ سفر کرنا پسند ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/a-generative-ai-powered-solution-on-amazon-sagemaker-to-help-amazon-eu-design-and-construction/