انٹرپرائز ڈیٹا سے قدر پیدا کرنا: Text2SQL اور جنریٹیو AI کے لیے بہترین طریقہ کار | ایمیزون ویب سروسز

جنریٹو AI نے AI کے میدان میں بہت ساری صلاحیتیں کھول دی ہیں۔ ہم متعدد استعمالات دیکھ رہے ہیں، بشمول ٹیکسٹ جنریشن، کوڈ جنریشن، خلاصہ، ترجمہ، چیٹ بوٹس، اور بہت کچھ۔ ایسا ہی ایک شعبہ جو تیار ہو رہا ہے وہ ہے قدرتی زبان کی پروسیسنگ (NLP) کا استعمال کرتے ہوئے بدیہی SQL سوالات کے ذریعے ڈیٹا تک رسائی کے نئے مواقع کھولنے کے لیے۔ پیچیدہ تکنیکی کوڈ سے نمٹنے کے بجائے، کاروباری صارفین اور ڈیٹا تجزیہ کار سادہ زبان میں ڈیٹا اور بصیرت سے متعلق سوالات پوچھ سکتے ہیں۔ بنیادی مقصد قدرتی زبان کے متن سے ایس کیو ایل کے سوالات کو خود بخود پیدا کرنا ہے۔ ایسا کرنے کے لیے، ٹیکسٹ ان پٹ کو ایک سٹرکچرڈ نمائندگی میں تبدیل کیا جاتا ہے، اور اس نمائندگی سے، ایک SQL استفسار بنایا جاتا ہے جسے ڈیٹا بیس تک رسائی کے لیے استعمال کیا جا سکتا ہے۔

اس پوسٹ میں، ہم ایس کیو ایل (Text2SQL) کے متن کا تعارف فراہم کرتے ہیں اور استعمال کے معاملات، چیلنجز، ڈیزائن کے نمونوں اور بہترین طریقوں کو دریافت کرتے ہیں۔ خاص طور پر، ہم مندرجہ ذیل بات چیت کرتے ہیں:

• ہمیں Text2SQL کی ضرورت کیوں ہے؟
• ٹیکسٹ ٹو ایس کیو ایل کے لیے کلیدی اجزاء
• قدرتی زبان یا ٹیکسٹ ٹو ایس کیو ایل کے لیے فوری انجینئرنگ پر غور کریں۔
• اصلاح اور بہترین طریقہ کار
• فن تعمیر کے نمونے۔

ہمیں Text2SQL کی ضرورت کیوں ہے؟

آج، ڈیٹا کی ایک بڑی مقدار روایتی ڈیٹا اینالیٹکس، ڈیٹا گودام، اور ڈیٹا بیس میں دستیاب ہے، جس سے تنظیم کے ارکان کی اکثریت کے لیے سوال کرنا یا سمجھنا آسان نہیں ہوسکتا ہے۔ Text2SQL کا بنیادی مقصد استفسار کرنے والے ڈیٹا بیس کو غیر تکنیکی صارفین کے لیے مزید قابل رسائی بنانا ہے، جو اپنے سوالات کو فطری زبان میں فراہم کر سکتے ہیں۔

NLP SQL کاروباری صارفین کو ڈیٹا کا تجزیہ کرنے اور قدرتی زبان میں سوالات لکھ کر یا بول کر جوابات حاصل کرنے کے قابل بناتا ہے، جیسے کہ درج ذیل:

• "گزشتہ ماہ ہر پروڈکٹ کی کل فروخت دکھائیں"
• "کون سی مصنوعات نے زیادہ آمدنی حاصل کی؟"
• "ہر علاقے سے کتنے فیصد صارفین ہیں؟"

ایمیزون بیڈرک ایک مکمل طور پر منظم سروس ہے جو ایک ہی API کے ذریعے اعلیٰ کارکردگی کے حامل فاؤنڈیشن ماڈلز (FMs) کا انتخاب پیش کرتی ہے، جس سے Gen AI ایپلیکیشنز کو آسانی سے بنانے اور اسکیل کرنے کے قابل بنایا جا سکتا ہے۔ اس کا فائدہ اوپر دیے گئے سوالات سے ملتے جلتے سوالات پر مبنی ایس کیو ایل استفسارات پیدا کرنے اور تنظیمی ڈھانچہ والے ڈیٹا سے استفسار کرنے اور استفسار کے جوابی ڈیٹا سے قدرتی زبان کے جوابات پیدا کرنے کے لیے لیا جا سکتا ہے۔

ایس کیو ایل کے متن کے لیے کلیدی اجزاء

ٹیکسٹ ٹو ایس کیو ایل سسٹمز میں قدرتی زبان کے سوالات کو چلانے کے قابل SQL میں تبدیل کرنے کے لیے کئی مراحل شامل ہوتے ہیں:

• قدرتی زبان پروسیسنگ:
  • صارف کے ان پٹ استفسار کا تجزیہ کریں۔
  • کلیدی عناصر اور ارادے کو نکالیں۔
  • ساختی شکل میں تبدیل کریں۔
• SQL نسل:
  • ایس کیو ایل نحو میں نکالی گئی تفصیلات کا نقشہ
  • ایک درست SQL استفسار بنائیں
• ڈیٹا بیس استفسار:
  • ڈیٹا بیس پر AI سے تیار کردہ SQL استفسار چلائیں۔
  • نتائج بازیافت کریں۔
  • صارف کو نتائج واپس کریں۔

بڑی زبان کے ماڈلز (LLMs) کی ایک قابل ذکر صلاحیت کوڈ کی تخلیق ہے، بشمول ڈیٹا بیس کے لیے Structured Query Language (SQL)۔ ان LLMs کو قدرتی زبان کے سوال کو سمجھنے اور ایک آؤٹ پٹ کے طور پر متعلقہ SQL استفسار پیدا کرنے کے لیے فائدہ اٹھایا جا سکتا ہے۔ LLMs کو سیاق و سباق میں سیکھنے اور فائن ٹیوننگ کی ترتیبات کو اپنانے سے فائدہ ہوگا کیونکہ مزید ڈیٹا فراہم کیا جاتا ہے۔

درج ذیل خاکہ ایک بنیادی Text2SQL بہاؤ کی وضاحت کرتا ہے۔

ایس کیو ایل میں قدرتی زبان کے لیے فوری انجینئرنگ پر غور کریں۔

قدرتی زبان کو SQL سوالات میں ترجمہ کرنے کے لیے LLMs کا استعمال کرتے وقت پرامپٹ بہت اہم ہے، اور فوری انجینئرنگ کے لیے کئی اہم تحفظات ہیں۔

موثر فوری انجینئرنگ ایس کیو ایل سسٹمز میں قدرتی زبان کو ترقی دینے کی کلید ہے۔ واضح، سیدھے اشارے زبان کے ماڈل کے لیے بہتر ہدایات فراہم کرتے ہیں۔ سیاق و سباق فراہم کرنا کہ صارف متعلقہ ڈیٹا بیس اسکیما تفصیلات کے ساتھ SQL استفسار کی درخواست کر رہا ہے ماڈل کو ارادے کا درست ترجمہ کرنے کے قابل بناتا ہے۔ فطری زبان کے اشارے کی چند تشریح شدہ مثالوں اور متعلقہ SQL سوالات کو شامل کرنے سے ماڈل کو نحو کے مطابق آؤٹ پٹ تیار کرنے میں مدد ملتی ہے۔ مزید برآں، Retrieval Augmented Generation (RAG) کو شامل کرنا، جہاں ماڈل پروسیسنگ کے دوران اسی طرح کی مثالیں حاصل کرتا ہے، میپنگ کی درستگی کو مزید بہتر بناتا ہے۔ اچھی طرح سے ڈیزائن کیے گئے پرامپٹس جو ماڈل کو کافی ہدایات، سیاق و سباق، مثالیں، اور بازیافت بڑھاتے ہیں وہ قدرتی زبان کو SQL سوالات میں قابل اعتماد طریقے سے ترجمہ کرنے کے لیے اہم ہیں۔

ذیل میں وائٹ پیپر سے ڈیٹا بیس کی کوڈ کی نمائندگی کے ساتھ بیس لائن پرامپٹ کی ایک مثال ہے۔ بڑی زبان کے ماڈلز کی چند شاٹ ٹیکسٹ ٹو ایس کیو ایل صلاحیتوں کو بڑھانا: فوری ڈیزائن کی حکمت عملیوں پر ایک مطالعہ.

/* Given the following database schema : */
CREATE TABLE IF NOT EXISTS " gymnast " ( " Gymnast_ID " int , " Floor_Exercise_Points " real , " Pommel_Horse_Points " real , " Rings_Points " real , " Vault_Points " real , " Parallel_Bars_Points " real , " Horizontal_Bar_Points " real , " Total_Points " real , PRIMARY KEY ( " Gymnast_ID " ) , FOREIGN KEY ( " Gymnast_ID " ) REFERENCES " people " ( " People_ID " ) ) ; CREATE TABLE IF NOT EXISTS " people " ( " People_ID " int , " Name " text , " Age " real , " Height " real , " Hometown " text , PRIMARY KEY ( " People_ID " ) ) ; /* Answer the following : Return the total points of the gymnast with the lowest age .
*/ select t1 . total_points from gymnast as t1 join people as t2 on t1 . gymnast_id = t2 .
people_id order by t2 . age asc limit 1

جیسا کہ اس مثال میں واضح کیا گیا ہے، پرامپٹ پر مبنی چند شاٹ لرننگ ماڈل کو پرامپٹ میں ہی مٹھی بھر تشریح شدہ مثالوں کے ساتھ فراہم کرتی ہے۔ یہ ماڈل کے لیے قدرتی زبان اور SQL کے درمیان ہدف کی نقشہ سازی کو ظاہر کرتا ہے۔ عام طور پر، پرامپٹ میں تقریباً 2-3 جوڑے ہوتے ہیں جو قدرتی زبان کے استفسار اور مساوی SQL بیان کو ظاہر کرتے ہیں۔ یہ چند مثالیں وسیع تربیتی ڈیٹا کی ضرورت کے بغیر قدرتی زبان سے نحو کے مطابق SQL سوالات پیدا کرنے کے لیے ماڈل کی رہنمائی کرتی ہیں۔

فائن ٹیوننگ بمقابلہ پرامپٹ انجینئرنگ

ایس کیو ایل سسٹمز کے لیے قدرتی زبان کی تعمیر کرتے وقت، ہم اکثر اس بحث میں پڑ جاتے ہیں کہ آیا ماڈل کو ٹھیک کرنا صحیح تکنیک ہے یا مؤثر فوری انجینئرنگ ہی راستہ ہے۔ ضروریات کے صحیح سیٹ کی بنیاد پر دونوں طریقوں پر غور اور انتخاب کیا جا سکتا ہے:

• • عمدہ ٹیوننگ - بیس لائن ماڈل ایک بڑے جنرل ٹیکسٹ کارپس پر پہلے سے تربیت یافتہ ہے اور پھر استعمال کر سکتا ہے۔ ہدایات پر مبنی فائن ٹیوننگ، جو ٹیکسٹ-SQL پر پہلے سے تربیت یافتہ فاؤنڈیشن ماڈل کی کارکردگی کو بہتر بنانے کے لیے لیبل شدہ مثالوں کا استعمال کرتا ہے۔ یہ ماڈل کو ہدف کے کام کے مطابق ڈھالتا ہے۔ فائن ٹیوننگ ماڈل کو آخری کام پر براہ راست تربیت دیتی ہے لیکن اس کے لیے متعدد ٹیکسٹ-ایس کیو ایل مثالوں کی ضرورت ہوتی ہے۔ ٹیکسٹ ٹو ایس کیو ایل کی تاثیر کو بہتر بنانے کے لیے آپ اپنے LLM کی بنیاد پر زیر نگرانی فائن ٹیوننگ استعمال کر سکتے ہیں۔ اس کے لیے آپ کئی ڈیٹاسیٹس استعمال کر سکتے ہیں۔ مکڑی, وکی ایس کیو ایل, چیس, BIRD-SQL، یا CoSQL.
  • فوری انجینئرنگ - ماڈل کو ٹارگٹ ایس کیو ایل نحو کو اشارہ کرنے کے لیے ڈیزائن کیے گئے پرامپٹس کو مکمل کرنے کی تربیت دی جاتی ہے۔ LLMs کا استعمال کرتے ہوئے قدرتی زبان سے SQL تیار کرتے وقت، ماڈل کے آؤٹ پٹ کو کنٹرول کرنے کے لیے پرامپٹ میں واضح ہدایات فراہم کرنا اہم ہے۔ پرامپٹ میں مختلف اجزاء کی تشریح کرنے کے لیے جیسے کالموں کی طرف اشارہ کرنا، اسکیما اور پھر ہدایات دیں کہ کس قسم کا SQL بنانا ہے۔ یہ ہدایات کی طرح کام کرتی ہیں جو ماڈل کو بتاتی ہیں کہ SQL آؤٹ پٹ کو کیسے فارمیٹ کیا جائے۔ مندرجہ ذیل پرامپٹ ایک مثال دکھاتا ہے جہاں آپ ٹیبل کالم کی نشاندہی کرتے ہیں اور MySQL استفسار بنانے کی ہدایت کرتے ہیں:

Table offices, columns = [OfficeId, OfficeName]
Table employees, columns = [OfficeId, EmployeeId,EmployeeName]
Create a MySQL query for all employees in the Machine Learning Department

ٹیکسٹ ٹو ایس کیو ایل ماڈلز کے لیے ایک مؤثر طریقہ یہ ہے کہ سب سے پہلے کسی کام کے لیے مخصوص فائن ٹیوننگ کے بغیر بیس لائن ایل ایل ایم کے ساتھ شروع کیا جائے۔ اس کے بعد اچھی طرح سے تیار کردہ پرامپٹس کو ٹیکسٹ ٹو ایس کیو ایل میپنگ کو ہینڈل کرنے کے لیے بیس ماڈل کو ڈھالنے اور چلانے کے لیے استعمال کیا جا سکتا ہے۔ یہ فوری انجینئرنگ آپ کو فائن ٹیوننگ کرنے کی ضرورت کے بغیر صلاحیت پیدا کرنے کی اجازت دیتی ہے۔ اگر بیس ماڈل پر پرامپٹ انجینئرنگ کافی درستگی حاصل نہیں کرتی ہے، تو ٹیکسٹ-SQL مثالوں کے ایک چھوٹے سیٹ پر فائن ٹیوننگ کو مزید فوری انجینئرنگ کے ساتھ تلاش کیا جا سکتا ہے۔

ٹھیک ٹیوننگ اور پرامپٹ انجینئرنگ کے امتزاج کی ضرورت ہو سکتی ہے اگر صرف خام پہلے سے تربیت یافتہ ماڈل پر فوری انجینئرنگ ضروریات کو پورا نہیں کرتی ہے۔ تاہم، ابتدائی طور پر فائن ٹیوننگ کے بغیر فوری انجینئرنگ کی کوشش کرنا بہتر ہے، کیونکہ یہ ڈیٹا اکٹھا کیے بغیر تیزی سے تکرار کی اجازت دیتا ہے۔ اگر یہ مناسب کارکردگی فراہم کرنے میں ناکام ہو جاتا ہے تو، فوری انجینئرنگ کے ساتھ ساتھ فائن ٹیوننگ ایک قابل عمل اگلا مرحلہ ہے۔ یہ مجموعی نقطہ نظر کارکردگی کو زیادہ سے زیادہ کرتا ہے جب کہ اب بھی تخصیص کی اجازت دیتا ہے اگر خالصتاً فوری بنیاد پر طریقے ناکافی ہوں۔

اصلاح اور بہترین طریقہ کار

تاثیر کو بڑھانے اور وسائل کے بہترین استعمال کو یقینی بنانے کے لیے اصلاح اور بہترین طریقہ کار ضروری ہیں اور بہترین طریقے سے صحیح نتائج حاصل کیے جاتے ہیں۔ تکنیک کارکردگی کو بہتر بنانے، لاگت کو کنٹرول کرنے اور بہتر معیار کے نتائج حاصل کرنے میں مدد کرتی ہیں۔

ایل ایل ایم کا استعمال کرتے ہوئے ٹیکسٹ ٹو ایس کیو ایل سسٹم تیار کرتے وقت، اصلاح کی تکنیک کارکردگی اور کارکردگی کو بہتر بنا سکتی ہے۔ مندرجہ ذیل کچھ اہم شعبے ہیں جن پر غور کرنا ہے:

• کیشنگ - تاخیر، لاگت پر قابو پانے، اور معیاری کاری کو بہتر بنانے کے لیے، آپ ٹیکسٹ ٹو ایس کیو ایل ایل ایل ایم سے تجزیہ شدہ SQL اور تسلیم شدہ استفسارات کو کیش کر سکتے ہیں۔ یہ بار بار کے سوالات کو دوبارہ پروسیس کرنے سے گریز کرتا ہے۔
• باخبر رہنا - استفسارات کی تجزیہ، فوری شناخت، ایس کیو ایل جنریشن، اور ایس کیو ایل کے نتائج کے ارد گرد لاگ اور میٹرکس کو ٹیکسٹ ٹو ایس کیو ایل ایل ایل ایم سسٹم کی نگرانی کے لیے جمع کیا جانا چاہیے۔ یہ آپٹمائزیشن مثال کے لیے مرئیت فراہم کرتا ہے جس میں پرامپٹ کو اپ ڈیٹ کرنا یا اپ ڈیٹ کردہ ڈیٹاسیٹ کے ساتھ فائن ٹیوننگ پر نظرثانی کرنا۔
• مادی نظارے بمقابلہ میزیں۔ - میٹریلائزڈ ویوز SQL جنریشن کو آسان بنا سکتے ہیں اور عام ٹیکسٹ ٹو ایس کیو ایل سوالات کے لیے کارکردگی کو بہتر بنا سکتے ہیں۔ جدولوں کو براہ راست استفسار کرنے کا نتیجہ پیچیدہ ایس کیو ایل کی صورت میں نکل سکتا ہے اور اس کے نتیجے میں کارکردگی کے مسائل بھی شامل ہیں، بشمول اشاریہ جات جیسی کارکردگی کی تکنیکوں کی مستقل تخلیق۔ مزید برآں، آپ کارکردگی کے مسائل سے بچ سکتے ہیں جب ایک ہی ٹیبل کو ایک ہی وقت میں درخواست کے دیگر شعبوں کے لیے استعمال کیا جائے۔
• تازہ کاری ڈیٹا - ٹیکسٹ ٹو ایس کیو ایل کے سوالات کے لیے ڈیٹا کو تازہ رکھنے کے لیے میٹیریلائزڈ ویوز کو شیڈول پر ریفریش کرنے کی ضرورت ہے۔ اوور ہیڈ کو بیلنس کرنے کے لیے آپ بیچ یا انکریمنٹل ریفریش اپروچ استعمال کر سکتے ہیں۔
• مرکزی ڈیٹا کیٹلاگ - مرکزی ڈیٹا کیٹلاگ بنانا کسی تنظیم کے ڈیٹا کے ذرائع کو شیشے کے نظارے کا ایک واحد پین فراہم کرتا ہے اور LLMs کو زیادہ درست جوابات فراہم کرنے کے لیے مناسب جدولوں اور اسکیموں کو منتخب کرنے میں مدد ملے گی۔ ویکٹر سرایت مرکزی ڈیٹا کیٹلاگ سے تخلیق کردہ معلومات کے ساتھ LLM کو فراہم کی جا سکتی ہے جس میں متعلقہ اور درست SQL جوابات پیدا کرنے کی درخواست کی گئی ہے۔

کیشنگ، مانیٹرنگ، میٹریلائزڈ ویوز، شیڈول ریفریشنگ، اور مرکزی کیٹلاگ جیسے آپٹیمائزیشن کے بہترین طریقوں کو لاگو کرکے، آپ ایل ایل ایم کا استعمال کرتے ہوئے ٹیکسٹ ٹو ایس کیو ایل سسٹمز کی کارکردگی اور کارکردگی کو نمایاں طور پر بہتر بنا سکتے ہیں۔

فن تعمیر کے نمونے۔

آئیے کچھ فن تعمیر کے نمونوں کو دیکھتے ہیں جو ایس کیو ایل ورک فلو کے متن کے لیے لاگو کیے جا سکتے ہیں۔

فوری انجینئرنگ

مندرجہ ذیل خاکہ پرامپٹ انجینئرنگ کا استعمال کرتے ہوئے LLM کے ساتھ سوالات پیدا کرنے کے فن تعمیر کی وضاحت کرتا ہے۔

اس پیٹرن میں، صارف پرامپٹ پر مبنی چند شاٹ لرننگ تخلیق کرتا ہے جو ماڈل کو پرامپٹ میں ہی تشریح شدہ مثالوں کے ساتھ فراہم کرتا ہے، جس میں ٹیبل اور اسکیما کی تفصیلات اور اس کے نتائج کے ساتھ کچھ نمونے کے سوالات شامل ہیں۔ LLM AI سے تیار کردہ SQL کو واپس کرنے کے لیے فراہم کردہ پرامپٹ کا استعمال کرتا ہے، جس کی توثیق ہوتی ہے اور پھر نتائج حاصل کرنے کے لیے ڈیٹا بیس کے خلاف چلائی جاتی ہے۔ پرامپٹ انجینئرنگ کا استعمال شروع کرنے کے لیے یہ سب سے سیدھا نمونہ ہے۔ اس کے لیے آپ استعمال کر سکتے ہیں۔ ایمیزون بیڈرک or بنیاد ماڈل in ایمیزون سیج میکر جمپ اسٹارٹ.

اس پیٹرن میں، صارف ایک پرامپٹ پر مبنی چند شاٹ لرننگ تخلیق کرتا ہے جو ماڈل کو پرامپٹ میں ہی تشریح شدہ مثالوں کے ساتھ فراہم کرتا ہے، جس میں ٹیبل اور اسکیما کی تفصیلات اور اس کے نتائج کے ساتھ کچھ نمونے کے سوالات شامل ہوتے ہیں۔ LLM فراہم کردہ پرامپٹ کو AI سے تیار کردہ SQL کو واپس کرنے کے لیے استعمال کرتا ہے جس کی توثیق ہوتی ہے اور نتائج حاصل کرنے کے لیے ڈیٹا بیس کے خلاف چلائی جاتی ہے۔ پرامپٹ انجینئرنگ کا استعمال شروع کرنے کے لیے یہ سب سے سیدھا نمونہ ہے۔ اس کے لیے آپ استعمال کر سکتے ہیں۔ ایمیزون بیڈرک جو کہ ایک مکمل طور پر منظم سروس ہے جو ایک ہی API کے ذریعے سرکردہ AI کمپنیوں سے اعلیٰ کارکردگی کا مظاہرہ کرنے والے فاؤنڈیشن ماڈلز (FMs) کا انتخاب پیش کرتی ہے، اس کے ساتھ صلاحیتوں کے وسیع سیٹ کے ساتھ آپ کو جنریٹیو AI ایپلی کیشنز کو سیکیورٹی، رازداری اور ذمہ دار AI کے ساتھ بنانے کی ضرورت ہے۔ یا جمپ اسٹارٹ فاؤنڈیشن ماڈلز جو کہ مواد کی تحریر، کوڈ جنریشن، سوال جواب، کاپی رائٹنگ، خلاصہ، درجہ بندی، معلومات کی بازیافت، اور بہت کچھ جیسے استعمال کے معاملات کے لیے جدید ترین فاؤنڈیشن ماڈل پیش کرتا ہے۔

فوری انجینئرنگ اور فائن ٹیوننگ

درج ذیل خاکہ پرامپٹ انجینئرنگ اور فائن ٹیوننگ کا استعمال کرتے ہوئے ایل ایل ایم کے ساتھ سوالات پیدا کرنے کے فن تعمیر کی وضاحت کرتا ہے۔

یہ بہاؤ پچھلے پیٹرن سے ملتا جلتا ہے، جو زیادہ تر پرامپٹ انجینئرنگ پر انحصار کرتا ہے، لیکن ڈومین کے مخصوص ڈیٹاسیٹ پر فائن ٹیوننگ کے اضافی بہاؤ کے ساتھ۔ فائن ٹیونڈ LLM کا استعمال پرامپٹ کے لیے کم سے کم سیاق و سباق کی قدر کے ساتھ SQL سوالات پیدا کرنے کے لیے کیا جاتا ہے۔ اس کے لیے، آپ SageMaker JumpStart کا استعمال ڈومین کے مخصوص ڈیٹاسیٹ پر ایل ایل ایم کو ٹھیک کرنے کے لیے کر سکتے ہیں جس طرح آپ کسی بھی ماڈل کو تربیت اور تعینات کرتے ہیں۔ ایمیزون سیج میکر.

فوری انجینئرنگ اور آر اے جی

درج ذیل خاکہ پرامپٹ انجینئرنگ اور RAG کا استعمال کرتے ہوئے LLM کے ساتھ سوالات پیدا کرنے کے فن تعمیر کی وضاحت کرتا ہے۔

اس پیٹرن میں، ہم استعمال کرتے ہیں بازیافت اگمینٹڈ جنریشن ویکٹر ایمبیڈنگ اسٹورز کا استعمال کرتے ہوئے، جیسے ایمیزون ٹائٹن ایمبیڈنگز or کوہیر ایمبیڈ کریں۔، پر ایمیزون بیڈرک مرکزی ڈیٹا کیٹلاگ سے، جیسے AWS گلو ڈیٹا کیٹلاگ، ایک تنظیم کے اندر ڈیٹا بیس کا۔ ویکٹر ایمبیڈنگز کو ویکٹر ڈیٹا بیس میں محفوظ کیا جاتا ہے جیسے ایمیزون اوپن سرچ سرور لیس کے لیے ویکٹر انجن, Amazon Relational Database Service (Amazon RDS) PostgreSQL کے لیے کے ساتھ pgvector توسیع، یا ایمیزون کیندر. LLMs SQL استفسارات تخلیق کرتے وقت ٹیبلز سے صحیح ڈیٹا بیس، ٹیبلز اور کالمز کو تیزی سے منتخب کرنے کے لیے ویکٹر ایمبیڈنگز کا استعمال کرتے ہیں۔ RAG کا استعمال اس وقت مددگار ثابت ہوتا ہے جب ڈیٹا اور متعلقہ معلومات جو LLMs کے ذریعے بازیافت کرنے کی ضرورت ہوتی ہے ایک سے زیادہ علیحدہ ڈیٹا بیس سسٹمز میں محفوظ کی جاتی ہے اور LLM کو ان تمام مختلف سسٹمز سے ڈیٹا تلاش کرنے یا استفسار کرنے کے قابل ہونے کی ضرورت ہوتی ہے۔ یہ وہ جگہ ہے جہاں LLMs کو مرکزی یا متحد ڈیٹا کیٹلاگ کی ویکٹر ایمبیڈنگ فراہم کرنے کے نتیجے میں LLMs کی طرف سے واپس کی جانے والی زیادہ درست اور جامع معلومات ملتی ہیں۔

نتیجہ

اس پوسٹ میں، ہم نے اس بات پر تبادلہ خیال کیا کہ ہم کس طرح قدرتی زبان کا استعمال کرتے ہوئے انٹرپرائز ڈیٹا سے ایس کیو ایل جنریشن میں قدر پیدا کر سکتے ہیں۔ ہم نے کلیدی اجزاء، اصلاح اور بہترین طریقوں پر غور کیا۔ ہم نے بنیادی پرامپٹ انجینئرنگ سے لے کر فائن ٹیوننگ اور RAG تک فن تعمیر کے نمونے بھی سیکھے۔ مزید جاننے کے لیے رجوع کریں۔ ایمیزون بیڈرک فاؤنڈیشن ماڈلز کے ساتھ جنریٹیو AI ایپلی کیشنز کو آسانی سے بنانا اور پیمانہ کرنا

مصنفین کے بارے میں

رینڈی ڈیفاؤ AWS میں ایک سینئر پرنسپل سولیوشن آرکیٹیکٹ ہیں۔ اس نے مشی گن یونیورسٹی سے MSEE کی ڈگری حاصل کی، جہاں اس نے خود مختار گاڑیوں کے کمپیوٹر وژن پر کام کیا۔ انہوں نے کولوراڈو اسٹیٹ یونیورسٹی سے ایم بی اے بھی کیا ہے۔ رینڈی نے ٹیکنالوجی کے شعبے میں سافٹ ویئر انجینئرنگ سے لے کر پروڈکٹ مینجمنٹ تک مختلف عہدوں پر فائز ہیں۔ 2013 میں بگ ڈیٹا اسپیس میں داخل ہوا اور اس علاقے کو تلاش کرنا جاری رکھا۔ وہ ایم ایل اسپیس میں پراجیکٹس پر سرگرمی سے کام کر رہا ہے اور متعدد کانفرنسوں میں پیش کر چکا ہے جن میں اسٹراٹا اور گلوکون شامل ہیں۔

نتن یوسیبیئس AWS میں ایک Sr. Enterprise Solutions آرکیٹیکٹ ہے، جو سافٹ ویئر انجینئرنگ، انٹرپرائز آرکیٹیکچر، اور AI/ML میں تجربہ کار ہے۔ وہ تخلیقی AI کے امکانات کو تلاش کرنے کے بارے میں بہت پرجوش ہے۔ وہ صارفین کے ساتھ تعاون کرتا ہے تاکہ وہ AWS پلیٹ فارم پر اچھی طرح سے آرکیٹیکڈ ایپلی کیشنز بنانے میں ان کی مدد کرے، اور ٹیکنالوجی کے چیلنجوں کو حل کرنے اور ان کے کلاؤڈ سفر میں مدد کرنے کے لیے وقف ہے۔

ارگھیا بنرجی۔ سان فرانسسکو بے ایریا میں AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہے جو صارفین کو AWS کلاؤڈ کو اپنانے اور استعمال کرنے میں مدد کرنے پر توجہ مرکوز کرتا ہے۔ Arghya بگ ڈیٹا، ڈیٹا لیکس، سٹریمنگ، بیچ تجزیات اور AI/ML سروسز اور ٹیکنالوجیز پر توجہ مرکوز کرتا ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/generating-value-from-enterprise-data-best-practices-for-text2sql-and-generative-ai/