فائن ٹیوننگ API میں بہتری کو متعارف کرانا اور ہمارے حسب ضرورت ماڈلز پروگرام کو بڑھانا

اسسٹڈ فائن ٹیوننگ

گزشتہ نومبر میں DevDay میں، ہم کا اعلان کیا ہے OpenAI محققین کے ایک سرشار گروپ کے ساتھ شراکت میں، ایک مخصوص ڈومین کے لیے ماڈلز کو تربیت دینے اور بہتر بنانے کے لیے ڈیزائن کیا گیا ایک حسب ضرورت ماڈل پروگرام۔ اس کے بعد سے، ہم درجنوں گاہکوں سے ان کی اپنی مرضی کے مطابق ماڈل کی ضروریات کا جائزہ لینے کے لیے ملے ہیں اور کارکردگی کو مزید بڑھانے کے لیے اپنے پروگرام کو تیار کیا ہے۔

آج، ہم کسٹم ماڈل پروگرام کے حصے کے طور پر اپنی معاون فائن ٹیوننگ پیشکش کا باقاعدہ اعلان کر رہے ہیں۔ اسسٹڈ فائن ٹیوننگ ہماری تکنیکی ٹیموں کے ساتھ ایک باہمی کوشش ہے تاکہ فائن ٹیوننگ API سے آگے تکنیکوں کا فائدہ اٹھایا جا سکے، جیسے کہ اضافی ہائپر پیرامیٹر اور مختلف پیرامیٹر ایفیشین فائن ٹیوننگ (PEFT) طریقے بڑے پیمانے پر۔ یہ خاص طور پر ان تنظیموں کے لیے مددگار ہے جنہیں موثر تربیتی ڈیٹا پائپ لائنز، تشخیصی نظام، اور اپنے استعمال کے معاملے یا کام کے لیے ماڈل کی کارکردگی کو زیادہ سے زیادہ کرنے کے لیے مخصوص پیرامیٹرز اور طریقوں کو ترتیب دینے میں مدد کی ضرورت ہے۔

مثال کے طور پر، SK ٹیلی کامایک ٹیلی کمیونیکیشن آپریٹر جو جنوبی کوریا میں 30 ملین سبسکرائبرز کی خدمت کرتا ہے، کسٹمر سروس پر ابتدائی توجہ کے ساتھ ٹیلی کمیونیکیشن ڈومین میں ماہر بننے کے لیے ایک ماڈل کو اپنی مرضی کے مطابق بنانا چاہتا تھا۔ انہوں نے کورین زبان میں ٹیلی کام سے متعلق بات چیت میں اس کی کارکردگی کو بہتر بنانے کے لیے GPT-4 کو ٹھیک کرنے کے لیے OpenAI کے ساتھ کام کیا۔ کئی ہفتوں کے دوران، SKT اور OpenAI نے ٹیلی کام کسٹمر سروس کے کاموں میں کارکردگی میں بامعنی بہتری لائی — گفتگو کے خلاصے کے معیار میں 35% اضافہ، ارادے کی شناخت کی درستگی میں 33% اضافہ، اور اطمینان کے اسکور میں 3.6 سے 4.5 تک اضافہ کا 5) جی پی ٹی-4 سے فائن ٹیونڈ ماڈل کا موازنہ کرتے وقت۔ 

اپنی مرضی کے مطابق تربیت یافتہ ماڈل

کچھ معاملات میں، تنظیموں کو شروع سے ایک مقصد سے تیار کردہ ماڈل کو تربیت دینے کی ضرورت ہوتی ہے جو ان کے کاروبار، صنعت یا ڈومین کو سمجھتا ہو۔ مکمل طور پر اپنی مرضی کے مطابق تربیت یافتہ ماڈلز ایک مخصوص ڈومین سے نئی مڈ ٹریننگ اور پوسٹ ٹریننگ تکنیکوں کا استعمال کرتے ہوئے ماڈل ٹریننگ کے عمل کے کلیدی مراحل میں ترمیم کر کے نئے علم حاصل کرتے ہیں۔ وہ تنظیمیں جو مکمل طور پر حسب ضرورت تربیت یافتہ ماڈل کے ساتھ کامیابی دیکھتی ہیں ان کے پاس اکثر ملکیتی ڈیٹا کی بڑی مقدار ہوتی ہے—لاکھوں مثالیں یا اربوں ٹوکن—جسے وہ ماڈل کو نیا علم یا انتہائی مخصوص استعمال کے معاملات کے لیے پیچیدہ، منفرد طرز عمل سکھانے کے لیے استعمال کرنا چاہتے ہیں۔ 

مثال کے طور پر، ہاروے, وکلاء کے لیے ایک AI- مقامی قانونی ٹول، OpenAI کے ساتھ شراکت دار کیس لا کے لیے اپنی مرضی کے مطابق تربیت یافتہ بڑی زبان کا ماڈل بنائیں. جب کہ فاؤنڈیشن ماڈل استدلال میں مضبوط تھے، ان کے پاس قانونی کیس کی تاریخ اور قانونی کام کے لیے درکار دیگر علم کے وسیع علم کی کمی تھی۔ فوری انجینئرنگ، RAG، اور فائن ٹیوننگ کی جانچ کرنے کے بعد، Harvey نے ماڈل میں درکار سیاق و سباق کی گہرائی کو شامل کرنے کے لیے ہماری ٹیم کے ساتھ کام کیا — 10 بلین ٹوکن مالیت کے ڈیٹا کے برابر۔ ہماری ٹیم نے ماڈل ٹریننگ کے عمل کے ہر مرحلے میں ترمیم کی، ڈومین کے لیے مخصوص وسط تربیت سے لے کر تربیت کے بعد کے عمل کو حسب ضرورت بنانے اور ماہر اٹارنی کے تاثرات کو شامل کرنے تک۔ نتیجے میں آنے والے ماڈل نے حقائق پر مبنی جوابات میں 83% اضافہ حاصل کیا اور وکلاء نے GPT-97 کے مقابلے میں 4% وقت میں اپنی مرضی کے مطابق ماڈل کے آؤٹ پٹ کو ترجیح دی۔