Amazon SageMaker جمپ سٹارٹ کے ساتھ فائن ٹیون اور Mistral 7B کی تعیناتی | ایمیزون ویب سروسز

آج، ہم Mistral 7B ماڈل کا استعمال کرتے ہوئے ٹھیک ٹیون کرنے کی صلاحیت کا اعلان کرتے ہوئے پرجوش ہیں۔ ایمیزون سیج میکر جمپ اسٹارٹ. اب آپ سیج میکر جمپ سٹارٹ پر Mistral ٹیکسٹ جنریشن ماڈل کو ٹھیک ٹیون اور تعینات کر سکتے ہیں ایمیزون سیج میکر اسٹوڈیو کچھ کلکس کے ساتھ یا SageMaker Python SDK کا استعمال کرتے ہوئے UI۔

فاؤنڈیشن ماڈل تخلیقی کاموں کے ساتھ بہت اچھی کارکردگی کا مظاہرہ کرتے ہیں، متن اور خلاصے تیار کرنے، سوالات کے جوابات دینے، تصاویر اور ویڈیوز بنانے تک۔ ان ماڈلز کی عمومی صلاحیتوں کے باوجود، اکثر ایسے کیسز استعمال ہوتے ہیں جن میں بہت مخصوص ڈومین ڈیٹا ہوتا ہے (جیسے کہ صحت کی دیکھ بھال یا مالیاتی خدمات)، اور یہ ماڈل ان استعمال کے معاملات کے لیے اچھے نتائج فراہم کرنے کے قابل نہیں ہو سکتے ہیں۔ اس کے نتیجے میں ان جنریٹو AI ماڈلز کو استعمال کے کیس کے ساتھ مخصوص اور ڈومین سے متعلق مخصوص ڈیٹا پر مزید فائن ٹیوننگ کی ضرورت ہوتی ہے۔

اس پوسٹ میں، ہم دکھاتے ہیں کہ سیج میکر جمپ اسٹارٹ کا استعمال کرتے ہوئے Mistral 7B ماڈل کو کیسے ٹھیک کیا جائے۔

Mistral 7B کیا ہے؟

Mistral 7B ایک فاؤنڈیشن ماڈل ہے جسے Mistral AI نے تیار کیا ہے، جو انگریزی متن اور کوڈ بنانے کی صلاحیتوں کو سپورٹ کرتا ہے۔ یہ متعدد استعمال کے معاملات کی حمایت کرتا ہے، جیسے متن کا خلاصہ، درجہ بندی، متن کی تکمیل، اور کوڈ کی تکمیل۔ ماڈل کی حسب ضرورت کو ظاہر کرنے کے لیے، Mistral AI نے چیٹ کے استعمال کے کیسز کے لیے Mistral 7B-Instruct ماڈل بھی جاری کیا ہے، جو کہ عوامی طور پر دستیاب گفتگو کے ڈیٹاسیٹس کی ایک قسم کا استعمال کرتے ہوئے ٹھیک بنایا گیا ہے۔

Mistral 7B ایک ٹرانسفارمر ماڈل ہے اور تیز تر اندازہ (کم لیٹنسی) حاصل کرنے اور لمبے تسلسل کو سنبھالنے کے لیے گروپ کردہ سوال کی توجہ اور سلائیڈنگ ونڈو توجہ کا استعمال کرتا ہے۔ گروپ شدہ استفسار کی توجہ ایک ایسا فن تعمیر ہے جو کثیر استفسار اور کثیر الجہتی توجہ کو یکجا کرتا ہے تاکہ ملٹی ہیڈ توجہ کے قریب آؤٹ پٹ کوالٹی اور کثیر استفسار کی توجہ کے مقابلے کی رفتار کو حاصل کیا جا سکے۔ سلائیڈنگ ونڈو توجہ کا طریقہ ایک ٹرانسفارمر ماڈل کی متعدد سطحوں کا استعمال کرتا ہے تاکہ پہلے آنے والی معلومات پر توجہ مرکوز کی جا سکے، جس سے ماڈل کو سیاق و سباق کے طویل حصے کو سمجھنے میں مدد ملتی ہے۔ . Mistral 7B میں 8,000 ٹوکن سیاق و سباق کی لمبائی ہے، کم تاخیر اور اعلی تھرو پٹ کو ظاہر کرتا ہے، اور بڑے ماڈل متبادلات کے مقابلے میں مضبوط کارکردگی رکھتا ہے، 7B ماڈل سائز پر کم میموری کی ضروریات فراہم کرتا ہے۔ ماڈل کو اجازت دینے والے Apache 2.0 لائسنس کے تحت دستیاب کرایا گیا ہے، بغیر کسی پابندی کے استعمال کے لیے۔

آپ SageMaker Studio UI یا SageMaker Python SDK کا استعمال کرتے ہوئے ماڈلز کو ٹھیک کر سکتے ہیں۔ ہم اس پوسٹ میں دونوں طریقوں پر تبادلہ خیال کرتے ہیں۔

سیج میکر اسٹوڈیو UI کے ذریعے فائن ٹیون

سیج میکر اسٹوڈیو میں، آپ سیج میکر جمپ اسٹارٹ کے تحت Mistral ماڈل تک رسائی حاصل کرسکتے ہیں۔ ماڈلز، نوٹ بک اور حل، جیسا کہ مندرجہ ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

اگر آپ کو Mistral ماڈل نظر نہیں آرہے ہیں، تو بند کرکے اور دوبارہ شروع کرکے اپنے SageMaker اسٹوڈیو ورژن کو اپ ڈیٹ کریں۔ ورژن اپ ڈیٹس کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ اسٹوڈیو ایپس کو بند کریں اور اپ ڈیٹ کریں۔.

ماڈل کے صفحے پر، آپ کی طرف اشارہ کر سکتے ہیں ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی جس میں فائن ٹیوننگ کے لیے ٹریننگ اور توثیق کے ڈیٹاسیٹ ہیں۔ اس کے علاوہ، آپ فائن ٹیوننگ کے لیے تعیناتی کنفیگریشن، ہائپر پیرامیٹرس، اور سیکیورٹی سیٹنگز کو ترتیب دے سکتے ہیں۔ اس کے بعد آپ انتخاب کر سکتے ہیں۔ ٹرین سیج میکر ایم ایل مثال پر تربیتی کام شروع کرنے کے لیے۔

ماڈل تعینات کریں۔

ماڈل کے ٹھیک ہونے کے بعد، آپ SageMaker JumpStart پر ماڈل صفحہ کا استعمال کرتے ہوئے اسے تعینات کر سکتے ہیں۔ فائن ٹیوننگ کے مکمل ہونے پر فائن ٹیوننگ ماڈل کو تعینات کرنے کا آپشن ظاہر ہوگا، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

SageMaker Python SDK کے ذریعے فائن ٹیون

آپ SageMaker Python SDK کا استعمال کرتے ہوئے Mistral ماڈلز کو بھی ٹھیک کر سکتے ہیں۔ مکمل نوٹ بک پر دستیاب ہے۔ GitHub کے. اس حصے میں، ہم دو قسم کے فائن ٹیوننگ کی مثالیں فراہم کرتے ہیں۔

ہدایت ٹھیک ٹیوننگ

انسٹرکشن ٹیوننگ ایک تکنیک ہے جس میں ہدایات کا استعمال کرتے ہوئے نیچرل لینگویج پروسیسنگ (NLP) کاموں کے مجموعہ پر زبان کے ماڈل کو ٹھیک کرنا شامل ہے۔ اس تکنیک میں، ماڈل کو ہر کام کے لیے مخصوص ڈیٹاسیٹس کی بجائے متنی ہدایات پر عمل کرتے ہوئے کام انجام دینے کی تربیت دی جاتی ہے۔ ماڈل کو ہر کام کے لیے ان پٹ اور آؤٹ پٹ مثالوں کے ایک سیٹ کے ساتھ ٹھیک بنایا گیا ہے، جس سے ماڈل کو نئے کاموں کو عام کرنے کی اجازت ملتی ہے جن کے بارے میں واضح طور پر تربیت نہیں دی گئی ہے جب تک کہ کاموں کے لیے اشارے فراہم کیے جائیں۔ انسٹرکشن ٹیوننگ ماڈلز کی درستگی اور تاثیر کو بہتر بنانے میں مدد کرتی ہے اور ایسے حالات میں مددگار ہوتی ہے جہاں مخصوص کاموں کے لیے بڑے ڈیٹا سیٹس دستیاب نہیں ہوتے ہیں۔

آئیے مثال میں فراہم کردہ فائن ٹیوننگ کوڈ کے ذریعے چلتے ہیں۔ نوٹ بک SageMaker Python SDK کے ساتھ۔

ہم کا سب سیٹ استعمال کرتے ہیں۔ ڈولی ڈیٹاسیٹ ایک انسٹرکشن ٹیوننگ فارمیٹ میں، اور وضاحت کریں۔ template.json فائل ان پٹ اور آؤٹ پٹ فارمیٹس کو بیان کرتی ہے۔ تربیتی ڈیٹا کو JSON لائنز (.jsonl) فارمیٹ میں فارمیٹ کیا جانا چاہیے، جہاں ہر سطر ایک لغت ہے جو ایک ڈیٹا نمونے کی نمائندگی کرتی ہے۔ اس صورت میں، ہم اسے نام دیتے ہیں train.jsonl.

مندرجہ ذیل ٹکڑا اس کی ایک مثال ہے۔ train.jsonl. چابیاں instruction, context، اور response ہر نمونے میں متعلقہ اندراجات ہونے چاہئیں {instruction}, {context}, {response} میں template.json.

{ "instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."
}

کا نمونہ درج ذیل ہے۔ template.json:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

S3 بالٹی میں پرامپٹ ٹیمپلیٹ اور ٹریننگ ڈیٹا اپ لوڈ کرنے کے بعد، آپ ہائپر پیرامیٹر سیٹ کر سکتے ہیں۔

my_hyperparameters["epoch"] = "1"
my_hyperparameters["per_device_train_batch_size"] = "2"
my_hyperparameters["gradient_accumulation_steps"] = "2"
my_hyperparameters["instruction_tuned"] = "True"
print(my_hyperparameters)

اس کے بعد آپ فائن ٹیوننگ کا عمل شروع کر سکتے ہیں اور ماڈل کو انفرنس اینڈ پوائنٹ پر تعینات کر سکتے ہیں۔ درج ذیل کوڈ میں، ہم ایک ml.g5.12xlarge مثال استعمال کرتے ہیں:

from sagemaker.jumpstart.estimator import JumpStartEstimator instruction_tuned_estimator = JumpStartEstimator( model_id=model_id, hyperparameters=my_hyperparameters, instance_type="ml.g5.12xlarge",
)
instruction_tuned_estimator.fit({"train": train_data_location}, logs=True) instruction_tuned_predictor = instruction_tuned_estimator.deploy()

ڈومین موافقت ٹھیک ٹیوننگ

ڈومین ایڈاپٹیشن فائن ٹیوننگ ایک ایسا عمل ہے جو پہلے سے تربیت یافتہ LLM کو کسی مخصوص ڈومین یا کام کے مطابق بہتر بناتا ہے۔ ایک چھوٹا، ڈومین کے لیے مخصوص ڈیٹاسیٹ کا استعمال کرتے ہوئے، LLM کو اس مخصوص ڈومین کے لیے زیادہ درست، متعلقہ، اور بصیرت سے بھرپور مواد کو سمجھنے اور تخلیق کرنے کے لیے بہتر بنایا جا سکتا ہے، جب کہ اس نے اپنی اصل تربیت کے دوران حاصل کیے گئے وسیع علم کو برقرار رکھا ہوا ہے۔

Mistral ماڈل کو کسی بھی ڈومین کے مخصوص ڈیٹاسیٹ پر ٹھیک بنایا جا سکتا ہے۔ اس کے ٹھیک ہونے کے بعد، اس سے ڈومین کے لیے مخصوص متن تیار کرنے اور اس مخصوص ڈومین میں مختلف NLP کاموں کو حل کرنے کی توقع کی جاتی ہے۔ ٹریننگ ڈیٹاسیٹ کے لیے، ٹرین ڈائرکٹری اور ایک اختیاری توثیق ڈائرکٹری فراہم کریں، ہر ایک میں ایک CSV، JSON، یا TXT فائل ہو۔ CSV اور JSON فارمیٹس کے لیے، سے ڈیٹا استعمال کریں۔ text کالم یا پہلا کالم اگر text موجود نہیں ہے یقینی بنائیں کہ ہر ڈائرکٹری کے تحت صرف ایک فائل موجود ہے۔ مثال کے طور پر، ان پٹ ڈیٹا ایمیزون کی ٹیکسٹ فائل کے طور پر ایس ای سی فائلنگ ہو سکتا ہے:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

آپ ہائپر پیرامیٹر کی وضاحت کر کے ڈومین موافقت کی فائن ٹیوننگ شروع کر سکتے ہیں۔instruction_tuned"جیسے"False" باقی اقدامات ہدایات کے ٹھیک ٹیوننگ کے مراحل سے ملتے جلتے ہیں۔

ہم نے طے کیا max_input_length g2048xlarge پر 5.12 ہونا۔ آپ ایک بڑی مثال کی قسم پر زیادہ ان پٹ کی لمبائی استعمال کر سکتے ہیں۔ تفصیلات کے لیے، دیکھیں مثال کے طور پر نوٹ بک.

فائن ٹیوننگ کے ساتھ اور بغیر انفرنس کی مثال

مندرجہ ذیل جدول میں Mistral 7B ماڈل کے نتائج شامل ہیں جو 2021-2022 تک Amazon کے SEC فائلنگ دستاویزات کے ساتھ ٹھیک بنائے گئے ہیں۔ ہم فائن ٹیوننگ سے پہلے اور بعد میں آؤٹ پٹ کا موازنہ کرتے ہیں۔

جیسا کہ آپ دیکھ سکتے ہیں، ٹھیک ٹیونڈ ماڈل عام پہلے سے تربیت یافتہ کے مقابلے Amazon سے متعلق زیادہ مخصوص معلومات فراہم کرتا ہے۔ اس کی وجہ یہ ہے کہ فائن ٹیوننگ فراہم کردہ ڈیٹاسیٹ کی باریکیوں، نمونوں اور تفصیلات کو سمجھنے کے لیے ماڈل کو ڈھال لیتی ہے۔ پہلے سے تربیت یافتہ ماڈل کا استعمال کرتے ہوئے اور اسے ٹھیک ٹیوننگ کے ساتھ تیار کرکے، ہم اس بات کو یقینی بناتے ہیں کہ آپ کو دونوں جہانوں سے بہترین حاصل ہو: پہلے سے تربیت یافتہ ماڈل کا وسیع علم اور آپ کے منفرد ڈیٹا سیٹ کے لیے خصوصی درستگی۔ ہو سکتا ہے کہ مشین لرننگ کی دنیا میں ایک ہی سائز فٹ نہ ہو، اور فائن ٹیوننگ درزی سے تیار کردہ حل ہے جس کی آپ کو ضرورت ہے!

نتیجہ

اس پوسٹ میں، ہم نے سیج میکر جمپ اسٹارٹ کا استعمال کرتے ہوئے Mistral 7B ماڈل کو ٹھیک کرنے پر تبادلہ خیال کیا۔ ہم نے دکھایا کہ آپ SageMaker اسٹوڈیو میں SageMaker جمپ سٹارٹ کنسول یا SageMaker Python SDK کو ان ماڈلز کو ٹھیک کرنے اور تعینات کرنے کے لیے کس طرح استعمال کر سکتے ہیں۔ اگلے قدم کے طور پر، آپ GitHub ریپوزٹری میں فراہم کردہ کوڈ کا استعمال کرتے ہوئے ان ماڈلز کو اپنے ڈیٹاسیٹ پر ٹھیک کرنے کی کوشش کر سکتے ہیں تاکہ آپ کے استعمال کے معاملات کے نتائج کو جانچا جا سکے۔

مصنفین کے بارے میں

ژن ہوانگ ایمیزون سیج میکر جمپ اسٹارٹ اور ایمیزون سیج میکر بلٹ ان الگورتھم کے سینئر اپلائیڈ سائنٹسٹ ہیں۔ وہ اسکیل ایبل مشین لرننگ الگورتھم تیار کرنے پر توجہ مرکوز کرتا ہے۔ اس کی تحقیقی دلچسپیاں قدرتی لینگویج پروسیسنگ، ٹیبلر ڈیٹا پر قابل وضاحت گہرائی سے سیکھنے، اور نان پیرامیٹرک اسپیس ٹائم کلسٹرنگ کے مضبوط تجزیہ کے شعبے میں ہیں۔ انہوں نے ACL، ICDM، KDD کانفرنسوں، اور رائل شماریاتی سوسائٹی: سیریز A میں بہت سے مقالے شائع کیے ہیں۔

وویک گنگاسنی۔ AWS میں جنریٹیو AI سٹارٹ اپس کے لیے AI/ML سٹارٹ اپ سلوشنز آرکیٹیکٹ ہے۔ وہ ابھرتے ہوئے GenAI اسٹارٹ اپس کو AWS سروسز اور تیز رفتار کمپیوٹ کا استعمال کرتے ہوئے اختراعی حل تیار کرنے میں مدد کرتا ہے۔ فی الحال، اس کی توجہ بڑی زبان کے ماڈلز کی کارکردگی کو ٹھیک کرنے اور بہتر بنانے کے لیے حکمت عملی تیار کرنے پر مرکوز ہے۔ اپنے فارغ وقت میں، وویک پیدل سفر، فلمیں دیکھنے اور مختلف کھانوں کو آزمانے سے لطف اندوز ہوتے ہیں۔

ڈاکٹر آشیش کھیتان Amazon SageMaker بلٹ ان الگورتھم کے ساتھ ایک سینئر اپلائیڈ سائنٹسٹ ہے اور مشین لرننگ الگورتھم تیار کرنے میں مدد کرتا ہے۔ انہوں نے یونیورسٹی آف الینوائے اربانا-چمپین سے پی ایچ ڈی کی۔ وہ مشین لرننگ اور شماریاتی اندازہ میں ایک فعال محقق ہے، اور اس نے NeurIPS، ICML، ICLR، JMLR، ACL، اور EMNLP کانفرنسوں میں بہت سے مقالے شائع کیے ہیں۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-mistral-7b-with-amazon-sagemaker-jumpstart/