ایمیزون سیج میکر جمپ اسٹارٹ پر ٹیکسٹ جنریشن کے لیے فائن ٹیون لاما 2 | ایمیزون ویب سروسز

آج، ہم میٹا کے ذریعے لاما 2 ماڈلز کو ٹھیک کرنے کی صلاحیت کا اعلان کرتے ہوئے پرجوش ہیں۔ ایمیزون سیج میکر جمپ اسٹارٹ. لاما 2 فیملی آف لارج لینگویج ماڈلز (LLMs) 7 بلین سے 70 بلین پیرامیٹرز کے پیمانے پر پہلے سے تربیت یافتہ اور ٹھیک ٹیونڈ جنریٹو ٹیکسٹ ماڈلز کا مجموعہ ہے۔ فائن ٹیونڈ LLMs، جسے Llama-2-chat کہا جاتا ہے، ڈائیلاگ کے استعمال کے معاملات کے لیے موزوں ہیں۔ آپ آسانی سے ان ماڈلز کو آزما سکتے ہیں اور انہیں SageMaker JumpStart کے ساتھ استعمال کر سکتے ہیں، جو کہ ایک مشین لرننگ (ML) مرکز ہے جو الگورتھم، ماڈلز، اور ML سلوشنز تک رسائی فراہم کرتا ہے تاکہ آپ ML کے ساتھ تیزی سے شروعات کر سکیں۔ اب آپ سیج میکر جمپ اسٹارٹ پر 7 بلین، 13 بلین، اور 70 بلین پیرامیٹرز کو بھی ٹھیک کر سکتے ہیں۔ ایمیزون سیج میکر اسٹوڈیو کچھ کلکس کے ساتھ یا SageMaker Python SDK کا استعمال کرتے ہوئے UI۔

جنریٹو AI فاؤنڈیشن ماڈلز ایک سال سے زیادہ عرصے سے ایم ایل اور مصنوعی ذہانت کی تحقیق اور استعمال کے معاملات کا مرکز رہے ہیں۔ یہ فاؤنڈیشن ماڈل تخلیقی کاموں کے ساتھ بہت اچھی کارکردگی کا مظاہرہ کرتے ہیں، جیسے کہ ٹیکسٹ جنریشن، سمریائزیشن، سوال جواب، تصویر اور ویڈیو جنریشن، اور بہت کچھ، ان کے بڑے سائز کی وجہ سے اور اس وجہ سے کہ وہ کئی بڑے ڈیٹا سیٹس اور سینکڑوں کاموں پر تربیت یافتہ ہیں۔ ان ماڈلز کی عمومی صلاحیتوں کے باوجود، اکثر ایسے کیسز استعمال ہوتے ہیں جن میں بہت مخصوص ڈومین ڈیٹا ہوتا ہے (جیسے کہ صحت کی دیکھ بھال یا مالیاتی خدمات)، جس کی وجہ سے یہ ماڈل ان استعمال کے معاملات کے لیے اچھے نتائج فراہم کرنے کے قابل نہیں ہو سکتے ہیں۔ اس کے نتیجے میں ان جنریٹو AI ماڈلز کو استعمال کے کیس کے ساتھ مخصوص اور ڈومین سے متعلق مخصوص ڈیٹا پر مزید فائن ٹیوننگ کی ضرورت ہوتی ہے۔

اس پوسٹ میں، ہم SageMaker JumpStart کے ذریعے Llama 2 کے پہلے سے تربیت یافتہ ٹیکسٹ جنریشن ماڈلز کو ٹھیک کرنے کا طریقہ بتاتے ہیں۔

لاما 2 کیا ہے؟

Llama 2 ایک خودکار رجعت پسند زبان کا ماڈل ہے جو ایک بہتر ٹرانسفارمر فن تعمیر کا استعمال کرتا ہے۔ Llama 2 انگریزی میں تجارتی اور تحقیقی استعمال کے لیے ہے۔ یہ پیرامیٹر سائز کی ایک رینج میں آتا ہے — 7 بلین، 13 بلین، اور 70 بلین — نیز پہلے سے تربیت یافتہ اور ٹھیک ٹیونڈ تغیرات۔ میٹا کے مطابق، ٹیون شدہ ورژنز سپروائزڈ فائن ٹیوننگ (SFT) اور ہیومن فیڈ بیک (RLHF) کے ساتھ کمک سیکھنے کا استعمال کرتے ہیں تاکہ مدد اور حفاظت کے لیے انسانی ترجیحات کے مطابق ہوں۔ لاما 2 کو عوامی طور پر دستیاب ذرائع سے ڈیٹا کے 2 ٹریلین ٹوکنز پر پہلے سے تربیت دی گئی تھی۔ ٹیون شدہ ماڈلز اسسٹنٹ کی طرح چیٹ کے لیے بنائے گئے ہیں، جبکہ پہلے سے تربیت یافتہ ماڈلز کو قدرتی زبان کی تخلیق کے مختلف کاموں کے لیے ڈھالا جا سکتا ہے۔ اس سے قطع نظر کہ ایک ڈویلپر ماڈل کا کون سا ورژن استعمال کرتا ہے، میٹا کی طرف سے ذمہ دار استعمال گائیڈ اضافی فائن ٹیوننگ کی رہنمائی میں مدد کر سکتا ہے جو مناسب حفاظتی تخفیف کے ساتھ ماڈلز کو اپنی مرضی کے مطابق اور بہتر بنانے کے لیے ضروری ہو سکتا ہے۔

فی الحال، Llama 2 درج ذیل علاقوں میں دستیاب ہے:

• دستیاب پہلے سے تربیت یافتہ ماڈل تعینات کریں: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• فائن ٹیون اور فائن ٹیونڈ ماڈل کو تعینات کریں: “us-east-1”, “us-west-2”,“eu-west-1”

سیج میکر جمپ اسٹارٹ کیا ہے؟

SageMaker JumpStart کے ساتھ، ML پریکٹیشنرز عوامی طور پر دستیاب فاؤنڈیشن ماڈلز کے وسیع انتخاب میں سے انتخاب کر سکتے ہیں۔ ایم ایل پریکٹیشنرز فاؤنڈیشن ماڈلز کو وقف کر سکتے ہیں۔ ایمیزون سیج میکر نیٹ ورک الگ تھلگ ماحول سے مثالیں اور ماڈل ٹریننگ اور تعیناتی کے لیے SageMaker کا استعمال کرتے ہوئے ماڈلز کو اپنی مرضی کے مطابق بنائیں۔ اب آپ SageMaker سٹوڈیو میں یا پروگرام کے لحاظ سے SageMaker Python SDK کے ذریعے چند کلکس کے ساتھ Llama 2 کو دریافت اور تعینات کر سکتے ہیں، جس سے آپ SageMaker خصوصیات کے ساتھ ماڈل کی کارکردگی اور MLOps کنٹرول حاصل کر سکتے ہیں جیسے ایمیزون سیج میکر پائپ لائنز, ایمیزون سیج میکر ڈیبگر، یا کنٹینر لاگز۔ ماڈل کو AWS محفوظ ماحول میں اور آپ کے VPC کنٹرولز کے تحت تعینات کیا گیا ہے، جو ڈیٹا کی حفاظت کو یقینی بنانے میں مدد کرتا ہے۔ اس کے علاوہ، آپ SageMaker JumpStart کے ذریعے Llama2 7B، 13B، اور 70B پہلے سے تربیت یافتہ ٹیکسٹ جنریشن ماڈلز کو ٹھیک کر سکتے ہیں۔

فائن ٹیون Llama2 ماڈلز

آپ SageMaker Studio UI یا SageMaker Python SDK کا استعمال کرتے ہوئے ماڈلز کو ٹھیک کر سکتے ہیں۔ ہم اس سیکشن میں دونوں طریقوں پر تبادلہ خیال کرتے ہیں۔

سیج میکر اسٹوڈیو UI کے ذریعے نو کوڈ فائن ٹیوننگ

SageMaker سٹوڈیو میں، آپ SageMaker JumpStart کے ذریعے Llama 2 ماڈل تک رسائی حاصل کر سکتے ہیں ماڈلز، نوٹ بک اور حل، جیسا کہ مندرجہ ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

اگر آپ کو Llama 2 ماڈل نظر نہیں آتے ہیں، تو بند کرکے اور دوبارہ شروع کرکے اپنے SageMaker اسٹوڈیو ورژن کو اپ ڈیٹ کریں۔ ورژن اپ ڈیٹس کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ اسٹوڈیو ایپس کو بند کریں اور اپ ڈیٹ کریں۔.

آپ دیگر چار ماڈل کی مختلف حالتیں بھی منتخب کر کے تلاش کر سکتے ہیں۔ تمام ٹیکسٹ جنریشن ماڈلز کو دریافت کریں۔ یا سرچ باکس میں لاما کو تلاش کرنا۔

اس صفحے پر، آپ کی طرف اشارہ کر سکتے ہیں ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی جس میں فائن ٹیوننگ کے لیے ٹریننگ اور توثیق کے ڈیٹاسیٹ ہیں۔ اس کے علاوہ، آپ فائن ٹیوننگ کے لیے تعیناتی کنفیگریشن، ہائپر پیرامیٹرس، اور سیکیورٹی سیٹنگز کو ترتیب دے سکتے ہیں۔ اس کے بعد آپ انتخاب کر سکتے ہیں۔ ٹرین سیج میکر ایم ایل مثال پر تربیتی کام شروع کرنے کے لیے۔ پچھلے اسکرین شاٹ میں Llama-2 7B ماڈل کے لیے فائن ٹیوننگ صفحہ دکھایا گیا ہے۔ تاہم، آپ 13B اور 70B Llama 2 ٹیکسٹ جنریشن ماڈلز کو ان کے متعلقہ ماڈل صفحات کا استعمال کرتے ہوئے ٹھیک ٹیون کر سکتے ہیں۔ Llama 2 ماڈلز کو استعمال کرنے کے لیے، آپ کو اینڈ یوزر لائسنس ایگریمنٹ (EULA) کو قبول کرنا ہوگا۔ جب آپ انتخاب کریں گے تو یہ ظاہر ہوگا۔ ٹرین، جیسا کہ مندرجہ ذیل اسکرین شاٹ میں دکھایا گیا ہے۔ منتخب کریں۔ میں نے EULA اور AUP کو پڑھا اور قبول کیا ہے۔ ٹھیک ٹیوننگ کا کام شروع کرنے کے لیے۔

ماڈل تعینات کریں۔

ماڈل کے ٹھیک ہونے کے بعد، آپ SageMaker JumpStart پر ماڈل صفحہ کا استعمال کرتے ہوئے اسے تعینات کر سکتے ہیں۔ فائن ٹیوننگ کے مکمل ہونے پر فائن ٹیوننگ ماڈل کو تعینات کرنے کا آپشن ظاہر ہوگا، جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے۔

SageMaker Python SDK کے ذریعے فائن ٹیون

آپ SageMaker Python SDK کا استعمال کرتے ہوئے Llama 2 ماڈلز کو بھی ٹھیک کر سکتے ہیں۔ آپ کے ڈیٹاسیٹ پر Llama 2 7B کو ٹھیک کرنے کے لیے ایک نمونہ کوڈ درج ذیل ہے:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

آپ ٹھیک ٹیونڈ ماڈل کو براہ راست تخمینہ لگانے والے سے تعینات کر سکتے ہیں:

finetuned_predictor = estimator.deploy()

آپ کوڈ میں بھی تلاش کر سکتے ہیں۔ سیج میکر جمپ اسٹارٹ پر ایل ایل اے ایم اے 2 ماڈلز کو ٹھیک بنائیں. اس میں ڈیٹاسیٹ کی تیاری، آپ کے حسب ضرورت ڈیٹاسیٹ پر تربیت، اور عمدہ ماڈل کو تعینات کرنا شامل ہے۔ یہ ڈولی ڈیٹاسیٹ کے سب سیٹ پر اختصار کے کام کی مثالوں کے ساتھ ٹھیک ٹیوننگ کا مظاہرہ کرتا ہے۔ زمینی سچائی کے جواب کے ساتھ فائن ٹیونڈ اور نان فائن ٹیونڈ کے جوابات کے ساتھ مثال درج ذیل ہے:

ماڈل میں ان پٹ:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

زمینی سچائی کا جواب:

Felix Luna died on November 5th, 2009

نان فائن ٹیونڈ ماڈل کی طرف سے جواب:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

عمدہ ماڈل سے جواب:

Félix Luna died on November 5th, 2009.nn

ڈولی اور ڈائیلاگسم ڈیٹاسیٹ پر مختلف ماڈلز کی کارکردگی کی بینچ مارکنگ کے لیے، ملاحظہ کریں۔ کارکردگی بینچ مارکنگ اس پوسٹ کے آخر میں اپینڈکس میں سیکشن۔

فائن ٹیوننگ تکنیک

لینگویج ماڈل جیسے لاما کا سائز 10 جی بی یا اس سے بھی زیادہ 100 جی بی ہے۔ اس طرح کے بڑے ماڈلز کو فائن ٹیوننگ کے لیے نمایاں طور پر زیادہ CUDA میموری کے ساتھ مثالوں کی ضرورت ہوتی ہے۔ مزید برآں، ماڈل کے سائز کی وجہ سے ان ماڈلز کی تربیت بہت سست ہو سکتی ہے۔ اس لیے، موثر فائن ٹیوننگ کے لیے، ہم درج ذیل اصلاح کا استعمال کرتے ہیں:

• کم درجہ کی موافقت (LoRA) - یہ بڑے ماڈلز کی موثر فائن ٹیوننگ کے لیے پیرامیٹر ایفیشینٹ فائن ٹیوننگ (PEFT) کی ایک قسم ہے۔ اس میں، ہم پورے ماڈل کو منجمد کرتے ہیں اور ماڈل میں صرف ایڈجسٹ پیرامیٹرز یا تہوں کا ایک چھوٹا سیٹ شامل کرتے ہیں۔ مثال کے طور پر، Llama 7 2B کے لیے تمام 7 بلین پیرامیٹرز کو تربیت دینے کے بجائے، ہم پیرامیٹرز کے 1% سے کم کو ٹھیک کر سکتے ہیں۔ اس سے یادداشت کی ضرورت کو نمایاں طور پر کم کرنے میں مدد ملتی ہے کیونکہ ہمیں صرف 1% پیرامیٹرز کے لیے گریڈیئنٹس، آپٹیمائزر اسٹیٹس، اور دیگر تربیت سے متعلق معلومات کو ذخیرہ کرنے کی ضرورت ہے۔ مزید برآں، یہ تربیت کے وقت کے ساتھ ساتھ لاگت کو کم کرنے میں مدد کرتا ہے۔ اس طریقہ کار کے بارے میں مزید تفصیلات کے لیے رجوع کریں۔ LoRA: بڑی زبان کے ماڈلز کی کم درجہ کی موافقت.
• int8 کوانٹائزیشن - LoRA جیسی اصلاح کے ساتھ بھی، Llama 70B جیسے ماڈل ابھی بھی تربیت کے لیے بہت بڑے ہیں۔ ٹریننگ کے دوران میموری فوٹ پرنٹ کو کم کرنے کے لیے، ہم ٹریننگ کے دوران Int8 کوانٹائزیشن استعمال کر سکتے ہیں۔ کوانٹائزیشن عام طور پر فلوٹنگ پوائنٹ ڈیٹا کی قسموں کی درستگی کو کم کرتی ہے۔ اگرچہ یہ ماڈل وزن کو ذخیرہ کرنے کے لیے درکار میموری کو کم کرتا ہے، لیکن یہ معلومات کے نقصان کی وجہ سے کارکردگی کو کم کرتا ہے۔ Int8 کوانٹائزیشن صرف ایک چوتھائی درستگی کا استعمال کرتی ہے لیکن اس سے کارکردگی میں کمی نہیں آتی ہے کیونکہ یہ صرف بٹس کو نہیں چھوڑتا ہے۔ یہ ڈیٹا کو ایک قسم سے دوسری قسم میں گول کرتا ہے۔ Int8 کوانٹائزیشن کے بارے میں جاننے کے لیے، رجوع کریں۔ LLM.int8(): پیمانے پر ٹرانسفارمرز کے لیے 8 بٹ میٹرکس ضرب.
• مکمل طور پر شارڈ ڈیٹا متوازی (FSDP) - یہ ڈیٹا متوازی ٹریننگ الگورتھم کی ایک قسم ہے جو ماڈل کے پیرامیٹرز کو ڈیٹا کے متوازی ورکرز میں شارڈ کرتا ہے اور اختیاری طور پر تربیتی کمپیوٹیشن کے کچھ حصے کو CPUs میں آف لوڈ کر سکتا ہے۔ اگرچہ پیرامیٹرز مختلف GPUs میں شارڈ کیے گئے ہیں، لیکن ہر مائکرو بیچ کی گنتی GPU کارکن کے لیے مقامی ہے۔ یہ پیرامیٹرز کو زیادہ یکساں طور پر شارڈ کرتا ہے اور تربیت کے دوران کمیونیکیشن اور کمپیوٹیشن اوور لیپنگ کے ذریعے بہتر کارکردگی حاصل کرتا ہے۔

درج ذیل جدول میں تین لاما 2 ماڈلز کے ساتھ مختلف طریقوں کا موازنہ کیا گیا ہے۔

نوٹ کریں کہ Llama ماڈلز کی فائن ٹیوننگ درج ذیل کی طرف سے فراہم کردہ اسکرپٹ پر مبنی ہے۔ GitHub repo.

ٹریننگ ڈیٹاسیٹ فارمیٹ

SageMaker JumpStart فی الحال ڈومین موافقت فارمیٹ اور انسٹرکشن ٹیوننگ فارمیٹ دونوں میں ڈیٹا سیٹس کو سپورٹ کرتا ہے۔ اس سیکشن میں، ہم دونوں فارمیٹس میں ڈیٹا سیٹ کی مثال بیان کرتے ہیں۔ مزید تفصیلات کے لیے، سے رجوع کریں۔ ڈیٹا سیٹ فارمیٹنگ ضمیمہ میں سیکشن.

ڈومین موافقت کی شکل

ٹیکسٹ جنریشن لاما 2 ماڈل کو کسی بھی ڈومین مخصوص ڈیٹاسیٹ پر ٹھیک بنایا جا سکتا ہے۔ ڈومین کے مخصوص ڈیٹاسیٹ پر اسے ٹھیک کرنے کے بعد، ماڈل سے توقع کی جاتی ہے کہ وہ ڈومین کے لیے مخصوص ٹیکسٹ تیار کرے گا اور اس مخصوص ڈومین میں NLP کے مختلف کاموں کو چند شاٹ پرمپٹنگ کے ساتھ حل کرے گا۔ اس ڈیٹاسیٹ کے ساتھ، ان پٹ CSV، JSON، یا TXT فائل پر مشتمل ہوتا ہے۔ مثال کے طور پر، ان پٹ ڈیٹا ایمیزون کی ٹیکسٹ فائل کے طور پر ایس ای سی فائلنگ ہو سکتا ہے:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

انسٹرکشن ٹیوننگ فارمیٹ

انسٹرکشن فائن ٹیوننگ میں، ماڈل کو قدرتی لینگویج پروسیسنگ (NLP) کے کاموں کے ایک سیٹ کے لیے ٹھیک بنایا گیا ہے جو ہدایات کا استعمال کرتے ہوئے بیان کیے گئے ہیں۔ یہ زیرو شاٹ پرامپٹس کے ساتھ ان دیکھے کاموں کے لیے ماڈل کی کارکردگی کو بہتر بنانے میں مدد کرتا ہے۔ انسٹرکشن ٹیوننگ ڈیٹاسیٹ فارمیٹ میں، آپ اس کی وضاحت کرتے ہیں۔ template.json فائل ان پٹ اور آؤٹ پٹ فارمیٹس کو بیان کرتی ہے۔ مثال کے طور پر، فائل میں ہر ایک لائن train.jsonl مندرجہ ذیل کی طرح لگتا ہے:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

اضافی فائل template.json مندرجہ ذیل کی طرح لگتا ہے:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

تربیت کے لیے معاون ہائپرپیرامیٹر

Llama 2 فائن ٹیوننگ متعدد ہائپر پیرامیٹرس کو سپورٹ کرتی ہے، جن میں سے ہر ایک میموری کی ضرورت، ٹریننگ کی رفتار، اور فائن ٹیونڈ ماڈل کی کارکردگی کو متاثر کر سکتا ہے:

• عہد - پاسوں کی تعداد جو فائن ٹیوننگ الگورتھم ٹریننگ ڈیٹاسیٹ کے ذریعے لیتی ہے۔ 1 سے بڑا عدد ہونا چاہیے۔ ڈیفالٹ 5 ہے۔
• سیکھنے کی_ شرح - وہ شرح جس پر تربیتی مثالوں کے ہر بیچ کے ذریعے کام کرنے کے بعد ماڈل کے وزن کو اپ ڈیٹ کیا جاتا ہے۔ 0 سے بڑا مثبت فلوٹ ہونا چاہیے۔ پہلے سے طے شدہ 1e-4 ہے۔
• instruction_tuned - ماڈل کو تربیت دینا ہے یا نہیں۔ ضروری ہے 'True' یا 'False' پہلے سے طے شدہ ہے 'False'.
• per_device_train_batch_size - تربیت کے لیے فی GPU کور/CPU بیچ کا سائز۔ مثبت عدد ہونا ضروری ہے۔ ڈیفالٹ 4 ہے۔
• per_device_eval_batch_size - تشخیص کے لیے فی GPU کور/CPU بیچ کا سائز۔ ایک مثبت عدد ہونا ضروری ہے۔ ڈیفالٹ 1 ہے۔
• زیادہ سے زیادہ_ٹرین_نمونے - ڈیبگنگ کے مقاصد یا تیز تر تربیت کے لیے، تربیتی مثالوں کی تعداد کو اس قدر تک چھوٹا کریں۔ ویلیو -1 کا مطلب ہے تمام تربیتی نمونے استعمال کرنا۔ مثبت عدد یا -1 ہونا چاہیے۔ ڈیفالٹ -1 ہے۔
• max_val_samples - ڈیبگنگ کے مقاصد یا تیز تر تربیت کے لیے، توثیق کی مثالوں کی تعداد کو اس قدر تک چھوٹا کریں۔ ویلیو -1 کا مطلب ہے توثیق کے تمام نمونے استعمال کرنا۔ مثبت عدد یا -1 ہونا چاہیے۔ ڈیفالٹ -1 ہے۔
• زیادہ سے زیادہ_ان پٹ_لمبائی - ٹوکنائزیشن کے بعد زیادہ سے زیادہ کل ان پٹ تسلسل کی لمبائی۔ اس سے لمبے سلسلے کو کاٹ دیا جائے گا۔ اگر -1، max_input_length کم از کم 1024 اور ٹوکنائزر کے ذریعہ بیان کردہ ماڈل کی زیادہ سے زیادہ لمبائی پر سیٹ ہے۔ اگر مثبت قدر پر سیٹ ہو، max_input_length فراہم کردہ قدر کی کم از کم پر سیٹ ہے اور model_max_length ٹوکنائزر کے ذریعہ بیان کیا گیا ہے۔ مثبت عدد یا -1 ہونا چاہیے۔ ڈیفالٹ -1 ہے۔
• validation_split_ratio - اگر توثیق کا چینل ہے۔ none، ٹرین ڈیٹا سے ٹرین کی توثیق کی تقسیم کا تناسب 0-1 کے درمیان ہونا چاہیے۔ ڈیفالٹ 0.2 ہے۔
• ٹرین_ڈیٹا_سپلٹ_سیڈ - اگر توثیق کا ڈیٹا موجود نہیں ہے، تو یہ الگورتھم کے ذریعے استعمال کیے جانے والے ان پٹ ٹریننگ ڈیٹا کی ٹریننگ اور توثیق کے ڈیٹا کی بے ترتیب تقسیم کو ٹھیک کرتا ہے۔ ایک عدد عدد ہونا ضروری ہے۔ ڈیفالٹ 0 ہے۔
• پری پروسیسنگ_num_workers - پری پروسیسنگ کے لیے استعمال کیے جانے والے عمل کی تعداد۔ اگر None، اہم عمل پری پروسیسنگ کے لئے استعمال کیا جاتا ہے۔ پہلے سے طے شدہ ہے۔ None.
• lora_r - Lora R. ایک مثبت عدد ہونا ضروری ہے۔ ڈیفالٹ 8 ہے۔
• لورا_الفا - لورا الفا ایک مثبت عدد ہونا ضروری ہے۔ ڈیفالٹ 32 ہے۔
• lora_dropout - لورا ڈراپ آؤٹ۔ 0 اور 1 کے درمیان مثبت فلوٹ ہونا چاہیے۔ پہلے سے طے شدہ 0.05 ہے۔
• int8_کوانٹائزیشن - اگر True، ماڈل تربیت کے لیے 8 بٹ درستگی کے ساتھ بھری ہوئی ہے۔ 7B اور 13B کے لیے ڈیفالٹ ہے۔ False. 70B کے لیے ڈیفالٹ ہے۔ True.
• enable_fsdp - اگر True، تربیت FSDP کا استعمال کرتی ہے۔ 7B اور 13B کے لیے ڈیفالٹ ہے۔ True. 70B کے لیے ڈیفالٹ ہے۔ False. یاد رکھیں کہ int8_quantization FSDP کے ساتھ تعاون یافتہ نہیں ہے۔

مثال کی اقسام اور ہم آہنگ ہائپرپیرامیٹر

فائن ٹیوننگ کے دوران میموری کی ضرورت کئی عوامل کی بنیاد پر مختلف ہو سکتی ہے:

• ماڈل کی قسم - 7B ماڈل میں سب سے کم GPU میموری کی ضرورت ہے اور 70B میں سب سے زیادہ میموری کی ضرورت ہے۔
• زیادہ سے زیادہ ان پٹ کی لمبائی - ان پٹ کی لمبائی کی زیادہ قیمت ایک وقت میں مزید ٹوکن پر کارروائی کرنے کا باعث بنتی ہے اور اس طرح مزید CUDA میموری کی ضرورت ہوتی ہے۔
• بیچ سائز - ایک بڑے بیچ کے سائز کے لیے بڑی CUDA میموری کی ضرورت ہوتی ہے اور اس لیے بڑی مثال کی اقسام کی ضرورت ہوتی ہے۔
• int8 کوانٹائزیشن - اگر Int8 کوانٹائزیشن کا استعمال کرتے ہوئے، ماڈل کم درستگی میں بھرا ہوا ہے اور اس لیے کم CUDA میموری کی ضرورت ہوتی ہے۔

شروع کرنے میں آپ کی مدد کرنے کے لیے، ہم مختلف مثالوں کی اقسام، ہائپر پیرامیٹرس، اور ماڈل کی اقسام کے امتزاج کا ایک سیٹ فراہم کرتے ہیں جنہیں کامیابی کے ساتھ ٹھیک کیا جا سکتا ہے۔ آپ اپنی ضروریات اور مثال کی اقسام کی دستیابی کے مطابق ایک ترتیب منتخب کر سکتے ہیں۔ ہم تینوں ماڈلز کو مختلف سیٹنگز پر تین ادوار کے ساتھ ڈولی ڈیٹاسیٹ کے ذیلی سیٹ پر خلاصہ مثالوں کے ساتھ ٹھیک بناتے ہیں۔

7B ماڈل

مندرجہ ذیل جدول 7B ماڈل پر فائن ٹیوننگ کے اختیارات کا خلاصہ کرتا ہے۔

13B

مندرجہ ذیل جدول 13B ماڈل پر فائن ٹیوننگ کے اختیارات کا خلاصہ کرتا ہے۔

70B

مندرجہ ذیل جدول 70B ماڈل پر فائن ٹیوننگ کے اختیارات کا خلاصہ کرتا ہے۔

مثال کی اقسام اور ہائپر پیرامیٹر پر سفارشات

ماڈل کی درستگی کو ٹھیک کرتے وقت، درج ذیل کو ذہن میں رکھیں:

• بڑے ماڈل جیسے 70B 7B سے بہتر کارکردگی فراہم کرتے ہیں۔
• Int8 کوانٹائزیشن کے بغیر کارکردگی INT8 کوانٹائزیشن والی کارکردگی سے بہتر ہے۔

درج ذیل تربیتی وقت اور CUDA میموری کی ضروریات کو نوٹ کریں:

• مقرر int8_quantization=True یادداشت کی ضرورت کو کم کرتا ہے اور تیز تربیت کا باعث بنتا ہے۔
• کمی per_device_train_batch_size اور max_input_length میموری کی ضرورت کو کم کرتا ہے اور اس وجہ سے چھوٹی مثالوں پر چلایا جاسکتا ہے۔ تاہم، بہت کم اقدار قائم کرنے سے تربیت کا وقت بڑھ سکتا ہے۔
• اگر آپ Int8 کوانٹائزیشن استعمال نہیں کر رہے ہیں (int8_quantization=Falseاستعمال کریں FSDP (enable_fsdp=True) تیز اور موثر تربیت کے لیے۔

مثال کی قسم کا انتخاب کرتے وقت، درج ذیل پر غور کریں:

• G5 مثالیں معاون مثال کی اقسام میں سب سے زیادہ موثر تربیت فراہم کرتی ہیں۔ لہذا، اگر آپ کے پاس G5 مثالیں دستیاب ہیں، تو آپ کو ان کا استعمال کرنا چاہیے۔
• تربیت کا وقت زیادہ تر GPUs کی تعداد اور دستیاب CUDA میموری پر منحصر ہے۔ لہذا، ایک ہی تعداد میں GPUs کے ساتھ مثالوں پر تربیت (مثال کے طور پر، ml.g5.2xlarge اور ml.g5.4xlarge) تقریباً ایک جیسی ہے۔ لہذا، آپ تربیت کے لیے سستی مثال استعمال کر سکتے ہیں (ml.g5.2xlarge)۔
• p3 مثالوں کا استعمال کرتے وقت، تربیت 32 بٹ درستگی کے ساتھ کی جائے گی کیونکہ bfloat16 ان مثالوں پر تعاون یافتہ نہیں ہے۔ لہذا، تربیتی کام CUDA میموری کی دوگنی مقدار استعمال کرے گا جب g3 مثالوں کے مقابلے p5 مثالوں پر تربیت دی جائے گی۔

فی مثال تربیت کی لاگت کے بارے میں جاننے کے لیے، ملاحظہ کریں۔ ایمیزون EC2 G5 مثالوں.

اگر ڈیٹاسیٹ انسٹرکشن ٹیوننگ فارمیٹ میں ہے اور ان پٹ + تکمیل کے سلسلے چھوٹے ہیں (جیسے 50-100 الفاظ)، تو اس کی اعلی قدر max_input_length بہت خراب کارکردگی کی طرف جاتا ہے. اس پیرامیٹر کی ڈیفالٹ ویلیو -1 ہے، جو کہ سے مساوی ہے۔ max_input_length لاما ماڈلز کے لیے 2048 کا۔ لہذا، ہم تجویز کرتے ہیں کہ اگر آپ کے ڈیٹاسیٹ میں چھوٹے نمونے ہیں، تو اس کے لیے ایک چھوٹی قدر استعمال کریں۔ max_input_length (جیسے 200-400)۔

آخر میں، G5 مثالوں کی زیادہ مانگ کی وجہ سے، آپ کو غلطی کے ساتھ اپنے علاقے میں ان مثالوں کی عدم دستیابی کا سامنا کرنا پڑ سکتا ہے۔ “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” اگر آپ کو اس خرابی کا سامنا ہے، تو تربیتی جاب کو دوبارہ آزمائیں یا کوئی دوسرا علاقہ آزمائیں۔

بہت بڑے ماڈلز کو ٹھیک کرنے کے وقت مسائل

اس حصے میں، ہم بہت بڑے ماڈلز کو ٹھیک کرنے کے دوران دو مسائل پر بات کرتے ہیں۔

آؤٹ پٹ کمپریشن کو غیر فعال کریں۔

پہلے سے طے شدہ طور پر، تربیتی جاب کا آؤٹ پٹ ایک تربیت یافتہ ماڈل ہوتا ہے جسے Amazon S3 پر اپ لوڈ کرنے سے پہلے .tar.gz فارمیٹ میں کمپریس کیا جاتا ہے۔ تاہم، ماڈل کے بڑے سائز کی وجہ سے، اس قدم میں کافی وقت لگ سکتا ہے۔ مثال کے طور پر، 70B ماڈل کو سکیڑنے اور اپ لوڈ کرنے میں 4 گھنٹے سے زیادہ وقت لگ سکتا ہے۔ اس مسئلے سے بچنے کے لیے، آپ SageMaker ٹریننگ پلیٹ فارم کے ذریعے تعاون یافتہ آؤٹ پٹ کمپریشن فیچر کو غیر فعال کر سکتے ہیں۔ اس صورت میں، ماڈل کو بغیر کسی کمپریشن کے اپ لوڈ کیا جاتا ہے، جسے مزید تعیناتی کے لیے استعمال کیا جاتا ہے:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

سیج میکر اسٹوڈیو کرنل ٹائم آؤٹ کا مسئلہ

Llama 70B ماڈل کے سائز کی وجہ سے، تربیتی کام میں کئی گھنٹے لگ سکتے ہیں اور سیج میکر اسٹوڈیو کا کرنل تربیتی مرحلے کے دوران مر سکتا ہے۔ تاہم، اس وقت کے دوران، تربیت اب بھی سیج میکر میں چل رہی ہے۔ اگر ایسا ہوتا ہے تو، آپ اب بھی درج ذیل کوڈ کے ساتھ تربیتی جاب کا نام استعمال کرتے ہوئے اختتامی نقطہ کو تعینات کر سکتے ہیں:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

تربیتی ملازمت کا نام تلاش کرنے کے لیے، SageMaker کنسول اور اس کے نیچے تشریف لے جائیں۔ ٹریننگ نیویگیشن پین میں، منتخب کریں۔ تربیتی نوکریاں. تربیتی ملازمت کے نام کی شناخت کریں اور اسے پچھلے کوڈ میں تبدیل کریں۔

نتیجہ

اس پوسٹ میں، ہم نے SageMaker JumpStart کا استعمال کرتے ہوئے Meta's Llama 2 ماڈلز کو ٹھیک کرنے پر تبادلہ خیال کیا۔ ہم نے دکھایا کہ آپ SageMaker اسٹوڈیو میں SageMaker JumpStart کنسول یا SageMaker Python SDK کو ان ماڈلز کو ٹھیک کرنے اور ان کو تعینات کرنے کے لیے استعمال کر سکتے ہیں۔ ہم نے فائن ٹیوننگ تکنیک، مثال کی اقسام، اور معاون ہائپر پیرامیٹرس پر بھی تبادلہ خیال کیا۔ اس کے علاوہ، ہم نے اپنے کیے گئے مختلف ٹیسٹوں کی بنیاد پر بہتر تربیت کے لیے سفارشات کا خاکہ پیش کیا۔ تین ماڈلز کو دو ڈیٹاسیٹس پر فائن ٹیوننگ کے نتائج اس پوسٹ کے آخر میں ضمیمہ میں دکھائے گئے ہیں۔ جیسا کہ ہم ان نتائج سے دیکھ سکتے ہیں، فائن ٹیوننگ نان فائن ٹیونڈ ماڈلز کے مقابلے میں خلاصہ کو بہتر بناتی ہے۔ اگلے قدم کے طور پر، آپ GitHub ریپوزٹری میں فراہم کردہ کوڈ کا استعمال کرتے ہوئے ان ماڈلز کو اپنے ڈیٹاسیٹ پر ٹھیک کرنے کی کوشش کر سکتے ہیں تاکہ آپ کے استعمال کے معاملات کے نتائج کو جانچا جا سکے۔

مصنفین کرسٹوفر وائٹن، زن ہوانگ، کائل الریچ، سیفی لی، ایمی یو، ایڈم کوزڈروِکز، ایون کراوٹز، بینجمن کربٹری، ہاوٹیان این، منان شاہ، ٹونی کروز، ایرنیف شرما، جوناتھن گینیگین اور جون کی تکنیکی شراکتوں کا اعتراف کرنا چاہیں گے۔ جیت گیا۔

مصنفین کے بارے میں

ڈاکٹر وویک مدن Amazon SageMaker جمپ سٹارٹ ٹیم کے ساتھ ایک اپلائیڈ سائنٹسٹ ہے۔ انہوں نے Urbana-Champaign میں یونیورسٹی آف الینوائے سے پی ایچ ڈی کی اور جارجیا ٹیک میں پوسٹ ڈاکٹریٹ ریسرچر تھے۔ وہ مشین لرننگ اور الگورتھم ڈیزائن میں ایک فعال محقق ہے اور اس نے EMNLP، ICLR، COLT، FOCS، اور SODA کانفرنسوں میں مقالے شائع کیے ہیں۔

ڈاکٹر فاروق صابر AWS میں ایک سینئر مصنوعی ذہانت اور مشین لرننگ اسپیشلسٹ سولیوشن آرکیٹیکٹ ہیں۔ انہوں نے آسٹن کی یونیورسٹی آف ٹیکساس سے الیکٹریکل انجینئرنگ میں پی ایچ ڈی اور ایم ایس کی ڈگریاں اور جارجیا انسٹی ٹیوٹ آف ٹیکنالوجی سے کمپیوٹر سائنس میں ایم ایس کی ڈگریاں حاصل کیں۔ اس کے پاس 15 سال سے زیادہ کام کا تجربہ ہے اور وہ کالج کے طلباء کو پڑھانا اور ان کی رہنمائی کرنا بھی پسند کرتا ہے۔ AWS میں، وہ صارفین کو ڈیٹا سائنس، مشین لرننگ، کمپیوٹر ویژن، مصنوعی ذہانت، عددی اصلاح، اور متعلقہ ڈومینز میں اپنے کاروباری مسائل کی تشکیل اور حل کرنے میں مدد کرتا ہے۔ ڈیلاس، ٹیکساس میں مقیم، وہ اور اس کا خاندان سفر کرنا اور طویل سڑک کے سفر پر جانا پسند کرتا ہے۔

ڈاکٹر آشیش کھیتان Amazon SageMaker JumpStart کے ساتھ ایک سینئر اپلائیڈ سائنٹسٹ ہے اور مشین لرننگ الگورتھم تیار کرنے میں مدد کرتا ہے۔ انہوں نے یونیورسٹی آف الینوائے اربانا-چمپین سے پی ایچ ڈی کی۔ وہ مشین لرننگ اور شماریاتی اندازہ میں ایک فعال محقق ہے، اور اس نے NeurIPS، ICML، ICLR، JMLR، ACL، اور EMNLP کانفرنسوں میں بہت سے مقالے شائع کیے ہیں۔

معاہدہ

یہ ضمیمہ کارکردگی کی بینچ مارکنگ اور ڈیٹاسیٹ فارمیٹنگ کے بارے میں اضافی معلومات فراہم کرتا ہے۔

کارکردگی بینچ مارکنگ

اس سیکشن میں، ہم تین Llama 2 ماڈلز (7B، 13B، اور 70B) کو دو مختلف ڈیٹا سیٹس پر ٹھیک کرنے کے لیے نتائج فراہم کرتے ہیں: ڈالی اور ڈائیلاگسم. ڈولی ڈیٹاسیٹ کے لیے، ہمارا کام متن کے پیراگراف کا خلاصہ کرنا ہے، جب کہ ڈائیلاگسم کے لیے، ہم دو لوگوں کے درمیان ہونے والی بحث کا خلاصہ کرنے کے لیے ماڈل کو ٹھیک کر رہے ہیں۔ مندرجہ ذیل جدولوں میں، ہم ماڈل کو ان پٹ (پرامپٹ اور ہدایات)، زمینی سچائی (خلاصہ)، پہلے سے تربیت یافتہ لاما 2 ماڈل کا جواب، اور تینوں لاما میں سے ہر ایک کے لیے ٹھیک ٹیونڈ لاما 2 ماڈل کا جواب دکھاتے ہیں۔ 2 ماڈل۔ ہم پانچ ڈیٹا پوائنٹس کے لیے تخمینہ کے نتائج دکھاتے ہیں۔ آپ مندرجہ ذیل جدولوں سے دیکھ سکتے ہیں کہ جب ہم ماڈلز کو ٹھیک بناتے ہیں تو خلاصے دونوں ڈیٹاسیٹس کے لیے بہتر ہوتے ہیں۔

• Dolly ڈیٹاسیٹ پر Llama 2 7B ٹیکسٹ جنریشن ماڈل کو ٹھیک کرنے کے نتائج:

• Dolly ڈیٹاسیٹ پر Llama 2 13B ٹیکسٹ جنریشن ماڈل کو ٹھیک کرنے کے نتائج:

• Dolly ڈیٹاسیٹ پر Llama 2 70B ٹیکسٹ جنریشن ماڈل کو ٹھیک کرنے کے نتائج:

• ڈائیلاگسم ڈیٹاسیٹ پر Llama 2 7B ٹیکسٹ جنریشن ماڈل کو ٹھیک کرنے کے نتائج:

• ڈائیلاگسم ڈیٹاسیٹ پر Llama-2 13B ماڈل کو ٹھیک کرنے کے نتائج:

• ڈائیلاگسم ڈیٹاسیٹ پر Llama 2 70B ماڈل کو ٹھیک کرنے کے نتائج:

ڈیٹا سیٹ فارمیٹنگ

ہم فی الحال دو قسم کی فائن ٹیوننگ پیش کرتے ہیں: انسٹرکشن فائن ٹیوننگ اور ڈومین ایڈاپشن فائن ٹیوننگ۔ آپ پیرامیٹر کی وضاحت کر کے تربیت کے طریقوں میں سے کسی ایک پر آسانی سے سوئچ کر سکتے ہیں۔ instruction_tuned جیسے 'True' یا 'False'.

ڈومین موافقت کی شکل

ٹیکسٹ جنریشن ماڈل کو کسی بھی ڈومین مخصوص ڈیٹاسیٹ پر بھی ٹھیک بنایا جا سکتا ہے۔ ڈومین کے مخصوص ڈیٹاسیٹ پر اسے ٹھیک کرنے کے بعد، ماڈل سے توقع کی جاتی ہے کہ وہ ڈومین کے لیے مخصوص ٹیکسٹ تیار کرے گا اور اس مخصوص ڈومین میں NLP کے مختلف کاموں کو چند شاٹ پرمپٹنگ کے ساتھ حل کرے گا۔

ماڈل میں ان پٹ کے لیے، تربیت اور اختیاری توثیق کی ڈائرکٹری استعمال کریں۔ ہر ڈائرکٹری میں ایک CSV، JSON، یا TXT فائل ہوتی ہے۔ CSV اور JSON فائلوں کے لیے، ٹرین یا توثیق کا ڈیٹا کالم سے استعمال کیا جاتا ہے جسے ٹیکسٹ کہا جاتا ہے یا پہلے کالم سے اگر کوئی کالم نہیں کہا جاتا ہے۔ text پایا جاتا ہے. ٹرین اور توثیق کے تحت فائلوں کی تعداد (اگر فراہم کی جائے) بالترتیب 1 کے برابر ہونی چاہیے۔

آؤٹ پٹ ایک تربیت یافتہ ماڈل ہے جسے اندازہ کے لیے لگایا جا سکتا ہے۔

ٹیکسٹ جنریشن ماڈل کو ٹھیک کرنے کے لیے درج ذیل TXT فائل کی ایک مثال ہے۔ TXT فائل ایمیزون کی 2021-2022 کی SEC فائلنگ ہے:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

ہدایت ٹھیک ٹیوننگ

ٹیکسٹ جنریشن ماڈل کو کسی بھی ٹیکسٹ ڈیٹا پر ہدایات کے مطابق بنایا جا سکتا ہے بشرطیکہ ڈیٹا متوقع فارمیٹ میں ہو۔ انسٹرکشن ٹیونڈ ماڈل کو مزید اندازہ لگانے کے لیے تعینات کیا جا سکتا ہے۔

ان پٹ کے لیے، تربیت اور اختیاری توثیق کی ڈائرکٹری استعمال کریں۔ ٹرین اور توثیق کی ڈائریکٹریز میں ایک یا ایک سے زیادہ JSON لائنز (.jsonl) فارمیٹ شدہ فائلیں ہونی چاہئیں۔ خاص طور پر، ٹرین ڈائرکٹری میں ایک اختیاری *.json فائل بھی ہو سکتی ہے جو ان پٹ اور آؤٹ پٹ فارمیٹس کو بیان کرتی ہے۔

بہترین ماڈل کا انتخاب توثیق کے نقصان کے مطابق کیا جاتا ہے، جس کا حساب ہر دور کے آخر میں کیا جاتا ہے۔ اگر توثیق کا سیٹ نہیں دیا جاتا ہے تو، تربیتی ڈیٹا کا ایک (سایڈست) فیصد خود بخود تقسیم ہو جاتا ہے اور توثیق کے لیے استعمال ہوتا ہے۔

تربیتی ڈیٹا کو JSON لائنز (.jsonl) فارمیٹ میں فارمیٹ کیا جانا چاہیے، جہاں ہر سطر ایک لغت ہوتی ہے جو ایک ڈیٹا نمونے کی نمائندگی کرتی ہے۔ تمام تربیتی ڈیٹا ایک فولڈر میں ہونا چاہیے؛ تاہم، اسے متعدد .jsonl فائلوں میں محفوظ کیا جا سکتا ہے۔ .jsonl فائل کی توسیع لازمی ہے۔ تربیتی فولڈر میں ایک بھی شامل ہوسکتا ہے۔ template.json فائل ان پٹ اور آؤٹ پٹ فارمیٹس کو بیان کرتی ہے۔ اگر کوئی ٹیمپلیٹ فائل نہیں دی گئی ہے تو درج ذیل ٹیمپلیٹ استعمال کیا جائے گا:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

اس صورت میں، JSON لائنوں کے اندراجات میں ڈیٹا شامل ہونا چاہیے۔ prompt اور completion کھیتوں اگر حسب ضرورت ٹیمپلیٹ فراہم کیا گیا ہے تو اسے بھی استعمال کرنا چاہیے۔ prompt اور completion ان پٹ اور آؤٹ پٹ ٹیمپلیٹس کی وضاحت کرنے کے لیے کیز۔ ذیل میں ایک نمونہ حسب ضرورت ٹیمپلیٹ ہے:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

یہاں، JSON لائنوں کے اندراجات کے ڈیٹا میں شامل ہونا ضروری ہے۔ question, context، اور answer کھیت.

آؤٹ پٹ ایک تربیت یافتہ ماڈل ہے جسے اندازہ کے لیے لگایا جا سکتا ہے۔

ہم Amazon کے SEC فائلنگ ڈیٹا کا سب سیٹ فراہم کرتے ہیں۔ اسے عوامی طور پر دستیاب سے ڈاؤن لوڈ کیا جاتا ہے۔ ایڈگر. ڈیٹا تک رسائی کے لیے ہدایات کے لیے رجوع کریں۔ EDGAR ڈیٹا تک رسائی.

اجازت نامے: Creative Commons Attribution-ShareAlike لائسنس (CC BY-SA 4.0)

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ آٹوموٹو / ای وی، کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• چارٹ پرائم۔ ChartPrime کے ساتھ اپنے ٹریڈنگ گیم کو بلند کریں۔ یہاں تک رسائی حاصل کریں۔
• بلاک آفسیٹس۔ ماحولیاتی آفسیٹ ملکیت کو جدید بنانا۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/