ضبط ونشر Mistral 7B باستخدام Amazon SageMaker JumpStart | خدمات الويب الأمازون

اليوم، نحن متحمسون للإعلان عن القدرة على ضبط نموذج ميسترال 7B باستخدام أمازون سيج ميكر جومب ستارت. يمكنك الآن ضبط ونشر نماذج إنشاء نص Mistral على SageMaker JumpStart باستخدام أمازون ساجميكر ستوديو واجهة المستخدم ببضع نقرات أو باستخدام SageMaker Python SDK.

تؤدي النماذج التأسيسية أداءً جيدًا جدًا في المهام التوليدية، بدءًا من صياغة النصوص والملخصات والإجابة على الأسئلة وحتى إنتاج الصور ومقاطع الفيديو. على الرغم من إمكانيات التعميم الكبيرة لهذه النماذج، غالبًا ما تكون هناك حالات استخدام تحتوي على بيانات مجال محددة جدًا (مثل الرعاية الصحية أو الخدمات المالية)، وقد لا تتمكن هذه النماذج من تقديم نتائج جيدة لحالات الاستخدام هذه. ويؤدي هذا إلى الحاجة إلى مزيد من الضبط الدقيق لنماذج الذكاء الاصطناعي التوليدية هذه على استخدام البيانات الخاصة بالحالة والبيانات الخاصة بالمجال.

في هذا المنشور، نوضح كيفية ضبط نموذج Mistral 7B باستخدام SageMaker JumpStart.

ما هو ميسترال 7B

يعد Mistral 7B نموذجًا أساسيًا تم تطويره بواسطة Mistral AI، ويدعم قدرات إنشاء النصوص والأكواد باللغة الإنجليزية. وهو يدعم مجموعة متنوعة من حالات الاستخدام، مثل تلخيص النص والتصنيف وإكمال النص وإكمال التعليمات البرمجية. لإثبات إمكانية تخصيص النموذج، أصدرت Mistral AI أيضًا نموذج Mistral 7B-Instruct لحالات استخدام الدردشة، وتم ضبطه بدقة باستخدام مجموعة متنوعة من مجموعات بيانات المحادثة المتاحة للجمهور.

يعد Mistral 7B نموذجًا للمحول ويستخدم اهتمام الاستعلام المجمع وانتباه النافذة المنزلقة لتحقيق استنتاج أسرع (زمن وصول منخفض) والتعامل مع تسلسلات أطول. الاهتمام بالاستعلام المجمع هو بنية تجمع بين الاهتمام بالاستعلام المتعدد والرؤوس المتعددة لتحقيق جودة مخرجات قريبة من الاهتمام متعدد الرؤوس وسرعة قابلة للمقارنة بالاهتمام بالاستعلام المتعدد. تستخدم طريقة انتباه النافذة المنزلقة المستويات المتعددة لنموذج المحول للتركيز على المعلومات التي جاءت سابقًا، مما يساعد النموذج على فهم امتداد أطول للسياق. . يتميز Mistral 7B بطول سياق يبلغ 8,000 رمز، ويوضح زمن وصول منخفض وإنتاجية عالية، ويتمتع بأداء قوي عند مقارنته ببدائل النماذج الأكبر حجمًا، مما يوفر متطلبات ذاكرة منخفضة بحجم نموذج 7B. النموذج متاح بموجب ترخيص Apache 2.0 المسموح به للاستخدام دون قيود.

يمكنك ضبط النماذج باستخدام SageMaker Studio UI أو SageMaker Python SDK. نناقش كلتا الطريقتين في هذا المنشور.

يمكنك الضبط الدقيق عبر واجهة مستخدم SageMaker Studio

في SageMaker Studio، يمكنك الوصول إلى نموذج Mistral عبر SageMaker JumpStart أدناه النماذج والدفاتر والحلول، كما هو موضح في الصورة التالية.

إذا كنت لا ترى نماذج Mistral، فقم بتحديث إصدار SageMaker Studio الخاص بك عن طريق إيقاف التشغيل وإعادة التشغيل. لمزيد من المعلومات حول تحديثات الإصدار، راجع قم بإيقاف تشغيل وتحديث تطبيقات الاستوديو.

في صفحة النموذج، يمكنك الإشارة إلى خدمة تخزين أمازون البسيطة مجموعة (Amazon S3) تحتوي على مجموعات بيانات التدريب والتحقق من الصحة من أجل الضبط الدقيق. بالإضافة إلى ذلك، يمكنك تكوين تكوين النشر والمعلمات الفائقة وإعدادات الأمان للضبط الدقيق. يمكنك بعد ذلك الاختيار قطار لبدء مهمة التدريب على مثيل SageMaker ML.

انشر النموذج

بعد ضبط النموذج بشكل دقيق، يمكنك نشره باستخدام صفحة النموذج على SageMaker JumpStart. سيظهر خيار نشر النموذج المضبوط بدقة عند اكتمال الضبط الدقيق، كما هو موضح في لقطة الشاشة التالية.

الضبط الدقيق عبر SageMaker Python SDK

يمكنك أيضًا ضبط نماذج Mistral باستخدام SageMaker Python SDK. دفتر الملاحظات الكامل متاح على GitHub جيثب:. في هذا القسم، نقدم أمثلة على نوعين من الضبط الدقيق.

تعليمات صقل

ضبط التعليمات هو أسلوب يتضمن الضبط الدقيق لنموذج اللغة على مجموعة من مهام معالجة اللغة الطبيعية (NLP) باستخدام التعليمات. في هذه التقنية، يتم تدريب النموذج على أداء المهام من خلال اتباع التعليمات النصية بدلاً من مجموعات البيانات المحددة لكل مهمة. يتم ضبط النموذج بدقة باستخدام مجموعة من أمثلة المدخلات والمخرجات لكل مهمة، مما يسمح للنموذج بالتعميم على المهام الجديدة التي لم يتم تدريبه عليها بشكل صريح طالما تم توفير المطالبات للمهام. يساعد ضبط التعليمات على تحسين دقة النماذج وفعاليتها، كما أنه مفيد في المواقف التي لا تتوفر فيها مجموعات بيانات كبيرة لمهام محددة.

دعنا نتعرف على كود الضبط الدقيق الموجود في المثال مفكرة مع SageMaker Python SDK.

نحن نستخدم مجموعة فرعية من مجموعة بيانات دوللي في تنسيق ضبط التعليمات، وحدد template.json ملف يصف تنسيقات الإدخال والإخراج. يجب تنسيق بيانات التدريب بتنسيق خطوط JSON (.jsonl)، حيث يكون كل سطر عبارة عن قاموس يمثل عينة بيانات واحدة. في هذه الحالة، نسميها train.jsonl.

المقتطف التالي هو مثال على ذلك train.jsonl. المفاتيح instruction, contextو response في كل عينة يجب أن يكون لها إدخالات المقابلة {instruction}, {context}, {response} في ال template.json.

{ "instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."
}

وفيما يلي عينة من template.json:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

بعد تحميل قالب المطالبة وبيانات التدريب إلى حاوية S3، يمكنك تعيين المعلمات الفائقة.

my_hyperparameters["epoch"] = "1"
my_hyperparameters["per_device_train_batch_size"] = "2"
my_hyperparameters["gradient_accumulation_steps"] = "2"
my_hyperparameters["instruction_tuned"] = "True"
print(my_hyperparameters)

يمكنك بعد ذلك بدء عملية الضبط الدقيق ونشر النموذج إلى نقطة نهاية الاستدلال. في الكود التالي، نستخدم مثال ml.g5.12xlarge:

from sagemaker.jumpstart.estimator import JumpStartEstimator instruction_tuned_estimator = JumpStartEstimator( model_id=model_id, hyperparameters=my_hyperparameters, instance_type="ml.g5.12xlarge",
)
instruction_tuned_estimator.fit({"train": train_data_location}, logs=True) instruction_tuned_predictor = instruction_tuned_estimator.deploy()

ضبط التكيف المجال

إن الضبط الدقيق لتكييف المجال هو عملية تعمل على تحسين ماجستير إدارة الأعمال المدرب مسبقًا ليناسب مجالًا أو مهمة معينة بشكل أفضل. باستخدام مجموعة بيانات أصغر خاصة بالمجال، يمكن ضبط LLM لفهم وإنشاء محتوى أكثر دقة وملاءمة ورؤية لهذا المجال المحدد، مع الاحتفاظ بالمعرفة الواسعة التي اكتسبتها خلال تدريبها الأصلي.

يمكن ضبط نموذج ميسترال على أي مجموعة بيانات خاصة بالمجال. بعد ضبطه، من المتوقع إنشاء نص خاص بالمجال وحل مهام البرمجة اللغوية العصبية المتنوعة في هذا المجال المحدد. بالنسبة لمجموعة بيانات التدريب، قم بتوفير دليل تدريب ودليل تحقق اختياري، يحتوي كل منهما على ملف CSV أو JSON أو TXT واحد. بالنسبة لتنسيقات CSV وJSON، استخدم البيانات من text العمود أو العمود الأول إذا text غير موجود. تأكد من وجود ملف واحد فقط تحت كل دليل. على سبيل المثال، قد تكون البيانات المدخلة بمثابة ملفات نصية لدى هيئة الأوراق المالية والبورصات الأمريكية (SEC) لشركة أمازون كملف نصي:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

يمكنك البدء في ضبط تكييف المجال عن طريق تحديد المعلمة الفائقة "instruction_tuned" مثل "False". تتشابه بقية الخطوات مع خطوات الضبط الدقيقة للتعليمات.

وضعنا max_input_length ليكون 2048 على g5.12xlarge. يمكنك استخدام طول إدخال أعلى على نوع مثيل أكبر. للحصول على التفاصيل، راجع سبيل المثال دفتر.

مثال الاستدلال مع وبدون الضبط الدقيق

يحتوي الجدول التالي على نتائج نموذج Mistral 7B الذي تم ضبطه بدقة مع وثائق إيداع SEC الخاصة بأمازون من 2021 إلى 2022. نقوم بمقارنة الإخراج قبل وبعد الضبط الدقيق.

كما ترون، يوفر النموذج المضبوط معلومات أكثر تحديدًا تتعلق بأمازون مقارنة بالنموذج العام الذي تم تدريبه مسبقًا. وذلك لأن الضبط الدقيق يكيف النموذج لفهم الفروق الدقيقة والأنماط والتفاصيل الخاصة بمجموعة البيانات المقدمة. من خلال استخدام نموذج تم تدريبه مسبقًا وتخصيصه مع الضبط الدقيق، نضمن حصولك على أفضل ما في كلا العالمين: المعرفة الواسعة بالنموذج المُدرب مسبقًا والدقة المتخصصة لمجموعة البيانات الفريدة الخاصة بك. قد لا يناسب حجم واحد الجميع في عالم التعلم الآلي، والضبط الدقيق هو الحل المصمم خصيصًا الذي تحتاجه!

وفي الختام

في هذا المنشور، ناقشنا الضبط الدقيق لنموذج Mistral 7B باستخدام SageMaker JumpStart. لقد أظهرنا كيف يمكنك استخدام وحدة التحكم SageMaker JumpStart في SageMaker Studio أو SageMaker Python SDK لضبط هذه النماذج ونشرها. كخطوة تالية، يمكنك محاولة ضبط هذه النماذج على مجموعة البيانات الخاصة بك باستخدام الكود المتوفر في مستودع GitHub لاختبار النتائج وقياسها لحالات الاستخدام الخاصة بك.

حول المؤلف

شين هوانغ هو عالم تطبيقي كبير في Amazon SageMaker JumpStart وخوارزميات Amazon SageMaker المدمجة. يركز على تطوير خوارزميات التعلم الآلي القابلة للتطوير. تتركز اهتماماته البحثية في مجال معالجة اللغة الطبيعية ، والتعلم العميق القابل للتفسير على البيانات المجدولة ، والتحليل القوي لتجميع الزمكان غير المعياري. وقد نشر العديد من الأوراق في مؤتمرات ACL و ICDM و KDD والجمعية الملكية للإحصاء: السلسلة أ.

فيفيك جانجاساني هو مهندس حلول بدء التشغيل AI/ML للشركات الناشئة في مجال الذكاء الاصطناعي التوليدي في AWS. إنه يساعد الشركات الناشئة في GenAI على بناء حلول مبتكرة باستخدام خدمات AWS والحوسبة المتسارعة. يركز حاليًا على تطوير استراتيجيات لضبط وتحسين أداء الاستدلال لنماذج اللغات الكبيرة. في أوقات فراغه، يستمتع فيفيك بالمشي لمسافات طويلة ومشاهدة الأفلام وتجربة المأكولات المختلفة.

د. أشيش خيتان هو عالم تطبيقي أقدم مع خوارزميات Amazon SageMaker المضمنة ويساعد في تطوير خوارزميات التعلم الآلي. حصل على الدكتوراه من جامعة إلينوي في أوربانا شامبين. وهو باحث نشط في التعلم الآلي والاستدلال الإحصائي ، وقد نشر العديد من الأوراق البحثية في مؤتمرات NeurIPS و ICML و ICLR و JMLR و ACL و EMNLP.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/machine-learning/fine-tune-and-deploy-mistral-7b-with-amazon-sagemaker-jumpstart/