دفاتر ملاحظات توضيحية في Amazon SageMaker JumpStart

أمازون سيج ميكر جومب ستارت هو مركز التعلم الآلي (ML) التابع لـ SageMaker الذي يوفر نماذج مدربة مسبقًا ومتاحة للجمهور لمجموعة واسعة من أنواع المشكلات لمساعدتك على البدء في التعلم الآلي.

يقدم JumpStart أيضًا أمثلة على أجهزة الكمبيوتر المحمولة التي تستخدم الأمازون SageMaker ميزات مثل تدريب الأمثلة الموضعية والتجارب على مجموعة كبيرة ومتنوعة من أنواع النماذج وحالات الاستخدام. تحتوي أمثلة دفاتر الملاحظات هذه على تعليمات برمجية توضح كيفية تطبيق حلول التعلم الآلي باستخدام SageMaker و JumpStart. يمكن تكييفها لتلائم احتياجاتك الخاصة وبالتالي يمكنها تسريع تطوير التطبيقات.

لقد أضفنا مؤخرًا 10 دفاتر ملاحظات جديدة إلى JumpStart في أمازون ساجميكر ستوديو. يركز هذا المنشور على هذه الدفاتر الجديدة. حتى كتابة هذه السطور ، تقدم JumpStart 56 جهازًا محمولًا ، بدءًا من استخدام أحدث نماذج معالجة اللغة الطبيعية (NLP) لإصلاح التحيز في مجموعات البيانات عند تدريب النماذج.

يمكن أن تساعدك أجهزة الكمبيوتر المحمولة العشرة الجديدة بالطرق التالية:

• يقدمون مثالاً لكود يمكنك تشغيله كما هو من JumpStart UI في Studio ومعرفة كيفية عمل الكود
• تُظهر استخدام العديد من واجهات برمجة تطبيقات SageMaker و JumpStart
• إنها توفر حلاً تقنيًا يمكنك تخصيصه بشكل أكبر بناءً على احتياجاتك الخاصة

يزداد عدد أجهزة الكمبيوتر المحمولة التي يتم تقديمها من خلال JumpStart بشكل منتظم مع إضافة المزيد من أجهزة الكمبيوتر المحمولة. هذه المفكرات متوفرة أيضا على جيثب.

نظرة عامة على أجهزة الكمبيوتر المحمولة

10 أجهزة كمبيوتر محمولة جديدة هي كما يلي:

• التعلم في السياق مع AlexaTM 20B - يوضح كيفية استخدام AlexaTM 20B للتعلم في السياق من خلال التعلم بدون طلقة وقليل من اللقطات في خمسة أمثلة على المهام: تلخيص النص ، وتوليد اللغة الطبيعية ، والترجمة الآلية ، والإجابة الاستخراجية للأسئلة ، واستدلال اللغة الطبيعية وتصنيفها.
• المتعلم الخطي للعدالة في SageMaker - كانت هناك مؤخرًا مخاوف بشأن التحيز في خوارزميات ML نتيجة لمحاكاة التحيزات البشرية الحالية. يطبق هذا الكمبيوتر الدفتري مفاهيم الإنصاف لضبط تنبؤات النموذج بشكل مناسب.
• إدارة تجارب التعلم الآلي باستخدام SageMaker Search - يتيح لك Amazon SageMaker Search بسرعة العثور على نماذج التدريب الأكثر صلة وتقييمها من مئات وآلاف من وظائف التدريب على نماذج SageMaker.
• نموذج الموضوع العصبي SageMaker - نموذج SageMaker Neural Topic Model (NTM) هو خوارزمية تعليمية غير خاضعة للإشراف تحاول وصف مجموعة من الملاحظات كمزيج من الفئات المتميزة.
• توقع انتهاكات سرعة القيادة - يمكن استخدام خوارزمية SageMaker DeepAR لتدريب نموذج لشوارع متعددة في وقت واحد ، والتنبؤ بالانتهاكات لكاميرات الشوارع المتعددة.
• التنبؤ بسرطان الثدي - يستخدم هذا الكمبيوتر الدفتري مجموعة البيانات التشخيصية لسرطان الثدي من UCI لبناء نموذج تنبؤي لما إذا كانت صورة كتلة الثدي تشير إلى ورم حميد أو خبيث.
• تنبؤات المجموعة من نماذج متعددة - من خلال الجمع بين التنبؤات أو حساب متوسطها من مصادر ونماذج متعددة ، نحصل عادةً على تنبؤات محسنة. توضح هذه المفكرة هذا المفهوم.
• الاستدلال غير المتزامن من SageMaker - الاستدلال غير المتزامن هو خيار استدلال جديد لاحتياجات الاستدلال في الوقت الفعلي تقريبًا. يمكن أن تستغرق الطلبات ما يصل إلى 15 دقيقة للمعالجة ولها أحجام حمولة تصل إلى 1 غيغابايت.
• TensorFlow أحضر نموذجك الخاص - تعرف على كيفية تدريب نموذج TensorFlow محليًا ونشره على SageMaker باستخدام هذا الكمبيوتر الدفتري.
• Scikit-Learn أحضر نموذجك الخاص - يوضح هذا الكمبيوتر الدفتري كيفية استخدام نموذج Scikit-Learn مدرب مسبقًا مع حاوية SageMaker Scikit-Learn لإنشاء نقطة نهاية مستضافة لهذا النموذج بسرعة.

المتطلبات الأساسية المسبقة

لاستخدام دفاتر الملاحظات هذه ، تأكد من أن لديك حق الوصول إلى Studio مع دور تنفيذي يسمح لك بتشغيل وظائف SageMaker. سيساعدك الفيديو القصير أدناه على الانتقال إلى دفاتر JumpStart.

في الأقسام التالية ، نتصفح كل حل من الحلول العشرة الجديدة ونناقش بعض تفاصيلها المثيرة للاهتمام.

التعلم في السياق مع AlexaTM 20B

AlexaTM 20B هو نموذج متعدد المهام ومتعدد اللغات واسع النطاق من التسلسل إلى التسلسل (seq2seq) ، تم تدريبه على مزيج من الزحف المشترك (mC4) وبيانات ويكيبيديا عبر 12 لغة ، باستخدام مهام تقليل الضوضاء ونمذجة اللغة السببية (CLM). إنه يحقق أداءً متطورًا في مهام اللغة الشائعة في السياق مثل تلخيص لقطة واحدة والترجمة الآلية من لقطة واحدة ، متفوقًا على نماذج وحدات فك التشفير فقط مثل Open AI's GPT3 و Google's PaLM ، والتي تزيد عن ثمانية أضعاف.

التعلم في السياق ، المعروف أيضًا باسم حث، يشير إلى طريقة تستخدم فيها نموذج البرمجة اللغوية العصبية في مهمة جديدة دون الحاجة إلى ضبطه. يتم تقديم بعض أمثلة المهام إلى النموذج فقط كجزء من مدخلات الاستدلال ، وهو نموذج معروف باسم قليل من التعلم في السياق. في بعض الحالات ، يمكن أن يؤدي النموذج أداءً جيدًا بدون أي بيانات تدريب على الإطلاق ، فقط مع توضيح ما يجب توقعه. هذا يسمي التعلم الفوري في السياق.

يوضح هذا الكمبيوتر الدفتري كيفية نشر AlexaTM 20B من خلال JumpStart API وتشغيل الاستدلال. يوضح أيضًا كيف يمكن استخدام AlexaTM 20B للتعلم في السياق بخمس أمثلة على المهام: تلخيص النص ، وتوليد اللغة الطبيعية ، والترجمة الآلية ، والإجابة الاستخراجية للأسئلة ، واستدلال اللغة الطبيعية وتصنيفها.

يوضح دفتر الملاحظات ما يلي:

• تلخيص نصي في لقطة واحدة ، وتوليد لغة طبيعية ، وترجمة آلية باستخدام مثال تدريبي واحد لكل مهمة من هذه المهام
• الإجابة على الأسئلة بدون طلقة والاستدلال اللغوي الطبيعي بالإضافة إلى التصنيف باستخدام النموذج كما هو ، دون الحاجة إلى تقديم أي أمثلة تدريبية.

حاول تشغيل النص الخاص بك مقابل هذا النموذج وشاهد كيف يلخص النص ، أو يستخرج أسئلة وأجوبة ، أو يترجم من لغة إلى أخرى.

المتعلم الخطي الإنصاف في SageMaker

كانت هناك مؤخرًا مخاوف بشأن التحيز في خوارزميات ML نتيجة لمحاكاة التحيزات البشرية الحالية. في الوقت الحاضر ، العديد من أساليب تعلم الآلة لها آثار اجتماعية قوية ، على سبيل المثال يتم استخدامها للتنبؤ بالقروض المصرفية أو معدلات التأمين أو الإعلانات. لسوء الحظ ، فإن الخوارزمية التي تتعلم من البيانات التاريخية ترث التحيزات السابقة بشكل طبيعي. يعرض هذا دفتر الملاحظات كيفية التغلب على هذه المشكلة باستخدام SageMaker والخوارزميات العادلة في سياق المتعلمين الخطيين.

يبدأ بتقديم بعض المفاهيم والرياضيات الكامنة وراء الإنصاف ، ثم يقوم بتنزيل البيانات ، وتدريب نموذج ، وأخيراً تطبيق مفاهيم الإنصاف لضبط تنبؤات النموذج بشكل مناسب.

يوضح دفتر الملاحظات ما يلي:

• تشغيل نموذج خطي قياسي على مجموعة بيانات الكبار في UCI.
• إظهار الظلم في تنبؤات النموذج
• إصلاح البيانات لإزالة التحيز
• إعادة تدريب النموذج

حاول تشغيل البيانات الخاصة بك باستخدام رمز المثال هذا واكتشف ما إذا كان هناك تحيز. بعد ذلك ، حاول إزالة التحيز ، إن وجد ، في مجموعة البيانات الخاصة بك باستخدام الوظائف المتوفرة في مثال الكمبيوتر الدفتري هذا.

إدارة تجارب ML باستخدام SageMaker Search

يتيح لك SageMaker Search العثور بسرعة على نماذج التدريب الأكثر صلة وتقييمها من مئات وآلاف من وظائف التدريب على نماذج SageMaker. يتطلب تطوير نموذج ML التجريب المستمر ، وتجربة خوارزميات التعلم الجديدة ، وضبط المعلمات الفائقة ، كل ذلك مع ملاحظة تأثير هذه التغييرات على أداء النموذج ودقته. غالبًا ما يؤدي هذا التمرين التكراري إلى انفجار مئات من تجارب التدريب النموذجية وإصدارات النماذج ، مما يؤدي إلى إبطاء التقارب واكتشاف النموذج الفائز. بالإضافة إلى ذلك ، فإن انفجار المعلومات يجعل من الصعب للغاية تتبع سلالة إصدار النموذج - المجموعة الفريدة من مجموعات البيانات والخوارزميات والمعلمات التي صنعت هذا النموذج في المقام الأول.

يوضح دفتر الملاحظات هذا كيفية استخدام SageMaker Search لتنظيم وتتبع وتقييم وظائف تدريب النموذج الخاصة بك على SageMaker بسرعة وسهولة. يمكنك البحث عن جميع السمات التعريفية من خوارزمية التعلم المستخدمة ، وإعدادات المعامل الفائق ، ومجموعات بيانات التدريب المستخدمة ، وحتى العلامات التي أضفتها إلى وظائف التدريب النموذجية. يمكنك أيضًا مقارنة عمليات التدريب الخاصة بك وتصنيفها بسرعة استنادًا إلى مقاييس الأداء الخاصة بها ، مثل فقدان التدريب ودقة التحقق من الصحة ، وبالتالي إنشاء قوائم المتصدرين لتحديد النماذج الفائزة التي يمكن نشرها في بيئات الإنتاج. يمكن لـ SageMaker Search أن يتتبع بسرعة النسب الكاملة لإصدار نموذج تم نشره في بيئة حية ، حتى مجموعات البيانات المستخدمة في التدريب والتحقق من صحة النموذج.

يوضح دفتر الملاحظات ما يلي:

• تدريب نموذج خطي ثلاث مرات
• استخدام SageMaker Search لتنظيم وتقييم هذه التجارب
• تصور النتائج في لوحة الصدارة
• نشر نموذج إلى نقطة نهاية
• تتبع نسب النموذج بدءًا من نقطة النهاية

في تطويرك للنماذج التنبؤية ، قد تجري عدة تجارب. جرب استخدام SageMaker Search في مثل هذه التجارب واختبر كيف يمكن أن يساعدك بطرق متعددة.

نموذج الموضوع العصبي SageMaker

نموذج SageMaker Neural Topic Model (NTM) هو خوارزمية تعليمية غير خاضعة للإشراف تحاول وصف مجموعة من الملاحظات كمزيج من الفئات المتميزة. يتم استخدام NTM بشكل شائع لاكتشاف عدد محدد من قبل المستخدم من الموضوعات المشتركة بواسطة المستندات داخل مجموعة نصية. هنا كل ملاحظة عبارة عن مستند ، والسمات هي التواجد (أو عدد التكرارات) لكل كلمة ، والفئات هي الموضوعات. نظرًا لأن الطريقة غير خاضعة للإشراف ، لم يتم تحديد الموضوعات مقدمًا ولا يمكن ضمان توافقها مع كيفية تصنيف الإنسان للمستندات بشكل طبيعي. يتم تعلم الموضوعات كتوزيع احتمالي على الكلمات التي ترد في كل مستند. يتم وصف كل وثيقة بدورها على أنها مزيج من الموضوعات.

يستخدم هذا الكمبيوتر الدفتري خوارزمية SageMaker NTM لتدريب نموذج على مجموعة بيانات 20NewsGroups. تم استخدام مجموعة البيانات هذه على نطاق واسع كمعيار لنمذجة الموضوع.

يوضح دفتر الملاحظات ما يلي:

• إنشاء وظيفة تدريب SageMaker على مجموعة بيانات لإنتاج نموذج NTM
• استخدام النموذج لإجراء الاستدلال بنقطة نهاية SageMaker
• استكشاف النموذج المدرب وتصور الموضوعات التي تم تعلمها

يمكنك بسهولة تعديل دفتر الملاحظات هذا لتشغيله على مستنداتك النصية وتقسيمها إلى مواضيع مختلفة.

توقع انتهاكات سرعة القيادة

يوضح هذا الكمبيوتر الدفتري التنبؤ بالسلاسل الزمنية باستخدام خوارزمية SageMaker DeepAR من خلال تحليل مجموعة بيانات انتهاك كاميرا السرعة في شيكاغو. تستضيف Data.gov مجموعة البيانات ، وتديرها إدارة الخدمات العامة الأمريكية ، خدمة تحويل التكنولوجيا.

يتم التقاط هذه الانتهاكات بواسطة أنظمة الكاميرا وهي متاحة لتحسين حياة الجمهور من خلال بوابة بيانات مدينة شيكاغو. يمكن استخدام مجموعة بيانات Speed ​​Camera Violation لتمييز الأنماط في البيانات واكتساب رؤى مفيدة.

تحتوي مجموعة البيانات على مواقع كاميرات متعددة وعدد الانتهاكات اليومية. يمكن اعتبار كل انتهاك يومي للكاميرا سلسلة زمنية منفصلة. يمكنك استخدام خوارزمية SageMaker DeepAR لتدريب نموذج لشوارع متعددة في وقت واحد ، والتنبؤ بالانتهاكات لكاميرات الشوارع المتعددة.

يوضح دفتر الملاحظات ما يلي:

• تدريب خوارزمية SageMaker DeepAR على مجموعة بيانات السلاسل الزمنية باستخدام المثيلات الموضعية
• عمل استدلالات على النموذج المدرب لعمل تنبؤات بالمخالفات المرورية

باستخدام هذا الكمبيوتر الدفتري ، يمكنك معرفة كيفية حل مشكلات السلاسل الزمنية باستخدام خوارزمية DeepAR في SageMaker ومحاولة تطبيقها على مجموعات بيانات السلاسل الزمنية الخاصة بك.

التنبؤ بسرطان الثدي

يأخذ هذا الكمبيوتر الدفتري مثالاً للتنبؤ بسرطان الثدي باستخدام مجموعة البيانات التشخيصية لسرطان الثدي من UCI. تستخدم مجموعة البيانات هذه لبناء نموذج تنبؤي لما إذا كانت صورة كتلة الثدي تشير إلى ورم حميد أو خبيث.

يوضح دفتر الملاحظات ما يلي:

• الإعداد الأساسي لاستخدام SageMaker
• تحويل مجموعات البيانات إلى تنسيق Protobuf المستخدم بواسطة خوارزميات SageMaker والتحميل إلى خدمة تخزين أمازون البسيطة (أمازون إس 3)
• تدريب نموذج المتعلم الخطي من SageMaker على مجموعة البيانات
• استضافة النموذج المدرب
• التهديف باستخدام النموذج المدرب

يمكنك تصفح هذا الكمبيوتر المحمول لمعرفة كيفية حل مشكلة العمل باستخدام SageMaker ، وفهم الخطوات المتضمنة للتدريب واستضافة نموذج.

تنبؤات المجموعة من نماذج متعددة

في التطبيقات العملية لتعلم الآلة في المهام التنبؤية ، غالبًا لا يكفي نموذج واحد. تتطلب معظم مسابقات التنبؤ عادةً الجمع بين التوقعات من مصادر متعددة للحصول على توقعات أفضل. من خلال الجمع بين التنبؤات أو حساب متوسطها من مصادر أو نماذج متعددة ، نحصل عادةً على تنبؤات محسنة. يحدث هذا بسبب وجود قدر كبير من عدم اليقين في اختيار النموذج ولا يوجد نموذج حقيقي واحد في العديد من التطبيقات العملية. لذلك ، من المفيد الجمع بين التنبؤات من النماذج المختلفة. في الأدب البايزي ، يشار إلى هذه الفكرة على أنها نموذج بايزي المتوسط ​​، وقد ثبت أنها تعمل بشكل أفضل بكثير من مجرد اختيار نموذج واحد.

يقدم هذا الكمبيوتر الدفتري مثالاً توضيحيًا للتنبؤ بما إذا كان الشخص يربح أكثر من 50,000 دولار سنويًا بناءً على معلومات حول تعليمه وخبراته في العمل وجنسه وغير ذلك.

يوضح دفتر الملاحظات ما يلي:

• تحضير دفتر SageMaker الخاص بك
• تحميل مجموعة بيانات من Amazon S3 باستخدام SageMaker
• التحقيق في البيانات وتحويلها بحيث يمكن تغذيتها لخوارزميات SageMaker
• تقدير نموذج باستخدام خوارزمية SageMaker XGBoost (Extreme Gradient Boosting)
• استضافة النموذج على SageMaker لعمل تنبؤات مستمرة
• تقدير النموذج الثاني باستخدام طريقة المتعلم الخطي SageMaker
• الجمع بين التنبؤات من كلا النموذجين وتقييم التنبؤ المشترك
• توليد تنبؤات نهائية على مجموعة بيانات الاختبار

حاول تشغيل هذا الكمبيوتر الدفتري على مجموعة البيانات الخاصة بك واستخدام خوارزميات متعددة. جرب تجربة مجموعة متنوعة من النماذج التي تقدمها SageMaker و JumpStart واعرف أي مجموعة من مجموعات النماذج تعطي أفضل النتائج على بياناتك الخاصة.

الاستدلال غير المتزامن لـ SageMaker

الاستدلال غير المتزامن من SageMaker هو قدرة جديدة في SageMaker تضع الطلبات الواردة في قائمة الانتظار وتعالجها بشكل غير متزامن. يقدم SageMaker حاليًا خيارين للاستدلال للعملاء لنشر نماذج ML: خيار في الوقت الفعلي لأحمال العمل منخفضة التأخير ، وتحويل الدُفعات ، وهو خيار غير متصل بالإنترنت لمعالجة طلبات الاستدلال على مجموعات البيانات المتاحة مسبقًا. يُعد الاستدلال في الوقت الفعلي مناسبًا لأحمال العمل التي تقل أحجامها عن 6 ميغابايت ويتطلب معالجة طلبات الاستدلال في غضون 60 ثانية. التحويل الدفعي مناسب للاستدلال في وضع عدم الاتصال على دفعات من البيانات.

الاستدلال غير المتزامن هو خيار استدلال جديد لاحتياجات الاستدلال في الوقت الفعلي تقريبًا. يمكن أن تستغرق الطلبات ما يصل إلى 15 دقيقة للمعالجة ولها أحجام حمولة تصل إلى 1 غيغابايت. يعد الاستدلال غير المتزامن مناسبًا لأحمال العمل التي ليس لها متطلبات زمن انتقال ثانوي ولديها متطلبات زمن انتقال مخففة. على سبيل المثال ، قد تحتاج إلى معالجة استنتاج على صورة كبيرة من عدة ميغا بايت في غضون 5 دقائق. بالإضافة إلى ذلك ، تتيح لك نقاط نهاية الاستدلال غير المتزامن التحكم في التكاليف عن طريق تقليص عدد مثيلات نقطة النهاية إلى الصفر عندما تكون خاملة ، لذلك لا تدفع إلا عندما تقوم نقاط النهاية بمعالجة الطلبات.

يوضح دفتر الملاحظات ما يلي:

• إنشاء نموذج SageMaker
• إنشاء نقطة نهاية باستخدام هذا النموذج وتكوين الاستدلال غير المتزامن
• عمل تنبؤات مقابل نقطة النهاية غير المتزامنة هذه

يعرض لك هذا الكمبيوتر الدفتري مثالاً عمليًا لتجميع نقطة نهاية غير متزامنة لنموذج SageMaker.

TensorFlow أحضر نموذجك الخاص

يتم تدريب نموذج TensorFlow محليًا على مهمة تصنيف حيث يتم تشغيل هذا الكمبيوتر الدفتري. ثم يتم نشره على نقطة نهاية SageMaker.

يوضح دفتر الملاحظات ما يلي:

• تدريب نموذج TensorFlow محليًا على مجموعة بيانات IRIS
• استيراد هذا النموذج إلى SageMaker
• استضافته على نقطة نهاية

إذا كان لديك نماذج TensorFlow قمت بتطويرها بنفسك ، فيمكن أن يساعدك مثال دفتر الملاحظات هذا في استضافة النموذج الخاص بك على نقطة نهاية مُدارة من SageMaker.

Scikit-Learn أحضر نموذجك الخاص

يتضمن SageMaker وظائف لدعم بيئة دفتر الملاحظات المستضافة ، والتدريب الموزع بدون خادم ، والاستضافة في الوقت الفعلي. يعمل بشكل أفضل عندما يتم استخدام هذه الخدمات الثلاث معًا ، ولكن يمكن أيضًا استخدامها بشكل مستقل. قد تتطلب بعض حالات الاستخدام استضافة فقط. ربما تم تدريب النموذج قبل وجود SageMaker ، في خدمة مختلفة.

يوضح دفتر الملاحظات ما يلي:

• استخدام نموذج Scikit-Learn مدرب مسبقًا مع حاوية SageMaker Scikit-Learn لإنشاء نقطة نهاية مستضافة لهذا النموذج بسرعة

إذا كانت لديك نماذج Scikit-Learn قمت بتطويرها بنفسك ، فيمكن أن يساعدك مثال دفتر الملاحظات هذا في استضافة نموذجك على نقطة نهاية مُدارة من SageMaker.

تنظيف الموارد

بعد الانتهاء من تشغيل دفتر ملاحظات في JumpStart ، تأكد من ذلك حذف كافة الموارد بحيث يتم حذف جميع الموارد التي قمت بإنشائها في العملية وإيقاف الفواتير الخاصة بك. عادةً ما تحذف الخلية الأخيرة في دفاتر الملاحظات هذه نقاط النهاية التي تم إنشاؤها.

نبذة عامة

أطلعك هذا المنشور على 10 نماذج جديدة من دفاتر الملاحظات التي تمت إضافتها مؤخرًا إلى JumpStart. على الرغم من أن هذا المنشور ركز على هذه الدفاتر العشرة الجديدة ، إلا أن هناك ما مجموعه 10 دفتر ملاحظات متاحًا حتى كتابة هذه السطور. نحن نشجعك على تسجيل الدخول إلى Studio واستكشاف دفاتر JumpStart بأنفسك والبدء في استخلاص قيمة فورية منها. لمزيد من المعلومات ، يرجى الرجوع إلى أمازون ساجميكر ستوديو و سيج ميكر جومب ستارت.

---

عن المؤلف

الدكتور راجو بنماتشا هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في منصات الذكاء الاصطناعي في AWS. حصل على الدكتوراه من جامعة ستانفورد. إنه يعمل عن كثب على خدمات مجموعة منخفضة / بدون تعليمات برمجية في SageMaker والتي تساعد العملاء على بناء ونشر نماذج وحلول التعلم الآلي بسهولة.