نموذج الأساس AI21 Jurassic-1 متاح الآن على Amazon SageMaker

يسعدنا اليوم أن نعلن أن نماذج الأساس AI21 Jurassic-1 (J1) متاحة للعملاء الذين يستخدمون الأمازون SageMaker. تتميز نماذج Jurassic-1 بأنها متعددة الاستخدامات للغاية ، فهي قادرة على إنشاء نصوص شبيهة بالبشر ، بالإضافة إلى حل المهام المعقدة مثل الإجابة على الأسئلة ، وتصنيف النص ، والعديد من المهام الأخرى. يمكنك بسهولة تجربة هذا النموذج واستخدامه مع أمازون سيج ميكر جومب ستارت. JumpStart هو مركز التعلم الآلي (ML) لـ SageMaker الذي يوفر الوصول إلى نماذج الأساس بالإضافة إلى الخوارزميات المضمنة وقوالب الحلول الشاملة لمساعدتك على البدء بسرعة مع ML.

في هذا المنشور ، نتعرف على كيفية استخدام نموذج Jurassic-1 Grande في SageMaker.

نماذج الأساس في SageMaker

يوفر JumpStart الوصول إلى مجموعة من النماذج من محاور النماذج الشهيرة بما في ذلك Hugging Face و PyTorch Hub و TensorFlow Hub ، والتي يمكنك استخدامها ضمن سير عمل تطوير ML الخاص بك في SageMaker. أدت التطورات الحديثة في ML إلى ظهور فئة جديدة من النماذج المعروفة باسم نماذج الأساس، والتي يتم تدريبها عادةً على مليارات من المعلمات وقابلة للتكيف مع فئة واسعة من حالات الاستخدام ، مثل تلخيص النص ، وإنشاء الفن الرقمي ، وترجمة اللغة. نظرًا لأن تدريب هذه النماذج غالي الثمن ، يرغب العملاء في استخدام نماذج الأساس الحالية المدربة مسبقًا وضبطها حسب الحاجة ، بدلاً من تدريب هذه النماذج بأنفسهم. يوفر SageMaker قائمة منسقة من النماذج التي يمكنك الاختيار من بينها على وحدة تحكم SageMaker.

يمكنك الآن العثور على نماذج الأساس من موفري نماذج مختلفين داخل JumpStart ، مما يتيح لك البدء في نماذج الأساس بسرعة. يمكنك العثور على نماذج الأساس بناءً على المهام المختلفة أو موفري النماذج ، ومراجعة خصائص النموذج وشروط الاستخدام بسهولة. يمكنك أيضًا تجربة هذه النماذج باستخدام أداة اختبار واجهة المستخدم. عندما تريد استخدام نموذج أساس على نطاق واسع ، يمكنك القيام بذلك بسهولة دون مغادرة SageMaker باستخدام دفاتر ملاحظات مسبقة الصنع من موفري النماذج. نظرًا لاستضافة النماذج ونشرها على AWS ، يمكنك أن تطمئن إلى أن بياناتك ، سواء تم استخدامها للتقييم أو استخدام النموذج على نطاق واسع ، لا تتم مشاركتها أبدًا مع جهات خارجية.

نموذج الأساس الجوراسي -1

Jurassic-1 هو الجيل الأول في سلسلة من نماذج اللغات الكبيرة التي تم تدريبها وإتاحتها على نطاق واسع مختبرات AI21. للحصول على وصف كامل لـ Jurassic-1 ، بما في ذلك المعايير والمقارنات الكمية مع النماذج الأخرى ، يرجى الرجوع إلى ما يلي ورقة تقنية. تم تدريب جميع نماذج J1 على مجموعة ضخمة من النصوص الإنجليزية ، مما يجعلها مولدات نصوص متعددة الاستخدامات للأغراض العامة ، وقادرة على تأليف نص يشبه الإنسان وحل المهام المعقدة مثل الإجابة على الأسئلة ، وتصنيف النص ، وغيرها الكثير. يمكن تطبيق J1 على أي مهمة لغوية تقريبًا عن طريق صياغة موجه مناسب يحتوي على وصف للمهمة وبعض الأمثلة ، وهي عملية تُعرف عمومًا باسم الهندسة السريعة. تشمل حالات الاستخدام الشائعة إنشاء نسخة تسويقية ، وتشغيل روبوتات المحادثة ، والمساعدة في الكتابة الإبداعية.

"نحن نبني نماذج أساسية عالمية المستوى للنصوص ونريد مساعدة عملائنا على الابتكار باستخدام أحدث طرازات Jurassic-1. تقدم Amazon SageMaker أعمق وأوسع مجموعة من خدمات تعلم الآلة ، ونحن متحمسون للتعاون مع Amazon SageMaker حتى يتمكن العملاء من استخدام نماذج الأساس هذه على SageMaker في بيئة التطوير الخاصة بهم. الآن يمكن للعملاء الابتكار بسرعة وخفض الوقت المستغرق للقيمة وزيادة الكفاءة في أعمالهم. "

-Ori Goshen ، الرئيس التنفيذي المشارك لـ AI21 Labs.

تجول

لنأخذك في جولة لاختبار طراز J1-Grande في SageMaker. يمكنك تجربة التجربة في ثلاث خطوات بسيطة:

1. اختر طراز Jurassic-1 على وحدة تحكم SageMaker.
2. قم بتقييم النموذج باستخدام أداة اختبار.
3. استخدم دفتر ملاحظات مرتبطًا بنموذج الأساس لنشره في بيئتك.

دعونا نوسع كل خطوة بالتفصيل.

اختر طراز Jurassic-1 على وحدة تحكم SageMaker

الخطوة الأولى هي تسجيل الدخول إلى وحدة تحكم إدارة AWS لـ Amazon SageMaker واطلب الوصول إلى قائمة نماذج الأساس من فئة نموذج الأساس أدناه بداية القفز ، هنا:

بعد أن يتم إدراج حسابك في قائمة السماح ، يمكنك مشاهدة قائمة النماذج في هذه الصفحة. يمكنك البحث بسرعة عن طراز Jurassic-1 Grande من نفس العرض.

قم بتقييم نموذج Jurassic-1 Grande باستخدام عنصر واجهة مستخدم للاختبار

في قائمة Jurassic-1 Grande ، اختر عرض النموذج. سترى وصفًا للنموذج والمهام التي يمكنك القيام بها. اقرأ اتفاقية ترخيص المستخدم النهائي (EULA) الخاصة بالنموذج قبل المتابعة.

لنجرب أولاً نموذج تلخيص النص. يختار جرب النموذج.

يتم نقلك إلى الصفحة في علامة تبويب مستعرض منفصلة حيث يمكنك إعطاء نماذج للمطالبات لنموذج J1-Grande وعرض الإخراج.

يُنشئ المثال التالي ملخصًا عن مطعم بناءً على التعليقات.

لاحظ أن نماذج الأساس ومخرجاتها من موفر النموذج ، وأن AWS ليست مسؤولة عن المحتوى أو الدقة فيه.

قد يختلف إخراج النموذج وفقًا للإعدادات والموجه. يمكنك إنشاء نص من النموذج باستخدام تعليمات بسيطة ، ولكن من خلال تزويد النموذج بمزيد من الأمثلة في الموجه ، تمامًا كما يفعل الإنسان ، يمكنه إنتاج عمليات إكمال أكثر انسجامًا مع نواياك. أفضل طريقة لتوجيه النموذج هي تقديم عدة أمثلة لأزواج الإدخال / الإخراج في الموجه. يؤدي هذا إلى إنشاء نمط لمحاكاة النموذج. ثم أضف الإدخال لمثال استعلام ودع النموذج يكمله بتوليد مناسب.

بعد أن تلعب مع النموذج ، حان الوقت لاستخدام الكمبيوتر الدفتري ونشره كنقطة نهاية في بيئتك.

انشر نموذج الأساس من جهاز كمبيوتر محمول

ارجع إلى قائمة الطراز الموضحة سابقًا واختر عرض دفتر الملاحظات. يجب أن تشاهد دفتر Jurassic-1 Grande Jupyter مع الإرشادات التفصيلية لنشر النموذج.

دعونا نستخدم هذا الكمبيوتر المحمول من أمازون ساجميكر ستوديو. افتح Studio واسحب دفتر الملاحظات باستخدام عنوان URL لـ Git repo https://github.com/AI21Labs/SageMaker.git.

يستخدم مثال الكمبيوتر الدفتري كلاً من Boto3 SDK و AI21 SDK لنشر نقطة النهاية والتفاعل معها.

لاحظ أن هذا المثال يستخدم مثيل ml.g5.12xlarge. إذا كان الحد الافتراضي لحساب AWS الخاص بك هو 0 ، فأنت بحاجة إلى طلب زيادة الحد لمثيل GPU هذا.

لنقم بإنشاء نقطة النهاية باستخدام استنتاج SageMaker. أولاً ، نضع المتغيرات الضرورية ، ثم ننشر النموذج من حزمة النموذج:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

بعد نشر نقطة النهاية ، يمكنك تشغيل استعلامات الاستنتاج مقابل النموذج.

يمكنك التفكير في Jurassic-1 Grande على أنها خوارزمية ذكية للإكمال التلقائي: إنها جيدة جدًا في التمسك بالتلميحات والأنماط المعبر عنها باللغة الإنجليزية البسيطة ، وإنشاء نص يتبع نفس الأنماط. بعد نشر النموذج ، يمكنك التفاعل مع نقطة النهاية المنشورة باستخدام مقتطف الكود التالي:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

يحتوي الكمبيوتر الدفتري أيضًا على إرشادات حول كيفية تشغيل استعلامات الاستدلال باستخدام AI21 SDK.

يرشد الفيديو التالي خلال سير العمل.

تنظيف

بعد أن تختبر نقطة النهاية ، تأكد من حذف نقطة نهاية استنتاج SageMaker وحذف النموذج لتجنب تكبد المصاريف.

وفي الختام

في هذا المنشور ، أوضحنا لك كيف يمكنك اختبار واستخدام نموذج Jurassic Grande من AI21 باستخدام Amazon SageMaker. طلب الدخول، جرب نموذج الأساس في SageMaker اليوم وأخبرنا بتعليقاتك!

عن المؤلفين

كارثيك بهاراتي هو قائد المنتج لفريق Amazon SageMaker مع أكثر من عقد من إدارة المنتج واستراتيجية المنتج والتنفيذ وتجربة الإطلاق.

تومر أسيدا هو قائد فريق algo في AI21 Labs. بصفته قائد فريق algo ، يرأس Tomer جهود تطوير الخوارزمية لمنصة المطورين Ai21 Studio الخاصة بنا بما في ذلك نماذج Jurassic-1 وواجهات برمجة التطبيقات المرتبطة.