أدت اتجاهات التكنولوجيا والتقدم في الوسائط الرقمية في العقد الماضي أو نحو ذلك إلى انتشار البيانات المستندة إلى النصوص. الفوائد المحتملة للتنقيب عن هذا النص لاشتقاق رؤى ، تكتيكية واستراتيجية ، هائلة. وهذا ما يسمى معالجة اللغة الطبيعية (NLP). يمكنك استخدام البرمجة اللغوية العصبية ، على سبيل المثال ، لتحليل مراجعات المنتج الخاصة بك لمعرفة آراء العملاء ، أو تدريب نموذج التعرف على الكيان المخصص لتحديد أنواع المنتجات ذات الأهمية بناءً على تعليقات العملاء ، أو تدريب نموذج تصنيف نص مخصص لتحديد فئات المنتجات الأكثر شيوعًا.
فهم الأمازون هي خدمة البرمجة اللغوية العصبية مع ذكاء جاهز لاستخراج رؤى حول محتوى المستندات. يطور الرؤى من خلال التعرف على الكيانات والعبارات الرئيسية واللغة والمشاعر والعناصر المشتركة الأخرى في المستند. تستخدم Amazon Comprehend Custom التعلم الآلي (Auto ML) لبناء نماذج البرمجة اللغوية العصبية نيابة عنك باستخدام بياناتك الخاصة. يمكّنك هذا من اكتشاف الكيانات الفريدة لعملك أو تصنيف النصوص أو المستندات وفقًا لمتطلباتك. بالإضافة إلى ذلك ، يمكنك أتمتة سير عمل البرمجة اللغوية العصبية بالكامل باستخدام واجهات برمجة تطبيقات سهلة الاستخدام.
يسعدنا اليوم أن نعلن عن إطلاق ميزة نسخ النموذج المخصص من Amazon Comprehend ، والتي تتيح لك نسخ نماذج Amazon Comprehend المخصصة تلقائيًا من حساب المصدر إلى الحسابات المستهدفة المحددة في نفس المنطقة دون الحاجة إلى الوصول إلى مجموعات البيانات التي يستخدمها النموذج تم تدريبه وتقييمه على. بدءًا من اليوم ، يمكنك استخدام ملف وحدة تحكم إدارة AWS, واجهة سطر الأوامر AWS (AWS CLI) أو ملف واجهات برمجة تطبيقات boto3 (Python SDK for AWS) لنسخ النماذج المخصصة المدربة من حساب مصدر إلى حساب هدف محدد. هذه الميزة الجديدة متاحة لكل من نماذج Amazon Comprehend الخاصة بالتصنيف المخصص ونماذج التعرف على الكيانات المخصصة.
فوائد ميزة نسخ النموذج
هذه الميزة الجديدة لها الفوائد التالية:
- إستراتيجية MLOps متعددة الحسابات - تدريب نموذج مرة واحدة وضمان نشر يمكن التنبؤ به في بيئات متعددة في حسابات مختلفة.
- أسرع النشر - يمكنك نسخ نموذج مدرب بسرعة بين الحسابات ، مع تجنب الوقت المستغرق لإعادة التدريب في كل حساب.
- حماية مجموعات البيانات الحساسة - الآن لم تعد بحاجة إلى مشاركة مجموعات البيانات بين حسابات أو مستخدمين مختلفين. يجب أن تكون بيانات التدريب متاحة فقط على الحساب حيث يتم التدريب. هذا مهم جدًا لبعض الصناعات مثل الخدمات المالية ، حيث يكون عزل البيانات ووضع الحماية ضروريين لتلبية المتطلبات التنظيمية.
- تعاون سهل - يمكن للشركاء أو البائعين الآن التدريب بسهولة في Amazon Comprehend Custom ومشاركة النماذج مع عملائهم.
كيف يعمل نسخ النموذج
باستخدام ميزة نسخ النموذج الجديدة ، يمكنك نسخ النماذج المخصصة بين حسابات AWS في نفس المنطقة في عملية من مرحلتين. أولاً ، يشارك مستخدم في حساب AWS واحد (الحساب A) نموذجًا مخصصًا موجودًا في حسابه. بعد ذلك ، يقوم مستخدم في حساب AWS آخر (الحساب B) باستيراد النموذج إلى حسابه.
مشاركة النموذج
لمشاركة نموذج مخصص في الحساب أ ، يقوم المستخدم بإرفاق ملف إدارة الهوية والوصول AWS (IAM) سياسة قائمة على الموارد لنسخة نموذجية. تخول هذه السياسة كيانًا في الحساب B ، مثل مستخدم IAM أو دوره ، لاستيراد إصدار النموذج إلى Amazon Comprehend في حساب AWS الخاص به. يمكنك تكوين سياسة قائمة على الموارد إما من خلال وحدة التحكم أو باستخدام مخصص Amazon Comprehend PutResourcePolicy
API.
استيراد نموذج
لاستيراد النموذج إلى الحساب B ، يقوم مستخدم هذا الحساب بتزويد Amazon Comprehend بالتفاصيل الضرورية ، مثل Amazon Resource Name (ARN) للنموذج. عند استيراد النموذج ، يقوم هذا المستخدم بإنشاء نموذج مخصص جديد في حساب AWS الخاص به والذي يكرر النموذج الذي قام باستيراده. هذا النموذج مدرب بشكل كامل وجاهز لوظائف الاستدلال ، مثل تصنيف المستندات أو التعرف على الكيانات المسماة. إذا تم تشفير النموذج بامتداد خدمة إدارة مفتاح AWS (AWS KMS) في المصدر ، ثم يحتاج دور الخدمة المحدد أثناء استيراد النموذج إلى الوصول إلى مفتاح KMS من أجل فك تشفير النموذج أثناء الاستيراد. يمكن للحساب الهدف أيضًا تحديد مفتاح KMS لتشفير النموذج أثناء الاستيراد. استيراد النموذج المشترك متاح أيضًا على كل من وحدة التحكم وواجهة برمجة التطبيقات.
حل نظرة عامة
لإثبات وظائف ميزة نسخ النموذج ، نعرض لك كيفية تدريب نموذج التعرف على الكيانات المخصص من Amazon Comprehend ومشاركته واستيراده باستخدام كل من وحدة التحكم Amazon Comprehend و AWS CLI. في هذا العرض التوضيحي ، نستخدم حسابين مختلفين. تنطبق الخطوات أيضًا على التصنيف المخصص لخدمة Amazon Comprehend. الخطوات المطلوبة هي كما يلي:
- تدريب نموذج التعرف على الكيانات المخصص من Amazon Comprehend في الحساب المصدر.
- حدد سياسة موارد IAM للنموذج المدرب للسماح بالوصول عبر الحسابات.
- انسخ النموذج المدرب من الحساب المصدر إلى الحساب المستهدف.
- اختبر النموذج المنسوخ من خلال وظيفة دفعية.
تدريب نموذج التعرف على الكيانات المخصص من Amazon Comprehend في الحساب المصدر
تتمثل الخطوة الأولى في تدريب نموذج التعرف على الكيانات المخصص من Amazon Comprehend في الحساب المصدر. كمجموعة بيانات إدخال للتدريب ، نستخدم ملف CSV قائمة الكيان و وثائق التدريب للتعرف على عروض خدمات AWS في مستند معين. تأكد من أن قائمة الكيانات ومستندات التدريب في ملف خدمة تخزين أمازون البسيطة (Amazon S3) في حساب المصدر. للحصول على التعليمات ، انظر إضافة المستندات إلى Amazon S3.
إنشاء دور IAM لـ Amazon Comprehend وتوفير الوصول المطلوب إلى حاوية S3 مع بيانات التدريب. لاحظ دور مسارات حاوية ARN و S3 لاستخدامها في الخطوات اللاحقة.
تدريب نموذج باستخدام AWS CLI
قم بإنشاء أداة التعرف على الكيان باستخدام أمر AWS CLI التالي. استبدل المعلمات الخاصة بك بمسارات S3 ودور IAM والمنطقة. الرد يعود مرة أخرى EntityRecognizerArn
.
يمكن مراقبة حالة وظيفة التدريب عن طريق استدعاء أداة التعرف على الكيان الموصوف والتحقق من الحالة في الاستجابة.
تدريب نموذج عبر وحدة التحكم
لتدريب نموذج عبر وحدة التحكم ، أكمل الخطوات التالية:
- على وحدة تحكم Amazon Comprehend ، ضمن تخصيص، قم بإنشاء نموذج جديد للتعرف على الكيانات المخصصة.
- أدخل اسم النموذج والإصدار.
- في حالة اللغة ، اختر إنجلي.
- في حالة نوع الكيان المخصص، أضف
AWS_OFFERING
.
لتدريب نموذج التعرف على الكيانات المخصص ، يمكنك اختيار إحدى طريقتين لتقديم البيانات إلى Amazon Comprehend: الشروح or قوائم الكيانات. للتبسيط ، استخدم طريقة قائمة الكيانات.
- في حالة تنسيق البيانات، حدد ملف CSV.
- في حالة نوع التدريب، حدد استخدام قائمة الكيانات ومستندات التدريب.
- قم بتوفير مسارات موقع S3 لقائمة الكيانات بتنسيق CSV وبيانات التدريب.
- لمنح الأذونات لـ Amazon Comprehend للوصول إلى حاوية S3 الخاصة بك ، قم بإنشاء دور مرتبط بخدمة IAM.
في مجلة السياسة القائمة على الموارد القسم ، يمكنك تفويض الوصول لإصدار النموذج. يمكن للحسابات التي تمنح حق الوصول إليها استيراد هذا النموذج إلى حساباتهم. نتخطى هذه الخطوة في الوقت الحالي ونضيف السياسة بعد تدريب النموذج ونشعر بالرضا عن أداء النموذج.
- اختار إنشاء.
يؤدي هذا إلى إرسال أداة التعرف على الكيانات المخصصة الخاصة بك ، والتي تمر عبر عدد من النماذج ، وتقوم بضبط المعلمات الفائقة الخاصة بك ، والتحقق من التحقق المتبادل للتأكد من أن نموذجك قوي. هذه كلها نفس الأنشطة التي يقوم بها علماء البيانات.
حدد سياسة موارد IAM للنموذج المدرب للسماح بالوصول عبر الحسابات
عندما نكون راضين عن أداء التدريب ، يمكننا المضي قدمًا ومشاركة إصدار النموذج المحدد عن طريق إضافة سياسة الموارد.
أضف سياسة قائمة على الموارد من AWS CLI
تخويل استيراد النموذج من الحساب الهدف عن طريق إضافة سياسة الموارد على النموذج ، كما هو موضح في التعليمات البرمجية التالية. يمكن تحديد نطاق السياسة بإحكام لإصدار نموذج معين والرئيس المستهدف. استبدل جهاز التعرف على الكيانات المدربة ARN والحساب المستهدف لتوفير الوصول إلى.
أضف سياسة قائمة على الموارد عبر وحدة التحكم
عند اكتمال التدريب ، يتم إنشاء إصدار نموذج مخصص للتعرف على الكيانات. يمكننا اختيار النموذج والنسخة المدربة لعرض تفاصيل التدريب بما في ذلك أداء النموذج المدرب.
لتحديث السياسة ، أكمل الخطوات التالية:
- على العلامات ، VPC والسياسة علامة التبويب ، قم بتحرير السياسة المستندة إلى الموارد.
- أدخل اسم السياسة ، مدير خدمة Amazon Comprehend (
comprehend.amazonaws.com
) ومعرف الحساب الهدف ومستخدمي IAM في الحساب المستهدف المصرح لهم باستيراد إصدار النموذج.
نحدد root
ككيان IAM لتفويض جميع المستخدمين في الحساب الهدف.
انسخ النموذج المدرب من الحساب المصدر إلى الحساب المستهدف
الآن يتم تدريب النموذج ومشاركته من حساب المصدر. يمكن لمستخدم الحساب المستهدف المرخص له استيراد النموذج وإنشاء نسخة من النموذج في حسابه الخاص.
لاستيراد نموذج ، تحتاج إلى تحديد نموذج المصدر ARN ودور الخدمة لـ Amazon Comprehend لتنفيذ إجراء النسخ على حسابك. يمكنك تحديد معرف AWS KMS اختياري لتشفير النموذج في حسابك المستهدف.
قم باستيراد النموذج من خلال AWS CLI
لاستيراد نموذجك باستخدام AWS CLI ، أدخل الرمز التالي:
قم باستيراد النموذج عبر وحدة التحكم
لاستيراد النموذج عبر وحدة التحكم ، أكمل الخطوات التالية:
- على وحدة تحكم Amazon Comprehend ، ضمن التعرف على الكيان المخصص، اختر نسخة الاستيراد.
- في حالة نسخة نموذجية ARN، أدخل ARN للنموذج الذي تم تدريبه في الحساب المصدر.
- أدخل اسم الطراز والإصدار للهدف.
- قم بتوفير دور حساب الخدمة واختر أكد لبدء عملية استيراد النموذج.
بعد تغيير حالة النموذج إلى Imported
، يمكننا عرض تفاصيل النموذج ، بما في ذلك تفاصيل أداء النموذج المدرب.
اختبر النموذج المنسوخ من خلال وظيفة دُفعية
نقوم باختبار النموذج المنسوخ في الحساب الهدف من خلال الكشف عن الكيانات المخصصة بوظيفة مجمعة. لاختبار النموذج ، قم بتنزيل ملف ملف الاختبار وضعه في حاوية S3 في حسابك المستهدف. إنشاء دور IAM لـ Amazon Comprehend وتوفير الوصول المطلوب إلى حاوية S3 مع بيانات الاختبار. يمكنك استخدام مسارات حاوية ARN و S3 للدور الذي سجلته سابقًا.
عند اكتمال المهمة ، يمكنك التحقق من بيانات الاستدلال في حاوية الإخراج S3 المحددة.
اختبر النموذج باستخدام AWS CLI
لاختبار النموذج باستخدام AWS CLI ، أدخل الكود التالي:
اختبر النموذج عبر وحدة التحكم
لاختبار النموذج عبر وحدة التحكم ، أكمل الخطوات التالية:
- في وحدة تحكم Amazon Comprehend ، اختر وظائف التحليل واختر خلق وظيفة.
- في حالة الاسم، أدخل اسمًا للوظيفة.
- في حالة نوع التحليلأختر التعرف على الكيان المخصص.
- اختر اسم النموذج وإصدار النموذج المستورد.
- قم بتوفير مسارات S3 لملف الاختبار للوظيفة وموقع الإخراج حيث يقوم Amazon Comprehend بتخزين النتيجة.
- اختر أو أنشئ دور IAM بإذن للوصول إلى حاويات S3.
- اختار خلق وظيفة.
عند اكتمال مهمة التحليل ، لديك ملفات JSON في مسار حاوية الإخراج S3 ، والتي يمكنك تنزيلها للتحقق من نتائج التعرف على الكيان من النموذج المستورد.
وفي الختام
في هذا المنشور ، أظهرنا ميزة نسخ نموذج الكيان المخصص من Amazon Comprehend. تمنحك هذه الميزة القدرة على تدريب نموذج تصنيف أو التعرف على الكيانات المخصصة Amazon Comprehend في حساب واحد ثم مشاركة النموذج مع حساب آخر في نفس المنطقة. يعمل هذا على تبسيط إستراتيجية الحسابات المتعددة حيث يمكن تدريب النموذج مرة واحدة ومشاركته بين الحسابات داخل نفس المنطقة دون الحاجة إلى إعادة تدريب مجموعات بيانات التدريب أو مشاركتها. يسمح هذا بالنشر القابل للتنبؤ في كل حساب كجزء من سير عمل MLOps الخاص بك. لمزيد من المعلومات ، راجع وثائقنا على فهم نسخة مخصصة، أو جرّب الإرشادات التفصيلية في هذا المنشور إما عبر وحدة التحكم أو باستخدام قشرة سحابية مع AWS CLI.
حتى كتابة هذه السطور ، تتوفر ميزة نسخ النموذج في Amazon Comprehend في المناطق التالية:
- شرق الولايات المتحدة (أوهايو)
- شرق الولايات المتحدة (فرجينيا الشمالية)
- غرب الولايات المتحدة (أوريغون)
- آسيا والمحيط الهادئ (مومباي)
- آسيا والمحيط الهادئ (سيول)
- آسيا والمحيط الهادئ (سنغافورة)
- آسيا والمحيط الهادئ (سيدني)
- آسيا والمحيط الهادئ (طوكيو)
- الاتحاد الأوروبي (فرانكفورت)
- الاتحاد الأوروبي (أيرلندا)
- الاتحاد الأوروبي (لندن)
- AWS GovCloud (غرب الولايات المتحدة)
جرب هذه الميزة ، ويرجى إرسال التعليقات إلينا إما عبر منتدى AWS لـ Amazon Comprehend أو من خلال جهات اتصال دعم AWS المعتادة.
حول المؤلف
بريمكومار رانجاراجان هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في Amazon Web Services وقد قام سابقًا بتأليف كتاب Natural Language Processing مع خدمات AWS AI. لديه 26 عامًا من الخبرة في صناعة تكنولوجيا المعلومات في مجموعة متنوعة من الأدوار ، بما في ذلك قائد التسليم ، وأخصائي التكامل ، ومهندس المؤسسة. إنه يساعد المؤسسات من جميع الأحجام على تبني الذكاء الاصطناعي والتعلم الآلي لحل تحديات العالم الحقيقي.
شيثان كريشنا مهندس حلول شريك أول في الهند. إنه يعمل مع شركاء AWS الاستراتيجيين لإنشاء كفاءة سحابية قوية ، واعتماد أفضل ممارسات AWS وحل تحديات العملاء. إنه منشئ ويستمتع بتجربة الذكاء الاصطناعي / التعلم الآلي وإنترنت الأشياء والتحليلات.
سريهارشا MS هو مهندس حلول متخصص في الذكاء الاصطناعي / التعلم الآلي في فريق المتخصص الاستراتيجي في Amazon Web Services. إنه يعمل مع عملاء AWS الاستراتيجيين الذين يستفيدون من الذكاء الاصطناعي / التعلم الآلي لحل مشاكل الأعمال المعقدة. يقدم التوجيه الفني ونصائح التصميم لتنفيذ تطبيقات الذكاء الاصطناعي / تعلم الآلة على نطاق واسع. تمتد خبرته إلى هندسة التطبيقات ، والبيانات الكبيرة ، والتحليلات ، والتعلم الآلي.
- كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
- كريبتوهوك. الرادار. تجربة مجانية.
- المصدر: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- من نحن
- الوصول
- حسابي
- اكشن
- أنشطة
- التطورات
- مميزات
- نصيحة
- AI
- خدمات الذكاء الاصطناعي
- الكل
- أمازون
- أمازون ويب سيرفيسز
- تحليل
- تحليلات
- أعلن
- اعلان
- آخر
- API
- واجهات برمجة التطبيقات
- ذو صلة
- تطبيق
- التطبيقات
- هندسة معمارية
- السيارات
- متاح
- AWS
- الفوائد
- أفضل
- أفضل الممارسات
- الحدود
- نساعدك في بناء
- باني
- الأعمال
- التحديات
- تدقيق
- الشيكات
- تصنيف
- سحابة
- الكود
- تعليقات
- مشترك
- مجمع
- كنسولات
- محتوى
- العملاء
- البيانات
- عقد
- التوصيل
- نشر
- تصميم
- مختلف
- رقمي
- وثائق
- بسهولة
- تأثير
- ضخم
- مشروع
- أساسي
- مثال
- الخبره في مجال الغطس
- خبرة
- الميزات
- ردود الفعل
- مالي
- الخدمات المالية
- الاسم الأول
- متابعيك
- وظيفة
- سعيد
- وجود
- يساعد
- كيفية
- كيفية
- HTTPS
- تحديد
- هوية
- تنفيذ
- أهمية
- استيراد
- بما فيه
- الهند
- الصناعات
- العالمية
- معلومات
- رؤى
- التكامل
- رؤيتنا
- مصلحة
- قام المحفل
- أيرلندا
- عزل
- IT
- وظيفة
- المشــاريــع
- القفل
- لغة
- إطلاق
- قيادة
- تعلم
- خط
- قائمة
- موقع
- لندن
- آلة
- آلة التعلم
- إدارة
- الوسائط
- تعدين
- ML
- نموذج
- عارضات ازياء
- أكثر
- الاكثر شهره
- مومباي
- طبيعي
- عروض
- أوهايو
- طلب
- ولاية أوريغون
- أخرى
- سلمي
- الشريكة
- شركاء
- أداء
- عبارات
- سياسة
- أكثر الاستفسارات
- رئيسي
- مشاكل
- عملية المعالجة
- منتج
- تزود
- ويوفر
- بسرعة
- المنظمين
- مطلوب
- المتطلبات الأساسية
- مورد
- استجابة
- النتائج
- عائدات
- التقييمات
- حجم
- العلماء
- الإستراحة
- سيول
- الخدمة
- خدمات
- مشاركة
- شاركت
- مشاركة
- قذيفة
- الاشارات
- سنغافورة
- So
- الحلول
- حل
- بداية
- ملخص الحساب
- الحالة
- تخزين
- فروعنا
- إستراتيجي
- الإستراتيجيات
- الدعم
- سيدني
- الهدف
- فريق
- تقني
- تجربه بالعربي
- المصدر
- عبر
- الوقت
- اليوم
- طوكيو
- قادة الإيمان
- جديد الموضة
- فريد من نوعه
- تحديث
- us
- تستخدم
- المستخدمين
- الباعة
- المزيد
- فرجينيا
- الويب
- خدمات ويب
- West Side
- من الذى
- في غضون
- بدون
- أعمال
- جاري الكتابة
- سنوات