تمت كتابة هذا المنشور بالاشتراك مع دانييلي تشيابالوبي، المشارك في فريق Hackathon الطلابي التابع لـ AWS في ETH Zürich.
يمكن للجميع البدء بسهولة باستخدام التعلم الآلي (ML). أمازون سيج ميكر جومب ستارت. في هذا المنشور، نعرض لك كيف استخدم فريق Hackathon الجامعي SageMaker JumpStart لإنشاء تطبيق يساعد المستخدمين على تحديد التحيزات وإزالتها بسرعة.
"كان لـ Amazon SageMaker دور فعال في مشروعنا. لقد جعل من السهل نشر وإدارة مثيل Flan المُدرب مسبقًا، مما يوفر لنا أساسًا متينًا لتطبيقنا. أثبتت ميزة القياس التلقائي الخاصة بها أهميتها خلال فترات حركة المرور العالية، مما يضمن بقاء تطبيقنا مستجيبًا وتلقي المستخدمين لتحليل انحياز ثابت وسريع. علاوة على ذلك، من خلال السماح لنا بتفريغ المهمة الثقيلة المتمثلة في الاستعلام عن نموذج Flan إلى خدمة مُدارة، تمكنا من الحفاظ على تطبيقنا خفيف الوزن وسريع، مما يعزز تجربة المستخدم عبر الأجهزة المختلفة. لقد مكنتنا ميزات SageMaker من تعظيم وقتنا في الهاكاثون، مما سمح لنا بالتركيز على تحسين مطالباتنا وتطبيقاتنا بدلاً من إدارة أداء النموذج والبنية التحتية.
– دانييلي تشيابالوبي، أحد المشاركين في فريق Hackathon الطلابي التابع لـ AWS في ETH Zürich.
حل نظرة عامة
موضوع الهاكاثون هو المساهمة في تحقيق أهداف الأمم المتحدة المستدامة باستخدام تكنولوجيا الذكاء الاصطناعي. كما هو موضح في الشكل التالي، يساهم التطبيق الذي تم إنشاؤه في Hackathon في تحقيق ثلاثة من أهداف التنمية المستدامة (التعليم الجيد، واستهداف التمييز على أساس الجنس، والحد من عدم المساواة) من خلال مساعدة المستخدمين على تحديد وإزالة التحيزات من نصهم من أجل تعزيز العدالة. واللغة الشاملة.
كما هو موضح في لقطة الشاشة التالية، بعد تقديم النص، يقوم التطبيق بإنشاء إصدار جديد خالٍ من التحيزات العرقية والإثنية والجنسانية. بالإضافة إلى ذلك، فإنه يسلط الضوء على الأجزاء المحددة من نص الإدخال الخاص بك والمتعلقة بكل فئة من فئات التحيز.
في البنية الموضحة في الرسم التخطيطي التالي، يقوم المستخدمون بإدخال النص في ملف رد فعلتطبيق ويب قائم على، والذي يقوم بتشغيل بوابة أمازون API، والذي بدوره يستدعي AWS لامدا وظيفة اعتمادا على التحيز في نص المستخدم. تستدعي وظيفة Lambda نقطة نهاية نموذج Flan في SageMaker JumpStart، والتي تُرجع نتيجة النص غير المتحيزة عبر نفس المسار للعودة إلى تطبيق الواجهة الأمامية.
عملية تطوير التطبيق
كانت عملية تطوير هذا التطبيق متكررة وتركزت على مجالين رئيسيين: واجهة المستخدم وتكامل نموذج تعلم الآلة.
لقد اخترنا React لتطوير الواجهة الأمامية نظرًا لمرونتها وقابلية التوسع والأدوات القوية لإنشاء واجهات مستخدم تفاعلية. نظرًا لطبيعة تطبيقنا - معالجة مدخلات المستخدم وتقديم نتائج محسنة - أثبتت بنية React القائمة على المكونات أنها مثالية. باستخدام React، تمكنا بكفاءة من إنشاء تطبيق من صفحة واحدة يسمح للمستخدمين بإرسال نص ورؤية النتائج غير المتحيزة دون الحاجة إلى تحديث الصفحة بشكل مستمر.
يحتاج النص الذي أدخله المستخدم إلى معالجته بواسطة نموذج لغة قوي لفحص التحيزات. لقد اخترنا Flan لخصائص المتانة والكفاءة وقابلية التوسع. لاستخدام Flan، استخدمنا SageMaker JumpStart، كما هو موضح في لقطة الشاشة التالية. الأمازون SageMaker جعل من السهل نشر وإدارة مثيل Flan المُدرب مسبقًا، مما يسمح لنا بالتركيز على تحسين المطالبات والاستعلامات لدينا بدلاً من إدارة أداء النموذج والبنية التحتية.
يتطلب توصيل نموذج Flan بتطبيقنا الأمامي تكاملاً قويًا وآمنًا، وهو ما تم تحقيقه باستخدام Lambda وAPI Gateway. باستخدام Lambda، أنشأنا وظيفة بدون خادم تتواصل مباشرة مع نموذج SageMaker الخاص بنا. استخدمنا بعد ذلك بوابة API لإنشاء نقطة نهاية آمنة وقابلة للتطوير ويمكن الوصول إليها بسهولة لتطبيق React الخاص بنا لاستدعاء وظيفة Lambda. عندما يرسل المستخدم نصًا، يقوم التطبيق بتشغيل سلسلة من استدعاءات واجهة برمجة التطبيقات (API) إلى البوابة - أولاً لتحديد ما إذا كان هناك أي انحياز، ثم، إذا لزم الأمر، استعلامات إضافية لتحديد الانحياز وتحديد موقعه وتحييده. تم توجيه كل هذه الطلبات عبر وظيفة Lambda ثم إلى نموذج SageMaker الخاص بنا.
كانت مهمتنا الأخيرة في عملية التطوير هي اختيار المطالبات للاستعلام عن نموذج اللغة. هنا، لعبت مجموعة بيانات CrowS-Pairs دورًا فعالًا لأنها زودتنا بأمثلة حقيقية للنص المتحيز، والتي استخدمناها لضبط طلباتنا. لقد اخترنا المطالبات من خلال عملية تكرارية، بهدف زيادة الدقة في اكتشاف التحيز ضمن مجموعة البيانات هذه.
وفي ختام العملية، لاحظنا تدفقًا تشغيليًا سلسًا في التطبيق النهائي. تبدأ العملية بإرسال المستخدم نصًا للتحليل، والذي يتم إرساله بعد ذلك عبر طلب POST إلى نقطة نهاية بوابة API الآمنة لدينا. يؤدي هذا إلى تشغيل وظيفة Lambda، التي تتواصل مع نقطة نهاية SageMaker. وبالتالي، يتلقى نموذج Flan سلسلة من الاستعلامات. يتحقق الأول من وجود أي تحيزات في النص. إذا تم الكشف عن التحيزات، يتم نشر استعلامات إضافية لتحديد موقع هذه العناصر المتحيزة وتحديدها وتحييدها. يتم بعد ذلك إرجاع النتائج عبر نفس المسار — أولاً إلى وظيفة Lambda، ثم عبر بوابة API، وفي النهاية تعود إلى المستخدم. إذا كان هناك أي تحيز في النص الأصلي، يتلقى المستخدم تحليلاً شاملاً يشير إلى أنواع التحيزات المكتشفة، سواء كانت عنصرية أو إثنية أو جنسانية. يتم تسليط الضوء على أقسام محددة من النص حيث تم العثور على هذه التحيزات، مما يتيح للمستخدمين رؤية واضحة للتغييرات التي تم إجراؤها. إلى جانب هذا التحليل، يتم تقديم نسخة جديدة غير متحيزة من نصهم، مما يحول بشكل فعال المدخلات المتحيزة المحتملة إلى سرد أكثر شمولاً.
في الأقسام التالية، نقوم بتفصيل خطوات تنفيذ هذا الحل.
قم بإعداد بيئة التفاعل
لقد بدأنا بإعداد بيئة التطوير الخاصة بنا لـ React. من أجل تمهيد تطبيق React جديد بأقل قدر من التكوين، استخدمنا create-react-app:
npx create-react-app my-app
بناء واجهة المستخدم
باستخدام React، قمنا بتصميم واجهة بسيطة للمستخدمين لإدخال النص، مع زر إرسال، وزر إعادة تعيين، وشاشات عرض متراكبة لعرض النتائج المعالجة عندما تكون متاحة.
ابدأ نموذج Flan على SageMaker
استخدمنا SageMaker لإنشاء مثيل تم تدريبه مسبقًا لنموذج لغة Flan مع نقطة نهاية للاستدلال في الوقت الفعلي. يمكن استخدام النموذج ضد أي حمولة منظمة JSON كما يلي:
إنشاء دالة لامدا
لقد قمنا بتطوير وظيفة Lambda التي تتفاعل مباشرة مع نقطة نهاية SageMaker الخاصة بنا. تم تصميم الوظيفة لتلقي طلب مع نص المستخدم، وإعادة توجيهه إلى نقطة نهاية SageMaker، وإرجاع النتائج المكررة، كما هو موضح في التعليمة البرمجية التالية (ENDPOINT_NAME
تم إعداده كنقطة نهاية لمثيل SageMaker):
قم بإعداد بوابة API
لقد قمنا بتكوين واجهة برمجة تطبيقات REST جديدة في API Gateway وربطناها بوظيفة Lambda الخاصة بنا. سمح هذا الاتصال لتطبيق React بتقديم طلبات HTTP إلى بوابة API، مما أدى لاحقًا إلى تشغيل وظيفة Lambda.
ادمج تطبيق React مع واجهة برمجة التطبيقات (API).
لقد قمنا بتحديث تطبيق React لتقديم طلب POST إلى بوابة API عند النقر على زر الإرسال، حيث يكون نص الطلب هو نص المستخدم. رمز JavaScript الذي استخدمناه لإجراء استدعاء API هو كما يلي (REACT_APP_AWS_ENDPOINT
يتوافق مع نقطة نهاية بوابة API المرتبطة باستدعاء Lambda):
تحسين الاختيار الفوري
لتحسين دقة اكتشاف التحيز، قمنا باختبار مطالبات مختلفة مقابل مجموعة بيانات CrowS-Pairs. ومن خلال هذه العملية التكرارية، اخترنا المطالبات التي منحتنا أعلى دقة.
قم بنشر واختبار تطبيق React على Vercel
بعد إنشاء التطبيق، قمنا بنشره على Vercel لجعله في متناول الجميع. لقد أجرينا اختبارات مكثفة للتأكد من أن التطبيق يعمل كما هو متوقع، بدءًا من واجهة المستخدم وحتى الاستجابات من نموذج اللغة.
أرست هذه الخطوات الأساس لإنشاء تطبيقنا لتحليل النص وإزالة انحيازه. على الرغم من التعقيد المتأصل في العملية، فقد أدى استخدام أدوات مثل SageMaker وLambda وAPI Gateway إلى تبسيط عملية التطوير، مما سمح لنا بالتركيز على الهدف الأساسي للمشروع - وهو تحديد التحيزات في النص والقضاء عليها.
وفي الختام
يوفر SageMaker JumpStart طريقة ملائمة لاستكشاف ميزات وإمكانيات SageMaker. فهو يوفر حلولاً منسقة من خطوة واحدة، وأمثلة لدفاتر الملاحظات، ونماذج مدربة مسبقًا قابلة للنشر. تتيح لك هذه الموارد تعلم وفهم SageMaker بسرعة. بالإضافة إلى ذلك، لديك خيار ضبط النماذج ونشرها وفقًا لاحتياجاتك المحددة. الوصول إلى JumpStart متاح من خلال أمازون ساجميكر ستوديو أو برمجيًا باستخدام واجهات برمجة تطبيقات SageMaker.
في هذا المنشور، تعلمت كيف قام فريق Hackathon الطلابي بتطوير حل في وقت قصير باستخدام SageMaker JumpStart، والذي يوضح إمكانات AWS وSageMaker JumpStart في تمكين التطوير السريع ونشر حلول الذكاء الاصطناعي المتطورة، حتى من قبل الفرق الصغيرة أو الأفراد.
لمعرفة المزيد حول استخدام SageMaker JumpStart، راجع صقل التعليمات لـ FLAN T5 XL باستخدام Amazon SageMaker Jumpstart و مطالبة Zero-shot لنموذج الأساس Flan-T5 في Amazon SageMaker JumpStart.
استضاف نادي ETH Analytics "ETH Datathon"، وهو هاكاثون AI/ML يجذب أكثر من 150 مشاركًا من ETH Zurich، وجامعة زيورخ، وEPFL. يتضمن الحدث ورش عمل يقودها قادة الصناعة، وتحديًا للبرمجة على مدار 24 ساعة، وفرص تواصل قيمة مع زملائهم الطلاب والمتخصصين في هذا المجال. شكرًا جزيلاً لفريق ETH Hackathon: دانييل تشيابالوبي، وأثينا نيسيوتي، وفرانشيسكو إجنازيو ري، بالإضافة إلى بقية فريق تنظيم AWS: أليس مورانو، وديمير كاتوفيتش، وإيانا بيكس، وجان أوليفر سايدنفوس، ولارس نيتيمان، وماركوس وينترهولر.
المحتوى والآراء الواردة في هذا المنشور تخص مؤلف الطرف الثالث ولا تتحمل AWS مسؤولية محتوى هذا المنشور أو دقته.
عن المؤلفين
جون تشانغ هو مهندس الحلول ومقره في زيورخ. إنه يساعد العملاء السويسريين على تصميم الحلول المستندة إلى السحابة لتحقيق إمكانات أعمالهم. لديه شغف بالاستدامة ويسعى جاهداً لحل تحديات الاستدامة الحالية باستخدام التكنولوجيا. وهو أيضًا معجب كبير بالتنس ويستمتع بلعب ألعاب الطاولة كثيرًا.
موهان جودا يقود فريق التعلم الآلي في AWS سويسرا. وهو يعمل في المقام الأول مع عملاء السيارات لتطوير حلول ومنصات مبتكرة للذكاء الاصطناعي/التعلم الآلي لمركبات الجيل القادم. قبل العمل مع AWS، عمل موهان مع شركة استشارات إدارية عالمية مع التركيز على الإستراتيجية والتحليلات. يكمن شغفه في المركبات المتصلة والقيادة الذاتية.
متثياس إيجلي هو رئيس التعليم في سويسرا. وهو قائد فريق متحمس يتمتع بخبرة واسعة في تطوير الأعمال والمبيعات والتسويق.
كيمينج تشانغ هو مهندس تعلم الآلة ومقره في زيوريخ. إنها تساعد العملاء العالميين على تصميم التطبيقات المستندة إلى التعلم الآلي وتطويرها وتوسيع نطاقها لتمكين قدراتهم الرقمية من زيادة إيرادات الأعمال وخفض التكلفة. وهي أيضًا متحمسة جدًا لإنشاء تطبيقات تتمحور حول الإنسان من خلال الاستفادة من المعرفة من العلوم السلوكية. تحب ممارسة الرياضات المائية وتمشية الكلاب.
دانييلي تشيابالوبي هو خريج حديث من ETH Zürich. إنه يستمتع بكل جانب من جوانب هندسة البرمجيات، من التصميم إلى التنفيذ، ومن النشر إلى الصيانة. لديه شغف عميق بالذكاء الاصطناعي ويتوقع بفارغ الصبر استكشاف أحدث التطورات في هذا المجال واستخدامها والمساهمة فيها. في أوقات فراغه، يحب التزلج على الجليد خلال الأشهر الباردة ولعب كرة السلة الصغيرة عندما يكون الطقس دافئًا.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/innovation-for-inclusion-hack-the-bias-with-amazon-sagemaker/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 100
- 13
- 150
- 17
- 25
- 7
- 8
- 87
- 97
- 990
- a
- ماهرون
- من نحن
- الوصول
- يمكن الوصول
- وفقا
- دقة
- التأهيل
- تحقق
- في
- إضافي
- وبالإضافة إلى ذلك
- التطورات
- بعد
- ضد
- AI
- AI / ML
- أليس
- الكل
- السماح
- سمح
- السماح
- جنبا إلى جنب
- أيضا
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- an
- تحليل
- تحليلات
- تحليل
- و
- والبنية التحتية
- تتوقع
- أي وقت
- API
- واجهات برمجة التطبيقات
- التطبيق
- تطبيق
- التطبيقات
- هندسة معمارية
- هي
- المناطق
- AS
- جانب
- At
- المؤلفة
- السيارات
- السيارات
- مستقل
- متاح
- AWS
- أكسيوس
- الى الخلف
- على أساس
- كره السلة
- BE
- لان
- قبل
- بدأ
- يجري
- انحياز
- انحيازا
- التحيزات
- مجلس
- العاب طاولة
- الجسدي
- مقيد
- واسع
- نساعدك في بناء
- ابني
- بنيت
- الأعمال
- تطوير الاعمال
- زر
- by
- دعوة
- دعوات
- CAN
- قدرات
- الفئة
- مركز
- تحدى
- التحديات
- التغييرات
- الشيكات
- اختار
- واضح
- ناد
- الكود
- البرمجة
- تعقيد
- شامل
- أجرت
- الاعداد
- تكوين
- متصل
- صلة
- بناء على ذلك
- ثابت
- الاستشارات
- محتوى
- سياق الكلام
- المساهمة
- يساهم
- المساهمة
- مناسب
- جوهر
- يتوافق
- التكلفة
- استطاع
- خلق
- خلق
- خلق
- حاسم
- من تنسيق
- حالياًّ
- العملاء
- البيانات
- عميق
- اعتمادا
- نشر
- نشر
- نشر
- تصميم
- تصميم
- على الرغم من
- التفاصيل
- الكشف عن
- كشف
- تطوير
- المتقدمة
- تطوير
- التطوير التجاري
- الأجهزة
- مختلف
- رقمي
- مباشرة
- يعرض
- توجه
- قيادة
- اثنان
- أثناء
- كل
- بلهفة
- بسهولة
- سهل
- التعليم
- على نحو فعال
- كفاءة
- بكفاءة
- عناصر
- القضاء
- تمكين
- تمكين
- تمكين
- نقطة النهاية
- مهندس
- الهندسة
- تعزيز
- ضمان
- ضمان
- دخل
- متحمس
- البيئة
- ETH
- حتى
- الحدث/الفعالية
- كل
- مثال
- أمثلة
- متوقع
- الخبره في مجال الغطس
- اكتشف
- استكشاف
- واسع
- عادل
- مروحة
- FAST
- الميزات
- المميزات
- زميل
- حقل
- الشكل
- نهائي
- شركة
- الاسم الأول
- مرونة
- تدفق
- تركز
- متابعيك
- متابعات
- في حالة
- إلى الأمام
- وجدت
- دورة تأسيسية
- مجانا
- تبدأ من
- وظيفة
- إضافي
- ألعاب
- بوابة
- أعطى
- الجنس
- يولد
- جيل
- دولار فقط واحصل على خصم XNUMX% على جميع
- معطى
- إعطاء
- العالمية
- هدف
- الأهداف
- الذهاب
- انتزاع
- خريج
- عظيم
- الأساس
- الإختراق
- hackathon
- يملك
- he
- رئيس
- ثقيل
- مساعدة
- يساعد
- هنا
- أعلى
- سلط الضوء
- ويبرز
- له
- استضافت
- كيفية
- HTML
- HTTP
- HTTPS
- ضخم
- المثالي
- تحديد
- if
- تنفيذ
- التنفيذ
- استيراد
- تحسن
- in
- إدراجه
- شامل
- القيمة الاسمية
- الأفراد
- العالمية
- عدم المساواة
- البنية التحتية
- متأصل
- الابتكار
- مبتكرة
- إدخال
- مثل
- دور فعال
- التكامل
- التفاعلية
- السطح البيني
- واجهات
- إلى
- يتضرع
- IT
- انها
- يناير
- جافا سكريبت
- JPG
- جسون
- احتفظ
- المعرفة
- لغة
- آخر
- قيادة
- قادة
- يؤدي
- تعلم
- تعلم
- تعلم
- ليد
- الاستفادة من
- يكمن
- خفيفة الوزن
- مثل
- الإعجابات
- مرتبط
- الكثير
- يحب
- آلة
- آلة التعلم
- صنع
- الرئيسية
- صيانة
- جعل
- إدارة
- تمكن
- إدارة
- إدارة
- التسويق
- تعظيم
- تعظيم
- أدنى
- ML
- نموذج
- عارضات ازياء
- المقبلة.
- الأكثر من ذلك
- سردية
- الطبيعة
- ضروري
- حاجة
- بحاجة
- إحتياجات
- الشبكات
- فرص التواصل
- جديد
- التالي
- موضوعي
- of
- الوهب
- عروض
- on
- تشغيل
- آراء
- الفرص
- تحسين
- خيار
- or
- طلب
- تنظيم
- أصلي
- OS
- لنا
- صفحة
- المشاركون
- أجزاء
- شغف
- عاطفي
- نفذ
- أداء
- فترات
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعبت
- لعب
- منشور
- محتمل
- يحتمل
- قوي
- وجود
- يقدم
- قدم
- في المقام الأول
- عملية المعالجة
- معالجتها
- المهنيين
- تنفيذ المشاريع
- تعزيز
- HAS
- ثبت
- تزود
- المقدمة
- ويوفر
- علانية
- جودة
- الاستفسارات
- بسرعة
- سريع
- بدلا
- RE
- رد فعل
- بسهولة
- حقيقي
- في الوقت الحقيقي
- تسلم
- تلقى
- يتلقى
- الأخيرة
- تخفيض
- عقار مخفض
- الرجوع
- مكرر
- ذات صلة
- بقي
- إزالة
- طلب
- طلبات
- مطلوب
- الموارد
- ردود
- مسؤول
- استجابة
- REST
- نتيجة
- النتائج
- عائد أعلى
- عائدات
- إيرادات
- قوي
- متانة
- النوع
- طريق
- sagemaker
- الأملاح
- نفسه
- التدرجية
- تحجيم
- حجم
- التحجيم
- علوم
- سلس
- أقسام
- تأمين
- انظر تعريف
- بذرة
- مختار
- اختيار
- أرسلت
- مسلسلات
- Serverless
- الخدمة
- خدماتنا
- طقم
- ضبط
- هي
- قصير
- إظهار
- أظهرت
- يظهر
- الاشارات
- صغير
- تطبيقات الكمبيوتر
- هندسة البرمجيات
- الصلبة
- حل
- الحلول
- حل
- متطور
- محدد
- رياضة
- بدأت
- ثابت
- خطوات
- الإستراتيجيات
- تبسيط
- الفتن
- طالب
- عدد الطلبة
- تسليم
- تقدم
- المقدمة
- بعد ذلك
- الاستدامة
- استدامة
- تنمية مستدامة
- سويفت
- سويسري
- سويسرا
- استهداف
- مهمة
- فريق
- فريق
- تكنولوجيا
- تجربه بالعربي
- اختبار
- اختبارات
- نص
- من
- شكر
- أن
- •
- من مشاركة
- منهم
- موضوع
- then
- تشبه
- طرف ثالث
- هؤلاء
- ثلاثة
- عبر
- الوقت
- إلى
- أدوات
- تحويل
- أثار
- منعطف أو دور
- اثنان
- أنواع
- في النهاية
- UN
- فهم
- جامعة
- تحديث
- us
- تستخدم
- مستعمل
- مستخدم
- تجربة المستخدم
- واجهة المستخدم
- المستخدمين
- استخدام
- الاستفادة من
- تستخدم
- استخدام
- القيمة
- مختلف
- السيارات
- الإصدار
- جدا
- بواسطة
- المزيد
- المشي
- ارتفاع درجة حرارة الارض
- وكان
- مياه
- طريق..
- we
- الطقس
- الويب
- خدمات ويب
- حسن
- كان
- متى
- سواء
- التي
- مع
- في غضون
- بدون
- عمل
- عامل
- أعمال
- الدورات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- زيوريخ