نهج جديد يعيد تدريب الشبكات العصبية العميقة للتعامل مع التغيرات في الأنظمة المعقدة

طور باحثو المناخ في الولايات المتحدة نهجًا منهجيًا لإعادة تدريب خوارزميات الذكاء الاصطناعي للتعلم العميق للتعامل مع المواقف المختلفة. وجد الفريق ، على عكس الحكمة التقليدية ، أن إعادة تدريب المستويات السابقة من الخوارزمية غالبًا ما تحقق نتائج أفضل من إعادة تدريب المستويات اللاحقة.

التعلم العميق هو نوع متقدم للغاية ومثير للجدل في بعض الأحيان من التعلم الآلي حيث تعلم خوارزميات الكمبيوتر نفسها السمات المهمة للنظام وتتعلم كيفية عمل تصنيفات حول طبيعته والتنبؤات حول سلوكه ، غالبًا بدقة تتجاوز قدرات البشر. ربما كان أشهر عرض للتعلم العميق في العمل هو انتصار برنامج AlphaGo من Google على بطل Go بطل Lee Sedol في عام 2017. ومع ذلك ، فإن التعلم العميق له تطبيقات عملية أكثر: يمكنه التنبؤ بطي البروتين ، وخزعات أنسجة الشاشة للعلامات المبكرة للسرطان والتنبؤ بأنماط الطقس.

ومع ذلك ، نظرًا لأن خوارزميات التعلم العميق لا تتم برمجتها بواسطة مشغل خارجي ، فلا يمكن ببساطة إعادة برمجتها أيضًا. بدلاً من ذلك ، إذا تغير النظام ، يجب إعادة تدريب الخوارزمية باستخدام بيانات من النظام الجديد. هذا مهم في علم المناخ إذا كانت خوارزميات التعلم العميق التي تم تدريبها باستخدام الظروف المناخية الحالية تهدف إلى إجراء تنبؤات مفيدة حول الأحوال الجوية في عالم يتأثر بتغير المناخ. هذه العملية - المألوفة للبشر - لتكييف الخبرة السابقة مع المواقف غير المألوفة معروفة لعلماء الكمبيوتر باسم نقل التعلم.

لغز عميق

عالم المناخ بيدرام حسن زاده من جامعة رايس في تكساس يوضح أن خوارزميات التعلم العميق تعالج المعلومات في سلسلة من الطبقات. "تنتقل المعلومات إلى طبقة ، والتي تستخرج بعض المعلومات ، ثم ترسل هذه المعلومات إلى طبقة أخرى ، والتي تستخرج المزيد من المعلومات." تنتج هذه العملية النتيجة في النهاية ، ولكن كما يوضح حسن زاده ، "لا أحد يعرف بالضبط وظيفة كل طبقة لأننا لا نصمم أيًا منها - لقد تعلموا جميعًا." يستخدم التعلم الانتقالي كمية صغيرة من البيانات المتاحة من مجموعة البيانات الجديدة لإعادة تدريب واحد (أو عدد قليل) من هذه المستويات ، ويقول حسن زاده إنه "من المهم تحديد المستوى الذي تختاره".

يقول إن الحكمة التقليدية تملي أن يتم تحديد تفاصيل المشكلة في أعمق طبقات الشبكة (تلك الطبقات الأقرب إلى الناتج). لذلك ، لإجراء تعلم النقل ، فهذه هي الأفضل لإعادة التدريب. يوضح حسن زاده: "ما تم إنجازه في الماضي هو ، على سبيل المثال ، أن Google تدرب شبكة من ألف طبقة على صور Google ، ثم يجلب شخص ما عددًا صغيرًا من الأشعة السينية ، لذلك يعيدون تدريب الطبقات 998 و 999". والآن ، اتخذ هو وزملاؤه مقاربة منهجية بدلاً من ذلك.

أجرى الباحثون محاكاة عالية الدقة لسلوك السوائل تحت ثلاث مجموعات مختلفة من الظروف. استخدموا هذه البيانات لتدريب ثلاث خوارزميات تعلم عميق من 10 طبقات للتنبؤ بسلوك السوائل تحت كل من هذه المعلمات المحددة. قاموا بتغيير بعض المعلمات مثل رقم رينولدز (نسبة القوى القصور الذاتي إلى القوى اللزجة) أو دوامة السائل في كل حالة وأجروا مجموعة أخرى من المحاكاة عالية الدقة للتنبؤ بسلوك السوائل الجديدة. في كل حالة من الحالات الثلاث ، قاموا بتدريب نفس الخوارزميات على البيانات الجديدة. أخيرًا ، أجروا التعلم التحويلي للخوارزميات القديمة على مجموعة فرعية صغيرة من البيانات الجديدة ، والنظر في تأثير إعادة تدريب كل مستوى ومقارنة أداء الخوارزمية القديمة المعاد تدريبها مع الخوارزمية التي تم تدريبها من البداية على البيانات الجديدة.

إعادة تدريب الطبقات الضحلة

كانت النتائج مفاجئة. يقول حسن زاده: "وجدنا في هذه الورقة أن الطبقات السطحية هي الأفضل لإعادة التدريب". إن الوصول إلى الإشارة المتوقعة الناتجة عن إعادة تدريب كل طبقة بدوره منحهم نافذة على تأثير كل طبقة على هذه الإشارة النهائية. لذلك ، استخدموا ببساطة التحليل الطيفي لكل إشارة لمعرفة كيف تقوم كل طبقة بتعديل كل تردد موجود. كانت بعض المستويات تتحكم في الترددات المنخفضة ، وكان من المفيد إعادة تدريبها لأنها التقطت الميزات العيانية المتغيرة بسلاسة للخوارزمية. في غضون ذلك ، تنبأت مستويات أخرى بالتفاصيل ، وكان إعادة تدريب هؤلاء بمفردهم شبه عديم الفائدة. قدم الباحثون بروتوكولًا لتحديد أهم المستويات في أي حالة معينة. يقول حسن زاده: "لم نكن نريد أن نقول إن لدينا قاعدة عامة في هذه الورقة". "لقد وجدنا الآن أنظمة يكون فيها ، على سبيل المثال ، الطبقات الوسطى هي الأفضل [لإعادة التدريب]."

يبسط الذكاء الاصطناعي حسابات الخصائص الإلكترونية

يصف الفريق العمل في ورقة منشورة في PNAS نيكزس.

يقول عالم الفيزياء الفلكية وخبير التعلم الآلي: "أعتقد أنها ورقة مثيرة للاهتمام حقًا" شيرلي هو من معهد فلاتيرون في مدينة نيويورك. وتضيف: "من ناحية أخرى ، في العديد من التخصصات العلمية الأخرى ، نستخدم التحليل الطيفي لفترة طويلة الآن ، لذلك أعتقد أن السؤال هو ما إذا كان تطبيقه على الطبقات المتعددة يمثل مساهمة كبيرة أم لا. أشعر أنه من المحتمل أن يكون أحد تلك الأشياء التي كانت في أذهان الناس ، لكن لم يكتبها أحد. قد تكون واحدة من تلك الصحف الرائعة حيث ، بمجرد قولها ، يكون واضحًا للجميع ".

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://physicsworld.com/a/new-approach-retrains-deep-neural-networks-to-deal-with-changes-in-complex-systems/