تعد الحوسبة والبيانات والتطورات الحسابية هي العوامل الأساسية الثلاثة التي توجه تقدم التعلم الآلي الحديث (ML). درس الباحثون الاتجاهات في العامل الأكثر سهولة في القياس الكمي - الحوسبة.
هم يعرضون :
قبل عام 2010 ، نما حساب التدريب بما يتماشى مع قانون مور ، حيث تضاعف كل 20 شهرًا تقريبًا.
بدأ التعلم العميق في أوائل عام 2010 ، وتسارعت عملية توسيع نطاق حساب التدريب ، حيث تضاعف كل 6 أشهر تقريبًا.
في أواخر عام 2015 ، ظهر اتجاه جديد حيث طورت الشركات نماذج تعلم الآلة على نطاق واسع بمتطلبات أكبر من 10 إلى 100 ضعف في حساب التدريب.
بناءً على هذه الملاحظات قاموا بتقسيم تاريخ الحوسبة في ML إلى ثلاثة عصور: عصر ما قبل التعلم العميق ، وعصر التعلم العميق ، وعصر النطاق الواسع. بشكل عام ، يسلط العمل الضوء على متطلبات الحوسبة سريعة النمو لتدريب أنظمة ML المتقدمة.
لديهم تحقيق مفصل في الطلب الحسابي لنماذج ML الرئيسية بمرور الوقت. يقدمون المساهمات التالية:
1. إنهم ينظمون مجموعة بيانات من 123 من أنظمة التعلم الآلي المهمة ، مع شرح توضيحي بالحسابات التي استغرقها تدريبهم.
2. يضعون إطارًا مبدئيًا للاتجاهات في الحوسبة من حيث ثلاث عصور متميزة: عصر ما قبل التعلم العميق ، وعصر التعلم العميق ، وعصر النطاق الواسع. يقدمون تقديرات لمضاعفة الأوقات خلال كل من هذه العصور.
3. يتحققون من نتائجهم على نطاق واسع في سلسلة من الملاحق ، ويناقشون التفسيرات البديلة للبيانات ، والاختلافات مع الأعمال السابقة
لقد درسوا الاتجاهات في الحوسبة من خلال تنسيق مجموعة بيانات من حساب التدريب مع أكثر من 100 نظام تعليمي رئيسي واستخدموا هذه البيانات لتحليل كيفية نمو الاتجاه بمرور الوقت.
تبدو النتائج متسقة مع العمل السابق ، على الرغم من أنها تشير إلى تحجيم أكثر اعتدالًا لحساب التدريب.
على وجه الخصوص ، حددوا وقتًا مضاعفًا لمدة 18 شهرًا بين عامي 1952 و 2010 ، ووقتًا مضاعفًا لمدة 6 أشهر بين 2010 و 2022 ، واتجاهًا جديدًا للنماذج واسعة النطاق بين أواخر 2015 و 2022 ، والتي بدأت من 2 إلى 3 أوامر من الحجم على الاتجاه السابق ويعرض وقت مضاعفة لمدة 10 أشهر.
أحد الجوانب التي لم يتم تناولها في هذه المقالة هو مورد رئيسي آخر قابل للقياس الكمي يستخدم لتدريب نماذج التعلم الآلي - البيانات. سوف يبحثون في الاتجاهات في حجم مجموعة البيانات وعلاقتها بالاتجاهات في الحوسبة في العمل المستقبلي.
بريان وانج هو رائد الفكر المستقبلي ومدون علمي شهير لديه مليون قارئ شهريًا. صنفت مدونته Nextbigfuture.com على المرتبة الأولى في مدونة أخبار العلوم. ويغطي العديد من التقنيات والاتجاهات التخريبية بما في ذلك الفضاء ، والروبوتات ، والذكاء الاصطناعي ، والطب ، والتكنولوجيا الحيوية لمكافحة الشيخوخة ، وتكنولوجيا النانو.
معروف بتحديد أحدث التقنيات ، وهو حاليًا أحد مؤسسي شركة ناشئة وجمع التبرعات لشركات المرحلة المبكرة ذات الإمكانات العالية. وهو رئيس قسم الأبحاث للتخصيصات للاستثمارات التكنولوجية العميقة ومستثمر ملاك في Space Angels.
متحدث متكرر في الشركات ، كان متحدثًا في TEDx ومتحدثًا بجامعة Singularity وضيفًا في العديد من المقابلات للإذاعة والبودكاست. إنه منفتح على التحدث أمام الجمهور وتقديم المشورة.
