بالنسبة لمتجر الذكاء الاصطناعي المتوسط ​​، ستفوز النماذج المتناثرة والذاكرة الرخيصة

على الرغم من أن النماذج اللغوية الرائدة على نطاق واسع قد تكون مقنعة ، إلا أن الحقيقة تظل أن الشركات الكبرى فقط هي التي تمتلك الموارد اللازمة لنشرها وتدريبها فعليًا على نطاق ذي مغزى.

بالنسبة للمؤسسات التي تتوق إلى الاستفادة من الذكاء الاصطناعي لتحقيق ميزة تنافسية ، قد يكون البديل الأرخص والمختصر مناسبًا بشكل أفضل ، خاصة إذا كان من الممكن ضبطه على صناعات أو مجالات معينة.

هذا هو المكان الذي توجد فيه مجموعة ناشئة من شركات الذكاء الاصطناعي الناشئة التي تأمل في تكوين مكانة: من خلال بناء نماذج متفرقة ومصممة خصيصًا ، ربما لا تكون بنفس قوة GPT-3، جيدة بما يكفي لحالات استخدام المؤسسات وتعمل على الأجهزة التي تتخلى عن ذاكرة النطاق الترددي العالي الباهظة (HBM) لذاكرة DDR للسلع.

شركة أليف ألفا الألمانية الناشئة للذكاء الاصطناعي هي أحد الأمثلة على ذلك. تأسست في عام 2019 ، هايدلبرغ ، شركة مقرها ألمانيا مضيء يتميز نموذج اللغة الطبيعية بالعديد من ميزات العناوين الرئيسية مثل GPT-3 الخاصة بـ OpenAI: كتابة النصوص والتصنيف والتلخيص والترجمة ، على سبيل المثال لا الحصر.

تعاونت الشركة الناشئة النموذجية مع Graphcore لاستكشاف وتطوير نماذج لغوية متفرقة على البريطانيين الأجهزة الخاصة بصانع الرقائق.

قال جوناس أندروليوس ، الرئيس التنفيذي لألف ألفا في بيان. "ستلعب هذه البنى بلا شك دورًا في أبحاث ألف ألفا المستقبلية."

رهان Graphcore الكبير على التناثر

النماذج المتفرقة بشكل مشروط - تسمى أحيانًا خليط الخبراء أو النماذج الموجهة - تعالج البيانات فقط مقابل المعلمات القابلة للتطبيق ، وهو أمر يمكن أن يقلل بشكل كبير من موارد الحساب اللازمة لتشغيلها.

على سبيل المثال ، إذا تم تدريب نموذج لغوي على جميع اللغات على الإنترنت ، ثم تم طرح سؤال باللغة الروسية ، فلن يكون من المنطقي تشغيل هذه البيانات من خلال النموذج بأكمله ، فقط المعلمات المتعلقة باللغة الروسية ، أوضح كبير مسؤولي التكنولوجيا في Graphcore ، سايمون نولز ، في مقابلة مع السجل.

"إنه واضح تمامًا. هذه هي الطريقة التي يعمل بها دماغك ، وهي أيضًا الطريقة التي يجب أن يعمل بها الذكاء الاصطناعي ". "لقد قلت هذا عدة مرات ، ولكن إذا كان بإمكان الذكاء الاصطناعي القيام بالعديد من الأشياء ، فلن يحتاج إلى الوصول إلى كل معارفه للقيام بشيء واحد."

تعتقد شركة نولز ، التي تصنع مسرعات مصممة خصيصًا لهذه الأنواع من النماذج ، أنها مستقبل الذكاء الاصطناعي. وأضاف: "سأفاجأ إذا كان أي شخص ، بحلول العام المقبل ، يبني نماذج بلغة كثيفة".

ثمن HBM-2؟ ذاكرة التخزين المؤقت في DDR بدلاً من ذلك

النماذج اللغوية المتفرقة لا تخلو من التحديات. ووفقًا لنولز ، فإن إحدى أكثر الأمور إلحاحًا تتعلق بالذاكرة. تعد HBM المستخدمة في وحدات معالجة الرسومات المتطورة لتحقيق النطاق الترددي والقدرات اللازمة التي تتطلبها هذه النماذج باهظة الثمن ومُرتبطة بمُسرع أغلى ثمناً.

وأوضح أن هذه ليست مشكلة بالنسبة لنماذج اللغة الكثيفة حيث قد تحتاج إلى كل تلك الحوسبة والذاكرة ، ولكنها تطرح مشكلة للنماذج المتفرقة ، التي تفضل الذاكرة على الحساب.

يمكن استخدام تقنية Interconnect ، مثل NVLink من Nvidia ، لتجميع الذاكرة عبر وحدات معالجة رسومات متعددة ، ولكن إذا كان النموذج لا يتطلب كل هذه الحوسبة ، فيمكن ترك وحدات معالجة الرسومات في وضع الخمول. قال نولز: "إنها طريقة مكلفة حقًا لشراء الذاكرة".

تحاول مسرعات Graphcore تجاوز هذا التحدي عن طريق استعارة تقنية قديمة قدم الحوسبة نفسها: التخزين المؤقت. يتميز كل IPU بذاكرة تخزين مؤقت SRAM كبيرة نسبيًا - 1 جيجا بايت - لإشباع متطلبات النطاق الترددي لهذه الطرز ، بينما يتم تحقيق السعة الأولية باستخدام مجموعات كبيرة من ذاكرة DDR4 الرخيصة.

قال نولز: "كلما زاد عدد ذاكرة الوصول العشوائي SRAM لديك ، قل النطاق الترددي الذي تحتاجه للذاكرة ، وهذا ما يسمح لنا بعدم استخدام HBM".

من خلال فصل الذاكرة عن المسرع ، تكون أقل تكلفة بكثير - تكلفة بعض وحدات DDR للسلع - بالنسبة للمؤسسات لدعم نماذج الذكاء الاصطناعي الأكبر.

بالإضافة إلى دعم ذاكرة أرخص ، تدعي نولز أن وحدات IPU الخاصة بالشركة تتمتع أيضًا بميزة معمارية على وحدات معالجة الرسومات ، على الأقل عندما يتعلق الأمر بنماذج متفرقة.

بدلاً من العمل على عدد صغير من مضاعفات المصفوفات الكبيرة - كما هو الحال في وحدة معالجة الموتر - تتميز رقائق Graphcore بعدد كبير من وحدات رياضيات المصفوفة الأصغر التي يمكنها معالجة الذاكرة بشكل مستقل.

يوفر هذا مزيدًا من التفاصيل للنماذج المتناثرة ، حيث "تحتاج إلى حرية جلب مجموعات فرعية ذات صلة ، وكلما كانت الوحدة التي يتعين عليك جلبها أصغر ، زادت الحرية التي تتمتع بها" ، أوضح.

الحكم لا يزال خارج

مجتمعة ، تجادل نولز أن هذا النهج يمكّن وحدات IPU الخاصة بها من تدريب نماذج AI / ML الكبيرة بمئات المليارات أو حتى تريليونات من المعلمات ، بتكلفة أقل بكثير مقارنة بوحدات معالجة الرسومات.

ومع ذلك ، لا يزال سوق الذكاء الاصطناعي للمؤسسات في مهده ، وتواجه Graphcore منافسة شديدة في هذا المجال من المنافسين الأكبر والأكثر رسوخًا.

لذلك ، في حين أنه من غير المرجح أن يتراجع التطوير على نماذج لغة متفرقة للغاية للذكاء الاصطناعي في أي وقت قريبًا ، يبقى أن نرى ما إذا كانت وحدات IPU الخاصة بشركة Graphcore أو مسرع شخص آخر هو الذي سينتهي به الأمر إلى تشغيل أعباء عمل منظمة العفو الدولية في المؤسسة. ®