نماذج الاستضافة في SageMaker: أفضل الممارسات في اختبار النماذج وتحديثها على SageMaker

الأمازون SageMaker هي خدمة مُدارة بالكامل توفر للمطورين وعلماء البيانات القدرة على إنشاء نماذج التعلم الآلي (ML) وتدريبها ونشرها بسرعة. باستخدام SageMaker ، يمكنك نشر نماذج ML الخاصة بك على نقاط النهاية المستضافة والحصول على نتائج الاستدلال في الوقت الفعلي. يمكنك بسهولة عرض مقاييس الأداء لنقاط النهاية الخاصة بك في الأمازون CloudWatch, مقياس نقاط النهاية تلقائيًا بناءً على حركة المرور ، وتحديث النماذج الخاصة بك في الإنتاج دون فقدان أي توافر. تقدم SageMaker مجموعة متنوعة من الخيارات لنشر نماذج ML للاستدلال بأي من الطرق التالية ، اعتمادًا على حالة الاستخدام الخاصة بك:

• للتنبؤات المتزامنة التي يجب تقديمها بالمللي ثانية ، استخدم SageMaker الاستدلال في الوقت الحقيقي
• بالنسبة لأحمال العمل التي بها فترات خمول بين فترات الازدحام المروري والتي يمكن أن تتسامح مع البدايات الباردة ، استخدم الاستدلال بدون خادم
• بالنسبة للطلبات ذات الأحجام الكبيرة للحمولة الصافية التي تصل إلى 1 جيجابايت ، وأوقات المعالجة الطويلة (حتى 15 دقيقة) ومتطلبات زمن الوصول شبه الحقيقي (من الثواني إلى الدقائق) ، استخدم SageMaker الاستدلال غير المتزامن
• للحصول على تنبؤات لمجموعة بيانات كاملة ، استخدم SageMaker تحويل دفعة

يُعد الاستدلال في الوقت الفعلي مثاليًا لاستدلال أحمال العمل حيث يكون لديك متطلبات تفاعلية في الوقت الفعلي وزمن انتقال منخفض. تقوم بنشر النموذج الخاص بك في خدمات استضافة SageMaker والحصول على نقطة نهاية يمكن استخدامها للاستدلال. يتم دعم نقاط النهاية هذه بواسطة بنية تحتية ودعم مُدار بالكامل التحجيم التلقائي. يمكنك تحسين الكفاءة والتكلفة من خلال الجمع بين عدة نماذج في نقطة نهاية واحدة باستخدام نقاط نهاية متعددة النماذج or نقاط نهاية متعددة الحاويات.

هناك حالات استخدام معينة حيث تريد نشر متغيرات متعددة من نفس النموذج في الإنتاج لقياس أدائها أو قياس التحسينات أو تشغيل اختبارات A / B. في مثل هذه الحالات ، تكون نقاط النهاية متعددة المتغيرات من SageMaker مفيدة لأنها تسمح لك بنشر متغيرات إنتاج متعددة لنموذج إلى نفس نقطة نهاية SageMaker.

في هذا المنشور ، نناقش نقاط النهاية متعددة المتغيرات من SageMaker وأفضل الممارسات للتحسين.

مقارنة خيارات الاستدلال في الوقت الفعلي من SageMaker

يقدم الرسم التخطيطي التالي نظرة عامة سريعة على خيارات الاستدلال في الوقت الفعلي باستخدام SageMaker.

تتيح لك نقطة النهاية أحادية النموذج نشر نموذج واحد على حاوية مستضافة على مثيلات مخصصة أو بدون خادم لتحقيق زمن انتقال منخفض وإنتاجية عالية. يمكنك إنشاء نموذج و استرداد a صورة مدعومة من SageMaker لأطر العمل الشائعة مثل TensorFlow و PyTorch و Scikit-Learn والمزيد. إذا كنت تعمل باستخدام إطار عمل مخصص لنموذجك ، فيمكنك أيضًا أحضر الحاوية الخاصة بك التي تثبت تبعياتك.

يدعم SageMaker أيضًا خيارات أكثر تقدمًا مثل نقاط النهاية متعددة النماذج (MME) ونقاط النهاية متعددة الحاويات (MCEs). تعد MME مفيدة عندما تتعامل مع مئات إلى عشرات الآلاف من النماذج وحيث لا تحتاج إلى نشر كل نموذج كنقطة نهاية فردية. تسمح لك MME باستضافة نماذج متعددة بطريقة فعالة من حيث التكلفة وقابلة للتطوير داخل نفس نقطة النهاية باستخدام حاوية خدمة مشتركة مستضافة على مثيل. تظل البنية التحتية الأساسية (الحاوية والمثيل) كما هي ، ولكن يتم تحميل النماذج وتفريغها ديناميكيًا من موقع S3 مشترك ، وفقًا للاستخدام ومقدار الذاكرة المتوفرة في نقطة النهاية. يحتاج تطبيقك ببساطة إلى تضمين استدعاء API مع النموذج المستهدف لنقطة النهاية هذه لتحقيق زمن انتقال منخفض واستنتاج عالي الإنتاجية. بدلاً من الدفع مقابل نقطة نهاية منفصلة لكل نموذج ، يمكنك استضافة العديد من الطرز بسعر نقطة نهاية واحدة.

تمكنك MCEs من تشغيل ما يصل إلى 15 حاوية ML مختلفة على نقطة نهاية واحدة واستدعاءها بشكل مستقل. يمكنك إنشاء حاويات ML هذه على مجموعات خدمة مختلفة (مثل إطار عمل ML وخادم النموذج والخوارزمية) ، ليتم تشغيلها على نفس نقطة النهاية لتوفير التكاليف. يمكنك خياطة الحاويات معًا في ملف خط أنابيب الاستدلال التسلسلي أو استدعاء الحاوية بشكل مستقل. يمكن أن يكون هذا مثاليًا عندما يكون لديك العديد من نماذج ML المختلفة التي لها أنماط حركة مرور مختلفة واحتياجات موارد مماثلة. تشمل الأمثلة على وقت استخدام MCEs ، على سبيل المثال لا الحصر ، ما يلي:

• نماذج الاستضافة عبر أطر عمل مختلفة (مثل TensorFlow و PyTorch و Scikit-Learn) التي لا تحتوي على حركة مرور كافية لإشباع السعة الكاملة لمثيل
• نماذج الاستضافة من نفس الإطار باستخدام خوارزميات تعلم الآلة المختلفة (مثل التوصيات أو التنبؤ أو التصنيف) ووظائف المعالج
• مقارنات بين بنى متشابهة تعمل على إصدارات إطار عمل مختلفة (مثل TensorFlow 1.x مقابل TensorFlow 2.x) لسيناريوهات مثل اختبار A / B

تسمح لك نقاط النهاية متعددة المتغيرات (MVE) من SageMaker باختبار نماذج متعددة أو إصدارات نماذج خلف نفس نقطة النهاية باستخدام متغيرات الإنتاج. يحدد كل متغير إنتاج نموذج ML والموارد المنشورة لاستضافة النموذج ، مثل حاوية العرض والمثيل.

نظرة عامة على نقاط النهاية متعددة المتغيرات من SageMaker

في عمليات سير عمل تعلم الآلة الإنتاجية ، يقوم علماء البيانات ومهندسو التعلم الآلي بتحسين النماذج من خلال مجموعة متنوعة من الأساليب ، مثل إعادة التدريب بناءً على انحراف البيانات / النموذج / المفهوم ، وضبط المعلمة الفائقة ، واختيار الميزات ، واختيار إطار العمل ، والمزيد. يمكن أن يكون إجراء اختبار A / B بين نموذج جديد ونموذج قديم مع حركة مرور الإنتاج خطوة نهائية فعالة في عملية التحقق من صحة نموذج جديد. في اختبار A / B ، تختبر متغيرات مختلفة من نماذجك وتقارن أداء كل متغير بالنسبة إلى بعضها البعض. يمكنك بعد ذلك اختيار النموذج الأفضل أداءً لاستبدال النموذج السابق بإصدار جديد يقدم أداءً أفضل من الإصدار السابق. باستخدام متغيرات الإنتاج ، يمكنك اختبار نماذج ML هذه وإصدارات نماذج مختلفة خلف نفس نقطة النهاية. يمكنك تدريب نماذج ML هذه باستخدام مجموعات بيانات مختلفة وخوارزميات مختلفة وأطر ML ؛ نشرها على أنواع مثيلات مختلفة ؛ أو أي مجموعة من هذه الخيارات. يوفر موازن التحميل المتصل بنقطة نهاية SageMaker القدرة على توزيع طلبات الاستدعاء عبر متغيرات إنتاج متعددة. على سبيل المثال ، يمكنك توزيع حركة المرور بين متغيرات الإنتاج عن طريق تحديد توزيع حركة المرور لكل متغير ، أو يمكنك استدعاء متغير معين مباشرة لكل طلب.

يمكنك أيضًا تكوين سياسة التحجيم التلقائي لتوسيع نطاق المتغيرات تلقائيًا للداخل أو الخارج استنادًا إلى مقاييس مثل الطلبات في الثانية.

يوضح الرسم البياني التالي كيفية عمل MVE بمزيد من التفصيل.

يعد نشر MVE أيضًا أمرًا سهلاً للغاية. كل ما عليك فعله هو تحديد كائنات النموذج بالصورة وبيانات النموذج باستخدام create_model بناء من SageMaker Python SDK ، وحدد تكوينات نقطة النهاية باستخدام production_variant يُنشئ لإنشاء متغيرات إنتاج ، لكل منها نموذج ومتطلبات موارد مختلفة (نوع المثيل وعددها). يمكّنك هذا أيضًا من اختبار النماذج على أنواع مثيلات مختلفة. للنشر ، استخدم ملف endpoint_from_production_variant بناء لإنشاء نقطة النهاية.

أثناء إنشاء نقطة النهاية ، يوفر SageMaker مثيل الاستضافة المحدد في إعدادات نقطة النهاية ويقوم بتنزيل النموذج وحاوية الاستنتاج المحددة بواسطة متغير الإنتاج إلى مثيل الاستضافة. إذا تم إرجاع استجابة ناجحة بعد بدء الحاوية وإجراء فحص صحي باستخدام اختبار ping ، فسيتم إرسال رسالة تشير إلى اكتمال إنشاء نقطة النهاية إلى المستخدم. انظر الكود التالي:

sm_session.create_model(
	name=model_name,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url}
	)

sm_session.create_model(
	name=model_name2,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url2 }
	)

variant1 = production_variant(
	model_name=model_name,
	instance_type="ml.c5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant1",
	initial_weight=1
	)

variant2 = production_variant(
	model_name=model_name2,
	instance_type="ml.m5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant2",
	initial_weight=1
	)

sm_session.endpoint_from_production_variants(
	name=endpoint_name,
	production_variants=[variant1,  variant2]
	)

في المثال السابق ، أنشأنا متغيرين ، لكل منهما نموذج مختلف خاص به (يمكن أن يكون لهما أيضًا أنواع حالات وتعدادات مختلفة). وضعنا initial_weight من 1 لكلا المتغيرين: هذا يعني أن 50٪ من طلباتنا تذهب إلى Variant1، والباقي 50٪ ل Variant2. مجموع الأوزان عبر كلا المتغيرين هو 2 ولكل متغير تعيين وزن قدره 1. وهذا يعني أن كل متغير يتلقى 50٪ من إجمالي حركة المرور.

يشبه استدعاء نقطة النهاية بنية SageMaker الشائعة invoke_endpoint؛ يمكنك استدعاء نقطة النهاية مباشرة بالبيانات كحمولة:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload
	)

يصدر SageMaker مقاييس مثل Latency و Invocations لكل متغير في CloudWatch. للحصول على قائمة كاملة بالمقاييس التي يصدرها SageMaker ، راجع راقب Amazon SageMaker باستخدام Amazon CloudWatch. يمكنك الاستعلام عن CloudWatch للحصول على عدد الدعوات لكل متغير ، لمعرفة كيفية تقسيم الدعوات عبر المتغيرات افتراضيًا.

لاستدعاء إصدار معين من النموذج ، حدد متغيرًا مثل TargetVariant في المكالمة invoke_endpoint:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload,
	TargetVariant="Variant1"
	)

يمكنك تقييم أداء كل متغير إنتاج من خلال مراجعة المقاييس مثل الدقة والدقة والاسترجاع ودرجة F1 وخاصية / منطقة تشغيل جهاز الاستقبال تحت المنحنى لكل متغير باستخدام الأمازون SageMaker نموذج مراقب. يمكنك بعد ذلك أن تقرر زيادة حركة المرور إلى أفضل نموذج عن طريق تحديث الأوزان المخصصة لكل متغير عن طريق الاتصال UpdateEndpoint WeightAndCapacities. يؤدي هذا إلى تغيير توزيع حركة المرور إلى متغيرات الإنتاج الخاصة بك دون الحاجة إلى تحديثات لنقطة النهاية الخاصة بك. لذلك بدلاً من 50٪ من حركة المرور من الإعداد الأولي ، نحول 75٪ من حركة المرور إلى Variant2 من خلال تعيين أوزان جديدة لكل متغير باستخدام UpdateEndpointWeightsAndCapacities. انظر الكود التالي:

sm.update_endpoint_weights_and_capacities(
	EndpointName=endpoint_name,
	DesiredWeightsAndCapacities=[
	{
		"DesiredWeight": 25,
		"VariantName": variant1["VariantName"]
	},
	{
		"DesiredWeight": 75,
		"VariantName": variant2["VariantName"]
	}
] )

عندما تكون راضيًا عن أداء أحد المتغيرات ، يمكنك توجيه 100٪ من حركة المرور إلى هذا المتغير. على سبيل المثال ، يمكنك ضبط الوزن لـ Variant1 إلى 0 والوزن عن Variant2 إلى 1. يرسل SageMaker بعد ذلك 100٪ من جميع طلبات الاستدلال إلى Variant2. يمكنك بعد ذلك تحديث نقطة النهاية الخاصة بك بأمان والحذف Variant1 من نقطة النهاية الخاصة بك. يمكنك أيضًا متابعة اختبار النماذج الجديدة في الإنتاج عن طريق إضافة متغيرات جديدة إلى نقطة النهاية الخاصة بك. يمكنك أيضًا تكوين نقاط النهاية هذه للقياس تلقائيًا بناءً على حركة المرور التي تتلقاها نقاط النهاية.

مزايا نقاط النهاية متعددة المتغيرات

تسمح لك برامج SageMaker MVE بالقيام بما يلي:

• قم بنشر واختبار متغيرات متعددة للنموذج باستخدام نفس نقطة نهاية SageMaker. هذا مفيد لاختبار تنوعات نموذج في الإنتاج. على سبيل المثال ، افترض أنك قمت بنشر نموذج في الإنتاج. يمكنك اختبار أحد أشكال النموذج من خلال توجيه قدر صغير من حركة المرور ، لنقل 5٪ ، إلى النموذج الجديد.
• قم بتقييم أداء النموذج في الإنتاج دون مقاطعة حركة المرور من خلال مراقبة المقاييس التشغيلية لكل متغير في CloudWatch.
• تحديث النماذج في الإنتاج دون فقدان أي توافر. يمكنك تعديل نقطة نهاية بدون استخدام النماذج التي تم نشرها بالفعل في الإنتاج خارج الخدمة. على سبيل المثال ، يمكنك إضافة متغيرات نموذج جديدة ، أو تحديث تكوينات مثيل حساب ML لمتغيرات النماذج الحالية ، أو تغيير توزيع حركة المرور بين متغيرات النموذج. لمزيد من المعلومات، راجع تحديث و UpdateEndpoint WeightAndCapacities.

التحديات عند استخدام نقاط نهاية متعددة المتغيرات

تأتي أجهزة MVE من SageMaker مع التحديات التالية:

• جهد اختبار الحمل - أنت بحاجة إلى بذل قدر لا بأس به من الجهد والموارد للاختبار ومقارنات المصفوفة النموذجية لكل متغير. لكي يتم اعتبار اختبار A / B ناجحًا ، تحتاج إلى إجراء تحليل إحصائي للمقاييس التي تم جمعها من الاختبار لتحديد ما إذا كانت هناك نتيجة ذات دلالة إحصائية. قد يصبح من الصعب تقليل استكشاف المتغيرات ذات الأداء الضعيف. من المحتمل أن تستخدم ماكينات الألعاب المتعددة تقنية التحسين لتجنب إرسال الزيارات إلى التجارب التي لا تعمل وتحسين الأداء أثناء الاختبار. لاختبار الحمل ، يمكنك أيضًا الاستكشاف التوصية بالاستدلال من Amazon SageMaker لإجراء معايير شاملة استنادًا إلى متطلبات الإنتاج لوقت الاستجابة والإنتاجية وأنماط حركة المرور المخصصة والمثيلات (حتى 10) التي تحددها.
• اقتران محكم بين متغير النموذج ونقطة النهاية - قد يصبح الأمر صعبًا اعتمادًا على تكرار نشر النموذج ، لأن نقطة النهاية قد تنتهي في updating حالة كل متغير إنتاج يتم تحديثه. يدعم SageMaker أيضًا ملفات نشر الدرابزين، والتي يمكنك استخدامها للتبديل بسهولة من النموذج الحالي في الإنتاج إلى نموذج جديد بطريقة مسيطر عليها. يقدم هذا الخيار كناري و خطي أوضاع تحويل حركة المرور بحيث يمكنك التحكم الدقيق في تحويل حركة المرور من نموذجك الحالي إلى النموذج الجديد أثناء فترة التحديث. باستخدام الضمانات المضمنة مثل التراجع التلقائي ، يمكنك اكتشاف المشكلات مبكرًا واتخاذ الإجراءات التصحيحية تلقائيًا قبل أن تسبب تأثيرًا كبيرًا على الإنتاج.

أفضل الممارسات لنقاط النهاية متعددة المتغيرات

عند استضافة النماذج باستخدام SageMaker MVEs ، ضع في اعتبارك ما يلي:

• يعد SageMaker أمرًا رائعًا لاختبار النماذج الجديدة لأنه يمكنك بسهولة نشرها في بيئة اختبار A / B وتدفع مقابل ما تستخدمه فقط. يتم تحصيل رسوم منك لكل ساعة مثيل يتم استهلاكها لكل مثيل أثناء تشغيل نقطة النهاية. عندما تنتهي من اختباراتك ولا تستخدم نقطة النهاية أو المتغيرات على نطاق واسع بعد الآن ، يجب عليك حذفها لتوفير التكلفة. يمكنك دائمًا إعادة إنشائه عندما تحتاج إليه مرة أخرى لأن النموذج مخزن فيه خدمة تخزين أمازون البسيطة (أمازون S3).
• يجب عليك استخدام نوع وحجم المثيل الأمثل لنشر النماذج. تقدم SageMaker حاليًا ملفات حالات حساب ML على العائلات المثيلة المختلفة. يتم تشغيل مثيل نقطة النهاية طوال الوقت (أثناء وجود المثيل في الخدمة). لذلك ، يمكن أن يكون لاختيار النوع الصحيح من المثيل تأثير كبير على التكلفة الإجمالية والأداء لنماذج ML. اختبار الحمل هي أفضل ممارسة لتحديد نوع المثيل المناسب وحجم الأسطول ، مع أو بدون تغيير الحجم التلقائي لنقطة النهاية المباشرة لديك لتجنب الإفراط في التزويد ودفع المزيد مقابل السعة التي لا تحتاج إليها.
• يمكنك مراقبة أداء النموذج واستخدام الموارد في CloudWatch. يمكنك تكوين ملف ProductionVariant لاستخدام تحجيم تلقائي للتطبيق. لتحديد المقاييس والقيم المستهدفة لسياسة القياس ، يمكنك تكوين سياسة تحجيم تتبع الهدف. يمكنك استخدام مقياس محدد مسبقًا أو مقياس مخصص. لمزيد من المعلومات حول بنية تكوين السياسة ، راجع TargetTrackingScalingPolicyConfiguration. للحصول على معلومات حول تكوين القياس التلقائي ، راجع مقياس نماذج الأمازون SageMaker تلقائيًا. لتعريف سياسة تحجيم تتبع الهدف لمتغير بسرعة ، يمكنك اختيار مقياس CloudWatch محدد وتعيين قيم الحد. على سبيل المثال ، استخدم متري SageMakerVariantInvocationsPerInstance لمراقبة متوسط ​​عدد المرات في الدقيقة التي يتم فيها استدعاء كل مثيل لمتغير ، أو استخدام مقياس CPUUtilization لمراقبة مجموع العمل الذي تقوم به وحدة المعالجة المركزية. يستخدم المثال التالي الامتداد SageMakerVariantInvocationsPerInstance مقياس محدد مسبقًا لضبط عدد مثيلات المتغير بحيث يكون لكل مثيل ملف InvocationsPerInstance متري 70:

{
	"TargetValue": 70.0,
	"PredefinedMetricSpecification":
	{
		"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
	}
}

• يؤدي تغيير أو حذف عيوب النموذج أو تغيير كود الاستدلال بعد نشر النموذج إلى نتائج غير متوقعة. قبل نشر النماذج في الإنتاج ، من الممارسات الجيدة التحقق مما إذا كان نموذج الاستضافة في الوضع المحلي ناجحًا بعد التصحيح الكافي لمقتطفات كود الاستدلال (مثل model_fn, input_fn, predict_fnو output_fn) في بيئة التطوير المحلية مثل مثيل دفتر ملاحظات SageMaker أو خادم محلي. إذا كنت بحاجة إلى تغيير أو حذف عيوب النموذج أو تغيير كود الاستدلال ، فقم بتعديل نقطة النهاية من خلال توفير تكوين نقطة نهاية جديدة. بعد توفير تكوين نقطة النهاية الجديدة ، يمكنك تغيير أو حذف عناصر النموذج المقابلة لتكوين نقطة النهاية القديمة.
• يمكنك استخدام برنامج SageMaker تحويل دفعة لاختبار متغيرات الإنتاج. يعد التحويل الدفعي مثاليًا للحصول على استنتاجات من مجموعات البيانات الكبيرة. يمكنك إنشاء وظيفة تحويل منفصلة لكل متغير نموذج جديد واستخدام مجموعة بيانات التحقق للاختبار. لكل مهمة تحويل ، حدد اسمًا فريدًا للنموذج وموقعًا في Amazon S3 لملف الإخراج. لتحليل النتائج ، استخدم سجلات ومقاييس خط أنابيب الاستدلال.

وفي الختام

يمكّنك SageMaker من اختبار A / B بسهولة لنماذج ML في الإنتاج من خلال تشغيل متغيرات إنتاج متعددة على نقطة نهاية. يمكنك استخدام قدرات SageMaker لاختبار النماذج التي تم تدريبها باستخدام مجموعات بيانات تدريبية مختلفة ، أو معلمات فائقة ، أو خوارزميات ، أو أطر عمل ML ؛ كيفية أدائهم على أنواع مختلفة من المثيل ؛ أو مزيج من كل ما سبق. يمكنك توفير توزيع حركة المرور بين المتغيرات في نقطة نهاية ، ويقوم SageMaker بتقسيم حركة مرور الاستدلال إلى المتغيرات بناءً على التوزيع المحدد. بالتناوب ، إذا كنت ترغب في اختبار النماذج لشرائح عملاء معينة ، فيمكنك تحديد المتغير الذي يجب أن يعالج طلب الاستدلال من خلال توفير TargetVariant header ، وسيقوم SageMaker بتوجيه الطلب إلى المتغير الذي حددته. لمزيد من المعلومات حول اختبار A / B ، راجع تحديث النماذج بأمان في الإنتاج.

مراجع حسابات

عن المؤلفين

ديبالي راجال هو مدير الحساب الفني المتخصص في AI / ML في Amazon Web Services. وهي تعمل مع عملاء المؤسسات لتقديم التوجيه الفني بشأن تنفيذ حلول التعلم الآلي بأفضل الممارسات. في أوقات فراغها ، تستمتع بالمشي لمسافات طويلة ومشاهدة الأفلام والتسكع مع العائلة والأصدقاء.

ضوال باتل هو مهندس رئيسي لتعلم الآلة في AWS. لقد عمل مع مؤسسات تتراوح من المؤسسات الكبيرة إلى الشركات الناشئة متوسطة الحجم في المشكلات المتعلقة بالحوسبة الموزعة والذكاء الاصطناعي. يركز على التعلم العميق بما في ذلك مجالات البرمجة اللغوية العصبية ورؤية الكمبيوتر. إنه يساعد العملاء على تحقيق استدلال نموذج عالي الأداء على SageMaker.

سوراب تريكاندي هو مدير أول للمنتجات في Amazon SageMaker Inference. إنه متحمس للعمل مع العملاء وتحفزه هدف إضفاء الطابع الديمقراطي على التعلم الآلي. يركز على التحديات الأساسية المتعلقة بنشر تطبيقات ML المعقدة ، ونماذج ML متعددة المستأجرين ، وتحسين التكلفة ، وجعل نشر نماذج التعلم العميق أكثر سهولة. في أوقات فراغه ، يستمتع سوراب بالمشي لمسافات طويلة والتعرف على التقنيات المبتكرة واتباع TechCrunch وقضاء الوقت مع عائلته.