Amazon SageMaker Automatic Model Tuning اکنون از جستجوی شبکه پشتیبانی می کند

امروز آمازون SageMaker پشتیبانی از جستجوی گرید را اعلام کرد تنظیم خودکار مدل، استراتژی اضافی را برای کاربران ارائه می دهد تا بهترین پیکربندی هایپرپارامتر را برای مدل خود پیدا کنند.

تنظیم خودکار مدل Amazon SageMaker بهترین نسخه یک مدل را با اجرای بسیاری از کارهای آموزشی روی مجموعه داده شما با استفاده از محدوده از فراپارامترهایی که شما مشخص می کنید. سپس مقادیر فراپارامتر را انتخاب می کند که منجر به مدلی می شود که بهترین عملکرد را دارد، همانطور که با a اندازه گیری می شود متری از انتخاب شما.

برای یافتن بهترین مقادیر فراپارامترها برای مدل خود، تنظیم خودکار مدل Amazon SageMaker از چندین استراتژی پشتیبانی می کند، از جمله بیزی (به طور پیش فرض) تصادفی جستجو ، و هایپرباند.

جستجوی شبکه ای

جستجوی گرید به طور کامل پیکربندی‌های شبکه ابرپارامترهایی را که شما تعریف می‌کنید بررسی می‌کند، که به شما امکان می‌دهد در مورد امیدوارکننده‌ترین پیکربندی هایپرپارامتر در شبکه خود اطلاعاتی کسب کنید و به طور قطعی نتایج خود را در اجرای تنظیم‌های مختلف بازتولید کنید. جستجوی گرید به شما اطمینان بیشتری می دهد که کل فضای جستجوی پارامترهایپر کاوش شده است. اگر هدف اصلی شما یافتن بهترین پیکربندی هایپرپارامتر باشد، این مزیت با یک مبادله همراه است، زیرا از نظر محاسباتی گرانتر از جستجوی بیزی و تصادفی است.

جستجوی شبکه با آمازون SageMaker

در آمازون SageMaker، زمانی از جستجوی Grid استفاده می‌کنید که مشکل شما نیاز به ترکیب فراپارامتر بهینه داشته باشد که متریک هدف شما را به حداکثر یا حداقل برساند. یکی از موارد استفاده رایج که در آن مشتری از جستجوی شبکه ای استفاده می کند، زمانی است که دقت و تکرارپذیری مدل برای کسب و کار شما مهمتر از هزینه آموزشی مورد نیاز برای به دست آوردن آن است.

برای فعال کردن Grid Search در Amazon SageMaker، این را تنظیم کنید Strategy میدان به Grid هنگام ایجاد یک کار تنظیم، به شرح زیر است:

{
    "ParameterRanges": {...}
    "Strategy": "Grid",
    "HyperParameterTuningJobObjective": {...}
}

علاوه بر این، جستجوی گرید از شما می‌خواهد که فضای جستجوی خود (شبکه دکارتی) را به عنوان یک محدوده مقوله‌ای از مقادیر گسسته در تعریف شغل خود با استفاده از CategoricalParameterRanges کلید زیر ParameterRanges پارامتر، به شرح زیر است:

{
    "ParameterRanges": {
        "CategoricalParameterRanges": [
 {
              "Name": "eta", "Values": ['0.1', '0.2', '0.3', '0.4', '0.5']
            },
            {
              "Name": "alpha", "Values": ['0.1', '0.2']
            },
        ],

    },
    ...
}

توجه داشته باشید که ما مشخص نمی کنیم MaxNumberOfTrainingJobs برای جستجوی Grid در تعریف شغل، زیرا این برای شما از تعداد ترکیب دسته ها مشخص می شود. هنگام استفاده از جستجوی تصادفی و بیزی، شما آن را مشخص می کنید MaxNumberOfTrainingJobs پارامتر به عنوان راهی برای کنترل هزینه کار تنظیم با تعریف یک مرز بالایی برای محاسبه. با جستجوی گرید، مقدار MaxNumberOfTrainingJobs (اکنون اختیاری) به طور خودکار به عنوان تعداد نامزدها برای جستجوی شبکه در تنظیم می شود Describe HyperParameterTuningJob شکل. این به شما امکان می دهد تا شبکه مورد نظر خود را از فراپارامترها به طور کامل بررسی کنید. علاوه بر این، تعریف شغل جستجوی شبکه فقط محدوده‌های مقوله‌ای گسسته را می‌پذیرد و به تعریف محدوده پیوسته یا عدد صحیح نیاز ندارد زیرا هر مقدار در شبکه گسسته در نظر گرفته می‌شود.

آزمایش جستجوی شبکه

در این آزمایش، با توجه به یک کار رگرسیونی، ما برای فراپارامترهای بهینه در فضای جستجوی 200 ابرپارامتر، 20 جستجو می کنیم. eta و 10 alpha از 0.1 تا 1. ما استفاده می کنیم مجموعه داده بازاریابی مستقیم برای تنظیم یک مدل رگرسیون

• اتا: انقباض اندازه پله در به روز رسانی ها برای جلوگیری از برازش بیش از حد استفاده می شود. پس از هر مرحله تقویت، می توانید مستقیماً وزن ویژگی های جدید را دریافت کنید. را eta پارامتر در واقع وزن ویژگی ها را کوچک می کند تا فرآیند تقویت محافظه کارانه تر شود.
• آلفا: مدت تنظیم L1 روی وزنه ها. افزایش این مقدار مدل ها را محافظه کارتر می کند.

نمودار سمت چپ تجزیه و تحلیل را نشان می دهد eta هایپرپارامتر در رابطه با متریک هدف و نشان می دهد که چگونه جستجوی شبکه ای کل فضای جستجو (شبکه) را در محورهای X قبل از برگرداندن بهترین مدل خسته کرده است. به همین ترتیب، نمودار سمت راست دو ابرپارامتر را در یک فضای دکارتی تجزیه و تحلیل می‌کند تا نشان دهد که تمام نقاط شبکه در طول تنظیم انتخاب شده‌اند.

آزمایش بالا نشان می دهد که ماهیت جامع جستجوی Grid یک انتخاب فراپارامتر بهینه را با توجه به فضای جستجوی تعریف شده تضمین می کند. همچنین نشان می‌دهد که می‌توانید نتیجه جستجوی خود را در طول تکرارهای تنظیم بازتولید کنید، در حالی که همه چیزهای دیگر برابر هستند.

گردش کار تنظیم خودکار مدل Amazon SageMaker (AMT)

با تنظیم خودکار مدل Amazon SageMaker، می‌توانید بهترین نسخه مدل خود را با اجرای کارهای آموزشی روی مجموعه داده‌های خود با چندین استراتژی جستجو، مانند بیزی، جستجوی تصادفی، جستجوی شبکه‌ای و Hyperband پیدا کنید. تنظیم خودکار مدل به شما امکان می دهد با جستجوی خودکار بهترین پیکربندی هایپرپارامتر در محدوده هایپرپارامتری که مشخص کرده اید، زمان تنظیم یک مدل را کاهش دهید.

اکنون که مزیت استفاده از Grid Search در Amazon SageMaker AMT را بررسی کرده‌ایم، بیایید نگاهی به گردش‌های کاری AMT بیندازیم و بفهمیم که چگونه همه آن‌ها در SageMaker با هم هماهنگ می‌شوند.

نتیجه

در این پست، نحوه استفاده از استراتژی جستجوی Grid را برای یافتن بهترین مدل و توانایی آن برای بازتولید قطعی نتایج در مشاغل مختلف تنظیم بحث کردیم. ما در مورد مبادله هنگام استفاده از جستجوی شبکه در مقایسه با استراتژی‌های دیگر بحث کردیم، و اینکه چگونه به شما امکان می‌دهد مناطقی از فضاهای فراپارامتر امیدوارکننده‌تر را کشف کنید و نتایج خود را به طور قطعی بازتولید کنید.

برای کسب اطلاعات بیشتر در مورد تنظیم خودکار مدل، به سایت مراجعه کنید صفحه محصول و اسناد و مدارک فنی.

درباره نویسنده

داگ امبایا یک معمار راه حل شریک ارشد با تمرکز بر داده ها و تجزیه و تحلیل است. داگ همکاری نزدیکی با شرکای AWS دارد و به آنها کمک می کند تا داده ها و راه حل های تجزیه و تحلیل را در فضای ابری یکپارچه کنند.