مدیریت مدل های یادگیری ماشینی خود را با Amazon SageMaker بهبود بخشید

از آنجایی که شرکت ها به طور فزاینده ای از یادگیری ماشین (ML) برای برنامه های اصلی سازمانی خود استفاده می کنند، بیشتر تصمیمات تجاری آنها تحت تأثیر مدل های ML قرار می گیرد. در نتیجه، داشتن کنترل دسترسی ساده و شفافیت افزایش یافته در تمام مدل‌های ML، اعتبارسنجی مدل‌های شما را آسان‌تر می‌کند و زمانی که چنین نیستند، اقدامی انجام دهید.

در این پست، بررسی می‌کنیم که چگونه شرکت‌ها می‌توانند با داشبوردهای متمرکز و مستندات دقیق مدل‌های خود با استفاده از دو ویژگی جدید، دید مدل‌های خود را بهبود بخشند: کارت‌های مدل SageMaker و داشبورد مدل SageMaker. هر دوی این ویژگی‌ها بدون هزینه اضافی برای مشتریان SageMaker در دسترس هستند.

بررسی اجمالی حاکمیت مدل

حاکمیت مدل چارچوبی است که به توسعه، اعتبار سنجی و استفاده از مدل، دید سیستماتیک می دهد. حاکمیت مدل در سراسر گردش کار ML از انتها به انتها، از شناسایی مورد استفاده ML تا نظارت مداوم بر مدل مستقر شده از طریق هشدارها، گزارش‌ها و داشبوردها، قابل اجرا است. یک چارچوب حاکمیت مدل به خوبی پیاده‌سازی شده باید تعداد رابط‌های مورد نیاز برای مشاهده، ردیابی و مدیریت وظایف چرخه حیات را به حداقل برساند تا نظارت بر چرخه عمر ML در مقیاس آسان‌تر شود.

امروزه، سازمان ها تخصص فنی قابل توجهی را در ساخت ابزار سرمایه گذاری می کنند تا بخش بزرگی از گردش کار حاکمیت و حسابرسی خود را خودکار کنند. به عنوان مثال، سازندگان مدل باید به طور فعال مشخصات مدل مانند استفاده مورد نظر برای یک مدل، رتبه بندی ریسک و معیارهای عملکردی را که یک مدل باید بر اساس آن اندازه گیری شود، ثبت کنند. علاوه بر این، آنها همچنین باید مشاهدات مربوط به رفتار مدل را ثبت کنند و دلیل تصمیم گیری های کلیدی خاصی مانند تابع هدفی که مدل را بر اساس آن بهینه کرده اند را مستند کنند.

معمولاً شرکت‌ها از ابزارهایی مانند اکسل یا ایمیل برای جمع‌آوری و اشتراک‌گذاری چنین اطلاعات مدلی برای استفاده در تأییدیه‌های استفاده تولیدی استفاده می‌کنند. اما با افزایش مقیاس توسعه ML، اطلاعات می توانند به راحتی از بین بروند یا به اشتباه بیایند، و پیگیری این جزئیات به سرعت غیرممکن می شود. علاوه بر این، پس از استقرار این مدل‌ها، می‌توانید داده‌ها را از منابع مختلف به هم بچسبانید تا در تمام مدل‌ها، نقاط پایانی، تاریخچه نظارت و اصل و نسب خود به‌طور سرتاسری مشاهده کنید. بدون چنین دیدگاهی، می توانید به راحتی رد مدل های خود را از دست بدهید و ممکن است متوجه نباشید که چه زمانی باید روی آنها اقدام کنید. این موضوع در صنایع بسیار تحت نظارت تشدید می شود، زیرا شما مشمول مقرراتی هستید که از شما می خواهند چنین اقداماتی را رعایت کنید.

همانطور که حجم مدل‌ها شروع به افزایش می‌کند، مدیریت ابزارهای سفارشی می‌تواند به یک چالش تبدیل شود و به سازمان‌ها زمان کمتری برای تمرکز بر نیازهای اصلی کسب‌وکار می‌دهد. در بخش‌های بعدی، بررسی می‌کنیم که چگونه کارت‌های مدل SageMaker و داشبورد مدل SageMaker می‌توانند به شما در افزایش تلاش‌های حاکمیتی خود کمک کنند.

کارت های مدل SageMaker

کارت‌های مدل به شما امکان می‌دهند تا نحوه مستندسازی مدل‌ها را استاندارد کنید و در نتیجه به چرخه عمر یک مدل، از طراحی، ساخت، آموزش و ارزیابی دسترسی پیدا کنید. کارت های مدل به عنوان منبعی واحد از حقیقت برای ابرداده های تجاری و فنی در مورد مدل در نظر گرفته شده است که می تواند به طور قابل اعتماد برای اهداف حسابرسی و مستندسازی استفاده شود. آنها یک برگه اطلاعاتی از مدل ارائه می دهند که برای حاکمیت مدل مهم است.

کارت‌های مدل به کاربران اجازه می‌دهند تصمیم‌هایی مانند اینکه چرا یک تابع هدف برای بهینه‌سازی انتخاب شده است و جزئیاتی مانند میزان استفاده مورد نظر و رتبه‌بندی ریسک را بنویسند و ذخیره کنند. همچنین می توانید نتایج ارزیابی را پیوست و مرور کنید و مشاهدات را برای مراجعات بعدی یادداشت کنید.

برای مدل‌هایی که در SageMaker آموزش دیده‌اند، کارت‌های مدل می‌توانند جزئیاتی مانند شغل آموزشی، مجموعه داده‌های آموزشی، مصنوعات مدل و محیط استنتاج را کشف و به‌طور خودکار پر کنند و در نتیجه روند ایجاد کارت‌ها را تسریع کنند. با SageMaker Python SDK، می‌توانید کارت مدل را با معیارهای ارزیابی به‌روزرسانی یکپارچه کنید.

کارت های مدل به مدیران ریسک مدل، دانشمندان داده و مهندسان ML توانایی انجام وظایف زیر را می دهند:

• الزامات مدل سند مانند رتبه بندی ریسک، استفاده مورد نظر، محدودیت ها و عملکرد مورد انتظار
• پر کردن خودکار کارت های مدل برای مدل های آموزش دیده SageMaker
• اطلاعات خود (BYOI) را برای مدل‌های غیر SageMaker بیاورید
• نتایج ارزیابی مدل و داده را بارگذاری و به اشتراک بگذارید
• اطلاعات سفارشی را تعریف و ضبط کنید
• ضبط وضعیت کارت مدل (پیش نویس، در انتظار بررسی، یا تایید شده برای تولید)
• دسترسی به هاب کارت مدل از کنسول مدیریت AWS
• کارت های مدل را ایجاد، ویرایش، مشاهده، صادر، شبیه سازی و حذف کنید
• با استفاده از جریان های کاری راه اندازی کنید پل رویداد آمازون ادغام برای رویدادهای تغییر وضعیت کارت مدل

کارت های مدل SageMaker را با استفاده از کنسول ایجاد کنید

با استفاده از کنسول SageMaker به راحتی می توانید کارت های Model ایجاد کنید. در اینجا می توانید تمام کارت های مدل موجود را ببینید و در صورت نیاز کارت های جدید ایجاد کنید.

هنگام ایجاد یک کارت مدل، می‌توانید اطلاعات مهم مدل را مستند کنید، مانند اینکه چه کسی مدل را ساخته، چرا آن را توسعه داده است، چگونه برای ارزیابی‌های مستقل عمل می‌کند، و هرگونه مشاهداتی که باید قبل از استفاده از مدل برای یک برنامه تجاری در نظر گرفته شود.

برای ایجاد کارت مدل بر روی کنسول، مراحل زیر را انجام دهید:

1. جزئیات نمای کلی مدل را وارد کنید.
2. جزئیات آموزش را وارد کنید (اگر مدل در SageMaker آموزش داده شده باشد، به صورت خودکار تکمیل می شود).
3. بارگذاری نتایج ارزیابی
4. جزئیات اضافی مانند توصیه ها و ملاحظات اخلاقی را اضافه کنید.

پس از ایجاد کارت مدل، می توانید نسخه ای را برای مشاهده آن انتخاب کنید.

تصویر زیر جزئیات کارت مدل ما را نشان می دهد.

همچنین می توانید کارت مدل را صادر کنید تا به صورت PDF به اشتراک گذاشته شود.

کارت های مدل SageMaker را از طریق SageMaker Python SDK ایجاد و کاوش کنید

تعامل با کارت های مدل به کنسول محدود نمی شود. همچنین می‌توانید از SageMaker Python SDK برای ایجاد و کاوش کارت‌های Model استفاده کنید. SageMaker Python SDK به دانشمندان داده و مهندسان ML اجازه می دهد تا به راحتی با اجزای SageMaker تعامل داشته باشند. قطعه کد زیر روند ایجاد یک کارت مدل را با استفاده از قابلیت SageMaker Python SDK جدید اضافه شده به نمایش می گذارد.

مطمئن شوید که آخرین نسخه SageMaker Python SDK را نصب کرده اید:

$ pip install --upgrade "sagemaker>=2"

هنگامی که یک مدل را با استفاده از SageMaker آموزش دادید و به کار گرفتید، می توانید از اطلاعات مدل SageMaker و کار آموزشی برای پر کردن خودکار اطلاعات در کارت Model استفاده کنید.

با استفاده از SageMaker Python SDK و ارسال نام مدل SageMaker، می توانیم به طور خودکار اطلاعات اولیه مدل را جمع آوری کنیم. اطلاعاتی مانند مدل SageMaker ARN، محیط آموزشی و خروجی مدل سرویس ذخیره سازی ساده آمازون مکان (Amazon S3) به طور خودکار پر می شود. می‌توانیم واقعیت‌های مدل دیگری مانند توضیحات، نوع مشکل، نوع الگوریتم، سازنده مدل و مالک را اضافه کنیم. کد زیر را ببینید:

model_overview = ModelOverview.from_name(
    model_name=model_name,
    sagemaker_session=sagemaker_session,
    model_description="This is a simple binary classification model used for Model Card demo",
    problem_type="Binary Classification",
    algorithm_type="Logistic Regression",
    model_creator="DEMO-ModelCard",
    model_owner="DEMO-ModelCard",
)
print(model_overview.model_id) # Provides us with the SageMaker Model ARN
print(model_overview.inference_environment.container_image) # Provides us with the SageMaker inference container URI
print(model_overview.model_artifact) # Provides us with the S3 location of the model artifacts

همچنین می‌توانیم اطلاعات اولیه آموزشی مانند ARN شغلی آموزشی، محیط آموزشی و معیارهای آموزشی را به‌طور خودکار جمع‌آوری کنیم. جزئیات آموزشی اضافی را می توان اضافه کرد، مانند تابع هدف آموزشی و مشاهدات. کد زیر را ببینید:

objective_function = ObjectiveFunction(
    function=Function(
        function=ObjectiveFunctionEnum.MINIMIZE,
        facet=FacetEnum.LOSS,
    ),
    notes="This is a example objective function.",
)
training_details = TrainingDetails.from_model_overview(
    model_overview=model_overview,
    sagemaker_session=sagemaker_session,
    objective_function=objective_function,
    training_observations="Additional training observations could be put here."
)

print(training_details.training_job_details.training_arn) # Provides us with the SageMaker Model ARN
print(training_details.training_job_details.training_environment.container_image) # Provides us with the SageMaker training container URI
print([{"name": i.name, "value": i.value} for i in training_details.training_job_details.training_metrics]) # Provides us with the SageMaker Training Job metrics

اگر معیارهای ارزیابی در دسترس داریم، می‌توانیم آن‌ها را نیز به کارت مدل اضافه کنیم:

my_metric_group = MetricGroup(
    name="binary classification metrics",
    metric_data=[Metric(name="accuracy", type=MetricTypeEnum.NUMBER, value=0.5)]
)
evaluation_details = [
    EvaluationJob(
        name="Example evaluation job",
        evaluation_observation="Evaluation observations.",
        datasets=["s3://path/to/evaluation/data"],
        metric_groups=[my_metric_group],
    )
]

همچنین می‌توانیم اطلاعات بیشتری درباره مدل اضافه کنیم که می‌تواند به حاکمیت مدل کمک کند:

intended_uses = IntendedUses(
    purpose_of_model="Test Model Card.",
    intended_uses="Not used except this test.",
    factors_affecting_model_efficiency="No.",
    risk_rating=RiskRatingEnum.LOW,
    explanations_for_risk_rating="Just an example.",
)
additional_information = AdditionalInformation(
    ethical_considerations="You model ethical consideration.",
    caveats_and_recommendations="Your model's caveats and recommendations.",
    custom_details={"custom details1": "details value"},
)

پس از ارائه تمام جزئیات مورد نیاز، می توانیم کارت Model را با استفاده از تنظیمات قبلی ایجاد کنیم:

model_card_name = "sample-notebook-model-card"
my_card = ModelCard(
    name=model_card_name,
    status=ModelCardStatusEnum.DRAFT,
    model_overview=model_overview,
    training_details=training_details,
    intended_uses=intended_uses,
    evaluation_details=evaluation_details,
    additional_information=additional_information,
    sagemaker_session=sagemaker_session,
)
my_card.create()

SageMaker SDK همچنین امکان به روز رسانی، بارگیری، فهرست، صادرات و حذف کارت مدل را فراهم می کند.

برای کسب اطلاعات بیشتر در مورد کارت های مدل به ادامه مطلب مراجعه کنید راهنمای توسعه دهنده و به دنبال این نمونه نوت بوک برای شروع

داشبورد مدل SageMaker

داشبورد مدل یک مخزن متمرکز از تمام مدل هایی است که در حساب کاربری ایجاد شده اند. مدل‌ها معمولاً با آموزش در SageMaker ایجاد می‌شوند، یا می‌توانید مدل‌های آموزش دیده خود را در جای دیگری برای میزبانی در SageMaker بیاورید.

داشبورد مدل یک رابط واحد برای مدیران فناوری اطلاعات، مدیران ریسک مدل یا رهبران کسب و کار فراهم می کند تا همه مدل های مستقر شده و نحوه عملکرد آنها را مشاهده کنند. می‌توانید نقاط پایانی، کارهای تبدیل دسته‌ای، و کارهای نظارتی را مشاهده کنید تا بینش‌هایی در مورد عملکرد مدل به دست آورید. سازمان‌ها می‌توانند برای شناسایی مدل‌هایی که مانیتورهای گمشده یا غیرفعال دارند غواصی کنند و با استفاده از SageMaker API آن‌ها را اضافه کنند تا مطمئن شوند که همه مدل‌ها از نظر جابجایی داده، رانش مدل، سوگیری دریفت و رانش انتساب ویژگی بررسی می‌شوند.

تصویر زیر نمونه ای از داشبورد مدل را نشان می دهد.

داشبورد مدل یک نمای کلی از همه مدل‌های شما، رتبه‌بندی ریسک آن‌ها و عملکرد آن مدل‌ها در تولید ارائه می‌دهد. این کار را با کشیدن اطلاعات از سراسر SageMaker انجام می دهد. اطلاعات نظارت بر عملکرد از طریق ضبط می شود مانیتور مدل آمازون SageMakerو همچنین می‌توانید اطلاعات مدل‌هایی را که برای پیش‌بینی دسته‌ای از طریق کارهای تبدیل دسته‌ای SageMaker فراخوانی شده‌اند، مشاهده کنید. اطلاعات مربوط به اصل و نسب مانند نحوه آموزش مدل، داده‌های مورد استفاده و موارد دیگر جمع‌آوری می‌شود و اطلاعات کارت‌های مدل نیز استخراج می‌شود.

Model Monitor کیفیت مدل‌های SageMaker مورد استفاده در تولید را برای استنتاج دسته‌ای یا نقاط پایانی بلادرنگ نظارت می‌کند. می توانید نظارت مستمر یا مانیتورهای برنامه ریزی شده را از طریق SageMaker API ها تنظیم کنید و تنظیمات هشدار را از طریق داشبورد Model ویرایش کنید. می توانید هشدارهایی را تنظیم کنید که در صورت وجود انحراف در کیفیت مدل به شما اطلاع دهند. تشخیص زودهنگام و فعال این انحرافات شما را قادر می سازد تا اقدامات اصلاحی مانند بازآموزی مدل ها، ممیزی سیستم های بالادستی، یا رفع مشکلات کیفیت را بدون نیاز به نظارت دستی مدل ها یا ساخت ابزار اضافی انجام دهید. داشبورد مدل به شما بینشی سریع در مورد اینکه کدام مدل‌ها نظارت می‌شوند و نحوه عملکرد آنها می‌دهد. برای کسب اطلاعات بیشتر در مورد مانیتور مدل، مراجعه کنید مدل‌ها را برای داده‌ها و کیفیت مدل، سوگیری و توضیح‌پذیری پایش کنید.

وقتی مدلی را در داشبورد Model انتخاب می‌کنید، می‌توانید بینش عمیق‌تری درباره مدل، مانند کارت مدل (در صورت وجود)، اصل و نسب مدل، جزئیات مربوط به نقطه پایانی که مدل به آن مستقر شده است، و برنامه نظارت برای مدل.

این نما به شما امکان می دهد در صورت نیاز یک کارت مدل ایجاد کنید. برنامه نظارت را می توان از طریق داشبورد مدل فعال، غیرفعال یا ویرایش کرد.

برای مدل‌هایی که برنامه نظارتی ندارند، می‌توانید با فعال کردن Model Monitor برای نقطه پایانی که مدل در آن مستقر شده است، آن را تنظیم کنید. از طریق جزئیات هشدار و وضعیت، بسته به اینکه کدام مانیتور را تنظیم کرده‌اید، از مدل‌هایی مطلع می‌شوید که در حال نمایش داده‌ها، جابه‌جایی مدل، بایاس دریفت یا تغییر ویژگی هستند.

بیایید به یک نمونه گردش کار از نحوه تنظیم نظارت بر مدل نگاه کنیم. مراحل کلیدی این فرآیند عبارتند از:

1. داده های ارسال شده به نقطه پایانی (یا کار تبدیل دسته ای) را ضبط کنید.
2. یک خط مبنا (برای هر یک از انواع نظارت) ایجاد کنید.
3. یک برنامه مانیتور مدل ایجاد کنید تا پیش‌بینی‌های زنده را با خط پایه مقایسه کنید تا تخلفات را گزارش کنید و هشدارها را راه‌اندازی کنید.

بر اساس هشدارها، می‌توانید اقداماتی مانند بازگرداندن نقطه پایانی به نسخه قبلی یا آموزش مجدد مدل با داده‌های جدید انجام دهید. در حین انجام این کار، ممکن است لازم باشد نحوه آموزش مدل را ردیابی کنیم، که می توان با تجسم اصل و نسب مدل انجام داد.

داشبورد مدل مجموعه ای غنی از اطلاعات در مورد اکوسیستم مدل کلی در یک حساب کاربری، علاوه بر توانایی بررسی جزئیات خاص یک مدل، ارائه می دهد. برای کسب اطلاعات بیشتر در مورد داشبورد مدل، مراجعه کنید راهنمای توسعه دهنده.

نتیجه

حاکمیت مدل پیچیده است و اغلب شامل بسیاری از نیازهای سفارشی شده خاص یک سازمان یا یک صنعت است. این می تواند بر اساس الزامات قانونی که سازمان شما باید از آنها پیروی کند، انواع شخصیت های موجود در سازمان و انواع مدل های مورد استفاده است. هیچ رویکرد یکسانی برای حکمرانی وجود ندارد و داشتن ابزارهای مناسب در دسترس است تا بتوان یک فرآیند حاکمیتی قوی را اجرا کرد.

با ابزارهای هدفمند حاکمیت ML در SageMaker، سازمان ها می توانند مکانیسم های مناسبی را برای بهبود کنترل و دید پروژه های ML برای موارد استفاده خاص خود اجرا کنند. کارت‌های مدل و داشبورد مدل را امتحان کنید و نظرات خود را با سؤالات و بازخورد بنویسید. برای کسب اطلاعات بیشتر در مورد کارت های مدل و داشبورد مدل به ادامه مطلب مراجعه کنید راهنمای توسعه دهنده.

درباره نویسندگان

کریت تاداکا یک معمار ML Solutions است که در تیم SageMaker Service SA کار می کند. قبل از پیوستن به AWS، کریت در استارت‌آپ‌های هوش مصنوعی در مراحل اولیه کار می‌کرد و پس از آن مدتی مشاوره در نقش‌های مختلف در تحقیقات هوش مصنوعی، MLOps و رهبری فنی داشت.

مارک کارپ یک معمار ML با تیم خدمات SageMaker است. او بر کمک به مشتریان در طراحی، استقرار و مدیریت حجم کاری ML در مقیاس تمرکز دارد. او در اوقات فراغت خود از سفر و کاوش در مکان های جدید لذت می برد.

راغو رامشا یک معمار ML Solutions با تیم Amazon SageMaker Service است. او بر کمک به مشتریان در ساخت، استقرار و انتقال بارهای کاری تولید ML به SageMaker در مقیاس متمرکز است. او در زمینه های یادگیری ماشین، هوش مصنوعی و بینایی کامپیوتر تخصص دارد و دارای مدرک کارشناسی ارشد در علوم کامپیوتر از UT Dallas است. در اوقات فراغت از مسافرت و عکاسی لذت می برد.

رام ویتال یک معمار راه حل های تخصصی ML در AWS است. او بیش از 20 سال تجربه در زمینه معماری و ساخت برنامه های کاربردی توزیع شده، ترکیبی و ابری دارد. او مشتاق ساختن راه‌حل‌های AI/ML و کلان داده ایمن و مقیاس‌پذیر است تا به مشتریان سازمانی در پذیرش و سفر بهینه‌سازی ابر برای بهبود نتایج کسب‌وکارشان کمک کند. او در اوقات فراغت خود از تنیس، عکاسی و فیلم های اکشن لذت می برد.

ساحل ساینی یک معمار راه حل ISV در خدمات وب آمازون است. او با تیم‌های مهندسی و محصولات مشتریان استراتژیک AWS کار می‌کند تا به آنها در راه‌حل‌های فناوری با استفاده از خدمات AWS برای AI/ML، Containers، HPC و IoT کمک کند. او به راه اندازی پلتفرم های AI/ML برای مشتریان سازمانی کمک کرده است.