با استفاده از Amazon SageMaker JumpStart از مدل های پایه هوش مصنوعی در حالت VPC بدون اتصال به اینترنت استفاده کنید | خدمات وب آمازون

با پیشرفت های اخیر در هوش مصنوعی مولد، بحث های زیادی در مورد نحوه استفاده از هوش مصنوعی مولد در صنایع مختلف برای حل مشکلات تجاری خاص وجود دارد. هوش مصنوعی مولد نوعی از هوش مصنوعی است که می تواند محتوا و ایده های جدیدی از جمله گفتگو، داستان، تصاویر، ویدئو و موسیقی ایجاد کند. همه اینها توسط مدل های بسیار بزرگی پشتیبانی می شود که از قبل بر روی حجم وسیعی از داده ها آموزش دیده اند و معمولاً به آنها می گویند مدل های پایه (FM). این FM ها می توانند طیف وسیعی از وظایف را که دامنه های متعددی را در بر می گیرند، انجام دهند، مانند نوشتن پست های وبلاگ، تولید تصاویر، حل مسائل ریاضی، درگیر شدن در گفتگو و پاسخ دادن به سؤالات بر اساس یک سند. اندازه و ماهیت همه منظوره FMها آنها را از مدل‌های سنتی ML متفاوت می‌کند، که معمولاً وظایف خاصی را انجام می‌دهند، مانند تجزیه و تحلیل متن برای احساسات، طبقه‌بندی تصاویر، و پیش‌بینی روندها.

در حالی که سازمان ها به دنبال استفاده از قدرت این FM ها هستند، آنها همچنین می خواهند راه حل های مبتنی بر FM در محیط های محافظت شده خودشان اجرا شوند. سازمان‌هایی که در فضاهای به شدت تنظیم‌شده مانند خدمات مالی جهانی و مراقبت‌های بهداشتی و علوم زیستی فعالیت می‌کنند، الزامات شنوایی و انطباق برای اجرای محیط خود در VPC‌های خود دارند. در واقع، بسیاری از اوقات، حتی دسترسی مستقیم به اینترنت در این محیط‌ها غیرفعال می‌شود تا از قرار گرفتن در معرض ترافیک ناخواسته، اعم از ورودی و خروجی، جلوگیری شود.

Amazon SageMaker JumpStart یک مرکز ML است که الگوریتم‌ها، مدل‌ها و راه‌حل‌های ML را ارائه می‌دهد. با SageMaker JumpStart، پزشکان ML می‌توانند از فهرست رو به رشد FMهای منبع باز با بهترین عملکرد انتخاب کنند. همچنین توانایی استقرار این مدل ها را در خود شما فراهم می کند ابر خصوصی مجازی (VPC).

در این پست، نحوه استفاده از JumpStart برای استقرار a را نشان می دهیم Flan-T5 XXL مدل در VPC بدون اتصال به اینترنت. در مورد موضوعات زیر بحث می کنیم:

• نحوه استقرار یک مدل پایه با استفاده از SageMaker JumpStart در VPC بدون دسترسی به اینترنت
• مزایای استقرار FM ها از طریق مدل های SageMaker JumpStart در حالت VPC
• راه های جایگزین برای سفارشی کردن استقرار مدل های پایه از طریق JumpStart

به غیر از FLAN-T5 XXL، JumpStart مدل های مختلف پایه زیادی را برای کارهای مختلف ارائه می دهد. برای لیست کامل، بررسی کنید شروع کار با Amazon SageMaker JumpStart.

بررسی اجمالی راه حل

به عنوان بخشی از راه حل، ما مراحل زیر را پوشش می دهیم:

1. یک VPC بدون اتصال به اینترنت راه اندازی کنید.
2. راه اندازی Amazon SageMaker Studio با استفاده از VPC که ایجاد کردیم.
3. مدل پایه AI Flan T5-XXL مولد را با استفاده از JumpStart در VPC بدون دسترسی به اینترنت اجرا کنید.

در زیر نمودار معماری راه حل ارائه شده است.

بیایید مراحل مختلف اجرای این راه حل را طی کنیم.

پیش نیازها

برای دنبال کردن این پست به موارد زیر نیاز دارید:

یک VPC بدون اتصال به اینترنت راه اندازی کنید

یک پشته CloudFormation جدید ایجاد کنید با استفاده از 01_networking.yaml قالب. این الگو یک VPC جدید ایجاد می کند و دو زیرشبکه خصوصی را در دو منطقه دسترسی بدون اتصال به اینترنت اضافه می کند. سپس نقاط پایانی VPC دروازه را برای دسترسی مستقر می کند سرویس ذخیره سازی ساده آمازون (Amazon S3) و نقاط پایانی VPC را برای SageMaker و چند سرویس دیگر واسط می کند تا به منابع موجود در VPC اجازه دهد از طریق سرویس های AWS متصل شوند. AWS PrivateLink.

یک نام پشته، مانند No-Internet، و فرآیند ایجاد پشته را کامل کنید.

این راه حل چندان در دسترس نیست زیرا الگوی CloudFormation نقاط پایانی VPC رابط را تنها در یک زیرشبکه ایجاد می کند تا هزینه ها را هنگام دنبال کردن مراحل این پست کاهش دهد.

استودیو را با استفاده از VPC راه اندازی کنید

با استفاده از یک پشته CloudFormation دیگر ایجاد کنید 02_sagemaker_studio.yaml، که یک دامنه Studio، نمایه کاربر استودیو و منابع پشتیبانی مانند نقش های IAM ایجاد می کند. یک نام برای پشته انتخاب کنید. برای این پست، از نام استفاده می کنیم SageMaker-Studio-VPC-No-Internet. نام پشته VPC را که قبلا ایجاد کردید (No-Internet) به عنوان CoreNetworkingStackName پارامتر و بقیه موارد را به عنوان پیش فرض رها کنید.

صبر کنید تا AWS CloudFormation گزارش دهد که ایجاد پشته کامل شده است. می‌توانید تأیید کنید که دامنه استودیو برای استفاده در کنسول SageMaker در دسترس است.

برای تأیید اینکه کاربر دامنه استودیو به اینترنت دسترسی ندارد، استودیو را با استفاده از کنسول SageMaker راه اندازی کنید. انتخاب کنید پرونده, جدیدو پایانه، سپس سعی کنید به یک منبع اینترنتی دسترسی پیدا کنید. همانطور که در اسکرین شات زیر نشان داده شده است، ترمینال منتظر منبع می ماند و در نهایت زمان آن تمام می شود.

این ثابت می کند که Studio در VPC که دسترسی به اینترنت ندارد کار می کند.

مدل پایه هوش مصنوعی مولد Flan T5-XXL را با استفاده از JumpStart اجرا کنید

ما می توانیم این مدل را از طریق Studio و همچنین از طریق API مستقر کنیم. JumpStart همه کدها را برای استقرار مدل از طریق یک نوت بوک SageMaker که از داخل استودیو قابل دسترسی است، فراهم می کند. برای این پست، ما این قابلیت را از استودیو به نمایش می گذاریم.

• در صفحه خوش آمدگویی استودیو، را انتخاب کنید شروع به کار تحت راه حل های از پیش ساخته شده و خودکار.

• مدل Flan-T5 XXL را در زیر انتخاب کنید مدل های بنیاد.

• به طور پیش فرض، آن را باز می کند گسترش برگه گسترش دهید پیکربندی استقرار بخش برای تغییر hosting instance و endpoint name، یا هر برچسب اضافی اضافه کنید. همچنین گزینه ای برای تغییر وجود دارد S3 bucket location جایی که مصنوع مدل برای ایجاد نقطه پایانی ذخیره می شود. برای این پست، همه چیز را در مقادیر پیش فرض خود رها می کنیم. نام نقطه پایانی را یادداشت کنید تا هنگام فراخوانی نقطه پایانی برای پیش بینی استفاده کنید.

• گسترش تنظیمات امنیتی بخش، که در آن شما می توانید مشخص کنید IAM role برای ایجاد نقطه پایانی شما همچنین می توانید مشخص کنید VPC configurations با ارائه subnets و security groups. شناسه‌های زیرشبکه و شناسه‌های گروه امنیتی را می‌توانید از برگه خروجی‌های پشته VPC در کنسول AWS CloudFormation پیدا کنید. SageMaker JumpStart به حداقل دو زیرشبکه به عنوان بخشی از این پیکربندی نیاز دارد. زیرشبکه ها و گروه های امنیتی دسترسی به ظرف مدل و از آن را کنترل می کنند.

توجه داشته باشید: صرف نظر از اینکه مدل SageMaker JumpStart در VPC مستقر است یا خیر، مدل همیشه در حالت ایزوله شبکه اجرا می شود، که ظرف مدل را ایزوله می کند تا هیچ تماس شبکه ورودی یا خروجی به کانتینر مدل برقرار نشود. از آنجا که ما از VPC استفاده می کنیم، SageMaker مصنوع مدل را از طریق VPC مشخص شده دانلود می کند. اجرای محفظه مدل در ایزوله شبکه مانع از پاسخگویی نقطه پایانی SageMaker شما به درخواست‌های استنتاج نمی‌شود. یک فرآیند سرور در کنار ظرف مدل اجرا می‌شود و درخواست‌های استنتاج را به آن ارسال می‌کند، اما ظرف مدل دسترسی به شبکه ندارد.

• را انتخاب کنید گسترش برای استقرار مدل می‌توانیم وضعیت تقریباً واقعی ایجاد نقطه پایانی را در حال انجام ببینیم. ایجاد نقطه پایانی ممکن است 5 تا 10 دقیقه طول بکشد.

به ارزش فیلد توجه کنید مکان داده مدل در این صفحه. همه مدل‌های SageMaker JumpStart روی یک سطل S3 مدیریت شده SageMaker میزبانی می‌شوند (s3://jumpstart-cache-prod-{region}). بنابراین، صرف نظر از اینکه کدام مدل از JumpStart انتخاب شده است، مدل از سطل SageMaker JumpStart S3 در دسترس عموم قرار می گیرد و ترافیک هرگز به APIهای مدل عمومی باغ وحش برای دانلود مدل نمی رود. به همین دلیل است که ایجاد نقطه پایانی مدل با موفقیت شروع شد، حتی زمانی که ما نقطه پایانی را در VPC ایجاد می‌کنیم که دسترسی مستقیم به اینترنت ندارد.

مصنوع مدل همچنین می تواند در هر باغ وحش مدل خصوصی یا سطل S3 خود کپی شود تا مکان منبع مدل را کنترل و ایمن کند. با استفاده از دستور زیر می توانید مدل را به صورت محلی دانلود کنید رابط خط فرمان AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• پس از چند دقیقه، نقطه پایانی با موفقیت ایجاد می شود و وضعیت را به عنوان نشان می دهد در خدمت. انتخاب کنید Open Notebook در Use Endpoint from Studio بخش. این یک نوت بوک نمونه است که به عنوان بخشی از تجربه JumpStart برای آزمایش سریع نقطه پایانی ارائه شده است.

• در دفترچه، تصویر را به عنوان انتخاب کنید علم داده 3.0 و هسته به عنوان پایتون 3. وقتی هسته آماده شد، می‌توانید سلول‌های نوت‌بوک را اجرا کنید تا در نقطه پایانی پیش‌بینی کنید. توجه داشته باشید که نوت بوک از invoke_endpoint() API از AWS SDK برای پایتون برای انجام پیش بینی به طور متناوب، می توانید از پیش‌بینی SageMaker Python SDK () روشی برای رسیدن به همان نتیجه

این مراحل به کارگیری مدل Flan-T5 XXL با استفاده از JumpStart در یک VPC بدون دسترسی به اینترنت پایان می‌دهد.

مزایای استقرار مدل های SageMaker JumpStart در حالت VPC

در زیر برخی از مزایای استقرار مدل های SageMaker JumpStart در حالت VPC آمده است:

• از آنجایی که SageMaker JumpStart مدل ها را از یک باغ وحش مدل عمومی دانلود نمی کند، می توان از آن در محیط های کاملاً قفل شده و همچنین جایی که دسترسی به اینترنت وجود ندارد استفاده کرد.
• از آنجا که دسترسی به شبکه را می توان برای مدل های SageMaker JumpStart محدود و محدود کرد، این به تیم ها کمک می کند وضعیت امنیتی محیط را بهبود بخشند.
• با توجه به مرزهای VPC، دسترسی به نقطه پایانی را می توان از طریق زیرشبکه ها و گروه های امنیتی نیز محدود کرد، که یک لایه امنیتی اضافی اضافه می کند.

روش های جایگزین برای سفارشی کردن استقرار مدل های پایه از طریق SageMaker JumpStart

در این بخش، چند روش جایگزین برای استقرار مدل را به اشتراک می گذاریم.

از SageMaker JumpStart APIهای IDE دلخواه خود استفاده کنید

مدل های ارائه شده توسط SageMaker JumpStart نیازی به دسترسی به استودیو ندارند. شما می توانید آنها را به نقاط پایانی SageMaker از هر IDE، به لطف API های JumpStart. می‌توانید از مرحله راه‌اندازی استودیو که قبلاً در این پست بحث شد صرفنظر کنید و از APIهای JumpStart برای استقرار مدل استفاده کنید. این API ها آرگومان هایی را ارائه می دهند که در آن تنظیمات VPC نیز می تواند ارائه شود. API ها بخشی از SageMaker Python SDK خود برای اطلاعات بیشتر مراجعه کنید مدل های از قبل آموزش دیده.

از نوت بوک های ارائه شده توسط SageMaker JumpStart از SageMaker Studio استفاده کنید

SageMaker JumpStart همچنین نوت بوک هایی را برای استقرار مستقیم مدل ارائه می دهد. در صفحه جزئیات مدل، را انتخاب کنید نوت بوک را باز کنید برای باز کردن یک نوت بوک نمونه حاوی کد برای استقرار نقطه پایانی. نوت بوک استفاده می کند APIهای SageMaker JumpStart Industry که به شما امکان می دهد مدل ها را فهرست و فیلتر کنید، مصنوعات را بازیابی کنید، و نقاط پایانی را مستقر و جستجو کنید. شما همچنین می توانید کد نوت بوک را بر اساس نیازهای مورد استفاده خود ویرایش کنید.

منابع را پاکسازی کنید

اتمام CLEANUP.md برای یافتن مراحل دقیق حذف استودیو، VPC و سایر منابع ایجاد شده به عنوان بخشی از این پست.

عیب یابی

اگر در ایجاد پشته های CloudFormation با مشکلی مواجه شدید، به آن مراجعه کنید عیب یابی CloudFormation.

نتیجه

هوش مصنوعی مولد با استفاده از مدل‌های زبانی بزرگ، نحوه دستیابی و به کارگیری بینش افراد از اطلاعات را تغییر می‌دهد. با این حال، سازمان‌هایی که در فضاهای به شدت تنظیم‌شده فعالیت می‌کنند ملزم به استفاده از قابلیت‌های هوش مصنوعی مولد به‌گونه‌ای هستند که به آنها امکان نوآوری سریع‌تر را می‌دهد، اما الگوهای دسترسی به چنین قابلیت‌هایی را نیز ساده‌تر می‌کند.

ما شما را تشویق می کنیم که رویکرد ارائه شده در این پست را امتحان کنید تا قابلیت های هوش مصنوعی مولد را در محیط موجود خود جاسازی کنید و در عین حال آن را در داخل VPC خود بدون دسترسی به اینترنت نگه دارید. برای مطالعه بیشتر در مورد مدل های فونداسیون SageMaker JumpStart، موارد زیر را بررسی کنید:

---

درباره نویسندگان

ویکش پاندی یک معمار راه حل های متخصص یادگیری ماشین در AWS است که به مشتریان صنایع مالی کمک می کند تا راه حل هایی را بر روی هوش مصنوعی و ML مولد طراحی و بسازند. خارج از محل کار، Vikesh از امتحان کردن غذاهای مختلف و انجام ورزش در فضای باز لذت می برد.

مهران نیکو یک معمار ارشد راه حل در AWS است که با مشاغل بومی دیجیتال در بریتانیا کار می کند و به آنها کمک می کند تا به اهداف خود برسند. او که علاقه زیادی به استفاده از تجربه مهندسی نرم افزار خود در یادگیری ماشین دارد، در یادگیری ماشینی سرتاسر و تمرینات MLOps تخصص دارد.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/