השתמש במודלים של בסיס AI גנרטיבי במצב VPC ללא קישוריות אינטרנט באמצעות Amazon SageMaker JumpStart | שירותי האינטרנט של אמזון

עם ההתקדמות האחרונה בתחום AI ייצור, מתרחשים הרבה דיונים על איך להשתמש ב-AI גנרטיבי בתעשיות שונות כדי לפתור בעיות עסקיות ספציפיות. AI גנרטיבי הוא סוג של AI שיכול ליצור תוכן ורעיונות חדשים, כולל שיחות, סיפורים, תמונות, סרטונים ומוזיקה. הכל מגובה על ידי מודלים גדולים מאוד שהוכשרו מראש על כמויות עצומות של נתונים ומכונה בדרך כלל דגמי יסוד (FMs). FMs אלה יכולים לבצע מגוון רחב של משימות המשתרעות על פני תחומים מרובים, כמו כתיבת פוסטים בבלוג, יצירת תמונות, פתרון בעיות מתמטיות, השתתפות בדיאלוג ומענה על שאלות המבוססות על מסמך. הגודל והאופי הכללי של מכשירי FM עושים אותם שונים ממודלים מסורתיים של ML, שבדרך כלל מבצעים משימות ספציפיות, כמו ניתוח טקסט לסנטימנט, סיווג תמונות וחיזוי מגמות.

בעוד שארגונים מחפשים להשתמש בכוחם של מכשירי FM אלה, הם גם רוצים שהפתרונות מבוססי FM יפעלו בסביבות המוגנות שלהם. לארגונים הפועלים במרחבים מוסדרים בכבדות כמו שירותים פיננסיים גלובליים ורפואה ומדעי החיים יש דרישות שמיעה ותאימות כדי להפעיל את הסביבה שלהם ב-VPCs שלהם. למעשה, הרבה פעמים, אפילו גישה ישירה לאינטרנט מושבתת בסביבות אלה כדי למנוע חשיפה לכל תעבורה לא מכוונת, גם כניסה וגם יציאה.

אמזון SageMaker JumpStart הוא מרכז ML המציע אלגוריתמים, מודלים ופתרונות ML. עם SageMaker JumpStart, מתרגלי ML יכולים לבחור מתוך רשימה הולכת וגדלה של FM קוד פתוח עם הביצועים הטובים ביותר. זה גם מספק את היכולת לפרוס את המודלים האלה בעצמך ענן וירטואלי פרטי (VPC).

בפוסט זה, אנו מדגימים כיצד להשתמש ב-JumpStart כדי לפרוס א Flan-T5 XXL דגם ב-VPC ללא קישוריות לאינטרנט. אנו דנים בנושאים הבאים:

• כיצד לפרוס מודל יסוד באמצעות SageMaker JumpStart ב-VPC ללא גישה לאינטרנט
• היתרונות של פריסת FMs באמצעות דגמי SageMaker JumpStart במצב VPC
• דרכים חלופיות להתאמה אישית של פריסה של דגמי יסוד באמצעות JumpStart

מלבד FLAN-T5 XXL, JumpStart מספקת המון דגמי בסיס שונים למשימות שונות. לרשימה המלאה, בדוק תחילת העבודה עם Amazon SageMaker JumpStart.

סקירת פתרונות

כחלק מהפתרון, אנו מכסים את השלבים הבאים:

1. הגדר VPC ללא חיבור לאינטרנט.
2. להקים סטודיו SageMaker של אמזון באמצעות ה-VPC שיצרנו.
3. פרוס את מודל היסוד של AI Flan T5-XXL הגנרטיבי באמצעות JumpStart ב-VPC ללא גישה לאינטרנט.

להלן תרשים ארכיטקטורה של הפתרון.

בואו נעבור על השלבים השונים ליישום פתרון זה.

תנאים מוקדמים

כדי לעקוב אחרי הפוסט הזה, אתה צריך את הדברים הבאים:

הגדר VPC ללא חיבור לאינטרנט

צור מחסנית CloudFormation חדשה באמצעות 01_networking.yaml תבנית. תבנית זו יוצרת VPC חדש ומוסיפה שתי רשתות משנה פרטיות בשני אזורי זמינות ללא קישוריות לאינטרנט. לאחר מכן הוא פורס נקודות קצה VPC של שער לגישה שירות אחסון פשוט של אמזון (Amazon S3) ונקודות קצה VPC ממשק עבור SageMaker ועוד כמה שירותים כדי לאפשר למשאבים ב-VPC להתחבר לשירותי AWS באמצעות AWS PrivateLink.

ספק שם מחסנית, כגון No-Internet, והשלם את תהליך יצירת הערימה.

פתרון זה אינו זמין במיוחד מכיוון שתבנית CloudFormation יוצרת נקודות קצה של ממשק VPC רק ברשת משנה אחת כדי להפחית עלויות בעת ביצוע השלבים בפוסט זה.

הגדר את Studio באמצעות ה-VPC

צור מחסנית CloudFormation נוספת באמצעות 02_sagemaker_studio.yaml, שיוצר תחום Studio, פרופיל משתמש של Studio ומשאבים תומכים כמו תפקידי IAM. בחר שם לערימה; עבור פוסט זה, אנו משתמשים בשם SageMaker-Studio-VPC-No-Internet. ספק את השם של מחסנית ה-VPC שיצרת קודם לכן (No-Internet) כמו CoreNetworkingStackName פרמטר ולהשאיר את כל השאר כברירת מחדל.

המתן עד ש-AWS CloudFormation ידווח שיצירת המחסנית הושלמה. אתה יכול לאשר שדומיין Studio זמין לשימוש בקונסולת SageMaker.

כדי לוודא שלמשתמש בדומיין Studio אין גישה לאינטרנט, הפעל את Studio באמצעות קונסולת SageMaker. בחר שלח, חדש, ו מסוף, ולאחר מכן נסה לגשת למשאב אינטרנט. כפי שמוצג בצילום המסך הבא, הטרמינל ימשיך לחכות למשאב ובסופו של דבר פסק זמן.

זה מוכיח שסטודיו פועל ב-VPC שאין לו גישה לאינטרנט.

פרוס את מודל היסוד הגנריטיבי של AI Flan T5-XXL באמצעות JumpStart

אנחנו יכולים לפרוס את המודל הזה דרך Studio כמו גם דרך API. JumpStart מספק את כל הקוד לפריסת המודל באמצעות מחברת SageMaker הנגישה מתוך Studio. עבור פוסט זה, אנו מציגים את היכולת הזו מהסטודיו.

• בדף הפתיחה של הסטודיו, בחר קפיצת פתיחה תחת פתרונות מובנים ואוטומטיים.

• בחר את הדגם Flan-T5 XXL תחת דגמי יסוד.

• כברירת מחדל, זה פותח את לפרוס לשונית. הרחב את ה תצורת פריסה סעיף כדי לשנות את hosting instance ו endpoint name, או הוסף תגים נוספים. יש גם אפשרות לשנות את S3 bucket location שבו חפץ הדגם יאוחסן ליצירת נקודת הקצה. עבור פוסט זה, אנו משאירים הכל בערכי ברירת המחדל שלו. רשום את שם נקודת הקצה לשימוש בעת הפעלת נקודת הקצה לביצוע תחזיות.

• הרחב הגדרות אבטחה סעיף, שבו אתה יכול לציין את IAM role ליצירת נקודת הקצה. אתה יכול גם לציין את VPC configurations על ידי מתן subnets ו security groups. ניתן למצוא את מזהי רשת המשנה ומזהי קבוצת האבטחה מהכרטיסייה פלטים של ערימת VPC במסוף AWS CloudFormation. SageMaker JumpStart דורש לפחות שתי רשתות משנה כחלק מתצורה זו. רשתות המשנה וקבוצות האבטחה שולטות בגישה אל מיכל הדגם וממנו.

הערה: ללא קשר לשאלה אם מודל SageMaker JumpStart פרוס ב-VPC או לא, המודל פועל תמיד במצב בידוד רשת, המבודד את מיכל הדגם כך שלא ניתן לבצע שיחות רשת נכנסות או יוצאות אל מיכל הדגם או ממנו. מכיוון שאנו משתמשים ב-VPC, SageMaker מוריד את חפץ הדגם דרך ה-VPC שצוין. הפעלת מיכל הדגם בבידוד רשת לא מונעת מנקודת הקצה של SageMaker שלך להגיב לבקשות להסקת מסקנות. תהליך שרת פועל לצד מיכל הדגם ומעביר לו את בקשות ההסקה, אך למיכל הדגם אין גישה לרשת.

• בחרו לפרוס לפרוס את המודל. אנו יכולים לראות את המצב כמעט בזמן אמת של יצירת נקודת הקצה בתהליך. יצירת נקודת הקצה עשויה להימשך 5-10 דקות.

שימו לב לערך השדה מיקום נתוני הדגם בעמוד זה. כל דגמי SageMaker JumpStart מתארחים בדלי S3 מנוהל של SageMaker (s3://jumpstart-cache-prod-{region}). לכן, ללא קשר לאיזה דגם נבחר מ-JumpStart, המודל נפרס מ-SageMaker JumpStart S3 הנגיש לציבור, והתנועה לעולם לא עוברת לממשקי API של גן החיות הציבוריים של המודל כדי להוריד את הדגם. זו הסיבה שיצירת נקודת הקצה המודל התחילה בהצלחה גם כאשר אנו יוצרים את נקודת הקצה ב-VPC שאין לו גישה ישירה לאינטרנט.

ניתן גם להעתיק את חפץ הדגם לכל גן חיות מדגם פרטי או לדלי S3 משלך כדי לשלוט ולאבטח את מיקום מקור הדגם. אתה יכול להשתמש בפקודה הבאה כדי להוריד את הדגם באופן מקומי באמצעות ה ממשק שורת הפקודה של AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• לאחר מספר דקות, נקודת הקצה נוצרת בהצלחה ומציגה את הסטטוס כ בשירות. בחר Open Notebook ב Use Endpoint from Studio סָעִיף. זוהי מחברת לדוגמה שסופקה כחלק מחוויית JumpStart כדי לבדוק במהירות את נקודת הקצה.

• במחברת, בחר את התמונה בתור מדע נתונים 3.0 והגרעין כ פייתון 3. כאשר הקרנל מוכן, אתה יכול להפעיל את תאי המחברת כדי לבצע תחזיות על נקודת הקצה. שימו לב שהמחברת משתמשת ב- invoke_endpoint() API מ- AWS SDK לפייתון לעשות תחזיות. לחלופין, אתה יכול להשתמש ב- החיזוי של SageMaker Python SDK() שיטה להגיע לאותה תוצאה.

זה מסיים את השלבים לפריסת דגם Flan-T5 XXL באמצעות JumpStart בתוך VPC ללא גישה לאינטרנט.

היתרונות של פריסת דגמי SageMaker JumpStart במצב VPC

להלן כמה מהיתרונות של פריסת דגמי SageMaker JumpStart במצב VPC:

• מכיוון ש-SageMaker JumpStart לא מוריד את הדגמים מגן חיות ציבורי, ניתן להשתמש בו גם בסביבות נעולים לחלוטין שבהן אין גישה לאינטרנט
• מכיוון שניתן להגביל ולהקטין את הגישה לרשת עבור דגמי SageMaker JumpStart, הדבר עוזר לצוותים לשפר את עמדת האבטחה של הסביבה
• בשל גבולות ה-VPC, ניתן להגביל את הגישה לנקודת הקצה גם באמצעות רשתות משנה וקבוצות אבטחה, מה שמוסיף שכבת אבטחה נוספת

דרכים חלופיות להתאים אישית את הפריסה של דגמי היסוד באמצעות SageMaker JumpStart

בחלק זה, אנו חולקים כמה דרכים חלופיות לפריסת המודל.

השתמש בממשקי API של SageMaker JumpStart מה-IDE המועדף עליך

דגמים המסופקים על ידי SageMaker JumpStart אינם דורשים ממך גישה לסטודיו. אתה יכול לפרוס אותם לנקודות קצה של SageMaker מכל IDE, הודות ל- ממשקי API של JumpStart. אתה יכול לדלג על שלב ההגדרה של Studio שנדון קודם לכן בפוסט זה ולהשתמש בממשקי ה-API של JumpStart כדי לפרוס את המודל. ממשקי API אלה מספקים ארגומנטים שבהם ניתן לספק גם תצורות VPC. ממשקי ה-API הם חלק מה- SageMaker Python SDK עצמו. למידע נוסף, עיין ב דגמים מאומנים מראש.

השתמש במחברות המסופקות על ידי SageMaker JumpStart מ-SageMaker Studio

SageMaker JumpStart מספק גם מחברות לפריסה ישירה של הדגם. בדף פירוט הדגם, בחר פתח את המחברת כדי לפתוח מחברת לדוגמה המכילה את הקוד לפריסת נקודת הקצה. המחברת משתמשת ממשקי API של SageMaker JumpStart Industry המאפשרים לך לרשום ולסנן את המודלים, לאחזר את החפצים ולפרוס ולשאול את נקודות הקצה. אתה יכול גם לערוך את קוד המחברת בהתאם לדרישות הספציפיות למקרה השימוש שלך.

לנקות משאבים

בדוק CLEANUP.md קובץ כדי למצוא שלבים מפורטים למחיקת הסטודיו, ה-VPC ומשאבים אחרים שנוצרו כחלק מהפוסט הזה.

פתרון בעיות

אם אתה נתקל בבעיות כלשהן ביצירת ערימות CloudFormation, עיין ב פתרון בעיות של CloudFormation.

סיכום

AI גנרטיבי המופעל על ידי מודלים של שפות גדולות משנה את האופן שבו אנשים רוכשים ומיישמים תובנות ממידע. עם זאת, ארגונים הפועלים במרחבים מווסתים בכבדות נדרשים להשתמש ביכולות ה-AI הגנרטיביות באופן המאפשר להם לחדש מהר יותר אך גם מפשט את דפוסי הגישה ליכולות כאלה.

אנו ממליצים לך לנסות את הגישה המופיעה בפוסט זה להטמעת יכולות AI גנרטיביות בסביבה הקיימת שלך תוך שמירה על ה-VPC שלך ללא גישה לאינטרנט. לקריאה נוספת על דגמי היסודות של SageMaker JumpStart, בדוק את הדברים הבאים:

---

על המחברים

ויקש פנדי הוא ארכיטקט פתרונות מומחה למידת מכונה ב-AWS, שעוזר ללקוחות מתעשיות פיננסיות לתכנן ולבנות פתרונות על AI ו-ML גנרטיביים. מחוץ לעבודה, ויקש נהנה לנסות מאכלים שונים ולשחק בספורט בחוץ.

מהראן ניקו הוא אדריכל פתרונות בכיר ב-AWS, עובד עם עסקים Digital Native בבריטניה ועוזר להם להשיג את מטרותיהם. נלהב ליישם את ניסיונו בהנדסת תוכנה ללמידת מכונה, הוא מתמחה בלמידת מכונה מקצה לקצה ובשיטות MLOps.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/