תחילת העבודה עם פריסת מודלים בזמן אמת באמזון SageMaker

אמזון SageMaker הוא שירות מנוהל במלואו המספק לכל מפתח ומדען נתונים את היכולת לבנות, לאמן ולפרוס במהירות מודלים של למידת מכונה (ML) בקנה מידה. ML מתממש בהסקה. SageMaker מציע ארבע אפשרויות מסקנות:

1. מסקנות בזמן אמת
2. מסקנות ללא שרת
3. הסקה אסינכרונית
4. טרנספורמציית אצווה

ניתן לסווג את ארבע האפשרויות הללו באופן נרחב לאפשרויות הסקת מסקנות מקוונות ואצווה. ב-Online Inference, בקשות צפויות להיות מעובדות כשהן מגיעות, והאפליקציה הצורכת מצפה לתגובה לאחר עיבוד כל בקשה. זה יכול לקרות באופן סינכרוני (הסקה בזמן אמת, ללא שרת) או באופן אסינכרוני (מסק אסינכרוני). בדפוס סינכרוני, האפליקציה הצורכת חסומה ואינה יכולה להמשיך עד שהיא מקבלת תגובה. עומסי עבודה אלו נוטים להיות יישומים בזמן אמת, כגון זיהוי מקוון של הונאה בכרטיס אשראי, שבהם צפויות תגובות בסדר גודל של אלפיות שניות עד שניות ועומסי הבקשות קטנים (מספר מגה-בייט). בדפוס האסינכרוני, חוויית האפליקציה אינה חסומה (לדוגמה, הגשת תביעת ביטוח באמצעות אפליקציה לנייד), ובדרך כלל דורשת גדלי מטען גדולים יותר ו/או זמני עיבוד ארוכים יותר. בהסקת מסקנות לא מקוונת, צבירת (אצווה) של בקשות הסקת מסקנות מעובדות יחד, ותגובות ניתנות רק לאחר עיבוד האצווה כולה. בדרך כלל, עומסי עבודה אלו אינם רגישים לזמן השהייה, כוללים נפחים גדולים (מספר GBs) של נתונים, ומתוזמנים בקצב קבוע (לדוגמה, הפעל זיהוי אובייקטים בצילומי מצלמות אבטחה בסוף היום או עיבוד נתוני שכר ב- סוף החודש).

בעצמות החשופות, מסקנות בזמן אמת של SageMaker מורכב ממודל/ים, המסגרת/מיכל שאיתם אתה עובד, והתשתית/מופעים שמגבים את נקודת הקצה הפרוסה שלך. בפוסט זה, נחקור כיצד ניתן ליצור ולהפעיל נקודת קצה של דגם יחיד.

בחירת אפשרות פריסת מודל

בחירת סוג ההסקה הנכון יכולה להיות קשה, והמדריך הפשוט הבא יכול לעזור לך. זה לא תרשים זרימה קפדני, אז אם אתה מגלה שאופציה אחרת עובדת טוב יותר עבורך, אל תהסס להשתמש בהם. בפרט, מסקנות בזמן אמת היא אפשרות מצוינת לאירוח הדגמים שלך כאשר יש לך זמן אחזור נמוך ועקבי (בסדר של אלפיות שניות או שניות) ועומסי עבודה רגישים לתפוקה. אתה יכול לשלוט בסוג המופע ולספור מאחורי נקודת הקצה שלך תוך הגדרת תצורה קנה מידה אוטומטי מדיניות לטיפול בתעבורה. ישנן שתי אפשרויות אחרות של SageMaker Inference שבהן אתה יכול להשתמש גם כדי ליצור נקודת קצה. הסקה אסינכרונית היא כאשר יש לך גדלי מטען גדולים ורוחב פס השהייה כמעט בזמן אמת. זוהי אפשרות טובה, במיוחד עבור דגמי NLP ו-Computer Vision שיש להם זמני עיבוד מקדים ארוכים יותר. מסקנות ללא שרתים היא אפשרות מצוינת כאשר יש לך תעבורה לסירוגין ואינך רוצה לנהל את קנה המידה של התשתית. המתכון ליצירת נקודת קצה נשאר זהה ללא קשר לסוג ההסקה שתבחר. בפוסט זה, נתמקד ביצירת נקודת קצה מבוססת מופעים בזמן אמת, אך תוכל להתאים אותה בקלות לכל אחת מאפשרויות ההסקה האחרות על סמך מקרה השימוש שלך. לבסוף, הסקת אצווה מתרחשת במצב לא מקוון, כך שאתה יכול לספק קבוצה של נתונים שמהם אתה רוצה לקבל מסקנות ואנחנו נריץ אותה. זה מבוסס באופן דומה על מופעים, כך שתוכל לבחור את המופע האופטימלי עבור עומס העבודה שלך. מכיוון שאין נקודת קצה פועלת, אתה משלם רק עבור משך העבודה. זה טוב לעיבוד ג'יגה-בייט של נתונים ומשך העבודה יכול להיות ימים. ישנן תכונות מובנות כדי להקל על העבודה עם נתונים מובנים ואופטימיזציות להפצה אוטומטית של נתונים מובנים. כמה מקרי שימוש לדוגמה הם מודלים של נטייה, תחזוקה חזויה וחיזוי נטישה. כל אלה יכולים להתקיים במצב לא מקוון בכמויות גדולות מכיוון שהוא לא חייב להגיב לאירוע ספציפי.

אירוח דגם ב- SageMaker Endpoints

בסופו של דבר, SageMaker Real-Time Endpoints מורכבת ממודל ומהתשתית שבאמצעותה תבחר לגבות את נקודת הקצה. SageMaker משתמש בקונטיינרים כדי לארח דגמים, מה שאומר שאתה צריך קונטיינר שמגדיר נכון את הסביבה עבור המסגרת שבה אתה משתמש עבור כל דגם שאתה מספק. לדוגמה, אם אתה עובד עם מודל של Sklearn, עליך להעביר סקריפטים/נתונים של המודל שלך בתוך מיכל שמגדיר כראוי את Sklearn. למרבה המזל, SageMaker מספקת תמונות מנוהלות עבור מסגרות פופולריות, כגון TensorFlow, PyTorch, Sklearn ו-HuggingFace. אתה יכול לאחזר ולהשתמש בתמונות אלה באמצעות הרמה הגבוהה SageMaker Python SDK והזריקו את הסקריפטים והנתונים של המודל שלכם למכולות האלה. במקרה של SageMaker אין מיכל נתמך, אתה יכול גם בנה מיכל משלך ודחוף תמונה מותאמת אישית משלך, תוך התקנת התלות הנחוצות לדגם שלך.

SageMaker תומך בדגמים מאומנים ומאומנים מראש. בפסקה הקודמת כשאנחנו מדברים על סקריפטים/נתונים של מודל, אנחנו מתייחסים לעניין הזה. אתה יכול להרכיב סקריפט על המיכל שלך, או אם יש לך חפץ מודל מאומן מראש (לדוגמה, `model.joblib` עבור SKLearn), אז אתה יכול לספק את זה יחד עם התמונה שלך ל- SageMaker. כדי להבין את SageMaker Inference, ישנן שלוש ישויות עיקריות שתיצור בתהליך יצירת נקודות הקצה:

1. SageMaker Model Entity – כאן אתה יכול להעביר את נתוני המודל/תסריט המודל המיומן שלך ואת התמונה שלך שאתה עובד איתה, בין אם היא בבעלות AWS ובין אם היא נבנתה על ידך.
2. יצירת תצורת נקודת קצה - כאן אתה מגדיר את התשתית שלך, כלומר אתה בוחר את סוג המופע, ספירה וכו'.
3. יצירת נקודות קצה - זוהי נקודת הקצה של REST שמארחת את המודל שלך שאתה קורא כדי לקבל תגובה. הבה נבחן כיצד אתה יכול להשתמש בתמונת SageMaker מנוהלת ובתמונה מותאמת אישית משלך כדי לפרוס נקודת קצה.

דרישות נקודת קצה בזמן אמת

1. לפני יצירת נקודת קצה, עליך להבין איזה סוג דגם אתה רוצה לארח. אם זה מודל Framework, כגון TensorFlow, PyTorch או MXNet, אז אתה יכול להשתמש באחד מה תמונות מסגרת מובנות מראש.
   אם זה דגם מותאם אישית, או שתרצה גמישות מלאה ביצירת הקונטיינר ש-SageMaker יריץ להסיק, אז אתה יכול לבנות קונטיינר משלך.

נקודות קצה של SageMaker מורכבים מא דגם SageMaker ו תצורת נקודת קצה.
אם אתה משתמש ב-Boto3, תיצור את שני האובייקטים. אחרת, אם אתה משתמש ב-SageMaker Python SDK, תצורת נקודת הקצה נוצרת בשמך כאשר אתה משתמש ב- .deploy(..) פונקציה.

ישויות SageMaker:

• דגם SageMaker:
  • מכיל את הפרטים של תמונת ההסקה, מיקום חפצי הדגם ב שירות אחסון פשוט של אמזון (Amazon S3), תצורת רשת, ו AWS זהות וניהול גישה (IAM) תפקיד שישמש את נקודת הקצה.
    • SageMaker דורש כי חפצי הדגם שלך יהיו דחוסים ב-a .tar.gz קוֹבֶץ. SageMaker מחלץ את זה באופן אוטומטי .tar.gz קובץ לתוך /opt/ml/model/ ספרייה במיכל שלך. אם אתה משתמש באחד ממכולות המסגרת, כגון TensorFlow, PyTorch או MXNet, המיכל מצפה שמבנה ה-TAR שלך יהיה כדלקמן:
      • TensorFlow
        

        model.tar.gz/
        |--[model_version_number]/
        |--variables
        |--saved_model.pb
        code/
        |--inference.py
        |--requirements.txt

      • PyTorch
        

        model.tar.gz/
        |- model.pth
        |- code/
        |- inference.py
        |- requirements.txt # only for versions 1.3.1 and higher

      • MX Net
        

        model.tar.gz/
        |- model-symbol.json
        |- model-shapes.json
        |- model-0000.params
        |- code/
            |- inference.py
            |- requirements.txt # only for versions 1.6.0 and higher

      • סקלרן
        

        model.tar.gz/
        |- model.joblib
        | code/ 
        |- inference.py

    • בעת שימוש בתמונת Framework, אנו יכולים לספק סקריפט נקודת כניסה מותאם אישית, שבו נוכל ליישם עיבוד קדם ואחרי משלנו. במקרה שלנו, סקריפט ההסקה ארוז ב-model.tar.gz תחת ספריית /code.

• • תצורת נקודת קצה
    • מכיל את מידע התשתית הנדרש לפריסת מודל SageMaker לנקודת הקצה.
    • לדוגמה, מודל SageMaker שיצרנו מצוין כאן כמו גם סוג המופע וספירת המופע הראשוני.

מסגרות ו-BYOC

• • אחזור תמונות SageMaker
    • חלק זה לא תמיד נחוץ ומופשט על ידי SageMaker Python SDK באמצעות אומדנים. עם זאת, אם תרצה להיות מסוגל לאחזר תמונה מנוהלת של SageMaker כדי להרחיב עליה, אז אתה יכול לקבל את התמונות הזמינות דרך ה-SDK. להלן דוגמה לאחזור תמונת TF 2.2 לצורך הסקה.

      import sagemaker
      tf_image = sagemaker.image_uris.retreive(framework="tensorflow", region="us-east-1",
      image_scope = "inference", version = "2.2", instance_type = "ml.c5.xlarge)
      print(tf_image)

  • מובילות
    • במקרה שאתה רוצה לפרוס מודל מסגרת, כגון TensorFlow, PyTorch או MXNet, כל מה שאתה צריך זה את חפצי המודל.
    • עיין בתיעוד לפריסת מודלים ישירות מחפצי מודל עבור TensorFlow, PyTorch, או MX Net.

• • בחירה בין 1P ל-BYOC
    • ה-SDK של SageMaker גם תקציר הטיפול בתמונה, כפי שראית בסעיף Frameworks הקודם. יש לו אומדנים מוכנים עבור Sklearn, TensorFlow ו- PyTorch שבוחרים אוטומטית את התמונה עבורך בהתבסס על הגרסה שבחרת. לאחר מכן תוכל להעביר תסריט הדרכה/מסק דרך מצב סקריפט לתוך אומדנים אלה.

      from sagemaker.pytorch import PyTorch #PyTorch Estimator within SageMaker SDK
      estimator_parameters = {"entry_point": "train_deploy_pytorch_without_dependencies.py",
      "source_dir": "pytorch_script","instance_type": train_instance_type,
      "instance_count": 1,"hyperparameters": hyperparameters,
      "role": role,"base_job_name": "pytorch-model","framework_version": "1.5",
      "py_version": "py3",}
      
      ## Model Training
      estimator = PyTorch(**estimator_parameters)estimator.fit(inputs)
      
      ## Deploy Trained model
      pytorch_predictor = estimator.deploy(initial_instance_count=1, instance_type="ml.m5.xlarge", endpoint_name=pytorch_endpoint_name)

    • לא כל החבילות והתמונות נתמכות על ידי SageMaker, ובמקרה זה אתה חייב הביאו מכולה משלכם (BYOC). המשמעות היא בניית Dockerfile שתגדיר את הסביבה המתאימה להגשת המודל שלך. דוגמה לכך היא מודול Spacy NLP, ואין קונטיינרים מנוהלים של SageMaker עבור המסגרת הזו. לכן, עליך לספק Dockerfile שמתקין את Spacy. בתוך המיכל אתה גם מעלה את תסריטי ההסקה של המודל שלך. בוא נדון במהירות ברכיבים שאתה מספק בפורמט Bring Your Own Container, מכיוון שהם נשארים עקביים ברוב הדוגמאות.
      • "nginx.conf" הוא קובץ התצורה עבור הקצה הקדמי של nginx. לא תצטרך לערוך את הקובץ הזה, אלא אם כן תרצה לכוון את הקטעים האלה.
      • "predictor.py" היא התוכנית המיישמת למעשה את שרת האינטרנט של Flask וקוד הדגם עבור היישום שלך. אתה יכול לקבל קבצי Python או פונקציות נוספות במיכל שלך שאתה יכול לקרוא בקובץ זה.
      • "לְשָׁרֵת" האם התוכנית התחילה כאשר המיכל מופעל לאירוח. זה פשוט משיק את שרת הגוניקורן, המריץ מספר מופעים של אפליקציית Flask המוגדרת ב-predictor.py. כמו nginx.conf, אתה לא צריך לערוך את הקובץ הזה אלא אם כן יש כוונון נוסף שתרצה לבצע.
      • "רכבת" היא התוכנית המופעלת כאשר המיכל מופעל לאימון. אתה תשנה תוכנית זו כדי ליישם את אלגוריתם האימון שלך. אם אתה מביא דגם או מסגרת מאומנים מראש כמו Spacy, אז אתה לא צריך את הקובץ הזה.
      • "wsgi.py" הוא עטיפה קטנה המשמשת להפעלת אפליקציית Flask. אתה אמור להיות מסוגל לקחת את הקובץ הזה כפי שהוא, אלא אם שינית את השם של הקובץ predictor.py שלך. במקרה כזה, ודא שמפות כאן כראוי.

• • סקריפט מסקנות מותאם אישית
    • מיכלי SageMaker Framework נותנים לך את הגמישות לטפל בעיבוד מוקדם/אחרי של הבקשה וטעינת המודל באמצעות סקריפט נקודת כניסה מותאם אישית/inference.py.
    • עיין בתיעוד ליצירת סקריפט inference.py מותאם אישית עבור TensorFlow, PyTorch ו MX Net.
  • מיכל מותאם אישית

דרכים שונות שבהן תוכל ליצור אינטראקציה עם SageMaker Endpoints

ישנן אפשרויות רבות לשימוש ב- SageMaker באופן פרוגרמטי כך שתוכל להתקשר למודלים הפרוסים שלך כדי לקבל מסקנות. ה ממשק שורת הפקודה של AWS (AWS CLI), ממשקי API של REST, AWS CloudFormation, ערכת פיתוח ענן של AWS (AWS CDK), וערכות SDK של AWS הם כלים נפוצים המוצעים על ידי AWS ונתמכים באופן נרחב על ידי שירותי AWS אחרים. עבור SageMaker, יש לנו גם SageMaker Python SDK. כעת, בואו נשווה את האפשרויות השונות ליצור, להפעיל ולנהל את נקודות הקצה של SageMaker.

נוסף על SageMaker CLI, ישנן שתי דרכים בהן תוכל ליצור אינטראקציה עם נקודות קצה ב- SageMaker דרך ה-SDKs. בואו נסתכל על כמה הבדלים ביניהם SageMaker Python SDK ו Boto3 Python SDK:

1. SDK של SageMaker "Python" ברמה גבוהה - SDK זה הוא ספריית קוד פתוח המספקת הפשטה ברמה גבוהה יותר המיועדת במיוחד לקריאה לממשקי API של SageMaker באופן פרוגרמטי באמצעות Python. החלק הטוב ב-SDK הזה הוא שקל מאוד לקרוא לממשקי ה-API של Sagemaker, הרבה משימות כבדות נעשות כבר כמו לקרוא לממשקי ה-API באופן סינכרוני/אסינכרוני (עוזר להימנע מסקר), סכימת בקשה/תגובה פשוטה יותר, הרבה פחות קוד והרבה קוד פשוט יותר. SageMaker Python SDK מספק מספר הפשטות ברמה גבוהה לעבודה עם SageMaker. החבילה נועדה לפשט תהליכי ML שונים ב- SageMaker.
2. SDK ברמה נמוכה של AWS (Boto3 SDK) - SDK זה פועל ברמה הנמוכה יותר בכך שהוא מאפשר למשתמש לבחור מבין שפות התכנות הנתמכות ולהתקשר לכל שירותי AWS באופן תוכנתי. זה לא רק ספציפי ל- SageMaker אלא ניתן להשתמש בו באופן כללי עבור כל שירותי AWS. ה-SDK של AWS ברמה נמוכה זמינים בשפות תכנות שונות, כגון .NET, Python, Java, Node.js וכו'. אחד ה-SDKs הפופולריים שבהם נעשה שימוש הוא boto3 python SDK, שהוא פופולרי בקהילת מדעני הנתונים עבור ML. החלק הטוב של SDK זה הוא שהוא קל משקל וזמין כברירת מחדל מותקן על AWS למבדה זמן ריצה. יתר על כן, אתה יכול להשתמש ב-SDK זה כדי ליצור אינטראקציה עם כל שירות AWS מחוץ ל-SageMaker.

ניתן להשתמש בשני ה-SDKs הללו עבור אותן משימות, אך במקרים מסוימים זה יותר אינטואיטיבי להשתמש באחד יותר מהשני. SageMaker Python SDK מומלץ לבדיקה קלה בעוד AWS SDK/Boto3 מומלץ למקרי שימוש בייצור לשליטה טובה יותר בביצועים. לדוגמה, SageMaker כשירות מספקת תמונות מובנות ומתוחזקות מראש עבור מסגרות פופולריות, כגון Sklearn, PyTorch ו-TensorFlow. זה יכול להיות שימושי במיוחד להשתמש ב-SageMaker SDK כדי לאחזר תמונות למידה עמוקה, לאמן מודלים באמצעות מעריכים, ולפרוס בקלות את המודל באמצעות קריאת API פשוטה. ניתן למצוא דוגמה כדי להציג זאת בפעולה כאן.

מצד שני, לפעמים יש לך מודלים מאומנים מראש או מסגרות שונות שאולי אתה משתמש בהן. זה דורש מידה רבה יותר של התאמה אישית ו-SageMaker SDK לא תמיד מציע זאת. יש לנו שלושה שלבים חשובים וקריאות מתאימות ל-boto3 API שעלינו לבצע כדי לפרוס נקודת קצה: יצירת מודלים, יצירת תצורת נקודת קצה, ו יצירת נקודות קצה. שתי הישויות הראשונות הופשטו עם SageMaker SDK עם המסגרות הנתמכות שלנו, אבל אנחנו רואים את הפרטים האלה עם Boto3 SDK. ניתן למצוא דוגמה נרחבת להצגת השלבים הכרוכים בשימוש ב-Boto3 SDK ליצירה וניהול של נקודת קצה. כאן.

שיקולים של אירוח SageMaker

ל-SageMaker Real-Time Inference יש שתי אופטימיזציות עיקריות שאתה יכול לשקול: 1/ אופטימיזציה של ביצועים ו-2/ אופטימיזציה של עלויות. בוא נתבונן קודם מיטוב ביצועים, כמו כאשר אנו מתמודדים עם עומסי עבודה רגישים לזמן השהייה, כל אלפית שנייה היא קריטית. ישנם כפתורים שונים שתוכל לכוונן כדי לייעל את זמן האחזור והתפוקה שלך. ברמת המופע, אתה יכול להשתמש ממליצה על הסקת מסקנות, כלי בדיקת העומס המובנה שלנו, כדי לעזור לך לבחור את סוג המופע הנכון ולספירה עבור עומס העבודה שלך. שימוש בשילוב הנכון של מחשוב יעזור לך הן בביצועים והן בעלות. אתה יכול גם לכוונן ברמת המכולה והמסגרת.
שאלות שכדאי לשאול את עצמך כוללות:

1. באיזה מסגרת אתה משתמש?
2. האם יש משתני סביבה שאתה יכול לכוונן בתוך המיכל שלך?

דוגמה לכך היא מקסום ביצועי TensorFlow עם מיכלי SageMaker. דוגמה נוספת לאופטימיזציות ברמת מיכל היא באמצעות gRPC במקום לנוח מאחורי נקודת הקצה שלך. לבסוף, אתה יכול גם לבצע אופטימיזציה ברמת הסקריפט. האם קוד ההסקה שלך לוקח זמן נוסף בבלוקים מסוימים? תזמון כל שורה של הסקריפט שלך יעזור לך ללכוד צווארי בקבוק בקוד שלך.

יש שלוש דרכים להסתכל שיפור הניצול של נקודת הקצה שלך בזמן אמת:

1. נקודות קצה מרובות (MME)
   • אתה יכול לארח אלפי דגמים מאחורי נקודת קצה אחת. זה מושלם עבור מקרי שימוש שבהם אינך צריך נקודת קצה ייעודית עבור כל אחד מהדגמים שלך. MME פועל בצורה הטובה ביותר כאשר הדגמים בגודל דומה ובאיחור דומה ושייכים לאותה מסגרת ML. ניתן להשתמש בהם בדרך כלל כאשר אינך צריך להתקשר לאותו דגם בכל עת. אתה יכול לטעון באופן דינמי את הדגם המתאים על נקודת הקצה של SageMaker כדי לשרת את בקשתך. ניתן למצוא דוגמה שמציגה את MME בפעולה כאן. אם אתה רוצה ללמוד עוד על האזהרות השונות ושיטות העבודה המומלצות לאירוח מודלים ב-MME, עיין בפוסט כאן.
2. Multi-Container Points (MCE)
   • במקום להשתמש במספר נקודות קצה כדי לארח קונטיינרים מרובים, אתה יכול להסתכל על אירוח של עד 15 קונטיינרים בנקודת קצה אחת. ניתן להפעיל כל אחד מהמכולות הללו ישירות. לכן, אתה יכול להסתכל על אירוח מודלים שונים של מסגרות שונות, כולם בנקודת קצה אחת. אפשרות זו היא הטובה ביותר כאשר מיכלים מציגים מאפייני שימוש וביצועים דומים. ניתן למצוא דוגמה שמציגה את MCE כאן. אם אתה רוצה ללמוד עוד על האזהרות השונות ושיטות העבודה המומלצות לאירוח מודלים ב-MCE, עיין בפוסט כאן.
3. צינור היסק סדרתי (SIP)
   • אם יש לך צינור של שלבים בלוגיקת ההסקה שלך, אז אתה עשוי להשתמש בצינור מסקנות סדרתי (SIP). SIP מאפשר לך לשרשר 2-15 מכולות יחד מאחורי נקודת קצה אחת. SIP עובד היטב כאשר יש לך שלבי עיבוד מקדים ואחרי עיבוד. אם אתה רוצה ללמוד עוד על דפוסי העיצוב של צינורות מסקנות סדרתיות, עיין בפוסט כאן.

האופטימיזציה העיקרית השנייה שיש לזכור היא עלות. מסקנות בזמן אמת היא אחת משלוש אפשרויות ביצירת נקודות קצה של SageMaker. נקודות הקצה של SageMaker פועלות כל הזמן, אלא אם כן נמחקו. לכן, עליך להסתכל על שיפור הניצול של נקודת הקצה אשר בתורו מספק תועלת בעלות.

SageMaker מציעה גם תוכניות חיסכון. תוכניות חיסכון יכולות להפחית את העלויות שלך עד 64%. זוהי התחייבות לתקופה של שנה או שלוש לכמות שימוש עקבית ($/שעה). תראה את זה קישור למידע נוסף. ותראה את זה קישור כדי לייעל את העלויות הטובות ביותר עבור Inference ב- Amazon SageMaker.

סיכום

בפוסט זה, הראינו לכם כמה מהשיטות המומלצות לבחירה בין אפשרויות אירוח דגמים שונות ב- SageMaker. דנו בדרישות של SageMaker Endpoint, וגם עמדנו בניגוד לדרישות והפונקציונליות של Framework ו-BYOC. יתר על כן, דיברנו על הדרכים השונות שבהן תוכל למנף את נקודות הקצה בזמן אמת כדי לארח את דגמי ה-ML שלך בייצור. בצורה חסכונית, ובעלי ביצועים גבוהים.

ראה את המקביל מאגר GitHub ולנסות את הדוגמאות.

---

על המחברים

ראגו רמשה הוא אדריכל פתרונות ML עם צוות שירות Amazon SageMaker. הוא מתמקד בסיוע ללקוחות לבנות, לפרוס ולהעביר עומסי עבודה של ייצור ML ל-SageMaker בקנה מידה. הוא מתמחה בתחומי למידת מכונה, בינה מלאכותית וראייה ממוחשבת, ובעל תואר שני במדעי המחשב מאוניברסיטת דאלאס. בזמנו הפנוי הוא אוהב לטייל ולצלם.

רם וג'יראג'ו הוא אדריכל ML עם צוות שירות SageMaker. הוא מתמקד בסיוע ללקוחות לבנות ולמטב את פתרונות ה-AI/ML שלהם ב-Amazon SageMaker. בזמנו הפנוי הוא אוהב לטייל ולכתוב.

מארק קארפ הוא אדריכל ML עם צוות שירות SageMaker. הוא מתמקד בסיוע ללקוחות לתכנן, לפרוס ולנהל עומסי עבודה של ML בקנה מידה. בזמנו הפנוי הוא נהנה לטייל ולחקור מקומות חדשים.

דוואל פאטל הוא אדריכל ראשי למידת מכונה ב-AWS. הוא עבד עם ארגונים החל מארגונים גדולים ועד סטארט-אפים בינוניים בבעיות הקשורות למחשוב מבוזר ובינה מלאכותית. הוא מתמקד בלמידה עמוקה, כולל NLP ותחומי ראייה ממוחשבת. הוא עוזר ללקוחות להגיע להסקת מודלים בעלי ביצועים גבוהים באמזון SageMaker.

סאוראב טריקאנדה הוא מנהל מוצר בכיר עבור Amazon SageMaker Inference. הוא נלהב לעבוד עם לקוחות ומוטיבציה היא המטרה של דמוקרטיזציה של למידת מכונה. הוא מתמקד באתגרי ליבה הקשורים לפריסת יישומי ML מורכבים, מודלים של ML מרובי דיירים, אופטימיזציות עלויות והפיכת פריסת מודלים של למידה עמוקה לנגישה יותר. בזמנו הפנוי, סאוראב נהנה לטייל, ללמוד על טכנולוגיות חדשניות, לעקוב אחר TechCrunch ולבלות עם משפחתו.