יצירת צינורות למידת מכונה (ML) ניתנים להרחבה ויעילה היא חיונית לייעול הפיתוח, הפריסה והניהול של מודלים של ML. בפוסט זה, אנו מציגים מסגרת לאוטומציה של יצירת גרף א-ציקלי מכוון (DAG) עבור צינורות SageMaker של אמזון מבוסס על קבצי תצורה פשוטים. ה קוד מסגרת ודוגמאות המוצגים כאן מכסים רק צינורות אימון מודלים, אך ניתן להרחיב אותם בקלות גם לצינורות מסקנות אצווה.
מסגרת דינמית זו משתמשת בקובצי תצורה לתזמור שלבי עיבוד מקדים, הדרכה, הערכה ורישום עבור מקרי שימוש במודל יחיד ורב-מודל כאחד, המבוססים על סקריפטים של Python המוגדרים על ידי המשתמש, צרכי תשתית (כולל ענן וירטואלי פרטי של אמזון (Amazon VPC) תת-רשתות וקבוצות אבטחה, AWS זהות וניהול גישה (IAM) תפקידים, שירות ניהול מפתח AWS מפתחות (AWS KMS), רישום מכולות וסוגי מופעים), קלט ופלט שירות אחסון פשוט של אמזון (Amazon S3) נתיבים ותגי משאבים. קובצי תצורה (YAML ו-JSON) מאפשרים למתרגלי ML לציין קוד לא מובחן לתזמור צינורות אימון באמצעות תחביר הצהרתי. זה מאפשר למדעני נתונים לבנות ולחזור על מודלים של ML במהירות, ומאפשר למהנדסי ML להפעיל צינורות ML של אינטגרציה מתמשכת ואספקה מתמשכת (CI/CD) מהר יותר, תוך קיצור זמן הייצור של מודלים.
סקירת פתרונות
קוד המסגרת המוצע מתחיל בקריאת קבצי התצורה. לאחר מכן הוא יוצר באופן דינמי SageMaker Pipelines DAG המבוסס על השלבים המוצהרים בקבצי התצורה והאינטראקציות והתלות בין השלבים. מסגרת תזמור זו נותנת מענה למקרי שימוש במודל יחיד ורב מודלים, ומספקת זרימה חלקה של נתונים ותהליכים. להלן היתרונות העיקריים של פתרון זה:
- אוטומציה - כל זרימת העבודה של ML, מעיבוד מקדים של נתונים ועד לרישום מודלים, מתוכננת ללא התערבות ידנית. זה מקטין את הזמן והמאמץ הנדרשים לניסוי מודל ולהפעלתם.
- הדדיות - עם קובץ תצורה מוגדר מראש, מדעני נתונים ומהנדסי ML יכולים לשחזר את כל זרימת העבודה, ולהשיג תוצאות עקביות על פני ריצות וסביבות מרובות.
- בקרת מערכות ותקשורת - אמזון SageMaker משמש לאורך כל הצינור, מה שמאפשר לעוסקים ב-ML לעבד מערכי נתונים גדולים ולאמן מודלים מורכבים ללא חשש לתשתית.
- גמישות – המסגרת גמישה ויכולה להכיל מגוון רחב של מקרי שימוש ב-ML, מסגרות ML (כגון XGBoost ו-TensorFlow), הדרכה מרובת מודלים ואימון רב-שלבי. כל שלב ב-DAG האימון יכול להיות מותאם אישית באמצעות קובץ התצורה.
- מודל ממשל - רישום הדגמים של אמזון SageMaker האינטגרציה מאפשרת מעקב אחר גרסאות הדגמים, ולכן לקדם אותן לייצור בביטחון.
דיאגרמת הארכיטקטורה הבאה מתארת כיצד ניתן להשתמש במסגרת המוצעת במהלך ניסוי והפעלה של מודלים של ML. במהלך הניסוי, אתה יכול לשכפל את מאגר קוד המסגרת המסופק בפוסט זה ואת מאגרי קוד המקור הספציפיים לפרויקט שלך לתוך סטודיו SageMaker של אמזון, והגדר את הסביבה הוירטואלית שלך (מפורט בהמשך הפוסט הזה). לאחר מכן תוכל לחזור על סקריפטים של עיבוד מקדים, הדרכה והערכה, כמו גם בחירות תצורה. כדי ליצור ולהפעיל DAG להדרכה של SageMaker Pipelines, ניתן לקרוא לנקודת הכניסה של המסגרת, אשר תקרא את כל קבצי התצורה, תיצור את השלבים הדרושים ותארגן אותם על סמך סדר הצעדים שצוינו והתלות.
במהלך התפעול, צינור ה-CI משבט את מאגר קוד המסגרת ומאגרי הדרכה ספציפיים לפרויקט לתוך בניית קוד AWS עבודה, שבה נקרא סקריפט נקודת הכניסה של המסגרת ליצור או לעדכן את ה-DAG להדרכה של SageMaker Pipelines, ולאחר מכן להפעיל אותו.
מבנה המאגר
השמיים מאגר GitHub מכיל את הספריות והקבצים הבאים:
- /framework/conf/ - ספרייה זו מכילה קובץ תצורה המשמש להגדרת משתנים משותפים בכל יחידות הדוגמנות כגון רשתות משנה, קבוצות אבטחה ותפקיד IAM בזמן הריצה. יחידת מידול היא רצף של עד שישה שלבים לאימון מודל ML.
- /framework/createmodel/ – ספרייה זו מכילה סקריפט Python שיוצר א דגם SageMaker אובייקט המבוסס על חפצי מודל מא שלב אימון SageMaker Pipelines. אובייקט הדגם משמש מאוחר יותר ב- a המרת אצווה של SageMaker עבודה להערכת ביצועי המודל בסט מבחן.
- /framework/modelmetrics/ – ספרייה זו מכילה סקריפט Python שיוצר עיבוד אמזון SageMaker עבודה להפקת דוח JSON מדדי מודל עבור מודל מאומן המבוסס על תוצאות של עבודת טרנספורמציה אצווה של SageMaker שבוצעה על נתוני בדיקה.
- /framework/pipeline/ – ספרייה זו מכילה סקריפטים של Python המשתמשים במחלקות Python המוגדרות בספריות מסגרת אחרות כדי ליצור או לעדכן SageMaker Pipelines DAG בהתבסס על התצורות שצוינו. הסקריפט model_unit.py משמש את pipeline_service.py ליצירת יחידת דוגמנות אחת או יותר. כל יחידת מידול היא רצף של עד שישה שלבים לאימון מודל ML: תהליך, אימון, יצירת מודל, טרנספורמציה, מדדים ומודל רישום. יש לציין תצורות עבור כל יחידת מידול במאגר המתאים של המודל. ה-pipeline_service.py גם מגדיר תלות בין שלבי SageMaker Pipelines (כיצד שלבים בתוך יחידות דוגמנות וברוחבות מסודרים או משורשרים) בהתבסס על קטע sagemakerPipeline, שאמור להיות מוגדר בקובץ התצורה של אחד ממאגרי המודל (מודל העוגן). זה מאפשר לך לעקוף את ברירת המחדל של תלות המתקבלת על ידי SageMaker Pipelines. אנו דנים במבנה קובץ התצורה בהמשך הפוסט הזה.
- /framework/processing/ – ספרייה זו מכילה סקריפט של Python שיוצר עבודת SageMaker Processing על סמך תמונת Docker וסקריפט נקודת הכניסה שצוינו.
- /framework/registermodel/ - ספרייה זו מכילה סקריפט Python לרישום מודל מאומן יחד עם המדדים המחושבים שלו ב- SageMaker Model Registry.
- /framework/training/ – ספרייה זו מכילה סקריפט Python שיוצר עבודת אימון של SageMaker.
- /framework/transform/ - ספרייה זו מכילה סקריפט Python שיוצר עבודת טרנספורמציה של SageMaker. בהקשר של אימון מודל, זה משמש לחישוב מדד הביצועים של מודל מאומן על נתוני מבחן.
- /framework/utilities/ - ספרייה זו מכילה סקריפטים של כלי עזר לקריאה והצטרפות לקובצי תצורה, כמו גם רישום.
- /framework_entrypoint.py – קובץ זה הוא נקודת הכניסה של קוד המסגרת. זה קורא לפונקציה המוגדרת בספרייה /framework/pipeline/ כדי ליצור או לעדכן SageMaker Pipelines DAG ולהפעיל אותו.
- /examples/ - ספרייה זו מכילה מספר דוגמאות כיצד ניתן להשתמש במסגרת האוטומציה הזו כדי ליצור DAGs להדרכה פשוטים ומורכבים.
- /env.env – קובץ זה מאפשר לך להגדיר משתנים נפוצים כגון רשתות משנה, קבוצות אבטחה ותפקיד IAM כמשתני סביבה.
- /requirements.txt – קובץ זה מציין ספריות Python שנדרשות עבור קוד המסגרת.
תנאים מוקדמים
לפני פריסת פתרון זה אמורים להיות לך התנאים המוקדמים הבאים:
- חשבון AWS
- סטודיו SageMaker
- תפקיד של SageMaker עם הרשאות קריאה/כתיבה של Amazon S3 ו-AWS KMS הצפנה/פענוח
- דלי S3 לאחסון נתונים, סקריפטים וחפצי מודל
- לחלופין, ה ממשק שורת הפקודה של AWS (AWS CLI)
- Python3 (Python 3.7 ומעלה) וחבילות Python הבאות:
- בוטו 3
- בעל חכמים
- PyYAML
- חבילות Python נוספות בשימוש בסקריפטים המותאמים אישית שלך
פרוס את הפתרון
השלם את השלבים הבאים כדי לפרוס את הפתרון:
- ארגן את מאגר ההדרכה של המודל שלך לפי המבנה הבא:
- שכפל את קוד המסגרת ואת קוד המקור של הדגם שלך ממאגרי Git:
-
- שיבוט
dynamic-sagemaker-pipelines-framework
החזר לתוך ספריית הדרכה. בקוד הבא, אנו מניחים שספריית ההדרכה נקראתaws-train
: - שכפל את קוד המקור של הדגם תחת אותה ספרייה. לאימון מרובה דגמים, חזור על שלב זה עבור כמה דגמים שתצטרך להתאמן.
- שיבוט
עבור הכשרה של דגם יחיד, הספרייה שלך צריכה להיראות כך:
עבור הדרכה מרובת דגמים, הספרייה שלך צריכה להיראות כך:
- הגדר את משתני הסביבה הבאים. כוכביות מציינות משתני סביבה שנדרשים; השאר הם אופציונליים.
משתנה הסביבה | תיאור |
SMP_ACCOUNTID* |
חשבון AWS שבו פועל צינור SageMaker |
SMP_REGION* |
אזור AWS שבו פועל צינור SageMaker |
SMP_S3BUCKETNAME* |
שם דלי S3 |
SMP_ROLE* |
תפקיד SageMaker |
SMP_MODEL_CONFIGPATH* |
נתיב יחסי של קבצי תצורה של דגם יחיד או מרובה דגמים |
SMP_SUBNETS |
מזהי רשת משנה עבור תצורת רשת SageMaker |
SMP_SECURITYGROUPS |
מזהי קבוצת אבטחה עבור תצורת רשת SageMaker |
עבור מקרי שימוש בדגם יחיד, SMP_MODEL_CONFIGPATH
יהיה <MODEL-DIR>/conf/conf.yaml
. עבור מקרי שימוש מרובי דגמים, SMP_MODEL_CONFIGPATH
יהיה */conf/conf.yaml
, המאפשר לך למצוא את הכל conf.yaml
קבצים באמצעות מודול glob של Python ושלב אותם ליצירת קובץ תצורה גלובלי. במהלך ניסוי (בדיקה מקומית), אתה יכול לציין משתני סביבה בתוך הקובץ env.env ולאחר מכן לייצא אותם על ידי הפעלת הפקודה הבאה בטרמינל שלך:
שים לב שהערכים של משתני הסביבה ב env.env
יש למקם בתוך מרכאות (לדוגמה, SMP_REGION="us-east-1"
). במהלך התפעול, משתני סביבה אלה צריכים להיות מוגדרים על ידי צינור ה-CI.
- צור והפעל סביבה וירטואלית על ידי הפעלת הפקודות הבאות:
- התקן את חבילות Python הנדרשות על ידי הפעלת הפקודה הבאה:
- ערוך את הכשרת המודל שלך
conf.yaml
קבצים. אנו דנים במבנה קובץ התצורה בסעיף הבא. - מהמסוף, התקשר לנקודת הכניסה של המסגרת כדי ליצור או לעדכן ולהפעיל את DAG ההדרכה של SageMaker Pipeline:
- הצג וניפוי באגים של SageMaker Pipelines הפועלים על צינורות לשונית של ממשק המשתמש של SageMaker Studio.
מבנה קובץ התצורה
ישנם שני סוגים של קבצי תצורה בפתרון המוצע: תצורת מסגרת ותצורת מודל. בחלק זה, אנו מתארים כל אחד בפירוט.
תצורת מסגרת
השמיים /framework/conf/conf.yaml
קובץ מגדיר את המשתנים המשותפים בכל יחידות הדוגמנות. זה כולל SMP_S3BUCKETNAME
, SMP_ROLE
, SMP_MODEL_CONFIGPATH
, SMP_SUBNETS
, SMP_SECURITYGROUPS
, ו SMP_MODELNAME
. עיין בשלב 3 של הוראות הפריסה לתיאורים של משתנים אלה וכיצד להגדיר אותם באמצעות משתני סביבה.
תצורת דגם
עבור כל דגם בפרויקט, עלינו לציין את הדברים הבאים ב- <MODEL-DIR>/conf/conf.yaml
קובץ (כוכביות מציינות את הסעיפים הנדרשים; השאר הם אופציונליים):
- /conf/models* – בחלק זה, תוכל להגדיר יחידת דוגמנות אחת או יותר. כאשר קוד המסגרת מופעל, הוא יקרא אוטומטית את כל קבצי התצורה במהלך זמן הריצה ויצרף אותם לעץ התצורה. תיאורטית, אתה יכול לציין את כל יחידות הדוגמנות באותו
conf.yaml
קובץ, אך מומלץ לציין כל תצורה של יחידת דוגמנות בספרייה המתאימה או במאגר Git שלה כדי למזער שגיאות. היחידות הן כדלקמן:- {שם המודל}* - שם הדגם.
- מדריך_מקור* – נפוץ
source_dir
נתיב לשימוש עבור כל השלבים ביחידת הדוגמנות. - עיבוד מקדים – סעיף זה מפרט פרמטרים של עיבוד מקדים.
- רכבת* – סעיף זה מפרט את פרמטרי עבודת ההדרכה.
- שינוי צורה* – סעיף זה מפרט את פרמטרי העבודה של SageMaker Transform לביצוע תחזיות על נתוני הבדיקה.
- להעריך – סעיף זה מפרט את פרמטרי העבודה של SageMaker Processing להפקת דוח JSON מדדי מודל עבור המודל המאומן.
- רישום* – סעיף זה מפרט פרמטרים לרישום הדגם המאומן ב- SageMaker Model Registry.
- /conf/sagemakerPipeline* – סעיף זה מגדיר את זרימת הצינורות של SageMaker, כולל תלות בין השלבים. עבור מקרי שימוש בדגם יחיד, סעיף זה מוגדר בסוף קובץ התצורה. עבור מקרי שימוש מרובי דגמים, ה
sagemakerPipeline
יש להגדיר את הסעיף רק בקובץ התצורה של אחד מהדגמים (כל אחד מהדגמים). אנו מתייחסים למודל זה כאל דגם עוגן. הפרמטרים הם כדלקמן:- שם צינור* – שם צינור SageMaker.
- מודלים* – רשימה מקוננת של יחידות דוגמנות:
- {שם המודל}* – מזהה דגם, שאמור להתאים למזהה {model-name} בקטע /conf/models.
- צעדים* -
- שם_צעד* – שם השלב יוצג ב- SageMaker Pipelines DAG.
- מחלקה_שלב* – (איחוד[עיבוד, הדרכה, CreateModel, Transform, Metrics, RegisterModel])
- סוג_שלב* – פרמטר זה נדרש רק עבור שלבי עיבוד מקדים, עבורם יש להגדיר אותו לעיבוד מקדים. זה נחוץ כדי להבחין בשלבים מראש והערכת שלבים, שלשניהם יש א
step_class
של עיבוד. - enable_cache – ([איחוד[נכון, לא נכון]]). זה מציין אם להפעיל מטמון של SageMaker Pipelines לשלב זה.
- chain_input_source_step – ([רשימה[שם_שלב]]). אתה יכול להשתמש בזה כדי להגדיר את יציאות הערוץ של שלב אחר כקלט לשלב זה.
- chain_input_additional_prefix - זה מותר רק עבור שלבים של הטרנספורמציה
step_class
, וניתן להשתמש בו בשילוב עםchain_input_source_step
פרמטר כדי לאתר את הקובץ שצריך לשמש כקלט לשלב ההמרה.
- צעדים* -
- {שם המודל}* – מזהה דגם, שאמור להתאים למזהה {model-name} בקטע /conf/models.
- תלות – סעיף זה מפרט את הרצף שבו יש להפעיל את שלבי SageMaker Pipelines. התאמנו את סימון ה-Apache Airflow עבור סעיף זה (לדוגמה,
{step_name} >> {step_name}
). אם החלק הזה נשאר ריק, תלות מפורשת שצוינה על ידיchain_input_source_step
פרמטר או תלות מרומזת מגדירים את זרימת SageMaker Pipelines DAG.
שימו לב שאנו ממליצים לקיים שלב אימון אחד לכל יחידת דוגמנות. אם מוגדרים שלבי אימון מרובים עבור יחידת מידול, השלבים הבאים לוקחים באופן מרומז את שלב האימון האחרון כדי ליצור את אובייקט המודל, לחשב מדדים ורישום המודל. אם אתה צריך להכשיר מספר דגמים, מומלץ ליצור מספר יחידות דוגמנות.
דוגמאות
בחלק זה, אנו מדגימים שלוש דוגמאות של DAGs להכשרת מודל ML שנוצרו באמצעות המסגרת המוצגת.
אימון דגם יחיד: LightGBM
זוהי דוגמה של מודל יחיד למקרה שימוש בסיווג שבו אנו משתמשים LightGBM במצב סקריפט ב- SageMaker. ה מערך נתונים מורכב ממשתנים קטגוריים ומספריים כדי לחזות את התווית הבינארית Revenue (כדי לחזות אם הנבדק מבצע רכישה או לא). ה תסריט עיבוד מקדים משמש למודל של הנתונים לאימון ובדיקה ולאחר מכן שלב אותו בדלי S3. הנתיבים S3 מסופקים לאחר מכן ל- שלב אימון בקובץ התצורה.
כאשר שלב האימון פועל, SageMaker טוען את הקובץ על הקונטיינר ב- /opt/ml/input/data/{channelName}/
, נגיש באמצעות משתנה הסביבה SM_CHANNEL_{channelName}
על המיכל (channelName= 'רכבת' או 'מבחן').ה תסריט אימון עושה את הפעולות הבאות:
- טען את הקבצים באופן מקומי מנתיבים של מיכל מקומי באמצעות ה עומס NumPy מודול.
- קבעו היפרפרמטרים עבור אלגוריתם האימון.
- שמור את הדגם המאומן בנתיב המכולה המקומי
/opt/ml/model/
.
SageMaker לוקח את התוכן תחת /opt/ml/model/ כדי ליצור Tarball המשמש לפריסת המודל ל- SageMaker לצורך אירוח.
שלב הטרנספורמציה מקבל כקלט את השלב קובץ בדיקה כקלט והמודל המאומן לביצוע תחזיות על המודל המאומן. הפלט של שלב ההמרה הוא כבול לשלב המדדים כדי להעריך את המודל מול ה אמת קרקעית, אשר מסופק במפורש לשלב המדדים. לבסוף, הפלט של שלב המדדים משורשר באופן מרומז לשלב הרישום כדי לרשום את המודל ב- SageMaker Model Registry עם מידע על ביצועי המודל המופק בשלב המדדים. האיור הבא מציג ייצוג חזותי של DAG ההדרכה. אתה יכול לעיין בסקריפטים ובקובץ התצורה עבור דוגמה זו ב- GitHub ריפו.
אימון דגם יחיד: כוונון עדין של LLM
זוהי דוגמה נוספת לאימון של דגם יחיד, שבה אנו מתזמרים כוונון עדין של דגם Falcon-40B בשפה גדולה (LLM) מבית Hugging Face Hub למקרה שימוש בסיכום טקסט. ה תסריט עיבוד מקדים טוען את סמסום מערך הנתונים של Hugging Face, טוען את הטוקנייזר עבור המודל, ומעבד את פיצולי נתוני הרכבת/בדיקה לכוונון עדין של המודל על נתוני תחום זה בשלב ה-falcon-text-summarization-preprocess.
התפוקה היא כבול לשלב בז-טקסט-סיכום-כיוונון, שבו ה תסריט אימון טוען את Falcon-40B LLM מ- Hugging Face Hub ומתחיל כוונון מואץ באמצעות LoRA על פיצול הרכבת. המודל מוערך באותו שלב לאחר כוונון עדין, אשר שומרי סף אובדן ההערכה להיכשל בשלב כוונון הפלקון-טקסט-סיכום, מה שגורם לצינור של SageMaker להיעצר לפני שהוא מסוגל לרשום את המודל המכוונן. אחרת, שלב כוונון הפלקון-טקסט-סיכום פועל בהצלחה והמודל נרשם ב- SageMaker Model Registry. האיור הבא מציג ייצוג חזותי של DAG לכוונון עדין של LLM. הסקריפטים וקובץ התצורה עבור דוגמה זו זמינים ב- GitHub ריפו.
אימון רב מודלים
זוהי דוגמה לאימון מרובה מודלים שבה מאומן מודל ניתוח רכיבים עיקריים (PCA) להפחתת ממדי, ומודל TensorFlow Multilayer Perceptron מאומן עבור תחזית מחירי דיור בקליפורניה. שלב העיבוד המקדים של מודל TensorFlow משתמש במודל PCA מאומן כדי להפחית את הממדיות של נתוני האימון שלו. אנו מוסיפים תלות בתצורה כדי להבטיח שמודל TensorFlow נרשם לאחר רישום מודל PCA. האיור הבא מציג ייצוג חזותי של הדוגמה של אימון רב-מודלים של DAG. הסקריפטים וקובצי התצורה עבור דוגמה זו זמינים ב- GitHub ריפו.
לנקות את
השלם את השלבים הבאים כדי לנקות את המשאבים שלך:
- השתמש ב-AWS CLI כדי רשימה ו להסיר כל הצינורות שנותרו שנוצרו על ידי הסקריפטים של Python.
- לחלופין, מחק משאבי AWS אחרים כגון דלי S3 או תפקיד IAM שנוצרו מחוץ ל-SageMaker Pipelines.
סיכום
בפוסט זה הצגנו מסגרת לאוטומציה של יצירת SageMaker Pipelines DAG המבוססת על קבצי תצורה. המסגרת המוצעת מציעה פתרון צופה פני עתיד לאתגר של תזמור עומסי עבודה מורכבים של ML. על ידי שימוש בקובץ תצורה, SageMaker Pipelines מספקת את הגמישות לבניית תזמור עם קוד מינימלי, כך שתוכל לייעל את תהליך היצירה והניהול של צינורות של מודל יחיד ורב-מודל כאחד. גישה זו לא רק חוסכת זמן ומשאבים, אלא גם מקדמת שיטות עבודה מומלצות של MLOps, תורמת להצלחתן הכוללת של יוזמות ML. למידע נוסף על פרטי יישום, עיין ב- GitHub ריפו.
על הכותבים
לואיס פליפה יפס באריוס, הוא מהנדס למידת מכונה עם שירותים מקצועיים של AWS, המתמקד במערכות מבוזרות ניתנות להרחבה וכלי אוטומציה כדי לזרז חדשנות מדעית בתחום למידת מכונה (ML). יתר על כן, הוא מסייע ללקוחות ארגוניים באופטימיזציה של פתרונות למידת המכונה שלהם באמצעות שירותי AWS.
Jinzhao Feng, הוא מהנדס למידת מכונה בשירותים מקצועיים של AWS. הוא מתמקד בארכיטקטורה והטמעה בקנה מידה גדול של פתרונות AI Generative ופתרונות ML קלאסיים. הוא מתמחה ב- FMOps, LLMOps והדרכה מבוזרת.
אסני קשה, הוא מהנדס למידת מכונה ב-AWS. הרקע שלו הוא ב-Applied Data Science עם התמקדות בהפעלת עומסי עבודה של למידת מכונה בענן בקנה מידה.
חסן שוג'אי, הוא Sr. Data Scientist עם שירותים מקצועיים של AWS, שם הוא עוזר ללקוחות בתעשיות שונות לפתור את האתגרים העסקיים שלהם באמצעות שימוש בביג דאטה, למידת מכונה וטכנולוגיות ענן. לפני תפקיד זה, חסן הוביל יוזמות מרובות לפיתוח טכניקות מודל חדשניות מבוססות פיזיקה ומונחי נתונים עבור חברות אנרגיה מובילות. מחוץ לעבודה, חסן נלהב לספרים, טיולים, צילום והיסטוריה.
אלק ג'נב, הוא מהנדס למידת מכונה המתמחה בפיתוח ותפעול פתרונות למידת מכונה בקנה מידה עבור לקוחות ארגוניים. Alec נלהב להביא פתרונות חדשניים לשוק, במיוחד בתחומים שבהם למידת מכונה יכולה לשפר משמעותית את חוויית משתמש הקצה. מחוץ לעבודה, הוא נהנה לשחק כדורסל, לסנובורד ולגלות אבני חן נסתרות בסן פרנסיסקו.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/automate-amazon-sagemaker-pipelines-dag-creation/
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 120
- 160
- 7
- 8
- 9
- a
- יכול
- אודות
- מוּאָץ
- גישה
- נגיש
- להתאים
- פי
- חֶשְׁבּוֹן
- השגתי
- לרוחב
- להפעיל
- מחזורי
- להוסיף
- לאחר
- נגד
- AI
- אַלגוֹרִיתְם
- תעשיות
- להתיר
- מותר
- מאפשר
- לאורך
- גם
- אמזון בעברית
- אמזון SageMaker
- צינורות SageMaker של אמזון
- אמזון שירותי אינטרנט
- בין
- an
- אנליזה
- עוגן
- ו
- אחר
- כל
- אַפָּשׁ
- יישומית
- גישה
- ארכיטקטורה
- ARE
- אזורים
- AS
- אסיסטים
- לְהַנִיחַ
- At
- אוטומטי
- באופן אוטומטי
- אוטומציה
- אוטומציה
- זמין
- AWS
- שירותים מקצועיים של AWS
- רקע
- מבוסס
- כדורסל
- BE
- לפני
- הטבות
- הטוב ביותר
- שיטות עבודה מומלצות
- גָדוֹל
- נתונים גדולים
- ספרים
- שניהם
- מביאים
- לִבנוֹת
- עסקים
- אבל
- by
- לחשב
- מחושב
- שיחה
- נקרא
- שיחות
- CAN
- מקרה
- מקרים
- מספקת
- גורמים
- כבול
- לאתגר
- האתגרים
- ערוץ
- בחירות
- כיתות
- מיון
- לְנַקוֹת
- קלי
- לקוחות
- ענן
- קוד
- לשלב
- Common
- חברות
- מורכב
- רְכִיב
- דאגות
- אמון
- תְצוּרָה
- יחד
- עִקבִי
- מורכב
- מכולה
- מכולות
- מכיל
- תוכן
- הקשר
- רציף
- תורם
- לכסות
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- יצירה
- מכריע
- מנהג
- לקוחות
- אישית
- DAG
- נתונים
- מדע נתונים
- מדען נתונים
- נתונים מונחים
- מערכי נתונים
- מוצהר
- בְּרִירַת מֶחדָל
- לְהַגדִיר
- מוגדר
- מגדיר
- מסירה
- להפגין
- תלות
- תלות
- לפרוס
- פריסה
- פריסה
- לתאר
- פרט
- מְפוֹרָט
- פרטים
- לפתח
- מתפתח
- צעצועי התפתחות
- תרשים
- אחר
- מְכוּוָן
- ספריות
- בספרייה
- מגלה
- לדון
- מוצג
- לְהַבחִין
- מופץ
- מערכות מבוזרות
- הכשרה מבוזרת
- סַוָר
- עושה
- תחום
- בְּמַהֲלָך
- דינמי
- באופן דינמי
- כל אחד
- יעיל
- מאמץ
- מעצים
- לאפשר
- מאפשר
- מה שמאפשר
- סוף
- אנרגיה
- מהנדס
- מהנדסים
- לְהַבטִיחַ
- מִפְעָל
- שלם
- כניסה
- סביבה
- סביבות
- שגיאות
- במיוחד
- להעריך
- העריך
- הערכה
- הערכה
- כל
- דוגמה
- דוגמאות
- לְזַרֵז
- ניסיון
- בִּמְפוּרָשׁ
- יצוא
- מוּרחָב
- פָּנִים
- FAIL
- שקר
- מהר יותר
- שדה
- תרשים
- שלח
- קבצים
- בסופו של דבר
- גמישות
- גמיש
- תזרים
- להתמקד
- מרוכז
- מתמקד
- הבא
- כדלקמן
- בעד
- טופס
- צופה פני עתיד
- מסגרת
- מסגרות
- פרנסיסקו
- החל מ-
- פונקציה
- יתר על כן
- יצירת
- גנרטטיבית
- AI Generative
- Git
- גלוֹבָּלִי
- ממשל
- גרף
- יותר
- קְבוּצָה
- קבוצה
- יש
- יש
- he
- עוזר
- כאן
- מוּסתָר
- שֶׁלוֹ
- היסטוריה
- אירוח
- דיור
- איך
- איך
- HTML
- http
- HTTPS
- טבור
- מזהה
- זהות
- מזהה
- if
- תמונה
- הפעלה
- יישום
- לשפר
- in
- באחר
- כולל
- כולל
- להצביע
- מצביע על
- תעשיות
- מוּסָק
- מידע
- תשתית
- יוזמות
- חדשנות
- חדשני
- קלט
- בתוך
- להתקין
- למשל
- הוראות
- השתלבות
- יחסי גומלין
- התערבות
- אל תוך
- IT
- שֶׁלָה
- עבודה
- הצטרפות
- jpg
- ג'סון
- מפתח
- מפתחות
- תווית
- שפה
- גָדוֹל
- אחרון
- מאוחר יותר
- למידה
- הוביל
- עזבו
- ספריות
- כמו
- קו
- רשימה
- LLM
- לִטעוֹן
- המון
- מקומי
- באופן מקומי
- רישום
- נראה
- נראה כמו
- את
- מכונה
- למידת מכונה
- לעשות
- עושה
- עשייה
- ניהול
- ניהול
- מדריך ל
- רב
- שוק
- להתאים
- מטרי
- מדדים
- מינימלי
- לצמצם
- ML
- MLOps
- מצב
- מודל
- דוגמנות
- מודלים
- מודול
- יותר
- מספר
- שם
- הכרחי
- צורך
- נחוץ
- צרכי
- רשתות
- הבא
- לא
- רומן
- אובייקט
- of
- המיוחדות שלנו
- on
- ONE
- רק
- מיטוב
- or
- מתוזמר
- תזמור
- תזמור
- אחר
- אַחֶרֶת
- תפוקה
- פלטים
- בחוץ
- מקיף
- לעקוף
- חבילות
- פרמטר
- פרמטרים
- לוהט
- נתיב
- שבילים
- עבור
- ביצועים
- ביצעתי
- צילום
- צינור
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- נקודה
- הודעה
- פרקטיקות
- מוגדר מראש
- לחזות
- התחזיות
- תנאים מוקדמים
- להציג
- מוצג
- מחיר
- מנהל
- קודם
- פְּרָטִי
- תהליך
- תהליכים
- תהליך
- מיוצר
- הפקה
- מקצועי
- פּרוֹיֶקט
- מקדם
- קידום
- מוּצָע
- ובלבד
- מספק
- לִרְכּוֹשׁ
- פיתון
- מהירות
- רכס
- חומר עיוני
- לְלֹא קוֹשִׁי
- קריאה
- להמליץ
- מוּמלָץ
- להפחית
- מפחית
- הפחתה
- להתייחס
- באזור
- הירשם
- רשום
- רישום
- הַרשָׁמָה
- רישום
- נותר
- לחזור על
- לדווח
- מאגר
- נציגות
- נדרש
- דרישות
- משאב
- משאבים
- אלה
- REST
- תוצאות
- הכנסה
- סקירה
- תפקיד
- תפקידים
- הפעלה
- ריצה
- פועל
- זמן ריצה
- בעל חכמים
- צינורות SageMaker
- אותו
- סן
- סן פרנסיסקו
- להרחבה
- סולם
- מדע
- מדעי
- מַדְעָן
- מדענים
- תסריט
- סקריפטים
- סעיף
- סעיפים
- אבטחה
- רצף
- שירותים
- סט
- סטים
- כמה
- צריך
- הופעות
- פָּשׁוּט
- שישה
- להחליק
- So
- פִּתָרוֹן
- פתרונות
- לפתור
- מָקוֹר
- קוד מקור
- מיוחד
- מתמחה
- מפורט
- לפצל
- פיצולים
- התחלות
- שלב
- צעדים
- עצור
- אחסון
- אחסון
- לייעל
- התייעלות
- מִבְנֶה
- סטודיו
- נושא
- רשתות משנה
- לאחר מכן
- הצלחה
- בהצלחה
- כזה
- שסופק
- תחביר
- מערכות
- לקחת
- לוקח
- טכניקות
- טכנולוגיות
- tensorflow
- מסוף
- מבחן
- בדיקות
- טֶקסט
- זֶה
- השמיים
- הקופה
- שֶׁלָהֶם
- אותם
- אז
- לכן
- אלה
- זֶה
- שְׁלוֹשָׁה
- דרך
- בכל
- זמן
- ל
- חלק עליון
- מעקב
- רכבת
- מְאוּמָן
- הדרכה
- לשנות
- עץ
- נָכוֹן
- שתיים
- סוגים
- ui
- תחת
- יחידה
- יחידות
- עדכון
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- חוויית משתמש
- שימושים
- באמצעות
- תועלת
- ערכים
- משתנה
- גירסאות
- באמצעות
- וירטואלי
- חזותי
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אם
- אשר
- מי
- רָחָב
- טווח רחב
- יצטרך
- עם
- בתוך
- לְלֹא
- תיק עבודות
- זרימת עבודה
- XGBoost
- יאמל
- אתה
- זפירנט