פוסט זה נכתב בשיתוף עם דימה זדורוז'ני ופואד באבייב מ-VirtuSwap.
VirtuSwap היא חברת סטארטאפ המפתחת טכנולוגיה חדשנית להחלפה מבוזרת של נכסים בבלוקצ'יין. הטכנולוגיה של VirtuSwap מספקת מסחר יעיל יותר עבור נכסים שאין ביניהם צמד ישיר. היעדר צמד ישיר מוביל למסחר עקיף יקר, כלומר נדרשות שתי עסקאות או יותר להשלמת החלפה רצויה, מה שמוביל לעלויות מסחר כפולות או משולשות. טכנולוגיית ה-Virtual Pools מבוססת Reserve של VirtuSwap פותרת את הבעיה על ידי הפיכת כל מסחר ישיר, תוך חיסכון של עד 50% מעלות המסחר. קרא עוד ב virtuswap.io.
בפוסט זה, אנו משתפים כיצד VirtuSwap השתמש בתכונת הביאו-בעצמכם-מיכל פנימה סטודיו SageMaker של אמזון לבנות סביבה חזקה לארח הדמיות עתירות GPU שלהם כדי לפתור בעיות אופטימיזציה ליניארית.
האתגר
מנוע VirtuSwap Minerva יוצר המלצות לפיזור מיטבי של נזילות בין מאגרי נזילות שונים, תוך התחשבות במספר פרמטרים, כגון נפחי מסחר, נזילות שוק שוטפת ותנודתיות של נכסים נסחרים, מוגבלים על ידי כמות נזילות כוללת הזמינה לחלוקה. כדי לספק המלצות אלו, VirtuSwap Minerva משתמשת באלפי צמדי מסחר היסטוריים כדי לדמות את הריצה שלהם דרך תצורות נזילות שונות כדי למצוא את ההתפלגות האופטימלית של נזילות, עמלות מאגר ועוד.
היישום הראשוני קודד באמצעות מסגרות נתונים של pandas. עם זאת, ככל שנתוני הסימולציה גדלו, זמן הריצה כמעט פי ארבעה, יחד עם גודל הבעיה. התוצאה של זה הייתה שהאיטרציות האטו וכמעט בלתי אפשרי להריץ משימות ממדיות גדולות יותר. VirtuSwap הבינו שהם צריכים להשתמש במופעי GPU עבור הסימולציה כדי לאפשר תוצאות מהירות יותר.
VirtuSwap נזקק לספריית פנדות תואמת GPU כדי להפעיל את הסימולציה שלהם ובחרה cuDF, ספריית GPU DataFrame מאת אֶשֶׁד. cuDF משמש לטעינה, הצטרפות, צבירה, סינון ומניפולציה אחרת של נתונים, ב-a דובי פנדהממשק API שמאיץ את העבודה על מסגרות נתונים, תוך שימוש ב-CUDA לביצועים מהירים משמעותית מאשר פנדות.
סקירת פתרונות
VirtuSwap בחרה ב-SageMaker Studio לפיתוח מקצה לקצה, החל מפיתוח איטרטיבי ואינטראקטיבי במחברות. בשל הגמישות של SageMaker Studio, הם החליטו להשתמש בו גם לסימולציה שלהם, תוך ניצול אמזון SageMaker תמונות מותאמות אישית, המאפשרים ל- VirtuSwap להביא ספריות מותאמות אישית משלהם ותוכנה הדרושה, כגון cuDF. התרשים הבא ממחיש את זרימת העבודה של הפתרון.
בסעיפים הבאים, אנו חולקים את ההוראות המפורטות לבנייה ושימוש בתמונת Rapids cuDF ב- SageMaker.
תנאים מוקדמים
כדי להפעיל מדריך שלב אחר שלב זה, אתה צריך חשבון AWS עם הרשאות ל- SageMaker, מרשם מיכל אלסטי של אמזון (Amazon ECR), AWS זהות וניהול גישה (IAM), ו בניית קוד AWS. בנוסף, אתה צריך להיות בעל א תחום SageMaker מוכן.
צור תפקידים ומדיניות IAM
עבור תהליך הבנייה של מחברות מותאמות אישית של SageMaker, השתמשנו AWS CloudShell, המספק את כל החבילות הנדרשות לבניית התמונה המותאמת אישית. ב-CloudShell, השתמשנו SageMaker Docker Build, CLI לבניית תמונות Docker עבור וב- SageMaker Studio. ה-CLI יכול ליצור את המאגר באמזון ECR ולבנות את הקונטיינר באמצעות CodeBuild. לשם כך, עלינו לספק לכלי תפקיד של IAM עם הרשאות מתאימות. השלם את השלבים הבאים:
- היכנס ל-AWS Management Console ופתח את קונסולת IAM.
- בחלונית הניווט משמאל, בחר מדיניות.
- צור מדיניות בשם
sm-build-policy
עם ההרשאות הבאות:
ההרשאות מספקות את היכולת לנצל את השירות במלואו: יצירת מאגרים, יצירת עבודת CodeBuild, שימוש שירות אחסון פשוט של אמזון (Amazon S3), ולשלוח לוגים ל אמזון CloudWatch.
- צור תפקיד בשם
sm-build-role
עם מדיניות האמון הבאה, והוסף את המדיניותsm-build-policy
שיצרת קודם לכן:
כעת, בואו נסקור את השלבים ב-CloudShell.
צור תמונת cuDF Docker ב-CloudShell
למטרותינו, היינו צריכים תמונת Rapids CUDA, הכוללת גם תמונה ipykernel, כך שניתן יהיה להשתמש בתמונה ב- a מחברת SageMaker Studio.
אנו משתמשים בתמונת CUDA קיימת מאת RapidsAI זה זמין ברשמי רכזת Rapids AI Docker, והוסף את ipykernel
התקנה.
במסוף CloudShell, הפעל את הפקודה הבאה:
פעולה זו תיצור את ה- Dockerfile שיבנה את תמונת ה- Docker המותאמת אישית שלנו עבור SageMaker.
בנה ודחוף את התמונה למאגר
כאמור, השתמשנו ב- ספריית SageMaker Docker Build, המאפשר למדעני נתונים ומפתחים לבנות בקלות תמונות מיכל מותאמות אישית. למידע נוסף, עיין ב שימוש ב- Amazon SageMaker Studio Image Build CLI לבניית תמונות מיכל ממחברות הסטודיו שלך.
הפקודה הבאה יוצרת מאגר ECR (אם המאגר אינו קיים). sm-docer יצור אותו, ויבנה ותדחוף את תמונת Docker החדשה למאגר שנוצר:
למקרה שאתה חסר sm-docker
ב-CloudShell שלך, הפעל את הקוד הבא:
בסיום, יוחזר URI של תמונת ECR.
צור תמונה מותאמת אישית של SageMaker
לאחר שיצרת תמונת Docker מותאמת אישית ודחפת אותה למאגר המכולה שלך (Amazon ECR), תוכל להגדיר את SageMaker להשתמש בתמונת Docker מותאמת אישית זו. השלם את השלבים הבאים:
- במסוף SageMaker בחר תמונות בחלונית הניווט.
- בחרו צור תמונה.
- הזן את פלט URI התמונה מהסעיף הקודם ולאחר מכן בחר הַבָּא.
- בעד שם התמונה ו שם תצוגת תמונה, להיכנס
rapids
. - בעד תיאור, הזן תיאור.
- בעד תפקיד IAM, בחר את תפקיד IAM המתאים לדומיין SageMaker שלך.
- בעד נתיב הרכבה של EFS, להיכנס
/home/sagemaker-user
(בְּרִירַת מֶחדָל). - לְהַרְחִיב תצורה מתקדמת.
- בעד שם משתמש, להיכנס
1000
. - בעד מזהה קבוצתי, להיכנס
100
.
- ב סוג תמונה בחר, בחר תמונת SageMaker Studio.
- בחרו הוסף גרעין.
- בעד שם ליבה, להיכנס
conda-env-rapids-py
. - בעד שם תצוגה של ליבה, להיכנס
rapids
. - בחרו חפש כדי ליצור את תמונת SageMaker.
צרף את התמונה החדשה לדומיין SageMaker Studio שלך
כעת לאחר שיצרת את התמונה המותאמת אישית, עליך להפוך אותה לזמינה לשימוש על ידי צירוף התמונה לדומיין שלך. השלם את השלבים הבאים:
- במסוף SageMaker בחר תחומים בחלונית הניווט.
- בחר את הדומיין שלך. שלב זה הוא אופציונלי; אתה יכול ליצור ולצרף את התמונה המותאמת אישית ישירות מהדומיין ולדלג על שלב זה.
- בדף פרטי הדומיין, בחר את סביבה ולאחר מכן בחר צרף תמונה.
- בחר תמונה קיימת ובחר את התמונה החדשה (
rapids
) מהרשימה. - בחרו הַבָּא.
- סקור את תצורת התמונה המותאמת אישית והקפד להגדיר סוג תמונה as תמונת SageMaker Studio, כמו בשלב הקודם, עם אותו שם ליבה ושם תצוגה של ליבה.
- בחרו חפש.
התמונה המותאמת אישית זמינה כעת ב-SageMaker Studio ומוכנה לשימוש.
צור מחברת חדשה עם התמונה
להנחיות להפעלת מחברת חדשה, עיין ב השקת תמונת SageMaker מותאמת אישית באמזון SageMaker Studio. השלם את השלבים הבאים:
- במסוף SageMaker Studio, בחר פתח את המשגר.
- בחרו שנה סביבה.
- בעד תמונה, בחר את התמונה החדשה שנוצרה,
rapids v1
. - בעד גַרעִין, בחר
rapids
. - בעד סוג מופע¸ בחר את המופע שלך.
SageMaker Studio מספק את האפשרות להתאים אישית את כוח המחשוב שלך על ידי בחירת מופע ממשפחות המחשוב המואץ של AWS, מחשוב למטרות כלליות, מותאם מחשוב או אופטימיזציית זיכרון. גמישות זו אפשרה לך לעבור בצורה חלקה בין CPUs ו-GPUs, כמו גם להגדיל או להקטין באופן דינמי את גדלי המופעים לפי הצורך. עבור המחברת שלנו, השתמשנו בסוג המופע ml.g4dn.2xlarge לבדיקת ביצועי cuDF תוך שימוש במאיץ GPU.
- בחרו בחר.
- בחר את הסביבה שלך ובחר צור מחברת, ואז המתן עד שגרעין המחברת יהיה מוכן.
אמת את התמונה המותאמת אישית שלך
כדי לוודא שהתמונה המותאמת אישית שלך הושקה ו-cuDF מוכנה לשימוש, צור תא חדש, הזן import cudf
, והפעל אותו.
לנקות את
כבה את מופע Jupyter המריץ את מחברת הבדיקה ב-SageMaker Studio על ידי בחירה הפעלת מסופים וגרעינים וכיבוי המופע הפועל.
תוצאות השוואת זמן ריצה
ערכנו השוואת זמן ריצה של הקוד שלנו באמצעות מעבד ו-GPU גם במופעי SageMaker g4dn.2xlarge, עם מורכבות זמן של O(N). התוצאות, כפי שמוצגות באיור הבא, חושפות את היעילות של שימוש במעבדי GPU על פני מעבדים.
היתרון העיקרי של GPUs טמון ביכולתם לבצע עיבוד מקביל. ככל שאנו מגדילים את הערך של N, זמן הריצה במעבדים גדל בקצב של 3N. מצד שני, עם GPUs, ניתן לתאר את קצב הגידול כ-2N, כפי שמודגם באיור הקודם. ככל שגודל הבעיה גדול יותר, כך ה-GPU נעשה יעיל יותר. במקרה שלנו, השימוש ב-GPU היה מהיר לפחות פי 20 מאשר ב-CPU. זה מדגיש את החשיבות הגוברת של GPUs במחשוב מודרני, במיוחד עבור משימות הדורשות כמויות גדולות של נתונים לעיבוד מהיר.
עם מופעי SageMaker GPU, VirtuSwap מסוגל להגדיל באופן דרמטי את הממדיות של הבעיות שנפתרו ולמצוא פתרונות מהר יותר.
סיכום
בפוסט זה, הראינו כיצד VirtuSwap התאים אישית את SageMaker Studio באמצעות תמונה מותאמת אישית כדי לפתור בעיה מורכבת. עם היכולת לשנות בקלות את סביבת הריצה ולעבור בין מופעים, גדלים וקרנלים שונים, VirtuSwap הצליחה להתנסות במהירות ולהאיץ את זמן הריצה פי 15 ולספק פתרון ניתן להרחבה.
כשלב הבא, VirtuSwap שוקלים להרחיב את השימוש שלהם ב- SageMaker ולהפעיל את העיבוד שלהם ב עיבוד אמזון SageMaker לעבד את הנתונים המאסיביים שהם אוספים מ- blockchains שונים לתוך הפלטפורמה שלהם.
על הכותבים
אדיר שרעבי הוא ארכיטקט פתרונות ראשי עם שירותי האינטרנט של אמזון. הוא עובד עם לקוחות AWS כדי לעזור להם לבנות יישומים מאובטחים, עמידים, ניתנים להרחבה וביצועים גבוהים בענן. הוא גם נלהב מ-Data ולעזור ללקוחות להפיק את המרב מהם.
עומר חיים הוא ארכיטקט פתרונות סטארט-אפ בכיר ב- Amazon Web Services. הוא עוזר לסטארט-אפים במסע הענן שלהם, והוא נלהב ממכולות ו-ML. בזמנו הפנוי, עומר אוהב לטייל, ומדי פעם לשחק עם בנו.
דמיטרי זדורוז'ני הוא מנתח נתונים ב virtuswap.io. הוא אחראי על כריית נתונים, עיבוד ואחסון, כמו גם שילוב שירותי ענן כגון AWS. לפני שהצטרף ל-virtuswap, הוא עבד בתחום מדעי הנתונים והיה ראש שגריר אנליטיקה ב-dydx foundation. לדימה תואר M.Sc במדעי המחשב. דימה נהנה לשחק במשחקי מחשב בזמנו הפנוי.
פואד באבאייב משמש כמומחה למדעי נתונים ב- Virtuswap (virtuswap.io). הוא מביא מומחיות בהתמודדות עם אתגרי אופטימיזציה מורכבים, יצירת סימולציות ואדריכלות מודלים לתהליכי סחר. מחוץ לקריירה המקצועית שלו לפואד יש תשוקה לשחק שח.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/how-virtuswap-accelerates-their-pandas-based-trading-simulations-with-an-amazon-sagemaker-studio-custom-container-and-aws-gpu-instances/
- :יש ל
- :הוא
- $ למעלה
- 100
- 11
- 20
- 7
- 804
- 9
- 91
- a
- יכולת
- יכול
- אודות
- מוּאָץ
- מאיץ
- מאיץ
- גישה
- חֶשְׁבּוֹן
- פעולה
- להוסיף
- תוספת
- יתרון
- -
- AI
- תעשיות
- להתיר
- מותר
- מאפשר
- כמעט
- לאורך
- גם
- אמזון בעברית
- אמזון SageMaker
- סטודיו SageMaker של אמזון
- אמזון שירותי אינטרנט
- שַׁגְרִיר
- כמות
- כמויות
- an
- מנתח
- ניתוח
- ו
- API
- יישומים
- ARE
- AS
- נכסים
- At
- לצרף
- זמין
- AWS
- קונסולת הניהול של AWS
- BE
- הופך להיות
- בֵּין
- blockchains
- שניהם
- להביא
- מביא
- לִבנוֹת
- בִּניָן
- by
- CAN
- קריירה
- מקרה
- האתגרים
- שינוי
- שחמט
- בחרו
- בחירה
- בחר
- ענן
- שירותי ענן
- קוד
- מקודד
- שיתוף פעולה
- איסוף
- COM
- חברה
- השוואה
- להשלים
- השלמה
- מורכב
- מורכבות
- לחשב
- המחשב
- מדעי מחשב
- מחשוב
- - כוח מחשוב
- מצב
- מנוהל
- תְצוּרָה
- בהתחשב
- קונסול
- מכולה
- מכולות
- יקר
- עלויות
- לִיצוֹר
- נוצר
- יוצר
- נוֹכְחִי
- מנהג
- לקוחות
- אישית
- אישית
- נתונים
- כריית נתונים
- מדע נתונים
- מבוזר
- בורסה מבוזרת
- החליט
- בְּרִירַת מֶחדָל
- למסור
- מְתוּאָר
- תיאור
- רצוי
- פרטים
- מפתחים
- מתפתח
- צעצועי התפתחות
- אחר
- ישיר
- ישירות
- לְהַצִיג
- הפצה
- סַוָר
- לא
- תחום
- לא
- לְהַכפִּיל
- מטה
- באופן דרמטי
- ראוי
- dydx
- באופן דינמי
- מוקדם יותר
- בקלות
- השפעה
- יְעִילוּת
- יעיל
- מקצה לקצה
- מנוע
- זן
- סביבה
- במיוחד
- כל
- חליפין
- להתקיים
- קיימים
- לְנַסוֹת
- מומחיות
- משפחות
- מהר
- מהר יותר
- מאפיין
- אגרות
- שדה
- תרשים
- סינון
- גמישות
- הבא
- בעד
- קרן
- החל מ-
- מלא
- מִשְׂחָק
- משחקים
- כללי
- לקבל
- GPU
- GPUs
- גדלתי
- גדל
- מדריך
- יד
- יש
- he
- לעזור
- עזרה
- עוזר
- גָבוֹהַ
- פסים
- שֶׁלוֹ
- היסטורי
- המארח
- איך
- אולם
- HTML
- http
- HTTPS
- זהות
- if
- מדגים
- תמונה
- תמונות
- הפעלה
- חשיבות
- בלתי אפשרי
- in
- כולל
- להגדיל
- עליות
- מידע
- בתחילה
- חדשני
- טכנולוגיה חדשנית
- להתקין
- התקנה
- למשל
- הוראות
- שילוב
- אינטראקטיבי
- אל תוך
- IT
- איטרציות
- עבודה
- הצטרפות
- מסע
- גָדוֹל
- גדול יותר
- לשגר
- הושק
- עוֹפֶרֶת
- מוביל
- מוביל
- הכי פחות
- עזבו
- ספריות
- סִפְרִיָה
- שקרים
- אוהב
- נְזִילוּת
- בריכות נזילות
- רשימה
- טוען
- ראשי
- לעשות
- עשייה
- ניהול
- מניפולציה
- שוק
- מסיבי
- משמעות
- זכרון
- מוּזְכָּר
- כרייה
- ML
- מודלים
- מודרני
- יותר
- יותר יעיל
- רוב
- הר
- מספר
- שם
- שם
- ניווט
- כמעט
- צורך
- נחוץ
- חדש
- חדש
- הבא
- מחברה
- עַכשָׁיו
- of
- כבוי
- רשמי
- on
- לפתוח
- אופטימלי
- אופטימיזציה
- אופטימיזציה
- אפשרות
- or
- אחר
- אַחֶרֶת
- שלנו
- הַחוּצָה
- תפוקה
- בחוץ
- יותר
- שֶׁלוֹ
- חבילות
- עמוד
- זוג
- זוגות
- דובי פנדה
- זגוגית
- מקביל
- פרמטרים
- תשוקה
- לוהט
- לְבַצֵעַ
- ביצועים
- הרשאות
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- מדיניות
- בריכה
- ברכות
- הודעה
- כּוֹחַ
- כוח
- קודם
- מנהל
- קודם
- בעיה
- בעיות
- תהליך
- מעובד
- תהליכים
- תהליך
- מקצועי
- תָקִין
- לספק
- מספק
- מטרה
- למטרות
- דחוף
- דחף
- פיתון
- פי ארבעה
- מהירות
- ציון
- חומר עיוני
- מוכן
- הבין
- המלצות
- להתייחס
- מאגר
- לדרוש
- נדרש
- מִתאוֹשֵׁשׁ מַהֵר
- משאב
- אחראי
- תוצאה
- תוצאות
- לגלות
- סקירה
- חָסוֹן
- תפקיד
- תפקידים
- הפעלה
- ריצה
- בעל חכמים
- אותו
- חסכת
- SC
- להרחבה
- סולם
- מדע
- מדענים
- בצורה חלקה
- סעיף
- סעיפים
- לבטח
- לשלוח
- לחצני מצוקה לפנסיונרים
- משמש
- שרות
- שירותים
- סט
- שיתוף
- הראה
- הראה
- באופן משמעותי
- פָּשׁוּט
- הדמיה
- מידה
- גדל
- So
- תוכנה
- פִּתָרוֹן
- פתרונות
- לפתור
- פותר
- שלה
- מומחה
- מְהִירוּת
- החל
- סטארט - אפ
- חברות סטארט
- הצהרה
- שלב
- צעדים
- אחסון
- סטודיו
- כזה
- בטוח
- להחליף
- מתג
- התמודדות
- נטילת
- משימות
- טכנולוגיה
- מסוף
- מבחן
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- אלה
- הֵם
- זֶה
- אלפים
- דרך
- זמן
- פִּי
- ל
- כלי
- סה"כ
- סחר
- נסחר
- עסקות
- מסחר
- מסחר זוגות
- מחזורי מסחר
- מַעֲבָר
- נסיעות
- לְשַׁלֵשׁ
- סומך
- שתיים
- סוג
- עד
- נוֹהָג
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- שימושים
- באמצעות
- תועלת
- לנצל
- ניצול
- v1
- לְאַמֵת
- ערך
- שונים
- גרסה
- וירטואלי
- כרכים
- לחכות
- היה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- אשר
- בזמן
- יצטרך
- עם
- תיק עבודות
- עבד
- זרימת עבודה
- עובד
- כתוב
- אתה
- זפירנט