היום, אנו נרגשים להכריז שדגמי הבסיס של Meta Llama 3 זמינים דרך אמזון SageMaker JumpStart לפרוס ולהפעיל מסקנות. דגמי ה-Llama 3 הם אוסף של דגמי טקסט מחוללים שהוכשרו מראש ומכווננים היטב.
בפוסט זה, אנו עוברים דרך כיצד לגלות ולפרוס דגמי Llama 3 באמצעות SageMaker JumpStart.
מהי מטה לאמה 3
Llama 3 מגיע בשני גדלי פרמטרים - 8B ו-70B עם אורך הקשר של 8k - שיכולים לתמוך במגוון רחב של מקרי שימוש עם שיפורים בהיגיון, יצירת קוד ומעקב אחר הוראות. Llama 3 משתמש בארכיטקטורת שנאי מפענח בלבד ובטוקנייזר חדש המספק ביצועי דגם משופרים עם גודל 128k. בנוסף, Meta שיפרה נהלים לאחר אימון שהפחיתו באופן משמעותי את שיעורי הסירובים הכוזבים, שיפרו את ההתאמה והגדילו את הגיוון בתגובות המודל. כעת אתה יכול להפיק את היתרונות המשולבים של ביצועי Llama 3 ובקרות MLOps עם תכונות Amazon SageMaker כגון SageMaker Pipelines, SageMaker Debugger או יומני מיכל. בנוסף, המודל ייפרס בסביבה מאובטחת של AWS תחת בקרות ה-VPC שלך, ויעזור לספק אבטחת מידע.
מה זה SageMaker JumpStart
עם SageMaker JumpStart, אתה יכול לבחור מתוך מבחר רחב של דגמי יסודות זמינים לציבור. מתרגלי ML יכולים לפרוס מודלים של בסיס למופעים ייעודיים של SageMaker מסביבה מבודדת רשת ולהתאים אישית מודלים באמצעות SageMaker להדרכה ופריסה של מודלים. כעת תוכל לגלות ולפרוס דגמי Llama 3 בכמה לחיצות פנימה סטודיו SageMaker של אמזון או באופן פרוגרמטי דרך SageMaker Python SDK, מה שמאפשר לך להפיק ביצועי מודל ובקרות MLOps עם תכונות SageMaker כגון צינורות SageMaker, איתור באגים של SageMaker, או יומני מיכל. המודל נפרס בסביבה מאובטחת של AWS ותחת בקרות ה-VPC שלך, ועוזר לספק אבטחת מידע. דגמי Llama 3 זמינים היום לפריסה והסקת מסקנות באמזון SageMaker Studio ב us-east-1
(נ' וירג'יניה), us-east-2
(אוהיו), us-west-2
(אורגון), eu-west-1
(אירלנד) ו ap-northeast-1
(טוקיו) אזורי AWS.
גלה דגמים
אתה יכול לגשת לדגמי היסוד דרך SageMaker JumpStart בממשק המשתמש של SageMaker Studio ו- SageMaker Python SDK. בחלק זה נעבור על איך לגלות את הדגמים בסטודיו SageMaker.
SageMaker Studio הוא סביבת פיתוח משולבת (IDE) המספקת ממשק חזותי אחד מבוסס אינטרנט שבו אתה יכול לגשת לכלים ייעודיים לביצוע כל שלבי הפיתוח של ML, מהכנת נתונים ועד לבנייה, הדרכה ופריסה של מודלי ה-ML שלך. לפרטים נוספים כיצד להתחיל ולהגדיר את SageMaker Studio, עיין ב סטודיו SageMaker של אמזון.
ב-SageMaker Studio, תוכל לגשת ל-SageMaker JumpStart, המכיל דגמים מאומנים מראש, מחברות ופתרונות מובנים מראש, תחת פתרונות מובנים ואוטומטיים מראש.
מדף הנחיתה של SageMaker JumpStart, אתה יכול לגלות בקלות דגמים שונים על ידי גלישה במוקדים שונים הנקראים על שם ספקי הדגמים. אתה יכול למצוא דגמי Llama 3 ב- Meta hub. אם אינך רואה דגמי Llama 3, אנא עדכן את גרסת SageMaker Studio שלך על ידי כיבוי והפעלה מחדש. למידע נוסף, עיין ב כבה ועדכן את אפליקציות Studio Classic.
אתה יכול למצוא דגמי Llama 3 על ידי חיפוש "Meta-llama-3" בתיבת החיפוש הממוקמת בצד שמאל למעלה.
אתה יכול לגלות את כל דגמי Meta הזמינים ב- SageMaker JumpStart על ידי לחיצה על Meta hub.
לחיצה על כרטיס דגם פותחת את דף פירוט הדגם המתאים, ממנו ניתן לפרוס את הדגם בקלות.
פרוס מודל
כשאתה בוחר לפרוס ומאשר את תנאי EULA, הפריסה תתחיל.
אתה יכול לעקוב אחר התקדמות הפריסה בדף שיופיע לאחר לחיצה על כפתור הפריסה.
לחלופין, אתה יכול לבחור פתח את המחברת לפרוס דרך המחברת לדוגמה. המחברת לדוגמה מספקת הדרכה מקצה לקצה כיצד לפרוס את המודל להסקת מסקנות וניקוי משאבים.
כדי לפרוס באמצעות המחברת, אתה מתחיל בבחירת דגם מתאים, שצוין על ידי model_id
. אתה יכול לפרוס כל אחד מהדגמים שנבחרו ב- SageMaker עם הקוד הבא.
כברירת מחדל accept_eula
מוגדר False
. עליך לקבל ידנית את ה-EULA כדי לפרוס את נקודת הקצה בהצלחה. בכך אתה מקבל את הסכם רישיון המשתמש ומדיניות השימוש המקובל. אתה יכול גם למצוא את הסכם הרישיון אתר לאמה. זה פורס את המודל ב- SageMaker עם תצורות ברירת מחדל, כולל סוג המופע המוגדר כברירת מחדל ותצורות ברירת המחדל של VPC. אתה יכול לשנות תצורה אלה על ידי ציון ערכים שאינם ברירת מחדל ב JumpStartModel
. למידע נוסף, עיין בסעיף הבא תיעוד.
הטבלה הבאה מפרטת את כל דגמי Llama 3 הזמינים ב- SageMaker JumpStart יחד עם model_ids
, סוגי ברירת מחדל של מופעים ומספר מקסימלי של אסימונים הכוללים (סכום של מספר אסימוני קלט ומספר האסימונים שנוצרו) נתמכים עבור כל אחד מהדגמים הללו.
שם דגם | מזהה דגם | מקסימום טוטאל אסימונים | סוג מופע ברירת מחדל |
מטה-למה-3-8B | meta-textgeneration-llama-3-8B | 8192 | ml.g5.12xlarge |
Meta-Llama-3-8B-Instruct | meta-textgeneration-llama-3-8B-instruct | 8192 | ml.g5.12xlarge |
מטה-למה-3-70B | meta-textgeneration-llama-3-70b | 8192 | ml.p4d.24xlarge |
Meta-Llama-3-70B-Instruct | meta-textgeneration-llama-3-70b-instruct | 8192 | ml.p4d.24xlarge |
הפעל מסקנות
לאחר פריסת המודל, תוכל להפעיל הסקה נגד נקודת הקצה שנפרסה באמצעות מנבא SageMaker. דגמי הוראה מכוונים (Llama 3: 8B Instruct ו-70B Instruct) מקבלים היסטוריה של צ'אטים בין המשתמש לעוזר הצ'אט, ומייצרים את הצ'אט הבא. הדגמים שהוכשרו מראש (Llama 3: 8B ו-70B) דורשים בקשת מחרוזת ומבצעים השלמת טקסט בהנחיה המסופקת.
פרמטרי הסקה שולטים בתהליך יצירת הטקסט בנקודת הקצה. האסימונים החדשים של Max שולטים בגודל הפלט שנוצר על ידי המודל. זה לא זהה למספר המילים מכיוון שאוצר המילים של המודל אינו זהה לאוצר המילים בשפה האנגלית, וייתכן שכל אסימון אינו מילה בשפה האנגלית. פרמטר הטמפרטורה שולט באקראיות בפלט. טמפרטורה גבוהה יותר גורמת ליציאות יצירתיות והזויות יותר. כל פרמטרי ההסקה הם אופציונליים.
הנחיות לדוגמה עבור דגם 70B
אתה יכול להשתמש במודלים של Lama 3 להשלמת טקסט עבור כל פיסת טקסט. באמצעות יצירת טקסט, תוכלו לבצע מגוון משימות כמו מענה לשאלות, תרגום שפה וניתוח סנטימנטים ועוד. עומס הקלט לנקודת הקצה נראה כמו הקוד הבא:
להלן כמה הנחיות לדוגמה והטקסט שנוצר על ידי המודל. כל התפוקות נוצרות עם פרמטרי הסקה {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}
.
בדוגמה הבאה, אנו מראים כיצד להשתמש במודלים של Lama 3 עם מעט למידה בהקשר, כאשר אנו מספקים דוגמאות הדרכה הזמינות למודל. אנו מריצים רק מסקנות על המודל שנפרס ובמהלך תהליך זה, ומשקולות המודל לא משתנות.
הנחיות לדוגמה עבור מודל 70B-Instruct
עם מודלים של הוראות של Llama 3 המותאמים למקרי שימוש בדיאלוג, הקלט לנקודות הקצה של מודל ההדרכה הוא ההיסטוריה הקודמת בין עוזר הצ'אט למשתמש. אתה יכול לשאול שאלות הקשריות לשיחה שהתרחשה עד כה. אתה יכול גם לספק את תצורת המערכת, כגון פרסונות, שמגדירות את ההתנהגות של עוזר הצ'אט. בעוד שפורמט מטען הקלט זהה לדגם הבסיסי שהוכשר מראש, יש לעצב את טקסט הקלט באופן הבא:
בתבנית הוראות זו, ניתן להתחיל עם a system
תפקיד ולכלול כמה תפקידים מתחלפים שתרצה בהיסטוריה מבוססת התורות. התפקיד הסופי צריך להיות תמיד assistant
ולסיים עם שני הזנות שורות חדשות.
לאחר מכן, שקול כמה הנחיות ותגובות לדוגמה מהמודל. בדוגמה הבאה, המשתמש שואל שאלה פשוטה לעוזר.
בדוגמה הבאה, המשתמש מנהל שיחה עם העוזר על אתרי תיירות בפריז. לאחר מכן המשתמש שואל לגבי האפשרות הראשונה המומלצת על ידי עוזר הצ'אט.
בדוגמאות הבאות, אנו מגדירים את תצורת המערכת.
לנקות את
לאחר שתסיים להפעיל את המחברת, הקפד למחוק את כל המשאבים שיצרת בתהליך כדי שהחיוב שלך יופסק. השתמש בקוד הבא:
סיכום
בפוסט הזה הראינו לכם איך להתחיל עם דגמי Llama 3 בסטודיו SageMaker. כעת יש לך גישה לארבעה דגמי יסוד של Lama 3 המכילים מיליארדי פרמטרים. מכיוון שדגמי היסודות מאומנים מראש, הם יכולים גם לסייע בהורדת עלויות ההדרכה והתשתית ולאפשר התאמה אישית למקרה השימוש שלך. לבדוק SageMaker JumpStart ב-SageMaker Studio עכשיו כדי להתחיל.
על מחברים
קייל אולריך הוא מדען יישומי II ב-AWS
שין הואנג הוא מדען יישומי בכיר ב-AWS
צ'ינג לאן הוא מהנדס מפתח תוכנה בכיר ב-AWS
האוטיאן אן הוא מהנדס תוכנה II ב-AWS
כריסטופר וויטן הוא מהנדס פיתוח תוכנה II ב-AWS
טיילר אוסטרברג הוא מהנדס פיתוח תוכנה I ב-AWS
מנאן שה הוא מנהל פיתוח תוכנה ב-AWS
ג'ונתן גיניגה הוא מהנדס מפתח תוכנה בכיר ב-AWS
אדריאנה סימונס הוא מנהל שיווק מוצר בכיר ב-AWS
יוני זכה הוא מנהל מוצר בכיר ב-AWS
אשיש כטן הוא מדען יישומי בכיר ב-AWS
רחנה צ'דהא הוא אדריכל פתרונות ראשי - AI/ML ב-AWS
דיפק רופקולה הוא מומחה GTM ראשי ב-AWS
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 10
- 11
- 120
- 19
- 360- תואר
- 43
- 7
- 8
- 8k
- 9
- a
- אודות
- לְקַבֵּל
- קביל
- גישה
- נגיש
- הודה
- להוסיף
- הוסיף
- תוספת
- יתרונות
- לאחר
- שוב
- נגד
- הסכם
- AI / ML
- יישור
- תעשיות
- לאורך
- גם
- תמיד
- am
- אמזון בעברית
- אמזון SageMaker
- אמזון SageMaker JumpStart
- סטודיו SageMaker של אמזון
- אמזון שירותי אינטרנט
- אווירה
- an
- אנליזה
- ו
- תשתיות
- להכריז
- לענות
- מענה
- כל
- תפוח עץ
- יישומית
- מתאים
- ארכיטקטורה
- ARE
- אמנות
- AS
- לשאול
- לשאול
- עוזר
- המשויך
- At
- אווירה
- משיכה
- אטרקציות
- אוטומטי
- זמין
- לְהִמָנַע
- AWS
- בסיס
- BE
- דוב
- יפה
- כי
- היה
- התנהגות
- בייג'ינג
- תאמינו
- בֵּין
- חיוב
- מיליארדים
- אריזה מקורית
- הפסקות
- עוצר נשימה
- רחב
- שבור
- דפדוף
- בִּניָן
- נבנה
- אבל
- לַחְצָן
- by
- שיחות
- CAN
- הון
- כרטיס
- מקרה
- מקרים
- שינוי
- צ'אט
- שיחות
- לבדוק
- בחרו
- עִיר
- קלאסי
- לְנַקוֹת
- קוד
- אוסף
- שילוב
- משולב
- מגיע
- תקשורת
- השלמה
- תְצוּרָה
- לשקול
- קבוע
- להכיל
- מכולה
- מכיל
- הקשר
- קשר
- ברציפות
- לִשְׁלוֹט
- בקרות
- נוֹחַ
- שיחה
- תוֹאֵם
- עלויות
- לִיצוֹר
- נוצר
- יְצִירָתִי
- מכריע
- תַרְבּוּת
- כוס
- לקוחות
- התאמה אישית
- אישית
- נתונים
- אבטחת מידע
- de
- מוקדש
- בְּרִירַת מֶחדָל
- לְהַגדִיר
- לפרוס
- פרס
- פריסה
- פריסה
- פורס
- לגזור
- רצוי
- יעדים
- פרט
- פרטים
- מפתח
- צעצועי התפתחות
- דיאלוג
- הבדל
- אחר
- ארוחות ערב
- לגלות
- גיוון
- do
- לא איכפת
- עושה
- דון
- עשה
- הוכפל
- מטה
- בְּמַהֲלָך
- אפלולית
- e
- כל אחד
- בקלות
- מַאֲמָצִים
- לאפשר
- מה שמאפשר
- סוף
- מקצה לקצה
- נקודת קצה
- מהנדס
- הנדסה
- אנגלית
- מספיק
- הבטחתי
- סביבה
- אֲפִילוּ
- כל
- כולם
- דוגמה
- דוגמאות
- נרגש
- ניסיון
- הוגן
- שקר
- מפורסם
- רחוק
- מעלל
- מומלצים
- תכונות
- רגליים
- מעטים
- סרטים
- סופי
- ראשון
- טעם
- לָצוּף
- תזרים
- הבא
- כף רגל
- בעד
- פוּרמָט
- קרן
- ארבע
- צרפת
- צרפתית
- טרי
- החל מ-
- כללי
- תורת היחסות הכללית
- ליצור
- נוצר
- דור
- גנרטטיבית
- עדין
- גרמנית
- לקבל
- זכוכית
- Go
- הולך
- בהדרגה
- גדול
- פורץ דרך
- הדרכה
- מוּדרָך
- לקרות
- קרה
- קשה
- עבודה קשה
- יש
- בריא
- לעזור
- עזרה
- כאן
- גבוה יותר
- היסטורי
- היסטוריה
- להחזיק
- עמוד הבית
- שעה
- דיור
- איך
- איך
- HTML
- HTTPS
- טבור
- רכזות
- i
- איקונים
- if
- ii
- לייבא
- מרשים
- משופר
- שיפורים
- in
- לכלול
- כולל
- להגדיל
- גדל
- גדל
- מידע
- תשתית
- קלט
- למשל
- מייד
- משולב
- מִמְשָׁק
- אל תוך
- אירלנד
- מְבוּדָד
- IT
- שֶׁלָה
- jpg
- רק
- שמור
- לדעת
- ידוע
- נחיתה
- ציוני דרך
- שפה
- הגדול ביותר
- לשגר
- חוקים
- לִלמוֹד
- למידה
- עזבו
- אורך
- רישיון
- החיים
- הרים
- אוֹר
- קל יותר
- כמו
- קו
- רשימות
- ספרות
- קְצָת
- לחיות
- חי
- לאמה
- ממוקם
- נראה
- מגרש
- להוריד
- עשוי
- לעשות
- עשייה
- מנהל
- דרך
- באופן ידני
- רב
- שיווק
- מקסימום
- מקסימום
- מאי..
- משמעות
- הודעה
- meta
- חצות
- דקות
- מיקסר
- תַעֲרוֹבֶת
- ML
- MLOps
- מודל
- מודלים
- צג
- יותר
- רוב
- הכי פופולארי
- הרבה
- מוזיאון
- מוזיאונים
- שם
- צורך
- נחוץ
- רשת
- חדש
- הבא
- לילה
- לא
- מחברה
- עַכשָׁיו
- מספר
- NY
- תצפית
- משקיפים
- להתרחש
- of
- הַצָעָה
- הצעה
- המיוחדות שלנו
- לעתים קרובות
- אוהיו
- שמן
- on
- ONE
- רק
- נפתח
- אופטימלי
- אופטימיזציה
- אפשרות
- or
- להזמין
- אורגון
- אחרים
- שלנו
- לשאת
- הַחוּצָה
- תפוקה
- פלטים
- יותר
- עמוד
- פרמטר
- פרמטרים
- פריז
- חלק
- לְבַצֵעַ
- ביצועים
- פיסיקה
- לְחַבֵּר
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שיחק
- אנא
- מדיניות
- פופולרי
- הודעה
- חיזוי
- העריכה
- קודם
- מנהל
- נהלים
- תהליך
- המוצר
- מנהל מוצר
- פרופילים
- התקדמות
- הנחיות
- הצעות
- לספק
- ובלבד
- ספקים
- מספק
- ציבורי
- תחבורה ציבורית
- בפומבי
- מטרה
- גם
- פיתון
- שאלה
- שאלות
- אקראי
- רכס
- תעריפים
- RE
- הגיע
- סיבות
- מתכון
- מוּמלָץ
- מופחת
- להתייחס
- סֵרוּב
- דרישת שלום
- אזורים
- תורת היחסות
- לדרוש
- משאב
- משאבים
- תגובות
- תוצאות
- נהר
- תפקיד
- תפקידים
- רומן
- חֶדֶר
- הפעלה
- ריצה
- s
- בעל חכמים
- צינורות SageMaker
- מלח
- אותו
- לִטעוֹם
- לומר
- מַדְעָן
- Sdk
- חיפוש
- חיפוש
- שְׁנִיָה
- סעיף
- לבטח
- אבטחה
- לִרְאוֹת
- נבחר
- בחירה
- מבחר
- לחצני מצוקה לפנסיונרים
- רגש
- שירותים
- הגשה
- סט
- כמה
- צוּרָה
- בְּעִיטָה
- צריך
- לְהַצִיג
- הראה
- הופעות
- כיבוי
- משמעותי
- פָּשׁוּט
- בפשטות
- יחיד
- אתרים
- מידה
- גדל
- להאט
- לאט
- להחליק
- So
- עד כה
- תוכנה
- פיתוח תוכנה
- פִּתָרוֹן
- פתרונות
- כמה
- זיק
- מיוחד
- מומחה
- מפורט
- מפרט
- מְהִירוּת
- מסחרי
- לעמוד
- מעמד
- התחלה
- החל
- הברית
- יציב
- צעדים
- עצור
- נעצר
- זרם
- מחרוזת
- מִבְנֶה
- סטודיו
- מדהים
- לאחר מכן
- באופן משמעותי
- בהצלחה
- כזה
- תמיכה
- נתמך
- בטוח
- סמל
- מערכת
- שולחן
- חייט
- לקחת
- לוקח
- נטילת
- משימות
- מפתחות
- נבחרת
- תבנית
- מונחים
- טֶקסט
- להודות
- זֶה
- השמיים
- עיר הבירה
- העולם
- אז
- התאוריה
- שם.
- אלה
- הֵם
- דק
- זֶה
- אלפים
- דרך
- זמן
- ל
- היום
- יַחַד
- אסימון
- מטבעות
- טוקיו
- גַם
- כלים
- חלק עליון
- סה"כ
- סיור
- מגדל
- הדרכה
- שנאי
- לתרגם
- תרגום
- הובלה
- שתיים
- סוג
- סוגים
- ui
- תחת
- ייחודי
- עד
- עדכון
- להשתמש
- במקרה להשתמש
- משתמש
- שימושים
- באמצעות
- בעל ערך
- ערכים
- וריאציות
- מגוון
- שונים
- גרסה
- מאוד
- באמצעות
- נופים
- וירג'יניה
- חזותי
- כֶּרֶך
- vs
- ללכת
- רציתי
- מִלחָמָה
- היה
- מים
- דרכים
- we
- אינטרנט
- שירותי אינטרנט
- המבוסס על האינטרנט
- חתונות
- טוֹב
- הלכתי
- מה
- מתי
- אשר
- בזמן
- לבן
- למה
- יצטרך
- חלונות
- יַיִן
- עם
- פלא
- Word
- מילים
- תיק עבודות
- עוֹלָם
- אתה
- זפירנט