דגמי שמש מבית Upstage זמינים כעת באמזון SageMaker JumpStart | שירותי האינטרנט של אמזון

פוסט זה בבלוג נכתב בשיתוף עם Hwalsuk Lee ב-Upstage.

היום, אנו נרגשים להכריז כי סולרי מודל הבסיס שפותח על ידי Upstage זמין כעת עבור לקוחות המשתמשים אמזון SageMaker JumpStart. Solar הוא מודל שפה גדול (LLM) 100% מאומן מראש אמזון SageMaker שמתעלה על הביצועים ומשתמש בגודלו הקומפקטי וברשומות המסלול העוצמתיות שלו כדי להתמחות בהדרכה למטרות, מה שהופך אותו למגוון בשפות, תחומים ומשימות.

כעת אתה יכול להשתמש ב- שמש מיני צ'אט ו Solar Mini Chat - Quant דגמים שהוכשרו מראש בתוך SageMaker JumpStart. SageMaker JumpStart הוא מרכז למידת המכונה (ML) של SageMaker המספק גישה לדגמי יסוד בנוסף לאלגוריתמים מובנים כדי לעזור לך להתחיל במהירות עם ML.

בפוסט זה, אנו עוברים דרך כיצד לגלות ולפרוס את מודל השמש באמצעות SageMaker JumpStart.

מהו דגם הסולאר?

Solar הוא דגם קומפקטי וחזק לשפות אנגלית וקוריאנית. זה מכוון במיוחד למטרות צ'אט מרובה פניות, ומפגין ביצועים משופרים במגוון רחב של משימות עיבוד שפה טבעית.

המודל Solar Mini Chat מבוסס על שמש 10.7B, עם 32 שכבות לאמה 2 מבנה, ואתחול עם משקולות מאומנות מראש מ מיסטרל 7B תואם לארכיטקטורת Llama 2. כוונון עדין זה מצייד אותו ביכולת לטפל בשיחות ממושכות בצורה יעילה יותר, מה שהופך אותו למיומן במיוחד ליישומים אינטראקטיביים. הוא משתמש בשיטת קנה מידה שנקראת העלאת קנה מידה לעומק (DUS), המורכב משינוי קנה מידה של עומק והמשך אימון מקדים. DUS מאפשר הגדלה הרבה יותר פשוטה ויעילה של דגמים קטנים יותר מאשר שיטות קנה מידה אחרות כגון תערובת של מומחים (MoE).

בדצמבר 2023, דגם ה-Solar 10.7B עשה גלים כשהגיע לפסגת פתח את ה-LLM Leaderboard של חיבוק פנים. באמצעות שימוש בפחות פרמטרים, Solar 10.7B מספק תגובות דומות ל-GPT-3.5, אך מהיר פי 2.5. יחד עם פסגת ה-Open LLM Leaderboard, Solar 10.7B מתעלה על GPT-4 עם מודלים מאומנים במיוחד בתחומים ומשימות מסוימות.

האיור הבא ממחיש כמה מהמדדים הללו:

עם SageMaker JumpStart, אתה יכול לפרוס דגמים מבוססי Solar 10.7B שהוכשרו מראש: Solar Mini Chat וגרסה כמותית של Solar Mini Chat, מותאמת ליישומי צ'אט באנגלית וקוריאנית. מודל ה-Solar Mini Chat מספק הבנה מתקדמת של ניואנסים בשפה הקוריאנית, מה שמעלה משמעותית את אינטראקציות המשתמש בסביבות צ'אט. הוא מספק תגובות מדויקות לקלט של משתמשים, מבטיח תקשורת ברורה יותר ופתרון בעיות יעיל יותר ביישומי צ'אט באנגלית וקוריאנית.

התחל עם דגמי Solar ב- SageMaker JumpStart

כדי להתחיל עם דגמי Solar, אתה יכול להשתמש ב- SageMaker JumpStart, שירות רכזת ML מנוהל במלואו כדי לפרוס דגמי ML מובנים מראש בסביבה מתארחת מוכנה לייצור. אתה יכול לגשת לדגמי Solar דרך SageMaker JumpStart ב סטודיו SageMaker של אמזון, סביבת פיתוח משולבת מבוססת אינטרנט (IDE) שבה אתה יכול לגשת לכלים ייעודיים לביצוע כל שלבי הפיתוח של ML, מהכנת נתונים ועד לבנייה, הדרכה ופריסה של דגמי ה-ML שלך.

במסוף SageMaker Studio, בחר קפיצת פתיחה בחלונית הניווט. אתה יכול להזין "שמש" בשורת החיפוש כדי למצוא את הדגמים הסולאריים של Upstage.

בואו נפרוס את המודל Solar Mini Chat – Quant. בחר את כרטיס הדגם כדי להציג פרטים על הדגם כגון הרישיון, הנתונים המשמשים לאימון וכיצד להשתמש במודל. תמצא גם א לפרוס אפשרות, שלוקחת אותך לדף נחיתה שבו אתה יכול לבדוק מסקנות עם מטען דוגמה.

דגם זה דורש א AWS שוק מִנוּי. אם כבר נרשמתם כמנוי לדגם זה, ואושרתם להשתמש במוצר, תוכלו לפרוס את הדגם ישירות.

אם לא נרשמת לדגם זה, בחר הירשם, עבור אל AWS Marketplace, עיין בתנאי התמחור והסכם רישיון משתמש הקצה (EULA), ובחר קבל הצעה.

לאחר שנרשמת למודל, תוכל לפרוס את המודל שלך לנקודת קצה של SageMaker על ידי בחירת משאבי הפריסה, כגון סוג המופע וספירת המופעים הראשוניים. בחר לפרוס והמתן שתיווצר נקודת קצה להסקת המודל. אתה יכול לבחור א ml.g5.2xlarge למשל כאפשרות זולה יותר להסקה עם דגם הסולאר.

כאשר נקודת הקצה של SageMaker שלך נוצרה בהצלחה, תוכל לבדוק אותה דרך סביבות היישום השונות של SageMaker.

הפעל את הקוד שלך עבור דגמי Solar ב-SageMaker Studio JupyterLab

SageMaker Studio תומך בסביבות פיתוח יישומים שונות, כולל JupyterLab, מערך של יכולות המגדילות את היצע המחברת המנוהלת במלואה. הוא כולל גרעינים שמתחילים תוך שניות, זמן ריצה מוגדר מראש עם מדעי הנתונים הפופולריים, מסגרות ML ואחסון בלוק פרטי בעל ביצועים גבוהים. למידע נוסף, ראה SageMaker JupyterLab.

צור שטח JupyterLab בתוך SageMaker Studio שמנהל את משאבי האחסון והמחשוב הדרושים להפעלת היישום JupyterLab.

אתה יכול למצוא את הקוד המציג את הפריסה של מודלים סולאריים ב- SageMaker JumpStart ודוגמה לשימוש במודל הפרוס ב- GitHub ריפו. כעת תוכל לפרוס את המודל באמצעות SageMaker JumpStart. הקוד הבא משתמש במופע ברירת המחדל ml.g5.2xlarge עבור Solar Mini Chat – נקודת הסקת מסקנות של מודל Quant.

מודלים סולאריים תומכים במטען בקשה/תגובה התואם לנקודת הקצה של השלמת Chat של OpenAI. אתה יכול לבדוק דוגמאות צ'אט בסיבוב בודד או מרובה פניות עם Python.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

ביצעת בהצלחה מסקנות בזמן אמת עם דגם ה-Solar Mini Chat.

לנקות את

לאחר שבדקת את נקודת הקצה, מחק את נקודת הקצה של SageMaker ומחק את המודל כדי להימנע מחיובים.

אתה יכול גם להפעיל את הקוד הבא כדי למחוק את נקודת הקצה והמצב במחברת של SageMaker Studio JupyterLab:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

לקבלת מידע נוסף, ראה מחק נקודות קצה ומשאבים. בנוסף, אתה יכול סגור את משאבי SageMaker Studio שכבר לא נדרשים.

סיכום

בפוסט הזה, הראינו לכם איך להתחיל עם דגמי הסולאר של Upstage ב-SageMaker Studio ולפרוס את המודל להסקת מסקנות. הראינו לך גם איך אתה יכול להריץ את קוד הדוגמה של Python ב- SageMaker Studio JupyterLab.

מכיוון שדגמי Solar כבר הוכשרו מראש, הם יכולים לעזור בהורדת עלויות ההדרכה והתשתית ולאפשר התאמה אישית עבור יישומי הבינה המלאכותית שלך.

נסה את זה ב קונסולת SageMaker JumpStart or קונסולת SageMaker Studio! אתה יכול גם לצפות בסרטון הבא, נסה את 'סולאר' עם Amazon SageMaker.

הדרכה זו מיועדת למטרות מידע בלבד. אתה עדיין צריך לבצע הערכה עצמאית משלך, ולנקוט באמצעים כדי להבטיח שאתה מציית לפרקטיקות ולסטנדרטים הספציפיים של בקרת איכות משלך, ולכללים המקומיים, החוקים, התקנות, הרישיונות ותנאי השימוש החלים עליך, התוכן שלך, ומודל הצד השלישי הנזכר בהנחיה זו. ל-AWS אין שליטה או סמכות על מודל הצד השלישי הנזכר בהנחיה זו, ואינה מציגה כל מצג או התחייבות לכך שדגם הצד השלישי מאובטח, נטול וירוסים, תפעולי או תואם לסביבת הייצור והסטנדרטים שלך. AWS אינה מציגה כל מצג, אחריות או ערבות לכך שמידע כלשהו בהנחיה זו יביא לתוצאה או תוצאה מסוימת.

---

על הכותבים

צ'אני יון הוא עורך דין ראשי למפתחים ב-AWS, ונלהב לעזור למפתחים לבנות יישומים מודרניים על שירותי AWS העדכניים ביותר. הוא מפתח פרגמטי ובלוגר בנשמה, והוא אוהב למידה מונעת קהילה ושיתוף של טכנולוגיה.

הוואלסוק לי הוא מנהל טכנולוגיה ראשי (CTO) ב-Upstage. הוא עבד עבור Samsung Techwin, NCSOFT ו-Naver כחוקר בינה מלאכותית. הוא לומד לדוקטורט שלו בהנדסת מחשבים וחשמל במכון קוריאה המתקדם למדע וטכנולוגיה (KAIST).

ברנדון לי הוא אדריכל פתרונות בכיר ב-AWS, ועוזר בעיקר ללקוחות טכנולוגיות חינוכיות גדולות במגזר הציבורי. יש לו למעלה מ-20 שנות ניסיון בהובלת פיתוח אפליקציות בחברות גלובליות ובתאגידים גדולים.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/