AlexaTM 20B זמין כעת באמזון SageMaker JumpStart

היום, אנו מכריזים על זמינות הציבור של הטכנולוגיה המתקדמת של אמזון Alexa Teacher Model עם 20 מיליארד פרמטרים  (AlexaTM 20B) דרך אמזון SageMaker JumpStart, מרכז למידת המכונה של SageMaker. AlexaTM 20B הוא מודל שפה רב לשוני בקנה מידה גדול מרצף לרצף (seq2seq) שפותח על ידי אמזון. אתה יכול להשתמש ב- AlexaTM 20B עבור מגוון רחב של מקרי שימוש בתעשייה, מסיכום דוחות כספיים ועד למענה על שאלות עבור צ'אטבוטים של שירות לקוחות. ניתן ליישם אותו גם כאשר יש רק כמה דוגמאות הדרכה זמינות, או אפילו אף אחת. AlexaTM 20B ביצועים טובים יותר 175 מיליארד דגם GPT-3 על משימות למידה ב-Zero-shot כגון SuperGLUE ומראה ביצועים עדכניים למשימות אפס-shot רב לשוניות כגון XNLI.

בפוסט זה, אנו מספקים סקירה כללית כיצד לפרוס ולהפעיל הסקה עם מודל AlexaTM 20B באופן תכנותי באמצעות ממשקי API של JumpStart, הזמינים ב- SageMaker Python SDK. אנו מדגימים כיצד ניתן להשתמש במודל זה כדי לתרגם בין מספר שפות, לסכם טקסט ארוך, לענות על שאלות המבוססות על הקשר נתון וליצור טקסט שלא ניתן להבחין בו מטקסט שנכתב על ידי אדם.

AlexaTM 20B ולמידה בתוך הקשר

התוכנית Alexa Teacher Model (AlexaTM) של Amazon Alexa AI נועדה לבנות מודלים של למידה עמוקה בקנה מידה גדול ורב לשוני (בעיקר מבוססי רובוטריקים), במטרה לשפר הכללה וטיפול במחסור בנתונים עבור משימות במורד הזרם. עם הכשרה מוקדמת בקנה מידה גדול, מודלים של מורים יכולים להכליל היטב כדי ללמוד משימות חדשות מנתונים דלילים ולעזור למפתחים לשפר ביצועים במשימות במורד הזרם. AlexaTM 20B הראה ביצועים תחרותיים על מדדים ומשימות נפוצות של עיבוד שפה טבעית (NLP), כגון תרגום מכונה, הפקת נתונים וסיכום.

שימוש במודלים של בסיס כגון AlexaTM 20B מפחית את הצורך בהכשרה מוקדמת של מודלים יקרים ומספק נקודת התחלה עדכנית לפיתוח מודלים של משימות עם פחות מאמץ ופחות נתוני אימון ספציפיים למשימה. אחת היכולות המרכזיות של מודלים של בסיס היא שאנו יכולים ללמד מודל לבצע משימות חדשות כגון שאלות ותשובות בשפות שונות, עם כמויות קטנות מאוד של דוגמאות קלט וללא צורך בשינוי עדין או עדכוני שיפוע. זה ידוע בשם למידה בתוך הקשר. עם דוגמאות בודדות של משימה חדשה שסופקו כהקשר להסקת מסקנות, מודל AlexaTM 20B יכול להעביר ידע ממה שנלמד במהלך אימון מקדים בקנה מידה גדול, אפילו בין שפות. זה נקרא כמה יריות למידה. במקרים מסוימים, המודל יכול לתפקד היטב ללא נתוני אימון כלל, עם הסבר בלבד של מה יש לחזות. זה נקרא אקדח למידה. לדוגמה, נניח שאנו משתמשים ב-AlexaTM 20B ליצירת שפה טבעית חד-פעמית. הקלט המועבר למודל הוא דוגמה לאימון בצורה של צמדי תכונה-ערך, יחד עם נרטיב טקסט הפלט המתאים לו. לאחר מכן מצורפת דוגמה לבדיקה כדי ליצור את שורת הקלט המלאה, כפי שמוצג באיור הבא.

למידע נוסף על הדגם, בדוק מודל Alexa בעל פרמטר 20B מציב סימנים חדשים בלמידה של מספר יריות או המקור מאמר.

השימוש ב- AlexaTM 20B זמין לשימוש לא מסחרי ומכוסה תחת הסכם רישיון Alexa Teacher Model.

סקירת פתרונות

הסעיפים הבאים מספקים הדגמה שלב אחר שלב כיצד לפרוס את המודל, להפעיל מסקנות ולעשות למידה בהקשר כדי לפתור משימות למידה של מספר יריות.

שימו לב שהסעיף הבא מכיל קטעי קוד; הקוד המלא עם כל השלבים בהדגמה זו זמין במחברת המצורפת: למידה בהקשר עם AlexaTM 20B ב- SageMaker JumpStart.

פרוס את הדגם

כדי להשתמש במודל שפה גדול ב- SageMaker, אתה צריך סקריפט מסקנות ספציפי למודל, הכולל שלבים כמו טעינת מודל, הקבילה ועוד. אתה גם צריך ליצור בדיקות מקצה לקצה עבור סקריפטים, מודל וסוגי המופעים הרצויים כדי לאמת ששלושתם יכולים לעבוד יחד. JumpStart מסירה את המאמץ הזה על ידי אספקת סקריפטים מוכנים לשימוש שנבדקו היטב.

SageMaker נותן לך את היכולת להפעיל קונטיינרים של Docker באופן נרחב לצורך הדרכה והסקת מסקנות. JumpStart משתמש אלה, הספציפיים למסגרת הזמינים מכולות ללמידה עמוקה של SageMaker (DLCs). נתחיל באחזור ה-DLC המותאם (deploy_image_uri) משתמש ב model_id. ואז אנחנו מביאים את model_uri המכיל את פרמטרי המודל, יחד עם סקריפטים לטיפול בהסקת מסקנות וכל תלות קשורה. לאחר מכן, אנו יוצרים א דוגמה לדוגמא ב- SageMaker ופרסו אותו לנקודת קצה בזמן אמת. ראה את הקוד הבא:

# model_version="*" fetches the latest version of the model
model_id, model_version = "pytorch-textgeneration1-alexa20b", "*"

instance_type = "ml.g4dn.12xlarge"

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve(
    region=None,
    framework=None,  # automatically inferred from model_id
    image_scope="inference",
    model_id=model_id,
    model_version=model_version,
    instance_type=inference_instance_type,
)

# Retrieve the model uri. This includes the model parameters, all dependencies and scripts for model loading, inference handling etc.
 model_uri = model_uris.retrieve(
 model_id=model_id, 
 model_version=model_version, 
 model_scope="inference")

פריסת AlexaTM 20B דורשת מופע מגובה GPU עם לפחות 50 GB של זיכרון CPU ולפחות 42 GB של זיכרון GPU. SageMaker מספקת מקרים רבים כאלה התומכים בהסקה בזמן אמת. בדקנו את הפתרון הזה בשלושה מקרים: ml.g4dn.12xlarge, ml.p3.8xlarge, ml.p3.16xlarge. ראה את הקוד הבא:

env = {
        "SAGEMAKER_MODEL_SERVER_TIMEOUT": str(3600),
        "MODEL_CACHE_ROOT": "/opt/ml/model",
        "SAGEMAKER_ENV": "1",
        "SAGEMAKER_SUBMIT_DIRECTORY":"/opt/ml/model/code/",
        "SAGEMAKER_PROGRAM": "inference.py",
        "SAGEMAKER_MODEL_SERVER_WORKERS": "1", # One worker for the endpoint rather than one worker per GPU by default
        "TS_DEFAULT_WORKERS_PER_MODEL":"1" # 1 TS worker which allocates all memory to the single master worker.
    }
    
#Create the SageMaker model instance. Note that we need to pass Predictor class when we deploy model through Model class,
#for being able to run inference through the sagemaker API.
model = Model(
    image_uri=deploy_image_uri,
    model_data=model_uri,
    role=aws_role,
    predictor_cls=Predictor,
    name=endpoint_name,
    env=env
)

לאחר מכן, אנו פורסים את המודל לנקודת קצה של SageMaker בזמן אמת:

# deploy the Model.
model_predictor = model.deploy(
    initial_instance_count=1,
    instance_type=instance_type,
    endpoint_name=endpoint_name,
    volume_size= volume_size, # Specify the size of the Amazon EBS volume in GBs.
    model_data_download_timeout = 3600, # Specify the model download timeout in seconds.
    container_startup_health_check_timeout = 3600, # Specify the health checkup timeout in seconds
)

AlexaTM 20B דורש 40 ג'יגה-בייט של שטח דיסק במיכל ההסקה. מופע ml.g4dn.12xlarge עונה על הדרישה הזו. לדוגמה, סוגים ml.p3.8xlarge ו-ml.p3.16xlarge, אנו מצרף חנות בלוקים אלסטית של אמזון (Amazon EBS) נפח לטיפול בגודל הדגם הגדול. לכן, קבענו volume_size = None בעת פריסה על ml.g4dn.12xlarge ו volume_size=256 בעת פריסה על ml.p3.8xlarge או ml.p3.16xlarge.

פריסת המודל עשויה להימשך עד 10 דקות. לאחר פריסת המודל, נוכל לקבל ממנו תחזיות בזמן אמת!

הפעל מסקנות

AlexaTM 20B הוא מודל ליצירת טקסט אשר בהינתן רצף חלקי (משפט או קטע טקסט), יוצר את קבוצת המילים הבאה. קטע הקוד הבא נותן לך הצצה כיצד לבצע שאילתות על נקודת הקצה שפרסנו ולנתח את הפלטים עבור משימת השלמה אוטומטית. כדי לשלוח בקשות למודל פרוס, אנו משתמשים במילון JSON מקודד בפורמט UTF-8. תגובת נקודת הקצה היא אובייקט JSON המכיל רשימה של טקסטים שנוצרו.

def query(model_predictor, text, kwargs = None):
    """Query the model predictor."""

    payload = {"text_inputs": text}
    if kwargs is not None:
        payload.update(kwargs)
        
    encoded_inp = json.dumps(payload).encode("utf-8")

    query_response = model_predictor.predict(
        encoded_inp,
        {
            "ContentType": "application/json",
            "Accept": "application/json",
        },
    )
    return query_response
 
def parse_response(query_response):
    """Parse response and return the generated texts."""

    model_predictions = json.loads(query_response)
    generated_texts = model_predictions["generated_texts"]
    return generated_texts

לאחר מכן, נשאל את נקודת הקצה וננתח את התגובה על טקסט קלט לדוגמה:

# text can be a single string or a list of strings
text = “[CLM]My name is Lewis and I like to"
kwargs = {"num_beams": 5, "no_repeat_ngram_size": 2, “max_length”: 50}
query_response = query_endpoint(model_predictor, text, kwargs)
generated_texts = parse_response(query_response)

Generated_texts: “travel and meet new people. I have been to many countries and I like to meet people from all over the world. If you are interested in meeting me, please feel free to send me a message and we can arrange a meeting.”

AlexaTM 20B תומך כיום ב-10 פרמטרים של יצירת טקסט במהלך הסקה: max_length, num_return_sequences, num_beams, no_repeat_ngram_size, temperature, early_stopping, do_sample, top_k, top_p, ו seed. למידע מפורט על ערכים חוקיים עבור כל פרמטר והשפעתם על הפלט, עיין במחברת המצורפת: למידה בהקשר עם AlexaTM 20B ב- SageMaker JumpStart.

למידה בתוך הקשר

למידה בתוך הקשר מתייחסת לדברים הבאים: אנו מספקים למודל השפה הנחיה, המורכבת מאימון צמדי קלט-פלט המדגימים את המשימה. אנו מוסיפים קלט מבחן להנחיה ומאפשרים למודל השפה לבצע חיזויים על ידי התניה על ההנחיה וחיזוי האסימונים או המילים הבאים. זוהי טכניקה יעילה ביותר לפתרון מעט בעיות של לימוד יריות, שבה אנו לומדים משימה מכמה דוגמאות אימון.

לאחר מכן, אנו מראים כיצד ניתן להשתמש ב- AlexaTM 20B עבור מספר משימות של צילום 1 ואפס באמצעות למידה בתוך הקשר. שלא כמו מודלים קודמים של רצף לרצף, AlexaTM 20B הוכשר על מודלים של שפה סיבתית בנוסף ל-denoising, מה שהופך אותו למודל טוב ללמידה בתוך הקשר.

סיכום טקסט של צילום אחד

סיכום טקסט הוא המשימה של קיצור הנתונים ויצירת סיכום המייצג את המידע החשוב ביותר הקיים בטקסט המקורי. סיכום טקסט 1-shot מתייחס להגדרה שבה אנו לומדים לסכם את הטקסט על סמך מדגם אימון בודד. הקוד הבא הוא דוגמה לסיכום טקסט מתוך מערך נתונים של XSUM:

train_article = "The announcement ends months of uncertainty for Cornish Language Partnership staff whose contracts had been due to end. Local government minister Andrew Stunnell said the three-year funding package for the service would help make sure the language survived. But he warned that long term funding should come from Cornwall. He said it was "important to make sure the Cornish were given the opportunity to put down sound foundations." "In the longer term support for the Cornish language is going to be something which is going to have to be based in Cornwall and will not come from London," he added. The Cornish Language Partnership's, Jennifer Lowe, said: "We can now plan for the future thanks to the funding." The United Nations recently upgraded the status of the Cornish language from "extinct" to "critically endangered". It is thought fewer than 500 people worldwide are fluent in the language.""
                
train_summary = "The government is spending nearly £400,000 to help save the Cornish language."

test_article = "Torrents of water brought down a suspended ceiling and damaged stock "
                "in the Victoria Centre store at about 22:40 BST on Tuesday. Managers "
                "had hoped for a weekend reopening but it is now closed "until "
                "further notice". Staff have been helping with the clean-up "
                "operation. Water poured through from a rooftop room, leaving the "
                "top floor under three inches of water and stock "significantly" "
                "damaged. A spokeswoman said: "Our teams are working around the "
                "clock to get the shop open as quickly as possible and we're sorry "
                "for the inconvenience this has caused to our customers.""

אנו משתמשים בהנחיה הבאה לסיכום כאשר מסופקת רק מדגם הדרכה אחד. הטקסט שנוצר מהמודל מתפרש כסיכום החזוי של מאמר הבדיקה.

הפלט הוא כדלקמן:

AlexaTM 20B output: 'The top floor of a London department store has been flooded.'

יצירת שפה טבעית 1-shot

יצירת שפה טבעית היא המשימה של הפקת נרטיבים של טקסט בהינתן טקסט הקלט. המדגם הבא מציג מדגם הדרכה מה- מערך נתונים של E2E:

train_inp = "name[The Punter], food[Indian], priceRange[cheap]"
train_out = "The Punter provides Indian food in the cheap price range."

test_inp = "name[Blue Spice], eatType[coffee shop], area"

אנו משתמשים בהנחיה הבאה ליצירת שפה טבעית כאשר מסופקת רק דגימת אימון אחת (1-shot). הטקסט שנוצר מהמודל מתפרש כנרטיב הטקסט החזוי עבור קלט הבדיקה (test_inp).

הפלט הוא כדלקמן:

AlexaTM 20B output: 'Blue Spice is a coffee shop in the city centre. '

תרגום מכונה 1-shot

תרגום מכונה הוא המשימה של תרגום טקסט משפה אחת לאחרת. הדוגמה הבאה מציגה מדגם הדרכה מה- מערך נתונים של WMT19 שבו עלינו לתרגם מגרמנית לאנגלית:

train_inp = "Das Parlament erhebt sich zu einer Schweigeminute."
train_out = "The House rose and observed a minute' s silence"

test_inp = "Kleingärtner bewirtschaften den einstigen Grund von Bauern."

אנו משתמשים בהנחיה הבאה לתרגום מכונה כאשר מסופקת רק דגימת אימון אחת (1-shot). טקסט שנוצר מהמודל מתפרש כתרגום של קלט הבדיקה (test_inp).

הפלט הוא כדלקמן:

AlexaTM 20B translation: 'Gardeners cultivate the former land of farmers.'

תשובה לשאלת חילוץ אפס-שוט

תשובה לשאלות חילוץ היא המשימה של מציאת התשובה לשאלה מפסקת ההקשר. להלן דוגמה להקשר ולשאלה מה- מערך נתונים של SQuAD v2:

test_context = "The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy, a region in France. They were descended from Norse ("Norman" comes from "Norseman") raiders and pirates from Denmark, Iceland and Norway who, under their leader Rollo, agreed to swear fealty to King Charles III of West Francia. Through generations of assimilation and mixing with the native Frankish and Roman-Gaulish populations, their descendants would gradually merge with the Carolingian-based cultures of West Francia. The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century, and it continued to evolve over the succeeding centuries."
test_question = "In what country is Normandy located?"

שימו לב שאין לנו דוגמאות הדרכה למשימה שלנו. במקום זאת, אנו יוצרים שאלת דמה לגבי המילה האחרונה בהנחיה , על סמך ה test_context (דמה-shot). לכן, אנחנו למעשה מבצעים תשובות לשאלות מיצוי אפס.

אנו משתמשים בהנחיה הבאה לתשובה לשאלות מיצוי כאשר לא מסופקת מדגם הדרכה. טקסט שנוצר מהמודל מתפרש כתשובה לשאלת המבחן.

הפלט הוא כדלקמן:

AlexaTM 20B output: 'France'

הנדסה מהירה

הנדסה מהירה יכולה לפעמים להיות אומנות. אפילו שינויים קטנים בתבנית ההנחיה יכולים לגרום לשינויים משמעותיים בביצועי המודל במשימה ספציפית. להלן כמה עצות לכתיבת תבניות בקשות טובות. ראשית, חשוב לזכור שהמודל הוכשר ללמוד את המבנה של משפטים אמיתיים (מודל שפה סיבתית). ככזה, עדיף לוודא שתבנית ההנחיה שלך נכונה מבחינה דקדוקית ומבנית בשפה טבעית. שנית, הדגם המסוים הזה נהנה מצילומי דמה כדי לעזור ללמד אותו את המבנה הצפוי בתשובה, כפי שהודגם לעיל. שלישית, תמיד מומלץ לבחון את ביצועי המשימות על פני מגוון תבניות של מועמדות להנחיות. הנחה ו הוראות טבעיות הן שתי מסגרות קוד פתוח לסטנדרטיזציה של תבניות הנחיות, והן מספקות מגוון הנחיות לדוגמה המשמשות למשימות דוגמנות קיימות. בנוסף, נספח ב' של נייר AlexaTM 20B מספק את תבניות ההנחיות המשמשות ליצירת התוצאות המוצגות במאמר. ישנו תת-תחום הולך וגדל המוקדש ליצירה ולמידה אוטומטית של ההנחיות הטובות ביותר למשימה, כולל שפה טבעית והנחיות מתמשכות. זה מעבר להיקף של הדרכה זו.

סיכום

בפוסט זה, הראינו כיצד לפרוס את מודל AlexaTM 20B על נקודת קצה של SageMaker ולהפעיל מסקנות. אתה יכול להשתמש במודל AlexaTM 20B ללמידה בתוך הקשר עבור מגוון משימות למידה של מספר יריות. למידע נוסף על AlexaTM 20B, עיין ב מודל Alexa בעל פרמטר 20B מציב סימנים חדשים בלמידה של מספר יריות או המקור מאמר.

המחברים מבקשים להכיר בתרומותיהם הטכניות של Maciej Rudnicki, Jakub Debski, Ashish Khetan, Anastasiia Dubinina, Vitaliy Korolev, Karl Albertsen, Saleh Soltan, ו-Mariusz Momotko לקראת השקה זו.

על JumpStart

JumpStart הוא מרכז למידת המכונה (ML) של Amazon SageMaker שמציע למעלה מ-350 דגמים מאומנים מראש, אלגוריתמים מובנים ותבניות פתרונות מובנות מראש כדי לעזור לך להתחיל עם ML במהירות. JumpStart מארח דגמים חדישים ממרכזי דגמים פופולריים כגון TensorFlow, PyTorch, Hugging Face ו-MXNet, התומכים במשימות ML פופולריות כגון זיהוי אובייקטים, סיווג טקסט ויצירת טקסט. קהילת המחקר של ML השקיעה מאמץ רב כדי להפוך את רוב המודלים שפותחו לאחרונה לזמינים לשימוש הציבור. JumpStart שואפת לעזור לך למצוא נכון את המודלים והאלגוריתמים של ML, ולהתחיל מיד לבנות מודלים. באופן ספציפי, JumpStart מספק את היתרונות הבאים:

• גישה קלה עם ממשק המשתמש וה-SDK - אתה יכול לגשת לדגמים ואלגוריתמים ב-JumpStart באופן פרוגרמטי באמצעות SageMaker Python SDK או דרך JumpStart UI באמזון SageMaker Studio. נכון לעכשיו, AlexaTM 20B נגיש רק דרך SageMaker Python SDK.
• אלגוריתמים מובנים של SageMaker - JumpStart מספקת למעלה מ-350 אלגוריתמים מובנים ומודלים מאומנים מראש, יחד עם סקריפטים הדרכה מתאימים (אם נתמכים), סקריפטים להסקת מסקנות ומחברות לדוגמה. סקריפטים מותאמים לכל מסגרת ומשימה, ומספקים תכונות כגון תמיכה ב-GPU, כוונון דגמים אוטומטי והדרכה מצטברת. סקריפטים נבדקים גם מול מופעים ותכונות של SageMaker כדי שלא תתקלו בבעיות תאימות.
• פתרונות מובנים מראש – JumpStart מספקת קבוצה של 23 פתרונות למקרי שימוש נפוצים ב-ML, כגון חיזוי ביקוש ויישומים תעשייתיים ופיננסיים, אותם תוכל לפרוס בכמה קליקים בלבד. פתרונות הם יישומי ML מקצה לקצה המחברים שירותי AWS שונים כדי לפתור מקרה שימוש עסקי מסוים. הם משתמשים בתבניות AWS CloudFormation ובארכיטקטורות התייחסות לפריסה מהירה, מה שאומר שהן ניתנות להתאמה אישית מלאה.
• תמיכה – SageMaker מספקת מגוון תמיכה, כגון שמירה על גרסאות עדכניות כאשר תכונות חדשות של SageMaker או גרסאות Deep Learning Container יוצאות לאור, ויצירת תיעוד על אופן השימוש בתכני JumpStart בסביבת SageMaker.

למידע נוסף על JumpStart וכיצד ניתן להשתמש במודלים מאומנים מראש בקוד פתוח עבור מגוון משימות ML אחרות, בדוק את הדברים הבאים סרטון AWS re:Invent 2020.

על הכותבים

ד"ר Vivek Madan הוא מדען יישומי בצוות אמזון SageMaker JumpStart. הוא קיבל את הדוקטורט שלו מאוניברסיטת אילינוי באורבנה-שמפיין והיה חוקר פוסט דוקטורט בג'ורג'יה טק. הוא חוקר פעיל בלמידת מכונה ועיצוב אלגוריתמים ופרסם מאמרים בכנסים של EMNLP, ICLR, COLT, FOCS ו-SODA.

ג'ק פיצ'רלד הוא מדען יישומי בכיר עם Alexa AI, שם הוא מתמקד כיום במודלים של שפות גדולות, מודלים של טקסט רב לשוני ופעולות למידת מכונה.

ז'ואאו מורה הוא אדריכל פתרונות AI/ML מומחה בשירותי האינטרנט של אמזון. הוא מתמקד בעיקר במקרים של שימוש ב-NLP ובעזרה ללקוחות לייעל אימון ופריסה של מודל למידה עמוקה. הוא גם חסיד פעיל של פתרונות ML בעלי קוד נמוך וחומרה מתמחה ב-ML.

יוני זכה הוא מנהל מוצר עם SageMaker JumpStart ואלגוריתמים מובנים. הוא מתמקד בהפיכת תוכן ML לגילוי וניתן לשימוש בקלות עבור לקוחות SageMaker.

פולקיט קפור היא המובילה במוצר עבור תוכנית Alexa Teacher Model עם Alexa AI, תוך התמקדות באינטליגנציה כללית ויישומים של מודלי היסוד הרב-תכליתי של אלקסה.