דגמי הבסיס של Llama 2 מבית Meta זמינים כעת באמזון SageMaker JumpStart | שירותי האינטרנט של אמזון

היום, אנו נרגשים להכריז כי דגמי היסוד של Llama 2 שפותחו על ידי Meta זמינים עבור לקוחות באמצעות אמזון SageMaker JumpStart. משפחת Llama 2 של מודלים של שפה גדולה (LLMs) היא אוסף של מודלים של טקסט יצירתי מאומנים מראש, בקנה מידה של 7 מיליארד עד 70 מיליארד פרמטרים. LLMs מכוונים עדין, הנקראים Llama-2-chat, מותאמים למקרי שימוש בדיאלוג. אתה יכול בקלות לנסות את המודלים האלה ולהשתמש בהם עם SageMaker JumpStart, שהוא רכזת למידת מכונה (ML) המספקת גישה לאלגוריתמים, מודלים ופתרונות ML כדי שתוכל להתחיל במהירות עם ML.

בפוסט זה, אנו עוברים על אופן השימוש בדגמי Llama 2 דרך SageMaker JumpStart.

מה זה לאמה 2

Llama 2 הוא מודל שפה אוטומטי רגרסיבי המשתמש בארכיטקטורת שנאי אופטימלית. Llama 2 מיועד לשימוש מסחרי ומחקרי באנגלית. הוא מגיע במגוון גדלים של פרמטרים - 7 מיליארד, 13 מיליארד ו-70 מיליארד - כמו גם וריאציות מאומנות ומכווננות מראש. לפי Meta, הגרסאות המכווננות משתמשות בכוונון עדין מפוקח (SFT) ולמידת חיזוק עם משוב אנושי (RLHF) כדי להתאים להעדפות אנושיות לעזרה ובטיחות. לאמה 2 הוכשרה מראש על 2 טריליון אסימונים של נתונים ממקורות זמינים לציבור. הדגמים המכוונים מיועדים לצ'אט דמוי עוזר, בעוד שניתן להתאים דגמים שהוכשרו מראש למגוון משימות יצירת שפה טבעית. לא משנה באיזו גרסה של המודל משתמש המפתח, ה מדריך שימוש אחראי מבית Meta יכול לסייע בהנחיית כוונון עדין נוסף שעשוי להיות נחוץ להתאמה אישית ואופטימיזציה של הדגמים עם אמצעי בטיחות מתאימות.

מה זה SageMaker JumpStart

עם SageMaker JumpStart, מתרגלי ML יכולים לבחור מתוך מבחר רחב של מודלים של בסיס קוד פתוח. מתרגלי ML יכולים לפרוס מודלים של בסיס למסורים אמזון SageMaker מופעים מסביבה מבודדת רשת והתאמה אישית של מודלים באמצעות SageMaker להדרכה ופריסה של מודלים.

כעת תוכל לגלות ולפרוס את Llama 2 בכמה לחיצות פנימה סטודיו SageMaker של אמזון או באופן פרוגרמטי דרך SageMaker Python SDK, מה שמאפשר לך להפיק ביצועי מודל ובקרות MLOps עם תכונות SageMaker כגון צינורות SageMaker של אמזון, באגים של SageMaker באמזון, או יומני מיכל. המודל נפרס בסביבה מאובטחת של AWS ותחת בקרות ה-VPC שלך, ועוזר להבטיח אבטחת נתונים. דגמי Llama 2 זמינים היום באמזון SageMaker Studio, בהתחלה ב us-east 1 ו us-west 2 אזורים.

גלה דגמים

אתה יכול לגשת לדגמי היסוד דרך SageMaker JumpStart בממשק המשתמש של SageMaker Studio ו- SageMaker Python SDK. בחלק זה נעבור על איך לגלות את הדגמים בסטודיו SageMaker.

SageMaker Studio הוא סביבת פיתוח משולבת (IDE) המספקת ממשק חזותי אחד מבוסס אינטרנט שבו אתה יכול לגשת לכלים ייעודיים לביצוע כל שלבי הפיתוח של ML, מהכנת נתונים ועד לבנייה, הדרכה ופריסה של מודלי ה-ML שלך. לפרטים נוספים כיצד להתחיל ולהגדיר את SageMaker Studio, עיין ב סטודיו SageMaker של אמזון.

לאחר שתהיה ב-SageMaker Studio, תוכל לגשת ל- SageMaker JumpStart, המכיל דגמים מאומנים מראש, מחברות ופתרונות מובנים מראש, תחת פתרונות מובנים ואוטומטיים מראש.

מדף הנחיתה של SageMaker JumpStart, אתה יכול לחפש פתרונות, דגמים, מחברות ומשאבים אחרים. אתה יכול למצוא שני דגמי דגל של Lama 2 ב דגמי יסוד: יצירת טקסט קרוסלה. אם אינך רואה דגמי Llama 2, עדכן את גרסת SageMaker Studio שלך על ידי כיבוי והפעלה מחדש. למידע נוסף על עדכוני גרסה, עיין ב כבה ועדכן את אפליקציות Studio.

אתה יכול גם למצוא ארבע גרסאות דגמים אחרות על ידי בחירה חקור את כל המודלים ליצירת טקסט או מחפש llama בתיבת החיפוש.

אתה יכול לבחור את כרטיס הדגם כדי להציג פרטים על הדגם כגון רישיון, נתונים המשמשים לאימון ואופן השימוש. אתה יכול למצוא גם שני כפתורים, לפרוס ו פתח מחברת, שעוזרים לך להשתמש במודל.

כאשר תבחר באחד מהלחצנים, חלון קופץ יציג את הסכם הרישיון של משתמש הקצה ואת מדיניות השימוש המקובלת שתאשר.

לאחר האישור, תמשיך לשלב הבא לשימוש במודל.

פרוס מודל

כשאתה בוחר לפרוס ואשר את התנאים, פריסת המודל תתחיל. לחלופין, אתה יכול לפרוס דרך המחברת לדוגמה שמופיעה על ידי בחירה פתח מחברת. המחברת לדוגמה מספקת הדרכה מקצה לקצה כיצד לפרוס את המודל להסקת מסקנות וניקוי משאבים.

כדי לפרוס באמצעות מחברת, אנו מתחילים בבחירת דגם מתאים, שצוין על ידי model_id. אתה יכול לפרוס כל אחד מהדגמים שנבחרו ב- SageMaker עם הקוד הבא:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

זה פורס את המודל ב- SageMaker עם תצורות ברירת מחדל, כולל סוג מופע ברירת מחדל ותצורות ברירת מחדל של VPC. אתה יכול לשנות תצורות אלה על ידי ציון ערכים שאינם ברירת מחדל ב JumpStartModel. לאחר הפריסה, אתה יכול להפעיל הסקה נגד נקודת הקצה שנפרסה דרך מנבא SageMaker:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

מודלים של צ'אט מכוונים (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) מקבלים היסטוריה של צ'אט בין המשתמש לעוזר הצ'אט, ומייצרים את הצ'אט הבא. הדגמים שהוכשרו מראש (Llama-2-7b, Llama-2-13b, Llama-2-70b) דורשים בקשת מחרוזת ומבצעים השלמת טקסט בהנחיה המסופקת. ראה את הקוד הבא:

predictor.predict(payload, custom_attributes="accept_eula=true")

שימו לב שכברירת מחדל, accept_eula מוגדר כ-false. אתה צריך להגדיר accept_eula=true כדי להפעיל את נקודת הקצה בהצלחה. על ידי כך, אתה מקבל את הסכם רישיון המשתמש ומדיניות השימוש המקובל כפי שהוזכר קודם לכן. אתה יכול גם להורדה הסכם הרישיון.

Custom_attributes המשמשים להעברת EULA הם זוגות מפתח/ערך. המפתח והערך מופרדים על ידי = וזוגות מופרדים על ידי ;. אם המשתמש מעביר את אותו מפתח יותר מפעם אחת, הערך האחרון נשמר ומועבר למטפל הסקריפט (כלומר, במקרה זה, משמש ללוגיקה מותנית). לדוגמה, אם accept_eula=false; accept_eula=true מועבר לשרת, אם כן  accept_eula=true נשמר ומועבר למטפל הסקריפט.

פרמטרי הסקה שולטים בתהליך יצירת הטקסט בנקודת הקצה. בקרת האסימונים החדשים המקסימלית מתייחסת לגודל הפלט שנוצר על ידי המודל. שימו לב שזה לא זהה למספר המילים מכיוון שאוצר המילים של המודל אינו זהה לאוצר המילים בשפה האנגלית, וייתכן שכל אסימון אינו מילה בשפה האנגלית. הטמפרטורה שולטת באקראיות בפלט. טמפרטורה גבוהה יותר גורמת ליציאות יצירתיות והזויות יותר. כל פרמטרי ההסקה הם אופציונליים.

הטבלה הבאה מפרטת את כל דגמי הלאמה הזמינים ב- SageMaker JumpStart יחד עם model_ids, סוגי מופעים המוגדרים כברירת מחדל, והמספר המרבי של סך האסימונים (סכום מספר אסימוני הקלט ומספר האסימונים שנוצרו) הנתמכים עבור כל אחד מהדגמים הללו.

שימו לב שלנקודות הקצה של SageMaker יש מגבלת זמן קצוב של 60 שניות. לפיכך, למרות שהמודל עשוי להפיק 4096 אסימונים, אם יצירת טקסט לוקח יותר מ-60 שניות, הבקשה תיכשל. עבור דגמי 7B, 13B ו-70B, אנו ממליצים להגדיר max_new_tokens לא יותר מ-1500, 1000 ו-500 בהתאמה, תוך שמירה על מספר האסימונים הכולל פחות מ-4K.

הנחיות הסקה ודוגמא עבור Llama-2-70b

אתה יכול להשתמש במודלים של לאמה להשלמת טקסט עבור כל פיסת טקסט. באמצעות יצירת טקסט, אתה יכול לבצע מגוון משימות, כגון מענה על שאלות, תרגום שפה, ניתוח סנטימנטים ועוד רבים אחרים. מטען הקלט לנקודת הקצה נראה כמו הקוד הבא:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

להלן כמה הנחיות לדוגמה והטקסט שנוצר על ידי המודל. כל התפוקות נוצרות עם פרמטרי הסקה {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

בדוגמה הבאה, אנו מראים כיצד להשתמש במודלים של לאמה עם למידה בהקשר מועט, כאשר אנו מספקים דוגמאות הדרכה הזמינות למודל. שים לב שאנו מסיקים רק על המודל שנפרס ובמהלך תהליך זה, משקלי המודל אינם משתנים.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

הנחיות הסקה ודוגמאות ל-Llama-2-70b-chat

עם מודלים של Llama-2-Chat, המותאמים למקרי שימוש בדיאלוג, הקלט לנקודות הקצה של מודל הצ'אט הוא ההיסטוריה הקודמת בין עוזר הצ'אט למשתמש. אתה יכול לשאול שאלות הקשריות לשיחה שהתרחשה עד כה. אתה יכול גם לספק את תצורת המערכת, כגון פרסונות שמגדירות את ההתנהגות של עוזר הצ'אט. עומס הקלט לנקודת הקצה נראה כמו הקוד הבא:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

להלן כמה הנחיות לדוגמה והטקסט שנוצר על ידי המודל. כל הפלטים נוצרים עם פרמטרי ההסקה {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

בדוגמה הבאה, המשתמש ניהל שיחה עם העוזר על אתרי תיירות בפריז. לאחר מכן, המשתמש שואל לגבי האפשרות הראשונה המומלצת על ידי עוזר הצ'אט.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

בדוגמאות הבאות, אנו מגדירים את תצורת המערכת:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

לנקות את

לאחר שתסיים להפעיל את המחברת, הקפד למחוק את כל המשאבים כך שכל המשאבים שיצרת בתהליך יימחקו והחיוב שלך יופסק:

predictor.delete_model()
predictor.delete_endpoint()

סיכום

בפוסט הזה הראינו לכם איך להתחיל עם דגמי Llama 2 בסטודיו SageMaker. עם זה, יש לך גישה לשישה דגמי יסוד של Lama 2 המכילים מיליארדי פרמטרים. מכיוון שדגמי היסודות מאומנים מראש, הם יכולים גם לסייע בהורדת עלויות ההדרכה והתשתית ולאפשר התאמה אישית למקרה השימוש שלך. כדי להתחיל עם SageMaker JumpStart, בקר במשאבים הבאים:

על המחברים

יוני זכה הוא מנהל מוצר עם SageMaker JumpStart. הוא מתמקד בהפיכת מודלים בסיסיים לניתנים לגילוי ושימוש בקלות כדי לעזור ללקוחות לבנות יישומי בינה מלאכותית. הניסיון שלו באמזון כולל גם אפליקציית קניות ניידת ומשלוח מייל אחרון.

ד"ר Vivek Madan הוא מדען יישומי בצוות אמזון SageMaker JumpStart. הוא קיבל את הדוקטורט שלו מאוניברסיטת אילינוי באורבנה-שמפיין והיה חוקר פוסט דוקטורט בג'ורג'יה טק. הוא חוקר פעיל בלמידת מכונה ועיצוב אלגוריתמים ופרסם מאמרים בכנסים של EMNLP, ICLR, COLT, FOCS ו-SODA. ד"ר קייל אולריך הוא מדען יישומי בצוות אמזון SageMaker JumpStart. תחומי המחקר שלו כוללים אלגוריתמים של למידת מכונה ניתנים להרחבה, ראייה ממוחשבת, סדרות זמן, אי-פרמטריות בייסיאניות ותהליכי גאוס. הדוקטורט שלו הוא מאוניברסיטת דיוק והוא פרסם מאמרים ב-NeurIPS, Cell, and Neuron. ד"ר אשיש חתן הוא מדען יישומי בכיר עם Amazon SageMaker JumpStart ומסייע בפיתוח אלגוריתמים של למידת מכונה. הוא קיבל את הדוקטורט שלו מאוניברסיטת אילינוי אורבנה-שמפיין. הוא חוקר פעיל בלמידת מכונה והסקה סטטיסטית, ופרסם מאמרים רבים בכנסים NeurIPS, ICML, ICLR, JMLR, ACL ו-EMNLP. סונדאר רנגנתן הוא המנהל העולמי של GenAI/Frameworks GTM Specialists ב-AWS. הוא מתמקד בפיתוח אסטרטגיית GTM עבור מודלים של שפות גדולות, GenAI ועומסי עבודה בקנה מידה גדול של ML בשירותי AWS כמו Amazon EC2, EKS, EFA, AWS Batch ו-Amazon SageMaker. הניסיון שלו כולל תפקידי מנהיגות בניהול מוצר ופיתוח מוצרים ב-NetApp, Micron Technology, Qualcomm ו-Mentor Graphics.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/