Llama 2-Grundlagenmodelle von Meta sind jetzt in Amazon SageMaker JumpStart | verfügbar Amazon Web Services

Wir freuen uns, heute bekannt geben zu können, dass die von Meta entwickelten Llama 2-Grundlagenmodelle für Kunden verfügbar sind Amazon SageMaker-JumpStart. Die Llama 2-Familie großer Sprachmodelle (LLMs) ist eine Sammlung vorab trainierter und fein abgestimmter generativer Textmodelle mit einer Größenordnung von 7 bis 70 Milliarden Parametern. Fein abgestimmte LLMs, Llama-2-Chat genannt, sind für Dialog-Anwendungsfälle optimiert. Sie können diese Modelle ganz einfach ausprobieren und mit SageMaker JumpStart verwenden, einem Hub für maschinelles Lernen (ML), der Zugriff auf Algorithmen, Modelle und ML-Lösungen bietet, sodass Sie schnell mit ML beginnen können.

In diesem Beitrag erklären wir Ihnen, wie Sie Llama 2-Modelle über SageMaker JumpStart verwenden.

Was ist Lama 2?

Llama 2 ist ein autoregressives Sprachmodell, das eine optimierte Transformatorarchitektur verwendet. Llama 2 ist für kommerzielle und Forschungszwecke in englischer Sprache gedacht. Es gibt ihn in verschiedenen Parametergrößen – 7 Milliarden, 13 Milliarden und 70 Milliarden – sowie in vorab trainierten und fein abgestimmten Variationen. Laut Meta nutzen die optimierten Versionen Supervised Fine Tuning (SFT) und Reinforcement Learning with Human Feedback (RLHF), um sich an den menschlichen Präferenzen für Hilfsbereitschaft und Sicherheit auszurichten. Llama 2 wurde mit 2 Billionen Daten-Tokens aus öffentlich zugänglichen Quellen vorab trainiert. Die abgestimmten Modelle sind für assistentenähnlichen Chat gedacht, während vorab trainierte Modelle für eine Vielzahl von Aufgaben zur Erzeugung natürlicher Sprache angepasst werden können. Unabhängig davon, welche Version des Modells ein Entwickler verwendet, ist die Leitfaden zur verantwortungsvollen Nutzung von Meta kann bei der Steuerung zusätzlicher Feinabstimmungen behilflich sein, die möglicherweise erforderlich sind, um die Modelle mit geeigneten Sicherheitsminderungen anzupassen und zu optimieren.

Was ist SageMaker JumpStart?

Mit SageMaker JumpStart können ML-Praktiker aus einer breiten Auswahl an Open-Source-Grundlagenmodellen wählen. ML-Praktiker können Basismodelle für dedizierte Personen bereitstellen Amazon Sage Maker Erstellen Sie Instanzen aus einer netzwerkisolierten Umgebung und passen Sie Modelle mithilfe von SageMaker für die Modellschulung und -bereitstellung an.

Sie können Llama 2 jetzt mit wenigen Klicks entdecken und bereitstellen Amazon SageMaker-Studio oder programmgesteuert über das SageMaker Python SDK, sodass Sie Modellleistung und MLOps-Steuerelemente mit SageMaker-Funktionen wie ableiten können Amazon SageMaker-Pipelines, Amazon SageMaker-Debuggeroder Containerprotokolle. Das Modell wird in einer sicheren AWS-Umgebung und unter Ihrer VPC-Kontrolle bereitgestellt, um die Datensicherheit zu gewährleisten. Llama 2-Modelle sind ab sofort in Amazon SageMaker Studio verfügbar, zunächst in us-east 1 und us-west 2 Regionen.

Entdecken Sie Modelle

Sie können über SageMaker JumpStart in der SageMaker Studio-Benutzeroberfläche und dem SageMaker Python SDK auf die Grundmodelle zugreifen. In diesem Abschnitt erfahren Sie, wie Sie die Modelle in SageMaker Studio entdecken.

SageMaker Studio ist eine integrierte Entwicklungsumgebung (IDE), die eine einzige webbasierte visuelle Schnittstelle bietet, über die Sie auf speziell entwickelte Tools zugreifen können, um alle ML-Entwicklungsschritte durchzuführen, von der Datenvorbereitung bis hin zum Erstellen, Trainieren und Bereitstellen Ihrer ML-Modelle. Weitere Informationen zu den ersten Schritten und zur Einrichtung von SageMaker Studio finden Sie unter Amazon SageMaker-Studio.

Sobald Sie sich im SageMaker Studio befinden, können Sie unten auf SageMaker JumpStart zugreifen, das vorab trainierte Modelle, Notebooks und vorgefertigte Lösungen enthält Vorgefertigte und automatisierte Lösungen.

Auf der SageMaker JumpStart-Landingpage können Sie nach Lösungen, Modellen, Notizbüchern und anderen Ressourcen suchen. Im finden Sie zwei Flaggschiff-Llama-2-Modelle Foundation-Modelle: Textgenerierung Karussell. Wenn Sie keine Llama 2-Modelle sehen, aktualisieren Sie Ihre SageMaker Studio-Version, indem Sie sie herunterfahren und neu starten. Weitere Informationen zu Versionsaktualisierungen finden Sie unter Fahren Sie Studio Apps herunter und aktualisieren Sie sie.

Weitere vier Modellvarianten finden Sie auch unter der Auswahl Entdecken Sie alle Modelle zur Textgenerierung oder suchen nach llama im Suchfeld.

Sie können die Modellkarte auswählen, um Details zum Modell anzuzeigen, z. B. Lizenz, für das Training verwendete Daten und Verwendung. Sie können auch zwei Schaltflächen finden, Deploy und Notizbuch öffnen, die Ihnen bei der Verwendung des Modells helfen.

Wenn Sie eine der beiden Schaltflächen auswählen, werden in einem Popup die Endbenutzer-Lizenzvereinbarung und die Richtlinien zur akzeptablen Nutzung angezeigt, die Sie bestätigen müssen.

Nach der Bestätigung fahren Sie mit dem nächsten Schritt fort, um das Modell zu verwenden.

Stellen Sie ein Modell bereit

Wenn Sie wählen Deploy und bestätigen Sie die Bedingungen. Die Modellbereitstellung beginnt. Alternativ können Sie die Bereitstellung über das Beispielnotizbuch durchführen, das angezeigt wird, indem Sie auf klicken Notizbuch öffnen. Das Beispielnotizbuch bietet umfassende Anleitungen zur Bereitstellung des Modells für Rückschlüsse und zur Bereinigung von Ressourcen.

Um die Bereitstellung mithilfe eines Notebooks durchzuführen, wählen wir zunächst ein geeignetes Modell aus, das durch angegeben wird model_id. Sie können jedes der ausgewählten Modelle mit dem folgenden Code auf SageMaker bereitstellen:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Dadurch wird das Modell auf SageMaker mit Standardkonfigurationen bereitgestellt, einschließlich Standardinstanztyp und Standard-VPC-Konfigurationen. Sie können diese Konfigurationen ändern, indem Sie in nicht standardmäßige Werte angeben JumpStartModel. Nach der Bereitstellung können Sie über den SageMaker-Prädiktor Rückschlüsse auf den bereitgestellten Endpunkt ziehen:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

Fein abgestimmte Chat-Modelle (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat) akzeptieren einen Chat-Verlauf zwischen dem Benutzer und dem Chat-Assistenten und generieren den nachfolgenden Chat. Die vorab trainierten Modelle (Llama-2-7b, Llama-2-13b, Llama-2-70b) erfordern eine String-Eingabeaufforderung und führen eine Textvervollständigung anhand der bereitgestellten Eingabeaufforderung durch. Siehe den folgenden Code:

predictor.predict(payload, custom_attributes="accept_eula=true")

Beachten Sie, dass standardmäßig accept_eula ist auf false gesetzt. Sie müssen einstellen accept_eula=true um den Endpunkt erfolgreich aufzurufen. Dadurch akzeptieren Sie die Benutzerlizenzvereinbarung und die Richtlinien zur akzeptablen Nutzung, wie bereits erwähnt. Du kannst auch herunterladen die Lizenzvereinbarung.

Custom_attributes Zur Übergabe der EULA werden Schlüssel/Wert-Paare verwendet. Schlüssel und Wert werden durch getrennt = und Paare werden durch getrennt ;. Wenn der Benutzer denselben Schlüssel mehr als einmal übergibt, wird der letzte Wert beibehalten und an den Skript-Handler übergeben (d. h. in diesem Fall für die bedingte Logik verwendet). Zum Beispiel, wenn accept_eula=false; accept_eula=true wird dann an den Server übergeben  accept_eula=true wird aufbewahrt und an den Skripthandler übergeben.

Inferenzparameter steuern den Textgenerierungsprozess am Endpunkt. Die maximale Kontrolle über neue Token bezieht sich auf die Größe der vom Modell generierten Ausgabe. Beachten Sie, dass dies nicht mit der Anzahl der Wörter identisch ist, da das Vokabular des Modells nicht mit dem Vokabular der englischen Sprache übereinstimmt und nicht jedes Token ein Wort der englischen Sprache ist. Die Temperatur steuert die Zufälligkeit der Ausgabe. Höhere Temperaturen führen zu kreativeren und halluzinierteren Ergebnissen. Alle Inferenzparameter sind optional.

Die folgende Tabelle listet alle in SageMaker JumpStart verfügbaren Llama-Modelle zusammen mit dem auf model_ids, Standardinstanztypen und die maximale Anzahl der Gesamttokens (Summe aus der Anzahl der Eingabetokens und der Anzahl der generierten Tokens), die für jedes dieser Modelle unterstützt werden.

Beachten Sie, dass SageMaker-Endpunkte ein Timeout-Limit von 60 Sekunden haben. Auch wenn das Modell möglicherweise 4096 Token generieren kann, schlägt die Anforderung fehl, wenn die Textgenerierung mehr als 60 Sekunden dauert. Für die Modelle 7B, 13B und 70B empfehlen wir die Einstellung max_new_tokens nicht größer als 1500, 1000 bzw. 500, während die Gesamtzahl der Token weniger als 4 KB beträgt.

Schlussfolgerungen und Beispielaufforderungen für Llama-2-70b

Sie können Lama-Modelle zur Textvervollständigung für jeden beliebigen Textabschnitt verwenden. Durch die Textgenerierung können Sie eine Vielzahl von Aufgaben ausführen, z. B. die Beantwortung von Fragen, Sprachübersetzungen, Stimmungsanalysen und vieles mehr. Die Eingabenutzlast für den Endpunkt sieht wie der folgende Code aus:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Im Folgenden finden Sie einige Beispielaufforderungen und den vom Modell generierten Text. Alle Ausgaben werden mit Inferenzparametern generiert {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

Im nächsten Beispiel zeigen wir, wie man Llama-Modelle mit wenigen Schüssen im Kontextlernen verwendet, wobei wir dem Modell Trainingsbeispiele zur Verfügung stellen. Beachten Sie, dass wir nur Rückschlüsse auf das bereitgestellte Modell ziehen und sich die Modellgewichte während dieses Prozesses nicht ändern.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Schlussfolgerungen und Beispielaufforderungen für Llama-2-70b-chat

Bei Llama-2-Chat-Modellen, die für Dialog-Anwendungsfälle optimiert sind, ist die Eingabe in die Endpunkte des Chat-Modells der bisherige Verlauf zwischen dem Chat-Assistenten und dem Benutzer. Sie können Fragen stellen, die sich auf das bisher stattgefundene Gespräch beziehen. Sie können auch die Systemkonfiguration bereitstellen, beispielsweise Personas, die das Verhalten des Chat-Assistenten definieren. Die Eingabenutzlast für den Endpunkt sieht wie der folgende Code aus:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Im Folgenden finden Sie einige Beispielaufforderungen und den vom Modell generierten Text. Alle Ausgaben werden mit den Inferenzparametern generiert {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

Im folgenden Beispiel hat der Benutzer mit dem Assistenten ein Gespräch über Sehenswürdigkeiten in Paris geführt. Als nächstes erkundigt sich der Nutzer nach der ersten vom Chat-Assistenten empfohlenen Option.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

In den folgenden Beispielen legen wir die Systemkonfiguration fest:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Aufräumen

Nachdem Sie mit der Ausführung des Notebooks fertig sind, stellen Sie sicher, dass Sie alle Ressourcen löschen, damit alle Ressourcen, die Sie im Prozess erstellt haben, gelöscht werden und Ihre Abrechnung gestoppt wird:

predictor.delete_model()
predictor.delete_endpoint()

Zusammenfassung

In diesem Beitrag haben wir Ihnen gezeigt, wie Sie mit Llama 2-Modellen in SageMaker Studio beginnen. Damit haben Sie Zugriff auf sechs Llama 2-Grundlagenmodelle, die Milliarden von Parametern enthalten. Da die Basismodelle vorab trainiert sind, können sie auch dazu beitragen, die Schulungs- und Infrastrukturkosten zu senken und eine Anpassung an Ihren Anwendungsfall zu ermöglichen. Um mit SageMaker JumpStart zu beginnen, besuchen Sie die folgenden Ressourcen:

Über die Autoren

Juni gewonnen ist Produktmanager bei SageMaker JumpStart. Sein Schwerpunkt liegt darauf, Basismodelle leicht auffindbar und nutzbar zu machen, um Kunden bei der Entwicklung generativer KI-Anwendungen zu unterstützen. Zu seinen Erfahrungen bei Amazon gehören auch mobile Shopping-Anwendungen und die Zustellung auf der letzten Meile.

Vivek Madan ist ein angewandter Wissenschaftler im Amazon SageMaker JumpStart-Team. Er promovierte an der University of Illinois at Urbana-Champaign und war Postdoktorand an der Georgia Tech. Er ist ein aktiver Forscher in den Bereichen maschinelles Lernen und Algorithmendesign und hat Artikel auf Konferenzen von EMNLP, ICLR, COLT, FOCS und SODA veröffentlicht. Kyle Ulrich ist angewandter Wissenschaftler im Amazon SageMaker JumpStart-Team. Seine Forschungsinteressen umfassen skalierbare Algorithmen für maschinelles Lernen, Computer Vision, Zeitreihen, Bayes'sche Nichtparametrik und Gaußsche Prozesse. Er promovierte an der Duke University und hat Artikel in NeurIPS, Cell und Neuron veröffentlicht. Dr. Ashish Khetan ist Senior Applied Scientist bei Amazon SageMaker JumpStart und hilft bei der Entwicklung von Algorithmen für maschinelles Lernen. Er promovierte an der University of Illinois Urbana-Champaign. Er ist ein aktiver Forscher im Bereich maschinelles Lernen und statistische Inferenz und hat zahlreiche Artikel auf NeurIPS-, ICML-, ICLR-, JMLR-, ACL- und EMNLP-Konferenzen veröffentlicht. Sundar Ranganathan ist der globale Leiter der GenAI/Frameworks GTM-Spezialisten bei AWS. Er konzentriert sich auf die Entwicklung einer GTM-Strategie für große Sprachmodelle, GenAI und große ML-Workloads für AWS-Dienste wie Amazon EC2, EKS, EFA, AWS Batch und Amazon SageMaker. Zu seinen Erfahrungen zählen Führungspositionen im Produktmanagement und in der Produktentwicklung bei NetApp, Micron Technology, Qualcomm und Mentor Graphics.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/