Das Falcon 180B-Fundamentmodell von TII ist jetzt über Amazon SageMaker JumpStart | erhältlich Amazon Web Services

Wir freuen uns, heute bekannt geben zu können, dass das vom Technology Innovation Institute (TII) entwickelte und auf Amazon SageMaker geschulte Falcon 180B-Grundmodell für Kunden verfügbar ist Amazon SageMaker-JumpStart Bereitstellung mit einem Klick zum Ausführen von Inferenzen. Mit einer Parametergröße von 180 Milliarden und trainiert auf einem riesigen Datensatz mit 3.5 Billionen Token ist Falcon 180B das größte und eines der leistungsstärksten Modelle mit offen zugänglichen Gewichten. Sie können dieses Modell mit SageMaker JumpStart ausprobieren, einem Hub für maschinelles Lernen (ML), der Zugriff auf Algorithmen, Modelle und ML-Lösungen bietet, damit Sie schnell mit ML beginnen können. In diesem Beitrag erfahren Sie, wie Sie das Falcon 180B-Modell über SageMaker JumpStart entdecken und bereitstellen.

Was ist Falcon 180B?

Falcon 180B ist ein Modell von ICH S das folgt auf frühere Veröffentlichungen der Falcon-Familie. Es handelt sich um eine vergrößerte Version von Falcon 40B und nutzt die Aufmerksamkeit mehrerer Abfragen für eine bessere Skalierbarkeit. Es handelt sich um ein autoregressives Sprachmodell, das eine optimierte Transformatorarchitektur verwendet. Es wurde auf 3.5 Billionen Datentokens trainiert, die hauptsächlich aus Webdaten von bestehen RefinedWeb (ca. 85 %). Das Modell verfügt über zwei Versionen: 180B und 180B-Chat. 180B ist ein rohes, vorab trainiertes Modell, das für die meisten Anwendungsfälle weiter verfeinert werden sollte. 180B-Chat eignet sich besser für allgemeine Anweisungen. Das Chat-Modell wurde anhand von Chat- und Befehlsdatensätzen sowie mehreren umfangreichen Konversationsdatensätzen verfeinert.

Das Modell wird unter der zur Verfügung gestellt Falcon-180B TII-Lizenz und Acceptable Use Policy.

Falcon 180B wurde von TII trainiert Amazon Sage Maker, auf einem Cluster von etwa 4K A100 GPUs. Es verwendete eine benutzerdefinierte verteilte Trainingscodebasis namens Gigatron, die 3D-Parallelität mit ZeRO nutzt, und benutzerdefinierte, leistungsstarke Triton-Kernel. Die verwendete verteilte Trainingsarchitektur Amazon Simple Storage-Service (Amazon S3) als einziger einheitlicher Dienst zum Laden von Daten sowie zum Schreiben und Lesen von Prüfpunkten, was insbesondere zur Zuverlässigkeit der Arbeitslast und zur Einfachheit des Betriebs beitrug.

Was ist SageMaker JumpStart?

Mit SageMaker JumpStart können ML-Praktiker aus einer wachsenden Liste leistungsstärkster Grundlagenmodelle wählen. ML-Praktiker können Basismodelle auf dedizierten SageMaker-Instanzen in einer netzwerkisolierten Umgebung bereitstellen und Modelle mithilfe von Amazon SageMaker für die Modellschulung und -bereitstellung anpassen.

Sie können Falcon 180B jetzt mit wenigen Klicks entdecken und einsetzen Amazon SageMaker-Studio oder programmgesteuert über das SageMaker Python SDK, sodass Sie Modellleistung und MLOps-Steuerelemente mit SageMaker-Funktionen wie ableiten können Amazon SageMaker-Pipelines, Amazon SageMaker-Debuggeroder Containerprotokolle. Das Modell wird in einer sicheren AWS-Umgebung und unter Ihrer VPC-Kontrolle bereitgestellt, um die Datensicherheit zu gewährleisten. Falcon 180B ist erkennbar und kann in Regionen bereitgestellt werden, in denen die erforderlichen Instanzen verfügbar sind. Derzeit sind ml.p4de-Instanzen in den Regionen USA Ost (Nord-Virginia) und USA West (Oregon) verfügbar.

Entdecken Sie Modelle

Sie können über SageMaker JumpStart in der SageMaker Studio-Benutzeroberfläche und dem SageMaker Python SDK auf die Grundmodelle zugreifen. In diesem Abschnitt erfahren Sie, wie Sie die Modelle in SageMaker Studio entdecken.

SageMaker Studio ist eine integrierte Entwicklungsumgebung (IDE), die eine einzige webbasierte visuelle Schnittstelle bietet, über die Sie auf speziell entwickelte Tools zugreifen können, um alle ML-Entwicklungsschritte durchzuführen, von der Datenvorbereitung bis hin zum Erstellen, Trainieren und Bereitstellen Ihrer ML-Modelle. Weitere Informationen zu den ersten Schritten und zur Einrichtung von SageMaker Studio finden Sie unter Amazon SageMaker-Studio.

In SageMaker Studio können Sie unter auf SageMaker JumpStart zugreifen, das vorab trainierte Modelle, Notebooks und vorgefertigte Lösungen enthält Vorgefertigte und automatisierte Lösungen.

Auf der SageMaker JumpStart-Landingpage können Sie nach Lösungen, Modellen, Notizbüchern und anderen Ressourcen suchen. Sie finden Falcon 180B im Grundlagenmodelle: Textgenerierung Karussell.

Weitere Modellvarianten finden Sie auch unter der Auswahl Entdecken Sie alle Modelle zur Textgenerierung oder suchen nach Falcon.

Sie können die Modellkarte auswählen, um Details zum Modell anzuzeigen, z. B. Lizenz, für das Training verwendete Daten und Verwendungsweise. Sie finden auch zwei Schaltflächen, Deploy und Notizbuch öffnen, das Ihnen bei der Verwendung des Modells hilft (der folgende Screenshot zeigt die Deploy Möglichkeit).

Modelle bereitstellen

Wenn Sie wählen Deploy, die Modellbereitstellung beginnt. Alternativ können Sie die Bereitstellung über das Beispielnotizbuch durchführen, das angezeigt wird, indem Sie auf klicken Notizbuch öffnen. Das Beispielnotizbuch bietet umfassende Anleitungen zur Bereitstellung des Modells für Rückschlüsse und zur Bereinigung von Ressourcen.

Um die Bereitstellung mithilfe eines Notebooks durchzuführen, wählen wir zunächst ein geeignetes Modell aus, das durch angegeben wird model_id. Sie können jedes der ausgewählten Modelle mit dem folgenden Code auf SageMaker bereitstellen:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

Dadurch wird das Modell auf SageMaker mit Standardkonfigurationen bereitgestellt, einschließlich des Standardinstanztyps und der Standard-VPC-Konfigurationen. Sie können diese Konfigurationen ändern, indem Sie in nicht standardmäßige Werte angeben JumpStartModel. Weitere Informationen finden Sie unter API-Dokumentation. Nach der Bereitstellung können Sie über einen SageMaker-Prädiktor Rückschlüsse auf den bereitgestellten Endpunkt ziehen. Siehe den folgenden Code:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Inferenzparameter steuern den Textgenerierungsprozess am Endpunkt. Die maximale Anzahl neuer Token bezieht sich auf die Größe der vom Modell generierten Ausgabe. Beachten Sie, dass dies nicht mit der Anzahl der Wörter identisch ist, da das Vokabular des Modells nicht mit dem Vokabular der englischen Sprache übereinstimmt und nicht jedes Token ein Wort der englischen Sprache ist. Die Temperatur steuert die Zufälligkeit der Ausgabe. Höhere Temperaturen führen zu kreativeren und halluzinierteren Ergebnissen. Alle Inferenzparameter sind optional.

Dieses 180-B-Parametermodell ist 335 GB groß und erfordert noch mehr GPU-Speicher, um eine ausreichende Inferenz mit 16-Bit-Präzision durchzuführen. Derzeit unterstützt JumpStart dieses Modell nur auf ml.p4de.24xlarge-Instanzen. Es ist möglich, ein quantisiertes 8-Bit-Modell auf einer ml.p4d.24xlarge-Instanz bereitzustellen, indem Sie Folgendes bereitstellen env={"HF_MODEL_QUANTIZE": "bitsandbytes"} Schlüsselwortargument zum JumpStartModel Konstruktor und Spezifizierung instance_type="ml.p4d.24xlarge" zur Bereitstellungsmethode. Bitte beachten Sie jedoch, dass die Latenz pro Token bei dieser quantisierten Konfiguration etwa fünfmal langsamer ist.

Die folgende Tabelle listet alle in SageMaker JumpStart verfügbaren Falcon-Modelle zusammen mit den Modell-IDs, Standardinstanztypen, der maximalen Anzahl unterstützter Gesamttokens (Summe aus der Anzahl der Eingabetokens und der Anzahl der generierten Tokens) und der typischen Antwortlatenz pro Token auf für jedes dieser Modelle.

*Die Latenz pro Token wird für die mittlere Antwortzeit der in diesem Blog bereitgestellten Beispielaufforderungen angegeben. Dieser Wert variiert je nach Länge der Eingabe- und Ausgabesequenzen.

Schlussfolgerungen und Beispielaufforderungen für Falcon 180B

Falcon-Modelle können zur Textvervollständigung für jeden beliebigen Textabschnitt verwendet werden. Durch die Textgenerierung können Sie eine Vielzahl von Aufgaben ausführen, z. B. die Beantwortung von Fragen, Sprachübersetzungen, Stimmungsanalysen und vieles mehr. Der Endpunkt akzeptiert das folgende Eingabenutzlastschema:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Sie können die Definition dieser erkunden Client-Parameter und ihre Standardwerte im Textgenerierungs-Inferenz-Repository.

Im Folgenden finden Sie einige Beispielaufforderungen und den vom Modell generierten Text. Alle Ausgaben hier werden mit Inferenzparametern generiert {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Der Aufbau einer Website kann in 10 einfachen Schritten erfolgen:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Möglicherweise stellen Sie fest, dass dieses vorab trainierte Modell lange Textsequenzen generiert, die nicht unbedingt ideal für Dialoganwendungsfälle sind. Bevor wir zeigen, wie das fein abgestimmte Chat-Modell für einen größeren Satz dialogbasierter Eingabeaufforderungen funktioniert, veranschaulichen die nächsten beiden Beispiele, wie Falcon-Modelle mit wenigen Schüssen im Kontextlernen verwendet werden, wobei wir dem Modell Trainingsbeispiele zur Verfügung stellen. Beachten Sie, dass „Few-Shot-Learning“ die Modellgewichte nicht anpasst – wir führen während dieses Prozesses nur Rückschlüsse auf das bereitgestellte Modell durch und stellen gleichzeitig einige Beispiele im Eingabekontext bereit, um die Ausgabe des Gildenmodells zu unterstützen.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Schlussfolgerungen und Beispielaufforderungen für Falcon 180B-Chat

Bei Falcon 180B-Chat-Modellen, die für Dialog-Anwendungsfälle optimiert sind, kann die Eingabe in die Endpunkte des Chat-Modells den Vorverlauf zwischen dem Chat-Assistenten und dem Benutzer enthalten. Sie können Fragen stellen, die sich auf das bisher stattgefundene Gespräch beziehen. Sie können auch die Systemkonfiguration bereitstellen, z. B. Personas, die das Verhalten des Chat-Assistenten definieren. Die Eingabenutzlast zum Endpunkt ist mit Ausnahme des Falcon 180B-Modells dieselbe inputs Der Zeichenfolgenwert sollte das folgende Format verwenden:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Im Folgenden finden Sie einige Beispielaufforderungen und den vom Modell generierten Text. Alle Ausgaben werden mit Inferenzparametern generiert {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

Im folgenden Beispiel hat der Benutzer mit dem Assistenten ein Gespräch über Sehenswürdigkeiten in Paris geführt. Als nächstes erkundigt sich der Nutzer nach der ersten vom Chat-Assistenten empfohlenen Option.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Aufräumen

Nachdem Sie mit der Ausführung des Notebooks fertig sind, löschen Sie unbedingt alle Ressourcen, die Sie dabei erstellt haben, damit Ihre Abrechnung gestoppt wird. Verwenden Sie den folgenden Code:

predictor.delete_model()
predictor.delete_endpoint()

Zusammenfassung

In diesem Beitrag haben wir Ihnen gezeigt, wie Sie mit Falcon 180B in SageMaker Studio beginnen und das Modell für die Inferenz bereitstellen. Da die Basismodelle vorab trainiert sind, können sie dazu beitragen, die Schulungs- und Infrastrukturkosten zu senken und eine Anpassung an Ihren Anwendungsfall zu ermöglichen. Besuchen Sie jetzt SageMaker JumpStart in SageMaker Studio, um loszulegen.

Downloads

Über die Autoren

Kyle Ulrich ist angewandter Wissenschaftler im Amazon SageMaker JumpStart-Team. Seine Forschungsinteressen umfassen skalierbare Algorithmen für maschinelles Lernen, Computer Vision, Zeitreihen, Bayes'sche Nichtparametrik und Gaußsche Prozesse. Er promovierte an der Duke University und hat Artikel in NeurIPS, Cell und Neuron veröffentlicht.

Dr. Ashish Khetan ist Senior Applied Scientist bei Amazon SageMaker JumpStart und hilft bei der Entwicklung von Algorithmen für maschinelles Lernen. Er promovierte an der University of Illinois Urbana-Champaign. Er ist ein aktiver Forscher im Bereich maschinelles Lernen und statistische Inferenz und hat zahlreiche Artikel auf NeurIPS-, ICML-, ICLR-, JMLR-, ACL- und EMNLP-Konferenzen veröffentlicht.

Olivier Cruchant ist Principal Machine Learning Specialist Solutions Architect bei AWS mit Sitz in Frankreich. Olivier unterstützt AWS-Kunden – von kleinen Start-ups bis hin zu großen Unternehmen – bei der Entwicklung und Bereitstellung produktionstauglicher Anwendungen für maschinelles Lernen. In seiner Freizeit liest er gerne Forschungsarbeiten und erkundet mit Freunden und der Familie die Wildnis.

Karl Albersen leitet den Foundation Model Hub, die Algorithmen und die Partnerschaftsteams von Amazon SageMaker.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Automobil / Elektrofahrzeuge, Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• ChartPrime. Verbessern Sie Ihr Handelsspiel mit ChartPrime. Hier zugreifen.
• BlockOffsets. Modernisierung des Eigentums an Umweltkompensationen. Hier zugreifen.
• Quelle: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/