Falcon 180B grundmodell från TII är nu tillgänglig via Amazon SageMaker JumpStart | Amazon webbtjänster

Idag är vi glada att kunna meddela att Falcon 180B-grundmodellen utvecklad av Technology Innovation Institute (TII) och utbildad på Amazon SageMaker är tillgänglig för kunder via Amazon SageMaker JumpStart att distribuera med ett klick för att köra slutledning. Med en storlek på 180 miljarder parametrar och tränad på en massiv datauppsättning på 3.5 biljoner token, är Falcon 180B den största och en av de mest presterande modellerna med öppet tillgängliga vikter. Du kan prova den här modellen med SageMaker JumpStart, ett nav för maskininlärning (ML) som ger tillgång till algoritmer, modeller och ML-lösningar så att du snabbt kan komma igång med ML. I det här inlägget går vi igenom hur du upptäcker och distribuerar Falcon 180B-modellen via SageMaker JumpStart.

Vad är Falcon 180B

Falcon 180B är en modell släppt av JAG DET som följer tidigare släpp i Falcon-familjen. Det är en uppskalad version av Falcon 40B, och den använder multi-query uppmärksamhet för bättre skalbarhet. Det är en autoregressiv språkmodell som använder en optimerad transformatorarkitektur. Den tränades på 3.5 biljoner tokens data, främst bestående av webbdata från RefinedWeb (cirka 85%). Modellen har två versioner: 180B och 180B-Chat. 180B är en rå, förtränad modell, som bör finjusteras ytterligare för de flesta användningsfall. 180B-Chat är bättre lämpad för att ta allmänna instruktioner. Chattmodellen har finjusterats på chatt- och instruktionersdatauppsättningar tillsammans med flera storskaliga konversationsdatauppsättningar.

Modellen görs tillgänglig under Falcon-180B TII-licens och Policy för godkänd användning.

Falcon 180B tränades av TII på Amazon SageMaker, på ett kluster med cirka 4K A100 GPU:er. Den använde en anpassad distribuerad träningskodbas vid namn Gigatron, som använder 3D-parallellism med ZeRO, och anpassade, högpresterande Triton-kärnor. Den distribuerade träningsarkitekturen som används Amazon enkel lagringstjänst (Amazon S3) som den enda enhetliga tjänsten för dataladdning och skrivning och läsning av kontrollpunkter, vilket särskilt bidrog till arbetsbelastningens tillförlitlighet och operativa enkelhet.

Vad är SageMaker JumpStart

Med SageMaker JumpStart kan ML-utövare välja från en växande lista med bäst presterande foundationmodeller. ML-utövare kan distribuera grundmodeller till dedikerade SageMaker-instanser i en nätverksisolerad miljö och anpassa modeller med Amazon SageMaker för modellträning och implementering.

Du kan nu upptäcka och distribuera Falcon 180B med några få klick in Amazon SageMaker Studio eller programmatiskt genom SageMaker Python SDK, vilket gör att du kan härleda modellprestanda och MLOps-kontroller med SageMaker-funktioner som t.ex. Amazon SageMaker-rörledningar, Amazon SageMaker Debugger, eller behållarloggar. Modellen distribueras i en AWS säker miljö och under dina VPC-kontroller, vilket hjälper till att säkerställa datasäkerhet. Falcon 180B är upptäckbar och kan distribueras i regioner där de nödvändiga instanserna är tillgängliga. För närvarande finns ml.p4de-instanser tillgängliga i USA East (N. Virginia) och US West (Oregon).

Upptäck modeller

Du kan komma åt grundmodellerna genom SageMaker JumpStart i SageMaker Studio UI och SageMaker Python SDK. I det här avsnittet går vi igenom hur du upptäcker modellerna i SageMaker Studio.

SageMaker Studio är en integrerad utvecklingsmiljö (IDE) som tillhandahåller ett enda webbaserat visuellt gränssnitt där du kan komma åt specialbyggda verktyg för att utföra alla ML-utvecklingssteg, från att förbereda data till att bygga, träna och distribuera dina ML-modeller. För mer information om hur du kommer igång och konfigurerar SageMaker Studio, se Amazon SageMaker Studio.

I SageMaker Studio kan du komma åt SageMaker JumpStart, som innehåller förutbildade modeller, bärbara datorer och förbyggda lösningar, under Förbyggda och automatiserade lösningar.

Från SageMaker JumpStart-målsidan kan du söka efter lösningar, modeller, bärbara datorer och andra resurser. Du kan hitta Falcon 180B i Grundmodeller: Textgenerering karusell

Du kan även hitta andra modellvarianter genom att välja Utforska alla textgenereringsmodeller eller söker efter Falcon.

Du kan välja modellkortet för att se detaljer om modellen såsom licens, data som används för att träna och hur du använder den. Du hittar också två knappar, Distribuera och Öppna Notebook, som hjälper dig att använda modellen (följande skärmdump visar Distribuera alternativ).

Distribuera modeller

När du väljer Distribuera, startar modellimplementeringen. Alternativt kan du distribuera via exempelanteckningsboken som dyker upp genom att välja Öppna Notebook. Exemplet på anteckningsboken ger vägledning från början till slut om hur man distribuerar modellen för slutledning och städar upp resurser.

För att distribuera med en bärbar dator börjar vi med att välja en lämplig modell, specificerad av model_id. Du kan distribuera vilken som helst av de valda modellerna på SageMaker med följande kod:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

Detta distribuerar modellen på SageMaker med standardkonfigurationer, inklusive standardinstanstypen och standard VPC-konfigurationer. Du kan ändra dessa konfigurationer genom att ange icke-standardvärden i JumpStartModel. För att lära dig mer, se API dokumentation. Efter att den har distribuerats kan du köra slutledning mot den distribuerade slutpunkten genom en SageMaker-prediktor. Se följande kod:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Inferensparametrar styr textgenereringsprocessen vid slutpunkten. Kontrollen för max nya tokens hänvisar till storleken på utdata som genereras av modellen. Observera att detta inte är detsamma som antalet ord eftersom modellens ordförråd inte är detsamma som det engelska ordförrådet och varje token kanske inte är ett engelskspråkigt ord. Temperaturen styr slumpmässigheten i utgången. Högre temperatur resulterar i mer kreativa och hallucinerade utgångar. Alla inferensparametrar är valfria.

Den här 180B-parametermodellen är på 335 GB och kräver ännu mer GPU-minne för att utföra inferens i 16-bitars precision. För närvarande stöder JumpStart endast denna modell på ml.p4de.24xlarge-instanser. Det är möjligt att distribuera en 8-bitars kvantiserad modell på en ml.p4d.24xlarge-instans genom att tillhandahålla env={"HF_MODEL_QUANTIZE": "bitsandbytes"} sökordsargument till JumpStartModel konstruktör och specificering instance_type="ml.p4d.24xlarge" till distributionsmetoden. Observera dock att latensen per token är ungefär 5 gånger långsammare för denna kvantiserade konfiguration.

Följande tabell listar alla Falcon-modeller som är tillgängliga i SageMaker JumpStart tillsammans med modell-ID:n, standardinstanstyper, maximalt antal totala tokens (summan av antalet inmatade tokens och antalet genererade tokens) som stöds och den typiska svarslatensen per token för var och en av dessa modeller.

*Latens per token tillhandahålls för mediansvarstiden för exemplets prompter i den här bloggen; detta värde kommer att variera beroende på längden på ingångs- och utmatningssekvenser.

Inferens- och exempeluppmaningar för Falcon 180B

Falcon-modeller kan användas för textkomplettering för vilken text som helst. Genom textgenerering kan du utföra en mängd olika uppgifter, som att svara på frågor, språköversättning, sentimentanalys och många fler. Slutpunkten accepterar följande nyttolastschema:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Du kan utforska definitionen av dessa klientparametrar och deras standardvärden inom text-generation-inference-förrådet.

Följande är några exempel på uppmaningar och texten som genereras av modellen. Alla utgångar här genereras med inferensparametrar {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Att bygga en webbplats kan göras i 10 enkla steg:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Du kanske märker att den här förtränade modellen genererar långa textsekvenser som inte nödvändigtvis är idealiska för dialoger. Innan vi visar hur den finjusterade chattmodellen presterar för en större uppsättning dialogbaserade uppmaningar, illustrerar de följande två exemplen hur man använder Falcon-modeller med få-shot inlärning i sammanhanget, där vi tillhandahåller träningsexempel som är tillgängliga för modellen. Observera att "få-shot-inlärning" inte justerar modellvikter - vi gör bara slutsatser om den utplacerade modellen under den här processen samtidigt som vi tillhandahåller några exempel inom inmatningskontexten för att hjälpa guild modellutdata.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Slutlednings- och exempeluppmaningar för Falcon 180B-Chat

Med Falcon 180B-Chat-modeller, optimerade för dialoganvändningsfall, kan input till chattmodellens slutpunkter innehålla tidigare historik mellan chattassistenten och användaren. Du kan ställa frågor kontextuella till konversationen som har hänt hittills. Du kan också tillhandahålla systemkonfigurationen, såsom personas, som definierar chattassistentens beteende. Inmatad nyttolast till ändpunkten är densamma som Falcon 180B-modellen förutom inputs strängvärde ska använda följande format:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Följande är några exempel på uppmaningar och texten som genereras av modellen. Alla utgångar genereras med inferensparametrar {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

I följande exempel har användaren haft ett samtal med assistenten om turistplatser i Paris. Därefter frågar användaren om det första alternativet som rekommenderas av chattassistenten.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Städa upp

När du är klar med att köra anteckningsboken, se till att ta bort alla resurser som du skapade under processen så att din fakturering stoppas. Använd följande kod:

predictor.delete_model()
predictor.delete_endpoint()

Slutsats

I det här inlägget visade vi dig hur du kommer igång med Falcon 180B i SageMaker Studio och distribuerar modellen för slutledning. Eftersom grundmodeller är förutbildade kan de hjälpa till att sänka utbildnings- och infrastrukturkostnaderna och möjliggöra anpassning för ditt användningsfall. Besök SageMaker JumpStart i SageMaker Studio nu för att komma igång.

Resurser

Om författarna

Dr Kyle Ulrich är en tillämpad forskare med Amazon SageMaker JumpStart-teamet. Hans forskningsintressen inkluderar skalbara maskininlärningsalgoritmer, datorseende, tidsserier, Bayesianska icke-parametriska och Gaussiska processer. Hans doktorsexamen är från Duke University och han har publicerat artiklar i NeurIPS, Cell och Neuron.

Dr Ashish Khetan är en Senior Applied Scientist med Amazon SageMaker JumpStart och hjälper till att utveckla maskininlärningsalgoritmer. Han tog sin doktorsexamen från University of Illinois Urbana-Champaign. Han är en aktiv forskare inom maskininlärning och statistisk slutledning och har publicerat många artiklar i NeurIPS, ICML, ICLR, JMLR, ACL och EMNLP-konferenser.

Olivier Cruchant är en huvudsaklig maskininlärningsspecialistlösningsarkitekt på AWS, baserad i Frankrike. Olivier hjälper AWS-kunder – från små startups till stora företag – att utveckla och distribuera maskininlärningsapplikationer i produktionsklass. På fritiden tycker han om att läsa forskningsrapporter och utforska vildmarken med vänner och familj.

Karl Albertsen leder Amazon SageMakers grundmodellnav, algoritmer och partnerskapsteam.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
• BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/