Model temeljev Falcon 180B podjetja TII je zdaj na voljo prek Amazon SageMaker JumpStart | Spletne storitve Amazon

Danes z veseljem sporočamo, da je temeljni model Falcon 180B, ki ga je razvil Inštitut za tehnološke inovacije (TII) in je bil usposobljen na Amazon SageMaker, na voljo strankam prek Amazon SageMaker JumpStart za uvedbo z enim klikom za izvajanje sklepanja. Falcon 180B je največji in eden najzmogljivejših modelov z javno dostopnimi utežmi z velikostjo 3.5 milijard parametrov in usposobljenim na ogromnem naboru podatkov s 180 bilijona žetonov. Ta model lahko preizkusite s SageMaker JumpStart, središčem za strojno učenje (ML), ki omogoča dostop do algoritmov, modelov in rešitev ML, tako da lahko hitro začnete uporabljati ML. V tem prispevku bomo predstavili, kako odkriti in namestiti model Falcon 180B prek SageMaker JumpStart.

Kaj je Falcon 180B

Falcon 180B je model, ki ga je izdal IIT ki sledi prejšnjim izdajam v družini Falcon. Je povečana različica Falcona 40B in uporablja več poizvedb za boljšo razširljivost. To je avtoregresivni jezikovni model, ki uporablja optimizirano transformatorsko arhitekturo. Usposobljen je bil na 3.5 bilijona žetonov podatkov, ki so bili v glavnem sestavljeni iz spletnih podatkov iz RefinedWeb (približno 85%). Model ima dve različici: 180B in 180B-Chat. 180B je neobdelan, vnaprej usposobljen model, ki ga je treba dodatno prilagoditi za večino primerov uporabe. 180B-Chat je bolj primeren za sprejemanje splošnih navodil. Model klepeta je bil natančno nastavljen na naborih podatkov o klepetu in navodilih skupaj z več obsežnimi nabori podatkov o pogovorih.

Model je na voljo pod Licenca Falcon-180B TII in Politika sprejemljive uporabe.

TII je letalo Falcon 180B usposobil Amazon SageMaker, v gruči približno 4K A100 GPE. Uporabil je kodno bazo za distribuirano usposabljanje po meri, imenovano Gigatron, ki uporablja 3D paralelizem z ZeRO, in prilagojena, visoko zmogljiva jedra Triton. Uporabljena arhitektura porazdeljenega usposabljanja Preprosta storitev shranjevanja Amazon (Amazon S3) kot edina poenotena storitev za nalaganje podatkov ter pisanje in branje kontrolnih točk, kar je še posebej pripomoglo k zanesljivosti obremenitev in preprostosti delovanja.

Kaj je SageMaker JumpStart

S SageMaker JumpStart lahko praktiki ML izbirajo med rastočim seznamom najuspešnejših modelov temeljev. Strokovnjaki ML lahko uvedejo temeljne modele v namenske instance SageMaker znotraj omrežno izoliranega okolja in prilagodijo modele z uporabo Amazon SageMaker za usposabljanje in uvajanje modelov.

Zdaj lahko odkrijete in uvedete Falcon 180B z nekaj kliki Amazon SageMaker Studio ali programsko prek SDK-ja SageMaker Python, kar vam omogoča, da izpeljete zmogljivost modela in kontrole MLOps s funkcijami SageMaker, kot je Amazonski cevovodi SageMaker, Napaka Amazon SageMaker, ali kontejnerski dnevniki. Model je nameščen v varnem okolju AWS in pod vašimi kontrolami VPC, kar pomaga zagotoviti varnost podatkov. Falcon 180B je mogoče odkriti in ga je mogoče namestiti v regijah, kjer so na voljo zahtevani primerki. Trenutno so primerki ml.p4de na voljo na vzhodu ZDA (N. Virginija) in zahodu ZDA (Oregon).

Odkrijte modele

Do temeljnih modelov lahko dostopate prek SageMaker JumpStart v uporabniškem vmesniku SageMaker Studio in SDK SageMaker Python. V tem razdelku bomo opisali, kako odkriti modele v SageMaker Studio.

SageMaker Studio je integrirano razvojno okolje (IDE), ki ponuja enoten spletni vizualni vmesnik, kjer lahko dostopate do namensko izdelanih orodij za izvajanje vseh razvojnih korakov ML, od priprave podatkov do gradnje, usposabljanja in uvajanja vaših modelov ML. Za več podrobnosti o tem, kako začeti in nastaviti SageMaker Studio, glejte Amazon SageMaker Studio.

V SageMaker Studio lahko dostopate do SageMaker JumpStart, ki vsebuje vnaprej pripravljene modele, prenosnike in vnaprej pripravljene rešitve, pod Predizdelane in avtomatizirane rešitve.

Na ciljni strani SageMaker JumpStart lahko brskate po rešitvah, modelih, prenosnikih in drugih virih. Falcon 180B najdete v Temeljni modeli: generiranje besedila vrtiljak.

Z izbiro najdete tudi druge modelske variante Raziščite vse modele generiranja besedila ali iskanje Falcon.

Izberete lahko kartico modela, da si ogledate podrobnosti o modelu, kot so licenca, podatki, uporabljeni za usposabljanje, in način uporabe. Našli boste tudi dva gumba, uvajanje in Odprite Beležnico, ki vam bo pomagal pri uporabi modela (naslednji posnetek zaslona prikazuje uvajanje možnost).

Namestite modele

Ko izberete uvajanje, se bo začela uvedba modela. Druga možnost je, da uvedete prek vzorčnega zvezka, ki se prikaže z izbiro Odprite Beležnico. Primer zvezka nudi navodila od konca do konca o tem, kako razmestiti model za sklepanje in čiščenje virov.

Za uvajanje z uporabo prenosnega računalnika začnemo z izbiro ustreznega modela, ki ga določi model_id. Kateri koli od izbranih modelov lahko namestite na SageMaker z naslednjo kodo:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

To razmesti model v SageMaker s privzetimi konfiguracijami, vključno s privzeto vrsto primerka in privzetimi konfiguracijami VPC. Te konfiguracije lahko spremenite tako, da podate neprivzete vrednosti v JumpStartModel. Če želite izvedeti več, glejte Dokumentacija API. Ko je uveden, lahko izvajate sklepanje glede na uvedeno končno točko prek napovedovalca SageMaker. Oglejte si naslednjo kodo:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Parametri sklepanja nadzirajo proces generiranja besedila na končni točki. Največji nadzor novih žetonov se nanaša na velikost izhoda, ki ga ustvari model. Upoštevajte, da to ni enako številu besed, ker besedišče modela ni enako besedišču angleškega jezika in vsak žeton morda ni beseda angleškega jezika. Temperatura nadzoruje naključnost v izhodu. Višja temperatura povzroči bolj ustvarjalne in halucinirane rezultate. Vsi parametri sklepanja so neobvezni.

Ta model parametrov 180B ima 335 GB in zahteva še več pomnilnika GPE za zadostno izvedbo sklepanja s 16-bitno natančnostjo. Trenutno JumpStart podpira ta model samo na primerkih ml.p4de.24xlarge. Možno je razmestiti 8-bitni kvantizirani model na primerek ml.p4d.24xlarge z zagotavljanjem env={"HF_MODEL_QUANTIZE": "bitsandbytes"} argument ključne besede za JumpStartModel konstruktor in določanje instance_type="ml.p4d.24xlarge" na način namestitve. Vendar upoštevajte, da je zakasnitev na žeton približno 5x počasnejša za to kvantizirano konfiguracijo.

Naslednja tabela navaja vse modele Falcon, ki so na voljo v SageMaker JumpStart, skupaj z ID-ji modela, privzetimi vrstami primerkov, največjim številom podprtih skupnih žetonov (vsota števila vhodnih žetonov in števila ustvarjenih žetonov) in tipično zakasnitvijo odziva na žeton za vsakega od teh modelov.

*zakasnitev na žeton je podana za mediani odzivni čas primerov pozivov, navedenih v tem blogu; ta vrednost se bo spreminjala glede na dolžino vhodnih in izhodnih zaporedij.

Pozivi za sklepanje in primere za Falcon 180B

Modele Falcon lahko uporabite za dopolnjevanje katerega koli dela besedila. Z generiranjem besedila lahko izvajate različne naloge, kot so odgovarjanje na vprašanja, jezikovni prevod, analiza čustev in še veliko več. Končna točka sprejme naslednjo shemo vhodne obremenitve:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Lahko raziščete definicijo teh parametri odjemalca in njihove privzete vrednosti v repozitoriju sklepanja o ustvarjanju besedila.

Sledi nekaj vzorčnih primerov pozivov in besedila, ki ga ustvari model. Vsi izhodi tukaj so ustvarjeni s parametri sklepanja {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Izdelava spletnega mesta je možna v 10 preprostih korakih:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Morda boste opazili, da ta vnaprej usposobljeni model ustvarja dolga besedilna zaporedja, ki niso nujno idealna za primere uporabe pogovornih oken. Preden pokažemo, kako deluje natančno nastavljeni model klepeta za večji nabor pozivov, ki temeljijo na pogovornem oknu, naslednja dva primera ponazarjata, kako uporabljati modele Falcon z učenjem v kontekstu z nekaj posnetki, kjer nudimo vzorce usposabljanja, ki so na voljo modelu. Upoštevajte, da »nekajkratno učenje« ne prilagaja uteži modela — med tem postopkom izvedemo samo sklepanje o razporejenem modelu, medtem ko v vhodnem kontekstu zagotovimo nekaj primerov za pomoč pri izhodu cehovskega modela.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Pozivi za sklepanje in primere za Falcon 180B-Chat

Z modeli Falcon 180B-Chat, optimiziranimi za primere uporabe dialoga, lahko vnos v končne točke modela klepeta vsebuje prejšnjo zgodovino med pomočnikom za klepet in uporabnikom. Vprašanja lahko postavljate v kontekstu pogovora, ki se je zgodil do zdaj. Določite lahko tudi sistemsko konfiguracijo, kot so osebe, ki določajo vedenje pomočnika za klepet. Vhodni tovor do končne točke je enak modelu Falcon 180B, razen inputs vrednost niza mora uporabljati naslednjo obliko:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Sledi nekaj vzorčnih primerov pozivov in besedila, ki ga ustvari model. Vsi izhodi so ustvarjeni s parametri sklepanja {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

V naslednjem primeru se je uporabnik z asistentom pogovarjal o turističnih krajih v Parizu. Nato uporabnik sprašuje o prvi možnosti, ki jo priporoča pomočnik za klepet.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Čiščenje

Ko končate z zagonom zvezka, izbrišite vse vire, ki ste jih ustvarili med postopkom, da bo vaše zaračunavanje ustavljeno. Uporabite naslednjo kodo:

predictor.delete_model()
predictor.delete_endpoint()

zaključek

V tej objavi smo vam pokazali, kako začeti uporabljati Falcon 180B v studiu SageMaker in razmestiti model za sklepanje. Ker so osnovni modeli vnaprej usposobljeni, lahko pomagajo znižati stroške usposabljanja in infrastrukture ter omogočijo prilagoditev za vaš primer uporabe. Za začetek obiščite SageMaker JumpStart v SageMaker Studio.

viri

O avtorjih

Dr. Kyle Ulrich je uporabni znanstvenik pri ekipi Amazon SageMaker JumpStart. Njegovi raziskovalni interesi vključujejo skalabilne algoritme strojnega učenja, računalniški vid, časovne vrste, Bayesove neparametrične in Gaussove procese. Njegov doktorat je pridobil na Univerzi Duke in je objavil članke v NeurIPS, Cell in Neuron.

Dr. Ashish Khetan je višji aplikativni znanstvenik pri Amazon SageMaker JumpStart in pomaga pri razvoju algoritmov strojnega učenja. Doktoriral je na Univerzi Illinois Urbana-Champaign. Je aktiven raziskovalec strojnega učenja in statističnega sklepanja ter je objavil številne članke na konferencah NeurIPS, ICML, ICLR, JMLR, ACL in EMNLP.

Olivier Cruchant je glavni arhitekt za rešitve strokovnjaka za strojno učenje pri AWS s sedežem v Franciji. Olivier pomaga strankam AWS – od majhnih novoustanovljenih podjetij do velikih podjetij – pri razvoju in uvajanju aplikacij za strojno učenje proizvodnega razreda. V prostem času rad bere raziskovalne naloge in s prijatelji in družino raziskuje divjino.

Karl Albertsen vodi središče temeljnega modela Amazon SageMaker, skupine za algoritme in partnerstva.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Avtomobili/EV, Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• ChartPrime. Izboljšajte svojo igro trgovanja s ChartPrime. Dostopite tukaj.
• BlockOffsets. Posodobitev okoljskega offset lastništva. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/