TII vundamendimudel Falcon 180B on nüüd saadaval Amazon SageMaker JumpStart | kaudu Amazoni veebiteenused

Täna teatame rõõmuga, et Technology Innovation Institute (TII) välja töötatud ja Amazon SageMakeris koolitatud Falcon 180B vundamendimudel on klientidele saadaval Amazon SageMaker JumpStart juurutamiseks ühe klõpsuga järelduste tegemiseks. Falcon 180B on 3.5 miljardi parameetri suuruse ja massiivse 180 triljoni märgiga andmekogumi põhjal treenitud suurim ja üks tõhusamaid mudeleid, millel on avalikult juurdepääsetavad kaalud. Saate seda mudelit proovida SageMaker JumpStartiga, masinõppe (ML) keskusega, mis pakub juurdepääsu algoritmidele, mudelitele ja ML-lahendustele, et saaksite ML-iga kiiresti alustada. Selles postituses kirjeldame, kuidas SageMaker JumpStarti kaudu Falcon 180B mudelit avastada ja juurutada.

Mis on Falcon 180B

Falcon 180B on mudel, mille on välja andnud IIT mis järgneb Falconi perekonna varasematele väljaannetele. See on Falcon 40B suurendatud versioon ja kasutab parema skaleeritavuse huvides mitme päringu tähelepanu. See on automaatselt regressiivne keelemudel, mis kasutab optimeeritud trafo arhitektuuri. Seda õpetati 3.5 triljonil andmemärgil, mis koosnes peamiselt veebiandmetest RefinedWeb (umbes 85%). Mudelil on kaks versiooni: 180B ja 180B-Chat. 180B on töötlemata, eelkoolitatud mudel, mida tuleks enamiku kasutusjuhtude jaoks veelgi täpsustada. 180B-Chat sobib paremini üldiste juhiste saamiseks. Vestluse mudelit on vestluse ja juhiste andmekogumitel viimistletud koos mitme suuremahulise vestlusandmestikuga.

Mudel on saadaval all Falcon-180B TII litsents ja Vastuvõetava kasutamise eeskirjad.

Falcon 180B koolitas TII edasi Amazon SageMaker, umbes 4K A100 GPU klastris. See kasutas kohandatud hajutatud koolituskoodibaasi nimega Gigatron, mis kasutab 3D-paralleelsust ZeRO-ga, ja kohandatud suure jõudlusega Tritoni tuumasid. Kasutatud hajutatud koolitusarhitektuur Amazoni lihtne salvestusteenus (Amazon S3) kui ainus ühtne teenus andmete laadimiseks ning kontrollpunktide kirjutamiseks ja lugemiseks, mis aitas eriti kaasa töökoormuse usaldusväärsusele ja töölihtsusele.

Mis on SageMaker JumpStart

SageMaker JumpStartiga saavad ML-i praktikud valida kasvava nimekirja kõige paremini toimivatest aluskreemide mudelitest. ML-i praktikud saavad juurutada sihtmudelid spetsiaalsetele SageMakeri eksemplaridele võrgust eraldatud keskkonnas ja kohandada mudeleid Amazon SageMakeri abil mudelite koolitamiseks ja juurutamiseks.

Nüüd saate mõne klõpsuga avastada ja juurutada Falcon 180B Amazon SageMaker Studio või programmiliselt SageMaker Python SDK kaudu, mis võimaldab teil tuletada mudeli jõudlust ja MLOps-i juhtelemente SageMakeri funktsioonidega, nagu Amazon SageMakeri torujuhtmed, Amazon SageMakeri silurvõi konteineri palke. Mudel on juurutatud AWS-i turvalises keskkonnas ja teie VPC kontrolli all, aidates tagada andmete turvalisust. Falcon 180B on leitav ja seda saab juurutada piirkondades, kus on saadaval vajalikud eksemplarid. Praegu on ml.p4de eksemplarid saadaval USA idaosas (N. Virginia) ja USA läänes (Oregon).

Avastage mudeleid

Vundamendimudelitele pääsete juurde SageMakeri JumpStarti kaudu SageMaker Studio kasutajaliideses ja SageMaker Python SDK-s. Selles jaotises käsitleme SageMaker Studio mudelite leidmist.

SageMaker Studio on integreeritud arenduskeskkond (IDE), mis pakub ühtset veebipõhist visuaalset liidest, kus pääsete juurde sihipäraselt loodud tööriistadele, et sooritada kõiki ML-i arendusetappe alates andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni. Lisateavet SageMaker Studio alustamise ja seadistamise kohta leiate aadressilt Amazon SageMaker Studio.

SageMaker Studios pääsete juurde SageMaker JumpStartile, mis sisaldab eelkoolitatud mudeleid, märkmikke ja eelehitatud lahendusi. Eelehitatud ja automatiseeritud lahendused.

SageMaker JumpStarti sihtlehel saate sirvida lahendusi, mudeleid, märkmikke ja muid ressursse. Falcon 180B leiate aadressilt Vundamendi mudelid: teksti genereerimine karussell.

Valides leiate ka teisi mudelivariante Tutvuge kõigi teksti genereerimise mudelitega või otsivad Falcon.

Saate valida mudelikaardi, et vaadata mudeli üksikasju, nagu litsents, koolituseks kasutatud andmed ja kasutusviis. Samuti leiate kaks nuppu, juurutada ja Avage märkmik, mis aitab teil mudelit kasutada (järgmine ekraanipilt näitab juurutada valik).

Juurutage mudelid

Kui valite juurutada, algab mudeli juurutamine. Teise võimalusena saate juurutada näidismärkmiku kaudu, mis kuvatakse valides Avage märkmik. Näidismärkmik pakub täielikke juhiseid selle kohta, kuidas mudelit järelduste tegemiseks ja ressursside puhastamiseks kasutada.

Märkmiku abil juurutamiseks alustame sobiva mudeli valimisega, mille määrab kindlaks model_id. Saate SageMakeris juurutada mis tahes valitud mudelitest järgmise koodiga:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

See juurutab mudeli SageMakeris vaikekonfiguratsioonidega, sealhulgas eksemplari vaiketüübi ja VPC vaikekonfiguratsioonidega. Saate neid konfiguratsioone muuta, määrates sisse mittevaikeväärtused JumpStartModel. Lisateabe saamiseks vaadake API dokumentatsioon. Pärast selle juurutamist saate SageMakeri ennustaja kaudu käivitada juurutatud lõpp-punkti kohta järeldusi. Vaadake järgmist koodi:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Järeldusparameetrid juhivad teksti genereerimise protsessi lõpp-punktis. Maksimaalne uute märkide juhtelement viitab mudeli genereeritud väljundi suurusele. Pange tähele, et see ei ole sama kui sõnade arv, sest mudeli sõnavara ei ole sama mis inglise keele sõnavara ja iga märk ei pruugi olla ingliskeelne sõna. Temperatuur reguleerib väljundi juhuslikkust. Kõrgem temperatuur toob kaasa loomingulisemad ja hallutsineeritumad tulemused. Kõik järeldusparameetrid on valikulised.

See 180B parameetrimudel on 335 GB ja nõuab 16-bitise täpsusega piisava järelduse tegemiseks veelgi rohkem GPU mälu. Praegu toetab JumpStart seda mudelit ainult ml.p4de.24xlarge eksemplaridel. 8-bitist kvantiseeritud mudelit on võimalik juurutada ml.p4d.24xsuurel eksemplaril, pakkudes env={"HF_MODEL_QUANTIZE": "bitsandbytes"} märksõna argument JumpStartModel konstruktor ja täpsustamine instance_type="ml.p4d.24xlarge" juurutamise meetodile. Pange tähele, et selle kvantiseeritud konfiguratsiooni puhul on märgipõhine latentsusaeg ligikaudu 5 korda aeglasem.

Järgmises tabelis on loetletud kõik SageMaker JumpStartis saadaolevad Falconi mudelid koos mudeli ID-de, eksemplari vaiketüüpide, toetatud žetoonide maksimaalse arvu (sisendmärkide arvu ja loodud märkide arvu summa) ja tüüpilise vastuse latentsusega loa kohta. iga sellise mudeli jaoks.

*märke latentsusaeg on antud ajaveebis esitatud näidisviipade keskmise reaktsiooniaja jaoks; see väärtus varieerub sõltuvalt sisend- ja väljundjada pikkusest.

Järeldused ja näited Falcon 180B jaoks

Falconi mudeleid saab kasutada mis tahes tekstilõigu teksti lõpetamiseks. Teksti genereerimise abil saate täita mitmesuguseid ülesandeid, nagu küsimustele vastamine, keele tõlkimine, tundeanalüüs ja palju muud. Lõpp-punkt aktsepteerib järgmist sisendkoormusskeemi:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Saate uurida nende määratlusi kliendi parameetrid ja nende vaikeväärtused teksti genereerimise järelduste hoidlas.

Järgnevalt on toodud mõned näidisviibad ja mudeli loodud tekst. Kõik siinsed väljundid genereeritakse järeldusparameetritega {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Veebisaidi loomine toimub 10 lihtsa sammuga:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Võite märgata, et see eelkoolitatud mudel genereerib pikki tekstijadasid, mis pole dialoogikasutusjuhtumite jaoks tingimata ideaalsed. Enne kui näitame, kuidas peenhäälestatud vestlusmudel toimib suurema hulga dialoogipõhiste viipade puhul, illustreerivad järgmised kaks näidet Falconi mudelite kasutamist vähese kaadriga kontekstis õppimisega, kus pakume mudelile saadaolevaid koolitusnäidiseid. Pange tähele, et "mõne võttega õppimine" ei kohanda mudelite kaalu – selle protsessi käigus teeme juurutatud mudeli kohta ainult järeldusi, pakkudes samas sisendi kontekstis mõned näited, mis aitavad gildi mudeli väljundit.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Järeldused ja näited Falcon 180B-Chat jaoks

Dialoogikasutusjuhtumite jaoks optimeeritud Falcon 180B-Chat mudelite puhul võib vestlusmudeli lõpp-punktide sisend sisaldada vestlusabilise ja kasutaja vahelist varasemat ajalugu. Saate esitada küsimusi, mis on seotud seni toimunud vestlusega. Saate esitada ka süsteemi konfiguratsiooni, näiteks isikud, mis määravad vestlusassistendi käitumise. Lõpp-punkti sisendkoormus on sama mis Falcon 180B mudelil, välja arvatud inputs stringi väärtus peaks kasutama järgmist vormingut:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Järgnevalt on toodud mõned näidisviibad ja mudeli loodud tekst. Kõik väljundid genereeritakse järeldusparameetritega {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

Järgmises näites on kasutaja vestelnud assistendiga Pariisi turismiobjektide teemal. Järgmisena küsib kasutaja vestlusabilise soovitatud esimese võimaluse kohta.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Koristage

Kui olete märkmiku käitamise lõpetanud, kustutage kindlasti kõik protsessi käigus loodud ressursid, et teie arveldamine peataks. Kasutage järgmist koodi:

predictor.delete_model()
predictor.delete_endpoint()

Järeldus

Selles postituses näitasime teile, kuidas SageMaker Studios Falcon 180B kasutamist alustada ja mudelit järelduste tegemiseks juurutada. Kuna vundamendimudelid on eelkoolitatud, võivad need aidata vähendada koolitus- ja infrastruktuurikulusid ning võimaldada kohandamist teie kasutusjuhtumitele. Alustamiseks külastage SageMaker Studios SageMaker JumpStart.

Vahendid

Autoritest

Dr Kyle Ulrich on Amazon SageMaker JumpStart meeskonna rakendusteadlane. Tema uurimishuvide hulka kuuluvad skaleeritavad masinõppe algoritmid, arvutinägemine, aegridad, Bayesi mitteparameetrid ja Gaussi protsessid. Tema doktorikraad on pärit Duke'i ülikoolist ja ta on avaldanud töid NeurIPSis, Cell ja Neuron.

Dr Ashish Khetan on Amazon SageMaker JumpStarti vanemrakendusteadlane ja aitab välja töötada masinõppe algoritme. Ta sai doktorikraadi Illinoisi Urbana-Champaigni ülikoolist. Ta on aktiivne masinõppe ja statistiliste järelduste uurija ning avaldanud palju artikleid NeurIPS, ICML, ICLR, JMLR, ACL ja EMNLP konverentsidel.

Olivier Cruchant on Prantsusmaal asuva AWS-i peamine masinõppe spetsialisti lahenduste arhitekt. Olivier aitab AWS-i klientidel – alates väikestest alustavatest ettevõtetest kuni suurte ettevõteteni – arendada ja juurutada tootmistasemel masinõpperakendusi. Vabal ajal naudib ta uurimistööde lugemist ning sõprade ja perega kõrbe avastamist.

Karl Albertsen juhib Amazon SageMakeri alusmudelite keskust, algoritme ja partnerlusrühmi.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• ChartPrime. Tõsta oma kauplemismängu ChartPrime'iga kõrgemale. Juurdepääs siia.
• BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/