Modelul de fundație Falcon 180B de la TII este acum disponibil prin Amazon SageMaker JumpStart | Amazon Web Services

Astăzi, suntem încântați să anunțăm că modelul de fundație Falcon 180B dezvoltat de Technology Innovation Institute (TII) și instruit pe Amazon SageMaker este disponibil pentru clienți prin Amazon SageMaker JumpStart pentru a implementa cu un singur clic pentru a rula inferența. Cu o dimensiune de 180 de miliarde de parametri și antrenat pe un set de date masiv de 3.5 trilioane de jetoane, Falcon 180B este cel mai mare și unul dintre cele mai performante modele cu greutăți accesibile în mod deschis. Puteți încerca acest model cu SageMaker JumpStart, un hub de învățare automată (ML) care oferă acces la algoritmi, modele și soluții ML, astfel încât să puteți începe rapid cu ML. În această postare, vom explica cum să descoperim și să implementăm modelul Falcon 180B prin SageMaker JumpStart.

Ce este Falcon 180B

Falcon 180B este un model lansat de IIT care urmează lansărilor anterioare din familia Falcon. Este o versiune extinsă a Falcon 40B și folosește atenția cu mai multe interogări pentru o scalabilitate mai bună. Este un model de limbaj auto-regresiv care utilizează o arhitectură transformatoare optimizată. A fost antrenat pe 3.5 trilioane de jetoane de date, constând în principal din date web de la RefinedWeb (aproximativ 85%). Modelul are două versiuni: 180B și 180B-Chat. 180B este un model brut, pre-antrenat, care ar trebui să fie reglat în continuare pentru majoritatea cazurilor de utilizare. 180B-Chat este mai potrivit pentru a primi instrucțiuni generice. Modelul Chat a fost reglat fin pe seturile de date de chat și instrucțiuni, împreună cu mai multe seturi de date conversaționale la scară largă.

Modelul este disponibil sub Licență Falcon-180B TII și Politica de utilizare acceptabilă.

Falcon 180B a fost antrenat de TII pe Amazon SageMaker, pe un cluster de GPU-uri A4 de aproximativ 100K. A folosit o bază de cod de antrenament distribuită personalizat numită Gigatron, care utilizează paralelismul 3D cu ZeRO și nuclee Triton personalizate, de înaltă performanță. Arhitectura de instruire distribuită utilizată Serviciul Amazon de stocare simplă (Amazon S3) ca unic serviciu unificat pentru încărcarea datelor și scrierea și citirea punctelor de control, care a contribuit în special la fiabilitatea sarcinii de lucru și la simplitatea operațională.

Ce este SageMaker JumpStart

Cu SageMaker JumpStart, practicienii ML pot alege dintr-o listă tot mai mare de modele de fond de ten cu cele mai bune performanțe. Practicanții ML pot implementa modele de bază în instanțe SageMaker dedicate într-un mediu izolat de rețea și pot personaliza modele folosind Amazon SageMaker pentru instruirea și implementarea modelelor.

Acum puteți descoperi și implementa Falcon 180B cu câteva clicuri Amazon SageMaker Studio sau programatic prin intermediul SDK-ului SageMaker Python, permițându-vă să obțineți performanța modelului și controalele MLOps cu funcții SageMaker, cum ar fi Pipelines Amazon SageMaker, Debugger Amazon SageMaker, sau jurnalele containerului. Modelul este implementat într-un mediu securizat AWS și sub controalele dvs. VPC, contribuind la asigurarea securității datelor. Falcon 180B poate fi descoperit și poate fi implementat în regiunile în care sunt disponibile instanțele necesare. În prezent, instanțe ml.p4de sunt disponibile în estul SUA (N. Virginia) și în vestul SUA (Oregon).

Descoperă modele

Puteți accesa modelele de fundație prin SageMaker JumpStart în SageMaker Studio UI și SageMaker Python SDK. În această secțiune, vom analiza cum să descoperiți modelele în SageMaker Studio.

SageMaker Studio este un mediu de dezvoltare integrat (IDE) care oferă o interfață vizuală unică bazată pe web, unde puteți accesa instrumente special create pentru a efectua toți pașii de dezvoltare ML, de la pregătirea datelor până la construirea, antrenamentul și implementarea modelelor dvs. ML. Pentru mai multe detalii despre cum să începeți și să configurați SageMaker Studio, consultați Amazon SageMaker Studio.

În SageMaker Studio, puteți accesa SageMaker JumpStart, care conține modele pre-antrenate, notebook-uri și soluții prefabricate, sub Soluții preconstruite și automatizate.

Din pagina de destinație SageMaker JumpStart, puteți căuta soluții, modele, notebook-uri și alte resurse. Puteți găsi Falcon 180B în Modele de fundație: generare text carusel.

Poti gasi si alte variante de model alegand Explorați toate modelele de generare de text sau căutarea Falcon.

Puteți alege cardul model pentru a vedea detalii despre model, cum ar fi licența, datele utilizate pentru antrenament și modul de utilizare. Veți găsi și două butoane, Lansa și Deschide Notebook, care vă va ajuta să utilizați modelul (captura de ecran următoare arată Lansa opțiune).

Implementați modele

Când alegi Lansa, va începe implementarea modelului. Alternativ, puteți implementa prin exemplul de blocnotes care apare prin alegere Deschide Notebook. Exemplul de blocnotes oferă îndrumări de la capăt la capăt cu privire la modul de implementare a modelului pentru inferență și curățarea resurselor.

Pentru a implementa folosind un notebook, începem prin a selecta un model adecvat, specificat de model_id. Puteți implementa oricare dintre modelele selectate pe SageMaker cu următorul cod:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

Aceasta implementează modelul pe SageMaker cu configurații implicite, inclusiv tipul de instanță implicit și configurațiile VPC implicite. Puteți modifica aceste configurații specificând valori care nu sunt implicite în JumpStartModel. Pentru a afla mai multe, consultați Documentație API. După ce este implementat, puteți rula inferențe împotriva punctului final implementat printr-un predictor SageMaker. Vezi următorul cod:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

Parametrii de inferență controlează procesul de generare a textului la punctul final. Controlul maxim de jetoane noi se referă la dimensiunea rezultatului generat de model. Rețineți că acesta nu este același cu numărul de cuvinte, deoarece vocabularul modelului nu este același cu vocabularul în limba engleză și este posibil ca fiecare simbol să nu fie un cuvânt în limba engleză. Temperatura controlează aleatoritatea în ieșire. O temperatură mai ridicată are ca rezultat rezultate mai creative și halucinate. Toți parametrii de inferență sunt opționali.

Acest model de parametri 180B are 335 GB și necesită și mai multă memorie GPU pentru a efectua suficient deduceri cu precizie de 16 biți. În prezent, JumpStart acceptă acest model numai pe instanțe ml.p4de.24xlarge. Este posibil să se implementeze un model cuantizat pe 8 biți pe o instanță ml.p4d.24xlarge prin furnizarea env={"HF_MODEL_QUANTIZE": "bitsandbytes"} argument al cuvântului cheie la JumpStartModel constructor şi specificarea instance_type="ml.p4d.24xlarge" la metoda de implementare. Cu toate acestea, rețineți că latența pe token este de aproximativ 5 ori mai lentă pentru această configurație cuantificată.

Următorul tabel listează toate modelele Falcon disponibile în SageMaker JumpStart împreună cu ID-urile modelului, tipurile de instanțe implicite, numărul maxim de jetoane totale (suma numărului de jetoane de intrare și numărul de jetoane generate) acceptate și latența de răspuns tipică pe token pentru fiecare dintre aceste modele.

*latența pe token este furnizată pentru timpul mediu de răspuns al exemplelor de solicitări furnizate în acest blog; această valoare va varia în funcție de lungimea secvențelor de intrare și de ieșire.

Inferențe și exemple de solicitări pentru Falcon 180B

Modelele Falcon pot fi folosite pentru completarea textului pentru orice bucată de text. Prin generarea de text, puteți efectua o varietate de sarcini, cum ar fi răspunsul la întrebări, traducerea limbii, analiza sentimentelor și multe altele. Punctul final acceptă următoarea schemă de încărcare utilă de intrare:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Puteți explora definiția acestora parametrii clientului și valorile lor implicite în depozitul de generare de text-inferență.

Următoarele sunt câteva exemple de prompturi și textul generat de model. Toate ieșirile de aici sunt generate cu parametri de inferență {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

Construirea unui site web se poate face în 10 pași simpli:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Este posibil să observați că acest model preantrenat generează secvențe de text lungi care nu sunt neapărat ideale pentru cazurile de utilizare a dialogurilor. Înainte de a arăta cum funcționează modelul de chat ajustat pentru un set mai mare de solicitări bazate pe dialoguri, următoarele două exemple ilustrează cum să folosiți modelele Falcon cu învățare în context cu câteva fotografii, unde oferim mostre de antrenament disponibile modelului. Rețineți că „învățare cu puține lovituri” nu ajustează ponderile modelului - efectuăm doar inferențe asupra modelului implementat în timpul acestui proces, oferind în același timp câteva exemple în contextul de intrare pentru a ajuta la ieșirea modelului de breaslă.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Inferență și exemple de solicitări pentru Falcon 180B-Chat

Cu modelele Falcon 180B-Chat, optimizate pentru cazuri de utilizare a dialogului, intrarea în punctele finale ale modelului de chat poate conține istoricul anterior între asistentul de chat și utilizator. Puteți pune întrebări în contextul conversației care a avut loc până acum. De asemenea, puteți furniza configurația sistemului, cum ar fi personaje, care definesc comportamentul asistentului de chat. Sarcina utilă de intrare la punctul final este aceeași cu modelul Falcon 180B, cu excepția inputs valoarea șir ar trebui să utilizeze următorul format:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Următoarele sunt câteva exemple de prompturi și textul generat de model. Toate ieșirile sunt generate cu parametri de inferență {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

În exemplul următor, utilizatorul a avut o conversație cu asistentul despre locurile turistice din Paris. În continuare, utilizatorul întreabă despre prima opțiune recomandată de asistentul de chat.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

A curăța

După ce ați terminat de rulat blocnotesul, asigurați-vă că ștergeți toate resursele pe care le-ați creat în acest proces, astfel încât facturarea să fie oprită. Utilizați următorul cod:

predictor.delete_model()
predictor.delete_endpoint()

Concluzie

În această postare, v-am arătat cum să începeți cu Falcon 180B în SageMaker Studio și să implementați modelul pentru inferență. Deoarece modelele de fundație sunt pregătite în prealabil, ele pot ajuta la reducerea costurilor de instruire și infrastructură și pot permite personalizarea pentru cazul dvs. de utilizare. Vizitați SageMaker JumpStart în SageMaker Studio acum pentru a începe.

Resurse

Despre Autori

Dr. Kyle Ulrich este un om de știință aplicat în echipa Amazon SageMaker JumpStart. Interesele sale de cercetare includ algoritmi scalabili de învățare automată, viziunea computerizată, serii temporale, non-parametrice bayesiene și procese gaussiene. Doctoratul său este de la Universitatea Duke și a publicat lucrări în NeurIPS, Cell, and Neuron.

Dr. Ashish Khetan este cercetător senior aplicat cu Amazon SageMaker JumpStart și ajută la dezvoltarea algoritmilor de învățare automată. Și-a luat doctoratul la Universitatea din Illinois Urbana-Champaign. Este un cercetător activ în învățarea automată și inferența statistică și a publicat multe lucrări în conferințele NeurIPS, ICML, ICLR, JMLR, ACL și EMNLP.

Olivier Cruchaneste arhitect principal de soluții de specialitate în învățare automată la AWS, cu sediul în Franța. Olivier îi ajută pe clienții AWS – de la startup-uri mici până la întreprinderi mari – să dezvolte și să implementeze aplicații de învățare automată la nivel de producție. În timpul liber, îi place să citească lucrări de cercetare și să exploreze sălbăticia cu prietenii și familia.

Karl Albertsen conduce echipele de modele, algoritmi și parteneriate ale Amazon SageMaker.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• ChartPrime. Crește-ți jocul de tranzacționare cu ChartPrime. Accesați Aici.
• BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/