A TII Falcon 180B alapozó modellje már elérhető az Amazon SageMaker JumpStart | Amazon webszolgáltatások

Ma örömmel jelentjük be, hogy a Technology Innovation Institute (TII) által kifejlesztett és az Amazon SageMakeren kiképzett Falcon 180B alapozó modell elérhető az ügyfelek számára a következőn keresztül. Amazon SageMaker JumpStart egy kattintással telepíthető a következtetés futtatásához. A Falcon 180B 3.5 milliárd paraméteres méretével és egy hatalmas, 180 billió token adathalmazra képzett modellje a legnagyobb és az egyik legteljesítményesebb modell nyíltan hozzáférhető súlyokkal. Kipróbálhatja ezt a modellt a SageMaker JumpStarttal, egy gépi tanulási (ML) központtal, amely hozzáférést biztosít algoritmusokhoz, modellekhez és ML-megoldásokhoz, így gyorsan elkezdheti az ML használatát. Ebben a bejegyzésben bemutatjuk, hogyan lehet felfedezni és telepíteni a Falcon 180B modellt a SageMaker JumpStart segítségével.

Mi az a Falcon 180B

A Falcon 180B egy olyan modell, amelyet a IIT ez a Falcon család korábbi kiadásait követi. Ez a Falcon 40B felnagyított változata, és több lekérdezést használ a jobb méretezhetőség érdekében. Ez egy automatikusan regresszív nyelvi modell, amely optimalizált transzformátor architektúrát használ. 3.5 billió token adatra képezték ki, amelyek elsősorban webes adatokból állnak RefinedWeb (körülbelül 85%). A modellnek két változata van: 180B és 180B-Chat. A 180B egy nyers, előre betanított modell, amelyet a legtöbb használati esethez tovább kell finomítani. A 180B-Chat jobban megfelel általános utasítások fogadására. A Chat modellt finomhangolták a csevegési és utasítási adatkészleteken, valamint számos nagyszabású párbeszédes adatkészleten.

A modell elérhetősége a Falcon-180B TII licenc és a Elfogadható használati szabályzat.

A Falcon 180B-t a TII képezte ki Amazon SageMaker, körülbelül 4K A100 GPU-ból álló klaszteren. Egyéni, Gigatron nevű, elosztott képzési kódbázist használt, amely 3D párhuzamosságot használ a ZeRO-val, és egyedi, nagy teljesítményű Triton kerneleket. A használt elosztott képzési architektúra Amazon egyszerű tárolási szolgáltatás (Amazon S3), mint az egyetlen egységes adatbetöltési és ellenőrzőpont-írási és -olvasási szolgáltatás, amely különösen hozzájárult a munkaterhelés megbízhatóságához és a működési egyszerűséghez.

Mi az a SageMaker JumpStart

A SageMaker JumpStart segítségével az ML gyakorlói a legjobban teljesítő alapozó modellek egyre növekvő listájából választhatnak. Az ML gyakorlói alapmodelleket telepíthetnek a dedikált SageMaker-példányokra egy hálózattól elkülönített környezetben, és testreszabhatják a modelleket az Amazon SageMaker segítségével a modell betanítására és telepítésére.

Most már néhány kattintással felfedezheti és üzembe helyezheti a Falcon 180B-t Amazon SageMaker Studio vagy programozottan a SageMaker Python SDK-n keresztül, lehetővé téve a modell teljesítményének és az MLOps vezérlők származtatását a SageMaker funkciókkal, mint pl. Amazon SageMaker csővezetékek, Amazon SageMaker Debuggervagy konténernaplókat. A modellt AWS biztonságos környezetben és az Ön VPC-vezérlése alatt helyezik üzembe, így biztosítva az adatbiztonságot. A Falcon 180B felfedezhető és telepíthető azokban a régiókban, ahol a szükséges példányok rendelkezésre állnak. Jelenleg az ml.p4de példányok az US East (N. Virginia) és az US West (Oregon) államokban érhetők el.

Fedezze fel a modelleket

Az alapmodelleket a SageMaker JumpStart segítségével érheti el a SageMaker Studio UI-ban és a SageMaker Python SDK-ban. Ebben a részben áttekintjük, hogyan fedezheti fel a modelleket a SageMaker Stúdióban.

A SageMaker Studio egy integrált fejlesztői környezet (IDE), amely egyetlen web-alapú vizuális felületet biztosít, ahol hozzáférhet a célra épített eszközökhöz az ML fejlesztési lépések elvégzéséhez, az adatok előkészítésétől az ML modellek felépítéséig, betanításáig és telepítéséig. A SageMaker Studio megkezdésével és beállításával kapcsolatos további részletekért lásd: Amazon SageMaker Studio.

A SageMaker Studio alkalmazásban elérheti a SageMaker JumpStart programot, amely előre betanított modelleket, notebookokat és előre elkészített megoldásokat tartalmaz. Előre elkészített és automatizált megoldások.

A SageMaker JumpStart nyitóoldalán megoldások, modellek, notebookok és egyéb források között böngészhet. A Falcon 180B megtalálható a Alapozási modellek: Szöveggenerálás körhinta.

Választással más modellváltozatokat is találhat Fedezze fel az összes szöveggenerációs modellt vagy keres Falcon.

A modellkártya kiválasztásával megtekintheti a modell részleteit, például a licencet, a betanításhoz használt adatokat és a használat módját. Két gombot is talál, Telepítése és a Nyissa meg a Jegyzetfüzetet, amely segít a modell használatában (a következő képernyőképen a Telepítése választási lehetőség).

Telepítse a modelleket

Ha úgy dönt Telepítése, megkezdődik a modell telepítése. Alternatív megoldásként telepítheti a példa-jegyzetfüzeten keresztül, amely a választással megjelenik Nyissa meg a Jegyzetfüzetet. A példajegyzetfüzet teljes körű útmutatást nyújt a modell telepítéséhez a következtetések levonásához és az erőforrások tisztításához.

A notebook használatával történő üzembe helyezéshez először kiválasztjuk a megfelelő modellt, amelyet a model_id. A kiválasztott modellek bármelyikét üzembe helyezheti a SageMakerben a következő kóddal:

from sagemaker.jumpstart.model import JumpStartModel my_model = JumpStartModel(model_id="huggingface-llm-falcon-180b-chat-bf16") predictor = my_model.deploy()

Ez a SageMaker modellt alapértelmezett konfigurációkkal telepíti, beleértve az alapértelmezett példánytípust és az alapértelmezett VPC-konfigurációkat. Módosíthatja ezeket a konfigurációkat a nem alapértelmezett értékek megadásával JumpStartModel. További információért tekintse meg a API dokumentáció. Telepítése után következtetést futtathat a telepített végponttal egy SageMaker előrejelzőn keresztül. Lásd a következő kódot:

payload = { "inputs": "User: Hello!nFalcon: ", "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.6}
}
response = predictor.predict(payload)

A következtetési paraméterek vezérlik a szöveggenerálási folyamatot a végponton. A max new tokens vezérlés a modell által generált kimenet méretére vonatkozik. Ne feledje, hogy ez nem azonos a szavak számával, mert a modell szókincse nem egyezik meg az angol nyelv szókincsével, és előfordulhat, hogy minden token nem angol nyelvű szó. A hőmérséklet szabályozza a kimenet véletlenszerűségét. A magasabb hőmérséklet kreatívabb és hallucináltabb kimeneteket eredményez. Az összes következtetési paraméter nem kötelező.

Ez a 180B paraméteres modell 335 GB-os, és még több GPU-memóriát igényel, hogy kellőképpen 16 bites pontossággal lehessen következtetéseket levonni. Jelenleg a JumpStart csak ml.p4de.24xlarge példányokon támogatja ezt a modellt. Lehetőség van egy 8 bites kvantált modell üzembe helyezésére egy ml.p4d.24xlarge példányon a env={"HF_MODEL_QUANTIZE": "bitsandbytes"} kulcsszó argumentum a JumpStartModel konstruktor és megadása instance_type="ml.p4d.24xlarge" a telepítési módszerhez. Azonban vegye figyelembe, hogy a tokenenkénti késleltetés körülbelül 5-ször lassabb ennél a kvantált konfigurációnál.

Az alábbi táblázat felsorolja a SageMaker JumpStartban elérhető összes Falcon modellt, a modellazonosítókkal, az alapértelmezett példánytípusokkal, a támogatott tokenek maximális számával (a bemeneti tokenek számának és a generált tokenek számának összege), valamint a tipikus válasz késleltetéssel. mindegyik modellhez.

*A tokenenkénti késleltetés az ebben a blogban található példakérdések medián válaszidejére vonatkozik; ez az érték a bemeneti és kimeneti sorozatok hosszától függően változik.

Következtetési és példakérdések a Falcon 180B-hez

A Falcon modellek bármilyen szövegrész szövegének kiegészítésére használhatók. A szöveggenerálás révén különféle feladatokat hajthat végre, mint például kérdések megválaszolása, nyelvi fordítás, hangulatelemzés és még sok más. A végpont a következő bemeneti hasznos adatsémát fogadja el:

payload = { "inputs": str, (optional)"parameters": { "do_sample": bool, "max_new_tokens": int, "repetition_penalty": float, "return_full_text": bool, "stop": List[str], "seed": int, "temperature": float, "top_k": int, "top_p": float, "truncate": int, "typical_p": float, "best_of": int, "watermark": bool, "details": bool, "decoder_input_details": bool, }
}

Ezek definícióját megtudhatja ügyfél paraméterei és azok alapértelmezett értékei a szöveggenerációs következtetések tárában.

Az alábbiakban néhány példa-parancssor és a modell által generált szöveg található. Itt minden kimenet következtetési paraméterekkel jön létre {"max_new_tokens": 768, "stop": ["<|endoftext|>", "###"]}.

A weboldal elkészítése 10 egyszerű lépésben történhet:

Input Building a website can be done in 10 simple steps: Output
- Choose a domain name
- Register your domain name
- Choose a web host
- Choose a website builder
- Create your website
- Add content to your website
- Add pages to your website
- Add images to your website
- Add videos to your website
- Add social media to your website
1. Choose a domain name
A domain name is the address of your website. It is what people will type into their browser to find your website. For example, the domain name of this website is.
When choosing a domain name, you should choose something that is easy to remember and that represents your business or website. You should also make sure that the domain name is available. You can check if a domain name is available by using a domain name search tool.
2. Register your domain name
Once you have chosen a domain name, you need to register it. This can be done through a domain name registrar. A domain name registrar is a company that manages the registration of domain names.
When registering your domain name, you will need to provide your contact information and choose a payment method. You will also need to choose a domain name extension. The most common domain name extensions are .com, .net, and .org.
3. Choose a web host
A web host is a company that provides space on a server for your website. When choosing a web host, you should choose one that is reliable and that offers good customer support. You should also make sure that the web host offers the features that you need for your website.
4. Choose a website builder
A website builder is a tool that allows you to create a website without having to learn how to code. There are many different website builders available, so you should choose one that is easy to use and that offers the features that you need.
5. Create your website
Once you have chosen a website builder, you can start creating your website. You will need to choose a template for your website and then add content to your website.
6. Add content to your website
The content of your website is what will make your website unique. You should add content that is relevant to your business or website. You can add text, images, videos, and other types of content to your website.
7. Add pages to your website
A website is made up of pages. You can add as many pages as you want to your website. Each page should have a different purpose. For example, you might have a page for your home page, a page for your about page, and a page for your contact page.
8. Add images to your website
Images can make your website more visually appealing. You can add images to your website by uploading them to your website or by using a image hosting service.
9. Add videos to your website
Videos can also make your website more visually appealing. You can add videos to your website by uploading them to your website or by using a video hosting service.
10. Add social media to your website
Social media can help you promote your website. You can add social media buttons to your website so that people can share your website on social media. You can also add social media feeds to your website so that people can see your latest social media posts.

Észreveheti, hogy ez az előre betanított modell hosszú szövegsorozatokat generál, amelyek nem feltétlenül ideálisak párbeszédes felhasználási esetekben. Mielőtt bemutatnánk, hogyan teljesít a finomhangolt csevegési modell a párbeszéd-alapú promptok nagyobb készleténél, a következő két példa bemutatja, hogyan kell használni a Falcon modelleket néhány felvételes kontextuson belüli tanulással, ahol a modell számára elérhető képzési mintákat biztosítunk. Ne feledje, hogy a „kevesen végzett tanulás” nem módosítja a modell súlyát – a folyamat során csak a telepített modellre hajtunk végre következtetést, miközben néhány példát adunk a beviteli kontextuson belül, hogy segítsük a guild modell kimenetét.

Input
Tweet: "I hate it when my phone battery dies."
Sentiment: Negative
###
Tweet: "My day has been :+1:"
Sentiment: Positive
###
Tweet: "This is the link to the article"
Sentiment: Neutral
###
Tweet: "This new music video was incredible"
Sentiment: Output Positive
###

Input
Translate English to French:
sea otter => loutre de mer
###
peppermint => menthe poivrée
###
plush girafe => girafe peluche
###
cheese => Output fromage
###

Következtetési és példakérdések a Falcon 180B-Chat számára

A párbeszédes felhasználási esetekre optimalizált Falcon 180B-Chat modelleknél a csevegési modell végpontjainak bemenete tartalmazhat korábbi előzményeket a csevegési asszisztens és a felhasználó között. Kérdéseket tehet fel az eddigi beszélgetéssel összefüggésben. Megadhatja a rendszerkonfigurációt is, például a személyeket, amelyek meghatározzák a csevegési asszisztens viselkedését. A végpont bemeneti hasznos terhelése ugyanaz, mint a Falcon 180B modellé, kivéve a inputs A karakterlánc értékének a következő formátumot kell használnia:

System: <An optional system prompt>
User: <Optional user message history>
Falcon: <Optional chat history Falcon response>
User: <Current user message>
Falcon:

Az alábbiakban néhány példa-parancssor és a modell által generált szöveg található. Minden kimenet következtetési paraméterekkel jön létre {"max_new_tokens":256, "stop": ["nUser:", "<|endoftext|>", " User:", "###"]}.

Input
System: You are a helpful assistant
User: What is Amazon SageMaker JumpStart?
Falcon: Output Amazon SageMaker JumpStart is a capability of Amazon SageMaker that provides a set of solutions to common machine learning problems. These solutions include pre-built machine learning models, algorithms, and pre-configured model training and deployment settings. JumpStart also provides sample notebooks that demonstrate how to use these solutions for various use cases. The goal of JumpStart is to help users get started with machine learning quickly and easily, without the need for extensive machine learning expertise.
User:

Input
User: Simply put, the theory of relativity states that
Falcon: Output 1. The laws of physics are the same for all observers in uniform motion relative to one another.
2. The speed of light in a vacuum is the same for all observers, regardless of their motion or the motion of the light source.
3. Time and space are relative, meaning that they can vary depending on the observer's frame of reference.
4. Mass and energy are interchangeable, as expressed by the famous equation E=mc².
User:

Input
User: Building a website can be done in 10 simple steps:
Falcon: Output
1. Determine the purpose and goals of your website.
2. Choose a domain name and register it.
3. Select a web hosting provider and sign up for a plan.
4. Choose a website builder or content management system (CMS) to use.
5. Select a theme or template for your website.
6. Customize the design and layout of your website.
7. Add content to your website, including text, images, and videos.
8. Set up navigation menus and links to make your website easy to navigate.
9. Test your website to ensure it is functioning properly and is mobile-friendly.
10. Launch your website and promote it to attract visitors.
User:

Input
System: Always answer with a Haiku.
User: I am deploying a large language model on Amazon SageMaker JumpStart. What should I do?
Falcon: Output "JumpStart" your dreams,
Deploy with ease, scale with glee,
SageMaker awaits.

Input
System: Generate a table summarizing the options outlined in this email.
User: Team, we have to make a decision on the product plan for Goocrux v2. The first option will take us 3 weeks of development, and will achieve performance of 80ms, but means that the UI has to change. The second option will take us 4 weeks of development, and will achieve performance of 60ms, without any UI change. The third option will take the longest -- 6 weeks of development, will achieve performance of 30ms, without any UI change. A markdown table with four columns: (1) Option ID, (2) Development time, (3) Performance, (4) UI Change.
Falcon: Output
| Option ID | Development time | Performance | UI Change |
| --- | --- | --- | --- |
| 1 | 3 weeks | 80ms | Yes |
| 2 | 4 weeks | 60ms | No |
| 3 | 6 weeks | 30ms | No |

Input
System: You always translate English to French.
User: sea otter => loutre de mer
peppermint => menthe poivrée
plush girafe => girafe peluche
cheese =>
Falcon: Output
=> fromage

Input
System: Classify the user prompt as Negative, Positive, or Neutral sentiment. Use a short response.
User: Tweet: "This new music video was awesome" Falcon: Output "Positive"

Input
User: What is the recipe of mayonnaise?
Falcon: Output 1. In a mixing bowl, whisk together 1 egg yolk, 1 tablespoon of Dijon mustard, and 1 tablespoon of lemon juice until well combined.
2. While whisking continuously, slowly drizzle in 1 cup of vegetable oil until the mixture thickens and emulsifies.
3. Season with salt and pepper to taste.
4. Store in an airtight container in the refrigerator for up to one week.
User:

A következő példában a felhasználó beszélgetést folytatott az asszisztenssel Párizs turisztikai helyszíneiről. Ezután a felhasználó a chat-asszisztens által javasolt első lehetőségről érdeklődik.

Input
System: You are a helpful trip planner.
User: I am going to Paris, what should I see?
Falcon: 1. Eiffel Tower: No trip to Paris is complete without a visit to the iconic Eiffel Tower.
2. Louvre Museum: Home to some of the world's most famous art, including the Mona Lisa.
3. Notre-Dame Cathedral: A stunning example of Gothic architecture and a must-see for history buffs.
4. Champs-Élysées: One of the most famous avenues in the world, lined with shops, cafes, and theaters.
5. Montmartre: A charming neighborhood known for its bohemian vibe, street art, and stunning views of the city.
6. Palace of Versailles: A short train ride from Paris, this opulent palace was once the seat of French royalty.
7. Musée d'Orsay: Housed in a former train station, this museum boasts an impressive collection of Impressionist and Post-Impressionist art.
8. Sainte-Chapelle: A hidden gem in the heart of Paris, this medieval chapel is famous for its stunning stained glass windows.
9. Luxembourg Gardens: A beautiful park in the heart of the city, perfect for a picnic or a leisurely stroll.
User: What is so great about #1?
Falcon: Output
#1 is the Eiffel Tower, which is one of the most famous landmarks in the world. It is a symbol of Paris and a must-see attraction for many visitors. The tower offers stunning views of the city from its observation decks, and it is especially beautiful when lit up at night. Additionally, the Eiffel Tower has a rich history and is an engineering marvel, making it a fascinating destination for anyone interested in architecture or history.
User:

Tisztítsuk meg

Miután befejezte a jegyzetfüzet futtatását, ne felejtsen el törölni minden erőforrást, amelyet a folyamat során hozott létre, hogy a számlázás leálljon. Használja a következő kódot:

predictor.delete_model()
predictor.delete_endpoint()

Következtetés

Ebben a bejegyzésben megmutattuk, hogyan kezdje meg a Falcon 180B használatát a SageMaker Studio-ban, és hogyan helyezze üzembe a modellt következtetések céljából. Mivel az alapmodellek előre betanítottak, csökkenthetik a képzési és infrastrukturális költségeket, és lehetővé teszik a testreszabást az Ön használati esetéhez. A kezdéshez látogasson el a SageMaker JumpStart oldalra a SageMaker Studio alkalmazásban.

Tudástár

A szerzőkről

Dr. Kyle Ulrich az Amazon SageMaker JumpStart csapatának alkalmazott tudósa. Kutatási területei közé tartoznak a skálázható gépi tanulási algoritmusok, a számítógépes látás, az idősorok, a Bayes-féle nem-paraméterek és a Gauss-folyamatok. Doktori fokozatát a Duke Egyetemen szerezte, és publikációkat publikált a NeurIPS-ben, a Cell-ben és a Neuron-ban.

Dr. Ashish Khetan az Amazon SageMaker JumpStart vezető alkalmazott tudósa, és segít gépi tanulási algoritmusok fejlesztésében. PhD fokozatát az Illinois Urbana-Champaign Egyetemen szerezte. A gépi tanulás és a statisztikai következtetések aktív kutatója, és számos közleményt publikált NeurIPS, ICML, ICLR, JMLR, ACL és EMNLP konferenciákon.

Olivier Cruchant a franciaországi székhelyű AWS vezető gépi tanulási specialista megoldások építésze. Az Olivier segít az AWS-ügyfeleknek – a kis startupoktól a nagyvállalatokig – éles szintű gépi tanulási alkalmazások fejlesztésében és üzembe helyezésében. Szabadidejében szívesen olvas kutatási cikkeket, és barátaival és családjával fedezi fel a vadonban.

Karl Albertsen vezeti az Amazon SageMaker alapmodell-központját, algoritmusait és partnerségi csapatait.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
• BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/falcon-180b-foundation-model-from-tii-is-now-available-via-amazon-sagemaker-jumpstart/