Meta Llama 3 modelleri artık Amazon SageMaker JumpStart'ta mevcut | Amazon Web Hizmetleri

Bugün, Meta Llama 3 temel modellerinin şu adresten satışa sunulduğunu duyurmanın heyecanını yaşıyoruz: Amazon SageMaker Hızlı Başlangıç Çıkarımı dağıtmak ve çalıştırmak için. Llama 3 modelleri, önceden eğitilmiş ve ince ayar yapılmış üretken metin modellerinin bir koleksiyonudur.

Bu yazıda, SageMaker JumpStart aracılığıyla Llama 3 modellerinin nasıl keşfedilip dağıtılacağını açıklıyoruz.

Meta Lama 3 Nedir?

Llama 3, muhakeme, kod oluşturma ve talimat takibi konularındaki iyileştirmelerle geniş bir kullanım senaryosu yelpazesini destekleyebilen iki parametre boyutuyla (8k bağlam uzunluğuyla 70B ve 8B) gelir. Llama 3, yalnızca kod çözücüye yönelik bir transformatör mimarisi ve 128k boyutunda gelişmiş model performansı sağlayan yeni bir tokenizer kullanıyor. Buna ek olarak Meta, yanlış ret oranlarını önemli ölçüde azaltan, hizalamayı iyileştiren ve model yanıtlarındaki çeşitliliği artıran eğitim sonrası prosedürleri iyileştirdi. Artık SageMaker Pipelines, SageMaker Debugger veya konteyner günlükleri gibi Amazon SageMaker özellikleriyle Llama 3 performansının ve MLOps kontrollerinin birleşik avantajlarından yararlanabilirsiniz. Ayrıca model, VPC kontrolleriniz altında bir AWS güvenli ortamında dağıtılarak veri güvenliğinin sağlanmasına yardımcı olur.

SageMaker JumpStart nedir?

SageMaker JumpStart ile halka açık geniş yelpazedeki temel modelleri arasından seçim yapabilirsiniz. ML uygulayıcıları, temel modelleri ağdan yalıtılmış bir ortamdan özel SageMaker örneklerine dağıtabilir ve model eğitimi ve dağıtımı için SageMaker'ı kullanarak modelleri özelleştirebilir. Artık birkaç tıklamayla Llama 3 modellerini keşfedebilir ve dağıtabilirsiniz. Amazon SageMaker Stüdyosu veya SageMaker Python SDK aracılığıyla programlı olarak, SageMaker özellikleriyle model performansı ve MLOps kontrolleri türetmenizi sağlar. SageMaker Boru Hatları, SageMaker Hata Ayıklayıcıveya konteyner günlükleri. Model, AWS güvenli ortamında ve VPC kontrolleriniz altında dağıtılarak veri güvenliğinin sağlanmasına yardımcı olur. Llama 3 modelleri bugün Amazon SageMaker Studio'da dağıtım ve çıkarım için kullanıma sunuldu us-east-1 (K.Virginia), us-east-2 (Ohio), us-west-2 (Oregon'da), eu-west-1 (İrlanda) ve ap-northeast-1 (Tokyo) AWS Bölgeleri.

Modelleri keşfedin

Temel modellere, SageMaker Studio kullanıcı arayüzündeki SageMaker JumpStart ve SageMaker Python SDK aracılığıyla erişebilirsiniz. Bu bölümde, SageMaker Studio'da modelleri nasıl keşfedeceğimizi inceleyeceğiz.

SageMaker Studio, verileri hazırlamaktan makine öğrenimi modellerinizi oluşturmaya, eğitmeye ve dağıtmaya kadar tüm makine öğrenimi geliştirme adımlarını gerçekleştirmek için amaca yönelik oluşturulmuş araçlara erişebileceğiniz tek bir web tabanlı görsel arabirim sağlayan entegre bir geliştirme ortamıdır (IDE). Nasıl başlayacağınız ve SageMaker Studio'yu nasıl kuracağınız hakkında daha fazla bilgi için bkz. Amazon SageMaker Stüdyosu.

SageMaker Studio'da, önceden eğitilmiş modeller, dizüstü bilgisayarlar ve önceden oluşturulmuş çözümler içeren SageMaker JumpStart'a şu adresten erişebilirsiniz: Önceden oluşturulmuş ve otomatikleştirilmiş çözümler.

SageMaker JumpStart açılış sayfasından, model sağlayıcıların adını taşıyan farklı merkezlere göz atarak çeşitli modelleri kolayca keşfedebilirsiniz. Llama 3 modellerini Meta hub'da bulabilirsiniz. Llama 3 modellerini görmüyorsanız lütfen kapatıp yeniden başlatarak SageMaker Studio sürümünüzü güncelleyin. Daha fazla bilgi için bkz. Studio Klasik Uygulamalarını Kapatın ve Güncelleyin.

Sol üstte bulunan arama kutusundan “Meta-llama-3” diye arama yaparak Llama 3 modellerine ulaşabilirsiniz.

SageMaker JumpStart'ta bulunan tüm Meta modellerini Meta hub'ına tıklayarak keşfedebilirsiniz.

Bir model kartına tıklamak, modeli kolayca Dağıtabileceğiniz ilgili model ayrıntı sayfasını açar.

Bir model dağıtın

Seçtiğinizde Sürüş ve EULA şartlarını kabul ettiğinizde dağıtım başlayacaktır.

Dağıt düğmesine tıkladıktan sonra açılan sayfada dağıtımın ilerleme durumunu izleyebilirsiniz.

Alternatif olarak, Not defterini aç örnek not defteri aracılığıyla dağıtmak için. Örnek not defteri, çıkarım ve kaynakların temizlenmesi için modelin nasıl dağıtılacağı konusunda uçtan uca rehberlik sağlar.

Dizüstü bilgisayarı kullanarak dağıtmak için, tarafından belirtilen uygun bir modeli seçerek başlayın. model_id. Seçilen modellerden herhangi birini aşağıdaki kodla SageMaker üzerinde dağıtabilirsiniz.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Varsayılan olarak accept_eula ayarlandı False. Uç noktayı başarıyla dağıtmak için EULA'yı manuel olarak kabul etmeniz gerekir. Bunu yaparak kullanıcı lisans sözleşmesini ve kabul edilebilir kullanım politikasını kabul etmiş olursunuz. Ayrıca lisans sözleşmesini de bulabilirsiniz. Lama web sitesi. Bu, modeli SageMaker'da, varsayılan örnek türü ve varsayılan VPC yapılandırmaları dahil olmak üzere varsayılan yapılandırmalarla dağıtır. Varsayılan olmayan değerleri belirterek bu yapılandırmayı değiştirebilirsiniz. JumpStartModel. Daha fazla bilgi edinmek için lütfen aşağıdakilere bakın belgeleme.

Aşağıdaki tabloda SageMaker JumpStart'ta bulunan tüm Llama 3 modelleri listelenmektedir. model_ids, varsayılan örnek türleri ve bu modellerin her biri için desteklenen maksimum toplam jeton sayısı (girdi jetonlarının sayısı ile oluşturulan jetonların sayısının toplamı).

çıkarımı çalıştır

Modeli dağıttıktan sonra SageMaker tahmincisi aracılığıyla dağıtılan uç noktaya karşı çıkarım yapabilirsiniz. İnce ayarlı talimat modelleri (Llama 3: 8B Instruct ve 70B Instruct), kullanıcı ile sohbet asistanı arasındaki sohbet geçmişini kabul eder ve sonraki sohbeti oluşturur. Önceden eğitilmiş modeller (Llama 3: 8B ve 70B) bir dize istemi gerektirir ve sağlanan istem üzerinde metin tamamlama işlemini gerçekleştirir.

predictor.predict(payload)

Çıkarım parametreleri uç noktada metin oluşturma sürecini kontrol eder. Maksimum yeni jetonlar, model tarafından oluşturulan çıktının boyutunu kontrol eder. Bu, kelime sayısıyla aynı değildir çünkü modelin kelime dağarcığı, İngilizce dilindeki kelime dağarcığıyla aynı değildir ve her simge, İngilizce dilindeki bir kelime olmayabilir. Sıcaklık parametresi çıktıdaki rastgeleliği kontrol eder. Daha yüksek sıcaklık, daha yaratıcı ve halüsinasyonlu çıktılarla sonuçlanır. Tüm çıkarım parametreleri isteğe bağlıdır.

70B modeli için örnek istemler

Herhangi bir metin parçasının metin tamamlaması için Llama 3 modellerini kullanabilirsiniz. Metin oluşturma yoluyla soru yanıtlama, dil çevirisi, duygu analizi ve daha fazlası gibi çeşitli görevleri gerçekleştirebilirsiniz. Uç noktaya giriş yükü aşağıdaki koda benzer:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Aşağıda bazı örnek bilgi istemleri ve model tarafından oluşturulan metin bulunmaktadır. Tüm çıktılar çıkarım parametreleriyle üretilir {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

Bir sonraki örnekte, model için mevcut eğitim örneklerini sunduğumuz bağlam içi öğrenmede az sayıda çekimle Llama 3 modellerinin nasıl kullanılacağını gösteriyoruz. Sadece konuşlandırılan model üzerinden çıkarım yapıyoruz ve bu süreçte model ağırlıkları değişmiyor.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

70B-Instruct modeli için örnek istemler

Diyalog kullanım durumları için optimize edilmiş Llama 3 talimat modelleri ile talimat modeli uç noktalarına yapılan girdi, sohbet asistanı ile kullanıcı arasındaki önceki geçmiştir. Şu ana kadar gerçekleşen sohbete bağlamsal sorular sorabilirsiniz. Ayrıca sohbet asistanının davranışını tanımlayan kişiler gibi sistem yapılandırmasını da sağlayabilirsiniz. Giriş verisi formatı, önceden eğitilmiş temel modelle aynı olsa da, giriş metni aşağıdaki şekilde formatlanmalıdır:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Bu talimat şablonunda isteğe bağlı olarak bir ile başlayabilirsiniz. system rol ve sıra tabanlı geçmişe istenildiği kadar çok sayıda alternatif rol dahil edilebilir. Son rol her zaman olmalıdır assistant ve iki yeni satır beslemesiyle sonlandırın.

Daha sonra, modelden birkaç örnek istemi ve yanıtı düşünün. Aşağıdaki örnekte kullanıcı asistana basit bir soru soruyor.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

Aşağıdaki örnekte kullanıcı, asistanla Paris'teki turistik yerler hakkında konuşuyor. Daha sonra kullanıcı sohbet asistanının önerdiği ilk seçeneği sorar.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Aşağıdaki örneklerde sistemin konfigürasyonunu ayarladık.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Temizlemek

Not defterini çalıştırmayı tamamladıktan sonra, faturalandırmanın durdurulması için süreçte oluşturduğunuz tüm kaynakları sildiğinizden emin olun. Aşağıdaki kodu kullanın:

predictor.delete_model()
predictor.delete_endpoint()

Sonuç

Bu yazıda size SageMaker Studio'da Llama 3 modellerini kullanmaya nasıl başlayacağınızı gösterdik. Artık milyarlarca parametre içeren dört Llama 3 temel modeline erişebilirsiniz. Temel modeller önceden eğitildiğinden, eğitim ve altyapı maliyetlerinin azaltılmasına da yardımcı olabilir ve kullanım durumunuza göre özelleştirmeye olanak sağlayabilir. Çıkış yapmak Adaçayı Yapıcı Hızlı Başlangıç Başlamak için şimdi SageMaker Studio'da.

Yazarlar Hakkında

Kyle Ulrich AWS'de Uygulamalı Bilim Adamı II'dir
Xin Huang AWS'de Kıdemli Uygulamalı Bilim Adamıdır
Qing Lan AWS'de Kıdemli Yazılım Geliştirici Mühendisidir
Haotian bir AWS'de Yazılım Geliştirici Mühendisi II'dir
Christopher Whitten AWS'de Yazılım Geliştirme Mühendisi II'dir
Tyler Osterberg AWS'de Yazılım Geliştirme Mühendisi I'dir
Manan Şah AWS'de Yazılım Geliştirme Yöneticisidir
Jonathan Ginegagne AWS'de Kıdemli Yazılım Geliştirici Mühendisidir
Adriana Simmons AWS'de Kıdemli Ürün Pazarlama Müdürüdür
haziran kazandı AWS'de Kıdemli Ürün Yöneticisidir
Ashish Khetan AWS'de Kıdemli Uygulamalı Bilim Adamıdır
Rahna Çadha AWS'de Baş Çözüm Mimarı – AI/ML'dir
Deepak Rupakula AWS'de Baş GTM Uzmanıdır

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/