Meta'nın Llama 2 temel modelleri artık Amazon SageMaker JumpStart'ta mevcut | Amazon Web Hizmetleri

Bugün, Meta tarafından geliştirilen Llama 2 temel modellerinin şu adresten müşterilerin kullanımına sunulduğunu duyurmanın heyecanını yaşıyoruz: Amazon SageMaker Hızlı Başlangıç. Llama 2 büyük dil modelleri (LLM'ler) ailesi, ölçeği 7 milyar ila 70 milyar parametre arasında değişen, önceden eğitilmiş ve ince ayarı yapılmış üretken metin modellerinden oluşan bir koleksiyondur. Lama-2-sohbet adı verilen ince ayarlı LLM'ler, diyalog kullanım durumları için optimize edilmiştir. Bu modelleri kolayca deneyebilir ve ML'ye hızlı bir şekilde başlayabilmeniz için algoritmalara, modellere ve ML çözümlerine erişim sağlayan bir makine öğrenimi (ML) merkezi olan SageMaker JumpStart ile kullanabilirsiniz.

Bu gönderide, SageMaker JumpStart aracılığıyla Llama 2 modellerinin nasıl kullanılacağını inceliyoruz.

Lama 2 nedir

Llama 2, optimize edilmiş bir dönüştürücü mimarisi kullanan otomatik gerileyen bir dil modelidir. Llama 2, İngilizce ticari kullanım ve araştırma amaçlıdır. 7 milyar, 13 milyar ve 70 milyar gibi çeşitli parametre boyutlarının yanı sıra önceden eğitilmiş ve ince ayarlı varyasyonlarla gelir. Meta'ya göre ayarlanmış sürümler, insanın yardımseverlik ve güvenlik tercihlerine uyum sağlamak için denetimli ince ayar (SFT) ve insan geri bildirimi (RLHF) ile pekiştirmeli öğrenme kullanıyor. Llama 2, halka açık kaynaklardan alınan 2 trilyon token veri üzerinde önceden eğitildi. Ayarlanmış modeller asistan benzeri sohbet için tasarlanmıştır, oysa önceden eğitilmiş modeller çeşitli doğal dil oluşturma görevleri için uyarlanabilir. Bir geliştiricinin kullandığı modelin hangi sürümünden bağımsız olarak, Meta'dan sorumlu kullanım kılavuzu modelleri uygun güvenlik önlemleriyle özelleştirmek ve optimize etmek için gerekli olabilecek ek ince ayarlara rehberlik etmeye yardımcı olabilir.

SageMaker JumpStart nedir?

SageMaker JumpStart ile makine öğrenimi uygulayıcıları, çok çeşitli açık kaynak temel modelleri arasından seçim yapabilir. Makine öğrenimi uygulayıcıları, temel modelleri özel olarak dağıtabilir Amazon Adaçayı Yapıcı izole edilmiş bir ağ ortamından bulut sunucuları oluşturun ve model eğitimi ve konuşlandırma için SageMaker'ı kullanarak modelleri özelleştirin.

Artık birkaç tıklama ile Llama 2'yi keşfedebilir ve konuşlandırabilirsiniz. Amazon SageMaker Stüdyosu veya SageMaker Python SDK aracılığıyla programlı olarak, SageMaker özellikleriyle model performansı ve MLOps kontrolleri türetmenizi sağlar. Amazon SageMaker Ardışık Düzenleri, Amazon SageMaker Hata Ayıklayıcısıveya kapsayıcı günlükleri. Model, güvenli bir AWS ortamında ve sizin VPC denetimleriniz altında devreye alınarak veri güvenliğinin sağlanmasına yardımcı olur. Llama 2 modelleri bugün Amazon SageMaker Studio'da, başlangıçta us-east 1 ve us-west 2 bölgeleri.

Modelleri keşfedin

Temel modellere, SageMaker Studio kullanıcı arayüzündeki SageMaker JumpStart ve SageMaker Python SDK aracılığıyla erişebilirsiniz. Bu bölümde, SageMaker Studio'da modelleri nasıl keşfedeceğimizi inceleyeceğiz.

SageMaker Studio, verileri hazırlamaktan makine öğrenimi modellerinizi oluşturmaya, eğitmeye ve dağıtmaya kadar tüm makine öğrenimi geliştirme adımlarını gerçekleştirmek için amaca yönelik oluşturulmuş araçlara erişebileceğiniz tek bir web tabanlı görsel arabirim sağlayan entegre bir geliştirme ortamıdır (IDE). Nasıl başlayacağınız ve SageMaker Studio'yu nasıl kuracağınız hakkında daha fazla bilgi için bkz. Amazon SageMaker Stüdyosu.

SageMaker Studio'ya girdikten sonra, önceden eğitilmiş modeller, not defterleri ve önceden oluşturulmuş çözümler içeren SageMaker JumpStart'a altından erişebilirsiniz. Önceden oluşturulmuş ve otomatikleştirilmiş çözümler.

SageMaker JumpStart açılış sayfasından çözümlere, modellere, not defterlerine ve diğer kaynaklara göz atabilirsiniz. İki amiral gemisi Llama 2 modelini şu adreste bulabilirsiniz: Temel Modelleri: Metin Oluşturma atlıkarınca. Llama 2 modellerini görmüyorsanız, SageMaker Studio sürümünüzü kapatıp yeniden başlatarak güncelleyin. Sürüm güncellemeleri hakkında daha fazla bilgi için bkz. Studio Uygulamalarını Kapatın ve Güncelleyin.

Seçerek diğer dört model varyantını da bulabilirsiniz. Tüm Metin Oluşturma Modellerini Keşfedin veya arıyor llama arama kutusuna ekleyin.

Modelle ilgili lisans, eğitim için kullanılan veriler ve nasıl kullanılacağı gibi ayrıntıları görüntülemek için model kartını seçebilirsiniz. Ayrıca iki düğme de bulabilirsiniz. Sürüş ve Not Defterini Aç, modeli kullanmanıza yardımcı olur.

Düğmelerden birini seçtiğinizde, bir pop-up son kullanıcı lisans sözleşmesini ve kabul etmeniz için kabul edilebilir kullanım politikasını gösterecektir.

Kabul ettikten sonra, modeli kullanmak için bir sonraki adıma geçeceksiniz.

Bir model dağıtın

Seçtiğinizde Sürüş ve şartları onaylayın, model dağıtımı başlayacaktır. Alternatif olarak, seçerek görüntülenen örnek not defteri aracılığıyla dağıtabilirsiniz. Not Defterini Aç. Örnek not defteri, modelin çıkarım için nasıl dağıtılacağı ve kaynakların nasıl temizleneceği konusunda uçtan uca rehberlik sağlar.

Bir not defteri kullanarak dağıtmak için, tarafından belirtilen uygun bir model seçerek başlıyoruz. model_id. Seçili modellerden herhangi birini SageMaker'da aşağıdaki kodla konuşlandırabilirsiniz:

from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id = "meta-textgeneration-llama-2-70b-f")
predictor = my_model.deploy()

Bu, modeli, varsayılan bulut sunucusu tipi ve varsayılan VPC yapılandırmaları dahil olmak üzere varsayılan yapılandırmalarla SageMaker'a dağıtır. Varsayılan olmayan değerler belirleyerek bu yapılandırmaları değiştirebilirsiniz. HızlıBaşlangıçModeli. Dağıtıldıktan sonra, SageMaker öngörücü aracılığıyla dağıtılan uç noktaya karşı çıkarım çalıştırabilirsiniz:

payload = { “inputs”: [ [ {"role": "system", "content": "Always answer with Haiku"}, {"role": "user", "content": "I am going to Paris, what should I see?"}, ] ], "parameters":{"max_new_tokens":256, "top_p":0.9, "temperature":0.6}
}

İnce ayarlı sohbet modelleri (Llama-2-7b-chat, Llama-2-13b-chat, Llama-2-70b-chat), kullanıcı ve sohbet asistanı arasındaki sohbet geçmişini kabul eder ve sonraki sohbeti oluşturur. Önceden eğitilmiş modeller (Llama-2-7b, Llama-2-13b, Llama-2-70b) bir dizi istemi gerektirir ve sağlanan istemde metin tamamlama gerçekleştirir. Aşağıdaki koda bakın:

predictor.predict(payload, custom_attributes="accept_eula=true")

Varsayılan olarak, accept_eula false olarak ayarlanır. ayarlamanız gerekiyor accept_eula=true uç noktayı başarıyla çağırmak için. Bunu yaparak, daha önce belirtildiği gibi kullanıcı lisans sözleşmesini ve kabul edilebilir kullanım politikasını kabul etmiş olursunuz. ayrıca yapabilirsin indir lisans sözleşmesi.

Custom_attributes EULA'yı geçmek için kullanılan anahtar/değer çiftleridir. Anahtar ve değer şu şekilde ayrılır: = ve çiftler şu şekilde ayrılır: ;. Kullanıcı aynı anahtarı birden çok kez iletirse, son değer korunur ve kod işleyicisine iletilir (yani bu durumda koşullu mantık için kullanılır). Örneğin, eğer accept_eula=false; accept_eula=true sunucuya aktarılır, ardından  accept_eula=true tutulur ve komut dosyası işleyicisine iletilir.

Çıkarım parametreleri, uç noktada metin oluşturma sürecini kontrol eder. Maksimum yeni belirteç kontrolü, model tarafından üretilen çıktının boyutunu ifade eder. Modelin kelime dağarcığı İngilizce kelime dağarcığı ile aynı olmadığından ve her belirteç İngilizce bir kelime olmayabileceğinden, bunun kelime sayısıyla aynı olmadığına dikkat edin. Sıcaklık, çıktıdaki rastgeleliği kontrol eder. Daha yüksek sıcaklık, daha yaratıcı ve halüsinasyonlu çıktılarla sonuçlanır. Tüm çıkarım parametreleri isteğe bağlıdır.

Aşağıdaki tablo, SageMaker JumpStart'ta bulunan tüm Lama modellerini listeler. model_ids, varsayılan örnek türleri ve bu modellerin her biri için desteklenen maksimum toplam belirteç sayısı (giriş belirteci sayısı ile oluşturulan belirteç sayısının toplamı).

SageMaker uç noktalarının 60 saniyelik bir zaman aşımı sınırı olduğunu unutmayın. Bu nedenle, model 4096 jeton üretebilse bile, metin üretimi 60 saniyeden uzun sürerse istek başarısız olur. 7B, 13B ve 70B modelleri için, max_new_tokens toplam jeton sayısını 1500K'dan az tutarken sırasıyla 1000, 500 ve 4'den fazla olmamalıdır.

Llama-2-70b için çıkarım ve örnek istemler

Herhangi bir metin parçası için metin tamamlama için Lama modellerini kullanabilirsiniz. Metin oluşturma yoluyla soruları yanıtlama, dil çevirisi, duygu analizi ve daha pek çok farklı görevi gerçekleştirebilirsiniz. Uç noktaya giriş yükü aşağıdaki koda benzer:

payload = { “inputs”: str, (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Aşağıda bazı örnek bilgi istemleri ve model tarafından oluşturulan metin bulunmaktadır. Tüm çıktılar çıkarım parametreleriyle üretilir {"max_new_tokens":256, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that Output: 1) the laws of physics are the same for all observers in uniform motion relative to one another, and 2) the speed of light is the same for all observers, regardless of their relative motion or of the motion of the source of the light.
In the late 1800s, scientists believed that light travelled through a medium they called the luminiferous ether. But in 1887, Albert Michelson and Edward Morley designed an experiment to measure the speed of light in the ether, and found that the speed of light was the same no matter how they oriented their equipment. This result seemed to contradict the idea of the ether, and Michelson and Morley’s experiment became one of the most famous failed experiments in history.
In 1905, Albert Einstein published a paper that used the results of the Michelson-Morley experiment to develop the theory of special relativity. In 1915, Einstein published a paper on general relativity, which is a theory of gravitation.
In physics, the speed of light is considered to be a constant, and its value is 299,792,458 metres Input: I believe the meaning of life is Output: to be happy, to find joy in life, to love and be loved. To have the courage to be yourself and to be kind to others. To be able to express yourself, to create and to be inspired. To be able to give and receive. To be able to learn and grow. To be able to find beauty in the world and to be able to appreciate it. To be able to find peace and contentment. To be able to find meaning and purpose. To be able to make a difference in the world. To be able to find joy in the simple things. To be able to find joy in the difficult things. To be able to find joy in the journey. To be able to find joy in the destination. To be able to find joy in the present moment. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy in the future. To be able to find joy in the past. To be able to find joy in the present. To be able to find joy Input: A brief message congratulating the team on the launch: Hi everyone, I just Output: wanted to send a quick note to congratulate everyone on the launch of our new website. I know it’s been a long time coming and I’m sure we’re all relieved that it’s finally out there. Thanks to everyone for their hard work and dedication over the last few months. I know it wasn’t always easy, but I think we can all be proud of the final product. I’m looking forward to seeing how our users respond to the new site and I’m confident that it will be a success. Thanks again, and enjoy the rest of your day! Best, [Your Name] [Your Title] [Your Company] [Your Email] [Your Phone Number] [Your Website] [Your Social Media Handles] [Your Address] [Your City, State, Zip Code] [Your Country] [Your Postal Code] [Your Website] [

Bir sonraki örnekte, modele sunulan eğitim örneklerini sağladığımız, birkaç adımlık bağlam içi öğrenme ile Lama modellerinin nasıl kullanılacağını gösteriyoruz. Yalnızca dağıtılan model üzerinde çıkarım yaptığımızı ve bu süreçte model ağırlıklarının değişmediğini unutmayın.

Input: Translate English to French: sea otter => loutre de mer peppermint => menthe poivrée plush girafe => girafe peluche cheese => Output: fromage chocolate => chocolat car => voiture hamster => hamster beer => bière bicycle => bicyclette banana => banane strawberry => fraise pizza => pizza cheeseburger => cheeseburger pineapple => ananas carrot => carotte watermelon => pastèque whale => baleine eggplant => aubergine cat => chat penguin => manchot lion => lion elephant => éléphant panda => panda tiger => tigre salmon => saumon squirrel => écureuil kangaroo => kangourou turtle => tortue octopus => poulpe frog => grenouille pig => cochon goldfish => poisson rouge tiger shark => requin tigre gorilla => gorille dol

Llama-2-70b-chat için çıkarım ve örnek istemler

Diyalog kullanım durumları için optimize edilmiş Llama-2-Chat modellerinde, sohbet modeli uç noktalarına giriş, sohbet asistanı ile kullanıcı arasındaki önceki geçmiştir. Şu ana kadar gerçekleşen sohbete bağlamsal olarak sorular sorabilirsiniz. Sohbet asistanının davranışını tanımlayan kişiler gibi sistem yapılandırmasını da sağlayabilirsiniz. Uç noktaya giriş yükü aşağıdaki koda benzer:

payload = { “inputs”: [ [ (optional){"role": "system", "content": str}, (repeated k times) {"role": "user", "content": str}, {"role": "assistant", "content": str}, {"role": "user", "content": str}, ] ], (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Aşağıda bazı örnek bilgi istemleri ve model tarafından oluşturulan metin bulunmaktadır. Tüm çıktılar çıkarım parametreleriyle üretilir {"max_new_tokens": 512, "top_p": 0.9, "temperature": 0.6}.

Input:
User: what is the recipe of mayonnaise? Output:
Assistant: Sure, I can help you with that! Mayonnaise is a thick, creamy condiment made from a mixture of egg yolks, oil, vinegar or lemon juice, and seasonings. Here's a basic recipe for homemade mayonnaise: Ingredients: * 2 egg yolks
* 1/2 cup (120 ml) neutral-tasting oil, such as canola or grapeseed
* 1 tablespoon (15 ml) vinegar or lemon juice
* 1/2 teaspoon salt
* 1/4 teaspoon black pepper Instructions: 1. In a medium-sized bowl, whisk together the egg yolks, salt, and black pepper until well combined.
2. Slowly pour the oil into the bowl while continuously whisking the mixture. It's important to add the oil very slowly, otherwise the mixture can break and you'll end up with a separated, curdled mess.
3. Continue whisking until the mixture thickens and emulsifies, which should take about 5-7 minutes. You'll know it's ready when the mixture has doubled in volume and has a thick, creamy consistency.
4. Add the vinegar or lemon juice and continue whisking for another minute or two, until the flavors are fully incorporated.
5. Taste the mayonnaise and adjust the seasoning as needed. You can add more salt, pepper, or acid if desired.
6. Cover the bowl with plastic wrap and refrigerate the mayonnaise for at least 30 minutes before serving. This will allow the flavors to meld together and the mayonnaise to thicken further. That's it! This recipe makes about 1 1/2 cups (360 ml) of mayonnaise, which should be enough for a small to medium-sized batch of sandwiches or salads. You can also customize the recipe by adding different flavorings, such as garlic, mustard, or herbs, to create a unique taste. Enjoy!

Aşağıdaki örnekte kullanıcı, asistanla Paris'teki turistik yerler hakkında bir konuşma yapmıştır. Ardından kullanıcı, sohbet asistanı tarafından önerilen ilk seçeneği soruyor.

Input:
User: I am going to Paris, what should I see?
Assistant: Paris, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris: 1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.
2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.
3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows. These are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.
User: What is so great about #1? Output:
Assistant: The Eiffel Tower is a world-renowned iconic landmark that symbolizes Paris and France. It was built for the World's Fair in 1889 and was initially intended to be a temporary structure, but it has become a permanent part of the Parisian skyline. Here are some reasons why the Eiffel Tower is so great: 1. Engineering marvel: The Eiffel Tower was a groundbreaking feat of engineering at the time of its construction. It stands at 324 meters (1,063 feet) tall and was the tallest structure in the world for over 40 years.
2. Iconic design: The Eiffel Tower's distinctive shape and design make it instantly recognizable. It has been the subject of countless works of art, photographs, and films, and has become a symbol of Paris and France.
3. Panoramic views: The Eiffel Tower offers breathtaking views of the city from its observation decks. Visitors can enjoy a 360-degree view of Paris, including famous landmarks such as the Seine River, the Arc de Triomphe, and the Montmartre neighborhood.
4. Historical significance: The Eiffel Tower has played a significant role in Paris's history, having been the site of numerous important events, including the famous "Battle of the Eiffel Tower" during World War II.
5. Cultural impact: The Eiffel Tower has had a significant impact on popular culture, inspiring countless works of art, literature, and music. It has also been the subject of numerous documentaries and films, including the classic movie "An American in Paris."
6. Romantic setting: The Eiffel Tower is known for its romantic atmosphere, making it a popular destination for couples and newlyweds. It has been the site of countless marriage proposals and has been featured in numerous romantic films and literature.
7. Accessibility: The Eiffel Tower is easily accessible by public transportation, making it a convenient destination for visitors. It is also wheelchair-friendly, with elevators and ramps providing access to all levels. Overall, the Eiffel Tower is a must-see destination for anyone visiting Paris, offering a unique and unforgettable experience that combines history, culture, engineering, and rom

Aşağıdaki örneklerde, sistemin yapılandırmasını ayarlıyoruz:

Input:
System: Always answer with Haiku
User: I am going to Paris, what should I see? Output:
Assistant: Eiffel Tower high
Art in the Louvre Museum
River Seine flows Input:
System: Always answer with emojis
User: How to go from Beijing to NY? Output:
Assistant: Here are the emojis that represent the steps to go from Beijing to New York: 🇨🇳🛫🛬🇺🇸🗽🏙️🚕💨🛩️🛬🛫😴💤🛩️🛬🛫😍

Temizlemek

Not defterini çalıştırmayı bitirdikten sonra, süreçte oluşturduğunuz tüm kaynakların silinmesi ve faturalandırmanızın durdurulması için tüm kaynakları sildiğinizden emin olun:

predictor.delete_model()
predictor.delete_endpoint()

Sonuç

Bu gönderide, SageMaker Studio'da Llama 2 modellerine nasıl başlayacağınızı gösterdik. Bununla, milyarlarca parametre içeren altı Llama 2 temel modeline erişebilirsiniz. Temel modeller önceden eğitildiğinden, eğitim ve altyapı maliyetlerini düşürmeye yardımcı olabilir ve kullanım durumunuz için özelleştirmeye olanak sağlayabilir. SageMaker JumpStart'ı kullanmaya başlamak için aşağıdaki kaynakları ziyaret edin:

yazarlar hakkında

haziran kazandı SageMaker JumpStart'ta bir ürün yöneticisidir. Müşterilerin üretken AI uygulamaları oluşturmasına yardımcı olmak için temel modelleri kolayca keşfedilebilir ve kullanılabilir hale getirmeye odaklanır. Amazon'daki deneyimi aynı zamanda mobil alışveriş uygulamasını ve son mil teslimatını da içeriyor.

Dr.Vivek Madan Amazon SageMaker JumpStart ekibinde Uygulamalı Bilim Adamıdır. Doktorasını Urbana-Champaign'deki Illinois Üniversitesi'nden aldı ve Georgia Tech'de Doktora Sonrası Araştırmacıydı. Makine öğrenimi ve algoritma tasarımında aktif bir araştırmacıdır ve EMNLP, ICLR, COLT, FOCS ve SODA konferanslarında makaleler yayınlamıştır. Doktor Kyle Ulrich Amazon SageMaker JumpStart ekibinde bir Uygulamalı Bilim Adamıdır. Araştırma ilgi alanları arasında ölçeklenebilir makine öğrenimi algoritmaları, bilgisayar görüşü, zaman serileri, Bayes parametrik olmayanları ve Gauss süreçleri yer alır. Doktorası Duke Üniversitesi'ndendir ve NeurIPS, Cell ve Neuron'da yayınlanmış makaleleri vardır. Ashish Khetan Amazon SageMaker JumpStart'ta Kıdemli Uygulamalı Bilim Adamıdır ve makine öğrenimi algoritmalarının geliştirilmesine yardımcı olur. Doktora derecesini University of Illinois Urbana-Champaign'den almıştır. Makine öğrenimi ve istatistiksel çıkarım alanlarında aktif bir araştırmacıdır ve NeurIPS, ICML, ICLR, JMLR, ACL ve EMNLP konferanslarında birçok makale yayınlamıştır. Sundar Ranganathan AWS'de GenAI/Frameworks GTM Uzmanlarının Küresel Başkanıdır. Amazon EC2, EKS, EFA, AWS Batch ve Amazon SageMaker gibi AWS hizmetlerinde büyük dil modelleri, GenAI ve büyük ölçekli makine öğrenimi iş yükleri için GTM stratejisi geliştirmeye odaklanmaktadır. Deneyimi, NetApp, Micron Technology, Qualcomm ve Mentor Graphics'te ürün yönetimi ve ürün geliştirmede liderlik rollerini içerir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/llama-2-foundation-models-from-meta-are-now-available-in-amazon-sagemaker-jumpstart/