Các mẫu Meta Llama 3 hiện có sẵn trên Amazon SageMaker JumpStart | Dịch vụ web của Amazon

Hôm nay, chúng tôi vui mừng thông báo rằng các mẫu nền tảng Meta Llama 3 đã có sẵn thông qua Khởi động Amazon SageMaker để triển khai và chạy suy luận. Các mô hình Llama 3 là tập hợp các mô hình văn bản tổng quát được đào tạo trước và tinh chỉnh.

Trong bài đăng này, chúng tôi hướng dẫn cách khám phá và triển khai các mô hình Llama 3 thông qua SageMaker JumpStart.

Meta Llama 3 là gì

Llama 3 có hai kích thước tham số — 8B và 70B với độ dài ngữ cảnh 8k — có thể hỗ trợ nhiều trường hợp sử dụng với những cải tiến về lý luận, tạo mã và hướng dẫn sau. Llama 3 sử dụng kiến ​​trúc biến áp chỉ dành cho bộ giải mã và bộ mã thông báo mới giúp cải thiện hiệu suất mô hình với kích thước 128k. Ngoài ra, Meta đã cải thiện các quy trình sau đào tạo giúp giảm đáng kể tỷ lệ từ chối sai, cải thiện sự liên kết và tăng tính đa dạng trong các phản hồi của mô hình. Giờ đây, bạn có thể tận dụng các lợi thế kết hợp giữa hiệu suất Llama 3 và điều khiển MLOps bằng các tính năng của Amazon SageMaker như SageMaker Pipelines, SageMaker Debugger hoặc nhật ký vùng chứa. Ngoài ra, mô hình sẽ được triển khai trong môi trường bảo mật AWS dưới sự kiểm soát VPC của bạn, giúp cung cấp bảo mật dữ liệu.

Khởi động SageMaker là gì

Với SageMaker JumpStart, bạn có thể chọn từ rất nhiều mô hình nền tảng có sẵn công khai. Những người thực hành ML có thể triển khai các mô hình nền tảng cho các phiên bản SageMaker chuyên dụng từ môi trường mạng bị cô lập và tùy chỉnh các mô hình bằng SageMaker để đào tạo và triển khai mô hình. Bây giờ bạn có thể khám phá và triển khai các mô hình Llama 3 chỉ bằng vài cú nhấp chuột trong Xưởng sản xuất Amazon SageMaker hoặc lập trình thông qua SageMaker Python SDK, cho phép bạn lấy được hiệu suất mô hình và các điều khiển MLOps bằng các tính năng của SageMaker như Đường ống SageMaker, Trình gỡ lỗi SageMakerhoặc nhật ký vùng chứa. Mô hình này được triển khai trong môi trường bảo mật AWS và dưới sự kiểm soát VPC của bạn, giúp cung cấp bảo mật dữ liệu. Các mô hình Llama 3 hiện đã có sẵn để triển khai và suy luận trong Amazon SageMaker Studio ở us-east-1 (Bắc Virginia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Ireland) và ap-northeast-1 (Tokyo) Khu vực AWS.

Khám phá các mô hình

Bạn có thể truy cập các mô hình nền tảng thông qua SageMaker JumpStart trong giao diện người dùng SageMaker Studio và SageMaker Python SDK. Trong phần này, chúng ta sẽ tìm hiểu cách khám phá các mô hình trong SageMaker Studio.

SageMaker Studio là một môi trường phát triển tích hợp (IDE) cung cấp một giao diện trực quan dựa trên web duy nhất, nơi bạn có thể truy cập các công cụ chuyên dụng để thực hiện tất cả các bước phát triển ML, từ chuẩn bị dữ liệu đến xây dựng, đào tạo và triển khai các mô hình ML của bạn. Để biết thêm chi tiết về cách bắt đầu và thiết lập SageMaker Studio, hãy tham khảo Xưởng sản xuất Amazon SageMaker.

Trong SageMaker Studio, bạn có thể truy cập SageMaker JumpStart, nơi chứa các mô hình, sổ ghi chép và giải pháp dựng sẵn được đào tạo trước, trong Các giải pháp dựng sẵn và tự động.

Từ trang đích SageMaker JumpStart, bạn có thể dễ dàng khám phá nhiều mô hình khác nhau bằng cách duyệt qua các trung tâm khác nhau được đặt tên theo nhà cung cấp mô hình. Bạn có thể tìm thấy các mô hình Llama 3 trong Meta hub. Nếu bạn không thấy mẫu Llama 3, vui lòng cập nhật phiên bản SageMaker Studio bằng cách tắt và khởi động lại. Để biết thêm thông tin, hãy tham khảo Tắt và cập nhật ứng dụng Studio Classic.

Bạn có thể tìm thấy các mẫu Llama 3 bằng cách tìm kiếm “Meta-llama-3” từ hộp tìm kiếm nằm ở trên cùng bên trái.

Bạn có thể khám phá tất cả các mô hình Meta có sẵn trong SageMaker JumpStart bằng cách nhấp vào Meta hub.

Nhấp vào thẻ mô hình sẽ mở ra trang chi tiết mô hình tương ứng, từ đó bạn có thể dễ dàng Triển khai mô hình.

Triển khai một mô hình

Khi bạn chọn Triển khai và thừa nhận các điều khoản EULA, quá trình triển khai sẽ bắt đầu.

Bạn có thể theo dõi tiến trình triển khai trên trang hiển thị sau khi nhấp vào nút Triển khai.

Ngoài ra, bạn có thể chọn Mở sổ tay để triển khai thông qua sổ ghi chép mẫu. Sổ tay ví dụ cung cấp hướng dẫn toàn diện về cách triển khai mô hình để suy luận và dọn dẹp tài nguyên.

Để triển khai bằng sổ ghi chép, bạn bắt đầu bằng cách chọn một mô hình thích hợp, được chỉ định bởi model_id. Bạn có thể triển khai bất kỳ mô hình nào đã chọn trên SageMaker bằng mã sau.

from sagemaker.jumpstart.model import JumpStartModel

model = JumpStartModel(model_id = "meta-textgeneration-llama-3-70b-instruct")
predictor = model.deploy(accept_eula=False)

Theo mặc định accept_eula được thiết lập để False. Bạn cần chấp nhận EULA theo cách thủ công để triển khai điểm cuối thành công. Bằng cách đó, bạn chấp nhận thỏa thuận cấp phép người dùng và chính sách sử dụng được chấp nhận. Bạn cũng có thể tìm thấy thỏa thuận cấp phép Trang web Llama. Việc này sẽ triển khai mô hình trên SageMaker với các cấu hình mặc định bao gồm loại phiên bản mặc định và cấu hình VPC mặc định. Bạn có thể thay đổi các cấu hình này bằng cách chỉ định các giá trị không mặc định trong JumpStartModel. Để tìm hiểu thêm, vui lòng tham khảo sau tài liệu hướng dẫn.

Bảng sau liệt kê tất cả các mẫu Llama 3 có sẵn trong SageMaker JumpStart cùng với model_ids, loại phiên bản mặc định và số lượng tổng mã thông báo tối đa (tổng số mã thông báo đầu vào và số lượng mã thông báo được tạo) được hỗ trợ cho từng mô hình này.

Chạy suy luận

Sau khi triển khai mô hình, bạn có thể chạy suy luận dựa trên điểm cuối được triển khai thông qua công cụ dự đoán SageMaker. Các mô hình hướng dẫn được tinh chỉnh (Llama 3: 8B Instruct và 70B Instruct) chấp nhận lịch sử trò chuyện giữa người dùng và trợ lý trò chuyện và tạo cuộc trò chuyện tiếp theo. Các mô hình được đào tạo trước (Llama 3: 8B và 70B) yêu cầu dấu nhắc chuỗi và thực hiện hoàn thành văn bản trên dấu nhắc được cung cấp.

predictor.predict(payload)

Các tham số suy luận kiểm soát quá trình tạo văn bản ở điểm cuối. Mã thông báo mới Max kiểm soát kích thước đầu ra do mô hình tạo ra. Con số này không giống với số lượng từ vì từ vựng của mô hình không giống với từ vựng tiếng Anh và mỗi mã thông báo có thể không phải là một từ tiếng Anh. Tham số nhiệt độ kiểm soát tính ngẫu nhiên ở đầu ra. Nhiệt độ cao hơn dẫn đến kết quả đầu ra sáng tạo và ảo giác hơn. Tất cả các tham số suy luận là tùy chọn.

Ví dụ về lời nhắc dành cho mẫu 70B

Bạn có thể sử dụng mô hình Llama 3 để hoàn thành văn bản cho bất kỳ đoạn văn bản nào. Thông qua việc tạo văn bản, bạn có thể thực hiện nhiều tác vụ khác nhau như trả lời câu hỏi, dịch ngôn ngữ và phân tích cảm xúc, v.v. Tải trọng đầu vào đến điểm cuối trông giống như đoạn mã sau:

payload = {
    “inputs”: str,
   (optional)"parameters":{"max_new_tokens":int, "top_p":float, "temperature":float}
}

Sau đây là một số lời nhắc ví dụ mẫu và văn bản do mô hình tạo ra. Tất cả các đầu ra được tạo với các tham số suy luận {"max_new_tokens":64, "top_p":0.9, "temperature":0.6}.

Input: Simply put, the theory of relativity states that
Output: 1) the laws of physics are the same for all observers, and 2) the speed of light is constant for all observers. The first part of the theory is known as the special theory of relativity, and the second part is known as the general theory of relativity.nThe special theory of relativity states

Input: I believe the meaning of life is
Output:  to live a life of purpose, on purpose. I believe that we are all here to make a difference in the world, and that we are all here to make a difference in the lives of others. I believe that we are all here to make a difference in the world, and that we are all here to mak

Input: A brief message congratulating the team on the launch:nnHi everyone,nnI just 
Output: wanted to say congratulations on the launch of the new website! It looks great and I'm sure it will be a valuable resource for our customers. I know that a lot of hard work went into making this happen, so thank you all for your efforts.nnBest regards,nJohn Doen

Trong ví dụ tiếp theo, chúng tôi trình bày cách sử dụng các mô hình Llama 3 với một vài cảnh học tập trong bối cảnh trong đó chúng tôi cung cấp các mẫu đào tạo có sẵn cho mô hình. Chúng tôi chỉ chạy suy luận trên mô hình đã triển khai và trong quá trình này, trọng số của mô hình không thay đổi.

Input:
Translate English to French:nsea otter => loutre de mernpeppermint => menthe poivréenplush girafe => girafe peluchencheese =>
Output:  fromagenpanda => pandanpenguin => pingouinnpolar bear => ours polairenpuffin => macareuxnsloth => paresseuxnwalrus => morsenwhale => baleinenzebra => zu00e8brenTranslate English to German:n

Lời nhắc ví dụ cho mô hình 70B-Instruct

Với các mô hình hướng dẫn Llama 3 được tối ưu hóa cho các trường hợp sử dụng hội thoại, đầu vào của điểm cuối mô hình hướng dẫn là lịch sử trước đó giữa trợ lý trò chuyện và người dùng. Bạn có thể đặt câu hỏi theo ngữ cảnh của cuộc trò chuyện đã diễn ra cho đến nay. Bạn cũng có thể cung cấp cấu hình hệ thống, chẳng hạn như cá tính, xác định hành vi của trợ lý trò chuyện. Mặc dù định dạng tải trọng đầu vào giống với mô hình được đào tạo trước cơ sở, nhưng văn bản đầu vào phải được định dạng theo cách sau:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

[SYSTEM_TEXT]<|eot_id|><|start_header_id|>user<|end_header_id|>

[USER_TEXT]<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Trong mẫu hướng dẫn này, bạn có thể tùy ý bắt đầu bằng một system vai trò và bao gồm nhiều vai trò xen kẽ như mong muốn trong lịch sử theo lượt. Vai trò cuối cùng phải luôn là assistant và kết thúc bằng hai nguồn cấp dữ liệu dòng mới.

Tiếp theo, hãy xem xét một số ví dụ gợi ý và phản hồi từ mô hình. Trong ví dụ sau, người dùng đang hỏi trợ lý một câu hỏi đơn giản.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnwhat is the recipe of mayonnaise?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The classic condiment! Mayonnaise is a thick, creamy emulsion sauce made from a combination of oil, egg yolks, acid (such as vinegar or lemon juice), and seasonings. Here's a simple recipe to make mayonnaise at home:nn**Ingredients:**nn* 2 egg yolksn* 1 tablespoon lemon juice or vinegar (such as apple cider vinegar or white wine vinegar)n* 1/2 teaspoon Dijon mustard (optional, but recommended for flavor)n* 1/2 cup (120 ml) neutral-tasting oil, such as canola, grapeseed, or sunflower oiln* Salt, to tastenn**Instructions:**nn1. **Start with room temperature ingredients**: This is crucial for emulsification to occur.n2. **In a medium-sized bowl**, whisk together the egg yolks, lemon juice or vinegar, and Dijon mustard (if using) until well combined.n3. **Slowly add the oil**: While continuously whisking the egg yolk mixture, slowly pour in the oil in a thin, steady stream. Start with a very slow drizzle and gradually increase the flow as the mixture thickens.n4. **Whisk constantly**: Keep whisking until the mixture has doubled in volume and has a thick, creamy consistency. This should take about 5-7 minutes.n5. **Check the consistency**: Stop whisking when the mayonnaise has reached the desired consistency. It should be smooth, thick, and hold its shape when the whisk is lifted.n6. **Season with salt**: Add salt to taste, and whisk until well combined.n7. **Taste and adjust**: If the mayonnaise is too thick, add a little water. If it's not thick enough, add a little more oil.nn**Tips and Variations:**nn* Use a neutral-tasting oil to avoid flavoring the mayonnaise.n* If you're using a stand mixer, use the whisk attachment and start with a slow speed, increasing as needed.n* Add flavorings like minced garlic, chopped fresh herbs (e.g., parsley, dill, or tarragon), or grated ginger to create different flavor profiles.n* For a lighter mayonnaise, use only 1 egg yolk or add a little water to thin it out.n* If the mayonnaise breaks or separates, don't worry! Simply start again with a new egg yolk and slowly whisk in the broken mayonnaise.nn**Homemade Mayonnaise vs. Store-Bought:**nnWhile store-bought mayonnaise is convenient, homemade mayonnaise offers several advantages:nn* Freshness: Homemade mayonnaise is made to order, ensuring optimal flavor and texture.n* Customization: You can tailor the flavor to your liking with various seasonings and ingredients.n* No preservatives: Homemade mayonnaise doesn't contain added preservatives, making it a healthier option.nnEnjoy your freshly made mayonnaise!

Trong ví dụ sau, người dùng trò chuyện với trợ lý về các địa điểm du lịch ở Paris. Sau đó, người dùng hỏi về tùy chọn đầu tiên được trợ lý trò chuyện đề xuất.

Input: <|begin_of_text|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nnParis, the capital of France, is known for its stunning architecture, art museums, historical landmarks, and romantic atmosphere. Here are some of the top attractions to see in Paris:nn1. The Eiffel Tower: The iconic Eiffel Tower is one of the most recognizable landmarks in the world and offers breathtaking views of the city.n2. The Louvre Museum: The Louvre is one of the world's largest and most famous museums, housing an impressive collection of art and artifacts, including the Mona Lisa.n3. Notre-Dame Cathedral: This beautiful cathedral is one of the most famous landmarks in Paris and is known for its Gothic architecture and stunning stained glass windows.nnThese are just a few of the many attractions that Paris has to offer. With so much to see and do, it's no wonder that Paris is one of the most popular tourist destinations in the world.<|eot_id|><|start_header_id|>user<|end_header_id|>nnWhat is so great about #1?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: The Eiffel Tower! It's an iconic symbol of Paris and one of the most recognizable landmarks in the world. Here are some reasons why it's so great:nn1. **Engineering marvel**: When it was built for the 1889 World's Fair, the Eiffel Tower was a groundbreaking feat of engineering. It was the tallest structure in the world at the time, standing at 324 meters (1,063 feet).n2. **Panoramic views**: The Eiffel Tower offers breathtaking 360-degree views of the city from its observation decks. You can see many of Paris' famous landmarks, such as the Seine River, the Louvre, and Montmartre.n3. **Romantic atmosphere**: The Eiffel Tower is often associated with romance and is a popular spot for proposals, weddings, and romantic dinners. The tower's iron latticework and twinkling lights at night add to its romantic ambiance.n4. **Historical significance**: The Eiffel Tower has played a significant role in French history, serving as a communication tower during World War I and a symbol of French culture and engineering.n5. **Accessibility**: The Eiffel Tower is easily accessible by public transportation or on foot, and there are various ways to experience it, including taking the stairs, elevator, or a guided tour.n6. **Nighttime spectacle**: The Eiffel Tower is even more magical at night, when it's illuminated with thousands of twinkling lights. The light show, known as the "Eiffel Tower Sparkle," takes place every hour on the hour from dusk to midnight.n7. **Iconic status**: The Eiffel Tower has been featured in countless films, literature, and art, making it an instantly recognizable symbol of Paris and France.nnOverall, the Eiffel Tower is a must-visit attraction in Paris, offering a unique combination of history, engineering, romance, and stunning views.

Trong các ví dụ sau, chúng tôi thiết lập cấu hình của hệ thống.

Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with Haiku<|eot_id|><|start_header_id|>user<|end_header_id|>nnI am going to Paris, what should I see?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: Eiffel's iron lacenRiver Seine's gentle flow bynMontmartre's charm calls
Input: <|begin_of_text|><|start_header_id|>system<|end_header_id|>nnAlways answer with emojis<|eot_id|><|start_header_id|>user<|end_header_id|>nnHow to go from Beijing to NY?<|eot_id|><|start_header_id|>assistant<|end_header_id|>nn
Output: ✈️🛬️🇺🇸

Làm sạch

Sau khi chạy xong sổ ghi chép, hãy đảm bảo xóa tất cả tài nguyên bạn đã tạo trong quy trình để dừng thanh toán. Sử dụng mã sau đây:

predictor.delete_model()
predictor.delete_endpoint()

Kết luận

Trong bài đăng này, chúng tôi đã hướng dẫn bạn cách bắt đầu với mô hình Llama 3 trong SageMaker Studio. Bây giờ bạn có quyền truy cập vào bốn mô hình nền tảng Llama 3 chứa hàng tỷ tham số. Vì các mô hình nền tảng đã được đào tạo trước nên chúng cũng có thể giúp giảm chi phí đào tạo và cơ sở hạ tầng, đồng thời cho phép tùy chỉnh cho trường hợp sử dụng của bạn. Thủ tục thanh toán Khởi động SageMaker trong SageMaker Studio ngay bây giờ để bắt đầu.

Về tác giả

Kyle Ulrich là Nhà khoa học ứng dụng II tại AWS
Tân Hoàng là Nhà khoa học ứng dụng cấp cao tại AWS
Thanh Lan là Kỹ sư phát triển phần mềm cấp cao tại AWS
Hạo Thiên Ân là Kỹ sư phát triển phần mềm II tại AWS
Christopher Whitten là Kỹ sư phát triển phần mềm II tại AWS
Tyler Osterberg là Kỹ sư phát triển phần mềm I tại AWS
Manan Shah là Giám đốc phát triển phần mềm tại AWS
Jonathan Guinegagne là Kỹ sư phát triển phần mềm cấp cao tại AWS
Adriana Simmons là Giám đốc tiếp thị sản phẩm cấp cao tại AWS
tháng sáu thắng là Giám đốc sản phẩm cấp cao tại AWS
Ashish Khetan là Nhà khoa học ứng dụng cấp cao tại AWS
rachna chadha là Kiến trúc sư giải pháp chính – AI/ML tại AWS
Deepak Rupakula là Chuyên gia GTM chính tại AWS

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/meta-llama-3-models-are-now-available-in-amazon-sagemaker-jumpstart/