Các mô hình năng lượng mặt trời từ Upstage hiện có sẵn trên Amazon SageMaker JumpStart | Dịch vụ web của Amazon

Các mô hình năng lượng mặt trời từ Upstage hiện có sẵn trên Amazon SageMaker JumpStart | Dịch vụ web của Amazon

Dấu thời gian: Ngày 2 tháng 2024 năm 11 55:XNUMX sáng

Bài đăng trên blog này được đồng viết với Hwalsuk Lee tại Upstage.

Hôm nay, chúng tôi vui mừng thông báo rằng Năng lượng mặt trời Mô hình nền tảng do Upstage phát triển hiện đã có sẵn cho khách hàng sử dụng Khởi động Amazon SageMaker. Solar là mô hình ngôn ngữ lớn (LLM) được đào tạo trước 100% với Amazon SageMaker vượt trội hơn và sử dụng kích thước nhỏ gọn cũng như hồ sơ theo dõi mạnh mẽ của nó để chuyên về đào tạo theo mục đích, khiến nó trở nên linh hoạt trên các ngôn ngữ, miền và nhiệm vụ.

Bây giờ bạn có thể sử dụng Trò chuyện nhỏ về năng lượng mặt trời và Solar Mini Chat – Lượng các mô hình được đào tạo trước trong SageMaker JumpStart. SageMaker JumpStart là trung tâm máy học (ML) của SageMaker cung cấp quyền truy cập vào các mô hình nền tảng bên cạnh các thuật toán tích hợp để giúp bạn nhanh chóng bắt đầu với ML.

Trong bài đăng này, chúng tôi hướng dẫn cách khám phá và triển khai mô hình Năng lượng mặt trời thông qua SageMaker JumpStart.

Mô hình năng lượng mặt trời là gì?

Solar là một mô hình nhỏ gọn và mạnh mẽ cho ngôn ngữ tiếng Anh và tiếng Hàn. Nó được tinh chỉnh đặc biệt cho mục đích trò chuyện nhiều lượt, thể hiện hiệu suất nâng cao trên nhiều tác vụ xử lý ngôn ngữ tự nhiên.

Mô hình Solar Mini Chat dựa trên Năng lượng mặt trời 10.7B, với 32 lớp lạc đà không bướu 2 cấu trúc và được khởi tạo với các trọng số được huấn luyện trước từ Mistral 7B tương thích với kiến ​​trúc Llama 2. Việc tinh chỉnh này trang bị cho nó khả năng xử lý các cuộc hội thoại kéo dài hiệu quả hơn, khiến nó đặc biệt phù hợp với các ứng dụng tương tác. Nó sử dụng một phương pháp chia tỷ lệ được gọi là mở rộng quy mô theo chiều sâu (DUS), bao gồm việc mở rộng quy mô theo chiều sâu và tiếp tục đào tạo trước. DUS cho phép mở rộng các mô hình nhỏ hơn một cách đơn giản và hiệu quả hơn nhiều so với các phương pháp chia tỷ lệ khác như sự kết hợp của các chuyên gia (MoE).

Vào tháng 2023 năm 10.7, mô hình Solar XNUMXB đã tạo nên làn sóng khi đạt tới đỉnh cao của Bảng xếp hạng LLM mở của Ôm Mặt. Sử dụng ít tham số hơn đáng kể, Solar 10.7B mang lại phản hồi tương đương với GPT-3.5 nhưng nhanh hơn 2.5 lần. Cùng với việc đứng đầu Bảng xếp hạng LLM mở, Solar 10.7B còn vượt trội hơn GPT-4 với các mô hình được đào tạo có mục đích trên một số lĩnh vực và nhiệm vụ nhất định.

Hình dưới đây minh họa một số số liệu này:

Với SageMaker JumpStart, bạn có thể triển khai các mô hình được đào tạo trước dựa trên Solar 10.7B: Solar Mini Chat và phiên bản lượng tử hóa của Solar Mini Chat, được tối ưu hóa cho các ứng dụng trò chuyện bằng tiếng Anh và tiếng Hàn. Mô hình Solar Mini Chat cung cấp khả năng nắm bắt nâng cao về các sắc thái ngôn ngữ Hàn Quốc, giúp nâng cao đáng kể sự tương tác của người dùng trong môi trường trò chuyện. Nó cung cấp phản hồi chính xác cho thông tin đầu vào của người dùng, đảm bảo giao tiếp rõ ràng hơn và giải quyết vấn đề hiệu quả hơn trong các ứng dụng trò chuyện bằng tiếng Anh và tiếng Hàn.

Bắt đầu với mô hình Năng lượng mặt trời trong SageMaker JumpStart

Để bắt đầu với các mô hình Năng lượng mặt trời, bạn có thể sử dụng SageMaker JumpStart, một dịch vụ trung tâm ML được quản lý hoàn toàn để triển khai các mô hình ML dựng sẵn vào môi trường lưu trữ sẵn sàng cho sản xuất. Bạn có thể truy cập các mô hình Năng lượng mặt trời thông qua SageMaker JumpStart trong Xưởng sản xuất Amazon SageMaker, môi trường phát triển tích hợp (IDE) dựa trên web nơi bạn có thể truy cập các công cụ được xây dựng có mục đích để thực hiện tất cả các bước phát triển ML, từ chuẩn bị dữ liệu đến xây dựng, đào tạo và triển khai các mô hình ML của mình.

Trên bảng điều khiển SageMaker Studio, chọn Khởi động trong ngăn điều hướng. Bạn có thể nhập “solar” vào thanh tìm kiếm để tìm các mô hình năng lượng mặt trời của Upstage.

Hình - Tìm kiếm mô hình năng lượng mặt trời trong Amazon SageMaker JumpStart

Hãy triển khai mô hình Solar Mini Chat – Quant. Chọn thẻ mô hình để xem thông tin chi tiết về mô hình như giấy phép, dữ liệu dùng để đào tạo và cách sử dụng mô hình. Bạn cũng sẽ tìm thấy một Triển khai tùy chọn sẽ đưa bạn đến trang đích nơi bạn có thể kiểm tra suy luận bằng tải trọng mẫu.

Hình - Cách triển khai Chế độ năng lượng mặt trời trong SageMaker JumpStart

Mô hình này yêu cầu một Thị trường AWS đăng ký. Nếu bạn đã đăng ký mô hình này và đã được chấp thuận sử dụng sản phẩm, bạn có thể triển khai mô hình trực tiếp.

Hình - Cách đăng ký mô hình Năng lượng mặt trời trên AWS Marketplace

Nếu bạn chưa đăng ký mô hình này, hãy chọn Theo dõi, truy cập AWS Marketplace, xem lại các điều khoản về giá và Thỏa thuận cấp phép người dùng cuối (EULA) rồi chọn Chấp nhận đề nghị.

Hình - Chấp nhận đề nghị mô hình Năng lượng mặt trời trên AWS Marketplace

Sau khi đăng ký mô hình, bạn có thể triển khai mô hình của mình đến điểm cuối SageMaker bằng cách chọn tài nguyên triển khai, chẳng hạn như loại phiên bản và số lượng phiên bản ban đầu. Chọn Triển khai và chờ điểm cuối được tạo cho suy luận mô hình. Bạn có thể chọn một ml.g5.2xlarge instance như một lựa chọn rẻ hơn để suy luận với mô hình Mặt trời.

Hình - Triển khai điểm cuối suy luận SageMaker

Khi điểm cuối SageMaker của bạn được tạo thành công, bạn có thể kiểm tra nó thông qua các môi trường ứng dụng SageMaker khác nhau.

Chạy mã của bạn cho các mô hình Năng lượng mặt trời trong SageMaker Studio JupyterLab

SageMaker Studio hỗ trợ nhiều môi trường phát triển ứng dụng khác nhau, bao gồm JupyterLab, một tập hợp các khả năng giúp tăng cường khả năng cung cấp sổ ghi chép được quản lý hoàn toàn. Nó bao gồm các hạt nhân khởi động sau vài giây, thời gian chạy được cấu hình sẵn với khoa học dữ liệu phổ biến, khung ML và bộ lưu trữ khối riêng hiệu suất cao. Để biết thêm thông tin, xem SageMaker JupyterLab.

Tạo không gian JupyterLab trong SageMaker Studio để quản lý các tài nguyên lưu trữ và tính toán cần thiết để chạy ứng dụng JupyterLab.

Hình - Tạo JupyterLab trong SageMaker Studio

Bạn có thể tìm thấy mã hiển thị việc triển khai các mô hình Năng lượng mặt trời trên SageMaker JumpStart và ví dụ về cách sử dụng mô hình đã triển khai trong Repo GitHub. Bây giờ bạn có thể triển khai mô hình bằng SageMaker JumpStart. Đoạn mã sau sử dụng phiên bản mặc định ml.g5.2xlarge cho điểm cuối suy luận mô hình Solar Mini Chat – Quant.

Các mô hình năng lượng mặt trời hỗ trợ tải trọng yêu cầu/phản hồi tương thích với điểm cuối hoàn thành Trò chuyện của OpenAI. Bạn có thể kiểm tra các ví dụ trò chuyện một lượt hoặc nhiều lượt bằng Python.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Bạn đã thực hiện thành công việc suy luận theo thời gian thực với mô hình Solar Mini Chat.

Làm sạch

Sau khi bạn đã kiểm tra điểm cuối, hãy xóa điểm cuối suy luận SageMaker và xóa mô hình để tránh phát sinh phí.

Hình - Xóa điểm cuối của SageMaker

Bạn cũng có thể chạy mã sau để xóa điểm cuối và chế độ trong sổ ghi chép của SageMaker Studio JupyterLab:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Để biết thêm thông tin, xem Xóa điểm cuối và tài nguyên. Ngoài ra, bạn có thể tắt tài nguyên SageMaker Studio điều đó không còn cần thiết nữa.

Kết luận

Trong bài đăng này, chúng tôi đã hướng dẫn bạn cách bắt đầu với các mô hình Năng lượng mặt trời của Upstage trong SageMaker Studio và triển khai mô hình để suy luận. Chúng tôi cũng đã hướng dẫn bạn cách chạy mã mẫu Python trên SageMaker Studio JupyterLab.

Vì các mô hình Năng lượng mặt trời đã được đào tạo trước nên chúng có thể giúp giảm chi phí đào tạo và cơ sở hạ tầng, đồng thời cho phép tùy chỉnh các ứng dụng AI tổng hợp của bạn.

Hãy thử nó trên Bảng điều khiển SageMaker JumpStart or Bảng điều khiển SageMaker Studio! Bạn cũng có thể xem video sau đây, Dùng thử 'Mặt trời' với Amazon SageMaker.

Hướng dẫn này chỉ nhằm mục đích cung cấp thông tin. Bạn vẫn phải thực hiện đánh giá độc lập của riêng mình và thực hiện các biện pháp để đảm bảo rằng bạn tuân thủ các thông lệ và tiêu chuẩn kiểm soát chất lượng cụ thể của riêng mình cũng như các quy tắc, luật, quy định, giấy phép và điều khoản sử dụng của địa phương áp dụng cho bạn, nội dung của bạn, và mô hình của bên thứ ba được tham chiếu trong hướng dẫn này. AWS không có quyền kiểm soát hay thẩm quyền đối với mô hình của bên thứ ba được tham chiếu trong hướng dẫn này và không đưa ra bất kỳ tuyên bố hay bảo đảm nào rằng mô hình của bên thứ ba là an toàn, không có vi rút, hoạt động hoặc tương thích với môi trường và tiêu chuẩn sản xuất của bạn. AWS không đưa ra bất kỳ tuyên bố, bảo đảm hay đảm bảo nào rằng mọi thông tin trong hướng dẫn này sẽ dẫn đến kết quả hoặc kết quả cụ thể.

Về các tác giả

Ảnh - Channy YunChanny Yun là Người hỗ trợ chính cho nhà phát triển tại AWS và rất nhiệt tình giúp đỡ các nhà phát triển xây dựng các ứng dụng hiện đại trên các dịch vụ AWS mới nhất. Anh ấy là một nhà phát triển và blogger thực dụng, đồng thời anh ấy yêu thích việc học tập và chia sẻ công nghệ theo hướng cộng đồng.

Ảnh - Hwalsuk LeeHwalsuk Lee là Giám đốc Công nghệ (CTO) tại Upstage. Anh đã từng làm việc cho Samsung Techwin, NCSOFT và Naver với tư cách là Nhà nghiên cứu AI. Anh đang theo đuổi bằng Tiến sĩ về Kỹ thuật Điện và Máy tính tại Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST).

Ảnh - Brandon LeeBrandon lee là Kiến trúc sư giải pháp cấp cao tại AWS và chủ yếu giúp đỡ các khách hàng công nghệ giáo dục lớn trong Khu vực công. Ông có hơn 20 năm kinh nghiệm lãnh đạo phát triển ứng dụng tại các công ty và tập đoàn lớn trên toàn cầu.

Dấu thời gian:

Thêm từ Học máy AWS