Mô hình nền tảng AI21 Jurassic-1 hiện đã có trên Amazon SageMaker

Hôm nay chúng tôi rất vui mừng thông báo rằng các mẫu móng AI21 Jurassic-1 (J1) đã có sẵn cho khách hàng sử dụng Amazon SageMaker. Các mô hình Jurassic-1 rất linh hoạt, có khả năng tạo văn bản giống con người cũng như giải quyết các tác vụ phức tạp như trả lời câu hỏi, phân loại văn bản và nhiều tác vụ khác. Bạn có thể dễ dàng thử mô hình này và sử dụng nó với Khởi động Amazon SageMaker. JumpStart là trung tâm máy học (ML) của SageMaker cung cấp quyền truy cập vào các mô hình nền tảng bên cạnh các thuật toán tích hợp sẵn và các mẫu giải pháp toàn diện để giúp bạn nhanh chóng bắt đầu với ML.

Trong bài đăng này, chúng tôi hướng dẫn cách sử dụng mô hình Jurassic-1 Grande trong SageMaker.

Các mô hình nền tảng trong SageMaker

JumpStart cung cấp quyền truy cập vào một loạt các mô hình từ các trung tâm mô hình phổ biến bao gồm Hugging Face, PyTorch Hub và TensorFlow Hub, mà bạn có thể sử dụng trong quy trình phát triển ML của mình trong SageMaker. Những tiến bộ gần đây trong ML đã tạo ra một loại mô hình mới được gọi là mô hình nền tảng, thường được đào tạo trên hàng tỷ tham số và có thể thích ứng với nhiều loại trường hợp sử dụng, chẳng hạn như tóm tắt văn bản, tạo tác phẩm nghệ thuật kỹ thuật số và dịch ngôn ngữ. Vì đào tạo các mô hình này tốn kém nên khách hàng muốn sử dụng các mô hình nền tảng được đào tạo trước hiện có và tinh chỉnh chúng khi cần, thay vì tự đào tạo các mô hình này. SageMaker cung cấp một danh sách các mô hình được sắp xếp mà bạn có thể chọn trên bảng điều khiển SageMaker.

Giờ đây, bạn có thể tìm thấy các mô hình nền tảng từ các nhà cung cấp mô hình khác nhau trong JumpStart, cho phép bạn bắt đầu nhanh chóng với các mô hình nền tảng. Bạn có thể tìm thấy các mô hình nền tảng dựa trên các nhiệm vụ hoặc nhà cung cấp mô hình khác nhau và dễ dàng xem xét các đặc điểm và điều khoản sử dụng của mô hình. Bạn cũng có thể dùng thử các mô hình này bằng tiện ích giao diện người dùng thử nghiệm. Khi bạn muốn sử dụng một mô hình nền tảng ở quy mô lớn, bạn có thể thực hiện dễ dàng mà không cần rời khỏi SageMaker bằng cách sử dụng sổ ghi chép dựng sẵn từ các nhà cung cấp mô hình. Vì các mô hình được lưu trữ và triển khai trên AWS nên bạn có thể yên tâm rằng dữ liệu của mình, dù được dùng để đánh giá hay sử dụng mô hình trên quy mô lớn, sẽ không bao giờ được chia sẻ với bên thứ ba.

Mô hình nền tảng kỷ Jura-1

Jurassic-1 là thế hệ đầu tiên trong một loạt các mô hình ngôn ngữ lớn được đào tạo và tiếp cận rộng rãi bởi Phòng thí nghiệm AI21. Để biết mô tả đầy đủ về Jurassic-1, bao gồm điểm chuẩn và so sánh định lượng với các mẫu khác, hãy tham khảo tài liệu sau giấy kỹ thuật. Tất cả các mẫu J1 đều được đào tạo trên một kho văn bản tiếng Anh khổng lồ, khiến chúng trở thành những công cụ tạo văn bản có mục đích chung rất linh hoạt, có khả năng soạn thảo văn bản giống con người và giải quyết các nhiệm vụ phức tạp như trả lời câu hỏi, phân loại văn bản, v.v. J1 có thể được áp dụng cho hầu như bất kỳ tác vụ ngôn ngữ nào bằng cách tạo một lời nhắc phù hợp có chứa mô tả về tác vụ và một vài ví dụ, một quy trình thường được gọi là kỹ thuật nhanh chóng. Các trường hợp sử dụng phổ biến bao gồm tạo bản sao tiếp thị, cung cấp năng lượng cho chatbot và hỗ trợ viết sáng tạo.

“Chúng tôi đang xây dựng các mô hình nền tảng đẳng cấp thế giới cho văn bản và muốn giúp khách hàng đổi mới với các mô hình Jurassic-1 mới nhất. Amazon SageMaker cung cấp bộ dịch vụ ML sâu nhất và rộng nhất, đồng thời chúng tôi rất vui mừng được cộng tác với Amazon SageMaker để khách hàng có thể sử dụng các mô hình nền tảng này trên SageMaker trong môi trường phát triển của họ. Giờ đây, khách hàng có thể nhanh chóng đổi mới, giảm thời gian tạo ra giá trị và thúc đẩy hiệu quả trong hoạt động kinh doanh của họ.”

-Ori Goshen, đồng Giám đốc điều hành của AI21 Labs.

Hương

Hãy đưa bạn tham quan thử nghiệm mô hình J1-Grande trong SageMaker. Bạn có thể thử trải nghiệm theo ba bước đơn giản:

1. Chọn mô hình Jurassic-1 trên bảng điều khiển SageMaker.
2. Đánh giá mô hình bằng cách sử dụng tiện ích thử nghiệm.
3. Sử dụng sổ ghi chép được liên kết với mô hình nền tảng để triển khai nó trong môi trường của bạn.

Hãy mở rộng từng bước một cách chi tiết.

Chọn mô hình Jurassic-1 trên bảng điều khiển SageMaker

Bước đầu tiên là đăng nhập vào Bảng điều khiển quản lý AWS cho Amazon SageMaker và yêu cầu quyền truy cập vào danh sách các mô hình nền tảng từ danh mục mô hình nền tảng trong Khởi động ở đây:

Sau khi tài khoản của bạn được phép liệt kê, bạn có thể xem danh sách các mẫu trên trang này. Bạn có thể nhanh chóng tìm kiếm mẫu Jurassic-1 Grande từ cùng một chế độ xem.

Đánh giá mẫu Jurassic-1 Grande bằng widget test

Trên danh sách Jurassic-1 Grande, chọn Xem mô hình. Bạn sẽ thấy mô tả về mô hình và các tác vụ mà bạn có thể thực hiện. Đọc qua EULA cho mô hình trước khi tiếp tục.

Trước tiên chúng ta hãy thử mô hình tóm tắt văn bản. Chọn Dùng thử mô hình.

Bạn được đưa đến trang trong một tab trình duyệt riêng biệt, nơi bạn có thể đưa ra lời nhắc mẫu cho kiểu máy J1-Grande và xem kết quả.

Ví dụ sau tạo một bản tóm tắt về một nhà hàng dựa trên các bài đánh giá.

Lưu ý rằng các mô hình nền tảng và đầu ra của chúng là của nhà cung cấp mô hình và AWS không chịu trách nhiệm về nội dung hoặc độ chính xác trong đó.

Đầu ra của mô hình có thể khác nhau tùy thuộc vào cài đặt và lời nhắc. Bạn có thể tạo văn bản từ mô hình bằng cách sử dụng các hướng dẫn đơn giản, nhưng bằng cách cung cấp cho mô hình nhiều ví dụ hơn trong lời nhắc, giống như cách con người làm, nó có thể tạo ra các phần hoàn thành phù hợp hơn với ý định của bạn. Cách tốt nhất để hướng dẫn mô hình là cung cấp một số ví dụ về các cặp đầu vào/đầu ra trong lời nhắc. Điều này thiết lập một khuôn mẫu để mô hình bắt chước. Sau đó, thêm đầu vào cho một ví dụ truy vấn và để mô hình hoàn thành nó với một thế hệ thích hợp.

Sau khi bạn đã chơi với mô hình, đã đến lúc sử dụng sổ ghi chép và triển khai nó như một điểm cuối trong môi trường của bạn.

Triển khai mô hình nền tảng từ sổ ghi chép

Quay lại danh sách mô hình được hiển thị trước đó và chọn xem sổ tay. Bạn sẽ thấy sổ ghi chép Jurassic-1 Grande Jupyter với hướng dẫn triển khai mô hình.

Hãy sử dụng sổ ghi chép này từ Xưởng sản xuất Amazon SageMaker. Mở Studio và lấy sổ ghi chép bằng URL repo Git https://github.com/AI21Labs/SageMaker.git.

Ví dụ về sổ ghi chép sử dụng cả SDK Boto3 và SDK AI21 để triển khai và tương tác với điểm cuối.

Lưu ý rằng ví dụ này sử dụng phiên bản ml.g5.12xlarge. Nếu giới hạn mặc định cho tài khoản AWS của bạn là 0, thì bạn cần yêu cầu tăng giới hạn cho phiên bản GPU này.

Hãy tạo điểm cuối bằng suy luận SageMaker. Trước tiên, chúng tôi đặt các biến cần thiết, sau đó chúng tôi triển khai mô hình từ gói mô hình:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Sau khi điểm cuối được triển khai, bạn có thể chạy các truy vấn suy luận đối với mô hình.

Bạn có thể coi Jurassic-1 Grande là một thuật toán tự động hoàn thành thông minh: thuật toán này rất giỏi trong việc nắm bắt các gợi ý và mẫu được thể hiện bằng tiếng Anh đơn giản và tạo văn bản tuân theo các mẫu tương tự. Sau khi mô hình được triển khai, bạn có thể tương tác với điểm cuối đã triển khai bằng đoạn mã sau:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Sổ ghi chép này cũng chứa hướng dẫn về cách bạn có thể chạy các truy vấn suy luận với AI21 SDK.

Video sau đây hướng dẫn quy trình làm việc.

Làm sạch

Sau khi bạn đã kiểm tra điểm cuối, hãy nhớ xóa điểm cuối suy luận SageMaker và xóa mô hình để tránh phát sinh phí.

Kết luận

Trong bài đăng này, chúng tôi đã chỉ cho bạn cách bạn có thể thử nghiệm và sử dụng mô hình Jurassic Grande của AI21 bằng Amazon SageMaker. Yêu cầu quyền truy cập, thử mô hình nền tảng trong SageMaker ngay hôm nay và cho chúng tôi biết phản hồi của bạn!

Giới thiệu về tác giả

Karthik Bharathy là người lãnh đạo sản phẩm của nhóm Amazon SageMaker với hơn một thập kỷ kinh nghiệm quản lý sản phẩm, chiến lược sản phẩm, triển khai và triển khai.

Tomer Asida là trưởng nhóm thuật toán tại AI21 Labs. Với tư cách là trưởng nhóm thuật toán, Tomer đứng đầu các nỗ lực phát triển thuật toán của nền tảng dành cho nhà phát triển Ai21 Studio của chúng tôi, bao gồm các mô hình Jurassic-1 và các API liên quan.