Sử dụng các mô hình nền tảng AI tổng quát ở chế độ VPC không có kết nối internet bằng Amazon SageMaker JumpStart | Dịch vụ web của Amazon

Với những tiến bộ gần đây trong trí tuệ nhân tạo, có rất nhiều cuộc thảo luận diễn ra về cách sử dụng AI tổng quát trong các ngành khác nhau để giải quyết các vấn đề kinh doanh cụ thể. AI sáng tạo là một loại AI có thể tạo ra nội dung và ý tưởng mới, bao gồm các cuộc hội thoại, câu chuyện, hình ảnh, video và âm nhạc. Tất cả đều được hỗ trợ bởi các mô hình rất lớn được đào tạo trước trên lượng dữ liệu khổng lồ và thường được gọi là mô hình nền tảng (FM). Các FM này có thể thực hiện nhiều nhiệm vụ trải rộng trên nhiều miền, như viết bài đăng trên blog, tạo hình ảnh, giải các bài toán, tham gia vào hộp thoại và trả lời các câu hỏi dựa trên tài liệu. Kích thước và tính chất mục đích chung của FM khiến chúng khác với các mô hình ML truyền thống, thường thực hiện các nhiệm vụ cụ thể, như phân tích văn bản để tìm cảm xúc, phân loại hình ảnh và dự đoán xu hướng.

Trong khi các tổ chức đang tìm cách sử dụng sức mạnh của các đài FM này, họ cũng muốn các giải pháp dựa trên FM chạy trong môi trường được bảo vệ của riêng họ. Các tổ chức hoạt động trong những không gian được quản lý chặt chẽ như dịch vụ tài chính toàn cầu, chăm sóc sức khỏe và khoa học đời sống đều có các yêu cầu về thính giác và tuân thủ để vận hành môi trường trong VPC của họ. Trên thực tế, nhiều khi, ngay cả quyền truy cập Internet trực tiếp cũng bị vô hiệu hóa trong những môi trường này để tránh tiếp xúc với bất kỳ lưu lượng truy cập ngoài ý muốn nào, cả vào và ra.

Khởi động Amazon SageMaker là một trung tâm ML cung cấp các thuật toán, mô hình và giải pháp ML. Với SageMaker JumpStart, những người thực hành ML có thể chọn từ danh sách ngày càng nhiều các FM nguồn mở hoạt động tốt nhất. Nó cũng cung cấp khả năng triển khai các mô hình này theo cách riêng của bạn Đám mây riêng ảo (VPC).

Trong bài đăng này, chúng tôi trình bày cách sử dụng JumpStart để triển khai một Bánh Flan-T5 XXL mô hình trong VPC không có kết nối internet. Chúng tôi thảo luận về các chủ đề sau:

• Cách triển khai mô hình nền tảng bằng SageMaker JumpStart trong VPC không có quyền truy cập internet
• Ưu điểm của việc triển khai FM thông qua mô hình SageMaker JumpStart ở chế độ VPC
• Các cách khác để tùy chỉnh việc triển khai các mô hình nền tảng thông qua JumpStart

Ngoài FLAN-T5 XXL, JumpStart còn cung cấp nhiều mẫu nền tảng khác nhau cho nhiều tác vụ khác nhau. Để biết danh sách đầy đủ, hãy kiểm tra Bắt đầu với Amazon SageMaker JumpStart.

Tổng quan về giải pháp

Là một phần của giải pháp, chúng tôi bao gồm các bước sau:

1. Thiết lập VPC không có kết nối internet.
2. Thiết lập Xưởng sản xuất Amazon SageMaker bằng cách sử dụng VPC mà chúng tôi đã tạo.
3. Triển khai mô hình nền tảng AI Flan T5-XXL tổng quát bằng JumpStart trong VPC không có quyền truy cập internet.

Sau đây là sơ đồ kiến ​​trúc của giải pháp.

Hãy cùng xem qua các bước khác nhau để triển khai giải pháp này.

Điều kiện tiên quyết

Để làm theo cùng với bài đăng này, bạn cần những điều sau đây:

Thiết lập VPC không có kết nối internet

Tạo ngăn xếp CloudFormation mới bằng cách sử dụng 01_networking.yaml bản mẫu. Mẫu này tạo một VPC mới và thêm hai mạng con riêng tư trên hai Vùng sẵn sàng không có kết nối Internet. Sau đó, nó triển khai các điểm cuối cổng VPC để truy cập Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và các điểm cuối VPC giao diện cho SageMaker và một số dịch vụ khác để cho phép các tài nguyên trong VPC kết nối với các dịch vụ AWS thông qua Liên kết riêng AWS.

Cung cấp tên ngăn xếp, chẳng hạn như No-Internetvà hoàn tất quá trình tạo ngăn xếp.

Giải pháp này không có tính khả dụng cao vì mẫu CloudFormation chỉ tạo điểm cuối VPC giao diện trong một mạng con để giảm chi phí khi làm theo các bước trong bài đăng này.

Thiết lập Studio bằng VPC

Tạo một ngăn xếp CloudFormation khác bằng cách sử dụng 02_sagemaker_studio.yaml, tạo miền Studio, hồ sơ người dùng Studio và các tài nguyên hỗ trợ như vai trò IAM. Chọn tên cho ngăn xếp; cho bài đăng này, chúng tôi sử dụng tên SageMaker-Studio-VPC-No-Internet. Cung cấp tên của ngăn xếp VPC bạn đã tạo trước đó (No-Internet) như CoreNetworkingStackName tham số và để mọi thứ khác làm mặc định.

Đợi cho đến khi AWS CloudFormation báo cáo rằng quá trình tạo ngăn xếp đã hoàn tất. Bạn có thể xác nhận miền Studio có sẵn để sử dụng trên bảng điều khiển SageMaker.

Để xác minh người dùng miền Studio không có quyền truy cập internet, khởi chạy Studio bằng bảng điều khiển SageMaker. Chọn Tập tin, Mớivà Thiết bị đầu cuối, sau đó thử truy cập tài nguyên internet. Như được hiển thị trong ảnh chụp màn hình sau, thiết bị đầu cuối sẽ tiếp tục chờ tài nguyên và cuối cùng hết thời gian chờ.

Điều này chứng tỏ Studio đang hoạt động trên VPC không có quyền truy cập internet.

Triển khai mô hình nền tảng AI tổng quát Flan T5-XXL bằng JumpStart

Chúng ta có thể triển khai mô hình này thông qua Studio cũng như qua API. JumpStart cung cấp tất cả mã để triển khai mô hình thông qua sổ ghi chép SageMaker có thể truy cập được từ bên trong Studio. Đối với bài đăng này, chúng tôi giới thiệu khả năng này của Studio.

• Trên trang chào mừng của Studio, chọn Khởi động trong các giải pháp dựng sẵn và tự động.

• Chọn mẫu Flan-T5 XXL bên dưới Mô hình nền tảng.

• Theo mặc định, nó sẽ mở Triển khai chuyển hướng. Mở rộng Cấu hình triển khai phần để thay đổi hosting instance và endpoint namehoặc thêm bất kỳ thẻ bổ sung nào. Ngoài ra còn có một tùy chọn để thay đổi S3 bucket location nơi tạo phẩm mô hình sẽ được lưu trữ để tạo điểm cuối. Đối với bài đăng này, chúng tôi để mọi thứ ở giá trị mặc định. Ghi lại tên điểm cuối sẽ sử dụng trong khi gọi điểm cuối để đưa ra dự đoán.

• Mở rộng Security Settings phần, nơi bạn có thể chỉ định IAM role để tạo điểm cuối. Bạn cũng có thể chỉ định VPC configurations bằng cách cung cấp subnets và security groups. Bạn có thể tìm thấy ID mạng con và ID nhóm bảo mật từ tab Đầu ra của ngăn xếp VPC trên bảng điều khiển AWS CloudFormation. SageMaker JumpStart yêu cầu ít nhất hai mạng con trong cấu hình này. Các mạng con và nhóm bảo mật kiểm soát quyền truy cập vào và từ vùng chứa mô hình.

LƯU Ý: Bất kể mô hình SageMaker JumpStart có được triển khai trong VPC hay không, mô hình luôn chạy ở chế độ cách ly mạng, chế độ này cách ly vùng chứa mô hình để không thể thực hiện cuộc gọi mạng đến hoặc đi từ vùng chứa mô hình. Vì chúng tôi đang sử dụng VPC nên SageMaker tải xuống cấu phần phần mềm mô hình thông qua VPC được chỉ định của chúng tôi. Việc chạy vùng chứa mô hình trong cách ly mạng không ngăn điểm cuối SageMaker của bạn phản hồi các yêu cầu suy luận. Một quy trình máy chủ chạy dọc theo vùng chứa mô hình và chuyển tiếp các yêu cầu suy luận đến nó, nhưng vùng chứa mô hình không có quyền truy cập mạng.

• Chọn Triển khai để triển khai mô hình. Chúng ta có thể thấy trạng thái gần như thời gian thực của quá trình tạo điểm cuối đang diễn ra. Quá trình tạo điểm cuối có thể mất 5–10 phút để hoàn thành.

Quan sát giá trị của trường Vị trí dữ liệu mô hình trên trang này. Tất cả các mô hình SageMaker JumpStart đều được lưu trữ trên nhóm S3 do SageMaker quản lý (s3://jumpstart-cache-prod-{region}). Do đó, bất kể mô hình nào được chọn từ JumpStart, mô hình đó sẽ được triển khai từ bộ chứa SageMaker JumpStart S3 có thể truy cập công khai và lưu lượng truy cập không bao giờ chuyển đến API vườn thú mô hình công khai để tải xuống mô hình. Đây là lý do tại sao quá trình tạo điểm cuối mô hình bắt đầu thành công ngay cả khi chúng tôi tạo điểm cuối trong VPC không có quyền truy cập trực tiếp vào Internet.

Tạo phẩm mô hình cũng có thể được sao chép vào bất kỳ vườn thú mô hình tư nhân nào hoặc bộ chứa S3 của riêng bạn để kiểm soát và bảo mật vị trí nguồn mô hình hơn nữa. Bạn có thể sử dụng lệnh sau để tải xuống mô hình cục bộ bằng cách sử dụng Giao diện dòng lệnh AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Sau vài phút, điểm cuối sẽ được tạo thành công và hiển thị trạng thái là Phục vụ. Chọn Open Notebook trong Use Endpoint from Studio phần. Đây là sổ ghi chép mẫu được cung cấp như một phần của trải nghiệm JumpStart để kiểm tra nhanh điểm cuối.

• Trong sổ ghi chép, chọn hình ảnh là Khoa học dữ liệu 3.0 và hạt nhân như Python 3. Khi hạt nhân đã sẵn sàng, bạn có thể chạy các ô của sổ ghi chép để đưa ra dự đoán về điểm cuối. Lưu ý rằng máy tính xách tay sử dụng gọi_endpoint() API từ AWS SDK cho Python để đưa ra dự đoán. Ngoài ra, bạn có thể sử dụng Dự đoán của SageMaker Python SDK() phương pháp để đạt được kết quả tương tự.

Điều này kết thúc các bước triển khai mẫu Flan-T5 XXL bằng JumpStart trong VPC không có quyền truy cập internet.

Ưu điểm của việc triển khai mô hình SageMaker JumpStart ở chế độ VPC

Sau đây là một số ưu điểm của việc triển khai mô hình SageMaker JumpStart ở chế độ VPC:

• Vì SageMaker JumpStart không tải xuống các mô hình từ vườn thú mô hình công cộng nên nó có thể được sử dụng trong các môi trường hoàn toàn bị khóa cũng như ở những nơi không có truy cập Internet
• Vì quyền truy cập mạng có thể bị giới hạn và giới hạn trong phạm vi của các mô hình SageMaker JumpStart, điều này giúp các nhóm cải thiện tình trạng bảo mật của môi trường
• Do ranh giới của VPC, quyền truy cập vào điểm cuối cũng có thể bị giới hạn thông qua mạng con và nhóm bảo mật, điều này bổ sung thêm một lớp bảo mật

Các cách khác để tùy chỉnh việc triển khai mô hình nền tảng thông qua SageMaker JumpStart

Trong phần này, chúng tôi chia sẻ một số cách thay thế để triển khai mô hình.

Sử dụng API SageMaker JumpStart từ IDE ưa thích của bạn

Các mô hình do SageMaker JumpStart cung cấp không yêu cầu bạn truy cập Studio. Bạn có thể triển khai chúng tới các điểm cuối SageMaker từ bất kỳ IDE nào, nhờ vào API JumpStart. Bạn có thể bỏ qua bước thiết lập Studio đã thảo luận trước đó trong bài đăng này và sử dụng API JumpStart để triển khai mô hình. Các API này cũng cung cấp các đối số trong đó cấu hình VPC cũng có thể được cung cấp. Các API là một phần của SDK Python của SageMaker chính nó. Để biết thêm thông tin, hãy tham khảo Người mẫu được đào tạo trước.

Sử dụng sổ ghi chép do SageMaker JumpStart cung cấp từ SageMaker Studio

SageMaker JumpStart cũng cung cấp sổ ghi chép để triển khai mô hình trực tiếp. Trên trang chi tiết mô hình, chọn Mở sổ tay để mở sổ ghi chép mẫu chứa mã để triển khai điểm cuối. Sổ ghi chép sử dụng API ngành SageMaker JumpStart cho phép bạn liệt kê và lọc các mô hình, truy xuất các tạo phẩm cũng như triển khai và truy vấn các điểm cuối. Bạn cũng có thể chỉnh sửa mã sổ ghi chép theo yêu cầu cụ thể của trường hợp sử dụng của mình.

Làm sạch tài nguyên

Kiểm tra các LÀM SẠCH.md để tìm các bước chi tiết nhằm xóa Studio, VPC và các tài nguyên khác được tạo trong bài đăng này.

Xử lý sự cố

Nếu bạn gặp bất kỳ vấn đề nào khi tạo ngăn xếp CloudFormation, hãy tham khảo Khắc phục sự cố CloudFormation.

Kết luận

AI sáng tạo được hỗ trợ bởi các mô hình ngôn ngữ lớn đang thay đổi cách mọi người tiếp thu và áp dụng những hiểu biết sâu sắc về thông tin. Tuy nhiên, các tổ chức hoạt động trong những không gian được quản lý chặt chẽ bắt buộc phải sử dụng các khả năng AI tổng hợp theo cách cho phép họ đổi mới nhanh hơn nhưng cũng đơn giản hóa các mô hình truy cập vào các khả năng đó.

Chúng tôi khuyến khích bạn thử phương pháp được cung cấp trong bài đăng này để nhúng các khả năng AI tổng hợp vào môi trường hiện tại của bạn trong khi vẫn giữ nó bên trong VPC của riêng bạn mà không cần truy cập Internet. Để đọc thêm về các mô hình nền tảng SageMaker JumpStart, hãy xem phần sau:

---

Giới thiệu về tác giả

Vikesh Pandey là Kiến trúc sư giải pháp chuyên gia về máy học tại AWS, giúp khách hàng từ các ngành tài chính thiết kế và xây dựng các giải pháp về AI và ML tổng hợp. Ngoài công việc, Vikesh thích thử các món ăn khác nhau và chơi các môn thể thao ngoài trời.

Mehran Nikoo là Kiến trúc sư giải pháp cấp cao tại AWS, làm việc với các doanh nghiệp Bản địa kỹ thuật số ở Vương quốc Anh và giúp họ đạt được mục tiêu của mình. Đam mê áp dụng kinh nghiệm kỹ thuật phần mềm của mình vào học máy, anh ấy chuyên về học máy toàn diện và thực hành MLOps.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/