Tổ chức phát triển máy học bằng không gian dùng chung trong SageMaker Studio để cộng tác theo thời gian thực

Xưởng sản xuất Amazon SageMaker là môi trường phát triển tích hợp đầy đủ đầu tiên (IDE) cho máy học (ML). Nó cung cấp một giao diện trực quan dựa trên web duy nhất, nơi bạn có thể thực hiện tất cả các bước phát triển ML, bao gồm chuẩn bị dữ liệu và xây dựng, đào tạo và triển khai các mô hình.

Trong một Miền Amazon SageMaker, người dùng có thể cung cấp ứng dụng Amazon SageMaker Studio IDE cá nhân chạy JupyterServer miễn phí có tích hợp sẵn để kiểm tra Amazon Thử nghiệm SageMaker, dàn dựng Đường ống Amazon SageMaker, và nhiều hơn nữa. Người dùng chỉ trả tiền cho tính toán linh hoạt trên nhân máy tính xách tay của họ. Các ứng dụng cá nhân này tự động gắn kết các ứng dụng riêng tư của người dùng tương ứng Hệ thống tệp đàn hồi Amazon (Amazon EFS) thư mục chính để họ có thể tách biệt mã, dữ liệu và các tệp khác khỏi những người dùng khác. Amazon SageMaker Studio đã hỗ trợ chia sẻ sổ ghi chép giữa các ứng dụng riêng tư, nhưng cơ chế không đồng bộ có thể làm chậm quá trình lặp lại.

Bây giờ với không gian dùng chung trong Amazon SageMaker Studio, người dùng có thể tổ chức các nỗ lực và sáng kiến ​​ML cộng tác bằng cách tạo ứng dụng IDE dùng chung mà người dùng sử dụng với hồ sơ người dùng Amazon SageMaker của riêng họ. Nhân viên dữ liệu cộng tác trong không gian dùng chung có quyền truy cập vào môi trường Amazon SageMaker Studio nơi họ có thể truy cập, đọc, chỉnh sửa và chia sẻ sổ ghi chép của mình trong thời gian thực, giúp họ có lộ trình nhanh nhất để bắt đầu lặp lại ý tưởng mới với đồng nghiệp. Nhân viên dữ liệu thậm chí có thể cộng tác đồng thời trên cùng một sổ ghi chép bằng cách sử dụng các khả năng cộng tác trong thời gian thực. Sổ ghi chép cho biết mỗi người dùng đồng chỉnh sửa bằng một con trỏ khác hiển thị tên hồ sơ người dùng tương ứng của họ.

Không gian dùng chung trong SageMaker Studio tự động gắn thẻ các tài nguyên, chẳng hạn như Công việc đào tạo, Công việc đang xử lý, Thử nghiệm, Đường ống và các mục nhập Sổ đăng ký mô hình được tạo trong phạm vi không gian làm việc với các mục nhập tương ứng sagemaker:space-arn. Không gian lọc các tài nguyên đó trong giao diện người dùng (UI) của Amazon SageMaker Studio để người dùng chỉ thấy các Thử nghiệm SageMaker, Đường ống và các tài nguyên khác phù hợp với nỗ lực ML của họ.

Tổng quan về giải pháp

Do các không gian dùng chung tự động gắn thẻ tài nguyên nên quản trị viên có thể dễ dàng theo dõi chi phí liên quan đến nỗ lực ML và lập kế hoạch ngân sách bằng cách sử dụng các công cụ như Ngân sách AWS và Trình khám phá chi phí AWS. Là quản trị viên, bạn chỉ cần đính kèm một thẻ phân bổ chi phí cho sagemaker:space-arn.

Sau khi hoàn tất, bạn có thể sử dụng AWS Cost Explorer để xác định chi phí mà các dự án ML riêng lẻ đang tiêu tốn cho tổ chức của bạn.

Bắt đầu với không gian dùng chung trong Amazon SageMaker Studio

Trong phần này, chúng ta sẽ phân tích quy trình công việc điển hình để tạo và sử dụng không gian dùng chung trong Amazon SageMaker Studio.

Tạo không gian dùng chung trong Amazon SageMaker Studio

Bạn có thể sử dụng Bảng điều khiển Amazon SageMaker hoặc Giao diện dòng lệnh AWS (AWS CLI) để thêm hỗ trợ cho không gian cho một miền hiện có. Để biết thông tin cập nhật nhất, vui lòng kiểm tra Tạo không gian chia sẻ. Không gian dùng chung chỉ hoạt động với hình ảnh SageMaker Studio của JupyterLab 3 và cho Miền SageMaker sử dụng xác thực AWS Identity and Access Management (AWS IAM).

Tạo bảng điều khiển

Để tạo không gian trong Miền Amazon SageMaker được chỉ định, trước tiên bạn cần đặt vai trò thực thi mặc định của không gian được chỉ định. Từ Chi tiết tên miền trang, chọn Miền cài đặt Tab và chọn Chỉnh sửa. Sau đó, bạn có thể đặt vai trò thực thi mặc định của không gian, vai trò này chỉ cần được hoàn thành một lần cho mỗi Miền, như thể hiện trong sơ đồ sau:

Tiếp theo, bạn có thể đi đến Quản lý không gian trong miền của bạn và chọn Tạo nút, như thể hiện trong sơ đồ sau:

Tạo AWS CLI

Bạn cũng có thể đặt vai trò thực thi không gian miền mặc định từ AWS CLI. Để xác định ARN hình ảnh JupyterLab3 trong khu vực của bạn, hãy kiểm tra Đặt phiên bản JupyterLab mặc định.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Sau khi đã hoàn tất cho Miền của mình, bạn có thể tạo không gian dùng chung từ CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Khởi chạy không gian dùng chung trong Amazon SageMaker Studio

Người dùng có thể khởi chạy không gian chia sẻ bằng cách chọn Khởi động bên cạnh hồ sơ người dùng của họ trong Bảng điều khiển AWS cho Miền Amazon SageMaker của họ.

Sau khi chọn Spaces trong phần Cộng tác, sau đó chọn Không gian sẽ khởi chạy:

Ngoài ra, người dùng có thể tạo một URL được ký trước để khởi chạy một không gian thông qua AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Hợp tác thời gian thực

Khi IDE không gian chia sẻ Amazon SageMaker Studio đã được tải, người dùng có thể chọn Cộng tác viên trên bảng điều khiển bên trái để xem người dùng nào đang tích cực làm việc trong không gian của bạn và trên sổ ghi chép nào. Nếu có nhiều người đang làm việc trên cùng một sổ ghi chép thì bạn sẽ thấy một con trỏ có tên hồ sơ của người dùng khác tại nơi họ đang chỉnh sửa:

Trong ảnh chụp màn hình sau đây, bạn có thể thấy các trải nghiệm người dùng khác nhau đối với ai đó đang chỉnh sửa và xem cùng một sổ ghi chép:

Kết luận

Trong bài đăng này, chúng tôi đã chỉ cho bạn cách các không gian dùng chung trong SageMaker Studio bổ sung trải nghiệm IDE cộng tác theo thời gian thực vào Amazon SageMaker Studio. Tự động gắn thẻ giúp người dùng xác định phạm vi và lọc các tài nguyên Amazon SageMaker của họ, bao gồm: thử nghiệm, quy trình và mục đăng ký mô hình để tối đa hóa năng suất của người dùng. Ngoài ra, quản trị viên có thể sử dụng các thẻ được áp dụng này để theo dõi chi phí liên quan đến một không gian nhất định và đặt ngân sách phù hợp bằng cách sử dụng AWS Cost Explorer và AWS Budgets.

Tăng tốc độ cộng tác cho nhóm của bạn ngay hôm nay bằng cách thiết lập không gian dùng chung trong Amazon SageMaker Studio cho những nỗ lực máy học cụ thể của bạn!

Giới thiệu về tác giả

Sean Morgan là Kiến trúc sư giải pháp AI / ML tại AWS. Anh ấy có kinh nghiệm trong lĩnh vực nghiên cứu học thuật và bán dẫn, đồng thời sử dụng kinh nghiệm của mình để giúp khách hàng đạt được mục tiêu của họ trên AWS. Trong thời gian rảnh rỗi, Sean là người đóng góp / bảo trì nguồn mở tích cực và là trưởng nhóm sở thích đặc biệt cho Tiện ích bổ sung TensorFlow.

Hàn Chương là Kỹ sư phần mềm cao cấp tại Amazon Web Services. Cô là thành viên của nhóm khởi chạy Amazon SageMaker Notebooks và Amazon SageMaker Studio, đồng thời tập trung vào việc xây dựng môi trường máy học an toàn cho khách hàng. Khi rảnh rỗi, cô thích đi bộ đường dài và trượt tuyết ở Tây Bắc Thái Bình Dương.

Arkaprava de là Kỹ sư phần mềm cao cấp tại AWS. Anh ấy đã làm việc tại Amazon hơn 7 năm và hiện đang làm việc để cải thiện trải nghiệm Amazon SageMaker Studio IDE. Bạn có thể tìm thấy anh ta trên LinkedIn.

Kunal Jha là Giám đốc Sản phẩm Cấp cao tại AWS. Anh ấy đang tập trung vào việc xây dựng Amazon SageMaker Studio làm IDE được lựa chọn cho tất cả các bước phát triển ML. Khi rảnh rỗi, Kunal thích trượt tuyết và khám phá Tây Bắc Thái Bình Dương. Bạn có thể tìm thấy anh ấy trên LinkedIn.