Máy chủ mã lưu trữ trên Amazon SageMaker

Các nhóm học máy (ML) cần sự linh hoạt trong việc lựa chọn môi trường phát triển tích hợp (IDE) của họ khi làm việc trong một dự án. Nó cho phép bạn có trải nghiệm nhà phát triển hiệu quả và đổi mới nhanh chóng. Bạn thậm chí có thể sử dụng nhiều IDE trong một dự án. Amazon SageMaker cho phép các nhóm ML chọn làm việc từ các môi trường được quản lý hoàn toàn, dựa trên đám mây trong Xưởng sản xuất Amazon SageMaker, Phiên bản Sổ tay SageMakerhoặc từ máy cục bộ của bạn bằng chế độ cục bộ.

SageMaker cung cấp trải nghiệm một cú nhấp chuột cho Jupyter và RStudio để xây dựng, đào tạo, gỡ lỗi, triển khai và giám sát các mô hình ML. Trong bài đăng này, chúng tôi cũng sẽ chia sẻ một giải pháp để lưu trữ máy chủ mã trên SageMaker.

Với máy chủ mã, người dùng có thể chạy Mã VS trên các máy từ xa và truy cập nó trong trình duyệt web. Đối với các nhóm ML, lưu trữ mã máy chủ trên SageMaker cung cấp những thay đổi tối thiểu đối với trải nghiệm phát triển cục bộ và cho phép bạn viết mã từ mọi nơi, trên máy tính đám mây có thể mở rộng. Với VS Code, bạn cũng có thể sử dụng môi trường Conda tích hợp sẵn với TensorFlow và PyTorch được AWS tối ưu hóa, kho lưu trữ Git được quản lý, chế độ cục bộ và các tính năng khác do SageMaker cung cấp để tăng tốc độ phân phối của bạn. Đối với quản trị viên CNTT, nó cho phép bạn chuẩn hóa và xúc tiến việc cung cấp các IDE được quản lý, bảo mật trên đám mây, để nhanh chóng tham gia và cho phép các nhóm ML trong các dự án của họ.

Tổng quan về giải pháp

Trong bài đăng này, chúng tôi đề cập đến việc cài đặt cho cả môi trường Studio (Tùy chọn A) và các phiên bản máy tính xách tay (Tùy chọn B). Đối với mỗi tùy chọn, chúng tôi hướng dẫn quy trình cài đặt thủ công mà các nhóm ML có thể chạy trong môi trường của họ và cài đặt tự động mà quản trị viên CNTT có thể thiết lập cho họ thông qua Giao diện dòng lệnh AWS (AWS CLI).

Sơ đồ sau đây minh họa tổng quan về kiến ​​trúc cho máy chủ mã lưu trữ trên SageMaker.

Giải pháp của chúng tôi tăng tốc độ cài đặt và thiết lập máy chủ mã trong môi trường của bạn. Nó hoạt động cho cả JupyterLab 3 (được khuyến nghị) và JupyterLab 1 chạy trong các phiên bản máy tính xách tay Studio và SageMaker. Nó được làm bằng các tập lệnh shell thực hiện những việc sau dựa trên tùy chọn.

Đối với Studio (Tùy chọn A), tập lệnh shell thực hiện như sau:

Đối với các phiên bản sổ ghi chép SageMaker (Tùy chọn B), tập lệnh shell thực hiện như sau:

• Cài đặt máy chủ mã.
• Thêm lối tắt máy chủ mã trên menu tệp sổ ghi chép Jupyter và trình khởi chạy JupyterLab để truy cập nhanh vào IDE.
• Tạo môi trường Conda chuyên dụng để quản lý các phần phụ thuộc.
• Cài đặt Python và phu bến tàu phần mở rộng trên IDE.

Trong các phần sau, chúng tôi hướng dẫn quy trình cài đặt giải pháp cho Tùy chọn A và Tùy chọn B. Đảm bảo rằng bạn có quyền truy cập vào Studio hoặc phiên bản sổ ghi chép.

Tùy chọn A: Máy chủ mã lưu trữ trên Studio

Để lưu trữ máy chủ mã trên Studio, hãy hoàn thành các bước sau:

1. Chọn Thiết bị đầu cuối hệ thống trong trình khởi chạy Studio của bạn.
   
2. Để cài đặt giải pháp máy chủ mã, hãy chạy các lệnh sau trong thiết bị đầu cuối hệ thống của bạn:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/studio
    
   chmod +x install-codeserver.sh
   ./install-codeserver.sh
   
   # Note: when installing on JL1, please prepend the nohup command to the install command above and run as follows: 
   # nohup ./install-codeserver.sh

   Các lệnh sẽ mất vài giây để hoàn thành.

3. Tải lại trang trình duyệt, nơi bạn có thể thấy Máy chủ mã trong trình khởi chạy Studio của bạn.
   
4. Chọn Máy chủ mã để mở tab trình duyệt mới, cho phép bạn truy cập máy chủ mã từ trình duyệt của mình.
   Phần mở rộng Python đã được cài đặt và bạn có thể bắt đầu làm việc trong dự án ML của mình.

Bạn có thể mở thư mục dự án của mình trong VS Code và chọn môi trường Conda được tạo sẵn để chạy các tập lệnh Python của bạn.

Tự động hóa cài đặt máy chủ mã cho người dùng trong miền Studio

Với tư cách là quản trị viên CNTT, bạn có thể tự động cài đặt cho người dùng Studio bằng cách sử dụng cấu hình vòng đời. Nó có thể được thực hiện cho tất cả hồ sơ của người dùng trong miền Studio hoặc cho những hồ sơ cụ thể. Nhìn thấy Tùy chỉnh Amazon SageMaker Studio bằng cách sử dụng Cấu hình vòng đời để biết thêm chi tiết.

Đối với bài đăng này, chúng tôi tạo cấu hình vòng đời từ trình cài đặt mã và đính kèm nó vào miền Studio hiện có. Quá trình cài đặt được thực hiện cho tất cả các hồ sơ người dùng trong miền.

Từ một thiết bị đầu cuối được định cấu hình với AWS CLI và các quyền thích hợp, hãy chạy các lệnh sau:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/studio

LCC_CONTENT=`openssl base64 -A -in install-codeserver.sh`

aws sagemaker create-studio-lifecycle-config 
    --studio-lifecycle-config-name install-codeserver-on-jupyterserver 
    --studio-lifecycle-config-content $LCC_CONTENT 
    --studio-lifecycle-config-app-type JupyterServer 
    --query 'StudioLifecycleConfigArn'

aws sagemaker update-domain 
    --region  
    --domain-id  
    --default-user-settings 
    '{
    "JupyterServerAppSettings": {
    "DefaultResourceSpec": {
    "LifecycleConfigArn": "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver",
    "InstanceType": "system"
    },
    "LifecycleConfigArns": [
    "arn:aws:sagemaker:::studio-lifecycle-config/install-codeserver-on-jupyterserver"
    ]
    }}'

# Make sure to replace ,  and  in the previous commands with
# the Studio domain ID, the AWS region and AWS Account ID you are using respectively.

Sau khi Máy chủ Jupyter khởi động lại, Máy chủ mã xuất hiện trong trình khởi chạy Studio của bạn.

Tùy chọn B: Máy chủ mã lưu trữ trên phiên bản sổ ghi chép SageMaker

Để lưu trữ máy chủ mã trên phiên bản sổ ghi chép SageMaker, hãy hoàn thành các bước sau:

1. Khởi chạy một thiết bị đầu cuối thông qua Jupyter hoặc JupyterLab cho phiên bản sổ ghi chép của bạn.
   Nếu bạn sử dụng Jupyter, hãy chọn Thiết bị đầu cuối trên Mới đơn.
   
2.  Để cài đặt giải pháp máy chủ mã, hãy chạy các lệnh sau trong thiết bị đầu cuối của bạn:

   curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
   tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz
   
   cd amazon-sagemaker-codeserver/install-scripts/notebook-instances
    
   chmod +x install-codeserver.sh
   chmod +x setup-codeserver.sh
   sudo ./install-codeserver.sh
   sudo ./setup-codeserver.sh

   Cài đặt máy chủ mã và tiện ích mở rộng liên tục trên phiên bản sổ ghi chép. Tuy nhiên, nếu bạn dừng hoặc khởi động lại phiên bản, bạn cần chạy lệnh sau để định cấu hình lại máy chủ mã:

   sudo ./setup-codeserver.sh

   Các lệnh sẽ mất vài giây để chạy. Bạn có thể đóng tab đầu cuối khi bạn thấy thông tin sau.

   

3. Bây giờ tải lại trang Jupyter và kiểm tra Mới menu một lần nữa.
   Sản phẩm Máy chủ mã tùy chọn bây giờ sẽ có sẵn.
   

Bạn cũng có thể khởi chạy máy chủ mã từ JupyterLab bằng nút trình khởi chạy chuyên dụng, như được hiển thị trong ảnh chụp màn hình sau.

Chọn Máy chủ mã sẽ mở một tab trình duyệt mới, cho phép bạn truy cập máy chủ mã từ trình duyệt của mình. Các phần mở rộng Python và Docker đã được cài đặt và bạn có thể bắt đầu làm việc trong dự án ML của mình.

Tự động hóa cài đặt máy chủ mã trên một phiên bản sổ ghi chép

Với tư cách là quản trị viên CNTT, bạn có thể tự động cài đặt máy chủ mã với cấu hình vòng đời chạy trên quá trình tạo phiên bản và tự động hóa thiết lập với một phiên bản chạy khi bắt đầu phiên bản.

Ở đây, chúng tôi tạo một phiên bản sổ tay mẫu và cấu hình vòng đời bằng cách sử dụng AWSCLI. Các on-create cấu hình chạy trình cài đặt mãvà on-start chạy setup-codeerver.

Từ một thiết bị đầu cuối được định cấu hình với AWS CLI và các quyền thích hợp, hãy chạy các lệnh sau:

curl -LO https://github.com/aws-samples/amazon-sagemaker-codeserver/releases/download/v0.1.5/amazon-sagemaker-codeserver-0.1.5.tar.gz
tar -xvzf amazon-sagemaker-codeserver-0.1.5.tar.gz

cd amazon-sagemaker-codeserver/install-scripts/notebook-instances

aws sagemaker create-notebook-instance-lifecycle-config 
    --notebook-instance-lifecycle-config-name install-codeserver 
    --on-start Content=$((cat setup-codeserver.sh || echo "")| base64) 
    --on-create Content=$((cat install-codeserver.sh || echo "")| base64)

aws sagemaker create-notebook-instance 
    --notebook-instance-name  
    --instance-type  
    --role-arn  
    --lifecycle-config-name install-codeserver

# Make sure to replace , ,
# and  in the previous commands with the appropriate values.

Quá trình cài đặt máy chủ mã hiện đã được tự động hóa cho phiên bản sổ ghi chép.

Kết luận

Với máy chủ mã được lưu trữ trên SageMaker, các nhóm ML có thể chạy VS Code trên máy tính đám mây có thể mở rộng, viết mã từ mọi nơi và tăng tốc độ phân phối dự án ML của họ. Đối với quản trị viên CNTT, nó cho phép họ chuẩn hóa và xúc tiến việc cung cấp các IDE được quản lý, bảo mật trên đám mây, để nhanh chóng tham gia và cho phép các nhóm ML trong các dự án của họ.

Trong bài đăng này, chúng tôi đã chia sẻ một giải pháp mà bạn có thể sử dụng để nhanh chóng cài đặt máy chủ mã trên cả phiên bản Studio và máy tính xách tay. Chúng tôi đã chia sẻ quy trình cài đặt thủ công mà các nhóm ML có thể tự chạy và cài đặt tự động mà quản trị viên CNTT có thể thiết lập cho họ.

Để tiến xa hơn trong quá trình tìm hiểu của bạn, hãy truy cập Tuyệt vời SageMaker trên GitHub để tìm tất cả các tài nguyên có liên quan và cập nhật cần thiết để làm việc với SageMaker.

Về các tác giả

Giuseppe Angelo Porcelli là Kiến trúc sư chính về Giải pháp Chuyên gia về Máy học cho Dịch vụ Web của Amazon. Với nền tảng ML nhiều năm về kỹ thuật phần mềm, anh ấy làm việc với khách hàng ở mọi quy mô để hiểu sâu sắc nhu cầu kinh doanh và kỹ thuật của họ, đồng thời thiết kế các giải pháp AI và Machine Learning để tận dụng tốt nhất Đám mây AWS và ngăn xếp Amazon Machine Learning. Anh ấy đã làm việc trong các dự án trong các lĩnh vực khác nhau, bao gồm MLOps, Computer Vision, NLP và liên quan đến một loạt các dịch vụ AWS. Khi rảnh rỗi, Giuseppe thích chơi bóng đá.

Sofian Hamiti là một Kiến trúc sư Giải pháp chuyên gia về AI / ML tại AWS. Anh ấy giúp khách hàng trong các ngành tăng tốc hành trình AI / ML của họ bằng cách giúp họ xây dựng và vận hành các giải pháp học máy từ đầu đến cuối.

Eric Pena là Giám đốc sản phẩm kỹ thuật cấp cao trong nhóm Nền tảng trí tuệ nhân tạo AWS, làm việc trên Amazon SageMaker Interactive Machine Learning. Anh ấy hiện đang tập trung vào tích hợp IDE trên SageMaker Studio. Anh ấy có bằng MBA của MIT Sloan và ngoài công việc thích chơi bóng rổ và bóng đá.