Xưởng sản xuất Amazon SageMaker là môi trường phát triển (IDE) tích hợp đầy đủ đầu tiên dành cho máy học (ML). Studio cung cấp một giao diện trực quan dựa trên web duy nhất, nơi bạn có thể thực hiện tất cả các bước phát triển ML cần thiết để chuẩn bị dữ liệu, cũng như xây dựng, đào tạo và triển khai các mô hình. Cấu hình vòng đời là các tập lệnh trình bao được kích hoạt bởi các sự kiện trong vòng đời của Studio, chẳng hạn như bắt đầu một sổ ghi chép Studio mới. Bạn có thể sử dụng cấu hình vòng đời để tự động tùy chỉnh cho môi trường Studio của mình. Tùy chỉnh này bao gồm cài đặt các gói tùy chỉnh, định cấu hình tiện ích mở rộng sổ ghi chép, tải trước bộ dữ liệu và thiết lập kho lưu trữ mã nguồn. Ví dụ: với tư cách là quản trị viên của miền Studio, bạn có thể muốn tiết kiệm chi phí bằng cách tự động tắt các ứng dụng máy tính xách tay sau một thời gian dài không hoạt động.
Sản phẩm Bộ công cụ phát triển đám mây AWS (AWS CDK) là một khuôn khổ để xác định cơ sở hạ tầng đám mây thông qua mã và cung cấp nó thông qua Hình thành đám mây AWS ngăn xếp. Ngăn xếp là tập hợp các tài nguyên AWS có thể được cập nhật, di chuyển hoặc xóa theo chương trình. CDK AWS cấu trúc là các khối xây dựng của ứng dụng AWS CDK, đại diện cho kế hoạch chi tiết để xác định kiến trúc đám mây.
Trong bài đăng này, chúng tôi trình bày cách sử dụng AWS CDK để thiết lập Studio, sử dụng cấu hình vòng đời Studio và cho phép các nhà khoa học dữ liệu và nhà phát triển trong tổ chức của bạn truy cập vào nó.
Tổng quan về giải pháp
Tính mô đun của các cấu hình vòng đời cho phép bạn áp dụng chúng cho tất cả người dùng trong một miền hoặc cho những người dùng cụ thể. Bằng cách này, bạn có thể thiết lập cấu hình vòng đời và tham chiếu chúng trong Studio cổng kernel hoặc máy chủ Jupyter một cách nhanh chóng và nhất quán. Cổng hạt nhân là điểm vào để tương tác với phiên bản sổ ghi chép, trong khi máy chủ Jupyter đại diện cho phiên bản Studio. Điều này cho phép bạn áp dụng các phương pháp hay nhất về DevOps và đáp ứng các tiêu chuẩn về an toàn, tuân thủ và cấu hình trên tất cả các tài khoản và Khu vực AWS. Đối với bài đăng này, chúng tôi sử dụng Python làm ngôn ngữ chính nhưng có thể dễ dàng thay đổi mã này sang các ngôn ngữ được AWS CDK hỗ trợ khác. Để biết thêm thông tin, hãy tham khảo Làm việc với AWS CDK.
Điều kiện tiên quyết
Để bắt đầu, hãy đảm bảo bạn có các điều kiện tiên quyết sau:
Sao chép kho lưu trữ GitHub
Đầu tiên, nhân bản các Kho GitHub.
Khi bạn sao chép kho lưu trữ, bạn có thể quan sát thấy rằng chúng tôi có một dự án AWS CDK cổ điển với thư mục studio-lifecycle-config-construct
, chứa cấu trúc và tài nguyên cần thiết để tạo cấu hình vòng đời.
Cấu trúc AWS CDK
Tệp chúng tôi muốn kiểm tra là aws_sagemaker_lifecycle.py
. Tập tin này chứa các SageMakerStudioLifeCycleConfig
cấu trúc mà chúng tôi sử dụng để thiết lập và tạo cấu hình vòng đời.
Sản phẩm SageMakerStudioLifeCycleConfig
cấu trúc cung cấp khuôn khổ để xây dựng cấu hình vòng đời bằng tùy chỉnh AWS Lambda chức năng và mã shell được đọc từ một tệp. Cấu trúc chứa các tham số sau:
- ID – Tên của dự án hiện tại.
- studio_lifecycle_content - base64 nội dung được mã hóa.
- studio_lifecycle_tags – Nhãn bạn chỉ định để sắp xếp tài nguyên Amazon. Chúng được nhập dưới dạng cặp khóa-giá trị và là tùy chọn cho cấu hình này.
- studio_lifecycle_config_app_type –
JupyterServer
là dành cho chính máy chủ duy nhất vàKernelGateway
app tương ứng với vùng chứa hình ảnh SageMaker đang chạy.
Để biết thêm thông tin về kiến trúc sổ ghi chép Studio, hãy tham khảo Đi sâu vào kiến trúc Amazon SageMaker Studio Notebooks.
Sau đây là đoạn mã của cấu trúc cấu hình vòng đời Studio (aws_sagemaker_lifecycle.py
):
Sau khi bạn nhập và cài đặt cấu trúc, bạn có thể sử dụng nó. Đoạn mã sau cho biết cách tạo cấu hình vòng đời bằng cách sử dụng cấu trúc trong ngăn xếp trong app.py
hoặc cấu trúc khác:
Triển khai cấu trúc AWS CDK
Để triển khai ngăn xếp CDK AWS của bạn, hãy chạy các lệnh sau ở vị trí mà bạn đã sao chép kho lưu trữ.
Lệnh có thể là python
thay vì python3
tùy thuộc vào cấu hình đường dẫn của bạn.
- Tạo môi trường ảo:
- Đối với macOS/Linux, hãy sử dụng
python3 -m venv .cdk-venv
. - Đối với Windows, sử dụng
python3 -m venv .cdk-venv
.
- Đối với macOS/Linux, hãy sử dụng
- Kích hoạt môi trường ảo:
- Đối với macOS/Linux, hãy sử dụng
source .cdk-venvbinactivate
. - Đối với Windows, sử dụng
.cdk-venv/Scripts/activate.bat
. - Đối với PowerShell, hãy sử dụng
.cdk-venv/Scripts/activate.ps1
.
- Đối với macOS/Linux, hãy sử dụng
- Cài đặt các phụ thuộc bắt buộc:
pip install -r requirements.txt
pip install -r requirements-dev.txt
- Tại thời điểm này, bạn có thể tùy chọn tổng hợp mẫu CloudFormation cho mã này:
- Triển khai giải pháp bằng các lệnh sau:
aws configure
cdk bootstrap
cdk deploy
Khi ngăn xếp được triển khai thành công, bạn sẽ có thể xem ngăn xếp trên bảng điều khiển CloudFormation.
Bạn cũng sẽ có thể xem cấu hình vòng đời trên bảng điều khiển SageMaker.
Chọn cấu hình vòng đời để xem mã shell chạy cũng như bất kỳ thẻ nào bạn đã chỉ định.
Đính kèm cấu hình vòng đời Studio
Có nhiều cách để đính kèm cấu hình vòng đời. Trong phần này, chúng tôi trình bày hai phương pháp: sử dụng Bảng điều khiển quản lý AWSvà lập trình bằng cách sử dụng cơ sở hạ tầng được cung cấp.
Đính kèm cấu hình vòng đời bằng bảng điều khiển
Để sử dụng bảng điều khiển, hãy hoàn thành các bước sau:
- Trên bảng điều khiển SageMaker, chọn Tên miền trong khung điều hướng.
- Chọn tên miền bạn đang sử dụng và hồ sơ người dùng hiện tại, sau đó chọn Chỉnh sửa.
- Chọn cấu hình vòng đời bạn muốn sử dụng và chọn Đính kèm.
Từ đây, bạn cũng có thể đặt nó làm mặc định.
Đính kèm cấu hình vòng đời theo chương trình
Bạn cũng có thể truy xuất ARN của cấu hình vòng đời Studio được tạo bởi cấu trúc và đính kèm nó vào cấu trúc Studio theo chương trình. Đoạn mã sau hiển thị cấu hình vòng đời ARN được chuyển đến cấu trúc Studio:
Làm sạch
Hoàn thành các bước trong phần này để dọn sạch tài nguyên của bạn.
Xóa cấu hình vòng đời Studio
Để xóa cấu hình vòng đời của bạn, hãy hoàn tất các bước sau:
- Trên bảng điều khiển SageMaker, chọn Cấu hình vòng đời studio trong khung điều hướng.
- Chọn cấu hình vòng đời, sau đó chọn Xóa bỏ.
Xóa ngăn xếp AWS CDK
Khi hoàn tất với các tài nguyên đã tạo, bạn có thể hủy ngăn xếp CDK AWS của mình bằng cách chạy lệnh sau tại vị trí mà bạn đã sao chép kho lưu trữ:
Khi được yêu cầu xác nhận việc xóa ngăn xếp, hãy nhập yes
.
Bạn cũng có thể xóa ngăn xếp trên bảng điều khiển AWS CloudFormation bằng các bước sau:
- Trên bảng điều khiển AWS CloudFormation, hãy chọn Stacks trong khung điều hướng.
- Chọn ngăn xếp mà bạn muốn xóa.
- Trong ngăn chi tiết ngăn xếp, chọn Xóa bỏ.
- Chọn Xóa ngăn xếp khi được nhắc.
Nếu gặp bất kỳ lỗi nào, bạn có thể phải xóa một số tài nguyên theo cách thủ công tùy thuộc vào cấu hình tài khoản của mình.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về cách Studio hoạt động như một IDE cho khối lượng công việc ML. Studio cung cấp hỗ trợ cấu hình vòng đời, cho phép bạn thiết lập các tập lệnh shell tùy chỉnh để thực hiện các tác vụ tự động hoặc thiết lập môi trường phát triển khi khởi chạy. Chúng tôi đã sử dụng cấu trúc AWS CDK để xây dựng cơ sở hạ tầng cho cấu hình vòng đời và tài nguyên tùy chỉnh. Cấu trúc được tổng hợp thành ngăn xếp CloudFormation, sau đó được triển khai để tạo tập lệnh vòng đời và tài nguyên tùy chỉnh được sử dụng trong Studio và nhân sổ ghi chép.
Để biết thêm thông tin, hãy truy cập Xưởng sản xuất Amazon SageMaker.
Về các tác giả
Cory Hairston là Kỹ sư phần mềm của Amazon ML Solutions Lab. Anh ấy hiện đang làm việc về việc cung cấp các giải pháp phần mềm có thể tái sử dụng.
Alex Chirayath là Kỹ sư máy học cao cấp tại Phòng thí nghiệm giải pháp máy học của Amazon. Ông lãnh đạo các nhóm gồm các nhà khoa học dữ liệu và kỹ sư xây dựng các ứng dụng AI để đáp ứng nhu cầu kinh doanh.
Gouri Pandeshwar là Giám đốc kỹ sư tại Phòng thí nghiệm giải pháp máy học của Amazon. Anh ấy và nhóm kỹ sư của mình đang làm việc để xây dựng các giải pháp và khung có thể tái sử dụng giúp đẩy nhanh việc áp dụng các dịch vụ AWS AI/ML cho các trường hợp sử dụng kinh doanh của khách hàng.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- EVM tài chính. Giao diện hợp nhất cho tài chính phi tập trung. Truy cập Tại đây.
- Tập đoàn truyền thông lượng tử. Khuếch đại IR/PR. Truy cập Tại đây.
- PlatoAiStream. Thông minh dữ liệu Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/use-the-aws-cdk-to-deploy-amazon-sagemaker-studio-lifecycle-configurations/
- :là
- :Ở đâu
- $ LÊN
- 100
- 12
- 14
- 7
- a
- Có khả năng
- đẩy nhanh tiến độ
- truy cập
- Tài khoản
- Trợ Lý Giám Đốc
- ngang qua
- địa chỉ
- Nhận con nuôi
- Sau
- AI
- AI / ML
- Tất cả
- cho phép
- Ngoài ra
- đàn bà gan dạ
- Phòng thí nghiệm giải pháp Amazon ML
- Amazon SageMaker
- Xưởng sản xuất Amazon SageMaker
- Amazon Web Services
- an
- và
- Một
- bất kì
- ứng dụng
- các ứng dụng
- Đăng Nhập
- ứng dụng
- kiến trúc
- LÀ
- AS
- giao
- At
- đính kèm
- tự động hóa
- Tự động
- tự động
- AWS
- Hình thành đám mây AWS
- BE
- được
- BEST
- thực hành tốt nhất
- Khối
- xây dựng
- Xây dựng
- kinh doanh
- nhưng
- by
- CAN
- trường hợp
- thay đổi
- Chọn
- cổ điển
- đám mây
- cơ sở hạ tầng đám mây
- mã
- bộ sưu tập
- COM
- hoàn thành
- tuân thủ
- Cấu hình
- Xác nhận
- An ủi
- xây dựng
- Container
- chứa
- nội dung
- tương ứng
- Chi phí
- tạo
- tạo ra
- Current
- Hiện nay
- khách hàng
- tùy biến
- dữ liệu
- bộ dữ liệu
- sâu
- Mặc định
- xác định
- Tùy
- triển khai
- triển khai
- phá hủy
- chi tiết
- phát triển
- Phát triển
- thảo luận
- miền
- Tên miền
- thực hiện
- xuống
- dễ dàng
- hay
- cho phép
- cho phép
- ky sư
- Kỹ sư
- đăng ký hạng mục thi
- nhập
- Môi trường
- môi trường
- lỗi
- sự kiện
- ví dụ
- mở rộng
- Tập tin
- Tên
- tiếp theo
- Trong
- Khung
- khung
- từ
- đầy đủ
- chức năng
- cửa ngõ
- được
- GitHub
- Có
- có
- he
- giúp đỡ
- tại đây
- của mình
- Độ đáng tin của
- Hướng dẫn
- HTML
- http
- HTTPS
- ID
- hình ảnh
- nhập khẩu
- in
- bao gồm
- thông tin
- Cơ sở hạ tầng
- cài đặt, dựng lên
- Cài đặt
- ví dụ
- thay vì
- tích hợp
- tương tác
- Giao thức
- trong
- IT
- ITS
- chính nó
- jpg
- phòng thí nghiệm
- Nhãn
- Ngôn ngữ
- Ngôn ngữ
- phóng
- Dẫn
- học tập
- vòng đời
- địa điểm thư viện nào
- dài
- máy
- học máy
- Chủ yếu
- làm cho
- quản lý
- giám đốc
- thủ công
- Có thể..
- Gặp gỡ
- phương pháp
- ML
- mô hình
- chi tiết
- chuyển
- nhiều
- tên
- THÔNG TIN
- nhu cầu
- Mới
- máy tính xách tay
- tuân theo
- of
- Cung cấp
- on
- or
- cơ quan
- Nền tảng khác
- gói
- cặp
- cửa sổ
- thông số
- thông qua
- con đường
- Thực hiện
- kinh nguyệt
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Điểm
- Bài đăng
- PowerShell
- thực hành
- Chuẩn bị
- điều kiện tiên quyết
- trình bày
- Hồ sơ
- dự án
- cung cấp
- cung cấp
- cung cấp
- Python
- Mau
- Đọc
- vùng
- kho
- đại diện
- đại diện cho
- cần phải
- Yêu cầu
- tài nguyên
- Thông tin
- có thể tái sử dụng
- chạy
- chạy
- Sự An Toàn
- nhà làm hiền triết
- các nhà khoa học
- phạm vi
- kịch bản
- Phần
- TỰ
- cao cấp
- phục vụ
- DỊCH VỤ
- định
- thiết lập
- Shell
- nên
- hiển thị
- Chương trình
- Đóng cửa
- duy nhất
- Phần mềm
- Kỹ sư phần mềm
- giải pháp
- Giải pháp
- một số
- nguồn
- mã nguồn
- riêng
- ngăn xếp
- Stacks
- tiêu chuẩn
- bắt đầu
- Bắt đầu
- Các bước
- phòng thu
- Thành công
- như vậy
- hỗ trợ
- Hỗ trợ
- hệ thống
- nhiệm vụ
- nhóm
- đội
- mẫu
- việc này
- Sản phẩm
- Them
- sau đó
- họ
- điều này
- Thông qua
- đến
- Train
- được kích hoạt
- hai
- độc đáo
- cập nhật
- sử dụng
- đã sử dụng
- người sử dang
- Người sử dụng
- sử dụng
- Xem
- ảo
- Truy cập
- muốn
- Đường..
- cách
- we
- web
- các dịch vụ web
- Dựa trên web
- TỐT
- khi nào
- trong khi
- cái nào
- sẽ
- cửa sổ
- với
- đang làm việc
- công trinh
- Bạn
- trên màn hình
- zephyrnet