Thẻ mẫu Amazon SageMaker cho phép bạn tiêu chuẩn hóa cách ghi lại các mô hình, từ đó đạt được khả năng hiển thị về vòng đời của mô hình, từ thiết kế, xây dựng, đào tạo và đánh giá. Thẻ mô hình nhằm mục đích trở thành nguồn thông tin xác thực duy nhất cho siêu dữ liệu kinh doanh và kỹ thuật về mô hình có thể được sử dụng một cách đáng tin cậy cho mục đích kiểm tra và lập tài liệu. Họ cung cấp một tờ thông tin về mô hình quan trọng đối với việc quản trị mô hình.
Cho đến nay, thẻ mô hình được liên kết một cách hợp lý với một mô hình trong Cơ quan đăng ký mô hình Amazon SageMaker sử dụng kết hợp tên mô hình. Tuy nhiên, khi giải quyết một vấn đề kinh doanh thông qua mô hình học máy (ML), khi khách hàng lặp lại vấn đề, họ sẽ tạo ra nhiều phiên bản của mô hình và họ cần vận hành và quản lý nhiều phiên bản mô hình. Vì vậy, họ cần có khả năng liên kết thẻ mô hình với một phiên bản mô hình cụ thể.
Trong bài đăng này, chúng tôi thảo luận về một tính năng mới hỗ trợ tích hợp thẻ mô hình với sổ đăng ký mô hình ở cấp phiên bản mô hình đã triển khai. Chúng tôi thảo luận về cấu trúc giải pháp và các biện pháp thực hành tốt nhất để quản lý các phiên bản thẻ mẫu, đồng thời hướng dẫn cách thiết lập, vận hành và quản lý việc tích hợp thẻ mẫu với phiên bản mẫu trong sổ đăng ký mẫu.
Tổng quan về giải pháp
Thẻ mô hình SageMaker giúp bạn chuẩn hóa việc ghi lại các mô hình của mình từ góc độ quản trị và sổ đăng ký mô hình SageMaker giúp bạn triển khai và vận hành các mô hình ML. Cơ quan đăng ký mô hình hỗ trợ cấu trúc phân cấp để tổ chức và lưu trữ các mô hình ML với thông tin siêu dữ liệu mô hình.
Khi một tổ chức giải quyết vấn đề kinh doanh bằng ML, chẳng hạn như dự đoán tỷ lệ rời bỏ khách hàng, chúng tôi khuyên bạn nên thực hiện các bước sau:
- Tạo một thẻ mẫu cho vấn đề kinh doanh cần giải quyết.
- Tạo một nhóm gói mô hình để giải quyết vấn đề kinh doanh.
- Xây dựng, đào tạo, đánh giá và đăng ký phiên bản đầu tiên của phiên bản gói mô hình (ví dụ Customer Churn V1).
- Cập nhật thẻ mô hình liên kết phiên bản gói mô hình với thẻ mô hình.
- Khi bạn lặp lại phiên bản gói mô hình mới, hãy sao chép thẻ mô hình từ phiên bản trước đó và liên kết đến phiên bản gói mô hình mới (ví dụ: Customer Churn V2).
Hình dưới đây minh họa cách thẻ mô hình SageMaker tích hợp với sổ đăng ký mô hình.
Như được minh họa trong sơ đồ trước, việc tích hợp thẻ mô hình SageMaker và sổ đăng ký mô hình cho phép bạn liên kết thẻ mô hình với phiên bản mô hình cụ thể trong sổ đăng ký mô hình. Điều này cho phép bạn thiết lập một nguồn thông tin chính xác duy nhất cho các phiên bản mô hình đã đăng ký của mình, với tài liệu toàn diện và được tiêu chuẩn hóa trong tất cả các giai đoạn trong hành trình của mô hình trên SageMaker, tạo điều kiện thuận lợi cho khả năng khám phá và thúc đẩy quản trị, tuân thủ và trách nhiệm giải trình trong suốt vòng đời của mô hình.
Các phương pháp hay nhất để quản lý thẻ mẫu
Hoạt động trong lĩnh vực học máy với quản trị là một yêu cầu quan trọng đối với nhiều tổ chức doanh nghiệp hiện nay, đặc biệt là trong các ngành có quy định chặt chẽ. Là một phần của những yêu cầu đó, AWS cung cấp một số dịch vụ cho phép môi trường ML hoạt động đáng tin cậy.
Thẻ mô hình SageMaker ghi lại các chi tiết quan trọng về mô hình ML của bạn ở một nơi duy nhất để quản lý và báo cáo hợp lý. Thẻ mô hình giúp bạn nắm bắt các thông tin chi tiết như mục đích sử dụng và xếp hạng rủi ro của mô hình, chi tiết và số liệu đào tạo, kết quả đánh giá và quan sát cũng như các chú thích bổ sung như cân nhắc, đề xuất và thông tin tùy chỉnh.
Thẻ mẫu cần được quản lý và cập nhật như một phần của quá trình phát triển của bạn, trong suốt quá trình Vòng đời ML. Chúng là một phần quan trọng của quá trình phân phối và quy trình liên tục trong ML. Tương tự như cách một dự án ML được kiến trúc tốt triển khai tích hợp liên tục và phân phối liên tục (CI/CD) dưới sự bảo trợ của MLOps, quy trình ghi chép ML liên tục là một khả năng quan trọng trong nhiều ngành được quản lý hoặc đối với các trường hợp sử dụng có rủi ro cao hơn. Thẻ mẫu là một phần của các phương pháp hay nhất để phát triển ML một cách có trách nhiệm và minh bạch.
Sơ đồ sau đây cho thấy thẻ mô hình nên là một phần của vòng đời phát triển như thế nào.
Hãy xem xét các phương pháp hay nhất sau đây:
- Chúng tôi khuyên bạn nên tạo thẻ mô hình sớm trong vòng đời dự án của mình. Trong giai đoạn đầu tiên của dự án, khi bạn đang làm việc trên xác định mục tiêu kinh doanh và đóng khung vấn đề ML, bạn nên bắt đầu tạo thẻ mẫu. Khi thực hiện các bước khác nhau của yêu cầu kinh doanh và số liệu hiệu suất quan trọng, bạn có thể tạo thẻ mô hình ở trạng thái nháp và xác định chi tiết kinh doanh cũng như mục đích sử dụng.
- Là một phần của bạn Giai đoạn vòng đời phát triển mô hình, bạn nên sử dụng sổ đăng ký mô hình để lập danh mục các mô hình cho sản xuất, quản lý các phiên bản mô hình và liên kết siêu dữ liệu với một mô hình. Việc đăng ký mô hình cho phép theo dõi dòng dõi.
- Sau khi bạn đã lặp lại thành công và sẵn sàng triển khai mô hình của mình vào sản xuất, đã đến lúc cập nhật thẻ mô hình. bên trong giai đoạn vòng đời triển khai, bạn có thể cập nhật chi tiết mẫu của thẻ mẫu. Bạn cũng nên cập nhật chi tiết đào tạo, chi tiết đánh giá, cân nhắc về mặt đạo đức cũng như các cảnh báo và đề xuất.
Thẻ mô hình có các phiên bản liên quan đến chúng. Một phiên bản mô hình nhất định không thể thay đổi trên tất cả các thuộc tính ngoại trừ trạng thái thẻ mô hình. Nếu bạn thực hiện bất kỳ thay đổi nào khác đối với thẻ mô hình, chẳng hạn như số liệu đánh giá, mô tả hoặc mục đích sử dụng, SageMaker sẽ tạo phiên bản mới của thẻ mô hình để phản ánh thông tin cập nhật. Điều này nhằm đảm bảo rằng thẻ mẫu sau khi được tạo sẽ không thể bị giả mạo. Ngoài ra, mỗi tên mẫu máy duy nhất chỉ có thể có một thẻ mẫu máy được liên kết và không thể thay đổi tên này sau khi bạn tạo thẻ mẫu máy.
Mô hình ML là các thành phần tự động hóa quy trình làm việc và năng động cho phép bạn dễ dàng mở rộng khả năng xây dựng, đào tạo, thử nghiệm và triển khai hàng trăm mô hình trong sản xuất, lặp lại nhanh hơn, giảm lỗi do điều phối thủ công và xây dựng các cơ chế lặp lại.
Do đó, vòng đời của thẻ mẫu của bạn sẽ giống như được mô tả trong sơ đồ sau. Mỗi lần bạn cập nhật thẻ mô hình trong suốt vòng đời của mô hình, bạn sẽ tự động tạo một phiên bản mới của thẻ mô hình. Mỗi lần lặp lại trên một phiên bản mô hình mới, bạn tạo một thẻ mô hình mới có thể kế thừa một số thông tin thẻ mô hình của các phiên bản mô hình trước đó và tuân theo cùng một vòng đời.
Điều kiện tiên quyết
Bài đăng này giả định rằng bạn đã có mô hình trong sổ đăng ký mô hình của mình. Nếu muốn làm theo, bạn có thể sử dụng ví dụ SageMaker sau trên GitHub để điền sổ đăng ký mô hình của mình: Tích hợp SageMaker Pipelines với Model Monitor và Clarify.
Tích hợp thẻ model với phiên bản model trong sổ đăng ký model
Trong ví dụ này, chúng ta có model-monitor-clarify-group
gói trong sổ đăng ký mô hình của chúng tôi.
Trong gói này, có hai phiên bản mô hình.
Trong ví dụ này, chúng tôi liên kết Phiên bản 1 của mô hình với thẻ mô hình mới. Trong sổ đăng ký mô hình, bạn có thể xem chi tiết về Phiên bản 1.
Bây giờ chúng tôi có thể sử dụng tính năng mới trong SageMaker Python SDK. Từ sagemaker.model_card ModelPackage
mô-đun, bạn có thể chọn một phiên bản mô hình cụ thể từ sổ đăng ký mô hình mà bạn muốn liên kết thẻ mô hình với.
Bây giờ bạn có thể tạo thẻ mô hình mới cho phiên bản mô hình và chỉ định model_package_details
tham số với gói mô hình trước đó được truy xuất. Bạn cần điền vào thẻ mô hình tất cả các chi tiết bổ sung cần thiết. Đối với bài đăng này, chúng tôi tạo một thẻ mô hình đơn giản làm ví dụ.
Sau đó, bạn có thể sử dụng định nghĩa đó để tạo thẻ mô hình bằng SageMaker Python SDK.
Khi nạp lại thẻ mẫu, bạn có thể thấy mẫu được liên kết bên dưới "__model_package_details"
.
Bạn cũng có tùy chọn cập nhật thẻ mẫu hiện có bằng model_package
như được hiển thị trong đoạn mã ví dụ bên dưới:
Cuối cùng, khi tạo hoặc cập nhật phiên bản gói mô hình mới trong gói mô hình hiện có, nếu thẻ mô hình đã tồn tại trong nhóm gói mô hình đó thì một số thông tin như chi tiết kinh doanh và mục đích sử dụng có thể được chuyển sang thẻ mô hình mới.
Làm sạch
Người dùng có trách nhiệm dọn dẹp tài nguyên nếu được tạo bằng sổ ghi chép được đề cập trong phần điều kiện tiên quyết. Vui lòng làm theo hướng dẫn trong sổ ghi chép để dọn dẹp tài nguyên.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận cách tích hợp thẻ mô hình SageMaker với phiên bản mô hình trong sổ đăng ký mô hình. Chúng tôi đã chia sẻ kiến trúc giải pháp với các phương pháp hay nhất để triển khai thẻ mẫu, đồng thời chỉ ra cách thiết lập và vận hành thẻ mẫu để cải thiện tình hình quản trị mô hình của bạn. Chúng tôi khuyến khích bạn thử giải pháp này và chia sẻ phản hồi của bạn trong phần bình luận.
Về các tác giả
Ram Vittal là Kiến trúc sư giải pháp ML chính tại AWS. Ông có hơn 20 năm kinh nghiệm kiến trúc và xây dựng các ứng dụng phân tán, ứng dụng lai và ứng dụng đám mây. Anh ấy đam mê xây dựng các giải pháp dữ liệu lớn và AI/ML an toàn và có thể mở rộng để hỗ trợ khách hàng doanh nghiệp trong hành trình áp dụng và tối ưu hóa đám mây nhằm cải thiện kết quả kinh doanh của họ. Trong thời gian rảnh rỗi, anh ấy lái xe máy và đi dạo cùng chú cừu 2 tuổi vẽ nguệch ngoạc của mình!
Pháo đài Natacha là Trưởng nhóm khoa học dữ liệu của Chính phủ cho Khu vực công Australia và New Zealand, Hiệu trưởng SA tại AWS. Cô giúp các tổ chức định hướng hành trình học máy của họ, hỗ trợ họ từ việc xác định vấn đề học máy đến triển khai vào sản xuất, đồng thời đảm bảo áp dụng các phương pháp kiến trúc tốt nhất để đảm bảo thành công của họ. Natacha tập trung vào các tổ chức về MLOps và AI có trách nhiệm.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/integrate-amazon-sagemaker-model-cards-with-the-model-registry/
- : có
- :là
- $ LÊN
- 1
- 100
- 20
- 20 năm
- 7
- 8
- a
- có khả năng
- Giới thiệu
- trách nhiệm
- đạt được
- ngang qua
- thêm vào
- Ngoài ra
- Nhận con nuôi
- Sau
- một lần nữa
- AI
- AI / ML
- Tất cả
- cho phép
- dọc theo
- Đã
- Ngoài ra
- đàn bà gan dạ
- Amazon SageMaker
- Amazon Web Services
- an
- và
- bất kì
- các ứng dụng
- kiến trúc
- LÀ
- AS
- Liên kết
- liên kết
- giả định
- At
- thuộc tính
- kiểm toán
- Châu Úc
- tự động
- Tự động hóa
- có sẵn
- AWS
- BE
- phía dưới
- BEST
- thực hành tốt nhất
- lớn
- Dữ Liệu Lớn.
- xây dựng
- Xây dựng
- kinh doanh
- CAN
- khả năng
- nắm bắt
- thẻ
- Thẻ
- thực hiện
- trường hợp
- Danh mục hàng
- thay đổi
- Những thay đổi
- Làm sạch
- đám mây
- áp dụng đám mây
- mã
- Bình luận
- tuân thủ
- các thành phần
- toàn diện
- sự cân nhắc
- liên tục
- tạo
- tạo ra
- tạo ra
- Tạo
- tạo
- quan trọng
- khách hàng
- khách hàng
- khách hàng
- dữ liệu
- khoa học dữ liệu
- định nghĩa
- giao hàng
- triển khai
- triển khai
- triển khai
- mô tả
- Mô tả
- thiết kế
- chi tiết
- Xác định
- Phát triển
- khác nhau
- thảo luận
- thảo luận
- phân phối
- tài liệu
- tài liệu hướng dẫn
- dự thảo
- hai
- năng động
- mỗi
- Đầu
- dễ dàng
- cho phép
- cho phép
- khuyến khích
- đảm bảo
- Doanh nghiệp
- Môi trường
- lỗi
- thành lập
- đạo đức
- đánh giá
- đánh giá
- Mỗi
- ví dụ
- hiện tại
- tồn tại
- kinh nghiệm
- tạo điều kiện
- nhanh hơn
- Đặc tính
- thông tin phản hồi
- Hình
- Tên
- tập trung
- theo
- tiếp theo
- Trong
- từ
- GitHub
- được
- quản trị
- Chính phủ
- Nhóm
- Có
- he
- giúp đỡ
- giúp
- cao hơn
- cao
- của mình
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- Hàng trăm
- Hỗn hợp
- if
- minh họa
- bất biến
- thực hiện
- thực hiện
- quan trọng
- nâng cao
- in
- các ngành công nghiệp
- thông tin
- bắt đầu
- hướng dẫn
- tích hợp
- Tích hợp
- Tích hợp
- hội nhập
- dự định
- trong
- IT
- cuộc hành trình
- jpg
- dẫn
- học tập
- Cấp
- vòng đời
- Lượt thích
- dòng
- LINK
- liên kết
- tải
- Xem
- Rất nhiều
- máy
- học máy
- làm cho
- Làm
- quản lý
- quản lý
- quản lý
- nhãn hiệu
- nhiều
- Trận đấu
- cơ chế
- đề cập
- Siêu dữ liệu
- Metrics
- ML
- MLOps
- kiểu mẫu
- mô hình
- Mô-đun
- Màn Hình
- xe mô tô
- nhiều
- tên
- Điều hướng
- cần thiết
- Cần
- Mới
- New Zealand
- đáng chú ý
- máy tính xách tay
- tại
- of
- on
- hàng loạt
- ONE
- có thể
- hoạt động
- tối ưu hóa
- Tùy chọn
- or
- dàn nhạc
- cơ quan
- tổ chức
- tổ chức
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết quả
- kết thúc
- gói
- tham số
- một phần
- riêng
- đam mê
- hiệu suất
- quan điểm
- giai đoạn
- Nơi
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- xin vui lòng
- Bài đăng
- thực hành
- dự đoán
- trước
- Hiệu trưởng
- Vấn đề
- quá trình
- Sản lượng
- dự án
- Thúc đẩy
- cho
- cung cấp
- công khai
- mục đích
- Python
- RAM
- giá
- sẵn sàng
- giới thiệu
- khuyến nghị
- giảm
- phản ánh
- ghi danh
- đăng ký
- đăng ký
- quy định
- ngành công nghiệp quy định
- đáng tin cậy
- có thể lặp lại
- Báo cáo
- yêu cầu
- Yêu cầu
- Thông tin
- chịu trách nhiệm
- Kết quả
- Nguy cơ
- SA
- nhà làm hiền triết
- tương tự
- khả năng mở rộng
- Quy mô
- Khoa học
- sdk
- Phần
- ngành
- an toàn
- xem
- DỊCH VỤ
- định
- một số
- Chia sẻ
- chia sẻ
- chị ấy
- nên
- cho thấy
- thể hiện
- Chương trình
- Đơn giản
- duy nhất
- đoạn
- giải pháp
- Giải pháp
- Giải quyết
- Giải quyết
- một số
- nguồn
- riêng
- giai đoạn
- Trạng thái
- Các bước
- lưu trữ
- sắp xếp hợp lý
- cấu trúc
- thành công
- Thành công
- như vậy
- Hỗ trợ
- Hỗ trợ
- chắc chắn
- Kỹ thuật
- thử nghiệm
- hơn
- việc này
- Sản phẩm
- cung cấp their dịch
- Them
- sau đó
- bằng cách ấy
- vì thế
- họ
- điều này
- những
- Thông qua
- khắp
- thời gian
- đến
- bây giờ
- Theo dõi
- Train
- Hội thảo
- minh bạch
- Sự thật
- thử
- hai
- ô
- Dưới
- độc đáo
- Cập nhật
- cập nhật
- cập nhật
- sử dụng
- đã sử dụng
- sử dụng
- sử dụng
- v1
- phiên bản
- phiên bản
- khả năng hiển thị
- muốn
- Đường..
- we
- web
- các dịch vụ web
- là
- khi nào
- trong khi
- sẽ
- với
- Công việc
- quy trình làm việc
- đang làm việc
- sẽ
- năm
- Bạn
- trên màn hình
- Zealand
- zephyrnet