Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.

Thông báo ra mắt tính năng sao chép mô hình cho Nhãn tùy chỉnh Rekognition của Amazon

Dấu thời gian: 16:2022 PM ngày 6 tháng 42 năm XNUMX

Nhãn tùy chỉnh Rekognition của Amazon là một dịch vụ thị giác máy tính được quản lý hoàn toàn cho phép các nhà phát triển xây dựng các mô hình tùy chỉnh để phân loại và xác định các đối tượng trong hình ảnh cụ thể và duy nhất cho doanh nghiệp của bạn. Nhãn Tùy chỉnh Rekognition không yêu cầu bạn phải có bất kỳ kiến ​​thức chuyên môn về thị giác máy tính nào trước đó. Ví dụ: bạn có thể tìm thấy biểu tượng của mình trong các bài đăng trên mạng xã hội, xác định sản phẩm của bạn trên kệ hàng, phân loại các bộ phận máy móc trong dây chuyền lắp ráp, phân biệt cây khỏe mạnh và cây nhiễm bệnh hoặc phát hiện các nhân vật hoạt hình trong video.

Phát triển một mô hình tùy chỉnh để phân tích hình ảnh là một công việc quan trọng đòi hỏi thời gian, chuyên môn và nguồn lực, thường mất hàng tháng để hoàn thành. Ngoài ra, nó thường yêu cầu hàng nghìn hoặc hàng chục nghìn hình ảnh được dán nhãn bằng tay để cung cấp cho mô hình đủ dữ liệu để đưa ra quyết định chính xác. Việc tạo ra dữ liệu này có thể mất nhiều tháng để thu thập và yêu cầu một nhóm lớn các nhà gắn nhãn chuẩn bị để sử dụng trong học máy (ML).

Các Nhãn Tùy chỉnh Rekognition được xây dựng dựa trên các khả năng hiện có của Nhận thức lại Amazon, vốn đã được đào tạo trên hàng chục triệu hình ảnh trên nhiều thể loại. Thay vì hàng nghìn hình ảnh, bạn chỉ cần tải lên một tập hợp nhỏ hình ảnh đào tạo (thường là vài trăm hình ảnh trở xuống) dành riêng cho trường hợp sử dụng của bạn bằng bảng điều khiển Amazon Rekognition. Nếu hình ảnh đã được gắn nhãn, bạn có thể bắt đầu đào tạo một người mẫu chỉ trong vài cú nhấp chuột. Nếu không, bạn có thể gắn nhãn chúng trực tiếp trên bảng điều khiển Nhãn tùy chỉnh Rekognition hoặc sử dụng Sự thật về mặt đất của Amazon SageMaker để dán nhãn cho chúng. Rekognition Custom Labels sử dụng tính năng học chuyển để tự động kiểm tra dữ liệu đào tạo, chọn khung mô hình và thuật toán phù hợp, tối ưu hóa siêu tham số và đào tạo mô hình. Khi bạn hài lòng với độ chính xác của mô hình, bạn có thể bắt đầu lưu trữ mô hình được đào tạo chỉ với một cú nhấp chuột.

Hôm nay, chúng tôi vui mừng thông báo về việc ra mắt tính năng sao chép mô hình Nhãn tùy chỉnh Rekognition. Tính năng này cho phép bạn sao chép các mô hình Nhãn tùy chỉnh Rekognition của mình trên các dự án, có thể nằm trong cùng một tài khoản AWS hoặc trên các tài khoản AWS trong cùng Khu vực AWS mà không cần đào tạo lại các mô hình từ đầu. Khả năng mới này giúp bạn dễ dàng di chuyển các mô hình Nhãn tùy chỉnh Rekognition qua các môi trường khác nhau như phát triển, đảm bảo chất lượng, tích hợp và sản xuất mà không cần sao chép tập dữ liệu đào tạo và kiểm tra ban đầu cũng như đào tạo lại mô hình. Bạn có thể dùng Giao diện dòng lệnh AWS (AWS CLI) để sao chép các mô hình được đào tạo trong các dự án, có thể nằm trong cùng một tài khoản AWS hoặc trên các tài khoản AWS.

Trong bài đăng này, chúng tôi hướng dẫn bạn cách sao chép mô hình giữa các tài khoản AWS khác nhau trong cùng Khu vực AWS.

Lợi ích của tính năng sao chép mô hình

Tính năng mới này có những lợi ích sau:

  • Các phương pháp hay nhất về ML-Ops đa tài khoản - Bạn có thể đào tạo một mô hình một lần và đảm bảo triển khai có thể dự đoán được với kết quả nhất quán trên nhiều tài khoản được ánh xạ tới các môi trường khác nhau như phát triển, đảm bảo chất lượng, tích hợp và sản xuất cho phép bạn tuân theo các phương pháp hay nhất về ML-Ops trong tổ chức của mình.
  • Tiết kiệm chi phí và triển khai nhanh hơn - Bạn có thể nhanh chóng sao chép mô hình đã đào tạo giữa các tài khoản, tránh mất thời gian đào tạo lại ở mọi tài khoản và tiết kiệm chi phí đào tạo lại mô hình.
  • Bảo vệ tập dữ liệu nhạy cảm - Bạn không cần phải chia sẻ tập dữ liệu giữa các tài khoản AWS hoặc người dùng khác nhau. Dữ liệu đào tạo chỉ cần có sẵn trên tài khoản AWS nơi đào tạo mô hình được thực hiện. Điều này rất quan trọng đối với một số ngành nhất định, nơi mà việc cách ly dữ liệu là điều cần thiết để đáp ứng các yêu cầu kinh doanh hoặc quy định.
  • Cộng tác dễ dàng - Các đối tác hoặc nhà cung cấp hiện có thể dễ dàng đào tạo mô hình Nhãn tùy chỉnh của Amazon Rekognition trong tài khoản AWS của riêng họ và chia sẻ mô hình với người dùng trên các tài khoản AWS.
  • Hiệu suất phù hợp - Hiệu suất mô hình hiện nhất quán trên các tài khoản AWS khác nhau. Việc đào tạo mô hình nói chung là không xác định và hai mô hình được đào tạo với cùng một tập dữ liệu không đảm bảo điểm hiệu suất giống nhau và dự đoán giống nhau. Sao chép mô hình giúp đảm bảo rằng hành vi của mô hình được sao chép phù hợp với mô hình nguồn, loại bỏ nhu cầu kiểm tra lại mô hình.

Tổng quan về giải pháp

Sơ đồ sau minh họa kiến ​​trúc giải pháp của chúng tôi.

Bài đăng này giả định rằng bạn đã đào tạo mô hình Nhãn tùy chỉnh Rekognition trong tài khoản nguồn của mình. Để được hướng dẫn, hãy tham khảo Đào tạo mô hình phát hiện đối tượng lớp đơn tùy chỉnh với Nhãn tùy chỉnh của Amazon Rekognition. Trong bài đăng này, chúng tôi đã sử dụng dự án phân loại hình ảnh "Phòng" từ Nhãn tùy chỉnh nhận thức lại danh sách dự án mẫu và đào tạo mô hình phân loại phòng trong tài khoản nguồn để phân loại hình ảnh của nhà bếp, phòng tắm, phòng khách và hơn thế nữa.

Để chứng minh chức năng của tính năng sao chép mô hình, chúng tôi thực hiện các bước sau trong tài khoản nguồn:

  1. Khởi động mô hình và chạy các suy luận trên hình ảnh mẫu.
  2. Xác định chính sách dựa trên tài nguyên để cho phép truy cập nhiều tài khoản để sao chép mô hình Nhãn tùy chỉnh nhận lại.

Sau đó, chúng tôi sao chép mô hình nguồn vào tài khoản đích.

  1. tạo một Dịch vụ lưu trữ đơn giản của Amazon Bộ chứa (Amazon S3), đóng vai trò như một bộ chứa để đánh giá mô hình và thống kê hiệu suất.
  2. Tạo một dự án.
  3. Sao chép mô hình được đào tạo từ tài khoản nguồn sang tài khoản đích.
  4. Khởi động mô hình và chạy suy luận trên các hình ảnh mẫu.
  5. Xác minh kết quả suy luận khớp với kết quả của mô hình tài khoản nguồn.

Điều kiện tiên quyết

Ngoài việc có một mô hình được đào tạo trong tài khoản nguồn của bạn, hãy đảm bảo bạn hoàn thành các bước điều kiện tiên quyết sau:

  1. Cài đặt AWS CLI V2.
  2. Định cấu hình AWS CLI của bạn bằng mã sau và nhập Khu vực của bạn: 
    aws configure

  3. Chạy các lệnh sau để đảm bảo bạn đã cài đặt AWS CLI phiên bản 2.xx trên máy chủ cục bộ của mình: 
    aws --version

  4. Cập nhật tệp thông tin đăng nhập AWS trong $HOME/.aws/credentials với mục sau: 
    [source-account]
aws_access_key_id = ####
aws_secret_access_key = #######

[target-account]
aws_access_key_id = ####
aws_secret_access_key = #######

  5. Nhận được ProjectArn và ProjectVersionArn cho tài khoản AWS nguồn.ProjectArn là dự án được liên kết với mô hình nguồn của bạn. ProjectVersionArn là phiên bản của mô hình mà bạn muốn sao chép vào tài khoản đích. Bạn có thể tìm thấy SourceProjectArn sử dụng lệnh sau: 
    aws rekognition describe-projects 
--region us-east-1 
--profile source-account

{
    "ProjectDescriptions": [{
        "ProjectArn": "arn:aws:rekognition:us-east-1::111111111111:project/rooms_1/1657588855531",
        .
        .
    }]
}

    Nếu bạn thấy nhiều dòng đầu ra, hãy chọn ProjectArn liên kết với mô hình bạn sẽ sao chép.

    Bạn có thể tìm thấy SourceProjectVersionArn cho mô hình bạn đã đào tạo bằng cách sử dụng SourceProjectArn (đầu ra trước đó). Thay thế cái SourceProjectArn trong lệnh sau:

    aws rekognition describe-project-versions 
--project-arn SourceProjectArn 
--region us-east-1 
--profile source-account

    Lệnh trả về SourceProjectVersionArn. Nếu bạn thấy nhiều dòng đầu ra, hãy chọn ProjectVersionArn lãi.

    {
    "ProjectVersionDescriptions": [
        {
            "ProjectVersionArn": "arn:aws:rekognition:us-east-1:111111111111:project/rooms_1/version/rooms_1.2022-07-12T09.39.36/1657643976475",
            .
            .
        }
    ]
}

Bây giờ bạn đã sẵn sàng chạy các bước để triển khai giải pháp. Thay thế các giá trị của SourceProjectArn và SourceProjectVersionArn trong các lệnh sau với các giá trị bạn đã tạo.

1. Khởi động mô hình và chạy suy luận trên hình ảnh mẫu

Trong tài khoản nguồn, hãy nhập mã sau để bắt đầu mô hình:

aws rekognition start-project-version 
--project-version-arn SourceProjectVersionArn 
--min-inference-units 1 
--region us-east-1 
--profile source-account
{
    "Status": "STARTING"
}

Sau khi mô hình được lưu trữ và ở trạng thái đang chạy, bạn có thể chạy suy luận.

Chúng tôi đã sử dụng các hình ảnh sau (demo1.jpeg và demo2.jpeg) để chạy suy luận. Những hình ảnh này nằm trong hệ thống tệp cục bộ của chúng tôi trong cùng thư mục nơi các lệnh AWS CLI đang được chạy.

Hình ảnh sau đây là demo1.jpeg, cho thấy một sân sau.

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.

Xem mã suy luận và đầu ra sau:

aws rekognition detect-custom-labels 
--project-version-arn SourceProjectVersionArn   
--image-bytes fileb://demo1.jpeg 
--region us-east-1 
--profile source-account
{
    "Name": "backyard",
    "Confidence": 45.77000045776367
 }

Hình ảnh sau đây là demo2.jpeg, cho thấy một phòng ngủ.

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.

Xem mã suy luận và đầu ra sau:

aws rekognition detect-custom-labels 
--project-version-arn SourceProjectVersionArn   
--image-bytes fileb://demo2.jpeg 
--region us-east-1 
--profile source-account
{
    "Name": "bedroom",
    "Confidence": 61.84600067138672
 }

Kết quả suy luận cho thấy hình ảnh thuộc về các lớp backyard và bedroom, với điểm tin cậy lần lượt là 45.77 và 61.84.

2. Xác định chính sách tài nguyên IAM cho mô hình được đào tạo để cho phép truy cập nhiều tài khoản

Để tạo chính sách IAM dựa trên tài nguyên của bạn, hãy hoàn thành các bước sau trong tài khoản nguồn:

  1. Cho phép tài khoản AWS cụ thể của bạn truy cập tài nguyên bằng chính sách tài nguyên IAM được cung cấp (để biết thêm thông tin, hãy tham khảo Tạo tài liệu chính sách dự án. Thay thế các giá trị cho TargetAWSAccountId và SourceProjectVersionArn trong chính sách sau: 
    {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Principal": {
                "AWS": [ "TargetAWSAccountId" ]
            },
            "Action": "Rekognition:CopyProjectVersion",
            "Resource": "SourceProjectVersionArn",
            "Effect": "Allow"
        }
    ]
}

  2. Đính kèm chính sách vào dự án trong tài khoản nguồn bằng cách gọi lệnh sau. 
    aws rekognition put-project-policy 
--project-arn SourceProjectArn 
--policy-name PolicyName 
--policy-document '{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Principal": {
                "AWS": [ "TargetAWSAccountId" ]
            },
            "Action": "Rekognition:CopyProjectVersion",
            "Resource": "SourceProjectVersionArn",
            "Effect": "Allow"
        }
    ]
}' 
--region us-east-1 
--profile source-account

    Thay thế SourceProjectArn, PolicyName, TargetAWSAccountIdvà SourceProjectVersionArn.

    Kết quả hiển thị ID sửa đổi chính sách đã tạo:

    {
    "PolicyRevisionId": "f95907f9c1472c114f61b0e1f31ed131"
}

Bây giờ chúng tôi đã sẵn sàng sao chép mô hình được đào tạo từ tài khoản nguồn sang tài khoản đích.

3. Tạo nhóm S3 trong tài khoản đích

Bạn có thể sử dụng nhóm S3 hiện có trong tài khoản của mình hoặc tạo một nhóm S3 mới. Đối với bài đăng này, chúng tôi gọi đây là nhóm S3 DestinationS3Bucket.

4. Tạo dự án Nhãn tùy chỉnh Rekognition mới

Tạo một dự án mới với mã sau:

aws rekognition create-project 
--project-name target_rooms_1 
--region us-east-1 
--profile target-account

Điều này tạo ra một TargetProjectArn trong tài khoản đích:

{
    "ProjectArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/1657599660206"
}

Lưu ý giá trị của dự án đích ProjectArn đồng ruộng. Chúng tôi sử dụng giá trị này trong lệnh mô hình sao chép sau đây.

5. Sao chép mô hình từ tài khoản nguồn sang tài khoản đích

Cung cấp nguồn và đích ProjectArn, nguồn ProjectVersionArnvà nhắm mục tiêu nhóm S3 và tiền tố khóa S3 trong mã sau:

aws rekognition copy-project-version 
--source-project-arn SourceProjectArn 
--source-project-version-arn SourceProjectVersionArn 
--destination-project-arn TargetProjectArn 
--version-name TargetVersionName 
--output-config '{"S3Bucket":"DestinationS3Bucket", "S3KeyPrefix":"DestinationS3BucketPrefix"}' 
--region us-east-1 
--profile target-account

Điều này tạo ra một mô hình được sao chép TargetProjectVersionArn trong tài khoản đích. Các TargetVersionName trong trường hợp của chúng tôi đã được đặt tên copy_rooms_1:

{
    "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079"
}

Kiểm tra trạng thái của quá trình sao chép mô hình:

aws rekognition describe-project-versions 
--project-arn TargetProjectArn 
--version-names TargetVersionName 
--region us-east-1 
--profile target-account

Bản sao mô hình từ tài khoản nguồn sang tài khoản đích hoàn tất khi Status thay đổi COPYING_COMPLETED:

 {
    "ProjectVersionDescriptions": [
        {
            "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079",
            "CreationTimestamp": "2022-07-12T16:17:57.079000-07:00",
            "Status": "COPYING_COMPLETED",
            "StatusMessage": "Model copy operation was successful",
            ..........
            ..........
            "EvaluationResult": {
                "F1Score": 0.0,
                "Summary": {

6. Khởi động mô hình và chạy suy luận

Nhập mã sau để bắt đầu mô hình trong tài khoản đích:

aws rekognition start-project-version 
--project-version-arn TargetProjectArn 
--min-inference-units 1 
--region us-east-1 
--profile target-account
{
    "Status": "STARTING"
}

Kiểm tra trạng thái của mô hình:

aws rekognition describe-project-versions 
--project-arn TargetProjectArn 
--version-names copy_rooms_1 
--region us-east-1 
--profile target-account

Mô hình hiện đã được lưu trữ và đang chạy:

{
    "ProjectVersionDescriptions": [
        {
            "ProjectVersionArn": "arn:aws:rekognition:us-east-1:222222222222:project/target_rooms_1/version/copy_rooms_1/1657667877079",
            "CreationTimestamp": "2022-07-12T16:17:57.079000-07:00",
            "MinInferenceUnits": 1,
            "Status": "RUNNING",
            "StatusMessage": "The model is running.",
            ..........
            ..........
        }
    ]
}

Chạy suy luận với mã sau:

aws rekognition detect-custom-labels 
 --project-version-arn TargetProjectVersionArn 
 --image-bytes fileb://demo1.jpeg 
 --region us-east-1 
 --profile target-account
{
    "Name": "backyard",
    "Confidence": 45.77000045776367
 }
aws rekognition detect-custom-labels 
 --project-version-arn TargetProjectVersionArn 
 --image-bytes fileb://demo2.jpeg 
 --region us-east-1 
 --profile target-account
{
    "Name": "bedroom",
    "Confidence": 61.84600067138672

7. Xác minh kết quả suy luận phù hợp

Các lớp và điểm tin cậy cho hình ảnh demo1.jpg và demo2.jpg trong tài khoản đích phải khớp với kết quả trong tài khoản nguồn.

Kết luận

Trong bài đăng này, chúng tôi đã trình bày tính năng sao chép mô hình Nhãn tùy chỉnh Rekognition. Tính năng này cho phép bạn đào tạo mô hình phân loại hoặc phát hiện đối tượng trong một tài khoản và sau đó chia sẻ mô hình với tài khoản khác trong cùng Khu vực. Điều này đơn giản hóa chiến lược nhiều tài khoản trong đó mô hình có thể được đào tạo một lần và được chia sẻ giữa các tài khoản trong cùng một Khu vực mà không cần phải đào tạo lại hoặc chia sẻ bộ dữ liệu đào tạo. Điều này cho phép triển khai có thể dự đoán được trong mọi tài khoản như một phần của quy trình làm việc MLOps của bạn. Để biết thêm thông tin, hãy tham khảo Sao chép mô hình Nhãn tùy chỉnh Rekognition của Amazonhoặc thử hướng dẫn trong bài đăng này bằng cách sử dụng cloud shell với AWS CLI.

Kể từ khi viết bài này, tính năng sao chép mô hình trong Amazon Rekognition Custom Labels khả dụng ở các Khu vực sau:

  • Đông Mỹ (Ohio)
  • Đông Mỹ (N. Virginia)
  • Tây Mỹ (Oregon)
  • Châu Á Thái Bình Dương (Mumbai)
  • Châu Á Thái Bình Dương (Seoul)
  • Châu Á Thái Bình Dương (Singapore)
  • Châu Á Thái Bình Dương (Sydney)
  • Châu Á Thái Bình Dương (Tokyo)
  • EU (Frankfurt)
  • EU (Ailen)
  • EU (Luân Đôn)

Hãy dùng thử tính năng này và vui lòng gửi phản hồi cho chúng tôi qua Diễn đàn AWS cho Amazon Rekognition hoặc thông qua các địa chỉ liên hệ hỗ trợ AWS của bạn.

Giới thiệu về tác giả

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.Amit Gupta là Kiến trúc sư Giải pháp Dịch vụ AI cấp cao tại AWS. Anh ấy đam mê tạo điều kiện cho khách hàng có các giải pháp máy học được kiến ​​trúc tốt trên quy mô lớn.

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.Yogesh Chaturvedi là Kiến trúc sư Giải pháp tại AWS với trọng tâm là tầm nhìn máy tính. Anh ấy làm việc với khách hàng để giải quyết các thách thức kinh doanh của họ bằng cách sử dụng công nghệ đám mây. Ngoài công việc, anh ấy thích đi bộ đường dài, đi du lịch và xem thể thao.

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.Aakash sâu là Kỹ sư phần mềm cao cấp với AWS. Anh ấy thích làm việc về thị giác máy tính, AI và các hệ thống phân tán. Ngoài công việc, anh ấy thích đi bộ đường dài và đi du lịch.

Thông báo ra mắt tính năng sao chép mô hình cho Amazon Rekognition Custom Labels PlatoBlockchain Data Intelligence. Tìm kiếm dọc. Ái.Pashmeen là Giám đốc sản phẩm cấp cao cho các Nhãn tùy chỉnh Rekognition của Amazon. Ngoài công việc, Pashmeen thích đi bộ đường dài mạo hiểm, chụp ảnh và dành thời gian cho gia đình.

Dấu thời gian:

Thêm từ Học máy AWS