Truy cập dữ liệu cấp sản xuất nhanh hơn bằng cách sử dụng các giao diện tích hợp mới với Amazon SageMaker Ground Truth Plus

Ra mắt tại AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus giúp bạn tạo tập dữ liệu đào tạo chất lượng cao bằng cách loại bỏ công việc nặng nhọc không phân biệt liên quan đến việc xây dựng các ứng dụng ghi nhãn dữ liệu và quản lý lực lượng lao động ghi nhãn. Tất cả những gì bạn làm là chia sẻ dữ liệu cùng với các yêu cầu ghi nhãn và Ground Truth Plus sẽ thiết lập và quản lý quy trình ghi nhãn dữ liệu của bạn dựa trên các yêu cầu này. Từ đó, một lực lượng chuyên gia được đào tạo về nhiều nhiệm vụ máy học (ML) sẽ gắn nhãn dữ liệu của bạn. Bạn thậm chí không cần có chuyên môn sâu về ML hoặc kiến ​​thức về thiết kế quy trình làm việc và quản lý chất lượng để sử dụng Ground Truth Plus.

Hôm nay, chúng tôi rất vui mừng thông báo về việc ra mắt các giao diện tích hợp mới trên Ground Truth Plus. Với khả năng mới này, giờ đây nhiều người dùng Ground Truth Plus có thể tạo một dự án và hàng loạt, chia sẻ dữ liệu và nhận dữ liệu bằng cùng một tài khoản AWS thông qua các giao diện tự phục vụ. Điều này cho phép bạn đẩy nhanh quá trình phát triển bộ dữ liệu đào tạo chất lượng cao bằng cách giảm thời gian thiết lập dự án. Ngoài ra, bạn có thể kiểm soát quyền truy cập chi tiết vào dữ liệu của mình bằng cách xác định phạm vi Quản lý truy cập và nhận dạng AWS (IAM) quyền vai trò để phù hợp với cấp cá nhân của bạn Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và bạn luôn có tùy chọn thu hồi quyền truy cập vào một số bộ chứa nhất định.

Cho đến bây giờ, bạn phải liên hệ với người quản lý chương trình vận hành Ground Truth Plus (OPM) để tạo nhãn dữ liệu mới dự án và lô. Quá trình này có một số hạn chế vì nó chỉ cho phép một người dùng yêu cầu một dự án và lô mới—nếu nhiều người dùng trong tổ chức đang sử dụng cùng một tài khoản AWS, thì chỉ một người dùng có thể yêu cầu một dự án và lô ghi nhãn dữ liệu mới bằng cách sử dụng Ground Truth Plus bảng điều khiển. Ngoài ra, quy trình này đã tạo ra sự chậm trễ giả tạo khi khởi động quy trình dán nhãn do có nhiều điểm tiếp xúc thủ công và cần phải khắc phục sự cố trong trường hợp có sự cố. Một cách riêng biệt, tất cả các dự án đều sử dụng cùng một vai trò IAM để truy cập dữ liệu. Do đó, để chạy các dự án và lô cần quyền truy cập vào các nguồn dữ liệu khác nhau, chẳng hạn như các bộ chứa Amazon S3 khác nhau, bạn phải dựa vào OPM của Ground Truth Plus để cung cấp các chính sách S3 cụ thể cho tài khoản của bạn mà bạn phải áp dụng thủ công cho các bộ chứa S3 của mình. Toàn bộ hoạt động này được thực hiện thủ công, dẫn đến chi phí hoạt động.

Bài đăng này hướng dẫn bạn các bước để tạo một dự án mới và hàng loạt, chia sẻ dữ liệu và nhận dữ liệu bằng cách sử dụng các giao diện tự phục vụ mới để bắt đầu quá trình ghi nhãn một cách hiệu quả. Bài đăng này giả định rằng bạn đã quen thuộc với Ground Truth Plus. Để biết thêm thông tin, xem Amazon SageMaker Ground Truth Plus – Tạo bộ dữ liệu đào tạo mà không cần mã hoặc tài nguyên nội bộ.

Tổng quan về giải pháp

Chúng tôi trình bày cách thực hiện như sau:

• Cập nhật các dự án hiện có
• Yêu cầu một dự án mới
• Thành lập nhóm dự án
• Tạo một lô

Điều kiện tiên quyết

Trước khi bắt đầu, hãy đảm bảo bạn có các điều kiện tiên quyết sau:

• An Tài khoản AWS
• Người dùng IAM có quyền truy cập để tạo vai trò IAM
• Sản phẩm URI Amazon S3 của thùng nơi các đối tượng ghi nhãn của bạn được lưu trữ

Cập nhật các dự án hiện có

Nếu bạn có dự án Ground Truth Plus trước khi ra mắt (ngày 9 tháng 2022 năm XNUMX) của các tính năng mới được mô tả trong bài đăng này, thì bạn cần tạo và chia sẻ vai trò IAM để bạn có thể sử dụng các tính năng này với dự án Ground Truth Plus hiện tại của mình . Nếu bạn là người dùng mới của Ground Truth Plus, bạn có thể bỏ qua phần này.

Để tạo vai trò IAM, hãy hoàn tất các bước sau:

1. Trên bảng điều khiển IAM, chọn Tạo vai trò.
2. Chọn Chính sách ủy thác tùy chỉnh.
3. Chỉ định mối quan hệ tin cậy sau cho vai trò:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Chọn Sau.
5. Chọn Tạo chính sách.
6. Trên tab JSON, chỉ định chính sách sau. Cập nhật thuộc tính Tài nguyên bằng cách chỉ định hai mục nhập cho mỗi nhóm: một mục nhập chỉ với ARN của nhóm và một mục nhập khác với ARN nhóm, theo sau là /*. Ví dụ, thay thế với arn:aws:s3:::my-bucket/myprefix/ và /* với arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Chọn Tiếp theo: Thẻ và Tiếp theo: Đánh giá.
8. Nhập tên của chính sách và mô tả tùy chọn.
9. Chọn Tạo chính sách.
10. Đóng tab này và quay lại tab trước đó để tạo vai trò của bạn.

Trên tab Thêm quyền, bạn sẽ thấy chính sách mới mà mình đã tạo (hãy làm mới trang nếu bạn không thấy).

11. Chọn chính sách vừa tạo và chọn Sau.
12. Nhập tên (ví dụ: GTPlusExecutionRole) và tùy ý mô tả vai trò.
13. Chọn Tạo vai trò.
14. Cung cấp vai trò ARN cho OPM Ground Truth Plus của bạn, người sau đó sẽ cập nhật dự án hiện có của bạn với vai trò mới được tạo này.

Yêu cầu một dự án mới

Để yêu cầu một dự án mới, hãy hoàn thành các bước sau:

1. trên Bảng điều khiển Ground Truth Plus, điều hướng đến Dự án phần.

Đây là nơi tất cả các dự án của bạn được liệt kê.

2. Chọn yêu cầu dự án.

Sản phẩm yêu cầu dự án trang này là cơ hội để bạn cung cấp thông tin chi tiết giúp chúng tôi lên lịch cuộc gọi tư vấn ban đầu và thiết lập dự án của bạn.

3. Ngoài việc chỉ định thông tin chung như tên và mô tả dự án, bạn phải chỉ định loại nhiệm vụ của dự án và liệu nó có chứa thông tin nhận dạng cá nhân (PII) hay không.

Để gắn nhãn dữ liệu của bạn, Ground Truth Plus cần quyền truy cập tạm thời vào dữ liệu thô của bạn trong bộ chứa S3. Khi quá trình ghi nhãn hoàn tất, Ground Truth Plus sẽ chuyển đầu ra ghi nhãn trở lại bộ chứa S3 của bạn. Điều này được thực hiện thông qua vai trò IAM. Bạn có thể tạo vai trò mới hoặc có thể điều hướng đến bảng điều khiển IAM để tạo vai trò mới (tham khảo phần trước để biết hướng dẫn).

4. Nếu bạn chọn tạo vai trò, hãy chọn Nhập vai trò IAM tùy chỉnh ARN và nhập ARN vai trò IAM của bạn, có định dạng là arn:aws:iam:::role/.
5. Để sử dụng công cụ tích hợp, trên menu thả xuống bên dưới Vai trò IAM, chọn Tạo một vai trò mới.
6. Chỉ định vị trí bộ chứa của dữ liệu ghi nhãn của bạn. Nếu bạn không biết vị trí của dữ liệu ghi nhãn của mình hoặc nếu bạn không tải lên bất kỳ dữ liệu ghi nhãn nào, hãy chọn Bất kỳ nhóm S3 nào, sẽ cấp cho Ground Truth Plus quyền truy cập vào tất cả các vùng chứa trong tài khoản của bạn.
7. Chọn Tạo để tạo vai diễn.

Vai trò IAM của bạn sẽ cho phép Ground Truth Plus, được xác định là sagemaker-ground-truth-plus.amazonaws.com trong vai trò của chính sách ủy thác, để chạy các tác vụ sau trên bộ chứa S3 của bạn:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Chọn yêu cầu dự án để hoàn thành yêu cầu.

OPM của Ground Truth Plus sẽ sắp xếp một cuộc gọi tư vấn ban đầu với bạn để thảo luận về các yêu cầu và giá cả của dự án ghi nhãn dữ liệu của bạn.

Thành lập nhóm dự án

Sau khi bạn yêu cầu một dự án, bạn cần tạo một nhóm dự án để đăng nhập vào cổng thông tin dự án của mình. Nhóm dự án cung cấp quyền truy cập cho các thành viên từ tổ chức hoặc nhóm của bạn để theo dõi dự án, xem số liệu và đánh giá nhãn. Bạn có thể sử dụng tùy chọn Mời thành viên mới qua email or Nhập thành viên từ hiện có Nhận thức về Amazon Các nhóm người sử dụng. Trong bài đăng này, chúng tôi trình bày cách nhập thành viên từ các thành viên hiện có Nhận thức về Amazon nhóm người dùng để thêm người dùng vào nhóm dự án của bạn.

1. trên Bảng điều khiển Ground Truth Plus, điều hướng đến Nhóm dự án phần.
2. Chọn Tạo nhóm dự án.
3. Chọn Nhập thành viên từ các nhóm người dùng Amazon Cognito hiện có.
4. Chọn nhóm người dùng Amazon Cognito.

Nhóm người dùng yêu cầu một miền và một nhóm người dùng hiện có.

5. Chọn một ứng dụng khách.

Chúng tôi khuyên bạn nên sử dụng ứng dụng khách được tạo bởi Amazon SageMaker.

6. Chọn một nhóm người dùng từ nhóm của bạn để nhập thành viên.
7. Chọn Tạo nhóm dự án.
   

Bạn có thể thêm nhiều thành viên nhóm hơn sau khi tạo nhóm dự án bằng cách chọn Mời thành viên mới trên Các thành viên trang của bảng điều khiển Ground Truth Plus.

Tạo một lô

Sau khi bạn đã gửi thành công yêu cầu dự án và tạo nhóm dự án, bạn có thể truy cập cổng thông tin dự án Ground Truth Plus bằng cách nhấp vào Mở cổng thông tin dự án trên bảng điều khiển Ground Truth Plus.

Bạn có thể sử dụng cổng thông tin dự án để tạo lô cho một dự án, nhưng chỉ sau khi trạng thái của dự án đã thay đổi thành Request approved.

1. Xem chi tiết và lô của dự án bằng cách chọn tên dự án.
   Một trang có tiêu đề với tên dự án sẽ mở ra.
2. Trong tạp chí Hàng loạt phần, chọn Tạo lô.
   
3. Nhập tên lô và mô tả tùy chọn.
4. Nhập vị trí S3 của bộ dữ liệu đầu vào và đầu ra.

Để đảm bảo lô được tạo thành công, bạn phải đáp ứng các yêu cầu sau:

4. • Bộ chứa S3 và tiền tố phải tồn tại và tổng số tệp phải lớn hơn 0
   • Tổng số đối tượng phải nhỏ hơn 10,000
   • Kích thước của mỗi đối tượng phải nhỏ hơn 2 GB
   • Tổng kích thước của tất cả các đối tượng kết hợp nhỏ hơn 100 GB
   • Vai trò IAM được cung cấp để tạo dự án có quyền truy cập vào bộ chứa đầu vào, bộ chứa đầu ra và các tệp S3 được dùng để tạo lô
   • Các tệp trong vị trí S3 được cung cấp cho bộ dữ liệu đầu vào không được mã hóa bởi Dịch vụ quản lý khóa AWS (AWS KMS)
5. Chọn Gửi.

Trạng thái lô của bạn sẽ hiển thị dưới dạng Request submitted. Sau khi Ground Truth Plus có quyền truy cập tạm thời vào dữ liệu của bạn, các chuyên gia AWS sẽ thiết lập quy trình ghi nhãn dữ liệu và vận hành chúng thay mặt bạn, điều này sẽ thay đổi trạng thái lô thành In-progress. Khi việc dán nhãn hoàn tất, trạng thái lô sẽ thay đổi từ In-progress đến Ready for review. Nếu bạn muốn xem lại nhãn của mình trước khi nhận nhãn, hãy chọn Đánh giá hàng loạt. Từ đó, bạn có một tùy chọn để lựa chọn Chấp nhận hàng loạt để nhận dữ liệu được dán nhãn của bạn.

Kết luận

Bài đăng này cho bạn thấy số lượng người dùng Ground Truth Plus hiện có thể tạo dự án mới và hàng loạt, chia sẻ dữ liệu và nhận dữ liệu bằng cùng một tài khoản AWS thông qua các giao diện tự phục vụ mới. Khả năng mới này cho phép bạn bắt đầu các dự án ghi nhãn của mình nhanh hơn và giảm chi phí hoạt động. Chúng tôi cũng đã trình bày cách bạn có thể kiểm soát quyền truy cập chi tiết vào dữ liệu bằng cách xác định phạm vi các quyền của vai trò IAM để phù hợp với cấp độ truy cập cá nhân của bạn.

Chúng tôi khuyến khích bạn dùng thử chức năng mới này và kết nối với Cộng đồng Machine Learning & AI nếu bạn có bất kỳ câu hỏi hoặc phản hồi!

Giới thiệu về tác giả

Manish Goel là Giám đốc sản phẩm cho Amazon SageMaker Ground Truth Plus. Anh tập trung vào việc xây dựng các sản phẩm giúp khách hàng dễ dàng tiếp nhận máy học hơn. Khi rảnh rỗi, anh ấy thích đi du lịch và đọc sách.

Karthik Ganduri là Kỹ sư phát triển phần mềm tại Amazon AWS, nơi anh làm việc về xây dựng các công cụ ML cho khách hàng và các giải pháp nội bộ. Ngoài công việc, anh ấy thích bấm vào hình ảnh.  

Chu Lăng Bạch là Kỹ sư phát triển phần mềm tại Amazon AWS. Cô làm việc về phát triển các hệ thống phân tán quy mô lớn để giải quyết các vấn đề về học máy.

Aatef Baransy là kỹ sư Frontend tại Amazon AWS. Anh ấy viết phần mềm nhanh, đáng tin cậy và đã được kiểm tra kỹ lưỡng để nuôi dưỡng và phát triển các ứng dụng AI tiên tiến nhất trong ngành.

Mohamad Adnan là Kỹ sư cao cấp về AI và ML tại AWS. Anh ấy đã tham gia nhiều lần ra mắt dịch vụ AWS, đặc biệt là Amazon Lookout for Metrics và AWS Panorama. Hiện tại, anh ấy đang tập trung vào các dịch vụ con người trong vòng lặp của AWS (Sự thật nền tảng của AWS SageMaker, Sự thật nền tảng cộng với và Trí tuệ nhân tạo tăng cường). Anh ấy là người ủng hộ mã sạch và là chuyên gia về chủ đề kiến ​​trúc hướng sự kiện và không có máy chủ. Bạn có thể theo dõi anh ấy trên LinkedIn, mohammad-adnan-6a99a829.