Kiểm tra nhãn dữ liệu của bạn bằng công cụ trực quan, không cần mã để tạo bộ dữ liệu đào tạo chất lượng cao với Amazon SageMaker Ground Truth Plus

Ra mắt tại AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus giúp bạn tạo tập dữ liệu đào tạo chất lượng cao bằng cách loại bỏ công việc nặng nhọc không phân biệt liên quan đến việc xây dựng các ứng dụng ghi nhãn dữ liệu và quản lý lực lượng lao động ghi nhãn. Tất cả những gì bạn làm là chia sẻ dữ liệu cùng với các yêu cầu ghi nhãn và Ground Truth Plus sẽ thiết lập và quản lý quy trình ghi nhãn dữ liệu của bạn dựa trên các yêu cầu này. Từ đó, một lực lượng chuyên gia được đào tạo về nhiều nhiệm vụ học máy (ML) sẽ thực hiện ghi nhãn dữ liệu. Bạn thậm chí không cần có chuyên môn sâu về ML hoặc kiến ​​thức về thiết kế quy trình làm việc và quản lý chất lượng để sử dụng Ground Truth Plus.

Xây dựng tập dữ liệu đào tạo chất lượng cao cho thuật toán ML của bạn là một quá trình lặp đi lặp lại. Những người thực hành ML thường xây dựng các hệ thống tùy chỉnh để kiểm tra nhãn dữ liệu vì dữ liệu được gắn nhãn chính xác rất quan trọng đối với chất lượng của mô hình ML. Để đảm bảo bạn nhận được dữ liệu đào tạo chất lượng cao, Ground Truth Plus cung cấp cho bạn giao diện người dùng tích hợp sẵn (Review UI) để kiểm tra chất lượng của nhãn dữ liệu và cung cấp phản hồi về nhãn dữ liệu cho đến khi bạn hài lòng rằng nhãn thể hiện chính xác dữ liệu sự thật cơ bản, hoặc những gì có thể quan sát trực tiếp trong thế giới thực.

Bài đăng này hướng dẫn bạn các bước để tạo nhóm dự án và sử dụng một số tính năng tích hợp mới của công cụ Giao diện người dùng đánh giá để hoàn thành việc kiểm tra tập dữ liệu được gắn nhãn của bạn một cách hiệu quả. Hướng dẫn này giả định rằng bạn có một dự án ghi nhãn Ground Truth Plus đang hoạt động. Để biết thêm thông tin, xem Amazon SageMaker Ground Truth Plus – Tạo bộ dữ liệu đào tạo mà không cần mã hoặc tài nguyên nội bộ.

Thành lập nhóm dự án

Nhóm dự án cung cấp quyền truy cập cho các thành viên trong tổ chức của bạn để kiểm tra nhãn dữ liệu bằng công cụ Đánh giá giao diện người dùng. Để thiết lập một nhóm dự án, hãy hoàn thành các bước sau:

1. Trên mặt đất Truth Plus giao diện điều khiển, chọn Tạo nhóm dự án.
2. Chọn Tạo nhóm người dùng Amazon Cognito mới . Nếu bạn đã có sẵn Nhận thức về Amazon nhóm người dùng, chọn Nhập thành viên tùy chọn.
3. Trong Tên nhóm người dùng Amazon Cognito, nhập tên. Tên này không thể thay đổi.
4. Trong Địa chỉ email, hãy nhập địa chỉ email của tối đa 50 thành viên trong nhóm, được phân tách bằng dấu phẩy.
5. Chọn Tạo nhóm dự án.

Các thành viên trong nhóm của bạn sẽ nhận được email mời họ tham gia nhóm dự án Ground Truth Plus. Từ đó, họ có thể đăng nhập vào cổng dự án Ground Truth Plus để xem xét các nhãn dữ liệu.

Kiểm tra chất lượng tập dữ liệu được dán nhãn

Bây giờ, hãy đi sâu vào ví dụ theo dõi đối tượng video bằng cách sử dụng Cảnh Đường Phố CBCL tập dữ liệu.

Sau khi dữ liệu trong lô của bạn đã được dán nhãn, lô đó được đánh dấu là Sẵn sàng để xem xét.

Chọn lô và chọn Đánh giá hàng loạt. Bạn được chuyển hướng đến Giao diện người dùng đánh giá. Bạn có thể linh hoạt chọn tỷ lệ lấy mẫu khác nhau cho từng lô mà bạn xem xét. Chẳng hạn, trong lô ví dụ của chúng tôi, chúng tôi có tổng cộng năm video. Bạn có thể chỉ định xem bạn chỉ muốn xem lại một tập hợp con của năm video này hay tất cả chúng.

Bây giờ, hãy xem các chức năng khác nhau trong Giao diện người dùng đánh giá sẽ giúp bạn kiểm tra chất lượng của tập dữ liệu được gắn nhãn với tốc độ nhanh hơn và cung cấp phản hồi về chất lượng:

• Lọc nhãn dựa trên danh mục nhãn – Trong Giao diện người dùng đánh giá, ở ngăn bên phải, bạn có thể lọc các nhãn dựa trên danh mục nhãn của chúng. Tính năng này rất hữu ích khi có nhiều danh mục nhãn (ví dụ: Vehicles, Pedestriansvà Poles) trong đối tượng tập dữ liệu dày đặc và bạn muốn xem nhãn cho một loại nhãn tại một thời điểm. Ví dụ, hãy tập trung vào Car danh mục nhãn. nhập Car danh mục nhãn trong ngăn bên phải để lọc tất cả các chú thích thuộc loại duy nhất Car. Các ảnh chụp màn hình sau đây hiển thị chế độ xem Đánh giá giao diện người dùng trước và sau khi áp dụng bộ lọc.
  
• Lớp phủ các giá trị thuộc tính được chú thích liên kết – Mỗi nhãn có thể được gán thuộc tính để chú thích. Ví dụ: đối với danh mục nhãn Car , giả sử bạn muốn yêu cầu nhân viên cũng chú thích Color  và Occlusion thuộc tính cho mỗi trường hợp nhãn. Khi bạn tải Giao diện người dùng đánh giá, bạn sẽ thấy các thuộc tính tương ứng bên dưới mỗi phiên bản nhãn ở ngăn bên phải. Nhưng nếu bạn muốn xem các chú thích thuộc tính này trực tiếp trên hình ảnh thì sao? Bạn chọn nhãn Car:1 và để phủ lên các chú thích thuộc tính cho Car:1 , bạn nhấn Ctrl + A.
  Bây giờ bạn sẽ thấy chú thích Dark Blue cho Color thuộc tính và chú thích None cho Occlusion thuộc tính được hiển thị trực tiếp trên hình ảnh bên cạnh Car:1 hộp giới hạn. Bây giờ bạn có thể dễ dàng xác minh rằng Car:1 được đánh dấu là Dark Blue, không có tắc nghẽn chỉ bằng cách nhìn vào hình ảnh thay vì phải xác định vị trí Car:1 trên khung bên phải để xem các chú thích thuộc tính.
  
• Để lại phản hồi ở cấp nhãn – Đối với mỗi nhãn, bạn có thể để lại phản hồi ở cấp độ nhãn trong nhãn đó phản hồi nhãn thuộc tính chuỗi miễn phí. Ví dụ, trong hình ảnh này, Car:1 trông đen hơn xanh đậm. Bạn có thể chuyển tiếp sự khác biệt này dưới dạng phản hồi cho Car:1 bằng cách sử dụng phản hồi nhãn trường để theo dõi nhận xét cho nhãn đó trên khung đó. Nhóm kiểm soát chất lượng nội bộ của chúng tôi sẽ xem xét phản hồi này và đưa ra các thay đổi đối với quy trình chú thích và chính sách nhãn, đồng thời đào tạo người chú thích theo yêu cầu.
  
• Để lại phản hồi ở cấp độ khung hình – Tương tự, đối với từng khung hình, bạn có thể để lại phản hồi ở cấp độ khung hình dưới biểu tượng của khung hình đó phản hồi khung hình thuộc tính chuỗi miễn phí. Trong trường hợp này, các chú thích cho Car và Pedestrian các lớp trông chính xác và được triển khai tốt trong khung này. Bạn có thể chuyển tiếp phản hồi tích cực này bằng cách sử dụng Cung cấp phản hồi và nhận xét của bạn được liên kết với khung này.
  
• Sao chép phản hồi chú thích sang các khung khác – Bạn có thể sao chép cả phản hồi ở cấp nhãn và cấp khung sang các khung khác nếu bạn bấm chuột phải vào thuộc tính đó. Tính năng này hữu ích khi bạn muốn sao chép cùng một phản hồi trên các khung cho nhãn đó hoặc áp dụng cùng một phản hồi ở cấp khung cho một số khung. Tính năng này cho phép bạn nhanh chóng hoàn thành việc kiểm tra nhãn dữ liệu.
  
• Phê duyệt hoặc từ chối từng đối tượng tập dữ liệu – Đối với mỗi đối tượng tập dữ liệu bạn xem xét, bạn có tùy chọn để chọn Phê duyệt nếu bạn hài lòng với các chú thích hoặc chọn Từ chối nếu bạn không hài lòng và muốn làm lại những chú thích đó. Khi bạn chọn Gửi, bạn sẽ thấy tùy chọn phê duyệt hoặc từ chối video bạn vừa xem xét. Trong cả hai trường hợp, bạn có thể cung cấp bình luận bổ sung:
  • Nếu bạn chọn Phê duyệt, bình luận là tùy chọn.
    
  • Nếu bạn chọn Từ chối, bình luận là bắt buộc và chúng tôi khuyên bạn nên cung cấp phản hồi chi tiết. Phản hồi của bạn sẽ được xem xét bởi nhóm kiểm soát chất lượng chuyên dụng của Ground Truth Plus, họ sẽ thực hiện các hành động khắc phục để tránh những lỗi tương tự trong các video tiếp theo.
    

Sau khi bạn gửi video cùng với phản hồi của mình, bạn sẽ được chuyển hướng trở lại trang chi tiết dự án trong cổng thông tin dự án, nơi bạn có thể xem số lượng đối tượng bị từ chối trong phần Đối tượng bị từ chối cột và tỷ lệ lỗi, được tính bằng số lượng đối tượng được chấp nhận trong số các đối tượng được xem xét theo Tỷ lệ chấp nhận cột cho mỗi lô trong dự án của bạn. Ví dụ: đối với lô 1 trong ảnh chụp màn hình sau, tỷ lệ chấp nhận là 80% vì bốn đối tượng được chấp nhận trong số năm đối tượng được xem xét.

Kết luận

Tập dữ liệu đào tạo chất lượng cao rất quan trọng để đạt được các sáng kiến ​​ML của bạn. Với Ground Truth Plus, giờ đây bạn có một công cụ Giao diện người dùng đánh giá tích hợp nâng cao giúp loại bỏ công việc nặng nhọc không phân biệt liên quan đến việc xây dựng các công cụ tùy chỉnh để đánh giá chất lượng của tập dữ liệu được gắn nhãn. Bài đăng này hướng dẫn bạn cách thiết lập nhóm dự án và sử dụng các tính năng tích hợp mới của công cụ Đánh giá giao diện người dùng. Tham quan Bảng điều khiển Ground Truth Plus để bắt đầu.

Như mọi khi, AWS hoan nghênh phản hồi. Xin vui lòng gửi bất kỳ ý kiến ​​hoặc câu hỏi.

Lưu ý

Manish Goel là Giám đốc sản phẩm cho Amazon SageMaker Ground Truth Plus. Anh tập trung vào việc xây dựng các sản phẩm giúp khách hàng dễ dàng tiếp nhận máy học hơn. Khi rảnh rỗi, anh ấy thích đi du lịch và đọc sách.

Revekka Kostoeva là Kỹ sư phát triển phần mềm tại Amazon AWS, nơi cô ấy làm việc về các giải pháp nội bộ và hướng tới khách hàng để mở rộng phạm vi và khả năng mở rộng của các dịch vụ Sagemaker Ground Truth. Là một nhà nghiên cứu, cô ấy được thúc đẩy cải tiến các công cụ thương mại để thúc đẩy sự đổi mới.

• Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. TRUY CẬP MIỄN PHÍ.
• CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
• Nguồn: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/