Amazon Rekognition Labels thêm 600 nhãn mới, bao gồm cả các mốc và hiện có thể phát hiện các màu chủ đạo

Nhận thức lại Amazon cung cấp khả năng thị giác máy tính được đào tạo trước và có thể tùy chỉnh để trích xuất thông tin và thông tin chi tiết từ hình ảnh và video. Một khả năng như vậy là Amazon Rekognition Nhãn, giúp phát hiện các đối tượng, cảnh, hành động và khái niệm trong hình ảnh. Các khách hàng như Synchronoss, Shutterstockvà Nomad Media sử dụng Amazon Rekognition Labels để tự động thêm siêu dữ liệu vào thư viện nội dung của họ và bật kết quả tìm kiếm dựa trên nội dung. TripleLift sử dụng Amazon Rekognition Labels để xác định những khoảnh khắc tốt nhất để tự động chèn quảng cáo bổ sung cho trải nghiệm xem của khán giả. vidmob sử dụng Amazon Rekognition Labels để trích xuất siêu dữ liệu từ quảng cáo nhằm hiểu vai trò duy nhất của việc ra quyết định quảng cáo đối với hiệu suất quảng cáo, nhờ đó, các nhà tiếp thị có thể tạo quảng cáo tác động đến các mục tiêu chính mà họ quan tâm nhất. Ngoài ra, hàng nghìn khách hàng khác sử dụng Amazon Rekognition Labels để hỗ trợ nhiều trường hợp sử dụng khác, chẳng hạn như phân loại ảnh đường mòn hoặc ảnh đi bộ đường dài, phát hiện người hoặc phương tiện trong cảnh quay camera an ninh và phân loại ảnh tài liệu nhận dạng.

Amazon Rekognition Labels cho hình ảnh phát hiện 600 nhãn mới, bao gồm các mốc và hoạt động, đồng thời cải thiện độ chính xác cho hơn 2,000 nhãn hiện có. Ngoài ra, Amazon Rekognition Labels hiện hỗ trợ Thuộc tính hình ảnh để phát hiện các màu chủ đạo của hình ảnh, nền trước và nền của nó, cũng như các đối tượng được phát hiện có hộp giới hạn. Thuộc tính hình ảnh cũng đo độ sáng, độ sắc nét và độ tương phản của hình ảnh. Cuối cùng, Nhãn Rekognition của Amazon hiện sắp xếp kết quả nhãn bằng cách sử dụng hai trường bổ sung, aliases và categoriesvà hỗ trợ lọc các kết quả đó. Trong các phần sau, chúng tôi xem xét các khả năng mới và lợi ích của chúng một cách chi tiết hơn với một số ví dụ.

nhãn mới

Amazon Rekognition Labels đã thêm hơn 600 nhãn mới, mở rộng danh sách các nhãn được hỗ trợ. Sau đây là một số ví dụ về các nhãn mới:

• địa danh nổi tiếng – Cầu Brooklyn, Đấu trường La Mã, Tháp Eiffel, Machu Picchu, Taj Mahal, v.v.
• Hoạt động – Vỗ tay, Đạp xe, Ăn mừng, Nhảy, dắt chó đi dạo, v.v.
• phát hiện thiệt hại – Vết móp xe, Vết xước xe, Ăn mòn, Hỏng nhà, Hỏng mái, Mối mọt, v.v.
• Văn bản và tài liệu – Biểu đồ thanh, Thẻ lên máy bay, Lưu đồ, Sổ tay, Hóa đơn, Biên lai, v.v.
• Thể thao – Trò chơi bóng chày, đánh bóng chày, trượt băng nghệ thuật, bóng bầu dục, bóng nước, v.v.
• Còn nhiều nữa – Đua thuyền, Vui chơi, Cảnh quan thành phố, Làng quê, Cầu hôn, Tiệc chiêu đãi, v.v.

Với các nhãn này, khách hàng chia sẻ hình ảnh, kho ảnh hoặc phương tiện quảng bá có thể tự động thêm siêu dữ liệu mới vào thư viện nội dung của họ để cải thiện khả năng tìm kiếm của họ.

Hãy xem ví dụ phát hiện nhãn cho Cầu Brooklyn.

Bảng sau đây hiển thị các nhãn và điểm tin cậy được trả về trong phản hồi API.

nhãn cải tiến

Amazon Rekognition Labels cũng đã cải thiện độ chính xác cho hơn 2,000 nhãn. Sau đây là một số ví dụ về nhãn cải tiến:

• Hoạt động – Lặn, Lái xe, Đọc, Ngồi, Đứng, v.v.
• Quần áo và phụ kiện – Ba lô, Thắt lưng, Áo cánh, Áo hoodie, Áo khoác, Giày, v.v.
• Nhà và trong nhà – Bể bơi, Chậu cây, Gối, Lò sưởi, Chăn, v.v.
• Công nghệ và điện toán – Tai nghe, Điện thoại di động, Máy tính bảng, Máy đọc sách, Máy tính xách tay, v.v.
• Xe cộ và ô tô – Xe tải, Bánh xe, Lốp xe, Cản trước, Ghế xe, Gương xe, v.v.
• Văn bản và tài liệu – Hộ chiếu, Giấy phép lái xe, Danh thiếp, Tài liệu, v.v.
• Còn nhiều nữa – Chó, Kangaroo, Quảng trường thị trấn, Lễ hội, Cười, v.v.

Thuộc tính hình ảnh để phát hiện màu chủ đạo và chất lượng hình ảnh

Thuộc tính hình ảnh là một khả năng mới của Amazon Rekognition Labels dành cho hình ảnh và có thể được sử dụng khi có hoặc không có chức năng phát hiện nhãn. Lưu ý: Thuộc tính Hình ảnh là định giá riêng từ Nhãn Rekognition của Amazon và chỉ khả dụng với SDK được cập nhật.

Phát hiện màu chủ đạo

Thuộc tính hình ảnh xác định các màu chủ đạo trong hình ảnh dựa trên tỷ lệ phần trăm pixel. Những màu chủ đạo này được ánh xạ tới Bảng màu 140 CSS, RGB, mã hex và 12 màu đơn giản hóa (lục, hồng, đen, đỏ, vàng, lục lam, nâu, cam, trắng, tím, lam, xám). Theo mặc định, API trả về tối đa 10 màu chủ đạo trừ khi bạn chỉ định số lượng màu sẽ trả về. Số lượng màu chủ đạo tối đa mà API có thể trả về là 12.

Khi được sử dụng độc lập, Thuộc tính hình ảnh sẽ phát hiện các màu chủ đạo của toàn bộ hình ảnh cũng như tiền cảnh và hậu cảnh của nó. Khi được sử dụng cùng với các chức năng phát hiện nhãn, Thuộc tính hình ảnh cũng xác định màu chủ đạo của các đối tượng được phát hiện bằng các hộp giới hạn.

Khách hàng chia sẻ hình ảnh hoặc chụp ảnh lưu trữ có thể sử dụng tính năng phát hiện màu chủ đạo để làm phong phú siêu dữ liệu thư viện hình ảnh của họ nhằm cải thiện khả năng khám phá nội dung, cho phép người dùng cuối của họ lọc theo màu hoặc tìm kiếm các đối tượng có màu cụ thể, chẳng hạn như “ghế xanh” hoặc “giày đỏ”. ” Ngoài ra, khách hàng trong lĩnh vực quảng cáo có thể xác định hiệu suất quảng cáo dựa trên màu sắc của nội dung quảng cáo của họ.

Chất lượng hình ảnh

Ngoài khả năng phát hiện màu chủ đạo, Thuộc tính hình ảnh còn đo chất lượng hình ảnh thông qua điểm số về độ sáng, độ sắc nét và độ tương phản. Mỗi điểm trong số này nằm trong khoảng từ 0–100. Ví dụ: hình ảnh rất tối sẽ trả về giá trị độ sáng thấp, trong khi hình ảnh sáng rực rỡ sẽ trả về giá trị cao.

Với những điểm số này, khách hàng chia sẻ hình ảnh, quảng cáo hoặc thương mại điện tử có thể thực hiện kiểm tra chất lượng và lọc ra những hình ảnh có độ sáng và độ sắc nét thấp để giảm dự đoán nhãn sai.

Hình ảnh sau đây cho thấy một ví dụ với Tháp Eiffel.

Bảng sau đây là một ví dụ về dữ liệu Thuộc tính hình ảnh được trả về trong phản hồi API.

Hình ảnh sau đây là một ví dụ cho một chiếc ghế màu đỏ.

Sau đây là một ví dụ về dữ liệu Thuộc tính hình ảnh được trả về trong phản hồi API.

Hình ảnh sau đây là một ví dụ cho một con chó có nền màu vàng.

Sau đây là một ví dụ về dữ liệu Thuộc tính hình ảnh được trả về trong phản hồi API.

Các trường bí danh và danh mục mới

Amazon Rekognition Labels hiện trả về hai trường mới, aliases và categories, trong phản hồi API. Bí danh là tên gọi khác của cùng một nhãn và danh mục nhóm các nhãn riêng lẻ lại với nhau dựa trên 40 chủ đề phổ biến, chẳng hạn như Food and Beverage và Animals and Pets. Với bản cập nhật mô hình phát hiện nhãn, bí danh không còn được trả về trong danh sách chính của tên nhãn. Thay vào đó, các bí danh được trả về trong phiên bản mới aliases trường trong phản hồi API. Lưu ý: Bí danh và danh mục chỉ được trả về với SDK đã cập nhật.

Khách hàng trong lĩnh vực chia sẻ ảnh, thương mại điện tử hoặc quảng cáo có thể sử dụng bí danh và danh mục để tổ chức phân loại siêu dữ liệu nội dung của họ nhằm tăng cường hơn nữa tìm kiếm và lọc nội dung:

• Ví dụ bí danh - Bởi vì Car và Automobile là bí danh, bạn có thể thêm siêu dữ liệu vào hình ảnh bằng Car và Automobile cùng một lúc
• ví dụ về danh mục – Bạn có thể sử dụng các danh mục để tạo bộ lọc danh mục hoặc hiển thị tất cả hình ảnh liên quan đến một danh mục cụ thể, chẳng hạn như Food and Beverage, mà không cần phải thêm siêu dữ liệu vào từng hình ảnh một cách rõ ràng với Food and Beverage

Hình ảnh sau đây hiển thị một ví dụ phát hiện nhãn có bí danh và danh mục dành cho thợ lặn.

Bảng sau đây hiển thị các nhãn, điểm tin cậy, bí danh và danh mục được trả về trong phản hồi API.

Hình ảnh sau đây là một ví dụ cho người đi xe đạp.

Bảng sau đây chứa các nhãn, điểm tin cậy, bí danh và danh mục được trả về trong phản hồi API.

Bộ lọc bao gồm và loại trừ

Amazon Rekognition Labels giới thiệu các tùy chọn lọc bao gồm và loại trừ mới trong tham số đầu vào API để thu hẹp danh sách nhãn cụ thể được trả về trong phản hồi API. Bạn có thể cung cấp danh sách nhãn hoặc danh mục rõ ràng mà bạn muốn bao gồm hoặc loại trừ. Lưu ý: Những bộ lọc này có sẵn với SDK được cập nhật.

Khách hàng có thể sử dụng các bộ lọc bao gồm và loại trừ để có được các nhãn hoặc danh mục cụ thể mà họ quan tâm mà không cần phải tạo logic bổ sung trong ứng dụng của mình. Ví dụ, khách hàng trong bảo hiểm có thể sử dụng LabelCategoriesInclusionFilter chỉ bao gồm kết quả nhãn trong Damage Detection thể loại.

Mã sau đây là một yêu cầu mẫu API với các bộ lọc bao gồm và loại trừ:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Sau đây là các ví dụ về cách hoạt động của bộ lọc bao gồm và loại trừ:

• Nếu bạn chỉ muốn phát hiện Person và Carvà không quan tâm đến các nhãn khác, bạn có thể chỉ định [“Person”,”Car”] trong LabelsInclusionFilter.
• Nếu bạn muốn phát hiện tất cả các nhãn ngoại trừ Clothing, bạn có thể chỉ định [“Clothing”] trong LabelsExclusionFilter.
• Nếu bạn chỉ muốn phát hiện các nhãn trong Animal and Pets danh mục ngoại trừ Dog và Cat, bạn có thể chỉ định ["Animal and Pets"] bên trong LabelCategoriesInclusionFilter, với ["Dog", "Cat"] trong LabelsExclusionFilter.
• Nếu một nhãn được chỉ định trong LabelsInclusionFilter or LabelsExclusionFilter, bí danh của họ sẽ được bao gồm hoặc loại trừ tương ứng vì aliases là một phân loại phụ của nhãn. Ví dụ, bởi vì Automobile là một bí danh của Car, nếu bạn chỉ định Car in LabelsInclusionFilter, API sẽ trả về Car dán nhãn với Automobile trong aliases trường.

Kết luận

Amazon Rekognition Labels phát hiện 600 nhãn mới và cải thiện độ chính xác cho hơn 2,000 nhãn hiện có. Cùng với các bản cập nhật này, Nhãn Rekognition của Amazon hiện hỗ trợ Thuộc tính hình ảnh, bí danh và danh mục, cũng như các bộ lọc bao gồm và bao hàm.

Để dùng thử mô hình phát hiện nhãn mới với các tính năng mới, hãy đăng nhập vào tài khoản AWS của bạn và xem Bảng điều khiển Amazon Rekognition để phát hiện nhãn và thuộc tính hình ảnh. Để tìm hiểu thêm, hãy truy cập phát hiện nhãn.

Giới thiệu về tác giả

Maria Handoko là Giám đốc sản phẩm cấp cao tại AWS. Cô tập trung vào việc giúp khách hàng giải quyết các thách thức kinh doanh của họ thông qua máy học và thị giác máy tính. Khi rảnh rỗi, cô ấy thích đi bộ đường dài, nghe podcast và khám phá các nền ẩm thực khác nhau.

Shipra Kanoria là Giám đốc sản phẩm chính tại AWS. Cô đam mê giúp khách hàng giải quyết những vấn đề phức tạp nhất của họ bằng sức mạnh của máy học và trí tuệ nhân tạo. Trước khi gia nhập AWS, Shipra đã có hơn 4 năm làm việc tại Amazon Alexa, nơi cô đã giới thiệu nhiều tính năng liên quan đến năng suất trên trợ lý giọng nói Alexa.