Amazon Rekognition Labels 添加了 600 个新标签，包括地标，现在可以检测主色

亚马逊重新认识 提供预先训练和可定制的计算机视觉功能，以从图像和视频中提取信息和见解。 一种这样的能力是 亚马逊识别标签，它检测图像中的对象、场景、动作和概念。 客户如 Synchronoss， 存在Shutterstock和 Nomad Media 使用 Amazon Rekognition Labels 自动将元数据添加到他们的内容库并启用基于内容的搜索结果。 TripleLift 使用 Amazon Rekognition Labels 来确定动态插入广告的最佳时机，以补充观众的观看体验。 视频群 使用 Amazon Rekognition Labels 从广告创意中提取元数据以了解创意决策在广告效果中的独特作用，因此营销人员可以制作影响他们最关心的关键目标的广告。 此外，成千上万的其他客户使用 Amazon Rekognition Labels 来支持许多其他用例，例如对小径或远足照片进行分类、检测安全摄像机镜头中的人或车辆以及对身份证件照片进行分类。

Amazon Rekognition Labels for Images 检测了 600 个新标签，包括地标和活动，并提高了 2,000 多个现有标签的准确性。 此外，Amazon Rekognition Labels 现在支持图像属性来检测图像的主色、前景和背景，以及检测到的带有边界框的对象。 图像属性还测量图像亮度、清晰度和对比度。 最后，Amazon Rekognition Labels 现在使用两个额外的字段来组织标签结果， aliases 和 categories，并支持过滤这些结果。 在以下部分中，我们将通过一些示例更详细地回顾新功能及其优势。

新标签

Amazon Rekognition Labels 添加了 600 多个新标签，扩展了支持的标签列表。 以下是新标签的一些示例：

• 热门地标 – 布鲁克林大桥、斗兽场、艾菲尔铁塔、马丘比丘、泰姬陵等。
• 社区及活动 – 掌声、骑自行车、庆祝、跳跃、遛狗等。
• 损伤检测 – 汽车凹痕、汽车划痕、腐蚀、房屋损坏、屋顶损坏、白蚁损坏等。
• 文本和文档 – 条形图、登机牌、流程图、笔记本、发票、收据等。
• 运动 – 棒球比赛、板球拍、花样滑冰、橄榄球、水球等。
• 还有很多 – 赛艇、娱乐、城市景观、乡村、求婚、宴会等。

有了这些标签，图像共享、股票摄影或广播媒体的客户可以自动将新的元数据添加到他们的内容库中，以提高他们的搜索能力。

让我们看一下布鲁克林大桥的标签检测示例。

下表显示了 API 响应中返回的标签和置信度分数。

改进的标签

Amazon Rekognition Labels 还提高了 2,000 多个标签的准确性。 以下是改进标签的一些示例：

• 社区及活动 – 潜水、驾驶、阅读、坐着、站着等。
• 服装及配饰 – 背包、腰带、衬衫、连帽衫、夹克、鞋子等。
• 家庭和室内 – 游泳池、盆栽植物、枕头、壁炉、毯子等。
• 技术与计算 – 耳机、手机、平板电脑、阅读器、笔记本电脑等。
• 车辆和汽车 – 卡车、车轮、轮胎、保险杠、汽车座椅、汽车镜子等。
• 文本和文档 – 护照、驾驶执照、名片、证件等。
• 还有很多 – 狗、袋鼠、城市广场、节日、大笑等。

用于主色检测和图像质量的图像属性

Image Properties 是 Amazon Rekognition Labels 针对图像的一项新功能，可以与标签检测功能一起使用，也可以不与标签检测功能一起使用。 注意：图像属性是 单独定价 来自 Amazon Rekognition Labels，并且仅适用于更新的 SDK。

主色检测

图像属性根据像素百分比识别图像中的主色。 这些主色被映射到 140 CSS 调色板、RGB、十六进制代码和 12 种简化颜色（绿色、粉色、黑色、红色、黄色、青色、棕色、橙色、白色、紫色、蓝色、灰色）。 默认情况下，API 最多返回 10 种主​​色，除非您指定要返回的颜色数。 API 可以返回的最大主色数为 12。

单独使用时，Image Properties 会检测整个图像的主色及其前景和背景。 当与标签检测功能一起使用时，图像属性还可以使用边界框识别检测到的对象的主色。

图像共享或图库摄影的客户可以使用主色检测来丰富他们的图像库元数据以改进内容发现，从而允许他们的最终用户按颜色过滤或搜索具有特定颜色的对象，例如“蓝色椅子”或“红色鞋子”。 ” 此外，广告中的客户可以根据其创意资产的颜色来确定广告效果。

图像质量

除了主色检测之外，Image Properties 还通过亮度、锐度和对比度得分来衡量图像质量。 这些分数中的每一个都在 0-100 之间。 例如，非常暗的图像将返回低亮度值，而明亮的图像将返回高亮度值。

有了这些分数，图像共享、广告或电子商务的客户可以执行质量检查并过滤掉亮度和清晰度较低的图像，以减少错误的标签预测。

下图显示了埃菲尔铁塔的示例。

下表是 API 响应中返回的图像属性数据的示例。

下图是红色椅子的示例。

以下是 API 响应中返回的图像属性数据的示例。

下图是黄色背景的狗的示例。

以下是 API 响应中返回的图像属性数据的示例。

新别名和类别字段

Amazon Rekognition Labels 现在返回两个新字段， aliases 和 categories, 在 API 响应中。 别名是同一标签的其他名称，类别根据 40 个常见主题将各个标签组合在一起，例如 Food and Beverage 和 Animals and Pets. 随着标签检测模型的更新，标签名称的主要列表中不再返回别名。 相反，别名在新的 aliases API 响应中的字段。 注意：别名和类别仅随更新的 SDK 一起返回。

照片共享、电子商务或广告领域的客户可以使用别名和类别来组织他们的内容元数据分类法，以进一步增强内容搜索和过滤：

• 别名示例 –因为 Car 和 Automobile 是别名，您可以将元数据添加到图像中 Car 和 Automobile 与此同时
• 类别示例 – 您可以使用类别来创建类别过滤器或显示与特定类别相关的所有图像，例如 Food and Beverage，而不必明确地将元数据添加到每个图像 Food and Beverage

下图显示了带有潜水员别名和类别的标签检测示例。

下表显示了 API 响应中返回的标签、置信度分数、别名和类别。

下图是骑自行车的人的示例。

下表包含 API 响应中返回的标签、置信度分数、别名和类别。

包含和排除过滤器

Amazon Rekognition Labels 在 API 输入参数中引入了新的包含和排除筛选选项，以缩小 API 响应中返回的特定标签列表。 您可以提供要包含或排除的标签或类别的明确列表。 注意：这些过滤器可用于更新的 SDK。

客户可以使用包含和排除过滤器来获取他们感兴趣的特定标签或类别，而无需在他们的应用程序中创建额外的逻辑。 例如，保险客户可以使用 LabelCategoriesInclusionFilter 仅包含标签结果 Damage Detection 类别。

以下代码是包含和排除过滤器的 API 示例请求：

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

以下是包含和排除过滤器如何工作的示例：

• 如果你只想检测 Person 和 Car，并且不关心其他标签，您可以指定 [“Person”,”Car”] in LabelsInclusionFilter.
• 如果你想检测除 Clothing，您可以指定 [“Clothing”] in LabelsExclusionFilter.
• 如果您只想检测 Animal and Pets 类别除外 Dog 和 Cat，您可以指定 ["Animal and Pets"] 在里面 LabelCategoriesInclusionFilter， 和 ["Dog", "Cat"] in LabelsExclusionFilter.
• 如果在中指定了标签 LabelsInclusionFilter or LabelsExclusionFilter，他们的别名将被相应地包括或排除，因为 aliases 是标签的子分类法。 例如，因为 Automobile 是一个别名 Car, 如果你指定 Car in LabelsInclusionFilter，API 将返回 Car 标签 Automobile ，在 aliases 领域。

结论

Amazon Rekognition Labels 检测了 600 个新标签并提高了 2,000 多个现有标签的准确性。 除了这些更新，Amazon Rekognition Labels 现在还支持图像属性、别名和类别，以及包含和包含过滤器。

要试用新标签检测模型及其新功能，请登录您的 AWS 账户并查看 Amazon Rekognition控制台 用于标签检测和图像属性。 要了解更多信息，请访问 检测标签.

关于作者

玛丽亚汉多科 是 AWS 的高级产品经理。 她专注于通过机器学习和计算机视觉帮助客户解决业务挑战。 在业余时间，她喜欢远足、听播客和探索不同的美食。

希普拉卡诺里亚 是 AWS 的首席产品经理。 她热衷于利用机器学习和人工智能的力量帮助客户解决最复杂的问题。 在加入 AWS 之前，Shipra 在 Amazon Alexa 工作了 4 年多，在那里她在 Alexa 语音助手上推出了许多与生产力相关的功能。