Amazon Lookout for Vision 的图像增强管道

pip install imgaug

pip install ipyplot

import imageio
import imgaug as ia
import imgaug.augmenters as iaa
import ipyplot
input_img = imageio.imread('s10.png')
noise=iaa.AdditiveGaussianNoise(10,40)
input_noise=noise.augment_image(input_img)
contrast=iaa.GammaContrast((0.5, 2.0))
contrast_sig = iaa.SigmoidContrast(gain=(5, 10), cutoff=(0.4, 0.6))
contrast_lin = iaa.LinearContrast((0.6, 0.4))
input_contrast = contrast.augment_image(input_img)
sigmoid_contrast = contrast_sig.augment_image(input_img)
linear_contrast = contrast_lin.augment_image(input_img)
images_list=[input_img, input_contrast,sigmoid_contrast,linear_contrast,input_noise]
labels = ['Original', 'Gamma Contrast','SigmoidContrast','LinearContrast','Gaussian Noise Image']
ipyplot.plot_images(images_list,labels=labels,img_width=180)

{"source-ref":"s3://pcbtest22/label/s10.png","s10-label-ref":"s3://pcbtest22/label/s10-label/annotations/consolidated-annotation/output/0_2022-09-08T18:01:51.334016.png","s10-label-ref-metadata":{"internal-color-map":{"0":{"class-name":"BACKGROUND","hex-color":"#ffffff","confidence":0},"1":{"class-name":"IC","hex-color":"#2ca02c","confidence":0},"2":{"class-name":"resistor_1","hex-color":"#1f77b4","confidence":0},"3":{"class-name":"resistor_2","hex-color":"#ff7f0e","confidence":0}},"type":"groundtruth/semantic-segmentation","human-annotated":"yes","creation-date":"2022-09-08T18:01:51.498525","job-name":"labeling-job/s10-label"}}

from PIL import Image 
import os 
import shutil 
import boto3

s3=boto3.client('s3')

# make the image directory
dir_im="images"
if not os.path.isdir(dir_im):
    os.makedirs(dir_im)
# create augmented images from original image
input_img = imageio.imread('s10.png')

for i in range(10):
    noise=iaa.AdditiveGaussianNoise(scale=0.2*255)
    contrast=iaa.GammaContrast((0.5,2))
    contrast_sig = iaa.SigmoidContrast(gain=(5,20), cutoff=(0.25, 0.75))
    contrast_lin = iaa.LinearContrast((0.4,1.6))
      
    input_noise=noise.augment_image(input_img)
    input_contrast = contrast.augment_image(input_img)
    sigmoid_contrast = contrast_sig.augment_image(input_img)
    linear_contrast = contrast_lin.augment_image(input_img)
      
    im_noise = Image.fromarray(input_noise)
    im_noise.save(f'{dir_im}/input_noise_{i}.png')

    im_input_contrast = Image.fromarray(input_contrast)
    im_input_contrast.save(f'{dir_im}/contrast_sig_{i}.png')

    im_sigmoid_contrast = Image.fromarray(sigmoid_contrast)
    im_sigmoid_contrast.save(f'{dir_im}/sigmoid_contrast_{i}.png')

    im_linear_contrast = Image.fromarray(linear_contrast)
    im_linear_contrast.save(f'{dir_im}/linear_contrast_{i}.png')
    
# move original image to image augmentation folder
shutil.move('s10.png','images/s10.png')
# list all the images in the image directory
imlist =  [file for file in os.listdir(dir_im) if file.endswith('.png')]

# upload augmented images to an s3 bucket
s3_bucket='qualityinspection'
for i in range(len(imlist)):
    with open('images/'+imlist[i], 'rb') as data:
        s3.upload_fileobj(data, s3_bucket, 'images/'+imlist[i])

# get the image s3 locations
im_s3_list=[]
for i in range(len(imlist)):
    image_s3='s3://qualityinspection/images/'+imlist[i]
    im_s3_list.append(image_s3)

# download Ground Truth annotation mask image to local from the Ground Truth s3 folder
s3.download_file('pcbtest22', 'label/S10-label3/annotations/consolidated-annotation/output/0_2022-09-09T17:25:31.918770.png', 'mask.png')
# upload mask to mask folder
s3.upload_file('mask.png', 'qualityinspection', 'mask/mask.png')

import json
#download output manifest to local
s3.download_file('pcbtest22', 'label/S10-label3/manifests/output/output.manifest', 'output.manifest')
# read the manifest file
with open('output.manifest','rt') as the_new_file:
    lines=the_new_file.readlines()
    for line in lines:
        json_line = json.loads(line)

# create input dictionary
input_dat=dict()
input_dat['input-image-location']=im_s3_list
input_dat['mask-location']='s3://qualityinspection/mask/mask.png'
input_dat['mask-info']=json_line['S10-label3-ref-metadata']['internal-color-map']
input_dat['output-bucket']='qualityinspection'
input_dat['output-project']='synthetic_defect'

# Write the input as a txt file and upload it to s3 location
input_name='input.txt'
with open(input_name, 'w') as the_new_file:
    the_new_file.write(json.dumps(input_dat))
s3.upload_file('input.txt', 'qualityinspection', 'input/input.txt')

{"input-image-location": ["s3://qualityinspection/images/s10.png", ... "s3://qualityinspection/images/contrast_sig_1.png"], "mask-location": "s3://qualityinspection/mask/mask.png", "mask-info": {"0": {"class-name": "BACKGROUND", "hex-color": "#ffffff", "confidence": 0}, "1": {"class-name": "IC", "hex-color": "#2ca02c", "confidence": 0}, "2": {"class-name": "resistor1", "hex-color": "#1f77b4", "confidence": 0}, "3": {"class-name": "resistor2", "hex-color": "#ff7f0e", "confidence": 0}}, "output-bucket": "qualityinspection", "output-project": "synthetic_defect"}

from sagemaker import get_execution_role
from sagemaker.pytorch import PyTorchModel
import boto3

role = get_execution_role()
env = dict()
env['TS_MAX_REQUEST_SIZE'] = '1000000000'
env['TS_MAX_RESPONSE_SIZE'] = '1000000000'
env['TS_DEFAULT_RESPONSE_TIMEOUT'] = '1000000'
env['DEFAULT_WORKERS_PER_MODEL'] = '1'

model = PyTorchModel(
    entry_point="./inference_defect_gen.py",
    role=role,
    source_dir = './',
    model_data='s3://qualityinspection/model/big-lama.tar.gz',
    image_uri = '763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker',
    framework_version="1.7.1",
    py_version="py3",
    env = env,
    model_server_workers=1
)

from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
bucket = 'qualityinspection'
prefix = 'async-endpoint'
async_config = AsyncInferenceConfig(output_path=f"s3://{bucket}/{prefix}/output",max_concurrent_invocations_per_instance=10)

predictor = model.deploy(
    initial_instance_count=1,
    instance_type='ml.g4dn.xlarge',
    model_server_workers=1,
    async_inference_config=async_config
)

import boto3
runtime= boto3.client('runtime.sagemaker')
response = runtime.invoke_endpoint_async(EndpointName='pytorch-inference-2022-09-16-02-04-37-888',
                                   InputLocation='s3://qualityinspection/input/input.txt')

{"source-ref": "s3://qualityinspection/synthetic_defect/anomaly/train/6_im_mask_IC.jpg", "auto-label": 11, "auto-label-metadata": {"class-name": "anomaly", "type": "groundtruth/image-classification"}, "anomaly-mask-ref": "s3://qualityinspection/synthetic_defect/mask/MixMask/mask_IC.png", "anomaly-mask-ref-metadata": {"internal-color-map": {"0": {"class-name": "IC", "hex-color": "#2ca02c", "confidence": 0}}, "type": "groundtruth/semantic-segmentation"}}

对于普通图像：

{"source-ref": "s3://qualityinspection/synthetic_defect/normal/train/25_im.jpg", "auto-label": 12, "auto-label-metadata": {"class-name": "normal", "type": "groundtruth/image-classification"}}

4.3.7 Amazon S3 文件夹结构

端点的输入和输出以以下结构存储在目标 S3 存储桶中：

5 Lookout for Vision模型训练及结果

5.1 建立项目，上传数据集，开始模型训练。 

1. 首先，您可以从 AWS控制台 并创建一个项目。
   
2. 然后，您可以通过选择创建训练数据集 导入由 SageMaker Ground Truth 标记的图像 并提供 SageMaker 端点生成的训练数据集清单的 Amazon S3 位置。
   
3. 接下来，您可以通过选择创建测试数据集 导入由 SageMaker Ground Truth 标记的图像 再次提供 SageMaker 端点生成的测试数据集清单的 Amazon S3 位置。
   
   .......
   ....
4. 训练和测试数据集上传成功后，可以选择 火车模型 右上角的按钮触发异常定位模型训练。
   ......
5. 在我们的实验中，模型完成训练的时间略长于一小时。 当状态显示训练完成时，您可以选择模型链接来查看结果。
   ....
   

5.2 模型训练结果

5.2.1 模型性能指标 

在选择之后 型号1 如上图，我们从100% Precision、100% Recall、100% F1 score可以看出模型表现相当不错。 我们还可以检查每个标签（缺失组件）的性能，我们会很高兴地发现所有三个标签的 F1 分数都在 93% 以上，平均 IoU 都在 85% 以上。 这个结果对于我们在帖子中展示的这个小数据集来说是令人满意的。

5.2.2 测试数据集中综合缺陷检测的可视化。 

如下图所示，每张图片都会被缺陷为 normal or anomaly 带有置信度分数的标签。 如果它是异常，那么它会在图像中的异常区域上显示一个遮罩，每种缺陷类型具有不同的颜色。

以下是测试数据集中缺失组件（本例中为三个缺陷）的组合示例：

接下来，您可以将模型编译并打包为 AWS IoT Greengrass 遵循这篇文章中的说明的组件， 在不使用 GPU 的情况下，在边缘使用 Amazon Lookout for Vision 识别异常位置，并对模型运行推理。

6. 针对真实缺陷测试在合成数据上训练的 Lookout for Vision 模型

为了测试在合成缺陷上训练的模型是否可以很好地应对真实缺陷，我们从中选择了一个数据集（aliens-dataset） 相关信息 进行实验。

首先，我们比较生成的合成缺陷和真实缺陷。 左图是缺少头部的真实缺陷，右图是使用 ML 模型去除头部后生成的缺陷。

真正的缺陷

综合缺陷

其次，我们使用 Lookout for Vision 中的试验检测来针对真实缺陷测试模型。 您可以将测试图像保存在 S3 存储桶中并从 Amazon S3 导入它们，或者从您的计算机上传图像。 然后，选择 检测异常 运行检测。

最后，您可以看到真实缺陷的预测结果。 在这个实验中，在合成缺陷上训练的模型可以准确地检测出真实的缺陷。

在合成缺陷上训练的模型可能并不总是在真实缺陷上表现良好，尤其是比这个样本数据集复杂得多的电路板。 如果你想重新训练有真正缺陷的模型，那么你可以选择标记为橙色的按钮 验证机器预测 在预测结果的右上角，然后勾选为 正确： or 不正确.

然后您可以通过选择右上角的橙色按钮将经过验证的图像和标签添加到训练数据集中，以增强模型性能。

7.成本估算 

这个用于 Lookout for Vision 的图像增强管道非常划算。 在上面显示的示例中，Amazon SageMaker Ground Truth Labeling、Amazon SageMaker notebook 和 SageMaker 异步终端节点部署和推理只需花费几美元。 对于 Lookout for Vision 服务，您只需为使用量付费。 账单由三个部分决定：模型训练费用（训练小时数）、云异常检测费用（云推理小时数）和/或边缘异常检测费用（边缘推理单元）。 在我们的实验中，Lookout for Vision 模型完成训练的时间略长于一个小时，每个训练小时的成本为 2.00 美元。 此外，您可以使用已训练的模型在云端或边缘进行推理，并列出价格 相关信息.

8。 清理

为避免产生不必要的费用，请使用控制台删除您在运行帖子中的练习时创建的端点和资源。

1. 打开 SageMaker 控制台并删除以下资源：
   • 端点。 删除端点还会删除支持它的一个或多个 ML 计算实例。
     1. 下 推理，选择 端点.
     2. 选择您在示例中创建的端点，选择 行动，然后选择 删除.
   • 端点配置。
     1. 下 推理，选择 端点配置.
     2. 选择您在示例中创建的端点配置，选择 行动，然后选择 删除.
   • 该模型。
     1. 下 推理，选择 型号.
     2. 选择您在示例中创建的模型，选择 行动，然后选择 删除.
   • 笔记本实例。 在删除笔记本实例之前，请将其停止。
     1. 下 笔记本，选择 笔记本实例.
     2. 选择您在示例中创建的笔记本实例，选择 行动，然后选择  Stop 停止. 笔记本实例需要几分钟才能停止。 当。。。的时候 Status 改变为 停止，继续进行下一步。
     3.  行动，然后选择 删除.
2. 打开 Amazon S3控制台，然后删除您为存储模型工件和训练数据集而创建的存储桶。
3. 打开 亚马逊 CloudWatch 控制台, 然后删除名称以 /aws/sagemaker/.

您还可以通过运行以下代码从 SageMaker notebook 中删除终端节点：

import boto3
sm_boto3 = boto3.client("sagemaker")
sm_boto3.delete_endpoint(EndpointName='endpoint name')

9。 结论

在这篇文章中，我们演示了如何使用 Amazon SageMaker Ground Truth 注释合成缺陷掩模，如何使用不同的图像增强技术将一张正常图像转换为所需数量的正常图像，创建异步 SageMaker 端点并准备输入文件端点，以及调用端点。 最后，我们演示了如何使用训练/测试清单来训练 Lookout for Vision 异常定位模型。 这个提议的管道可以扩展到其他 ML 模型以生成合成缺陷，您需要做的就是在 SageMaker 端点中自定义模型和推理代码。

首先探索用于自动化质量检测的 Lookout for Vision 相关信息.

---

作者简介

卡拉扬 是 AWS 专业服务的数据科学家。 她热衷于通过 AWS 云服务帮助客户实现其业务目标，并帮助组织构建跨多个行业的端到端 AI/ML 解决方案，例如制造、汽车、环境可持续性和航空航天。

Octavi Obiols-销售 是一位专门研究深度学习 (DL) 和机器学习的计算科学家，并获得助理解决方案架构师认证。 凭借在云和边缘方面的广泛知识，他通过构建端到端 AI 解决方案帮助加速业务成果。 Octavi 在加州大学尔湾分校获得了计算科学博士学位，在那里他推动了 DL+HPC 算法的最新发展。

法比安·贝尼特斯-基罗斯 是 AWS 专业服务的 IoT Edge 数据科学家。 他拥有俄亥俄州立大学的计算机视觉和模式识别博士学位。 Fabian 参与帮助客户在 IoT 设备和云中以低延迟运行他们的机器学习模型。

马尼什·塔雷哈 是 AWS 物联网解决方案的首席产品经理。 他热衷于帮助客户在云端和边缘使用 AWS IoT 和 ML 服务构建创新解决方案。

杨玉新 是 AWS 的 AI/ML 架构师，获得 AWS 机器学习专业认证。 她通过构建端到端 AI/ML 解决方案（包括预测性维护、计算机视觉和强化学习）帮助客户加速取得成果。 Yuxin 在斯坦福大学获得硕士学位，在那里她专注于深度学习和大数据分析。

李英茂 是 AWS 的数据科学家。 他在 11 个月前加入 AWS，并使用广泛的服务和机器学习技术为各种客户构建解决方案。 他拥有电气工程博士学位。 闲暇时，他喜欢户外游戏、赛车、游泳，还喜欢驾驶风笛幼崽越野探索天空。