GPU를 사용하지 않고 엣지에서 Amazon Lookout for Vision을 사용하여 이상 위치 식별

컴퓨터 비전을 사용한 자동화된 결함 감지는 품질을 개선하고 검사 비용을 낮추는 데 도움이 됩니다. 결함 감지에는 결함의 존재 식별, 결함 유형 분류, 결함 위치 식별이 ​​포함됩니다. 많은 제조 프로세스는 제한된 컴퓨팅 리소스와 제한된 연결로 짧은 대기 시간으로 감지해야 합니다.

비전을위한 Amazon Lookout ML 전문 지식 없이도 컴퓨터 비전을 사용하여 제조 라인의 품질 검사 프로세스를 자동화하여 제품 결함을 찾아내는 기계 학습(ML) 서비스입니다. Lookout for Vision에는 이제 의미론적 세분화 ML 모델을 사용하여 이상 위치와 유형을 제공하는 기능이 포함됩니다. 이러한 사용자 지정 ML 모델은 다음을 사용하여 AWS 클라우드에 배포할 수 있습니다. 클라우드 API 또는 다음을 사용하여 맞춤형 에지 하드웨어에 AWS IoT 그린그래스. Lookout for Vision은 이제 NVIDIA GPU 가속기가 있거나 없는 Linux를 실행하는 x86 컴퓨팅 플랫폼과 모든 NVIDIA Jetson 기반 에지 어플라이언스에서 추론을 지원합니다. 이러한 유연성을 통해 기존 또는 새 하드웨어의 결함을 감지할 수 있습니다.

이 게시물에서는 에지 어플라이언스에서 실행되는 Lookout for Vision ML 모델을 사용하여 결함 부품을 감지하는 방법을 보여줍니다. 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스. 새로운 의미론적 세분화 모델을 교육하고 AWS IoT Greengrass 구성 요소로 내보내고 Python 예제 코드를 사용하여 CPU 전용 모드에서 추론을 실행하는 과정을 살펴봅니다.

솔루션 개요

이 포스트에서 우리는 사진 세트를 사용합니다. 장난감 외계인 팔다리, 눈 또는 기타 부분이 없는 것과 같은 정상 및 결함 이미지로 구성됩니다. 결함 있는 장난감 외계인을 식별하기 위해 클라우드에서 Lookout for Vision 모델을 훈련합니다. 모델을 대상 X86 CPU로 컴파일하고 훈련된 Lookout for Vision 모델을 AWS IoT Greengrass 구성 요소로 패키징하고 AWS IoT Greengrass 콘솔을 사용하여 GPU가 없는 EC2 인스턴스에 모델을 배포합니다. 마지막으로 에지 장치 파일 시스템에서 장난감 외계인 이미지를 소싱하고 다음을 사용하여 Lookout for Vision 모델에서 추론을 실행하는 EC2(C5a.2xl) 인스턴스에서 실행되는 Python 기반 샘플 애플리케이션을 시연합니다. gRPC 인터페이스하고 추론 데이터를 MQTT AWS 클라우드의 주제입니다. 스크립트는 비정상적인 이미지에서 결함의 색상과 위치를 포함하는 이미지를 출력합니다.

다음 다이어그램은 솔루션 아키텍처를 보여줍니다. 현지화에서 감지하려는 각 결함 유형에 대해 교육에 10개의 표시된 이상 이미지가 있어야 하고 테스트 데이터에 10개가 있어야 해당 유형의 총 20개의 이미지가 있어야 합니다. 이 게시물을 위해 우리는 장난감에서 사라진 팔다리를 검색합니다.

솔루션에는 다음과 같은 워크플로가 있습니다.

1. 교육 데이터 세트 및 테스트 데이터 세트를 다음으로 업로드 아마존 단순 스토리지 서비스 (아마존 S3).
2. 새로운 Lookout for Vision UI를 사용하여 이상 유형을 추가하고 교육 및 테스트 이미지에서 이러한 이상이 있는 위치를 표시합니다.
3. 클라우드에서 Lookout for Vision 모델을 훈련시킵니다.
4. 모델을 대상 아키텍처(X86)로 컴파일하고 AWS IoT Greengrass 콘솔을 사용하여 모델을 EC2(C5a.2xl) 인스턴스에 배포합니다.
5. 로컬 디스크의 소스 이미지.
6. gRPC 인터페이스를 통해 배포된 모델에서 추론을 실행하고 원본 이미지에 오버레이된 이상 마스크의 이미지를 검색합니다.
7. Edge 인스턴스에서 실행 중인 MQTT 클라이언트에 추론 결과를 게시합니다.
8. 의 주제에 대한 MQTT 메시지 수신 AWS IoT 코어 추가 모니터링 및 시각화를 위해 AWS 클라우드에서

5, 6, 7단계는 샘플 Python 애플리케이션과 조정됩니다.

사전 조건

시작하기 전에 다음 전제조건을 완료하십시오. 이 게시물에서는 EC2 c5.2xl 인스턴스를 사용하고 여기에 AWS IoT Greengrass V2를 설치하여 새로운 기능을 사용해 보겠습니다. NVIDIA Jetson에서 실행하려면 이전 게시물의 단계를 따르세요. Amazon Lookout for Vision은 이제 에지에서 제품 결함의 육안 검사를 지원합니다..

1. AWS 계정 생성.
2. AWS IoT Greengrass를 설치할 수 있는 EC2 인스턴스를 시작하고 새로운 CPU 전용 추론 모드를 사용할 수도 있습니다. 86GB 이상의 램이 있는 Intel X64 8비트 머신도 사용할 수 있습니다(저희는 c5a.2xl을 사용하지만 Ubuntu 8를 실행하는 x86 플랫폼에서 20.04GB 이상이 작동해야 합니다.
3. AWS IoT Greengrass V2를 설치합니다.

   git clone https://github.com/aws-samples/amazon-lookout-for-vision.git
   cd edge
   # be sure to edit the installation script to match your region, also adjust any device names and groups!
   vi install_greengrass.sh

4. 필요한 시스템 및 Python 3 종속성(Ubuntu 20.04)을 설치합니다.

   # install Ubuntu dependencies on the EC2 instance
   ./install-ec2-ubuntu-deps.sh
   pip3 install -r requirements.txt
   # Replace ENDPOINT variable in sample-client-file-mqtt.py with the value on the AWS console AWS IoT->Things->l4JetsonXavierNX->Interact.  
   # Under HTTPS. It will be of type <name>-ats.iot.<region>.amazon.com 

데이터세트 업로드 및 모델 학습

우리는을 사용하여 장난감 외계인 데이터 세트 솔루션을 시연합니다. 데이터 세트에는 정상 및 비정상 이미지가 포함됩니다. 다음은 데이터세트의 몇 가지 샘플 이미지입니다.

다음 이미지는 일반 장난감 외계인을 보여줍니다.

다음 이미지는 다리가 없는 외계인 장난감을 보여줍니다.

다음 이미지는 머리가 없는 외계인 장난감을 보여줍니다.

이 포스트에서는 잃어버린 팔다리를 찾습니다. 새로운 사용자 인터페이스를 사용하여 훈련 및 테스트 데이터의 결함 주위에 마스크를 그립니다. 이것은 의미론적 분할 모델에 이러한 유형의 결함을 식별하는 방법을 알려줍니다.

1. Amazon S3를 통해 또는 컴퓨터에서 데이터 세트를 업로드하여 시작하십시오.
2. 제목이 있는 폴더로 정렬 normal 및 anomaly.
3. 데이터세트를 생성할 때 다음을 선택합니다. 폴더 이름을 기준으로 이미지에 라벨을 자동으로 첨부.이를 통해 나중에 비정상적인 이미지를 분류하고 결함으로 레이블을 지정할 영역을 그릴 수 있습니다.
   
4. 나중에 테스트하기 위해 일부 이미지를 보류하십시오. normal 및 anomaly.
5. 모든 이미지가 데이터세트에 추가된 후 다음을 선택합니다. 이상 라벨 추가.
6. 선택하여 데이터 레이블 지정 시작 라벨링 시작.
7. 프로세스 속도를 높이려면 여러 이미지를 선택하고 다음과 같이 분류할 수 있습니다. Normal or Anomaly.
   
   이상을 분류하는 것 외에도 강조 표시하려면 이상이 있는 위치를 강조 표시해야 합니다.
8. 주석을 달고 싶은 이미지를 선택하세요.
9. 그리기 도구를 사용하여 피사체의 일부가 누락된 영역을 표시하거나 결함 위에 마스크를 그립니다.
10. 왼쪽 메뉴에서 제출 및 닫기 이러한 변경 사항을 유지합니다.
    
11. 모든 이미지에 대해 이 과정을 반복합니다.
12. 완료되면 선택 찜하기 변경 사항을 유지합니다. 이제 모델을 훈련할 준비가 되었습니다.
    
13. 왼쪽 메뉴에서 모델 학습.

이 단계를 완료한 후 프로젝트 및 모델 학습된 모델의 성능을 확인하는 페이지입니다. 모델이 학습된 후 언제든지 대상 에지 장치로 모델을 내보내는 프로세스를 시작할 수 있습니다.

수정된 이미지로 모델 재학습

때때로 변칙 태깅이 정확하지 않을 수 있습니다. 모델이 이상 징후를 더 잘 학습하도록 도울 수 있습니다. 예를 들어 다음 이미지는 이상으로 식별되지만 표시되지 않습니다. missing_limbs 꼬리표.

편집기를 열고 수정해 보겠습니다.

이와 같이 찾은 이미지를 살펴보십시오. 비정상적인 태그가 잘못 지정된 경우 지우개 도구를 사용하여 잘못된 태그를 제거할 수 있습니다.

이제 모델을 다시 훈련하고 더 나은 정확도를 얻을 수 있습니다.

모델을 AWS IoT Greengrass 구성 요소로 컴파일 및 패키징

이 섹션에서는 장난감 외계인 모델을 대상 엣지 디바이스로 컴파일하고 모델을 AWS IoT Greengrass 구성 요소로 패키징하는 단계를 안내합니다.

1. Lookout for Vision 콘솔에서 프로젝트를 선택합니다.
2. 탐색 창에서 에지 모델 패키지.
3. 왼쪽 메뉴에서 모델 패키징 작업 생성.
4. 럭셔리 직업 이름이름을 입력하십시오.
5. 럭셔리 업무 설명서, 선택적 설명을 입력하십시오.
6. 왼쪽 메뉴에서 모델 찾아보기.
7. 모델 버전(이전 섹션에서 만든 장난감 외계인 모델)을 선택합니다.
8. 왼쪽 메뉴에서 왼쪽 메뉴에서.
   
9. Amazon EC2 또는 X86-64 디바이스에서 실행하는 경우 다음을 선택합니다. 대상 플랫폼 선택하고 Linux, X86및 CPU.
   CPU를 사용하는 경우 확실하지 않고 NVIDIA GPU가 없는 경우 컴파일러 옵션을 비워 둘 수 있습니다. AVX512를 지원하는 Intel 기반 플랫폼이 있는 경우 다음 컴파일러 옵션을 추가하여 더 나은 성능을 위해 최적화할 수 있습니다. {"mcpu": "skylake-avx512"}.
   다음과 같이 표시되는 작업 이름과 상태를 볼 수 있습니다. In progress. 모델 패키징 작업을 완료하는 데 몇 분 정도 걸릴 수 있습니다. 모델 패키징 작업이 완료되면 상태가 다음과 같이 표시됩니다. Success.
10. 직업 이름을 선택하십시오(저희의 경우 aliensblogcpux86) 작업 세부 정보를 봅니다.
    
11. 왼쪽 메뉴에서 모델 패키징 작업 생성.
    
12. 에 대한 세부 정보를 입력하십시오. 구성 요소 이름, 구성 요소 설명 (선택 과목), 구성 요소 버전및 구성 요소 위치.Lookout for Vision은 이 Amazon S3 위치에 구성 요소 레시피와 아티팩트를 저장합니다.
13. 왼쪽 메뉴에서 Greengrass에서 계속 배포 구성 요소를 대상 에지 장치에 배포합니다.
    

AWS IoT Greengrass 구성 요소 및 모델 아티팩트가 AWS 계정에 생성되었습니다.

모델 배포

계속하기 전에 계정의 대상 디바이스에 AWS IoT Greengrass V2가 설치되어 있는지 확인하십시오. 지침은 다음을 참조하십시오. AWS IoT Greengrass 코어 소프트웨어 설치.

이 섹션에서는 AWS IoT Greengrass 콘솔을 사용하여 장난감 외계인 모델을 엣지 디바이스에 배포하는 단계를 안내합니다.

1. AWS IoT Greengrass 콘솔에서 엣지 디바이스로 이동합니다.
2. 왼쪽 메뉴에서 배포 배포 단계를 시작합니다.
3. 선택 핵심 장치 (단일 장치에 대한 배포이기 때문에) 다음의 이름을 입력하십시오. 대상 이름.대상 이름은 AWS IoT Greengrass V2 설치 프로세스 중에 코어 디바이스의 이름을 지정할 때 사용한 것과 동일한 이름입니다.
4. 구성 요소를 선택하십시오. 우리의 경우 구성 요소 이름은 aliensblogcpux86, 장난감 외계인 모델이 들어 있습니다.
5. 왼쪽 메뉴에서 다음 보기.
6. 구성 요소를 구성합니다(선택 사항).
7. 왼쪽 메뉴에서 다음 보기.
8. 펼치기 배포 정책.
9. 럭셔리 구성 요소 업데이트 정책, 고르다 구성 요소에 알림.이렇게 하면 이미 배포된 구성 요소(구성 요소의 이전 버전)가 업데이트할 준비가 될 때까지 업데이트를 연기할 수 있습니다.
10. 럭셔리 장애 처리 정책, 고르다 롤백하지 마세요.실패한 경우 이 옵션을 사용하면 배포 오류를 조사할 수 있습니다.
11. 왼쪽 메뉴에서 다음 보기.
12. 대상(에지) 장치에 배포할 구성 요소 목록을 검토합니다.
13. 왼쪽 메뉴에서 다음 보기.메시지가 표시되어야 합니다. Deployment successfully created.
14. 모델 배포가 성공했는지 확인하려면 에지 장치에서 다음 명령을 실행합니다.

    sudo /greengrass/v2/bin/greengrass-cli component list

실행 중인 유사한 출력이 표시되어야 합니다. aliensblogcpux86 수명 주기 시작 스크립트:

현재 Greengrass에서 실행 중인 구성 요소:

Components currently running in Greengrass:
 
Component Name: aws.iot.lookoutvision.EdgeAgent
    Version: 0.1.34
    State: RUNNING
    Configuration: {"Socket":"unix:///tmp/aws.iot.lookoutvision.EdgeAgent.sock"}
 Component Name: aliensblogcpux86
    Version: 1.0.0
    State: RUNNING
    Configuration: {"Autostart":false}

모델에 대한 추론 실행

주의 사항: 로그인한 사용자가 아닌 다른 사용자로 Greengrass를 실행하는 경우 파일의 권한을 변경해야 합니다. /tmp/aws.iot.lookoutvision.EdgeAgent.sock:

chmod 666 /tmp/aws.iot.lookoutvision.EdgeAgent.sock

이제 모델에 대한 추론을 실행할 준비가 되었습니다. 에지 장치에서 다음 명령을 실행하여 모델을 로드합니다(교체 구성 요소에 사용된 모델 이름 포함):

# run command to load the model# This will load the model into running state pass
# the name of the model component as a parameter.
python3 warmup-model.py <modelName>

추론을 생성하려면 소스 파일 이름(바꾸기 확인하고 바꿀 이미지의 경로와 파일 이름으로 구성 요소에 사용된 모델 이름 포함):

python3 sample-client-file-mqtt.py </path/to/images> <modelName>

start client ['sample-client-file.py', 'aliens-dataset/anomaly/1.png', 'aliensblogcpux86']
channel set
shape=(380, 550, 3)
Image is anomalous, (90.05860090255737 % confidence) contains defects with total area over .1%: {'missing_limbs': '#FFFFFF'}

모델은 이미지를 비정상적인 것으로 올바르게 예측합니다(missing_limbs) 신뢰도 점수는 0.9996867775917053입니다. 이상 태그의 마스크를 알려줍니다. missing_limbs 및 백분율 영역. 응답에는 찾은 내용을 디코딩할 수 있는 비트맵 데이터도 포함되어 있습니다.

파일 다운로드 및 열기 blended.png, 다음 이미지와 같습니다. 다리 주변의 결함으로 강조 표시된 영역을 확인합니다.

고객 사례

AWS IoT Greengrass 및 Lookout for Vision을 사용하면 이제 품질 관리 및 결함 평가와 같은 프로세스에 대한 컴퓨터 비전을 사용하여 시각적 검사를 에지에서 실시간으로 자동화할 수 있습니다. 부품 손상(예: 찌그러짐, 긁힘 또는 용접 불량), 누락된 제품 구성 요소 또는 생산 라인 자체의 반복 패턴으로 인한 결함과 같은 문제를 사전에 식별하여 시간과 비용을 절약할 수 있습니다. Tyson 및 Baxter와 같은 고객은 시각적 검사를 자동화하여 품질을 높이고 운영 비용을 절감하는 Lookout for Vision의 힘을 발견하고 있습니다.

“운영 우수성은 Tyson Foods의 핵심 우선 순위입니다. 예측 유지보수는 전반적인 장비 효율성(OEE)을 지속적으로 개선하여 이 목표를 달성하는 데 필수적인 자산입니다. 2021년 Tyson Foods는 기계 학습 기반 컴퓨터 비전 프로젝트를 시작하여 생산 중 실패한 제품 캐리어를 식별하여 팀원의 안전, 운영 또는 제품 품질에 영향을 미치지 않도록 방지했습니다. Amazon Lookout for Vision을 사용하여 훈련된 모델은 잘 수행되었습니다. 핀 감지 모델은 두 클래스 모두에서 95%의 정확도를 달성했습니다. Amazon Lookout for Vision 모델은 핀 감지 실패에 대해 99.1% 정확도로 작동하도록 조정되었습니다. 지금까지 이 프로젝트의 가장 흥미로운 결과는 개발 시간의 가속화였습니다. 이 프로젝트는 두 가지 모델과 더 복잡한 애플리케이션 코드를 사용하지만 완료하는 데 개발자 시간이 12% 단축되었습니다. Tyson Foods에서 제품 운송업체의 상태를 모니터링하기 위한 이 프로젝트는 Amazon Lookout for Vision과 같은 AWS 관리 서비스를 사용하여 기록적인 시간에 완료되었습니다.”

—Audrey Timmerman, 수석 애플리케이션 개발자, Tyson Foods.

“대기 시간과 추론 속도는 제조 프로세스의 실시간 평가 및 중요한 품질 검사에 매우 중요합니다. CPU 장치의 Amazon Lookout for Vision edge는 프로덕션 등급 장비에서 이를 달성할 수 있는 능력을 제공하므로 비용 효율적인 AI 비전 솔루션을 대규모로 제공할 수 있습니다."

—AK Karan, 글로벌 수석 이사 – 디지털 혁신, 통합 공급망, Baxter International Inc.

대청소

계정에서 생성한 자산을 제거하고 지속적인 청구를 방지하려면 다음 단계를 완료하십시오.

1. Lookout for Vision 콘솔에서 프로젝트로 이동합니다.
2. 에 행위 메뉴에서 데이터세트를 삭제합니다.
   
3. 모델을 삭제합니다.
   
4. Amazon S3 콘솔에서 생성한 버킷을 비운 다음 버킷을 삭제합니다.
5. Amazon EC2 콘솔에서 AWS IoT Greengrass 실행을 시작한 인스턴스를 삭제합니다.
6. AWS IoT Greengrass 콘솔에서 다음을 선택합니다. 배포 탐색 창에서
7. 구성 요소 버전을 삭제합니다.
   
8. AWS IoT Greengrass 콘솔에서 AWS IoT 사물, 그룹 및 디바이스를 삭제합니다.

결론

이 게시물에서는 결함 위치 파악을 사용하여 에지에서 산업용 결함 감지를 위한 일반적인 시나리오를 설명하고 CPU 전용 장치에 배포했습니다. Lookout for Vision 및 AWS IoT Greengrass를 사용하는 종단 간 예제를 통해 클라우드 및 에지 수명 주기의 주요 구성 요소를 살펴보았습니다. Lookout for Vision을 사용하여 클라우드에서 이상 탐지 모델을 훈련했습니다. 장난감 외계인 데이터 세트, 모델을 대상 아키텍처로 컴파일하고 모델을 AWS IoT Greengrass 구성 요소로 패키징했습니다. AWS IoT Greengrass를 사용하여 모델을 엣지 디바이스에 배포했습니다. 에지 장치 로컬 파일 시스템에서 장난감 외계인 이미지를 소싱하고, gRPC 인터페이스를 사용하여 에지에서 Lookout for Vision 모델에 대한 추론을 실행하고, 추론 데이터를 AWS의 MQTT 주제로 보내는 Python 기반 샘플 애플리케이션을 시연했습니다. 구름.

향후 게시물에서는 GStreamer 미디어 파이프라인을 사용하여 이미지의 실시간 스트림에서 추론을 실행하는 방법을 보여줍니다.

다음을 방문하여 산업 이상 감지 및 식별을 향한 여정을 시작하십시오. 비전을위한 Amazon Lookout 및 AWS IoT 그린그래스 리소스 페이지.

저자 소개

마니쉬 탈레자 AWS Professional Services의 선임 산업 ML 실무 관리자입니다. 그는 AWS 클라우드에서 AWS ML 및 IoT 서비스를 사용하는 혁신적인 솔루션을 설계 및 구축하여 AWS 고객이 비즈니스 목표를 달성하도록 돕습니다.

라이언 밴더워프 Amazon Web Services의 파트너 솔루션 설계자입니다. 그는 이전에 Grails 및 Micronaut 팀의 OCI에서 소프트웨어 엔지니어로 Java 가상 머신 중심의 컨설팅 및 프로젝트 개발을 제공했습니다. 그는 ReachForce에서 마케팅 데이터 관리를 위한 AWS Cloud SaaS 솔루션의 소프트웨어 및 시스템 아키텍처에 중점을 둔 제품의 수석 설계자/이사였습니다. Ryan은 1996년부터 금융, 미디어, 통신 및 전자 학습 회사와 같은 여러 도메인에서 여러 SaaS 솔루션을 구축했습니다.

프라카시 크리슈난 Amazon Web Services의 선임 소프트웨어 개발 관리자입니다. 그는 딥 러닝 기반 이미지 및 비디오 인식 문제에 빠르고 효율적이며 확장성이 뛰어난 알고리즘을 적용하기 위해 대규모 분산 시스템을 구축하는 엔지니어링 팀을 이끌고 있습니다.