Amazon Rekognition Custom Labels 및 Dassault Systèmes 3DEXCITE와 함께 합성 데이터 세트를 사용하는 컴퓨터 비전

이 게시물은 Storm Reply의 CTO인 Bernard Paques와 Dassault Systèmes 3DExcite의 수석 전략가인 Karl Herkt와 공동으로 작성한 게시물입니다.

컴퓨터 비전은 산업 유지 관리, 제조, 물류 및 소비자 애플리케이션에 중요할 수 있지만 훈련 데이터 세트를 수동으로 생성하기 때문에 채택이 제한됩니다. 산업적 맥락에서 라벨이 붙은 사진의 생성은 주로 수동으로 이루어지므로 인식 기능이 제한되고 확장되지 않으며 인건비와 비즈니스 가치 실현이 지연됩니다. 이는 제품 설계, 제품 엔지니어링 및 제품 구성의 신속한 반복이 제공하는 비즈니스 민첩성에 어긋납니다. 이 프로세스는 자동차, 비행기 또는 현대식 건물과 같은 복잡한 제품의 경우 확장되지 않습니다. 이러한 시나리오에서 모든 라벨링 프로젝트는 고유하기 때문입니다(고유한 제품과 관련됨). 결과적으로 컴퓨터 비전 기술은 데이터 준비에 많은 노력 없이는 대규모 고유 프로젝트에 쉽게 적용할 수 없으며 때로는 사용 사례 전달을 제한합니다.

이 게시물에서는 고도로 전문화된 컴퓨터 비전 시스템이 설계 및 CAD 파일에서 생성되는 새로운 접근 방식을 제시합니다. 시각적으로 정확한 디지털 트윈 생성과 합성 레이블 이미지 생성으로 시작합니다. 그런 다음 이 이미지를 Amazon Rekognition 사용자 지정 레이블 사용자 지정 개체 감지 모델을 훈련합니다. 소프트웨어와 함께 기존 지적 재산을 사용함으로써 우리는 컴퓨터 비전을 경제적이고 다양한 산업적 맥락에 적절하게 만들고 있습니다.

인식 시스템의 맞춤화는 비즈니스 성과를 이끌어내는 데 도움이 됩니다.

디지털 트윈에서 생산된 특수 컴퓨터 비전 시스템에는 다음 사용 사례에서 설명할 수 있는 특정 장점이 있습니다.

• 고유한 제품에 대한 추적 가능성 – Airbus, Boeing 및 기타 항공기 제조업체는 고유한 할당 제조업체 일련 번호(MSN)을 생산하는 모든 항공기에 제공합니다. 이는 생산 전 과정에 걸쳐 관리되어 감항 문서 그리고 비행 허가를 얻습니다. ㅏ 디지털 트윈 (물리적 제품을 나타내는 가상 3D 모델)은 각 MSN의 구성에서 파생될 수 있으며 산업 시설 전반에 걸쳐 이 MSN의 진행 상황을 추적하는 분산 컴퓨터 비전 시스템을 생성합니다. 맞춤형 인식은 항공사에 제공되는 투명성을 자동화하고 항공사에서 수동으로 수행하는 대부분의 체크포인트를 대체합니다. 고유한 제품에 대한 자동화된 품질 보증은 항공기, 자동차, 건물 및 공예품 생산에도 적용될 수 있습니다.
• 상황에 맞는 증강 현실 – 전문가 수준의 컴퓨터 비전 시스템은 제한된 경관을 관찰할 수 있지만 식별 능력은 더 높습니다. 예를 들어, 산업 유지 보수에서 그림에서 드라이버를 찾는 것은 쓸모가 없습니다. 드라이버 모델 또는 일련 번호를 식별해야 합니다. 이러한 제한된 컨텍스트에서 사용자 지정 인식 시스템은 검색 결과에 더 관련성이 높기 때문에 일반 인식 시스템보다 성능이 뛰어납니다. 맞춤형 인식 시스템은 다음을 통해 정확한 피드백 루프를 가능하게 합니다. 전용 증강 현실 HMI 또는 모바일 장치로 제공됩니다.
• 엔드 투 엔드 품질 관리 –와 시스템 공학, 부분 구성의 디지털 트윈을 생성하고 제조 및 생산 프로세스의 다양한 단계에 적응하는 컴퓨터 비전 시스템을 생성할 수 있습니다. 시각적 제어는 제조 워크스테이션과 얽혀 있어 종단 간 검사 및 결함의 조기 감지를 가능하게 합니다. 사용자 정의 인식 종단 간 검사를 위해 조립 라인에 결함이 연속적으로 발생하는 것을 효과적으로 방지합니다. 불량률을 줄이고 생산량을 극대화하는 것이 궁극적인 목표입니다.
• 유연한 품질 검사 – 현대의 품질 검사는 설계 변형과 유연한 제조에 적응해야 합니다. 디자인의 변형은 제품 사용 및 제품 유지 관리에 대한 피드백 루프에서 비롯됩니다. 유연한 제조 주문 생산 전략의 핵심 기능이며 비용 최적화의 린 제조 원칙과 일치합니다. 설계 변형 및 구성 옵션을 디지털 트윈에 통합함으로써 맞춤형 인식을 통해 컴퓨터 비전 시스템을 생산 계획 및 설계 변형에 동적으로 조정할 수 있습니다.

Amazon Rekognition 기반 Dassault Systèmes 3DEXCITE로 컴퓨터 비전 향상

유럽에서 두 번째로 큰 소프트웨어 편집자이자 디지털 트윈에 대한 깊은 전문 지식을 보유한 Dassault Systèmes 내에서 3DEXCITE 팀은 다른 길을 모색하고 있습니다. Karl Herkt가 설명했듯이 "합성 이미지에서 훈련된 신경 모델이 물리적 제품을 인식할 수 있다면 어떨까요?" 3DEXCITE는 자사의 기술을 AWS 인프라와 결합하여 이 문제를 해결하여 이 독특한 접근 방식의 타당성을 입증했습니다. 로도 알려져 있습니다. 도메인 간 개체 감지여기서 탐지 모델은 소스 도메인(합성 이미지)의 레이블이 지정된 이미지에서 학습하고 레이블이 지정되지 않은 대상 도메인(물리적 구성요소)에 대한 예측을 수행합니다.

Dassault Systèmes 3DEXCITE와 AWS Prototyping 팀은 산업용 기어박스의 일부를 인식하는 데모 시스템을 구축하기 위해 힘을 합쳤습니다. 이 프로토타입은 3주 만에 제작되었으며 훈련된 모델은 98% F1 점수를 달성했습니다. 인식 모델은 실제 부품의 사진이 없는 소프트웨어 파이프라인에서 완전히 훈련되었습니다. 3DEXCITE는 산업용 기어박스의 설계 및 CAD 파일에서 시각적으로 정확한 디지털 트윈을 생성했습니다. 그들은 또한 디지털 트윈에서 수천 개의 레이블이 붙은 합성 이미지를 생성했습니다. 그런 다음 Rekognition Custom Labels를 사용하여 이러한 이미지에서 고도로 전문화된 신경 모델을 훈련하고 관련 인식 API를 제공했습니다. 그들은 모든 웹캠에서 기어박스의 물리적 부분 중 하나를 인식할 수 있도록 웹사이트를 구축했습니다.

아마존 인식 딥 러닝 기술을 사용하여 머신 러닝(ML) 전문 지식 없이도 물체, 사람, 텍스트, 장면, 활동 및 잠재적으로 부적절한 콘텐츠 식별을 포함하여 이미지와 비디오에서 의미 있는 메타데이터를 추출할 수 있는 AI 서비스입니다. Amazon Rekognition은 또한 매우 정확한 얼굴 분석 및 얼굴 검색 기능을 제공하여 다양한 사용자 확인, 인원 수 계산 및 안전 사용 사례에서 얼굴을 감지, 분석 및 비교하는 데 사용할 수 있습니다. 마지막으로 Rekognition Custom Labels를 사용하면 자체 데이터를 사용하여 객체 감지 및 이미지 분류 모델을 구축할 수 있습니다.

합성 라벨 이미지 생성을 위한 Dassault Systèmes 기술과 컴퓨터 비전용 Rekognition Custom Labels의 결합은 인식 시스템을 위한 확장 가능한 워크플로우를 제공합니다. Rekognition Custom Labels를 전체 소프트웨어 파이프라인에 추가하는 것이 어렵지 않고 API를 워크플로에 통합하는 것만큼 간단하기 때문에 사용 편의성은 여기서 중요한 긍정적인 요소입니다. ML 과학자가 될 필요는 없습니다. 캡처한 프레임을 AWS로 보내고 데이터베이스에 입력하거나 웹 브라우저에 표시할 수 있는 결과를 수신하기만 하면 됩니다.

이것은 훈련 데이터 세트의 수동 생성에 비해 극적인 개선을 더욱 강조합니다. 값비싼 불필요한 작업 시간 없이 더 빠르고 정확하게 더 나은 결과를 얻을 수 있습니다. 수많은 잠재적 사용 사례에서 Dassault Systèmes와 Rekognition Custom Labels의 조합은 오늘날의 비즈니스에 중요하고 즉각적인 ROI를 제공할 수 있는 잠재력을 가지고 있습니다.

솔루션 개요

이 솔루션의 첫 번째 단계는 훈련 데이터 세트를 생성하는 이미지를 렌더링하는 것입니다. 이것은 3DEXCITE 플랫폼에 의해 수행됩니다. 스크립트를 사용하여 프로그래밍 방식으로 레이블링 데이터를 생성할 수 있습니다. 아마존 세이지 메이커 그라운드 진실 분류 및 물체 감지 작업을 위해 이미지와 비디오에 쉽게 레이블을 지정할 수 있는 주석 도구를 제공합니다. Amazon Rekognition에서 모델을 교육하려면 레이블 지정 파일이 Ground Truth 형식을 준수해야 합니다. 이러한 레이블은 이미지 크기, 경계 상자 좌표 및 클래스 ID와 같은 정보를 포함하여 JSON 형식입니다.

그런 다음 합성 이미지와 매니페스트를 아마존 단순 스토리지 서비스 (Amazon S3), 여기서 Rekognition Custom Labels는 교육 데이터 세트의 구성 요소로 가져올 수 있습니다.

Rekognition Custom Labels가 실제 구성 요소 이미지 세트와 모델을 테스트할 수 있도록 카메라로 찍은 실제 엔진 부품의 사진 세트를 제공하고 테스트 데이터 세트로 사용할 Amazon S3에 업로드합니다.

마지막으로, Rekognition Custom Labels는 합성 훈련 데이터 세트와 실제 물체의 사진으로 구성된 테스트 데이터 세트를 사용하여 최고의 물체 감지 모델을 훈련하고, 우리 애플리케이션에서 물체 인식을 실행하는 데 사용할 수 있는 모델로 끝점을 만듭니다.

다음 다이어그램은 솔루션 워크플로를 보여줍니다.

합성 이미지 생성

합성 이미지는 다쏘시스템의 제품인 3Dexperience 플랫폼에서 생성됩니다. 이 플랫폼을 사용하면 개체의 CAD(Computer-Aided Design) 파일을 기반으로 사실적인 이미지를 만들고 렌더링할 수 있습니다. 플랫폼에서 이미지 변환 구성을 변경하여 몇 시간 만에 수천 개의 변형을 생성할 수 있습니다.

이 프로토타입에서는 물체 감지를 위해 시각적으로 구별되는 다음 다섯 가지 기어박스 부품을 선택했습니다. 여기에는 기어 하우징, 기어비, 베어링 커버, 플랜지 및 웜 기어가 포함됩니다.

우리는 이미지 다양성을 높이고 합성 데이터를 보다 사실적으로 만들기 위해 다음 데이터 증대 방법을 사용했습니다. 모델 일반화 오류를 줄이는 데 도움이 됩니다.

• 확대 / 축소 – 이 방법은 이미지의 개체를 무작위로 확대하거나 축소합니다.
• 회전 – 이 방법은 이미지에서 물체를 회전시키며 가상 카메라가 물체를 360도 각도에서 무작위로 사진을 찍는 것처럼 보입니다.
• 재료의 모양과 느낌 개선 – 일부 기어 부품의 경우 재료의 모양이 초기 렌더링에서 덜 사실적임을 확인했습니다. 합성 이미지를 향상시키기 위해 금속성 효과를 추가했습니다.
• 다양한 조명 설정 사용 – 이 프로토타입에서는 두 가지 조명 조건을 시뮬레이션했습니다.
  • 창고 – 사실적인 배광. 그림자와 반사가 가능합니다.
  • Studio - 물체 전체에 균일한 빛을 둡니다. 이것은 현실적이지 않지만 그림자나 반사가 없습니다.
• 객체가 실시간으로 어떻게 보이는지에 대한 현실적인 위치 사용 – 실생활에서 플랜지와 베어링 커버와 같은 일부 객체는 일반적으로 표면에 배치되며 모델은 상단 및 하단 면을 기반으로 객체를 감지합니다. 따라서 모서리 위치라고도 하는 부품의 얇은 모서리를 보여주는 훈련 이미지를 제거하고 평평한 위치에 있는 물체의 이미지를 늘렸습니다.
• 하나의 이미지에 여러 개체 추가 – 실제 시나리오에서는 여러 기어 부품이 모두 하나의 보기에 나타날 수 있으므로 여러 기어 부품이 포함된 이미지를 준비했습니다.

3Dexperience 플랫폼에서 이미지에 다양한 배경을 적용하여 이미지 다양성을 더욱 높일 수 있습니다. 시간 제한으로 인해 이 프로토타입에서는 구현하지 않았습니다.

합성 훈련 데이터 세트 가져오기

ML에서 레이블이 지정된 데이터는 학습 데이터가 목표를 표시하도록 주석 처리됨을 의미하며, 이는 ML 모델이 예측하기를 원하는 답입니다. Rekognition Custom Labels에서 사용할 수 있는 레이블이 지정된 데이터는 Ground Truth 매니페스트 파일 요구 사항을 준수해야 합니다. 매니페스트 파일은 하나 이상의 JSON 라인으로 구성됩니다. 각 줄에는 단일 이미지에 대한 정보가 포함됩니다. 합성 훈련 데이터의 경우 앞서 언급한 CAD 파일 및 이미지 변환 구성을 기반으로 프로그래밍 방식으로 라벨링 정보를 생성할 수 있으므로 라벨링 작업에 드는 수작업을 크게 줄일 수 있습니다. 파일 형식 레이블 지정에 대한 요구 사항에 대한 자세한 내용은 다음을 참조하십시오. 매니페스트 파일 만들기 와 매니페스트 파일의 개체 현지화. 다음은 이미지 라벨링의 예입니다.

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

매니페스트 파일이 준비되면 S3 버킷에 업로드한 다음 옵션을 선택하여 Rekognition Custom Labels에서 교육 데이터 세트를 생성합니다. Amazon SageMaker Ground Truth에서 레이블이 지정된 이미지 가져 오기.

매니페스트 파일을 가져온 후 Amazon Rekognition 콘솔에서 레이블 지정 정보를 시각적으로 볼 수 있습니다. 이렇게 하면 매니페스트 파일이 생성되고 가져왔는지 확인하는 데 도움이 됩니다. 보다 구체적으로, 경계 상자는 이미지의 개체와 정렬되어야 하고 개체의 클래스 ID가 올바르게 할당되어야 합니다.

테스트 데이터세트 만들기

테스트 이미지는 실제 시나리오에 대해 합성 데이터를 사용하여 훈련한 모델 정확도를 검증하기 위해 다양한 각도와 조명 조건에서 전화 또는 카메라로 실제 캡처됩니다. 이러한 테스트 이미지를 S3 버킷에 업로드한 다음 Rekognition Custom Labels에서 데이터 세트로 가져올 수 있습니다. 또는 로컬 시스템에서 데이터세트로 직접 업로드할 수 있습니다.

Rekognition Custom Labels는 기본 제공 이미지 주석 기능을 제공하며, 이는 Ground Truth와 유사한 경험을 제공합니다. 테스트 데이터를 가져올 때 라벨링 작업을 시작할 수 있습니다. 객체 감지 사용 사례의 경우 경계 상자는 관심 객체 주위에 밀접하게 생성되어야 하며, 이는 모델이 대상 객체에 속하는 영역과 픽셀을 정확하게 학습하는 데 도움이 됩니다. 또한 부분적으로 보이지 않거나 다른 개체에 의해 가려진 경우에도 모든 이미지에서 대상 개체의 모든 인스턴스에 레이블을 지정해야 합니다. 그렇지 않으면 모델이 더 많은 거짓 음성을 예측합니다.

도메인 간 개체 감지 모델 만들기

Rekognition Custom Labels는 완전 관리형 서비스입니다. 학습 데이터 세트와 테스트 데이터 세트만 제공하면 됩니다. 일련의 모델을 훈련하고 제공된 데이터를 기반으로 가장 성능이 좋은 모델을 선택합니다. 이 프로토타입에서 앞에서 언급한 이미지 증대 방법의 다양한 조합을 실험하여 합성 훈련 데이터 세트를 반복적으로 준비합니다. Rekognition Custom Labels의 각 교육 데이터 세트에 대해 하나의 모델이 생성되어 특히 이 사용 사례에 대한 최적의 교육 데이터 세트를 비교하고 찾을 수 있습니다. 각 모델에는 최소한의 훈련 이미지가 있고 좋은 이미지 다양성이 포함되어 있으며 최고의 모델 정확도를 제공합니다. 15번의 반복 후에 우리는 평균 객체당 1개의 이미지인 약 98개의 합성 훈련 이미지를 사용하여 10,000% 모델 정확도의 F2,000 점수를 달성했습니다.

모델 추론 결과

다음 이미지는 실시간 추론 애플리케이션에서 사용되는 Amazon Rekognition 모델을 보여줍니다. 모든 구성 요소는 높은 신뢰도로 올바르게 감지됩니다.

결론

이 게시물에서 우리는 순수 합성 이미지로 컴퓨터 비전 모델을 훈련하는 방법과 모델이 실제 객체를 여전히 안정적으로 인식할 수 있는 방법을 보여주었습니다. 이렇게 하면 훈련 데이터를 수집하고 레이블을 지정하는 수작업을 크게 줄일 수 있습니다. 이 탐색을 통해 Dassault Systèmes는 디자이너와 엔지니어가 만든 3D 제품 모델의 비즈니스 가치를 확장하고 있습니다. 이제 CAD, CAE 및 PLM 데이터를 실제 세계의 이미지 인식 시스템에서 사용할 수 있기 때문입니다.

Rekognition Custom Labels의 주요 기능 및 사용 사례에 대한 자세한 내용은 다음을 참조하십시오. Amazon Rekognition 사용자 지정 레이블. 이 프로젝트의 경우처럼 이미지에 기본적으로 Ground Truth로 레이블이 지정되지 않은 경우 다음을 참조하십시오. 매니페스트 파일 만들기 레이블 데이터를 Rekognition Custom Labels가 사용할 수 있는 형식으로 변환합니다.

저자에 관하여

우디 보라치노 현재 AWS의 수석 기계 학습 전문가 솔루션 아키텍트입니다. 이탈리아 밀라노에 기반을 두고 있는 Woody는 2015년 AWS에 합류하기 전에 소프트웨어 개발 분야에서 일했으며, 그곳에서 그는 AR/VR/XR(Computer Vision and Spatial Computing) 기술에 대한 열정으로 성장했습니다. 그의 열정은 이제 메타버스 혁신에 집중되어 있습니다. 그를 따라 링크드 인.

잉허우, PhD는 AWS의 기계 학습 프로토타입 설계자입니다. 그녀의 주요 관심 분야는 딥 러닝, 컴퓨터 비전, NLP 및 시계열 데이터 예측입니다. 여가 시간에는 소설 읽기와 영국 국립공원 하이킹을 즐깁니다.

베르나르 파케스 현재 AWS에 배포된 산업 솔루션에 중점을 둔 Storm Reply의 CTO입니다. 프랑스 파리에 기반을 둔 Bernard는 이전에 AWS에서 수석 솔루션 설계자 및 수석 컨설턴트로 근무했습니다. 엔터프라이즈 현대화에 대한 그의 공헌은 AWS for Industrial, AWS CDK를 포함하며 이제 이러한 것들이 Green IT 및 음성 기반 시스템으로 이어집니다. 그를 따라 트위터.

칼 헤르크트 현재 Dassault Systèmes 3DExcite의 수석 전략가입니다. 독일 뮌헨에 기반을 두고 있는 그는 실질적인 결과를 제공하는 혁신적인 컴퓨터 비전 구현을 만듭니다. 그를 따라 링크드인.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/