Amazon SageMaker Ground Truth Plus에서 클릭 몇 번으로 세분화 마스크 레이블 지정

Amazon SageMaker Ground Truth Plus 는 기계 학습(ML) 애플리케이션용 데이터에 쉽게 레이블을 지정할 수 있는 관리형 데이터 레이블 지정 서비스입니다. 일반적인 사용 사례 중 하나는 이미지의 개별 픽셀에 클래스 레이블을 할당하는 컴퓨터 비전 ML 기술인 시맨틱 분할입니다. 예를 들어 움직이는 차량에서 캡처한 비디오 프레임에서 클래스 레이블에는 차량, 보행자, 도로, 교통 신호, 건물 또는 배경이 포함될 수 있습니다. 이미지에서 다양한 물체의 위치에 대한 고정밀 이해를 제공하며 자율 차량 또는 로봇 공학을 위한 인식 시스템을 구축하는 데 자주 사용됩니다. 시맨틱 세분화를 위한 ML 모델을 구축하려면 먼저 픽셀 수준에서 많은 양의 데이터에 레이블을 지정해야 합니다. 이 라벨링 프로세스는 복잡합니다. 숙련된 라벨 작업자와 상당한 시간이 필요합니다. 일부 이미지는 정확하게 라벨을 지정하는 데 최대 2시간 이상이 소요될 수 있습니다!

2019년에 Auto-segment for Ground Truth라는 ML 기반 대화형 레이블 지정 도구를 출시했습니다. 고품질 분할 마스크를 쉽고 빠르게 생성할 수 있습니다. 자세한 내용은 다음을 참조하십시오. 자동 세분화 도구. 이 기능은 개체에서 위쪽, 왼쪽, 아래쪽 및 오른쪽의 "극단 지점"을 클릭할 수 있도록 함으로써 작동합니다. 백그라운드에서 실행되는 ML 모델은 이 사용자 입력을 수집하고 Ground Truth 라벨링 도구에서 즉시 렌더링되는 고품질 세분화 마스크를 반환합니다. 그러나 이 기능을 사용하면 네 번만 클릭할 수 있습니다. 경우에 따라 ML 생성 마스크는 가장자리가 불분명하거나 색상, 채도 또는 그림자가 주변과 혼합되는 개체 경계 주변과 같이 이미지의 특정 부분을 실수로 놓칠 수 있습니다.

유연한 수정 클릭 횟수로 극단적인 포인트 클릭

이제 ML 모델에 실시간 피드백을 제공하는 경계 지점을 추가로 클릭할 수 있도록 도구를 개선했습니다. 이렇게 하면 보다 정확한 세분화 마스크를 만들 수 있습니다. 다음 예에서는 그림자 근처의 경계가 약하기 때문에 초기 분할 결과가 정확하지 않습니다. 중요한 점은 이 도구가 실시간 피드백을 허용하는 모드에서 작동한다는 것입니다. 즉, 모든 지점을 한 번에 지정할 필요가 없습니다. 대신, 먼저 XNUMX번의 마우스 클릭을 할 수 있으며, 그러면 ML 모델이 세분화 마스크를 생성하도록 트리거됩니다. 그런 다음 이 마스크를 검사하고 잠재적인 부정확성을 찾은 다음 적절한 추가 클릭을 배치하여 모델을 올바른 결과로 "조작"할 수 있습니다.

이전 레이블 지정 도구를 사용하면 정확히 XNUMX번의 마우스 클릭(빨간색 점)을 배치할 수 있었습니다. 초기 분할 결과(빨간색 음영 영역)는 그림자(빨간색 마스크의 왼쪽 아래) 근처의 약한 경계로 인해 정확하지 않습니다.

향상된 라벨링 도구를 사용하여 사용자는 다시 먼저 네 번의 마우스 클릭을 합니다(상단 그림의 빨간색 점). 그런 다음 결과 세그멘테이션 마스크를 검사할 기회가 있습니다(상단 그림에서 음영 처리된 빨간색 영역). 추가 마우스 클릭(하단 그림의 녹색 점)을 통해 모델이 마스크(하단 그림의 음영 처리된 빨간색 영역)를 미세 조정하도록 할 수 있습니다.

도구의 원래 버전과 비교할 때 향상된 버전은 개체가 변형 가능하고 볼록하지 않으며 모양과 모양이 다를 때 향상된 결과를 제공합니다.

우리는 세그먼테이션 마스크를 생성하기 위해 먼저 기준 도구(단 100번의 극단적인 클릭)를 실행하여 샘플 데이터에 대한 이 개선된 도구의 성능을 시뮬레이션하고 세그멘테이션 마스크의 일반적인 정확도 측정인 평균 mIoU(Intersection over Union)를 평가했습니다. 그런 다음 시뮬레이션된 수정 클릭을 적용하고 각 시뮬레이션 클릭 후 mIoU의 개선을 평가했습니다. 다음 표에 이러한 결과가 요약되어 있습니다. 첫 번째 행은 mIoU를 표시하고 두 번째 행은 오류를 표시합니다(9%에서 mIoU를 뺀 값). 단 XNUMX번의 추가 마우스 클릭으로 이 작업에 대한 오류를 XNUMX%까지 줄일 수 있습니다!

.	.	수정 클릭 수	.
.	기준	1	2	3	4	5
미우	72.72	76.56	77.62	78.89	80.57	81.73
오류	27%	23%	22%	21%	19%	18%

Ground Truth 및 성능 프로파일링과 통합

이 모델을 Ground Truth와 통합하기 위해 다음 다이어그램에 표시된 대로 표준 아키텍처 패턴을 따릅니다. 먼저 ML 모델을 Docker 이미지로 빌드하고 배포합니다. Amazon Elastic Container Registry (Amazon ECR) - 컨테이너 이미지를 쉽게 저장, 공유 및 배포할 수 있게 해주는 완전관리형 Docker 컨테이너 레지스트리입니다. 사용하여 SageMaker 추론 툴킷 Docker 이미지를 빌드할 때 모델 제공에 대한 모범 사례를 쉽게 사용하고 지연 시간이 짧은 추론을 달성할 수 있습니다. 그런 다음 아마존 세이지 메이커 모델을 호스팅하는 실시간 엔드포인트. 우리는 AWS 람다 다양한 유형의 데이터 변환을 제공하기 위해 SageMaker 끝점 앞에서 프록시로 작동합니다. 마지막으로, 우리는 아마존 API 게이트웨이 백엔드에 보안 인증을 제공하기 위해 프런트 엔드인 Ground Truth 라벨링 애플리케이션과 통합하는 방법입니다.

특수 제작된 ML 도구에 대한 고유한 사용 사례에 대해 이 일반 패턴을 따르고 이를 사용자 지정 Ground Truth 작업 UI와 통합할 수 있습니다. 자세한 내용은 다음을 참조하십시오. Amazon SageMaker Ground Truth로 맞춤형 데이터 라벨링 워크 플로우 구축.

이 아키텍처를 프로비저닝하고 다음을 사용하여 모델을 배포한 후 AWS 클라우드 개발 키트 (AWS CDK), 다양한 SageMaker 인스턴스 유형을 사용하여 모델의 지연 시간 특성을 평가했습니다. SageMaker 실시간 추론 엔드포인트를 사용하여 모델을 제공하기 때문에 매우 간단합니다. SageMaker 실시간 추론 엔드포인트는 다음과 원활하게 통합됩니다. 아마존 클라우드 워치 필요한 설정 없이 메모리 사용률 및 모델 대기 시간과 같은 메트릭을 내보냅니다(참조 SageMaker 끝점 호출 메트릭 상세 사항은).

다음 그림에서는 SageMaker 실시간 추론 엔드포인트에서 기본적으로 내보낸 ModelLatency 지표를 보여줍니다. CloudWatch에서 다양한 메트릭 수학 함수를 사용하여 p50 또는 p90 지연 시간과 같은 지연 백분위수를 쉽게 표시할 수 있습니다.

다음 표에는 p2.xlarge, p3.2xlarge 및 g4dn.xlarge의 세 가지 인스턴스 유형에 대한 시맨틱 분할을 위한 향상된 익스트림 클릭 도구에 대한 이러한 결과가 요약되어 있습니다. p3.2xlarge 인스턴스는 가장 낮은 지연 시간을 제공하지만 g4dn.xlarge 인스턴스는 최고의 비용 대비 성능 비율을 제공합니다. g4dn.xlarge 인스턴스는 p8xlarge 인스턴스보다 35% 더 느리지만(3.2밀리초) 시간당 비용은 p81xlarge보다 3.2% 저렴합니다(참조: Amazon SageMaker 요금 SageMaker 인스턴스 유형 및 요금에 대한 자세한 내용은 참조).

	SageMaker 인스턴스 유형	p90 대기 시간(밀리초)
1	p2.xlarge	751
2	p3.2xlarge	424
3	g4dn.xlarge	459

결론

이 게시물에서는 시맨틱 분할 주석 작업을 위한 Ground Truth 자동 세그먼트 기능에 대한 확장을 소개했습니다. 도구의 원래 버전을 사용하면 정확히 XNUMX번의 마우스 클릭을 수행하여 모델이 고품질 분할 마스크를 제공하도록 트리거하는 반면, 확장 프로그램을 사용하면 수정 클릭을 수행하여 더 나은 예측을 위해 ML 모델을 업데이트하고 안내할 수 있습니다. 대화형 도구를 배포하고 Ground Truth 레이블 지정 UI에 통합하는 데 사용할 수 있는 기본 아키텍처 패턴도 제시했습니다. 마지막으로 모델 대기 시간을 요약하고 SageMaker 실시간 추론 엔드포인트를 사용하여 모델 성능을 쉽게 모니터링하는 방법을 보여주었습니다.

이 도구가 라벨링 비용을 줄이고 정확도를 높이는 방법에 대해 자세히 알아보려면 다음을 방문하십시오. Amazon SageMaker 데이터 라벨링 오늘 상담을 시작합니다.

---

저자 소개

조나단 벅 기계 학습과 분산 시스템의 교차점에서 일하는 Amazon Web Services의 소프트웨어 엔지니어입니다. 그의 작업에는 머신 러닝 모델을 생산하고 머신 러닝으로 구동되는 새로운 소프트웨어 애플리케이션을 개발하여 고객에게 최신 기능을 제공하는 것이 포함됩니다.

리 에란 리 휴먼 인 더 루프 서비스, AWS AI, Amazon의 응용 과학 관리자입니다. 그의 연구 관심사는 3D 딥 러닝, 비전 및 언어 표현 학습입니다. 이전에는 Alexa AI의 수석 과학자, Scale AI의 기계 학습 책임자 및 Pony.ai의 수석 과학자였습니다. 그 전에는 Uber ATG의 인식 팀과 Uber의 기계 학습 플랫폼 팀에서 자율 주행을 위한 기계 학습, 기계 학습 시스템 및 AI의 전략적 이니셔티브를 담당했습니다. 그는 Bell Labs에서 경력을 시작했으며 Columbia University의 겸임 교수였습니다. 그는 ICML'17 및 ICCV'19에서 자습서를 공동 강의했으며 NeurIPS, ICML, CVPR, ICCV에서 자율 주행, 3D 비전 및 로봇 공학, 기계 학습 시스템 및 적대적 기계 학습을 위한 기계 학습에 대한 여러 워크샵을 공동 조직했습니다. 그는 Cornell University에서 컴퓨터 과학 박사 학위를 받았습니다. 그는 ACM 펠로우이자 IEEE 펠로우입니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/