코드가 필요 없는 시각적 도구로 데이터 레이블을 검사하여 Amazon SageMaker Ground Truth Plus로 고품질 교육 데이터 세트 생성

AWS re:Invent 2021에서 출시된 Amazon SageMaker Ground Truth Plus 데이터 라벨링 애플리케이션 구축 및 라벨링 인력 관리와 관련된 획일적인 부담을 제거하여 고품질 교육 데이터 세트를 생성하는 데 도움이 됩니다. 사용자가 해야 할 일은 라벨링 요구 사항과 함께 데이터를 공유하는 것뿐입니다. Ground Truth Plus는 이러한 요구 사항에 따라 데이터 라벨링 워크플로를 설정하고 관리합니다. 여기에서 다양한 머신러닝(ML) 작업에 대한 교육을 받은 전문 인력이 데이터 라벨링을 수행합니다. Ground Truth Plus를 사용하기 위해 심층적인 ML 전문 지식이나 워크플로 설계 및 품질 관리에 대한 지식이 필요하지도 않습니다.

ML 알고리즘을 위한 고품질 교육 데이터 세트를 구축하는 것은 반복적인 프로세스입니다. ML 실무자는 정확하게 레이블이 지정된 데이터가 ML 모델 품질에 중요하기 때문에 데이터 레이블을 검사하기 위해 맞춤형 시스템을 구축하는 경우가 많습니다. 고품질 교육 데이터를 얻을 수 있도록 Ground Truth Plus는 데이터 레이블의 품질을 검사하고 레이블이 데이터를 정확하게 나타낼 때까지 데이터 레이블에 대한 피드백을 제공하는 내장 사용자 인터페이스(검토 UI)를 제공합니다. 사실, 즉 현실 세계에서 직접적으로 관찰할 수 있는 것.

이 게시물에서는 프로젝트 팀을 만들고 검토 UI 도구에 내장된 몇 가지 새로운 기능을 사용하여 레이블이 지정된 데이터 세트의 검사를 효율적으로 완료하는 단계를 안내합니다. 이 연습에서는 활성 Ground Truth Plus 레이블 지정 프로젝트가 있다고 가정합니다. 자세한 내용은 다음을 참조하세요. Amazon SageMaker Ground Truth Plus – 코드 또는 사내 리소스 없이 교육 데이터 세트 생성.

프로젝트 팀 설정

프로젝트 팀은 검토 UI 도구를 사용하여 데이터 레이블을 검사할 수 있도록 조직의 구성원에게 액세스를 제공합니다. 프로젝트 팀을 구성하려면 다음 단계를 완료하세요.

1. On the Ground Truth Plus 콘솔선택한다. 프로젝트 팀 만들기.
2. 선택 새로운 Amazon Cognito 사용자 그룹 생성 . 기존에 이미 가지고 있는 경우 아마존 코 그니 토 사용자 그룹에서 회원 가져오기 옵션을 선택합니다.
3. 럭셔리 Amazon Cognito 사용자 그룹 이름, 이름을 입력하세요. 이 이름은 변경할 수 없습니다.
4. 럭셔리 이메일 주소에서 최대 50명의 팀원의 이메일 주소를 쉼표로 구분하여 입력하세요.
5. 왼쪽 메뉴에서 프로젝트 팀 만들기.

귀하의 팀원은 Ground Truth Plus 프로젝트 팀에 참여하도록 초대하는 이메일을 받게 됩니다. 여기에서 Ground Truth Plus 프로젝트 포털에 로그인하여 데이터 레이블을 검토할 수 있습니다.

라벨이 지정된 데이터 세트 품질 검사

이제 다음을 사용하여 비디오 객체 추적 예제를 살펴보겠습니다. CBCL 거리 장면 데이터 세트.

배치의 데이터에 레이블이 지정되면 배치는 다음과 같이 표시됩니다. 검토 준비 완료.

배치를 선택하고 배치 검토. 검토 UI로 리디렉션됩니다. 검토하는 각 배치에 대해 서로 다른 샘플링 속도를 선택할 수 있는 유연성이 있습니다. 예를 들어, 예시 배치에는 총 XNUMX개의 비디오가 있습니다. 이 XNUMX개의 비디오 중 일부만 검토할지 아니면 모두 검토할지 지정할 수 있습니다.

이제 더 빠른 속도로 레이블이 지정된 데이터 세트의 품질을 검사하고 품질에 대한 피드백을 제공하는 데 도움이 되는 검토 UI 내의 다양한 기능을 살펴보겠습니다.

• 라벨 카테고리를 기준으로 라벨 필터링 – 검토 UI 내 오른쪽 창에서 라벨 카테고리를 기준으로 라벨을 필터링할 수 있습니다. 이 기능은 라벨 카테고리가 여러 개 있는 경우에 유용합니다(예: Vehicles, Pedestrians및 Poles)가 밀집된 데이터세트 개체에 있고 한 번에 하나의 라벨 카테고리에 대한 라벨을 보려는 경우입니다. 예를 들어, Car 라벨 카테고리. 들어가다 Car 해당 유형의 모든 주석을 필터링하려면 오른쪽 창의 레이블 카테고리를 선택하세요. Car. 다음 스크린샷은 필터 적용 전후의 검토 UI 보기를 보여줍니다.
  
• 오버레이 관련 주석이 달린 속성 값 – 각 라벨에는 주석을 추가할 속성을 할당할 수 있습니다. 예를 들어 라벨 카테고리의 경우 Car , 작업자에게 주석도 달도록 요청하고 싶다고 가정해 보겠습니다. Color  과 Occlusion 각 레이블 인스턴스의 속성입니다. Review UI를 로드하면 오른쪽 창의 각 라벨 인스턴스 아래에 해당 속성이 표시됩니다. 하지만 이러한 속성 주석을 이미지에서 직접 보고 싶다면 어떻게 해야 할까요? 라벨을 선택하세요. Car:1 , 그리고 다음에 대한 속성 주석을 오버레이합니다. Car:1 , 당신이 누르세요 Ctrl + A.
  이제 주석이 표시됩니다. Dark Blue 위한 Color 속성 및 주석 None 위한 Occlusion 옆의 이미지에 직접 표시된 속성 Car:1 경계 상자. 이제 쉽게 확인할 수 있습니다. Car:1 로 표시되었다 Dark Blue위치를 찾는 대신 이미지를 보는 것만으로도 폐색이 없습니다. Car:1 속성 주석을 보려면 오른쪽 창에서
  
• 음반사 수준에서 피드백 남기기 – 각 라벨에 대해 해당 라벨의 라벨 수준에서 피드백을 남길 수 있습니다. 라벨 피드백 자유 문자열 속성. 예를 들어, 이 이미지에서는 Car:1 진한 파란색보다 검정색에 더 가까워 보입니다. 이 불일치를 다음에 대한 피드백으로 전달할 수 있습니다. Car:1 를 사용하여 라벨 피드백 해당 프레임의 해당 레이블에 대한 설명을 추적하는 필드입니다. 내부 품질 관리 팀은 이 피드백을 검토하고 주석 프로세스 및 라벨 정책에 대한 변경 사항을 도입하고 필요에 따라 주석 작성자를 교육합니다.
  
• 프레임 수준에서 피드백 남기기 – 마찬가지로 각 프레임에 대해 해당 프레임 아래의 프레임 수준에 피드백을 남길 수 있습니다. 프레임 피드백 자유 문자열 속성. 이 경우에 대한 주석은 Car 과 Pedestrian 클래스는 이 프레임에서 정확하고 잘 구현된 것처럼 보입니다. 다음을 사용하여 이러한 긍정적인 피드백을 전달할 수 있습니다. 피드백을 제공하다 필드에 입력하면 귀하의 의견이 이 프레임에 연결됩니다.
  
• 주석 피드백을 다른 프레임에 복사 – 해당 속성을 마우스 오른쪽 버튼으로 클릭하면 레이블 수준 및 프레임 수준 피드백을 모두 다른 프레임에 복사할 수 있습니다. 이 기능은 해당 레이블의 프레임 전체에 동일한 피드백을 복제하거나 동일한 프레임 수준 피드백을 여러 프레임에 적용하려는 경우에 유용합니다. 이 기능을 사용하면 데이터 레이블 검사를 신속하게 완료할 수 있습니다.
  
• 각 데이터세트 개체 승인 또는 거부 – 검토하는 각 데이터 세트 개체에 대해 다음 중 하나를 선택할 수 있습니다. 승인 주석에 만족하거나 다음을 선택하는 경우 거절 만족스럽지 않고 해당 주석을 재작업하려는 경우. 당신이 선택할 때 문의하기을 클릭하면 방금 검토한 동영상을 승인하거나 거부할 수 있는 옵션이 표시됩니다. 두 경우 모두 추가 설명을 제공할 수 있습니다.
  • 당신이 선택하는 경우 승인, 해설은 선택사항입니다.
    
  • 당신이 선택하는 경우 거절, 해설이 필요하며 자세한 피드백을 제공하는 것이 좋습니다. 귀하의 피드백은 전담 Ground Truth Plus 품질 관리 팀에서 검토되며, 후속 동영상에서 유사한 실수를 방지하기 위해 시정 조치를 취할 것입니다.
    

피드백과 함께 비디오를 제출하면 프로젝트 포털의 프로젝트 세부 정보 페이지로 다시 리디렉션됩니다. 거부된 개체 열과 오류율은 검토된 개체 중 승인된 개체 수로 계산됩니다. 합격률 프로젝트의 각 배치에 대한 열입니다. 예를 들어 다음 스크린샷의 배치 1의 경우 검토된 객체 80개 중 XNUMX개 객체가 승인되었으므로 수락률은 XNUMX%입니다.

결론

ML 이니셔티브를 달성하려면 고품질 교육 데이터 세트가 중요합니다. Ground Truth Plus를 사용하면 이제 레이블이 지정된 데이터세트의 품질을 검토하기 위한 사용자 지정 도구 구축과 관련된 획일적이고 무거운 작업을 제거하는 향상된 내장 검토 UI 도구를 갖게 되었습니다. 이 게시물에서는 프로젝트 팀을 구성하고 Review UI 도구에 내장된 새로운 기능을 사용하는 방법을 안내했습니다. 방문하다 Ground Truth Plus 콘솔 시작하는.

언제나 그렇듯이 AWS는 피드백을 환영합니다. 의견이나 질문을 제출하십시오.

저자에 관하여

마니쉬 고엘 Amazon SageMaker Ground Truth Plus의 제품 관리자입니다. 그는 고객이 기계 학습을 더 쉽게 채택할 수 있도록 하는 제품을 만드는 데 주력하고 있습니다. 여가 시간에는 도로 여행과 책 읽기를 즐깁니다.

레베카 코스토예바 Amazon AWS의 소프트웨어 개발자 엔지니어로서 Sagemaker Ground Truth 서비스의 폭과 확장성을 확장하기 위해 고객 대응 솔루션과 내부 솔루션을 연구하고 있습니다. 연구원으로서 그녀는 혁신을 주도하기 위해 무역 도구를 개선하는 데 주력하고 있습니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/