Amazon SageMaker Ground Truth Plus의 새로운 내장 인터페이스를 사용하여 프로덕션 등급 데이터에 더 빠르게 도달

AWS re:Invent 2021에서 출시된 Amazon SageMaker Ground Truth Plus 데이터 레이블 지정 응용 프로그램 구축 및 레이블 지정 인력 관리와 관련된 획일적이고 힘든 작업을 제거하여 고품질 교육 데이터 세트를 생성할 수 있습니다. 레이블 지정 요구 사항과 함께 데이터를 공유하기만 하면 Ground Truth Plus는 이러한 요구 사항을 기반으로 데이터 레이블 지정 워크플로를 설정하고 관리합니다. 여기에서 다양한 기계 학습(ML) 작업에 대한 교육을 받은 전문 인력이 데이터에 레이블을 지정합니다. Ground Truth Plus를 사용하기 위해 깊은 ML 전문 지식이나 워크플로 설계 및 품질 관리에 대한 지식이 필요하지 않습니다.

오늘 우리는 Ground Truth Plus에서 새로운 내장 인터페이스의 출시를 발표하게 되어 기쁩니다. 이 새로운 기능을 통해 이제 여러 Ground Truth Plus 사용자가 새 프로젝트 및 일괄, 데이터 공유 및 셀프 서비스 인터페이스를 통해 동일한 AWS 계정을 사용하여 데이터를 수신합니다. 이를 통해 프로젝트 설정 시간을 줄여 고품질 교육 데이터 세트 개발을 가속화할 수 있습니다. 또한 범위를 지정하여 데이터에 대한 세분화된 액세스를 제어할 수 있습니다. AWS 자격 증명 및 액세스 관리 (IAM) 역할 권한은 귀하의 개인 수준과 일치합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 액세스, 특정 버킷에 대한 액세스를 취소할 수 있는 옵션이 항상 있습니다.

지금까지는 새 데이터 레이블을 만들려면 Ground Truth Plus 운영 프로그램 관리자(OPM)에게 연락해야 했습니다. 프로젝트 및 배치. 이 프로세스에는 한 명의 사용자만 새 프로젝트 및 배치를 요청할 수 있었기 때문에 몇 가지 제한이 있었습니다. 조직 내 여러 사용자가 동일한 AWS 계정을 사용하는 경우 한 명의 사용자만 Ground Truth Plus를 사용하여 새 데이터 레이블 지정 프로젝트 및 배치를 요청할 수 있었습니다. 콘솔. 또한 이 프로세스는 여러 수동 터치포인트와 문제 발생 시 필요한 문제 해결로 인해 라벨링 프로세스를 시작하는 데 인위적인 지연을 발생시켰습니다. 이와 별도로 모든 프로젝트는 데이터 액세스에 동일한 IAM 역할을 사용했습니다. 따라서 서로 다른 Amazon S3 버킷과 같은 서로 다른 데이터 소스에 액세스해야 하는 프로젝트 및 배치를 실행하려면 Ground Truth Plus OPM에 의존하여 계정별 S3 정책을 제공해야 했으며 이를 S3 버킷에 수동으로 적용해야 했습니다. 이 전체 작업은 수동 집약적이어서 운영 오버헤드가 발생했습니다.

이 게시물에서는 레이블 지정 프로세스를 효율적으로 시작하기 위해 새로운 셀프 서비스 인터페이스를 사용하여 새 프로젝트 및 일괄 처리, 데이터 공유 및 데이터 수신 단계를 안내합니다. 이 게시물은 귀하가 Ground Truth Plus에 익숙하다고 가정합니다. 자세한 내용은 다음을 참조하십시오. Amazon SageMaker Ground Truth Plus – 코드 또는 사내 리소스 없이 교육 데이터 세트 생성.

솔루션 개요

다음을 수행하는 방법을 시연합니다.

• 기존 프로젝트 업데이트
• 새 프로젝트 요청
• 프로젝트 팀 설정
• 배치 생성

사전 조건

시작하기 전에 다음 전제 조건이 있는지 확인하십시오.

• An AWS 계정
• IAM 역할을 생성할 수 있는 액세스 권한이 있는 IAM 사용자
• XNUMXD덴탈의 아마존 S3 URI 라벨링 객체가 저장된 버킷의

기존 프로젝트 업데이트

이 게시물에 설명된 새로운 기능의 출시(9년 2022월 XNUMX일) 전에 Ground Truth Plus 프로젝트가 있는 경우 기존 Ground Truth Plus 프로젝트에서 이러한 기능을 사용할 수 있도록 IAM 역할을 생성하고 공유해야 합니다. . Ground Truth Plus의 신규 사용자인 경우 이 섹션을 건너뛸 수 있습니다.

IAM 역할을 생성하려면 다음 단계를 완료하십시오.

1. IAM 콘솔에서 역할 만들기.
2. 선택 맞춤형 신뢰 정책.
3. 역할에 대해 다음 신뢰 관계를 지정합니다.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. 왼쪽 메뉴에서 다음 보기.
5. 왼쪽 메뉴에서 정책 만들기.
6. JSON 탭에서 다음 정책을 지정합니다. 각 버킷에 대해 두 개의 항목을 지정하여 Resource 속성을 업데이트합니다. 하나는 버킷 ARN만 있는 항목이고 다른 하나는 버킷 ARN 뒤에 오는 항목입니다. /*. 예를 들어 과 arn:aws:s3:::my-bucket/myprefix/ 및 /* 과 arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. 왼쪽 메뉴에서 다음 : 태그 및 다음 : 검토.
8. 정책 이름과 선택적 설명을 입력합니다.
9. 왼쪽 메뉴에서 정책 만들기.
10. 이 탭을 닫고 이전 탭으로 돌아가 역할을 생성합니다.

권한 추가 탭에 생성한 새 정책이 표시되어야 합니다(표시되지 않으면 페이지를 새로 고침).

11. 새로 생성된 정책을 선택하고 다음을 선택합니다. 다음 보기.
12. 이름을 입력하십시오(예: GTPlusExecutionRole) 및 선택적으로 역할에 대한 설명.
13. 왼쪽 메뉴에서 역할 만들기.
14. Ground Truth Plus OPM에 역할 ARN을 제공하면 새로 생성된 이 역할로 기존 프로젝트가 업데이트됩니다.

새 프로젝트 요청

새 프로젝트를 요청하려면 다음 단계를 완료하세요.

1. 에 Ground Truth Plus 콘솔, 프로젝트 안내

여기에 모든 프로젝트가 나열됩니다.

2. 왼쪽 메뉴에서 프로젝트 요청.

XNUMXD덴탈의 프로젝트 요청 페이지는 초기 상담 통화 일정을 잡고 프로젝트를 설정하는 데 도움이 되는 세부 정보를 제공할 수 있는 기회입니다.

3. 프로젝트 이름 및 설명과 같은 일반 정보를 지정하는 것 외에도 프로젝트의 작업 유형과 PII(개인 식별 정보) 포함 여부를 지정해야 합니다.

데이터에 레이블을 지정하려면 Ground Truth Plus가 S3 버킷의 원시 데이터에 임시로 액세스해야 합니다. 레이블 지정 프로세스가 완료되면 Ground Truth Plus는 레이블 지정 출력을 다시 S3 버킷으로 전달합니다. 이는 IAM 역할을 통해 수행됩니다. 새 역할을 생성하거나 IAM 콘솔로 이동하여 새 역할을 생성할 수 있습니다(지침은 이전 섹션 참조).

4. 역할 생성을 선택한 경우 사용자 지정 IAM 역할 ARN 입력 형식의 IAM 역할 ARN을 입력합니다. arn:aws:iam:::role/.
5. 기본 제공 도구를 사용하려면 아래의 드롭다운 메뉴에서 IAM 역할선택한다. 새 역할 만들기.
6. 라벨 지정 데이터의 버킷 위치를 지정합니다. 라벨링 데이터의 위치를 ​​모르거나 라벨링 데이터를 업로드하지 않은 경우 모든 S3 버킷, 모든 계정의 버킷에 대한 Ground Truth Plus 액세스 권한을 부여합니다.
7. 왼쪽 메뉴에서 만들기 역할을 생성합니다.

귀하의 IAM 역할은 다음과 같이 식별되는 Ground Truth Plus를 허용합니다. sagemaker-ground-truth-plus.amazonaws.com 역할에서 신뢰 정책, S3 버킷에서 다음 작업을 실행합니다.

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. 왼쪽 메뉴에서 프로젝트 요청 요청을 완료합니다.

Ground Truth Plus OPM은 데이터 라벨링 프로젝트 요구 사항 및 가격을 논의하기 위해 귀하와 초기 상담 통화를 예약합니다.

프로젝트 팀 설정

프로젝트를 요청한 후 프로젝트 팀을 생성하여 프로젝트 포털에 로그인해야 합니다. 프로젝트 팀은 조직 또는 팀의 구성원에게 프로젝트를 추적하고 메트릭을 보고 레이블을 검토할 수 있는 액세스 권한을 제공합니다. 옵션을 사용할 수 있습니다 이메일로 새 회원 초대 or 기존에서 구성원 가져오기 아마존 코 그니 토 사용자 그룹. 이 게시물에서는 기존에서 구성원을 가져오는 방법을 보여줍니다. 아마존 코 그니 토 프로젝트 팀에 사용자를 추가하는 사용자 그룹.

1. 에 Ground Truth Plus 콘솔, 프로젝트 팀 안내
2. 왼쪽 메뉴에서 프로젝트 팀을 만듭니다.
3. 왼쪽 메뉴에서 기존 Amazon Cognito 사용자 그룹에서 구성원을 가져옵니다.
4. Amazon Cognito 사용자 풀을 선택합니다.

사용자 풀에는 도메인과 기존 사용자 그룹이 필요합니다.

5. 앱 클라이언트를 선택합니다.

다음에서 생성한 클라이언트를 사용하는 것이 좋습니다. 아마존 세이지 메이커.

6. 풀에서 사용자 그룹을 선택하여 구성원을 가져옵니다.
7. 왼쪽 메뉴에서 프로젝트 팀 만들기.
   

프로젝트 팀을 만든 후 다음을 선택하여 더 많은 팀원을 추가할 수 있습니다. 새 회원 초대 를 시청하여 이에 대해 더 많은 정보를 얻을 수 있습니다. 회원 Ground Truth Plus 콘솔 페이지.

배치 생성

프로젝트 요청을 성공적으로 제출하고 프로젝트 팀을 생성한 후 다음을 클릭하여 Ground Truth Plus 프로젝트 포털에 액세스할 수 있습니다. 프로젝트 포털 열기 Ground Truth Plus 콘솔에서.

프로젝트 포털을 사용하여 프로젝트에 대한 배치를 생성할 수 있지만 프로젝트의 상태가 다음으로 변경된 후에만 가능합니다. Request approved.

1. 프로젝트 이름을 선택하여 프로젝트의 세부 정보 및 배치를 봅니다.
   프로젝트 이름이 있는 페이지가 열립니다.
2. . 배치 섹션 선택 배치 만들기.
   
3. 배치 이름과 선택적 설명을 입력합니다.
4. 입력 및 출력 데이터 세트의 S3 위치를 입력합니다.

배치가 성공적으로 생성되었는지 확인하려면 다음 요구 사항을 충족해야 합니다.

4. • S3 버킷과 접두사가 존재해야 하며 총 파일 수는 0보다 커야 합니다.
   • 총 개체 수는 10,000개 미만이어야 합니다.
   • 각 개체의 크기는 2GB 미만이어야 합니다.
   • 결합된 모든 개체의 총 크기는 100GB 미만입니다.
   • 프로젝트를 생성하기 위해 제공된 IAM 역할에는 배치를 생성하는 데 사용되는 입력 버킷, 출력 버킷 및 S3 파일에 액세스할 수 있는 권한이 있습니다.
   • 입력 데이터 세트에 대해 제공된 S3 위치 아래의 파일은 다음에 의해 암호화되어서는 안 됩니다. AWS 키 관리 서비스 (AWS KMS)
5. 왼쪽 메뉴에서 문의하기.

배치 상태는 다음과 같이 표시됩니다. Request submitted. Ground Truth Plus가 데이터에 일시적으로 액세스한 후 AWS 전문가가 데이터 레이블 지정 워크플로를 설정하고 사용자를 대신하여 작업을 수행합니다. 그러면 배치 상태가 다음으로 변경됩니다. In-progress. 라벨링이 완료되면 배치 상태가 In-progress 에 Ready for review. 라벨을 받기 전에 라벨을 검토하려면 다음을 선택하세요. 배치를 검토합니다. 거기에서 선택할 수있는 옵션이 있습니다 배치 수락 레이블이 지정된 데이터를 수신합니다.

결론

이 게시물에서는 이제 여러 Ground Truth Plus 사용자가 새로운 셀프 서비스 인터페이스를 통해 동일한 AWS 계정을 사용하여 새 프로젝트를 생성하고 일괄 처리하고 데이터를 공유하고 데이터를 수신하는 방법을 보여 주었습니다. 이 새로운 기능을 사용하면 레이블 지정 프로젝트를 더 빠르게 시작하고 운영 오버헤드를 줄일 수 있습니다. 또한 개별 액세스 수준과 일치하도록 IAM 역할 권한의 범위를 지정하여 데이터에 대한 세분화된 액세스를 제어하는 ​​방법을 시연했습니다.

이 새로운 기능을 사용해 보고 다음과 연결하는 것이 좋습니다. 기계 학습 및 AI 커뮤니티 질문이나 의견이 있으시면!

저자 소개

마니쉬 고엘 Amazon SageMaker Ground Truth Plus의 제품 관리자입니다. 그는 고객이 기계 학습을 더 쉽게 채택할 수 있도록 하는 제품을 만드는 데 주력하고 있습니다. 여가 시간에는 도로 여행과 책 읽기를 즐깁니다.

카르티크 간두리 Amazon AWS의 소프트웨어 개발 엔지니어로서 고객 및 내부 솔루션을 위한 ML 도구를 구축하는 일을 합니다. 업무 외에는 사진을 클릭하는 것을 즐깁니다.  

주링 바이 Amazon AWS의 소프트웨어 개발 엔지니어입니다. 그녀는 기계 학습 문제를 해결하기 위해 대규모 분산 시스템을 개발하고 있습니다.

아테프 바란시 Amazon AWS의 프론트엔드 엔지니어입니다. 그는 업계에서 가장 최첨단 AI 애플리케이션을 육성하고 성장시키기 위해 빠르고 안정적이며 철저한 테스트를 거친 소프트웨어를 작성합니다.

모하마드 아드 난 AWS의 AI 및 ML 선임 엔지니어입니다. 그는 많은 AWS 서비스 출시, 특히 Amazon Lookout for Metrics 및 AWS Panorama에 참여했습니다. 현재 그는 AWS human-in-the-loop 제품(AWS SageMaker의 Ground truth, Ground truth plus 및 Augmented AI)에 주력하고 있습니다. 그는 클린 코드 옹호자이자 서버리스 및 이벤트 기반 아키텍처에 대한 주제 전문가입니다. 링크드인(mohammad-adnan-6a99a829)에서 그를 팔로우할 수 있습니다.