지난 XNUMX여 년간 디지털 미디어의 기술 동향과 발전으로 인해 텍스트 기반 데이터가 확산되었습니다. 이 텍스트를 마이닝하여 전술적 및 전략적 통찰력을 얻을 수 있는 잠재적 이점은 엄청납니다. 이를 자연어 처리(NLP)라고 합니다. 예를 들어 NLP를 사용하여 고객 감정에 대한 제품 리뷰를 분석하거나, 고객 의견을 기반으로 관심 제품 유형을 식별하도록 사용자 지정 엔터티 인식기 모델을 훈련하거나, 가장 인기 있는 제품 범주를 결정하기 위해 사용자 지정 텍스트 분류 모델을 훈련할 수 있습니다.
아마존 이해 문서의 내용에 대한 인사이트를 추출하는 기성 인텔리전스를 갖춘 NLP 서비스입니다. 문서의 엔터티, 핵심 문구, 언어, 감정 및 기타 공통 요소를 인식하여 통찰력을 개발합니다. Amazon Comprehend Custom은 자동 기계 학습(Auto ML)을 사용하여 자체 데이터를 사용하여 사용자를 대신하여 NLP 모델을 구축합니다. 이를 통해 비즈니스에 고유한 엔터티를 감지하거나 요구 사항에 따라 텍스트 또는 문서를 분류할 수 있습니다. 또한 사용하기 쉬운 API를 사용하여 전체 NLP 워크플로를 자동화할 수 있습니다.
오늘 우리는 Amazon Comprehend 사용자 지정 모델 복사 기능의 출시를 발표하게 되어 기쁘게 생각합니다. 이 기능을 사용하면 Amazon Comprehend 사용자 지정 모델을 원본 계정에서 동일한 리전의 지정된 대상 계정으로 자동으로 복사할 수 있습니다. 에 대해 교육 및 평가를 받았습니다. 오늘부터 다음을 사용할 수 있습니다. AWS 관리 콘솔, AWS 명령 줄 인터페이스 (AWS CLI) 또는 boto3 API (AWS용 Python SDK) 훈련된 사용자 지정 모델을 소스 계정에서 지정된 대상 계정으로 복사합니다. 이 새로운 기능은 Amazon Comprehend 사용자 지정 분류 및 사용자 지정 엔터티 인식 모델 모두에 사용할 수 있습니다.
모델 복사 기능의 이점
이 새로운 기능에는 다음과 같은 이점이 있습니다.
- 다중 계정 MLOps 전략 – 모델을 한 번 교육하고 서로 다른 계정의 여러 환경에서 예측 가능한 배포를 보장합니다.
- 빠른 배포 – 계정 간에 학습된 모델을 빠르게 복사할 수 있으므로 모든 계정에서 재학습하는 데 걸리는 시간을 피할 수 있습니다.
- 민감한 데이터 세트 보호 – 이제 더 이상 다른 계정이나 사용자 간에 데이터 세트를 공유할 필요가 없습니다. 훈련 데이터는 훈련이 완료된 계정에서만 사용할 수 있어야 합니다. 이는 데이터 격리 및 샌드박싱이 규제 요구 사항을 충족하는 데 필수적인 금융 서비스와 같은 특정 산업에서 매우 중요합니다.
- 손쉬운 협업 – 파트너 또는 공급업체는 이제 Amazon Comprehend Custom에서 쉽게 교육하고 고객과 모델을 공유할 수 있습니다.
모델 복사 작동 방식
새로운 모델 복사 기능을 사용하면 XNUMX단계 프로세스로 동일한 리전의 AWS 계정 간에 사용자 지정 모델을 복사할 수 있습니다. 먼저 한 AWS 계정(계정 A)의 사용자가 자신의 계정에 있는 사용자 지정 모델을 공유합니다. 그런 다음 다른 AWS 계정(계정 B)의 사용자가 자신의 계정으로 모델을 가져옵니다.
모델 공유
계정 A에서 사용자 정의 모델을 공유하기 위해 사용자는 AWS 자격 증명 및 액세스 관리 (IAM) 리소스 기반 정책을 모델 버전에 적용합니다. 이 정책은 IAM 사용자 또는 역할과 같은 계정 B의 엔터티가 AWS 계정의 Amazon Comprehend로 모델 버전을 가져올 수 있는 권한을 부여합니다. 콘솔이나 Amazon Comprehend 사용자 지정을 통해 리소스 기반 정책을 구성할 수 있습니다. PutResourcePolicy
API.
모델 가져오기
모델을 계정 B로 가져오기 위해 이 계정의 사용자는 Amazon Comprehend에 모델의 Amazon 리소스 이름(ARN)과 같은 필요한 세부 정보를 제공합니다. 모델을 가져올 때 이 사용자는 가져온 모델을 복제하는 새 사용자 지정 모델을 AWS 계정에 생성합니다. 이 모델은 완전히 훈련되었으며 문서 분류 또는 명명된 엔터티 인식과 같은 추론 작업에 사용할 준비가 되어 있습니다. 모델이 다음으로 암호화된 경우 AWS 키 관리 서비스 (AWS KMS) 키가 소스에 있으면 가져오는 동안 모델을 해독하기 위해 모델을 가져오는 동안 지정된 서비스 역할에 KMS 키에 대한 액세스 권한이 있어야 합니다. 대상 계정은 가져오는 동안 모델을 암호화하기 위해 KMS 키를 지정할 수도 있습니다. 공유 모델 가져오기는 콘솔과 API 모두에서 사용할 수 있습니다.
솔루션 개요
모델 복사 기능의 기능을 시연하기 위해 Amazon Comprehend 콘솔과 AWS CLI를 모두 사용하여 Amazon Comprehend 사용자 지정 엔터티 인식 모델을 교육, 공유 및 가져오는 방법을 보여줍니다. 이 데모에서는 두 개의 다른 계정을 사용합니다. 이 단계는 Amazon Comprehend 사용자 지정 분류에도 적용됩니다. 필요한 단계는 다음과 같습니다.
- 원본 계정에서 Amazon Comprehend 사용자 지정 엔터티 인식 모델을 교육합니다.
- 교차 계정 액세스를 허용하도록 훈련된 모델에 대한 IAM 리소스 정책을 정의합니다.
- 원본 계정에서 대상 계정으로 훈련된 모델을 복사합니다.
- 일괄 작업을 통해 복사된 모델을 테스트합니다.
원본 계정에서 Amazon Comprehend 사용자 지정 엔터티 인식 모델 훈련
첫 번째 단계는 원본 계정에서 Amazon Comprehend 사용자 지정 엔터티 인식 모델을 교육하는 것입니다. 훈련을 위한 입력 데이터 세트로 CSV를 사용합니다. 엔터티 목록 와 교육 문서 주어진 문서에서 AWS 서비스 제공을 인식하기 위한 것입니다. 엔터티 목록과 교육 문서가 아마존 단순 스토리지 서비스 소스 계정의 (Amazon S3) 버킷. 지침은 다음을 참조하십시오. Amazon S3에 문서 추가.
IAM 역할 생성 Amazon Comprehend용으로 설정하고 교육 데이터가 포함된 S3 버킷에 대한 필수 액세스 권한을 제공합니다. 이후 단계에서 사용할 역할 ARN 및 S3 버킷 경로를 기록해 두십시오.
AWS CLI를 사용하여 모델 훈련
다음 AWS CLI 명령을 사용하여 엔터티 인식기를 생성합니다. S3 경로, IAM 역할 및 리전에 대한 파라미터를 대체합니다. 응답은 다음을 반환합니다. EntityRecognizerArn
.
describe-entity-recognizer를 호출하고 응답에서 상태를 확인하여 교육 작업의 상태를 모니터링할 수 있습니다.
콘솔을 통해 모델 훈련
콘솔을 통해 모델을 학습시키려면 다음 단계를 완료하십시오.
- Amazon Comprehend 콘솔의 맞춤설정으로 들어간다, 새 사용자 지정 엔터티 인식기 모델을 만듭니다.
- 모델 이름과 버전을 제공하십시오.
- 럭셔리 지원하는 언어선택한다. 영어.
- 럭셔리 맞춤 엔티티 유형추가
AWS_OFFERING
.
사용자 지정 엔터티 인식 모델을 교육하기 위해 Amazon Comprehend에 데이터를 제공하는 두 가지 방법 중 하나를 선택할 수 있습니다. 주석 or 엔터티 목록. 단순화를 위해 엔티티 목록 방법을 사용하십시오.
- 럭셔리 데이터 형식, 고르다 CSV 파일.
- 럭셔리 훈련 유형, 고르다 엔터티 목록 및 교육 문서 사용.
- 엔터티 목록 CSV 및 교육 데이터에 대한 S3 위치 경로를 제공합니다.
- Amazon Comprehend에 S3 버킷에 액세스할 수 있는 권한을 부여하려면 IAM 서비스 연결 역할을 생성하십시오.
. 리소스 기반 정책 섹션에서 모델 버전에 대한 액세스 권한을 부여할 수 있습니다. 액세스 권한을 부여한 계정은 이 모델을 해당 계정으로 가져올 수 있습니다. 지금은 이 단계를 건너뛰고 모델이 학습되고 모델 성능에 만족한 후에 정책을 추가합니다.
- 왼쪽 메뉴에서 만들기.
이렇게 하면 여러 모델을 거치고 하이퍼파라미터를 조정하고 모델이 강력한지 확인하기 위해 교차 유효성 검사를 확인하는 사용자 지정 엔터티 인식기가 제출됩니다. 이는 모두 데이터 과학자가 수행하는 것과 동일한 활동입니다.
교차 계정 액세스를 허용하도록 훈련된 모델에 대한 IAM 리소스 정책 정의
훈련 성능에 만족하면 리소스 정책을 추가하여 특정 모델 버전을 공유할 수 있습니다.
AWS CLI에서 리소스 기반 정책 추가
다음 코드와 같이 모델에 리소스 정책을 추가하여 대상 계정에서 모델 가져오기를 승인합니다. 정책은 특정 모델 버전 및 대상 보안 주체로 엄격하게 범위를 지정할 수 있습니다. 훈련된 엔터티 인식기 ARN과 대상 계정을 대체하여 액세스를 제공합니다.
콘솔을 통해 리소스 기반 정책 추가
학습이 완료되면 사용자 지정 엔터티 인식 모델 버전이 생성됩니다. 훈련된 모델과 버전을 선택하여 훈련된 모델의 성능을 포함한 훈련 세부 정보를 볼 수 있습니다.
정책을 업데이트하려면 다음 단계를 완료하십시오.
- 에 태그, VPC 및 정책 탭에서 리소스 기반 정책을 편집합니다.
- 정책 이름, Amazon Comprehend 서비스 주체(
comprehend.amazonaws.com
), 대상 계정 ID 및 모델 버전을 가져올 권한이 있는 대상 계정의 IAM 사용자.
우리는 지정합니다 root
IAM 엔터티로 대상 계정의 모든 사용자에게 권한을 부여합니다.
원본 계정에서 대상 계정으로 훈련된 모델 복사
이제 모델이 소스 계정에서 학습되고 공유됩니다. 인증된 대상 계정 사용자는 모델을 가져오고 자신의 계정에서 모델의 복사본을 생성할 수 있습니다.
모델을 가져오려면 Amazon Comprehend가 계정에서 복사 작업을 수행할 소스 모델 ARN 및 서비스 역할을 지정해야 합니다. 선택적 AWS KMS ID를 지정하여 대상 계정의 모델을 암호화할 수 있습니다.
AWS CLI를 통해 모델 가져오기
AWS CLI를 사용하여 모델을 가져오려면 다음 코드를 입력하십시오.
콘솔을 통해 모델 가져오기
콘솔을 통해 모델을 가져오려면 다음 단계를 완료하십시오.
- Amazon Comprehend 콘솔의 커스텀 엔티티 인식선택한다. 버전 가져오기.
- 럭셔리 모델 버전 ARN, 소스 계정에서 훈련된 모델의 ARN을 입력합니다.
- 대상의 모델 이름과 버전을 입력합니다.
- 서비스 계정 역할 제공 및 선택 확인하기 모델 가져오기 프로세스를 시작합니다.
모델 상태가 다음으로 변경된 후 Imported
, 훈련된 모델의 성능 세부 정보를 포함하여 모델 세부 정보를 볼 수 있습니다.
일괄 작업을 통해 복사된 모델 테스트
일괄 작업으로 사용자 지정 엔터티를 감지하여 대상 계정에서 복사된 모델을 테스트합니다. 모델을 테스트하려면 다운로드 테스트 파일 대상 계정의 S3 버킷에 배치합니다. IAM 역할 생성 Amazon Comprehend에 대해 테스트 데이터와 함께 S3 버킷에 대한 필수 액세스 권한을 제공합니다. 앞에서 기록한 역할 ARN 및 S3 버킷 경로를 사용합니다.
작업이 완료되면 지정된 출력 S3 버킷에서 추론 데이터를 확인할 수 있습니다.
AWS CLI를 사용하여 모델 테스트
AWS CLI를 사용하여 모델을 테스트하려면 다음 코드를 입력하십시오.
콘솔을 통해 모델 테스트
콘솔을 통해 모델을 테스트하려면 다음 단계를 완료하십시오.
- Amazon Comprehend 콘솔에서 분석 작업 선택하고 직업 만들기.
- 럭셔리 성함, 작업 이름을 입력합니다.
- 럭셔리 분석 유형¸ 선택 커스텀 엔티티 인식.
- 가져온 모델의 모델 이름과 버전을 선택합니다.
- 작업에 대한 테스트 파일의 S3 경로와 Amazon Comprehend가 결과를 저장하는 출력 위치를 제공합니다.
- S3 버킷에 액세스할 수 있는 권한이 있는 IAM 역할을 선택하거나 생성합니다.
- 왼쪽 메뉴에서 직업 만들기.
분석 작업이 완료되면 출력 S3 버킷 경로에 JSON 파일이 있습니다. 이 파일을 다운로드하여 가져온 모델에서 엔터티 인식 결과를 확인할 수 있습니다.
결론
이 게시물에서는 Amazon Comprehend 사용자 지정 엔터티 모델 복사 기능을 시연했습니다. 이 기능을 사용하면 한 계정에서 Amazon Comprehend 사용자 지정 엔터티 인식 또는 분류 모델을 교육한 다음 동일한 리전의 다른 계정과 모델을 공유할 수 있습니다. 이렇게 하면 모델을 한 번 교육하고 교육 데이터 세트를 다시 교육하거나 공유할 필요 없이 동일한 리전 내 계정 간에 공유할 수 있는 다중 계정 전략이 간소화됩니다. 이를 통해 MLOps 워크플로의 일부로 모든 계정에서 예측 가능한 배포가 가능합니다. 자세한 내용은 다음 문서를 참조하십시오. 맞춤 카피 이해, 또는 콘솔을 통해 또는 AWS CLI와 함께 클라우드 셸을 사용하여 이 게시물의 연습을 시도해 보십시오.
이 글을 쓰는 시점에서 Amazon Comprehend의 모델 복사 기능은 다음 리전에서 사용할 수 있습니다.
- 미국 동부 (오하이오)
- 미국 동부 (버지니아 북부)
- 미국 서부 (오레곤)
- 아시아 태평양 (뭄바이)
- 아시아 태평양 (서울)
- 아시아 태평양 (싱가포르)
- 아시아 태평양 (시드니)
- 아시아 태평양 (도쿄)
- EU (프랑크푸르트)
- EU (아일랜드)
- EU (런던)
- AWS GovCloud (미국 서부)
이 기능을 사용해 보고 다음을 통해 피드백을 보내주세요. AWS 포럼 Amazon Comprehend 또는 일반적인 AWS 지원 연락처를 통해.
저자에 관하여
프렘쿠마르 랑가라잔 Amazon Web Services의 AI/ML 전문 솔루션 설계자이며 이전에 AWS AI 서비스로 자연어 처리라는 책을 저술했습니다. 그는 딜리버리 리드, 통합 전문가, 엔터프라이즈 아키텍트를 포함한 다양한 역할에서 IT 업계에서 26년의 경험을 가지고 있습니다. 그는 모든 규모의 기업이 AI 및 ML을 채택하여 실제 문제를 해결하도록 돕습니다.
체탄 크리슈나 인도의 수석 파트너 솔루션 아키텍트입니다. 그는 강력한 클라우드 역량을 구축하고 AWS 모범 사례를 채택하고 고객 문제를 해결하기 위해 전략적 AWS 파트너와 협력합니다. 그는 빌더이며 AI/ML, IoT 및 분석 실험을 즐깁니다.
Sriharsha MS Amazon Web Services의 전략 전문가 팀의 AI / ML 전문가 솔루션 설계자입니다. 그는 복잡한 비즈니스 문제를 해결하기 위해 AI / ML을 활용하는 전략적 AWS 고객과 협력합니다. 그는 AI / ML 애플리케이션을 대규모로 구현하기위한 기술 지침 및 설계 조언을 제공합니다. 그의 전문 지식은 애플리케이션 아키텍처, 빅 데이터, 분석 및 기계 학습에 걸쳐 있습니다.
- "
- &
- 100
- 9
- 소개
- ACCESS
- 계정
- 동작
- 방과 후 액티비티
- 발전
- 이점
- 조언
- AI
- AI 서비스
- All
- 아마존
- Amazon Web Services
- 분석
- 분석
- 알리다
- 발표
- 다른
- API를
- API
- 응용할 수 있는
- 어플리케이션
- 어플리케이션
- 아키텍처
- 자동
- 가능
- AWS
- 혜택
- BEST
- 모범 사례
- 경계
- 빌드
- 건축업자
- 사업
- 과제
- 확인
- 확인하는 것이 좋다.
- 분류
- 클라우드
- 암호
- 댓글
- 공통의
- 복잡한
- 콘솔에서
- 함유량
- 고객
- 데이터
- 로사리오 염주
- 배달
- 전개
- 디자인
- 다른
- 디지털
- 서류
- 용이하게
- 효과
- 거대한
- Enterprise
- 필수
- 예
- 경험
- 전문적 지식
- 특색
- 피드백
- 금융
- 금융 서비스
- 먼저,
- 수행원
- 기능
- 행복한
- 데
- 도움이
- 방법
- How To
- HTTPS
- 확인
- 통합 인증
- 구현
- 중대한
- 가져 오기
- 포함
- 인도
- 산업
- 산업
- 정보
- 통찰력
- 완성
- 인텔리전스
- 관심
- IOT
- 아일랜드
- 격리
- IT
- 일
- 작업
- 키
- 언어
- 시작
- 리드
- 배우기
- 라인
- 명부
- 위치
- 런던
- 기계
- 기계 학습
- 구축
- 미디어
- 채굴
- ML
- 모델
- 모델
- 가장
- 가장 인기 많은
- 뭄바이
- 자연의
- 오퍼링
- 오하이오
- 주문
- 오레곤
- 기타
- 태평양
- 파트너
- 파트너
- 성능
- 구문
- 정책
- 인기 문서
- 교장
- 문제
- 방법
- 프로덕트
- 제공
- 제공
- 빨리
- 규정하는
- 필수
- 요구조건 니즈
- 의지
- 응답
- 결과
- 반품
- 리뷰
- 규모
- 과학자
- SDK
- 서울
- 서비스
- 서비스
- 공유
- 공유
- 공유
- 껍질
- 단순, 간단, 편리
- 싱가포르
- So
- 솔루션
- 풀다
- 스타트
- 성명서
- Status
- 저장
- 상점
- 전략의
- 전략
- SUPPORT
- 시드니
- 목표
- 팀
- 테크니컬
- test
- 소스
- 을 통하여
- 시간
- 오늘
- 도쿄
- 트레이닝
- 트렌드
- 유일한
- 업데이트
- us
- 사용
- 사용자
- 공급 업체
- 관측
- 버지니아의
- 웹
- 웹 서비스
- West
- 누구
- 이내
- 없이
- 일
- 쓰기
- 년