클라우드 컴퓨팅을 통해 컴퓨팅 성능과 데이터의 가용성이 높아짐에 따라 기계 학습(ML)은 이제 모든 산업에 영향을 미치고 있으며 모든 비즈니스 및 산업의 핵심 부분입니다.
아마존 세이지 메이커 스튜디오 웹 기반 시각적 인터페이스를 갖춘 최초의 완전 통합 ML 개발 환경(IDE)입니다. 모든 ML 개발 단계를 수행할 수 있으며 모델 구축, 교육 및 배포에 필요한 각 단계에 대한 완전한 액세스, 제어 및 가시성을 확보할 수 있습니다.
아마존 레드 시프트 완벽하게 관리되고 빠르고 안전하며 확장 가능한 클라우드 데이터 웨어하우스입니다. 조직은 종종 Amazon Redshift와 같은 데이터 웨어하우스에 저장된 데이터에서 예측을 얻기 위해 SageMaker Studio를 사용하기를 원합니다.
에 설명 된대로 AWS Well-Architected 프레임 워크, 계정 간에 워크로드를 분리하면 조직이 환경을 격리하면서 공통 가드레일을 설정할 수 있습니다. 이는 특정 보안 요구 사항에 특히 유용할 뿐만 아니라 프로젝트와 팀 간의 비용 제어 및 모니터링을 단순화할 수 있습니다. 다중 계정 아키텍처를 사용하는 조직은 일반적으로 두 개의 개별 AWS 계정에 Amazon Redshift 및 SageMaker Studio를 보유하고 있습니다. 또한 Amazon Redshift 및 SageMaker Studio는 모범 사례로서 보안을 개선하고 무단 액세스의 위험을 줄이기 위해 일반적으로 프라이빗 서브넷이 있는 VPC에서 구성됩니다.
아마존 레드 시프트 기본적으로 지원 RA3 노드 유형이 사용될 때 교차 계정 데이터 공유. DS2 또는 DC2와 같은 다른 Amazon Redshift 노드 유형을 사용하는 경우 VPC 피어링을 사용하여 Amazon Redshift와 SageMaker Studio 간에 교차 계정 연결을 설정할 수 있습니다.
이 게시물에서는 한 AWS 계정에 있는 Amazon Redshift 클러스터를 다른 AWS의 SageMaker Studio에 연결하여 모든 Amazon Redshift 노드 유형(RA3, DC2, DS2)에 대한 교차 계정 연결을 설정하는 단계별 지침을 안내합니다. VPC 피어링을 사용하는 동일한 리전의 계정.
솔루션 개요
두 개의 AWS 계정, 즉 Amazon Redshift 데이터 웨어하우스가 있는 생산자 계정과 다음을 위한 소비자 계정으로 시작합니다. 아마존 세이지 메이커 SageMaker Studio가 설정된 ML 사용 사례. 다음은 워크플로에 대한 개략적인 개요입니다.
- 다음을 사용하여 SageMaker Studio 설정
VPCOnly
소비자 계정의 모드. 이렇게 하면 SageMaker가 스튜디오 노트북에 대한 인터넷 액세스를 제공하지 못합니다. 모든 SageMaker Studio 트래픽은 지정된 VPC 및 서브넷을 통과합니다. - 켜려면 SageMaker Studio 도메인을 업데이트하십시오.
SourceIdentity
사용자 프로필 이름을 전파합니다. - 를 생성 AWS 자격 증명 및 액세스 관리 SageMaker Studio IAM 역할이 Amazon Redshift에 액세스하기 위해 수임할 Amazon Redshift 생산자 계정의 (IAM) 역할.
- SageMaker Studio가 생산자 Amazon Redshift 계정에서 역할을 맡는 데 사용할 SageMaker Studio 소비자 계정에서 SageMaker IAM 실행 역할을 업데이트합니다.
- Amazon Redshift 생산자 계정과 SageMaker Studio 소비자 계정의 VPC 간에 피어링 연결을 설정합니다.
- 소비자 계정의 SageMaker Studio에서 Amazon Redshift를 쿼리합니다.
다음 다이어그램은 솔루션 아키텍처를 보여줍니다.
사전 조건
이 게시물의 단계에서는 Amazon Redshift가 Amazon Redshift 생산자 계정의 프라이빗 서브넷에서 시작된다고 가정합니다. 프라이빗 서브넷에서 Amazon Redshift를 시작하면 프라이빗 서브넷이 인터넷에서 직접 액세스할 수 없고 외부 공격으로부터 더 안전하기 때문에 퍼블릭 서브넷에서 시작할 때보다 추가 보안 및 격리 계층이 제공됩니다.
퍼블릭 라이브러리를 다운로드하려면 SageMaker 소비자 계정에 VPC와 프라이빗 및 퍼블릭 서브넷을 생성해야 합니다. 그런 다음 퍼블릭 서브넷에서 NAT 게이트웨이를 시작하고 프라이빗 서브넷에서 SageMaker Studio용 인터넷 게이트웨이를 추가하여 인터넷에 액세스합니다. 프라이빗 서브넷에 연결하는 방법에 대한 지침은 다음을 참조하십시오. Amazon VPC에서 프라이빗 서브넷에 대한 NAT 게이트웨이를 설정하려면 어떻게 해야 합니까?
소비자 계정에서 VPCOnly 모드로 SageMaker Studio 설정
다음을 사용하여 SageMaker Studio를 생성하려면 VPCOnly
모드에서 다음 단계를 완료하십시오.
- SageMaker 콘솔에서 Studio 탐색 창에서
- SageMaker Studio를 시작하고 다음을 선택합니다. 표준 설정, 선택 구성.
이미 사용중인 경우 AWS IAM Identity Center(AWS Single Sign-On의 후속 제품) AWS 계정에 액세스하기 위해 인증에 사용할 수 있습니다. 그렇지 않으면 인증에 IAM을 사용하고 기존 연동 역할을 사용할 수 있습니다.
- . 일반 설정 섹션에서 선택 새 역할 만들기.
- . IAM 역할 생성 섹션에서 선택적으로 아마존 단순 스토리지 서비스 (Amazon S3) 버킷 선택 모든 품종, 특정및 없음다음을 선택 역할 만들기.
이렇게 하면 다음과 같은 SageMaker 실행 역할이 생성됩니다. AmazonSageMaker-ExecutionRole-00000000
.
- $XNUMX Million 미만 네트워크 및 스토리지 섹션, 전제 조건으로 생성한 VPC, 서브넷(프라이빗 서브넷) 및 보안 그룹을 선택합니다.
- 선택 VPC 만다음을 선택 다음 보기.
사용자 프로필 이름을 전파하기 위해 SourceIdentity를 켜도록 SageMaker Studio 도메인을 업데이트합니다.
SageMaker Studio는 다음과 통합됩니다. AWS 클라우드 트레일 관리자가 SageMaker Studio 노트북에서 사용자 활동 및 API 호출을 모니터링하고 감사할 수 있도록 합니다. 사용자 ID를 기록하도록 SageMaker Studio를 구성할 수 있습니다(구체적으로 사용자 프로필 이름) CloudTrail 이벤트에서 SageMaker Studio 노트북의 사용자 활동 및 API 호출을 모니터링하고 감사합니다.
여러 사용자 프로필 사이에서 특정 사용자 활동을 기록하려면 다음을 켜는 것이 좋습니다. SourceIdentity
사용자 프로필 이름으로 SageMaker Studio 도메인을 전파합니다. 이렇게 하면 사용자 정보를 세션에 유지할 수 있으므로 특정 사용자에게 작업을 할당할 수 있습니다. 이 속성은 역할을 연결할 때도 유지되므로 생산자 계정에서 해당 작업에 대한 세부적인 가시성을 얻을 수 있습니다. 이 게시물이 작성된 시점을 기준으로 다음을 사용해서만 구성할 수 있습니다. AWS 명령 줄 인터페이스 (AWS CLI) 또는 모든 명령줄 도구.
이 구성을 업데이트하려면 도메인의 모든 앱이 중단 or 삭제 (주).
다음 코드를 사용하여 사용자 프로필 이름을 SourceIdentity
:
이렇게 하려면 추가해야 합니다. sts:SetSourceIdentity
실행 역할에 대한 신뢰 관계에서.
SageMaker Studio가 Amazon Redshift에 액세스하기 위해 수임해야 하는 Amazon Redshift 생산자 계정에서 IAM 역할 생성
SageMaker가 Amazon Redshift에 액세스하기 위해 맡을 역할을 생성하려면 다음 단계를 완료하십시오.
- Amazon Redshift 생산자 계정에서 IAM 콘솔을 엽니다.
- 왼쪽 메뉴에서 역할 탐색 창에서 다음을 선택합니다. 역할 만들기.
- 에 신뢰할 수 있는 엔터티 선택 페이지, 선택 맞춤형 신뢰 정책.
- 편집기에 다음 사용자 지정 신뢰 정책을 입력하고 생성한 SageMaker 소비자 계정 ID 및 SageMaker 실행 역할을 제공합니다.
- 왼쪽 메뉴에서 다음 보기.
- 에 필요한 권한 추가 페이지에서 선택 정책 만들기.
- 다음 샘플 정책을 추가하고 구성에 따라 필요한 편집을 수행하십시오.
- 다음과 같은 이름을 추가하여 정책을 저장합니다.
RedshiftROAPIUserAccess
.
XNUMXD덴탈의 SourceIdentity
속성은 원래 SageMaker Studio 사용자의 ID를 Amazon Redshift 데이터베이스 사용자에 연결하는 데 사용됩니다. 그런 다음 CloudTrail 및 Amazon Redshift 데이터베이스 감사 로그를 사용하여 생산자 계정의 사용자 작업을 모니터링할 수 있습니다.
- 에 이름 지정, 검토 및 생성 페이지에서 역할 이름을 입력하고 설정을 검토한 다음 역할 만들기.
SageMaker Studio가 Amazon Redshift 생산자 계정에서 가정하는 SageMaker 소비자 계정의 IAM 역할 업데이트
방금 생성한 역할을 수임하도록 SageMaker 실행 역할을 업데이트하려면 다음 단계를 완료하십시오.
- SageMaker 소비자 계정에서 IAM 콘솔을 엽니다.
- 왼쪽 메뉴에서 역할 탐색 창에서 생성한 SageMaker 실행 역할을 선택합니다(
AmazonSageMaker-ExecutionRole-*
). - . 권한 정책 섹션에서 권한 추가 메뉴, 선택 인라인 정책 만들기.
- 편집기에서 JSON 탭에서 다음 정책을 입력합니다. Amazon Redshift 생산자 계정에서 생성한 역할의 ARN입니다.
다음 스크린샷과 같이 IAM 콘솔에서 Amazon Redshift 생산자 계정에 생성된 역할의 ARN을 가져올 수 있습니다.
- 왼쪽 메뉴에서 정책 검토.
- 럭셔리 성함, 정책 이름을 입력합니다.
- 왼쪽 메뉴에서 정책 만들기.
권한 정책은 다음 스크린샷과 유사해야 합니다.
Amazon Redshift 생산자 계정과 SageMaker Studio 소비자 계정의 VPC 간에 피어링 연결 설정
SageMaker Studio VPC와 Amazon Redshift VPC 간에 통신을 설정하려면 VPC 피어링을 사용하여 두 VPC를 피어링해야 합니다. 연결을 설정하려면 다음 단계를 완료하십시오.
- Amazon Redshift 또는 SageMaker 계정에서 Amazon VPC 콘솔을 엽니다.
- 탐색 창에서 피어링 연결다음을 선택 피어링 연결 만들기.
- 럭셔리 성함, 연결 이름을 입력하십시오.
- $XNUMX Million 미만 피어링할 로컬 VPC 선택, 로컬 VPC를 선택합니다.
- $XNUMX Million 미만 피어링할 다른 VPC 선택, 동일한 리전 및 다른 계정에 다른 VPC를 지정하십시오.
- 왼쪽 메뉴에서 피어링 연결을 만듭니다.
- VPC 피어링 연결을 검토하고 선택 요청 수락 활성화합니다.
VPC 피어링 연결이 성공적으로 설정된 후 SageMaker 및 Amazon Redshift VPC 모두에 경로를 생성하여 이들 간의 연결을 완료합니다.
- SageMaker 계정에서 Amazon VPC 콘솔을 엽니다.
- 왼쪽 메뉴에서 경로 테이블 탐색 창에서 SageMaker와 연결된 VPC를 선택하고 경로를 편집합니다.
- 대상 Amazon Redshift VPC 및 피어링 연결로 대상에 대한 CIDR을 추가합니다.
- 또한 NAT 게이트웨이를 추가합니다.
- 왼쪽 메뉴에서 변경 사항을 저장.
- Amazon Redshift 계정에서 Amazon VPC 콘솔을 엽니다.
- 왼쪽 메뉴에서 경로 테이블 탐색 창에서 Amazon Redshift와 연결된 VPC를 선택하고 경로를 편집합니다.
- 대상 SageMaker VPC 및 대상에 대한 CIDR을 피어링 연결로 추가합니다.
- 또한 인터넷 게이트웨이를 추가하십시오.
- 왼쪽 메뉴에서 변경 사항을 저장.
인터넷을 통해 연결하는 대신 VPC의 인터페이스 엔드포인트를 통해 VPC에서 SageMaker Studio에 연결할 수 있습니다. VPC 인터페이스 엔드포인트를 사용할 때 VPC와 SageMaker API 또는 런타임 간의 통신은 AWS 네트워크 내에서 완전히 안전하게 수행됩니다.
- VPC 엔드포인트를 생성하려면 SageMaker 계정에서 VPC 콘솔을 엽니다.
- 왼쪽 메뉴에서 종점 탐색 창에서 다음을 선택합니다. 엔드 포인트 생성.
- SageMaker 노트북 도메인에 대한 인바운드 및 아웃바운드 NFS 트래픽을 허용하도록 SageMaker VPC, 각 서브넷 및 적절한 보안 그룹을 지정하고 VPC 엔드포인트 생성.
소비자 계정의 SageMaker Studio에서 Amazon Redshift 쿼리
모든 네트워킹이 성공적으로 설정되면 이 섹션의 단계에 따라 AWS SDK for pandas 라이브러리를 사용하여 SageMaker Studio 소비자 계정의 Amazon Redshift 클러스터에 연결합니다.
- SageMaker Studio에서 새 노트북을 생성합니다.
- AWS SDK for pandas 패키지가 설치되지 않은 경우 다음을 사용하여 설치할 수 있습니다.
이 설치는 영구적이지 않으며 KernelGateway 앱이 삭제되면 손실됩니다. 사용자 정의 패키지는 수명 주기 구성.
- 첫 번째 셀에 다음 코드를 입력하고 코드를 실행합니다. 바꾸다
RoleArn
및region_name
계정 설정에 따른 값:
- 새 셀에 다음 코드를 입력하고 코드를 실행하여 현재 SageMaker 사용자 프로필 이름을 가져옵니다.
- 새 셀에 다음 코드를 입력하고 코드를 실행합니다.
Amazon Redshift를 성공적으로 쿼리하려면 데이터베이스 관리자가 생산자 계정의 Amazon Redshift 클러스터 내에서 필요한 읽기 권한을 가진 새로 생성된 사용자를 할당해야 합니다.
- 새 셀에 다음 코드를 입력하고 Amazon Redshift 테이블과 일치하도록 쿼리를 업데이트한 다음 셀을 실행합니다. 추가 데이터 처리 및 분석을 위해 레코드를 성공적으로 반환해야 합니다.
이제 비즈니스 요구 사항에 따라 데이터 변환 및 분석을 구축할 수 있습니다.
정리
반복되는 비용 발생을 방지하기 위해 리소스를 정리하려면 SageMaker VPC 엔드포인트, Amazon Redshift 클러스터 및 SageMaker Studio 앱, 사용자 및 도메인을 삭제하십시오. 또한 생성한 모든 S3 버킷과 객체를 삭제합니다.
결론
이 게시물에서는 VPC 피어링을 사용하여 다른 계정에 있는 프라이빗 Amazon Redshift와 SageMaker Studio VPC 간에 교차 계정 연결을 설정하고 IAM 역할 체인을 사용하여 SageMaker Studio에서 Amazon Redshift 데이터에 액세스하는 방법을 보여주었습니다. SageMaker Studio에서 Amazon Redshift에 액세스했습니다. 이 솔루션을 사용하면 데이터에 액세스하기 위해 계정 간에 수동으로 데이터를 이동할 필요가 없습니다. 또한 SageMaker Studio에서 pandas용 AWS SDK 라이브러리를 사용하여 Amazon Redshift 클러스터에 액세스하고 ML 사용 사례에 대한 데이터를 준비하는 방법도 살펴보았습니다.
Amazon Redshift 및 SageMaker에 대한 자세한 내용은 다음을 참조하십시오. Amazon Redshift 데이터베이스 개발자 안내서 및 Amazon SageMaker 설명서.
저자에 관하여
수프리야 푸라군들라 AWS의 선임 솔루션 아키텍트입니다. 그녀는 AI 및 ML 여정에서 주요 고객 계정을 돕습니다. 그녀는 데이터 기반 AI와 기계 학습의 깊이 있는 영역에 대해 열정적입니다.
마크 카프 Amazon SageMaker 팀의 기계 학습 설계자입니다. 그는 고객이 규모에 맞게 ML 워크로드를 설계, 배포 및 관리하도록 돕는 데 중점을 둡니다. 여가 시간에는 여행과 새로운 장소 탐색을 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/configure-cross-account-access-of-amazon-redshift-clusters-in-amazon-sagemaker-studio-using-vpc-peering/
- :있다
- :이다
- :아니
- :어디
- $UP
- 10
- 100
- 11
- 13
- 14
- 15%
- 7
- 8
- 9
- a
- 소개
- ACCESS
- 액세스
- 얻기 쉬운
- 액세스
- 계정
- 계정
- 가로질러
- 동작
- 행위
- 활동
- 더하다
- 추가
- 첨가
- 추가
- 관리자
- AI
- All
- 수
- 수
- 이미
- 또한
- 아마존
- 아마존 레드 시프트
- 아마존 세이지 메이커
- 아마존 세이지 메이커 스튜디오
- Amazon Web Services
- 중
- an
- 분석
- 및
- 다른
- 어떤
- API를
- 앱
- 적당한
- 앱
- 아키텍처
- 있군요
- 지역
- AS
- 관련
- 취하다
- 가정하다
- At
- 공격
- 회계 감사
- 인증
- 가능
- 피하기
- AWS
- 기반으로
- BE
- 되었다
- 때문에
- 된
- BEST
- 사이에
- 두
- 빌드
- 건물
- 사업
- by
- 전화
- 통화
- CAN
- 얻을 수 있습니다
- 가지 경우
- 센터
- 어떤
- 체인
- 왼쪽 메뉴에서
- 클라우드
- 클라우드 컴퓨팅
- 클러스터
- 암호
- 공통의
- 의사 소통
- 비교
- 완전한
- 계산
- 컴퓨팅
- 조건
- 실시
- 구성
- 구성
- 연결하기
- 연결
- 연결
- 입/출력 라인
- 콘솔에서
- 소비자
- 제어
- 컨트롤
- 핵심
- 비용
- 비용
- 만들
- 만든
- 생성
- 신임장
- Current
- 관습
- 고객
- 고객
- 데이터
- 데이터 처리
- 데이터 공유
- 데이터 중심
- 데이터베이스
- 날짜 시간
- 배포
- 깊이
- 기술 된
- 디자인
- 목적지
- 개발자
- 개발
- 다른
- 직접
- do
- 도메인
- 다운로드
- 마다
- 편집자
- 효과
- 중
- 제거
- 가능
- 수
- 종점
- 엔터 버튼
- 전적으로
- 환경
- 환경
- 세우다
- 확립 된
- 이벤트
- 모든
- 실행
- 현존하는
- 탐색
- 외부
- FAST
- 먼저,
- 집중
- 따라
- 수행원
- 럭셔리
- 에
- 충분히
- 추가
- 게이트웨이
- 얻을
- 그룹
- 여러 떼
- 있다
- he
- 도움이
- 도움이
- 고수준
- 그의
- 방법
- How To
- HTML
- HTTP
- HTTPS
- i
- ID
- 통합 인증
- if
- 설명하다
- 영향
- import
- 개선
- in
- 산업
- 정보
- 설치
- 설치
- 설치
- 를 받아야 하는 미국 여행자
- 명령
- 통합 된
- 인터페이스
- 인터넷
- 인터넷 액세스
- 으로
- 격리
- IT
- 여행
- JPG
- JSON
- 다만
- 키
- 시작
- 시작
- 진수
- 층
- 배우다
- 배우기
- 도서관
- 도서관
- 라인
- 지방의
- 위치한
- 기록
- 로깅
- 보기
- 잃어버린
- 기계
- 기계 학습
- 확인
- 유튜브 영상을 만드는 것은
- 관리
- 관리
- 수동으로
- 경기
- 메뉴
- 메타 데이터
- 방법
- ML
- 모드
- 모델
- 모니터
- 모니터링
- 모니터링
- 배우기
- 움직임
- 절대로 필요한 것
- name
- 카테고리
- 필요한
- 필요
- 요구
- 네트워크
- 네트워킹
- 신제품
- 새로운
- 노드
- 수첩
- 지금
- 대상
- 사물
- of
- 자주
- on
- ONE
- 만
- 열 수
- or
- 조직
- 조직
- 실물
- 기타
- 그렇지 않으면
- 우리의
- 위에
- 개요
- 꾸러미
- 패키지
- 페이지
- 팬더
- 빵
- 부품
- 특별히
- 패스
- 열렬한
- 피어
- 수행
- 허가
- 권한
- 장소
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 정책
- 정책
- 게시하다
- 힘
- 연습
- 예측
- Prepare
- 방지
- 교장
- 사설
- 처리
- 제작자
- 프로필
- 프로필
- 프로젝트
- 제공
- 제공
- 제공
- 공개
- 읽기
- 추천
- 기록
- 기록
- 반복
- 감소
- 지방
- 관계
- 교체
- 의뢰
- 필수
- 요구조건 니즈
- 필요
- 의지
- 제품 자료
- 그
- return
- 반품
- 리뷰
- 위험
- 직위별
- 역할
- 노선
- 달리기
- 현자
- 같은
- 확장성
- 규모
- SDK
- 섹션
- 안전해야합니다.
- 안전하게
- 보안
- 선택
- 연장자
- 별도의
- 분리
- 서비스
- 세션
- 세트
- 설정
- 몇몇의
- 공유
- 그녀
- 영상을
- 보여
- 표시
- 비슷한
- 단순, 간단, 편리
- 단순화
- 단일
- So
- 해결책
- 솔루션
- 구체적인
- 구체적으로
- 지정
- 스타트
- 주 정부
- 성명서
- 단계
- 단계
- 저장
- 저장
- 스튜디오
- 서브넷
- 서브넷
- 성공적으로
- 이러한
- 테이블
- 목표
- 팀
- 팀
- 일시적인
- 그
- XNUMXD덴탈의
- 지역
- 그들의
- 그들
- 그때
- 이
- 을 통하여
- TIE
- 시간
- 에
- 수단
- 교통
- Train
- 변환
- 여행
- 믿어
- 신뢰할 수있는
- 회전
- 두
- 유형
- 유형
- 일반적으로
- 업데이트
- 사용
- 익숙한
- 사용자
- 사용자
- 사용
- 마케팅은:
- 버전
- 가시성
- 걸었다
- 필요
- 였다
- we
- 웹
- 웹 서비스
- 웹 기반
- 잘
- 언제
- 동안
- 의지
- 과
- 이내
- 워크플로우
- 쓴
- 자신의
- 너의
- 제퍼 넷