AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델 구축 및 교육: 1부

타임 스탬프 : 29 년 2022 월 2 일 오후 28:XNUMX

다양한 산업 분야의 조직에서 인공 지능(AI) 및 머신 러닝(ML)을 사용하여 해당 산업과 관련된 비즈니스 과제를 해결하고 있습니다. 예를 들어 금융 서비스 산업에서는 AI 및 ML을 사용하여 사기 탐지, 신용 위험 예측, 직접 마케팅 및 기타 여러 문제를 해결할 수 있습니다.

대기업은 혁신적인 분석 및 ML 프로젝트를 통해 다양한 LoB(Line of Business)의 요구 사항을 해결하기 위해 CoE(Center of Excellence)를 설정하는 경우가 있습니다.

대규모의 고성능 ML 모델을 생성하려면 다음을 수행해야 합니다.

  • 분석 및 ML CoE에 대한 관련 데이터에 쉽게 액세스할 수 있는 방법 제공
  • 검색 가능하고 이해 가능하며 상호 운용 가능하고 신뢰할 수 있는 선별된 데이터 자산을 공유하기 위해 개별 LoB의 데이터 제공자에 대한 책임을 생성합니다.

이를 통해 ML 사용 사례를 실험에서 프로덕션으로 전환하는 데 소요되는 긴 주기를 줄이고 조직 전체에서 비즈니스 가치를 창출할 수 있습니다.

데이터 메시 아키텍처는 조직 내 또는 조직 전반에서 복잡하고 대규모 환경에서 데이터를 공유, 액세스 및 관리하기 위한 분산형 사회-기술적 접근 방식을 도입하여 이러한 기술적 및 조직적 문제를 해결하기 위해 노력합니다. 데이터 메쉬 디자인 패턴은 데이터 팀, 프로세스 및 기술에 대한 비즈니스 투자 수익을 증가시키는 궁극적인 목표를 달성하기 위해 조직의 성장과 일치하는 책임 있는 데이터 공유 모델을 생성합니다.

XNUMX부로 구성된 이 시리즈에서는 조직이 AWS에서 데이터 메시 디자인 패턴을 사용하여 최신 데이터 아키텍처를 구축하고 분석 및 ML CoE가 여러 LoB에 걸쳐 데이터로 ML 모델을 구축하고 교육할 수 있도록 하는 방법에 대한 지침을 제공합니다. 금융 서비스 조직의 예를 사용하여 이 시리즈의 컨텍스트와 사용 사례를 설정합니다.

이 첫 번째 게시물에서는 여러 AWS 데이터 생산자 및 소비자 계정으로 데이터 메시 아키텍처를 설정하는 절차를 보여줍니다. 그런 다음 금융 조직 내의 한 LoB가 소유한 하나의 데이터 제품과 다른 LoB가 이 데이터 제품을 소비하고 사용할 수 있도록 데이터 메시 환경으로 공유하는 방법에 중점을 둡니다. 이는 주로 데이터 생산자와 소비자 간의 데이터 공유 프로세스를 간소화 및 표준화하고 데이터 거버넌스 규칙 준수를 보장하는 데이터 관리자 페르소나를 대상으로 합니다.

두 번째 게시물에서는 분석 및 ML CoE가 위험 예측 사용 사례를 위해 데이터 제품을 소비하는 방법에 대한 한 가지 예를 보여줍니다. 이는 주로 금융 서비스 고객의 경험을 향상시키기 위해 비즈니스 통찰력을 추출하는 ML 모델을 구축하고 교육하기 위해 조직 전체 및 타사 데이터 자산을 모두 활용하는 책임이 있는 데이터 과학자 페르소나를 대상으로 합니다.

데이터 메시 개요

데이터 메쉬 패턴의 창시자 Zhamak Dehghani는 그녀의 책에서 데이터 기반 가치를 대규모로 제공하는 데이터 메시, 데이터 메시의 목표에 대해 XNUMX가지 원칙을 정의했습니다.

  • 분산 도메인 소유권 – 데이터 플랫폼 기술을 실행하는 전문가의 중앙 집중식 데이터 소유권에서 분산된 데이터 소유권 모델로의 조직적 전환을 추구하여 데이터의 소유권과 책임을 데이터가 생성(소스 정렬 도메인) 또는 소비되는 LoB로 되돌립니다( 소비 정렬 도메인).
  • 제품으로서의 데이터 – 선별되고 고품질이며 상호 운용 가능하며 안전한 데이터 자산을 공유하는 책임을 업스트림으로 추진합니다. 따라서 다른 LoB의 데이터 생산자는 소스에서 바로 소비 가능한 형태의 데이터를 만드는 책임이 있습니다.
  • 셀프 서비스 분석 – 데이터 사용자가 선호하는 도구로 데이터 제품을 검색, 액세스 및 사용할 수 있도록 분석 및 ML의 데이터 사용자 경험을 간소화합니다. 또한 LoB 데이터 공급자의 경험을 간소화하여 레시피와 재사용 가능한 구성 요소 및 템플릿을 통해 데이터 제품을 구축, 배포 및 유지 관리합니다.
  • 연합 컴퓨팅 거버넌스 – 다양한 LoB의 데이터 소유자 수준이 되도록 데이터 액세스 관리 및 제어와 관련된 의사 결정을 연합 및 자동화합니다. 이는 궁극적으로 다음을 통해 시행되는 더 넓은 조직의 법률, 규정 준수 및 보안 정책과 일치합니다. 메쉬.

AWS는 다양한 게시물에서 AWS를 기반으로 데이터 메시를 구축하기 위한 비전을 소개했습니다.

  • 첫째, 우리는 제품 원칙으로서 분산된 도메인 소유권 및 데이터와 관련된 조직적 부분에 초점을 맞추었습니다. 저자는 조직 전체에 걸쳐 여러 LOB를 데이터 제품 전략에 맞추는 비전에 대해 설명했습니다. 데이터 제품 전략은 소비 관련 도메인에 필요한 데이터를 찾고 얻을 수 있는 도구를 제공하는 동시에 소스 정렬 도메인은 소스에서 바로 사용할 수 있는 데이터 제품을 제공합니다. 자세한 내용은 JPMorgan Chase가 엔터프라이즈 데이터 플랫폼을 향상시키기 위해 상당한 가치를 창출하기 위해 데이터 메시 아키텍처를 구축한 방법.
  • 그런 다음 데이터 제품 구축, 셀프 서비스 분석 및 연합 컴퓨팅 거버넌스 원칙과 관련된 기술적인 부분에 집중했습니다. 저자는 소스 정렬 도메인이 데이터 제품을 구축 및 공유할 수 있도록 하는 핵심 AWS 서비스, 소비자 정렬 도메인이 선호하는 도구 및 사용 사례에 따라 다양한 방식으로 데이터 제품을 소비할 수 있도록 하는 다양한 서비스를 설명했습니다. 데이터 액세스 정책을 시행하여 데이터 공유 절차를 관리하는 AWS 서비스를 위해 노력하고 있습니다. 자세한 내용은 다음을 참조하십시오. AWS Lake Formation 및 AWS Glue를 사용하여 데이터 메시 아키텍처 설계.
  • 또한 중앙 집중식 데이터 메시 UI를 통해 데이터 검색 및 액세스 제어를 자동화하는 솔루션을 보여주었습니다. 자세한 내용은 데이터 메시용 AWS Lake Formation으로 데이터 공유 워크플로 구축.

금융 서비스 사용 사례

일반적으로 대규모 금융 서비스 조직에는 소비자 금융, 투자 은행, 자산 관리와 같은 여러 LoB와 하나 이상의 분석 및 ML CoE 팀이 있습니다. 각 LoB는 서로 다른 서비스를 제공합니다.

  • 소비자 금융 LoB는 신용 및 모기지, 현금 관리, 지불 솔루션, 예금 및 투자 상품 등을 포함하여 소비자와 기업에 다양한 서비스를 제공합니다.
  • 상업 또는 투자 은행 LoB는 중소기업, 중소기업 및 대기업을 포함한 고객에게 대출, 파산 위험 및 도매 지불과 같은 포괄적 인 금융 솔루션을 제공합니다.
  • 자산관리 LoB는 모든 자산군에 걸쳐 퇴직 상품 및 투자 서비스를 제공합니다.

각 LoB는 데이터를 이해하고 사용 권한이 있는 사람과 사용 방법을 지정하는 데 가장 적합한 사람들이 선별한 자체 데이터 제품을 정의합니다. 대조적으로, 분석 및 ML CoE와 같은 다른 LoB 및 애플리케이션 도메인은 적격 데이터 제품을 발견 및 소비하고, 이를 함께 혼합하여 통찰력을 생성하고, 데이터 기반 의사 결정을 내리는 데 관심이 있습니다.

다음 그림은 일부 LoB와 공유할 수 있는 데이터 제품의 예를 보여줍니다. 또한 최종 고객의 경험을 더욱 향상시키기 위해 고객 대면 애플리케이션에 배포할 수 있는 ML 모델을 구축하는 분석 및 ML CoE와 같은 데이터 제품의 소비자를 보여줍니다.

데이터 메쉬 사회 기술적 개념에 따라 다음과 같은 일련의 조직 단계를 통해 사회적 측면으로 시작합니다.

  • 도메인 전문가를 활용하여 각 도메인의 경계를 정의하여 각 데이터 제품을 특정 도메인에 매핑할 수 있습니다.
  • 각 도메인에서 제공되는 데이터 제품의 소유자를 식별하여 각 데이터 제품에는 소유자가 정의한 전략이 있습니다.
  • 글로벌 및 로컬 또는 연합 인센티브에서 거버넌스 정책을 식별하여 데이터 소비자가 특정 데이터 제품에 액세스할 때 제품과 관련된 액세스 정책이 중앙 데이터 거버넌스 계층을 통해 자동으로 시행될 수 있습니다.

그런 다음 이전 다이어그램에 정의된 다음과 같은 종단 간 시나리오를 포함하는 기술적 측면으로 이동합니다.

  1. 바로 사용할 수 있는 소비자 신용 프로필 데이터 제품을 구축할 수 있는 도구로 소비자 금융 LoB를 강화하십시오.
  2. 소비자 은행 LoB가 데이터 제품을 중앙 거버넌스 계층과 공유할 수 있도록 합니다.
  3. 중앙 데이터 거버넌스를 통해 소비자 신용 프로필 데이터 제품에 액세스하는 동안 시행해야 하는 데이터 액세스 정책의 글로벌 및 연합 정의를 포함합니다.
  4. 분석 및 ML CoE가 중앙 거버넌스 계층을 통해 데이터 제품을 검색하고 액세스할 수 있도록 합니다.
  5. 데이터 제품을 활용하여 신용 위험 예측 모델을 구축하고 교육하는 도구로 분석 및 ML CoE를 강화하십시오. 이 시리즈의 마지막 단계(이전 다이어그램의 6 및 7)는 다루지 않습니다. 그러나 이러한 ML 모델이 종단 간 시나리오에서 조직에 가져올 수 있는 비즈니스 가치를 보여주기 위해 다음을 설명합니다.
  6. 이 모델은 나중에 소비자 금융 웹 포털 또는 모바일 애플리케이션과 같은 고객 대면 시스템에 다시 배포될 수 있습니다.
  7. 특히 대출 신청 내에서 신용 및 모기지 요청의 위험 프로필을 평가하는 데 사용할 수 있습니다.

다음으로 각 구성 요소의 기술적 요구 사항에 대해 설명합니다.

기술적 요구 사항에 대한 심층 분석

모든 사람이 데이터 제품을 사용할 수 있도록 하려면 조직에서 적절한 제어를 유지하면서, 즉 민첩성과 적절한 거버넌스의 균형을 유지하면서 조직 전체의 다양한 엔터티 간에 데이터를 쉽게 공유할 수 있어야 합니다.

데이터 소비자: 분석 및 ML CoE

분석 및 ML CoE의 데이터 과학자와 같은 데이터 소비자는 다음을 수행할 수 있어야 합니다.

  • 주어진 사용 사례에 대한 관련 데이터 세트 검색 및 액세스
  • 액세스하려는 데이터 세트가 이미 선별되고 최신 상태이며 강력한 설명이 있음을 확신하십시오.
  • 비즈니스 사례에 대한 관심 데이터 세트에 대한 액세스 요청
  • 선호하는 도구를 사용하여 원래 원격 위치에서 데이터를 복제하거나 원격 사이트에 물리적으로 저장된 데이터 처리와 관련된 엔지니어링 또는 인프라 복잡성에 대해 걱정할 필요 없이 ML을 위해 환경 내에서 이러한 데이터 세트를 쿼리하고 처리합니다.
  • 데이터 소유자가 수행한 모든 데이터 업데이트 알림 받기

데이터 생산자: 도메인 소유권

금융 서비스 조직의 다른 LoB에 속한 도메인 팀과 같은 데이터 생산자는 다음을 포함하는 선별된 데이터 세트를 등록하고 공유해야 합니다.

  • 데이터베이스 및 테이블 이름과 크기, 열 스키마, 키와 같은 기술 및 운영 메타데이터
  • 데이터 설명, 분류 및 민감도와 같은 비즈니스 메타데이터
  • 소스에서 대상 형식 및 모든 중간 형식으로의 스키마 진화와 같은 메타데이터 추적
  • 정확성 및 완전성 비율 및 데이터 편향과 같은 데이터 품질 메타데이터
  • 액세스 정책 및 절차

이는 데이터 소비자가 수동 절차에 의존하거나 데이터 제품의 도메인 전문가에게 연락하여 데이터의 의미와 데이터 액세스 방법에 대한 더 많은 지식을 얻을 필요 없이 데이터를 검색하고 액세스할 수 있도록 하는 데 필요합니다.

데이터 거버넌스: 검색 가능성, 액세스 가능성 및 감사 가능성

조직은 앞서 설명한 민첩성과 데이터 유출과 관련된 위험의 적절한 완화 사이의 균형을 유지해야 합니다. 특히 금융 서비스와 같은 규제 대상 산업에서는 중앙 데이터 거버넌스를 유지하여 전체 데이터 액세스 및 감사 제어를 제공하는 동시에 여러 위치에서 동일한 데이터의 여러 복사본을 방지함으로써 스토리지 공간을 줄여야 합니다.

기존의 중앙 집중식 데이터 레이크 아키텍처에서 데이터 생산자는 종종 원시 데이터를 게시하고 중앙 집중식 데이터 플랫폼 팀의 데이터 및 인프라 엔지니어에게 데이터 큐레이션, 데이터 품질 관리 및 액세스 제어의 책임을 전가합니다. 그러나 이러한 데이터 플랫폼 팀은 다양한 데이터 도메인에 익숙하지 않을 수 있으며 각 데이터 도메인에서 시행되는 정책에 따라 데이터에 대한 액세스를 적절하게 관리하고 제어할 수 있도록 데이터 생산자의 지원에 여전히 의존합니다. 대조적으로, 데이터 생산자 자신은 선별되고 적격한 데이터 자산을 제공하기에 가장 좋은 위치에 있으며 데이터 자산에 액세스하는 동안 시행해야 하는 도메인별 액세스 정책을 알고 있습니다.

솔루션 개요

다음 다이어그램은 제안된 솔루션의 상위 수준 아키텍처를 보여줍니다.

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

우리는 분석 및 ML CoE를 통해 데이터 소비를 해결합니다. 아마존 아테나 과 아마존 세이지 메이커 in 일부 2 이 시리즈의.

이 게시물에서는 데이터 메시로의 데이터 온보딩 프로세스에 초점을 맞추고 소비자 금융 도메인 데이터 팀과 같은 개별 LoB가 다음과 같은 AWS 도구를 사용하는 방법을 설명합니다. AWS 접착제 과 AWS 글루 데이터브루 데이터 제품의 품질을 준비, 선별 및 향상한 다음 해당 데이터 제품을 다음을 통해 중앙 데이터 거버넌스 계정에 등록합니다. AWS Lake 형성.

소비자 금융 LoB(데이터 생산자)

데이터 메시의 핵심 원칙 중 하나는 제품으로서의 데이터 개념입니다. 소비자 금융 도메인 데이터 팀이 데이터 소비자가 사용할 준비가 된 데이터 제품을 준비하는 작업은 매우 중요합니다. 이는 AWS Glue와 같은 AWS ETL(추출, 변환 및 로드) 도구를 사용하여 수집된 원시 데이터를 처리함으로써 수행할 수 있습니다. 아마존 단순 스토리지 서비스 (Amazon S3) 또는 데이터가 생성되는 운영 데이터 저장소에 연결합니다. 당신은 또한 사용할 수 있습니다 데이터브루, 데이터를 쉽게 정리하고 정규화할 수 있는 코드 없는 시각적 데이터 준비 도구입니다.

예를 들어, 소비자 신용 프로필 데이터 제품을 준비하는 동안 소비자 은행 도메인 데이터 팀은 오픈 소스 데이터 세트에서 검색된 원시 데이터의 속성 이름을 독일어에서 영어로 변환하는 간단한 큐레이션을 만들 수 있습니다. Statlog 독일 신용 데이터, 20개의 속성과 1,000개의 행으로 구성됩니다.

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

데이터 거버넌스

데이터 메시 거버넌스를 활성화하기 위한 핵심 AWS 서비스는 Lake Formation입니다. Lake Formation은 데이터를 쉽게 검색하고 안전하게 보호할 수 있도록 각 데이터 도메인 내에서 그리고 도메인 간에 데이터 거버넌스를 시행하는 기능을 제공합니다. 데이터 검색, 보안 및 규정 준수를 위한 모범 사례와 함께 중앙에서 관리할 수 있는 연합 보안 모델을 제공하는 동시에 각 도메인 내에서 높은 민첩성을 허용합니다.

Lake Formation은 데이터를 보호하기 위한 행 수준 보안과 함께 데이터 수집, 저장 및 관리 방법을 단순화하는 API를 제공합니다. 또한 세분화된 액세스 제어, 관리 테이블 및 스토리지 최적화와 같은 기능을 제공합니다.

또한 Lake Formations는 데이터 공유 API 데이터를 공유하는 데 사용할 수 있는 다른 계정에 걸쳐. 이를 통해 분석 및 ML CoE 소비자는 여러 계정에서 테이블을 쿼리하고 조인하는 Athena 쿼리를 실행할 수 있습니다. 자세한 내용은 AWS Lake Formation 개발자 안내서.

AWS 리소스 액세스 관리자 (AWS RAM)은 다음을 통해 리소스를 공유하는 안전한 방법을 제공합니다. AWS ID 및 액세스 관리자 (IAM) 조직 또는 OU(조직 단위) 내 AWS 계정 전체의 역할 및 사용자 AWS 조직.

Lake Formation은 AWS RAM과 함께 AWS 계정 간의 데이터 공유 및 액세스를 관리하는 한 가지 방법을 제공합니다. 우리는 이 접근 방식을 다음과 같이 참조합니다. RAM 기반 액세스 제어. 이 접근 방식에 대한 자세한 내용은 다음을 참조하십시오. 데이터 메시용 AWS Lake Formation으로 데이터 공유 워크플로 구축.

Lake Formation은 또한 다음을 사용하여 데이터 공유 및 액세스를 관리하는 또 다른 방법을 제공합니다. 호수 형성 의 태그. 우리는 이 접근 방식을 다음과 같이 참조합니다. 태그 기반 액세스 제어. 자세한 내용은 AWS Lake Formation 태그 기반 액세스 제어를 사용하여 최신 데이터 아키텍처 및 데이터 메시 패턴을 대규모로 구축.

이 게시물 전체에서 태그 기반 액세스 제어 접근 방식을 사용합니다. 인프라 수준에서 명명된 리소스에 대한 정책을 지정하는 대신 다른 LoB에서 일반적으로 발견되는 더 적은 수의 논리적 태그에 대한 정책 생성을 단순화하기 때문입니다.

사전 조건

데이터 메시 아키텍처를 설정하려면 생산자 계정, 중앙 계정 및 소비자 계정의 세 개 이상의 AWS 계정이 필요합니다.

데이터 메시 환경 배포

데이터 메시 환경을 배포하려면 다음을 사용할 수 있습니다. GitHub 저장소. 이 저장소에는 세 가지 AWS 클라우드 포메이션 각 계정(생산자, 중앙 및 소비자)을 포함하는 데이터 메시 환경을 배포하는 템플릿. 각 계정 내에서 해당 CloudFormation 템플릿을 실행할 수 있습니다.

중앙 계정

중앙 계정에서 다음 단계를 완료하십시오.

  1. CloudFormation 스택을 시작하십시오.
    AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
  2. 두 IAM 사용자를 생성합니다.
    1. DataMeshOwner
    2. ProducerSteward
  3. 부여 DataMeshOwner Lake Formation 관리자로
  4. 하나의 IAM 역할을 생성합니다.
    1. LFRegisterLocationServiceRole
  5. 두 개의 IAM 정책을 생성합니다.
    1. ProducerStewardPolicy
    2. S3DataLakePolicy
  6. 에 대한 데이터베이스 신용 카드 생성 ProducerSteward 프로듀서 계정에서
  7. 생산자 계정에 데이터 위치 권한을 공유합니다.

프로듀서 계정

생산자 계정에서 다음 단계를 완료하십시오.

  1. CloudFormation 스택을 시작하십시오.
    AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
  2. S3 버킷 생성 credit-card, 테이블을 보유하는 credit_card.
  3. 중앙 계정 Lake Formation 서비스 역할에 대해 S3 버킷 액세스를 허용합니다.
  4. AWS Glue 크롤러 생성 creditCrawler-<ProducerAccountID>.
  5. AWS Glue 크롤러 서비스 역할을 생성합니다.
  6. S3 버킷 위치에 대한 권한 부여 credit-card-<ProducerAccountID>-<aws-region> AWS Glue 크롤러 역할에.
  7. 생산자 스튜어드 IAM 사용자를 생성합니다.

소비자 계정

소비자 계정에서 다음 단계를 완료하십시오.

  1. CloudFormation 스택을 시작하십시오.
    AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
  2. S3 버킷 생성 <AWS Account ID>-<aws-region>-athena-logs.
  3. Athena 작업 그룹 만들기 consumer-workgroup.
  4. IAM 사용자 생성 ConsumerAdmin.

데이터베이스를 추가하고 소비자 계정을 구독합니다.

템플릿을 실행한 후 다음을 수행할 수 있습니다. 단계별 가이드 데이터 카탈로그에 제품을 추가하고 소비자가 구독하도록 합니다. 이 가이드는 생산자가 제품을 배치할 수 있는 데이터베이스를 설정하는 것으로 시작한 다음 소비자가 해당 데이터베이스에 가입하고 데이터에 액세스하는 방법을 설명합니다. 이 모든 것은 사용하는 동안 수행됩니다. LF 태그, 이는 태그 기반 액세스 제어 호수 형성을 위해.

데이터 상품 등록

다음 아키텍처는 데이터 생산자 역할을 하는 소비자 금융 LoB 팀이 중앙 데이터 거버넌스 계정에 데이터 제품을 등록하는 방법에 대한 자세한 단계를 설명합니다(조직 데이터 메시에 데이터 제품 탑재).

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

데이터 제품을 등록하는 일반적인 단계는 다음과 같습니다.

  1. 중앙 거버넌스 계정에서 데이터 제품에 대한 대상 데이터베이스를 작성하십시오. 예를 들어 중앙 계정의 CloudFormation 템플릿은 이미 대상 데이터베이스를 생성합니다. credit-card.
  2. 생성된 대상 데이터베이스를 생산자 계정의 원본과 공유합니다.
  3. 생산자 계정에서 공유 데이터베이스의 리소스 링크를 생성합니다. 다음 스크린샷에서 생산자 계정의 Lake Formation 콘솔에서 볼 수 있습니다. rl_credit-card 의 리소스 링크입니다. credit-card 데이터 베이스.
    AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.
  4. 리소스 링크 데이터베이스(rl_credit-card) 생산자 계정에서 AWS Glue 크롤러를 사용합니다.
    AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

생성된 테이블은 중앙 거버넌스 계정에 자동으로 나타납니다. 다음 스크린샷은 중앙 계정의 Lake Formation에 있는 테이블의 예를 보여줍니다. 리소스 링크 데이터베이스를 채우는 이전 단계를 수행한 후입니다. rl_credit-card 생산자 계정에서

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

결론

이 시리즈의 1부에서는 분석 및 ML 팀의 민첩성을 높이고 데이터에서 통찰력에 이르는 시간을 줄이기 위한 금융 서비스 조직의 목표에 대해 논의했습니다. 또한 AWS Glue, DataBrew 및 Lake Formation과 같은 사용하기 쉽고 확장 가능하며 비용 효율적인 AWS 서비스를 도입한 AWS에서 데이터 메시 아키텍처를 구축하는 데 중점을 두었습니다. 데이터 생성 팀은 이러한 서비스를 사용하여 분석 목적으로 다양한 데이터 소비자를 사용할 준비가 된 선별된 고품질의 상호 운용 가능하고 안전한 데이터 제품을 구축 및 공유할 수 있습니다.

In 일부 2, 우리는 Athena 및 SageMaker와 같은 AWS 서비스를 사용하여 신용 위험 예측 모델을 구축하기 위해 소비자 은행 LoB에서 공유하는 데이터 제품을 사용하는 분석 및 ML CoE 팀에 중점을 둡니다.

저자 소개

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.카림 함무다 데이터 통합, 데이터 분석 및 BI에 대한 열정을 가진 AWS의 분석을 위한 전문 솔루션 설계자입니다. 그는 AWS 고객과 협력하여 비즈니스 성장에 기여하는 분석 솔루션을 설계하고 구축합니다. 여가 시간에는 TV 다큐멘터리를 보고 아들과 비디오 게임을 하는 것을 좋아합니다.

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.하산 푸나 왈라 AWS의 수석 AI/ML 전문가 솔루션 아키텍트인 Hasan은 고객이 AWS의 프로덕션 환경에서 기계 학습 애플리케이션을 설계하고 배포할 수 있도록 지원합니다. 그는 데이터 과학자, 기계 학습 실무자 및 소프트웨어 개발자로서 12년 이상의 경력을 가지고 있습니다. 여가 시간에 Hasan은 자연을 탐험하고 친구 및 가족과 함께 시간을 보내는 것을 좋아합니다.

AWS에서 데이터 메시 아키텍처를 사용하여 ML 모델을 구축하고 훈련: 1부 PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.베누아 드 파툴 AWS의 AI/ML 전문가 솔루션 아키텍트입니다. 그는 AWS를 사용하여 AI/ML과 관련된 솔루션을 구축하기 위한 지침과 기술 지원을 제공하여 고객을 돕습니다. 여가 시간에는 피아노를 치고 친구들과 시간을 보내는 것을 좋아합니다.

타임 스탬프 :

더보기 AWS 기계 학습