이 게시물은 Jan Paul Assendorp, Thomas Lietzow, Christopher Masch, Alexander Meinert, Dr. Lars Palzer, SIGNAL IDUNA의 Jan Schillemans와 공동으로 작성되었습니다.
독일의 대형 보험사인 SIGNAL IDUNA는 현재 보다 고객 지향적인 기업이 되기 위해 혁신 프로그램 VISION2023을 통해 자신을 재창조하고 있습니다. 이 변화의 핵심은 두 가지 측면입니다. 즉, 인력의 상당 부분을 기능 간 및 민첩한 팀으로 재편성하고 진정한 데이터 중심 회사가 되는 것입니다. 여기에서 "당신이 구축하고 실행합니다"라는 모토는 데이터 또는 머신 러닝(ML) 제품을 구축하는 다기능 팀의 중요한 요구 사항입니다. 이로 인해 작업 팀이 제품을 생산하고 실행하는 데 지출할 수 있는 금액에 대한 엄격한 제약이 있습니다.
이 게시물은 SIGNAL IDUNA가 이 문제를 해결하고 활용하는 방법을 보여줍니다. AWS Cloud 교차 기능 팀이 자체 ML 제품을 구축하고 운영할 수 있도록 합니다. 이를 위해 먼저 제품 개발 및 실행에 사용되는 클라우드 인프라의 핵심 요구 사항을 설정하는 애자일 팀의 조직 구조를 소개합니다. 다음으로, SIGNAL IDUNA의 XNUMX개 중앙 팀이 쉽게 사용하고 조정할 수 있는 적절한 워크플로 및 인프라 솔루션을 제공하여 최소한의 지원으로 AWS 클라우드에서 데이터 제품을 구축할 수 있도록 하는 교차 기능 팀을 보여줍니다. 마지막으로 우리의 접근 방식을 검토하고 개발과 운영이 더 엄격하게 분리되는 보다 고전적인 접근 방식과 비교합니다.
Agile@SI – 조직 변화의 기초
2021년 초부터 SIGNAL IDUNA는 Agile@SI 전략을 실행에 옮기고 전사적으로 고객 지향 솔루션을 개발하기 위한 애자일 방법을 수립하기 시작했습니다[1]. 이전 작업과 목표는 이제 교차 기능 팀에서 수행합니다. 분대. 이 팀은 민첩한 방법(예: Scrum 프레임워크)을 사용하고 스스로 결정을 내리고 고객 지향적인 제품을 만듭니다. 일반적으로 팀은 마케팅과 같은 사업부에 있으며 많은 팀이 데이터 기반 및 ML 기반 제품 구축에 중점을 둡니다. 예를 들어 보험의 일반적인 사용 사례는 고객 이탈 예측 및 제품 추천입니다.
ML의 복잡성으로 인해 단일 스쿼드에서 ML 솔루션을 생성하는 것은 어렵고 따라서 다른 스쿼드의 협업이 필요합니다.
SIGNAL IDUNA에는 ML 솔루션 생성을 지원하는 2개의 필수 팀이 있습니다. 이 세 분대에 둘러싸여 ML 솔루션의 개발 및 장기 운영을 담당하는 팀이 있습니다. 이 접근 방식은 AWS 공동 책임 모델[XNUMX]을 따릅니다.
위의 이미지에서 모든 스쿼드가 개요로 표시됩니다.
클라우드 지원
전체 조직을 위한 기본 클라우드 인프라는 Cloud Enablement 팀에서 제공합니다. 팀이 자체적으로 클라우드 기술을 기반으로 제품을 구축할 수 있도록 하는 것이 그들의 임무입니다. 이는 ML과 같은 신제품을 구축하는 시장 출시 시간을 단축하고 "당신이 구축하고 실행합니다"라는 원칙을 따릅니다.
데이터 오피스/데이터 레이크
데이터를 클라우드로 이동하고 올바른 데이터 세트를 찾는 것은 Data Office/Data Lake 분대에서 지원합니다. 그들은 필요한 데이터 세트를 검색하고 선택하는 데 사용할 수 있는 데이터 카탈로그를 설정합니다. 그들의 목표는 데이터 투명성과 거버넌스를 확립하는 것입니다. 또한 팀이 관련 데이터에 액세스하고 처리하는 데 도움이 되는 Data Lake를 구축하고 운영하는 일을 담당합니다.
데이터 분석 플랫폼
우리 팀 데이터 분석 플랫폼(DAP)은 ML 엔지니어링, 데이터 엔지니어링 및 데이터 과학에 능숙한 SIGNAL IDUNA의 클라우드 및 ML 중심 팀입니다. 인프라 구성 요소와 지식을 제공하여 ML용 퍼블릭 클라우드를 사용하는 내부 팀을 지원합니다. 당사의 제품과 서비스는 다음 섹션에 자세히 설명되어 있습니다.
부서 간 팀이 ML 솔루션을 구축할 수 있도록 지원
SIGNAL IDUNA의 교차 기능 팀이 ML 솔루션을 구축할 수 있도록 하려면 재사용 가능한 클라우드 인프라를 프로비저닝하는 빠르고 다양한 방법과 온보딩 팀이 클라우드 기능을 활용할 수 있는 효율적인 워크플로가 필요합니다.
이를 위해 표준화된 온보딩 및 지원 프로세스를 만들고 IaC(Infrastructure as Code)로 모듈식 인프라 템플릿을 제공했습니다. 이러한 템플릿에는 특정 사용 사례의 요구 사항에 쉽게 맞출 수 있는 일반적인 ML 사용 사례용으로 설계된 인프라 구성 요소가 포함되어 있습니다.
ML 솔루션 구축 워크플로
ML 솔루션 구축 및 운영과 관련된 세 가지 주요 기술 역할은 데이터 과학자, ML 엔지니어 및 데이터 엔지니어입니다. 각 역할은 교차 기능 분대의 일부이며 다른 책임이 있습니다. 데이터 과학자는 사용 사례의 기능적 요구 사항과 기술적 요구 사항에 대한 필수 영역 지식을 가지고 있습니다. ML 엔지니어는 자동화된 ML 솔루션 및 모델 배포 구축을 전문으로 합니다. 그리고 데이터 엔지니어는 데이터가 온프레미스와 클라우드 내에서 흐르도록 합니다.
플랫폼을 제공하는 과정은 다음과 같습니다.
특정 사용 사례의 인프라는 IaC에 정의되고 중앙 프로젝트 저장소에서 버전이 지정됩니다. 여기에는 모델 교육 및 배포를 위한 파이프라인과 기타 데이터 과학 관련 코드 아티팩트도 포함됩니다. 데이터 과학자, ML 엔지니어 및 데이터 엔지니어는 프로젝트 저장소에 액세스할 수 있으며 모든 인프라 코드를 자율적으로 구성 및 업데이트할 수 있습니다. 이를 통해 팀은 필요한 경우 인프라를 신속하게 변경할 수 있습니다. 그러나 ML 엔지니어는 인프라 또는 ML 모델의 개발 및 업데이트를 항상 지원할 수 있습니다.
재사용 가능한 모듈식 인프라 구성 요소
계층적 및 모듈식 IaC 리소스는 다음에서 구현됩니다. 테라 폼 공통 데이터 과학 및 ETL 사용 사례를 위한 인프라를 포함합니다. 이를 통해 인프라 코드를 재사용하고 다음 사용과 같은 필수 보안 및 규정 준수 정책을 시행할 수 있습니다. AWS 키 관리 서비스(KMS) 데이터 암호화 및 인프라 캡슐화 Amazon 가상 사설 클라우드(VPC) 인터넷에 직접 액세스할 수 없는 환경.
계층적 IaC 구조는 다음과 같습니다.
- 모듈 보안 및 액세스 관리에 필요한 구성으로 기본 AWS 서비스를 캡슐화합니다. 여기에는 공개 액세스 방지와 같은 모범 사례 구성이 포함됩니다. Amazon Simple Storage Service (S3) 버킷 또는 저장된 모든 파일에 대한 암호화 시행.
- 경우에 따라 여러 단계에서 ML 모델을 배포하는 것과 같이 프로세스를 자동화하기 위해 다양한 서비스가 필요합니다. 따라서 우리는 다음과 같이 정의했습니다. 솔루션 다양한 유형의 작업에 대한 공동 구성의 다양한 모듈 번들로 제공됩니다.
- 또한, 우리는 완전한 청사진 다양한 환경의 솔루션을 결합하여 프로젝트의 많은 잠재적 요구 사항을 충족합니다. MLOps 청사진에서는 AWS 계정에 통합 및 배포되는 ML 모델을 교육, 프로비저닝 및 모니터링하기 위한 배포 가능한 인프라를 정의합니다. 자세한 내용은 다음 섹션에서 논의합니다.
이러한 제품은 DAP 팀에 의해 중앙 리포지토리에서 버전이 관리됩니다. 이를 통해 IaC를 지속적으로 개선하고 다음과 같은 AWS의 새로운 기능을 고려할 수 있습니다. 아마존 세이지 메이커 모델 레지스트리. 각 분대는 이러한 리소스를 참조하고 필요에 따라 매개변수화한 다음 최종적으로 자체 AWS 계정에 배포할 수 있습니다.
MLOps 아키텍처
우리는 전체 MLOps 프로세스를 포괄하는 특정 솔루션과 함께 즉시 사용할 수 있는 청사진을 제공합니다. 청사진에는 ML 모델을 구축 및 배포하기 위해 XNUMX개의 AWS 계정에 분산된 인프라가 포함되어 있습니다. 이를 통해 MLOps 프로세스의 여러 단계에 대한 리소스와 워크플로를 격리할 수 있습니다. 다음 그림은 다중 계정 아키텍처를 보여주며 프로세스의 특정 단계에 대한 책임이 서로 다른 기술 역할 간에 어떻게 나누어지는지 설명합니다.
XNUMXD덴탈의 모델링 계정에는 ML 모델 개발을 위한 서비스가 포함됩니다. 첫째, 데이터 엔지니어는 ETL 프로세스를 사용하여 AWS 클라우드의 데이터 기반 워크플로를 위한 중앙 집중식 게이트웨이인 SIGNAL IDUNA 데이터 레이크에서 관련 데이터를 제공합니다. 결과적으로 데이터 과학자는 데이터 세트를 활용하여 모델 후보를 훈련하고 평가할 수 있습니다. 광범위한 실험이 준비되면 ML 엔지니어가 모델 후보를 자동화된 교육 파이프라인에 통합합니다. Amazon SageMaker Pipelines를 사용하여 대규모 교육, 초매개변수 조정 및 모델 평가를 자동화합니다. 여기에는 모델 계보와 프로덕션 배포를 위해 준비할 모델에 대한 표준화된 승인 메커니즘도 포함됩니다. 자동화된 단위 테스트 및 코드 분석은 데이터 사전 처리, 모델 교육 및 평가와 같은 파이프라인의 각 단계에서 코드의 품질과 안정성을 보장합니다. 모델이 평가되고 승인되면 Amazon SageMaker ModelPackages를 훈련된 모델 및 관련 메타 데이터에 대한 인터페이스로 사용합니다.
XNUMXD덴탈의 정 자국이 나란히 나게하는 다듬질 계정에는 훈련된 모델의 테스트 및 배포를 위한 다양한 단계의 자동화된 CI/CD 파이프라인이 포함되어 있습니다. 테스트 단계에서 모델은 서빙 비프로덕션 계정. 모델 품질이 프로덕션을 위해 준비되기 전에 교육 파이프라인에서 평가되지만 여기서는 격리된 테스트 환경에서 성능 및 통합 테스트를 실행합니다. 테스트 단계를 통과한 후 모델은 서빙 제품 생산 워크플로에 통합할 계정입니다.
MLOps 워크플로의 단계를 다른 AWS 계정으로 분리하면 프로덕션에서 개발 및 테스트를 분리할 수 있습니다. 따라서 우리는 엄격한 접근 및 보안 정책을 시행할 수 있습니다. 또한 맞춤형 IAM 역할은 특정 서비스가 해당 범위에 필요한 데이터 및 기타 서비스에만 액세스할 수 있도록 합니다. 최소 권한 원칙. 서비스 환경 내의 서비스는 외부 비즈니스 프로세스에 추가로 액세스할 수 있습니다. 예를 들어, 비즈니스 프로세스는 모델 예측을 위해 제공 제품 환경 내의 끝점을 쿼리할 수 있습니다.
접근 방식의 이점
이 프로세스는 ML 모델과 필요한 인프라 모두에 대해 개발 및 운영을 엄격하게 분리하는 것과 비교하여 많은 이점이 있습니다.
- 절연: 모든 팀은 다른 팀의 환경과 완전히 격리된 자체 AWS 계정 세트를 받습니다. 이렇게 하면 액세스 권한을 쉽게 관리하고 작업 권한이 있는 사람들에게만 데이터를 비공개로 유지할 수 있습니다.
- 클라우드 지원: 클라우드 DevOps에 대한 사전 경험이 거의 없는 팀 구성원(예: 많은 데이터 과학자)은 중앙 서비스 뒤에 숨겨진 것이 거의 없기 때문에 인프라 설계 및 관리의 전체 프로세스를 쉽게 볼 수 있습니다. 이를 통해 인프라에 대한 더 나은 이해를 얻을 수 있으며, 이를 통해 데이터 과학 제품을 보다 효율적으로 생성할 수 있습니다.
- 제품 소유권: 사전 구성된 인프라 솔루션 및 관리형 서비스를 사용하면 프로덕션 환경에서 ML 제품을 관리하는 데 대한 장벽이 매우 낮아집니다. 따라서 데이터 과학자는 생산에 투입되는 모델의 소유권을 쉽게 가질 수 있습니다. 이렇게 하면 개발 후 모델을 프로덕션에 적용하지 못하는 잘 알려진 위험을 최소화할 수 있습니다.
- 혁신: ML 엔지니어는 모델을 프로덕션에 적용할 준비가 되기 훨씬 전에 참여하기 때문에 데이터 과학자가 ML 모델을 개발하는 동안 새로운 사용 사례에 적합한 인프라 솔루션을 만들 수 있습니다.
- 적응성: DAP에서 개발한 IaC 솔루션을 무료로 사용할 수 있기 때문에 모든 팀에서 사용 사례의 특정 요구 사항에 맞게 쉽게 조정할 수 있습니다.
- 오픈 소스: 모든 새로운 인프라 솔루션은 다른 팀에서 사용할 수 있도록 중앙 DAP 코드 저장소를 통해 쉽게 사용할 수 있습니다. 시간이 지남에 따라 다양한 사용 사례에 맞게 조정된 인프라 구성 요소가 포함된 풍부한 코드 기반이 생성됩니다.
요약
이 게시물에서는 SIGNAL IDUNA의 교차 기능 팀이 AWS에서 ML 제품을 구축하고 실행할 수 있는 방법을 설명했습니다. 우리 접근 방식의 핵심은 맞춤형 IaC 청사진 및 솔루션과 함께 각 팀에 대한 전용 AWS 계정 세트를 사용하는 것입니다. 이 두 가지 구성 요소를 통해 다기능 팀은 생산 품질 인프라를 만들고 운영할 수 있습니다. 결과적으로 그들은 ML 제품에 대한 완전한 종단 간 소유권을 가질 수 있습니다.
인용하다 Amazon SageMaker 모델 구축 파이프라인 – Amazon SageMaker 드리겠습니다.
에 대한 자세한 정보 찾기 AWS의 ML 우리의 공식 페이지에서.
참고자료
[1] https://www.handelsblatt.com/finanzen/versicherungsbranche-vorbild-spotify-signal-iduna-wird-von-einer-handwerker-versicherung-zum-agilen-konzern/27381902.html
[2] https://blog.crisp.se/wp-content/uploads/2012/11/SpotifyScaling.pdf
[3] https://aws.amazon.com/compliance/shared-responsibility-model/
저자에 관하여
얀 폴 아센도르프 강력한 데이터 과학에 중점을 둔 ML 엔지니어입니다. 그는 ML 모델을 구축하고 모델 교육 및 프로덕션 환경으로의 배포를 자동화합니다.
토마스 리조프 분대 데이터 분석 플랫폼의 스크럼 마스터입니다.
크리스토퍼 마쉬 데이터 엔지니어링, 데이터 과학 및 ML 엔지니어링에 대한 지식을 갖춘 팀 데이터 분석 플랫폼의 제품 소유자입니다.
알렉산더 마이너트 Data Analytics Platform 팀의 일원이며 ML 엔지니어로 일하고 있습니다. 통계로 시작하여 데이터 과학 프로젝트에서 성장했으며 ML 방법 및 아키텍처에 대한 열정을 찾았습니다.
라스 팔저 박사 데이터 과학자이자 Data Analytics Platform 팀의 일원입니다. MLOps 아키텍처 구성 요소를 구축하는 데 도움을 준 후 그는 이제 이를 사용하여 ML 제품을 구축하고 있습니다.
얀 쉴레만스 소프트웨어 엔지니어링 배경을 가진 ML 엔지니어입니다. 그는 소프트웨어 엔지니어링 모범 사례를 ML 환경(MLOps)에 적용하는 데 중점을 두고 있습니다.
- "
- 100
- 2021
- ACCESS
- 계정
- 가로질러
- 동작
- 장점
- 기민한
- All
- 이기는하지만
- 아마존
- 분석
- 분석
- 적용
- 접근
- 아키텍처
- 자동화
- 가능
- AWS
- 존재
- BEST
- 모범 사례
- 빌드
- 건물
- 묶음
- 사업
- 기능
- 가지 경우
- 도전
- 클라우드
- 클라우드 인프라
- 암호
- 협동
- 결합
- 공통의
- 회사
- 비교
- compliance
- 구성
- 이 포함되어 있습니다
- 만들기
- 데이터
- 데이터 분석
- 데이터 과학
- 데이터 과학자
- 전용
- 배포
- 배치
- 전개
- 설계
- 세부 묘사
- 개발
- 개발
- 개발
- 개발
- 다른
- 토론
- 분산
- 도메인
- 용이하게
- 암호화
- 종점
- 기사
- 엔지니어링
- 엔지니어
- 환경
- 필수
- 세우다
- 예
- 경험
- FAST
- 특징
- 그림
- 최종적으로
- 먼저,
- 초점
- 집중
- 수행원
- 발견
- Foundation
- 뼈대
- 가득 찬
- 목표
- 통치
- 도움
- 도움이
- 여기에서 지금 확인해 보세요.
- 방법
- HTTPS
- 영상
- 구현
- 중대한
- 개선
- 포함
- 정보
- 인프라
- 보험
- 통합 된
- 완성
- 인터페이스
- 인터넷
- 참여
- IT
- 키
- 지식
- 넓은
- 배우다
- 배우기
- 작은
- 긴
- 기계
- 기계 학습
- 구축
- 관리
- 시장
- 마케팅
- 경기
- 회원
- 메타
- ML
- 모델
- 모델
- 모듈러
- 모니터링
- 새로운 기능
- 새로운 제품
- 제공
- 공무원
- 온 보딩
- 운영
- 조직
- 기타
- 소유자
- 성능
- 플랫폼
- 정책
- 정책
- 예측
- 예측
- 예방
- 사설
- 방법
- 프로세스
- 프로덕트
- 생산
- 제품
- 프로그램
- 프로젝트
- 프로젝트
- 제공
- 공개
- 공공 클라우드
- 품질
- 저장소
- 필수
- 요구조건 니즈
- 자료
- 책임
- 리뷰
- 위험
- 달리기
- 규모
- 과학
- 과학자
- 과학자
- 검색
- 보안
- 서비스
- 서비스
- 피복재
- 세트
- 공유
- 단순, 간단, 편리
- 소프트웨어
- 소프트웨어 공학
- 솔루션
- 전문적으로
- 지출
- 단계
- 스타트
- 시작
- 통계
- 저장
- 전략
- 강한
- 그후
- SUPPORT
- 지원
- 둘러싸인
- 작업
- 팀
- 테크니컬
- 기술
- test
- 지원
- 테스트
- 시간
- 트레이닝
- 변환
- 투명도
- 업데이트
- us
- 사용
- 활용
- 온라인
- 손목 시계
- 누구
- 이내
- 없이
- 작업
- 인력
- 일