이것은 PwC의 Vik Pant 및 Kyle Bassett와 공동으로 작성한 게스트 블로그 게시물입니다.
기계 학습(ML)에 대한 조직의 투자가 증가함에 따라 기계 학습 채택은 비즈니스 혁신 전략의 필수적인 부분이 되었습니다. 최근 PwC CEO 측량 캐나다 CEO의 84%가 인공 지능(AI)이 향후 5년 이내에 비즈니스를 크게 변화시켜 이 기술이 그 어느 때보다 중요해질 것이라는 데 동의한다고 발표했습니다. 그러나 ML을 프로덕션에 구현하는 데는 특히 AI의 세계를 안전하고 전략적이며 책임감 있게 탐색할 수 있어야 하는 등 다양한 고려 사항이 따릅니다. AI 기반이 되기 위한 첫 번째 단계 중 하나이자 특히 큰 과제는 클라우드에서 지속 가능하게 확장할 수 있는 ML 파이프라인을 효과적으로 개발하는 것입니다. 모델 자체가 아닌 모델을 생성하고 유지 관리하는 파이프라인 측면에서 ML을 생각하면 시간이 지남에 따라 관련 데이터의 의미 있는 변화를 더 잘 견딜 수 있는 다재다능하고 탄력적인 예측 시스템을 구축하는 데 도움이 됩니다.
많은 조직이 모델 중심의 관점에서 ML 세계로의 여정을 시작합니다. ML 사례 구축의 초기 단계에서는 데이터(일반적으로 기록)에서 학습한 입력(독립 변수)과 출력(종속 변수) 간의 관계를 수학적으로 표현한 감독된 ML 모델을 교육하는 데 중점을 둡니다. 모델은 입력 데이터를 가져와 계산 및 계산을 수행하고 예측 또는 추론을 생성하는 수학적 인공물입니다.
이 접근 방식은 합리적이고 상대적으로 간단한 시작점이지만 모델 교육, 조정, 테스트 및 평가 활동의 수동 및 임시 특성으로 인해 본질적으로 확장 가능하거나 본질적으로 지속 가능하지 않습니다. ML 도메인의 성숙도가 높은 조직은 지속적인 통합, 지속적인 제공, 지속적인 배포 및 지속적인 교육을 통합하는 ML 운영(MLOps) 패러다임을 채택합니다. 이 패러다임의 중심은 강력한 ML 시스템을 개발하고 운영하기 위한 파이프라인 중심의 관점입니다.
이 게시물에서는 MLOps 및 그 이점에 대한 개요부터 시작하여 구현을 단순화하는 솔루션을 설명하고 아키텍처에 대한 세부 정보를 제공합니다. 이 솔루션을 구현한 대규모 AWS 및 PwC 고객이 실현한 이점을 강조하는 사례 연구로 마무리합니다.
배경
MLOps 파이프라인은 프로덕션에서 하나 이상의 ML 모델을 빌드, 배포, 운영 및 관리하는 데 사용되는 일련의 상호 관련된 일련의 단계입니다. 이러한 파이프라인은 데이터 준비, 기능 엔지니어링, 모델 교육, 평가, 배포 및 모니터링을 포함하되 이에 국한되지 않는 ML 모델 구축, 테스트, 조정 및 배포와 관련된 단계를 포함합니다. 따라서 ML 모델은 MLOps 파이프라인의 제품이고 파이프라인은 하나 이상의 ML 모델을 만들기 위한 워크플로입니다. 이러한 파이프라인은 ML 모델을 구축, 보정, 평가 및 구현하기 위한 체계적이고 체계적인 프로세스를 지원하며 모델 자체가 예측 및 추론을 생성합니다. 파이프라인 단계의 개발 및 운영화를 자동화함으로써 조직은 모델 제공 시간을 단축하고 프로덕션에서 모델의 안정성을 높이며 데이터 과학자, 소프트웨어 엔지니어 및 IT 관리자 팀 간의 협업을 개선할 수 있습니다.
솔루션 개요
AWS는 확장 가능하고 지속 가능한 방식으로 MLOps 파이프라인을 개발하고 실행하기 위한 포괄적인 클라우드 네이티브 서비스 포트폴리오를 제공합니다. 아마존 세이지 메이커 개발자가 클라우드에서 ML 모델을 생성, 교육, 배포, 운영 및 관리할 수 있도록 하는 완전 관리형 MLOps 서비스로서의 포괄적인 기능 포트폴리오로 구성됩니다. SageMaker는 내장된 고성능 알고리즘과 정교한 자동 ML(AutoML) 실험을 통해 데이터 수집에서 준비 및 교육에 이르기까지 전체 MLOps 워크플로를 다루므로 기업은 비즈니스 우선 순위와 선호도에 맞는 특정 모델을 선택할 수 있습니다. SageMaker를 사용하면 조직이 대부분의 MLOps 수명 주기를 공동으로 자동화할 수 있으므로 프로젝트 지연이나 비용 상승 위험 없이 비즈니스 결과에 집중할 수 있습니다. 이러한 방식으로 SageMaker를 사용하면 기업은 강력한 예측 서비스를 지원하는 것과 관련된 인프라, 개발 및 유지 관리에 대해 걱정하지 않고 결과에 집중할 수 있습니다.
SageMaker에는 다음이 포함됩니다. Amazon SageMaker 점프스타트, MLOps 여정을 가속화하려는 조직을 위한 즉시 사용 가능한 솔루션 패턴을 제공합니다. 조직은 재교육 및 전이 학습을 통해 특정 요구 사항을 충족하도록 미세 조정할 수 있는 사전 교육 및 오픈 소스 모델로 시작할 수 있습니다. 또한 JumpStart는 일반적인 사용 사례를 처리하도록 설계된 솔루션 템플릿과 미리 작성된 스타터 코드가 포함된 예제 Jupyter 노트북을 제공합니다. 이러한 리소스는 내 JumpStart 랜딩 페이지를 방문하기만 하면 액세스할 수 있습니다. 아마존 세이지 메이커 스튜디오.
PwC는 SageMaker를 사용하는 조직의 가치 실현 시간을 더욱 단축하고 투자 수익을 높이는 사전 패키지형 MLOps 가속기를 구축했습니다. 이 MLOps 액셀러레이터는 상호 보완적인 AWS 서비스를 통합하여 JumpStart의 기본 기능을 향상시킵니다. IaC(Infrastructure as Code) 스크립트, 데이터 처리 워크플로, 서비스 통합 코드 및 파이프라인 구성 템플릿을 포함한 포괄적인 기술 아티팩트 제품군을 통해 PwC의 MLOps 가속기는 프로덕션급 예측 시스템의 개발 및 운영 프로세스를 간소화합니다.
아키텍처 개요
AWS의 클라우드 네이티브 서버리스 서비스 포함은 PwC MLOps 가속기의 아키텍처에 우선 순위가 지정됩니다. 이 액셀러레이터의 진입점은 데이터 과학자 또는 데이터 엔지니어가 MLOps용 AWS 환경을 요청하는 데 사용할 수 있는 Slack과 같은 모든 협업 도구입니다. 이러한 요청은 구문 분석된 다음 해당 협업 도구의 워크플로 기능을 사용하여 완전 또는 반자동으로 승인됩니다. 요청이 승인된 후 해당 세부 정보는 IaC 템플릿을 매개 변수화하는 데 사용됩니다. 이러한 IaC 템플릿의 소스 코드는 다음에서 관리됩니다. AWS 코드 커밋. 이러한 매개변수화된 IaC 템플릿은 AWS 클라우드 포메이션 AWS 및 타사 리소스의 스택을 모델링, 프로비저닝 및 관리하기 위한 것입니다.
다음 다이어그램은 워크플로를 보여줍니다.
AWS CloudFormation이 AWS에서 MLOps를 위한 환경을 프로비저닝하고 나면 데이터 과학자, 데이터 엔지니어 및 공동 작업자가 환경을 사용할 준비가 된 것입니다. PWC 액셀러레이터에는 다음에 대한 사전 정의된 역할이 포함되어 있습니다. AWS 자격 증명 및 액세스 관리 (IAM) MLOps 활동 및 작업과 관련된 이러한 역할은 작업 프로필을 기반으로 다양한 사용자가 액세스할 수 있는 MLOps 환경의 서비스 및 리소스를 지정합니다. MLOps 환경에 액세스한 후 사용자는 SageMaker의 모든 양식에 액세스하여 임무를 수행할 수 있습니다. 여기에는 SageMaker 노트북 인스턴스, Amazon SageMaker 자동 조종 장치 실험 및 스튜디오. 모델 교육, 튜닝, 평가, 배포 및 모니터링을 포함한 모든 SageMaker 기능을 활용할 수 있습니다.
가속기는 다음과의 연결도 포함합니다. 아마존 데이터존 조직 경계를 넘어 대규모로 데이터를 공유, 검색 및 발견하여 모델을 생성하고 강화합니다. 마찬가지로, 모델 드리프트를 교육, 테스트, 검증 및 감지하기 위한 데이터는 다음과 같은 다양한 서비스를 제공할 수 있습니다. 아마존 레드 시프트, Amazon 관계형 데이터베이스 서비스 (아마존 RDS), 아마존 탄성 파일 시스템 (아마존 EFS) 및 아마존 단순 스토리지 서비스 (아마존 S3). 예측 시스템은 SageMaker 엔드포인트 직접 배포, SageMaker 엔드포인트 래핑 등 다양한 방식으로 배포할 수 있습니다. AWS 람다 함수 및 사용자 지정 코드를 통해 호출된 SageMaker 엔드포인트 Amazon Elastic Kubernetes 서비스 (Amazon EKS) 또는 아마존 엘라스틱 컴퓨트 클라우드 (아마존 EC2). 아마존 클라우드 워치 전체 스택(애플리케이션, 인프라, 네트워크 및 서비스)에서 경보, 로그 및 이벤트 데이터를 관찰하기 위해 포괄적인 방식으로 AWS에서 MLOps 환경을 모니터링하는 데 사용됩니다.
다음 다이어그램은이 아키텍처를 보여줍니다.
사례 연구
이 섹션에서는 캐나다의 대형 보험 회사에서 예시적인 사례 연구를 공유합니다. PwC Canada의 MLOps 액셀러레이터 및 JumpStart 템플릿 구현의 혁신적인 영향에 중점을 둡니다.
이 고객은 PwC Canada 및 AWS와 협력하여 비효율적인 모델 개발 및 비효율적인 배포 프로세스, 일관성 및 협업 부족, ML 모델 확장의 어려움과 같은 문제를 해결했습니다. JumpStart 템플릿과 함께 이 MLOps Accelerator를 구현하여 다음을 달성했습니다.
- 엔드 투 엔드 자동화 – 자동화는 데이터 전처리, 모델 교육, 하이퍼파라미터 튜닝, 모델 배포 및 모니터링 시간을 거의 절반으로 줄였습니다.
- 협업 및 표준화 – 조직 전체의 일관성을 촉진하기 위한 표준화된 도구 및 프레임워크는 모델 혁신 속도를 거의 두 배로 높였습니다.
- 모델 거버넌스 및 규정 준수 – 모델 거버넌스 프레임워크를 구현하여 모든 ML 모델이 규제 요구 사항을 충족하고 회사의 윤리적 지침을 준수하도록 하여 위험 관리 비용을 40% 절감했습니다.
- 확장 가능한 클라우드 인프라 – 대규모 데이터 볼륨을 효과적으로 관리하고 여러 ML 모델을 동시에 배포하여 인프라 및 플랫폼 비용을 50% 절감하기 위해 확장 가능한 인프라에 투자했습니다.
- 신속한 배포 – 사전 패키지 솔루션은 생산 시간을 70% 단축했습니다.
신속한 배포 패키지를 통해 MLOps 모범 사례를 제공함으로써 고객은 MLOps 구현의 위험을 제거하고 위험 예측 및 자산 가격 책정과 같은 다양한 비즈니스 기능에 대한 ML의 잠재력을 최대한 활용할 수 있었습니다. 전반적으로 PwC MLOps 액셀러레이터와 JumpStart 간의 시너지 효과를 통해 고객은 데이터 과학 및 데이터 엔지니어링 활동을 간소화, 확장, 보호 및 유지할 수 있었습니다.
PwC 및 AWS 솔루션은 특정 산업에 국한되지 않으며 산업 및 부문 전반에 걸쳐 관련이 있다는 점에 유의해야 합니다.
결론
SageMaker 및 해당 액셀러레이터를 통해 조직은 ML 프로그램의 생산성을 향상할 수 있습니다. 다음을 포함하되 이에 국한되지 않는 많은 이점이 있습니다.
- IaC, MLOps 및 AutoML 사용 사례를 공동으로 생성하여 표준화의 비즈니스 이점 실현
- IaC, MLOps 및 AutoML을 사용하여 개발에서 배포까지 AI를 가속화하기 위해 코드 유무에 관계없이 효율적인 실험적 프로토타이핑을 지원합니다.
- AutoML을 사용하여 기능 엔지니어링 및 하이퍼파라미터 튜닝과 같은 지루하고 시간 소모적인 작업 자동화
- 지속적인 모델 모니터링 패러다임을 사용하여 ML 모델 사용의 위험을 기업의 위험 선호도에 맞춥니다.
이 게시물의 작성자에게 연락하십시오. AWS 자문 캐나다및 PwC 캐나다 Jumpstart 및 PwC의 MLOps 가속기에 대해 자세히 알아보세요.
저자에 관하여
비크 PwC Canada의 Cloud & Data Practice 파트너입니다. 그는 University of Toronto에서 정보 과학 박사 학위를 받았습니다. 그는 자신의 생물학적 신경망과 SageMaker에서 훈련하는 인공 신경망 사이에 텔레파시 연결이 있다고 확신합니다. 그와 연결 링크드인.
카일 PwC Canada의 클라우드 및 데이터 업무 파트너이며 그의 기술 연금술사 팀과 함께 그들은 가속화된 비즈니스 가치로 클라이언트를 매료시키는 매혹적인 MLOP 솔루션을 엮습니다. 인공 지능의 힘과 약간의 마법으로 무장한 Kyle은 복잡한 문제를 디지털 동화로 바꾸어 불가능을 가능하게 만듭니다. 그와 연결 링크드인.
프랑소와 AWS Professional Services Canada의 수석 자문 컨설턴트이자 Data and Innovation Advisory의 캐나다 실무 책임자입니다. 그는 고객이 비전, 전략, 비즈니스 동인, 거버넌스, 목표 운영 모델 및 로드맵에 중점을 두고 전체 클라우드 여정과 데이터 프로그램을 수립하고 구현하도록 안내합니다. 그와 연결 링크드인.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :있다
- :이다
- :아니
- $UP
- 100
- 7
- a
- 할 수 있는
- 소개
- 가속
- 가속 된
- 가속 자
- 가속기
- ACCESS
- 액세스
- 액세스
- 달성
- 가로질러
- 방과 후 액티비티
- Ad
- 또한
- 주소
- 관리자
- 채택
- 양자
- 자문
- 후
- AI
- 알고리즘
- 일직선으로하다
- All
- 수
- 수
- 따라
- 또한
- 아마존
- Amazon EC2
- 아마존 RDS
- 아마존 세이지 메이커
- Amazon SageMaker 점프스타트
- Amazon Web Services
- 양
- an
- 및
- 어떤
- 어플리케이션
- 접근
- 인가 된
- 아키텍처
- 있군요
- 무장한
- 인조의
- 인공 지능
- 인공 지능(AI)
- AS
- 평가
- 유산
- 관련
- At
- 작성자
- 자동화
- 자동화
- 자동화
- 자동화
- AutoML
- AWS
- AWS 클라우드 포메이션
- AWS 전문 서비스
- 기반으로
- BE
- 가
- 되고
- 존재
- 이익
- 혜택
- BEST
- 모범 사례
- 더 나은
- 사이에
- 블로그
- 경계
- 빌드
- 건물
- 내장
- 내장
- 사업
- 비즈니스 기능
- 비즈니스 혁신
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 계산
- CAN
- Canada
- 캐나다의
- 기능
- 케이스
- 사례 연구
- 가지 경우
- 중심적인
- 대표 이사
- 경영자
- 도전
- 과제
- 이전 단계로 돌아가기
- 변경
- 왼쪽 메뉴에서
- 클라이언트
- 클라이언트
- 클라우드
- 클라우드 인프라
- 암호
- 협동
- 수집
- COM
- 제공
- 공통의
- 기업
- 회사
- 회사
- 보완적인
- 완전한
- 복잡한
- 포괄적 인
- 구성
- 계산
- 계산
- 음악회
- 구성
- 연결하기
- 연결
- 연결
- 고려 사항
- 컨설턴트
- CONTACT
- 끊임없는
- 비용
- 커버
- 갈라진 금
- 만들
- 만들기
- 임계
- 관습
- 고객
- 고객
- 데이터
- 데이터 준비
- 데이터 처리
- 데이터 과학
- 데이터 과학자
- 데이터베이스
- 지연
- 배달
- 배달
- 의존하는
- 배포
- 배포
- 배치
- 전개
- 설명
- 설계
- 세부설명
- 개발자
- 개발
- 개발
- 어려움
- 디지털
- 직접
- 발견
- 도메인
- 배
- 드라이버
- 두
- 초기의
- 적립
- 효과적으로
- 효율적인
- 가능
- 사용 가능
- 수
- 포괄
- 기사
- 엔지니어링
- 엔지니어
- 강화
- 강화
- 높이다
- 확인
- Enterprise
- 전체의
- 항목
- 환경
- 세우다
- 윤리적인
- 평가
- 이벤트
- EVER
- 예
- 실험
- 특색
- 특징
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 마무리
- 먼저,
- 첫 번째 단계
- 맞게
- 초점
- 집중
- 초점
- 수행원
- 럭셔리
- 뼈대
- 프레임 워크
- 에
- 가득 찬
- 충분히
- 기능
- 추가
- 생성
- 통치
- 큰
- 큰
- 손님
- 가이드 라인
- 안내서
- 절반의
- he
- 도움이
- 고성능
- 강조
- 그를
- 그의
- 역사적인
- 그러나
- HTML
- HTTP
- HTTPS
- 하이퍼 파라미터 튜닝
- 통합 인증
- 설명하다
- 영향
- 구현
- 이행
- 구현
- 구현
- 불가능한
- 개선
- in
- 포함
- 포함
- 포함
- 포함
- 증가
- 증가
- 더욱 더
- 독립
- 산업
- 산업
- 비효율적
- 정보
- 정보
- 인프라
- 혁신
- 입력
- 입력
- 보험
- 완전한
- 통합
- 완성
- 인텔리전스
- 으로
- 본질적으로
- 투자
- 투자
- 투자
- 호출
- 참여
- IT
- 그
- 일
- 여행
- JPG
- 결핍
- 상륙
- 넓은
- 리드
- 배우다
- 배운
- 배우기
- wifecycwe
- 제한된
- 링크드인
- 기계
- 기계 학습
- 유지하다
- 유지
- 과반수
- 유튜브 영상을 만드는 것은
- 관리
- 관리
- 구축
- 관리
- 태도
- 조작
- .
- 거대한
- 수학의
- 만기
- 의미있는
- 소개
- ML
- MLOps
- 모델
- 모델
- 모니터
- 모니터링
- 배우기
- 여러
- 출신
- 자연
- 이동
- 거의
- 요구
- 네트워크
- 네트워크
- 신경망
- 신경망
- 다음 것
- 특히
- 수첩
- 유명한
- 관찰
- of
- 제공
- on
- ONE
- 오픈 소스
- 운영
- 운영
- 행정부
- or
- 조직
- 조직
- 조직
- 우리의
- 위에
- 전체
- 개요
- 패키지
- 페이지
- 패러다임
- 부품
- 파트너
- 파트너
- 패턴
- 수행
- 관로
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 포인트 적립
- 유가 증권
- 가능한
- 게시하다
- 가능성
- 힘
- powered
- 전원
- 연습
- 사례
- 예측
- 예측
- 환경 설정
- 준비
- 가격
- 교장
- 우선 순위가 매겨진
- 방법
- 프로세스
- 처리
- 프로덕트
- 생산
- 생산력
- 링크를
- 프로필
- 프로그램
- 프로그램
- 프로젝트
- 홍보
- 프로토 타입
- 제공
- 제공
- PWC
- 범위
- 빠른
- 율
- 차라리
- 준비
- 실현
- 합리적인
- 최근
- 감소
- 감소
- 감소
- 규정하는
- 관련
- 관계
- 상대적으로
- 관련된
- 의뢰
- 요구조건 니즈
- 탄력
- 제품 자료
- 결과
- return
- 위험
- 위험 관리
- 위험에 처한
- 로드맵
- 역할
- 달리는
- 안전하게
- 현자
- 확장성
- 규모
- 스케일링
- 과학
- 과학자
- 과학자
- 스크립트
- 수색
- 섹션
- 부문
- 안전해야합니다.
- 모색
- 서버리스
- 서비스
- 서비스
- 세트
- 공유
- 공유
- 영상을
- 크게
- 비슷하게
- 단순, 간단, 편리
- 단순화
- 간단히
- 동시에
- 느슨하게
- So
- 소프트웨어
- 해결책
- 솔루션
- 정교한
- 출처
- 소스 코드
- 구체적인
- 속도
- 안정
- 스택
- 스택
- 단계
- 스타트
- 시작 중
- 단계
- 저장
- 전략적으로
- 전략들
- 전략
- 유선
- 구조화
- 스튜디오
- 교육과정
- 제출
- 이러한
- 스위트
- SUPPORT
- 지속가능한
- 시너지
- 시스템은
- 태클
- 받아
- 목표
- 작업
- 팀
- 팀
- 기술
- 테크니컬
- Technology
- 템플릿
- 조건
- 지원
- 보다
- 그
- XNUMXD덴탈의
- 소스
- 세계
- 그들의
- 그들
- 그들 자신
- 그때
- 그곳에.
- Bowman의
- 그들
- 사고력
- 타사
- 이
- 을 통하여
- 시간
- 시간이 많이 걸리는
- 에
- 수단
- 검색을
- 토론토
- Train
- 트레이닝
- 기차
- 이전
- 변환
- 변형
- 결국
- 일반적으로
- 대학
- 잠금을 해제
- 공개
- 용법
- 사용
- 익숙한
- 사용자
- 사용
- 가치
- 종류
- 여러
- 다양한
- 시력
- 볼륨
- 였다
- 방법..
- 방법
- we
- 짜다
- 웹
- 웹 서비스
- 잘
- 어느
- 누구
- 의지
- 과
- 이내
- 없이
- 워크 플로우
- 세계
- 포장
- 년
- 자신의
- 제퍼 넷