기계 학습(ML) 모델은 독립적으로 작동하지 않습니다. 가치를 제공하려면 기존 생산 시스템 및 인프라에 통합해야 하며, 이를 위해서는 설계 및 개발 과정에서 전체 ML 수명주기를 고려해야 합니다. MLOps라고 하는 ML 작업은 수명주기 전반에 걸쳐 ML 모델을 간소화, 자동화, 모니터링하는 데 중점을 둡니다. 강력한 MLOps 파이프라인을 구축하려면 부서 간 협업이 필요합니다. 데이터 과학자, ML 엔지니어, IT 직원 및 DevOps 팀은 연구에서 배포 및 유지 관리에 이르기까지 모델을 운영하기 위해 협력해야 합니다. 올바른 프로세스와 도구를 사용하면 MLOps를 통해 조직은 팀 전체에 ML을 안정적이고 효율적으로 도입할 수 있습니다.
CI/CD(지속적 통합 및 지속적 전달) 파이프라인의 요구 사항은 고유할 수 있고 각 조직의 요구 사항을 반영할 수 있지만, 개발 프로세스를 가속화하고 획일적인 무거운 작업을 제거할 수 있는 관리형 오케스트레이션 및 도구를 사용하면 팀 전체에서 MLOps 사례 확장을 단순화할 수 있습니다. .
Amazon SageMaker MLOps 다음을 포함하는 기능 모음입니다. Amazon SageMaker 프로젝트 (CI/CD), Amazon SageMaker 파이프 라인 및 Amazon SageMaker 모델 레지스트리.
SageMaker 파이프 라인 ML 워크플로를 간단하게 생성하고 관리할 수 있는 동시에 워크플로 단계에 대한 저장 및 재사용 기능도 제공합니다. 그만큼 SageMaker 모델 레지스트리 모델 추적을 중앙 집중화하여 모델 배포를 단순화합니다. SageMaker 프로젝트 환경 패리티, 버전 제어, 테스트, 자동화를 포함하여 ML에 CI/CD 방식을 도입합니다. 이를 통해 ML 환경에서 CI/CD를 빠르게 설정할 수 있어 기업 전체에서 효과적인 확장성을 촉진할 수 있습니다.
내장 프로젝트 템플릿 에 의해 제공 아마존 세이지 메이커 오케스트레이션을 위한 Jenkins 및 소스 제어를 위한 GitHub와 같은 일부 타사 도구와의 통합을 포함하며 일부는 다음과 같은 AWS 기본 CI/CD 도구를 활용합니다. AWS 코드 커밋, AWS 코드 파이프라인및 AWS 코드빌드. 그러나 많은 시나리오에서 고객은 SageMaker 파이프라인을 다른 기존 CI/CD 도구와 통합하여 사용자 지정 프로젝트 템플릿을 생성하기를 원합니다.
이 게시물에서는 다음을 달성하기 위한 단계별 구현을 보여줍니다.
- GitHub 및 GitHub Actions와 통합되는 사용자 지정 SageMaker MLOps 프로젝트 템플릿 생성
- 사용자 정의 프로젝트 템플릿을 다음에서 사용할 수 있도록 만드세요. 아마존 세이지 메이커 스튜디오 원클릭 프로비저닝으로 데이터 과학 팀을 위한
솔루션 개요
이번 포스팅에서는 다음과 같은 아키텍처를 구성합니다. 우리는 데이터 준비, 모델 훈련, 모델 평가 및 SageMaker 모델 레지스트리에 훈련된 모델 등록을 위한 단계를 포함하는 자동화된 모델 구축 파이프라인을 생성합니다. 훈련된 ML 모델은 수동 승인 시 SageMaker 모델 레지스트리에서 스테이징 및 프로덕션 환경으로 배포됩니다.
전체 구성을 이해하기 위해 이 아키텍처의 요소를 자세히 살펴보겠습니다.
GitHub 및 GitHub 작업
GitHub는 Git을 사용하여 버전 제어 및 소스 코드 관리를 제공하는 웹 기반 플랫폼입니다. 이를 통해 팀은 소프트웨어 개발 프로젝트에 대해 협업하고, 변경 사항을 추적하고, 코드 저장소를 관리할 수 있습니다. GitHub는 ML 코드 베이스를 저장, 버전 관리 및 관리하는 중앙 위치 역할을 합니다. 이렇게 하면 ML 코드 베이스와 파이프라인의 버전이 관리되고 문서화되며 팀 구성원이 액세스할 수 있습니다.
GitHub 액션 GitHub 생태계 내의 강력한 자동화 도구입니다. 이를 통해 코드 빌드, 테스트, 배포와 같은 소프트웨어 개발 수명주기 프로세스를 자동화하는 사용자 정의 워크플로를 만들 수 있습니다. 코드가 저장소에 푸시되거나 끌어오기 요청이 생성되는 경우와 같은 특정 이벤트에 의해 트리거되는 이벤트 기반 워크플로를 생성할 수 있습니다. MLOps를 구현할 때 GitHub Actions를 사용하여 다음과 같은 ML 파이프라인의 다양한 단계를 자동화할 수 있습니다.
- 데이터 검증 및 전처리
- 모델 교육 및 평가
- 모델 배포 및 모니터링
- ML 모델용 CI/CD
GitHub Actions를 사용하면 ML 워크플로를 간소화하고 모델이 일관되게 구축, 테스트 및 배포되도록 보장하여 보다 효율적이고 안정적인 ML 배포를 수행할 수 있습니다.
다음 섹션에서는 이 아키텍처의 일부로 사용하는 일부 구성 요소와 관련된 사전 요구 사항을 설정하는 것부터 시작합니다.
- AWS 클라우드 포메이션 - AWS 클라우드 포메이션 훈련된 모델의 승인으로 모델 배포 파이프라인이 활성화된 후 모델 배포를 시작하고 SageMaker 엔드포인트를 설정합니다.
- AWS CodeStar 연결 - 우리는 사용 AWS 코드스타 GitHub 리포지토리와의 링크를 설정하고 이를 SageMaker Studio와 같은 AWS 리소스와의 코드 리포지토리 통합으로 활용합니다.
- 아마존 이벤트 브리지 - 아마존 이벤트 브리지 모델 레지스트리에 대한 모든 수정 사항을 추적합니다. 또한 모델 패키지 버전의 상태가 다음과 같이 변경될 때 Lambda 함수가 모델 파이프라인을 배포하도록 요청하는 규칙을 유지합니다.
PendingManualApproval
에Approved
모델 레지스트리 내에서. - AWS 람다 – 우리는 사용 AWS 람다 새 모델이 모델 레지스트리에 등록된 후 GitHub Actions에서 모델 배포 워크플로를 시작하는 함수입니다.
- 아마존 세이지 메이커 – 다음 SageMaker 구성 요소를 구성합니다.
- 파이프라인 – 이 구성 요소는 데이터 준비, 모델 훈련, 모델 평가 단계를 위한 자동화된 ML 워크플로를 구축하는 데 도움이 되는 방향성 비순환 그래프(DAG)로 구성됩니다. 모델 레지스트리는 모델 버전, 관련 아티팩트, 계보 및 메타데이터에 대한 기록을 유지 관리합니다. 관련된 모든 모델 버전을 수용하는 모델 패키지 그룹이 설정됩니다. 모델 레지스트리는 후속 배포를 위한 모델 버전의 승인 상태를 관리하는 역할도 담당합니다.
- 종점 – 이 구성 요소는 추론을 위해 두 개의 HTTPS 실시간 엔드포인트를 설정합니다. 예를 들어 일괄 변환이나 비동기 추론을 위해 호스팅 구성을 조정할 수 있습니다. SageMaker 모델 레지스트리에서 훈련된 모델의 승인으로 모델 배포 파이프라인이 활성화되면 스테이징 엔드포인트가 생성됩니다. 이 엔드포인트는 정확도 표준을 충족하는 예측을 제공함으로써 배포된 모델을 검증하는 데 사용됩니다. 프로덕션 배포를 위해 모델이 준비되면 GitHub Actions 워크플로의 수동 승인 단계에 따라 프로덕션 엔드포인트가 배포됩니다.
- 코드 저장소 – 그러면 SageMaker 계정에 Git 리포지토리가 리소스로 생성됩니다. SageMaker 프로젝트를 생성하는 동안 입력한 GitHub 코드 리포지토리의 기존 데이터를 사용하여 프로젝트를 시작할 때 SageMaker에서 동일한 리포지토리와의 연결이 설정됩니다. 이는 기본적으로 SageMaker의 GitHub 리포지토리와의 링크를 형성하여 리포지토리와의 대화형 작업(풀/푸시)을 활성화합니다.
- 모델 레지스트리 – 계보와 메타데이터를 포함하는 모델의 다양한 버전과 해당 아티팩트를 모니터링합니다. 컬렉션으로 알려진 모델 패키지 그룹 생성되어 모델의 관련 버전을 수용합니다. 또한 모델 레지스트리는 모델 버전의 승인 상태를 감독하여 후속 배포 준비 상태를 보장합니다.
- AWS 비밀 관리자 – GitHub 개인 액세스 토큰을 안전하게 보존하려면 다음에 비밀을 설정해야 합니다. AWS 비밀 관리자 그 안에 액세스 토큰을 보관하세요.
- AWS 서비스 카탈로그 – 우리는 사용 AWS 서비스 카탈로그 SageMaker 코드 저장소, Lambda 함수, EventBridge 규칙, 아티팩트 S3 버킷 등과 같은 구성 요소를 포함하는 SageMaker 프로젝트 구현을 위해 모두 CloudFormation을 통해 구현됩니다. 이를 통해 조직은 프로젝트 템플릿을 반복적으로 사용하고 각 사용자에게 프로젝트를 할당하며 운영을 간소화할 수 있습니다.
- 아마존 S3 – 우리는 사용 아마존 단순 스토리지 서비스 (Amazon S3) 버킷은 파이프라인에서 생성된 모델 아티팩트를 보관합니다.
사전 조건
다음과 같은 전제 조건이 있어야 합니다.
또한 솔루션을 구현하기 전에 추가 설정 단계를 완료해야 합니다.
AWS CodeStar 연결 설정
GitHub 계정에 대한 AWS CodeStar 연결이 아직 없는 경우 다음을 참조하십시오. GitHub에 대한 연결 만들기 만드는 방법에 대한 지침을 확인하세요. AWS CodeStar 연결 ARN은 다음과 같습니다.
이 예에서, aEXAMPLE-8aad-4d5d-8878-dfcab0bc441f
이 연결의 고유 ID입니다. 이 예의 뒷부분에서 SageMaker 프로젝트를 생성할 때 이 ID를 사용합니다.
GitHub 토큰에 대한 비밀 액세스 키 설정
GitHub 개인 액세스 토큰을 안전하게 저장하려면 Secrets Manager에서 비밀을 생성해야 합니다. GitHub에 대한 개인 액세스 토큰이 없는 경우 다음을 참조하세요. 개인 액세스 토큰 관리 를 참조하세요.
클래식 또는 세분화된 액세스 토큰을 생성할 수 있습니다. 그러나 토큰이 저장소의 콘텐츠와 작업(워크플로, 실행 및 아티팩트)에 액세스할 수 있는지 확인하세요.
Secrets Manager에 토큰을 저장하려면 다음 단계를 완료하세요.
- Secrets Manager 콘솔에서 새로운 비밀을 저장.
- 선택 다른 유형의 비밀 for 비밀 유형 선택.
- 비밀 이름을 입력하세요. 키 필드를 클릭하고 해당 항목에 개인 액세스 토큰을 추가하세요. 가치관 입력란입니다.
- 왼쪽 메뉴에서 다음 보기, 비밀 이름을 입력하고 선택하세요. 다음 보기 또.
- 왼쪽 메뉴에서 스토어 당신의 비밀을 저장합니다.
Secrets Manager에 GitHub 개인 액세스 토큰을 저장하면 기밀성을 보장하면서 MLOps 파이프라인 내에서 안전하게 액세스할 수 있습니다.
GitHub Actions용 IAM 사용자 생성
GitHub Actions가 AWS 환경에 SageMaker 엔드포인트를 배포하도록 허용하려면 AWS 자격 증명 및 액세스 관리 (IAM) 사용자에게 필요한 권한을 부여합니다. 지침은 다음을 참조하세요. AWS 계정에서 IAM 사용자 생성. 사용 iam/GithubActionsMLOpsExecutionPolicy.json
파일(다음에서 제공됨) 코드 샘플) 이 사용자에게 엔드포인트를 배포할 수 있는 충분한 권한을 제공합니다.
IAM 사용자를 생성한 후, 액세스 키 생성. GitHub 비밀을 구성할 때 다음 단계에서 액세스 키 ID와 비밀 액세스 키로 구성된 이 키를 사용합니다.
GitHub 계정 설정
다음은 이 예제를 실행하기 위해 GitHub 계정을 준비하는 단계입니다.
GitHub 리포지토리 복제
이 예에서는 기존 GitHub 리포지토리를 재사용할 수 있습니다. 그러나 새 저장소를 생성하면 더 쉽습니다. 이 리포지토리에는 SageMaker 파이프라인 빌드 및 배포에 대한 모든 소스 코드가 포함됩니다.
시드 코드 디렉터리의 내용을 GitHub 저장소의 루트에 복사합니다. 예를 들어, .github
디렉터리는 GitHub 저장소의 루트 아래에 있어야 합니다.
IAM 사용자 액세스 키가 포함된 GitHub 비밀을 생성합니다.
이 단계에서는 새로 생성된 사용자의 액세스 키 세부 정보를 저장합니다. GitHub 비밀.
- GitHub 웹사이트에서 저장소로 이동하여 다음을 선택하세요. 설정.
- 보안 섹션에서 다음을 선택하세요. 비밀과 변수 선택하고 행위.
- 왼쪽 메뉴에서 새 저장소 비밀.
- 럭셔리 성함, 입력
AWS_ACCESS_KEY_ID
- 럭셔리 비밀에서 앞서 생성한 IAM 사용자와 연결된 액세스 키 ID를 입력합니다.
- 왼쪽 메뉴에서 비밀 추가.
- 동일한 절차를 반복합니다.
AWS_SECRET_ACCESS_KEY
GitHub 환경 구성
배포 파이프라인에서 수동 승인 단계를 생성하려면 다음을 사용합니다. GitHub 환경. 다음 단계를 완료하십시오.
- 로 이동 설정, 환경 GitHub 리포지토리 메뉴를 만들고 프로덕션이라는 새 환경을 만듭니다.
- 럭셔리 환경 보호 규칙, 고르다 필수 검토자.
- 원하는 GitHub 사용자 이름을 검토자로 추가합니다. 이 예에서는 자신의 사용자 이름을 선택할 수 있습니다.
일부 유형의 GitHub 계획에서는 환경 기능을 사용할 수 없습니다. 자세한 내용은 다음을 참조하세요. 배포를 위한 환경 사용.
Lambda 함수 배포
다음 단계에서는 압축합니다. lambda_function.py
.zip 파일로 변환한 후 S3 버킷에 업로드합니다.
이에 대한 관련 코드 샘플은 다음에서 찾을 수 있습니다. GitHub 레포. 구체적으로 lambda_function.py
에 위치 람다_함수/lambda_github_workflow_trigger 디렉토리.
대신 코드 샘플의 포크를 만들고 이를 복제하는 것이 좋습니다. 이렇게 하면 코드를 자유롭게 수정하고 샘플의 다양한 측면을 실험할 수 있습니다.
- 코드 사본을 얻은 후 적절한 디렉토리로 이동하여 다음을 사용하십시오.
zip
압축 명령lambda_function.py
. Windows 및 MacOS 사용자 모두 기본 파일 관리 시스템인 파일 탐색기 또는 Finder를 각각 사용하여 .zip 파일을 생성할 수 있습니다.
- 업로드
lambda-github-workflow-trigger.zip
S3 버킷에.
이 버킷은 나중에 서비스 카탈로그에서 액세스됩니다. 서비스 카탈로그가 후속 단계에서 데이터를 검색할 수 있는 한 액세스 권한이 있는 버킷을 선택할 수 있습니다.
이 단계부터는 AWS CLI v2를 설치하고 구성해야 합니다. 대안은 필요한 모든 도구가 사전 설치되어 있어 추가 구성이 필요 없는 AWS CloudShell을 활용하는 것입니다.
- 파일을 S3 버킷에 업로드하려면 다음 명령을 사용하십시오.
이제 우리는 다음과 관련된 종속성에 대한 Lambda 계층을 구성합니다. lambda_function
방금 업로드했습니다.
- Python 가상 환경을 설정하고 종속 항목을 설치합니다.
- 다음 명령을 사용하여 .zip 파일을 생성합니다.
- 레이어를 AWS에 게시합니다.
이 계층이 게시되면 이제 모든 Lambda 함수가 이를 참조하여 종속성을 충족할 수 있습니다. Lambda 레이어에 대한 자세한 내용은 다음을 참조하세요. Lambda 레이어 작업.
SageMaker에서 사용자 지정 프로젝트 템플릿 생성
위의 모든 단계를 완료하면 모든 CI/CD 파이프라인 리소스와 구성 요소가 확보됩니다. 다음으로 원클릭 배포를 통해 액세스할 수 있는 SageMaker Studio 내에서 이러한 리소스를 사용자 지정 프로젝트로 사용할 수 있는 방법을 보여줍니다.
앞에서 설명한 것처럼 SageMaker에서 제공하는 템플릿이 요구 사항을 충족하지 않는 경우(예를 들어 여러 단계, 사용자 지정 승인 단계를 사용하여 CodePipeline에서 더 복잡한 오케스트레이션을 원하거나 GitHub 및 GitHub 작업과 같은 타사 도구와 통합하려는 경우) 이 게시물에서 설명) 자신만의 템플릿을 만들 수 있습니다. 코드와 리소스를 구성하고 이를 기반으로 구축하는 방법을 이해하려면 SageMaker에서 제공하는 템플릿으로 시작하는 것이 좋습니다. 자세한 내용은 다음을 참조하세요. 사용자 지정 프로젝트 템플릿 만들기.
이 단계를 자동화하고 대신 CloudFormation을 사용하여 코드를 통해 서비스 카탈로그 포트폴리오와 제품을 배포할 수도 있습니다. 하지만 이 게시물에서는 더 나은 학습 경험을 위해 콘솔 배포를 보여드립니다.
이 단계에서는 제공된 CloudFormation 템플릿을 사용하여 SageMaker에서 사용자 지정 프로젝트를 생성하는 데 도움이 되는 서비스 카탈로그 포트폴리오를 생성합니다.
다음 단계를 위해 새 도메인을 생성하거나 SageMaker 도메인을 재사용할 수 있습니다. 도메인이 없다면 다음을 참고하세요. 빠른 설정을 사용하여 Amazon SageMaker 도메인에 온보딩 설정 지침.
SageMaker 템플릿에 대한 관리자 액세스를 활성화한 후 다음 단계를 완료하십시오.
- 서비스 카탈로그 콘솔에서 행정실 탐색 창에서 포트폴리오.
- 왼쪽 메뉴에서 새 포트폴리오 만들기.
- 포트폴리오 이름을 "SageMaker 조직 템플릿"으로 지정합니다.
- 를 다운로드 template.yml 파일을 컴퓨터에 저장합니다.
이 Cloud Formation 템플릿은 구성 및 코드형 인프라로 필요한 모든 CI/CD 리소스를 프로비저닝합니다. 템플릿을 더 자세히 연구하여 어떤 리소스가 템플릿의 일부로 배포되는지 확인할 수 있습니다. 이 템플릿은 GitHub 및 GitHub Actions와 통합되도록 사용자 정의되었습니다.
- .
template.yml
파일, 변경S3Bucket
Lambda .zip 파일을 업로드한 버킷에 값을 추가합니다.
- 새로운 포트폴리오를 선택하십시오.
- 왼쪽 메뉴에서 새 제품 업로드.
- 럭셔리 제품명¸ 템플릿 이름을 입력하세요. 우리는 그 이름을 사용합니다.
build-deploy-github
. - 럭셔리 상품 설명, 설명을 입력하십시오.
- 럭셔리 소유자, 당신의 이름을 입력.
- $XNUMX Million 미만 버전 세부 정보에 대한 방법선택한다. 템플릿 파일 사용.
- 왼쪽 메뉴에서 템플릿 업로드.
- 다운로드 한 템플릿을 업로드하십시오.
- 럭셔리 버전 제목선택한다. 1.0.
- 왼쪽 메뉴에서 검토.
- 설정을 검토하고 제품 생성.
- 왼쪽 메뉴에서 새로 고침 새 제품을 나열합니다.
- 방금 만든 제품을 선택하십시오.
- 에 태그 탭에서 다음 태그를 제품에 추가하십시오.
- 키 =
sagemaker:studio-visibility
- 가치관 =
true
- 키 =
포트폴리오 세부정보로 돌아가면 다음 스크린샷과 비슷한 내용(다른 ID 포함)이 표시됩니다.
- 에 제약 탭에서 제약 만들기.
- 럭셔리 프로덕트선택한다.
build-deploy-github
(방금 만든 제품). - 럭셔리 강제 입력, 선택 실행.
- $XNUMX Million 미만 발사 제약에 대한 방법선택한다. IAM 역할 선택.
- 왼쪽 메뉴에서
AmazonSageMakerServiceCatalogProductsLaunchRole
. - 왼쪽 메뉴에서 만들기.
- 에 그룹, 역할 및 사용자 탭에서 그룹, 역할, 사용자 추가.
- 에 역할 탭에서 SageMaker Studio 도메인을 구성할 때 사용한 역할을 선택합니다. 여기에서 SageMaker 도메인 역할을 찾을 수 있습니다.
- 왼쪽 메뉴에서 액세스 추가.
SageMaker Studio에서 프로젝트 배포
이전 섹션에서는 사용자 지정 MLOps 프로젝트 환경을 준비했습니다. 이제 이 템플릿을 사용하여 프로젝트를 만들어 보겠습니다.
- SageMaker 콘솔에서 이 프로젝트를 생성하려는 도메인으로 이동합니다.
- 에 실행 메뉴, 선택 Studio.
SageMaker Studio 환경으로 리디렉션됩니다.
- SageMaker Studio의 탐색 창에서 배포선택한다. 프로젝트.
- 왼쪽 메뉴에서 프로젝트 만들기.
- 템플릿 목록 상단에서 조직 템플릿.
이전 단계를 모두 성공적으로 완료했다면 다음과 같은 새로운 사용자 정의 프로젝트 템플릿을 볼 수 있습니다. Build-Deploy-GitHub
.
- 해당 템플릿을 선택하고 프로젝트 템플릿 선택.
- 선택적 설명을 입력합니다.
- 럭셔리 GitHub 저장소 소유자 이름에서 GitHub 저장소의 소유자를 입력하세요. 예를 들어 저장소가 다음 위치에 있는 경우
https://github.com/pooyavahidi/my-repo
, 소유자는pooyavahidi
. - 럭셔리 GitHub 저장소 이름, 시드 코드를 복사한 저장소의 이름을 입력합니다. 그것은 단지 저장소의 이름일 뿐입니다. 예를 들어,
https://github.com/pooyavahidi/my-repo
, 레포는my-repo
. - 럭셔리 Codestar 연결 고유 ID, 생성한 AWS CodeStar 연결의 고유 ID를 입력합니다.
- 럭셔리 GitHub 토큰을 저장하는 Secrets Manager의 비밀 이름, GitHub 토큰을 생성하고 저장한 Secrets Manager에 비밀 이름을 입력합니다.
- 럭셔리 배포용 GitHub 워크플로 파일에서 GitHub 워크플로 파일의 이름을 입력합니다(위치:
.github/workflows/deploy.yml
) 배포 지침이 있는 곳입니다. 이 예에서는 기본값으로 유지할 수 있습니다.deploy.yml
. - 왼쪽 메뉴에서 프로젝트 만들기.
- 프로젝트를 생성한 후 업데이트를 확인하세요.
AWS_REGION
및SAGEMAKER_PROJECT_NAME
이에 따라 GitHub 워크플로 파일의 환경 변수. 워크플로 파일은 GitHub 저장소(시드 코드에서 복사됨)에 있습니다..github/workflows
예배 규칙서. 둘 다 업데이트했는지 확인하세요.build.yml
및deploy.yml
파일.
이제 환경을 시작할 준비가 되었습니다! 파이프라인을 직접 실행하고, 변경하고, 해당 변경 사항을 GitHub 리포지토리에 푸시하여 자동화된 빌드 파이프라인을 트리거하고 빌드 및 배포의 모든 단계가 어떻게 자동화되는지 확인할 수 있습니다.
정리
리소스를 정리하려면 다음 단계를 완료하세요.
- SageMaker 프로젝트 및 SageMaker 엔드포인트에 사용되는 CloudFormation 스택을 삭제합니다.
- SageMaker 도메인을 삭제합니다.
- 서비스 카탈로그 리소스를 삭제합니다.
- GitHub 리포지토리와의 AWS CodeStar 연결 링크를 삭제합니다.
- GitHub Actions용으로 생성한 IAM 사용자를 삭제합니다.
- GitHub 개인 액세스 세부 정보를 저장하는 Secrets Manager에서 비밀을 삭제합니다.
요약
이 게시물에서는 사용자 지정 SageMaker MLOps 프로젝트 템플릿을 사용하여 CI/CD 파이프라인을 자동으로 구성하고 구성하는 프로세스를 살펴보았습니다. 이 파이프라인은 기존 CI/CD 메커니즘을 데이터 조작, 모델 교육, 모델 승인 및 모델 배포를 위한 SageMaker 기능과 효과적으로 통합합니다. 우리 시나리오에서는 GitHub Actions를 SageMaker 프로젝트 및 파이프라인과 통합하는 데 중점을 두었습니다. 구현 세부정보를 포괄적으로 이해하려면 다음을 방문하세요. GitHub 저장소. 자유롭게 실험해 보시고 궁금한 점이 있으면 주저하지 말고 댓글 섹션에 남겨주세요.
저자에 관하여
로미나 샤리푸어 박사 Amazon Web Services(AWS)의 수석 기계 학습 및 인공 지능 솔루션 설계자입니다. 그녀는 ML 및 AI의 발전을 통해 구현된 혁신적인 엔드투엔드 솔루션의 설계 및 구현을 주도하는 데 10년 이상을 보냈습니다. Romina의 관심 분야는 자연어 처리, 대규모 언어 모델, MLOps입니다.
푸야 바히디 컴퓨터 과학, 인공 지능 및 클라우드 컴퓨팅에 열정을 갖고 있는 AWS의 수석 솔루션 아키텍트입니다. AI 전문가로서 그는 AWS AI/ML 심층 영역 팀의 활동적인 멤버입니다. XNUMX년 넘게 대규모 솔루션의 아키텍처 및 엔지니어링을 주도한 전문 지식을 갖춘 그는 클라우드 및 AI/ML 기술을 통해 고객의 혁신적인 여정을 지원합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-using-amazon-sagemaker-pipelines-github-and-github-actions/
- :있다
- :이다
- :아니
- :어디
- $UP
- 10
- 100
- 114
- 14
- 20
- 28
- 7
- 8
- 9
- a
- 할 수 있는
- 소개
- 위의
- 가속
- ACCESS
- 액세스
- 얻기 쉬운
- 따라서
- 계정
- 달성
- 가로질러
- 행위
- 활동적인
- 비 환식
- 더하다
- 추가
- 조정
- 채택
- 발전
- 후
- 다시
- AI
- AI / ML
- All
- 할당
- 수
- 수
- 이미
- 또한
- 대안
- 아마존
- 아마존 세이지 메이커
- Amazon SageMaker 파이프 라인
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- 및
- 인프라
- 어떤
- 적당한
- 승인
- 아키텍처
- 있군요
- 지역
- 인조의
- 인공 지능
- AS
- 측면
- 관련
- 협회
- At
- 자동화
- 자동화
- 자동적으로
- 자동화
- 자동화
- 가능
- AWS
- 배경
- 기지
- BE
- 된
- 전에
- 두
- 빌드
- 건물
- 빌드
- 내장
- 내장
- by
- 라는
- CAN
- 기능
- 목록
- CD
- 중앙
- 이전 단계로 돌아가기
- 변경
- 왼쪽 메뉴에서
- 고전적인
- 황어 무리
- 클릭
- 클라우드
- 클라우드 컴퓨팅
- 암호
- 코드베이스
- 협력
- 협동
- 수집
- 제공
- 댓글
- 완전한
- 완성
- 복잡한
- 구성 요소
- 구성 요소들
- 포괄적 인
- 컴퓨터
- 컴퓨터 과학
- 컴퓨팅
- 기밀 유지
- 구성
- 구성
- 구성
- 연결
- 치고는
- 일관되게
- 구성
- 콘솔에서
- 구축
- 포함하는
- 내용
- 끊임없는
- 제어
- 동
- 만들
- 만든
- 생성
- 만들기
- 창조
- 관습
- 고객
- 사용자 정의
- DAG
- 데이터
- 데이터 준비
- 데이터 과학
- 수십 년
- 태만
- 배달하다
- 배달
- 동굴
- 요구
- 보여
- 시연
- 의존성
- 배포
- 배포
- 배치
- 전개
- 배포
- 설명
- 디자인
- 원하는
- 세부 묘사
- 상세한
- 세부설명
- 개발
- 다른
- 감독 된
- 직접
- 논의 된
- do
- 도메인
- 말라
- ...동안
- 마다
- 이전
- 쉽게
- 생태계
- 유효한
- 효과적으로
- 효율적인
- 효율적으로
- 중
- 요소
- 제거
- 가능
- 사용 가능
- 수
- 가능
- 끝으로 종료
- 종점
- 엔지니어링
- 엔지니어
- 확인
- 보장
- 보장
- 엔터 버튼
- Enterprise
- 전체의
- 환경
- 환경
- 본질적으로
- 세우다
- 확립 된
- 개설하다
- 설립
- 등
- 평가
- 이벤트
- 예
- 현존하는
- 경험
- 실험
- 전문적 지식
- 탐색기
- 촉진
- 특색
- 특징
- 세 연령의 아시안이
- 들
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 파인더
- 초점
- 집중
- 수행원
- 럭셔리
- 포크
- 형성
- 양식
- 발견
- 무료
- 자유
- 에
- 기능
- 기능
- 생성
- 생성
- 얻을
- 힘내
- GitHub의
- 주기
- 가는
- 사라
- 부여
- 그래프
- 큰
- 그룹
- 여러 떼
- 있다
- he
- 무거운
- 무거운 리프팅
- 도움이
- 호스팅
- 집
- 집들이
- 주택
- 방법
- How To
- 그러나
- HTML
- HTTP
- HTTPS
- ID
- 통합 인증
- 식별자
- if
- 이행
- 구현
- 구현
- in
- 포함
- 포함
- 포함
- 정보
- 인프라
- 시작
- 시작
- 혁신적인
- 입력
- 내부
- 설치
- 설치
- 예
- 를 받아야 하는 미국 여행자
- 명령
- 통합
- 통합
- 통합
- 완성
- 인텔리전스
- 대화형
- 관심
- 으로
- 소개합니다
- 격리
- IT
- 그
- Journeys
- JPG
- JSON
- 다만
- 유지
- 유지
- 키
- 키
- 알려진
- 언어
- 넓은
- 대규모
- 후에
- 시작
- 층
- 레이어
- 지도
- 배우기
- 휴가
- wifecycwe
- 리프팅
- 처럼
- 혈통
- LINK
- 명부
- 위치한
- 위치
- 긴
- 보기
- 같이
- 기계
- 기계 학습
- 맥 OS
- 유지
- 유지
- 확인
- 관리
- 관리
- 구축
- 매니저
- 관리
- 시장 조작
- 조작
- .
- 메커니즘
- 소개
- 회원
- 회원
- 메뉴
- 메타 데이터
- 수도
- MIT
- ML
- MLOps
- 모델
- 모델
- 수정
- 수정
- 모니터링
- 모니터
- 배우기
- 보다 효율적으로
- 또한
- 여러
- 절대로 필요한 것
- name
- 이름
- 이름
- 출신
- 자연의
- 자연 언어 처리
- 이동
- 카테고리
- 필요한
- 필요하다
- 필요
- 요구
- 신제품
- 새로운 제품
- 새로운
- 다음 것
- 지금
- 획득
- of
- 제공
- on
- ONE
- 이후
- 운영
- 행정부
- or
- 오케스트레이션
- 조직
- 조직
- 기타
- 우리의
- 위에
- 개요
- 자신의
- 소유자
- 꾸러미
- 빵
- 둥가
- 부품
- 파티
- 열렬한
- 권한
- 확인
- 관로
- 계획
- 플랫폼
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 유가 증권
- 게시하다
- 강한
- 사례
- 예측
- 준비
- Prepare
- 준비
- 전제 조건
- 너무 이른
- 순서
- 방법
- 프로세스
- 처리
- 생산
- 프로덕트
- 생산
- 링크를
- 프로젝트
- 프로젝트
- 프롬프트
- 보호
- 제공
- 제공
- 제공
- 출판
- 푸시
- 밀
- Python
- 쿼리
- 빠른
- 준비
- 준비
- 실시간
- 권하다
- 추천
- 기록
- 참조
- 참고
- 반영
- 등록된
- 등록
- 레지스트리
- 관련
- 관련된
- 신뢰할 수있는
- 제거
- 자꾸
- 저장소
- 의뢰
- 필요
- 요구조건 니즈
- 연구
- 의지
- 제품 자료
- 각기
- 책임
- 결과
- 재사용
- 연락해주세요
- 강력한
- 직위별
- 역할
- 뿌리
- 통치
- 달리기
- 실행
- 현자
- SageMaker 파이프 라인
- 같은
- 찜하기
- 확장성
- 스케일링
- 대본
- 시나리오
- 과학
- 과학자
- 비밀
- 비밀
- 섹션
- 섹션
- 안전하게
- 보안
- 참조
- 씨
- 고르다
- 연장자
- 봉사하다
- 서비스
- 서비스
- 설정
- 설정
- 설정
- 설치
- 몇몇의
- 그녀
- 영상을
- 표시
- 비슷한
- 단순, 간단, 편리
- 단순화
- 단순화
- 소프트웨어
- 소프트웨어 개발
- 해결책
- 솔루션
- 일부
- 무언가
- 출처
- 소스 코드
- 스패닝
- 구체적인
- 구체적으로
- 지출
- 스택
- 직원
- 단계
- 단계
- 각색
- 기준
- 스타트
- 시작 중
- Status
- 단계
- 단계
- 저장
- 저장
- 저장
- 상점
- 저장
- 똑 바른
- 유선
- 능률화
- 스튜디오
- 교육과정
- 후속의
- 성공적으로
- 이러한
- 충분한
- 스위트
- 확인
- 체계
- 시스템은
- TAG
- 팀
- 참여 연구원
- 팀
- 기술
- 이 템플릿
- 템플릿
- 테스트
- 지원
- 그
- XNUMXD덴탈의
- 소스
- 그들의
- 그때
- 따라서
- Bowman의
- 그들
- 제삼
- 타사
- 이
- 그
- 을 통하여
- 도처에
- 에
- 함께
- 토큰
- 수단
- 검색을
- 상단
- 선로
- 추적
- 훈련 된
- 트레이닝
- 변환
- 변형
- 트리거
- 방아쇠를 당긴
- 두
- 유형
- 유형
- 아래에
- 이해
- 이해
- 유일한
- 업데이트
- 업로드
- ...에
- us
- 사용
- 익숙한
- 사용자
- 사용자
- 사용
- 활용
- 사용
- 유효 기간
- 확인
- 가치
- 여러
- 버전
- 버전
- 를 통해
- 온라인
- 방문
- 걸었다
- 필요
- we
- 웹
- 웹 서비스
- 웹 기반
- 웹 사이트
- 뭐
- 언제
- 어느
- 동안
- 의지
- 창
- 과
- 이내
- 작업
- 협력
- 워크플로우
- 워크 플로우
- 겠지
- 년
- 자신의
- 너의
- 제퍼 넷
- 지퍼