최근 아마존 세이지 메이커 스튜디오 반복 일정에 따라 실행할 수 있는 일괄 작업으로 노트북을 실행하는 쉬운 방법을 시작했습니다. Amazon SageMaker 스튜디오 랩 또한 이 기능을 지원하므로 SageMaker Studio Lab에서 개발한 노트북을 AWS 계정으로 실행할 수 있습니다. 이를 통해 새로운 것을 배우거나 코드 한 줄을 변경하지 않고도 더 큰 데이터 세트와 더 강력한 인스턴스로 기계 학습(ML) 실험을 빠르게 확장할 수 있습니다.
이 게시물에서는 Studio Lab 환경을 AWS 계정에 연결하기 위한 일회성 전제 조건을 안내합니다. 그런 다음 Studio Lab에서 노트북을 배치 작업으로 실행하는 단계를 안내합니다.
솔루션 개요
Studio Lab은 Jupyter 오픈 소스 확장을 기반으로 하는 Studio와 동일한 확장을 통합했습니다. 예약된 노트북. 이 확장에는 컴퓨팅 유형과 같은 추가 AWS 관련 매개변수가 있습니다. Studio Lab에서 예약된 노트북은 먼저 아마존 단순 스토리지 서비스 (Amazon S3) 버킷을 선택한 다음 선택한 컴퓨팅 유형으로 예약된 시간에 실행합니다. 작업이 완료되면 출력이 S3 버킷에 기록되고 AWS 컴퓨팅이 완전히 중지되어 지속적인 비용이 발생하지 않습니다.
사전 조건
Studio Lab 노트북 작업을 사용하려면 연결할 AWS 계정에 대한 관리 액세스 권한(또는 이 액세스 권한이 있는 사람의 지원)이 필요합니다. 이 게시물의 나머지 부분에서는 귀하가 AWS 관리자라고 가정합니다. 그렇지 않은 경우 관리자 또는 계정 소유자에게 이러한 단계를 함께 검토하도록 요청하십시오.
SageMaker 실행 역할 생성
AWS 계정에 다음이 있는지 확인해야 합니다. AWS 자격 증명 및 액세스 관리 (IAM) SageMaker 실행 역할. 이 역할은 계정 내의 SageMaker 리소스에서 사용되며 SageMaker에서 AWS 계정의 다른 리소스에 대한 액세스를 제공합니다. 이 경우 노트북 작업은 이러한 권한으로 실행됩니다. 이전에 이 계정에서 SageMaker를 사용한 경우 역할이 이미 존재할 수 있지만 필요한 모든 권한이 없을 수 있습니다. 그러니 계속해서 새로운 것을 만들어 봅시다.
다음 단계는 이 AWS 계정에 액세스할 SageMaker Studio Lab 환경 수에 관계없이 한 번만 수행하면 됩니다.
- IAM 콘솔에서 역할 탐색 창에서
- 왼쪽 메뉴에서 역할 만들기.
- 럭셔리 신뢰할 수 있는 항목 유형, 고르다 AWS 서비스.
- 럭셔리 다른 AWS 서비스의 사용 사례선택한다. 세이지 메이커.
- 선택 SageMaker – 실행.
- 왼쪽 메뉴에서 다음 보기.
- 권한을 검토한 다음 선택 다음 보기.
- 럭셔리 역할 이름, 이름을 입력하십시오 (이 게시물의 경우
sagemaker-execution-role-notebook-jobs). - 왼쪽 메뉴에서 역할 만들기.
- 역할 ARN을 기록해 둡니다.
역할 ARN은 다음 형식입니다. arn:aws:iam::[account-number]:role/service-role/[role-name] Studio Lab 설정에 필요합니다.
IAM 사용자 생성
Studio Lab 환경에서 AWS에 액세스하려면 AWS 내에 IAM 사용자를 생성하고 필요한 권한을 부여해야 합니다. 그런 다음 해당 사용자에 대한 액세스 키 세트를 생성하고 Studio Lab 환경에 제공해야 합니다.
이 AWS 계정에 액세스할 각 SageMaker Studio Lab 환경에 대해 이 단계를 반복해야 합니다.
관리자와 AWS 계정 소유자는 잘 설계된 보안 관행을 최대한 따라야 합니다. 예를 들어 사용자 권한은 항상 범위를 좁혀야 하며 액세스 키는 자격 증명 손상의 영향을 최소화하기 위해 정기적으로 교체해야 합니다.
이 블로그에서는 다음을 사용하는 방법을 보여줍니다. AmazonSageMakerFullAccess 관리 정책. 이 정책은 필요한 것 이상으로 Amazon SageMaker에 대한 광범위한 액세스를 제공합니다. 에 대한 세부 정보 AmazonSageMakerFullAccess 찾을 수 있습니다 여기에서 지금 확인해 보세요..
Studio Lab은 엔터프라이즈 보안을 사용하지만 Studio Lab 사용자 자격 증명은 AWS 계정의 일부를 구성하지 않으므로 예를 들어 AWS 암호 또는 MFA 정책이 적용되지 않는다는 점에 유의해야 합니다.
권한 범위를 최대한 좁히기 위해 이 액세스에 대해 특별히 사용자 프로필을 만듭니다.
- IAM 콘솔에서 사용자 탐색 창에서
- 왼쪽 메뉴에서 사용자 추가.
- 럭셔리 사용자 이름, 이름을 입력하십시오. 이 계정을 사용할 개인과 연결된 이름을 사용하는 것이 좋습니다. 이는 감사 로그를 검토하는 경우에 도움이 됩니다.
- 럭셔리 AWS 액세스 유형 선택, 고르다 액세스 키 – 프로그래밍 방식 액세스.
- 왼쪽 메뉴에서 다음 : 권한.
- 왼쪽 메뉴에서 기존 정책을 직접 첨부.
- 검색 및 선택
AmazonSageMakerFullAccess.
- 검색 및 선택
AmazonEventBridgeFullAccess.
- 왼쪽 메뉴에서 다음 : 태그.
- 왼쪽 메뉴에서 다음 : 검토.
- 정책을 확인한 다음 선택 사용자 만들기.
사용자 생성 프로세스의 마지막 페이지에는 사용자의 액세스 키가 표시되어야 합니다. 여기서 다시 탐색할 수 없고 이러한 세부 정보가 필요하므로 이 탭을 열어 둡니다. - Studio Lab에서 새 브라우저 탭을 엽니다.
- 에 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 메뉴, 선택 새로운 런처다음을 선택 단말기.
- 명령줄에 다음 코드를 입력합니다.
- 다음 코드를 입력하십시오 :
- 액세스 키 ID 및 보안 액세스 키에 대한 IAM 콘솔 페이지의 값을 입력합니다.
- 럭셔리
Default region name, 입력us-west-2. - 휴가
Default output formatastext.
축하합니다. 이제 Studio Lab 환경이 AWS 계정에 액세스하도록 구성되었습니다. 연결을 테스트하려면 다음 명령을 실행하십시오.
이 명령은 사용하도록 구성된 IAM 사용자에 대한 세부 정보를 반환해야 합니다.
노트북 작업 만들기
노트북 작업은 Studio Lab 내에서 Jupyter 노트북을 사용하여 생성됩니다. 노트북이 Studio Lab에서 실행되는 경우 노트북 작업으로 실행할 수 있습니다(더 많은 리소스와 AWS 서비스에 대한 액세스 권한 포함). 그러나 주의해야 할 몇 가지 사항이 있습니다.
노트북을 작동시키기 위해 패키지를 설치한 경우 노트북 상단의 셀에 이러한 패키지를 로드하는 명령을 추가합니다. 각 줄의 시작 부분에 & 기호를 사용하면 코드가 명령줄로 전송되어 실행됩니다. 다음 예제에서 첫 번째 셀은 pip를 사용하여 PyTorch 라이브러리를 설치합니다.
노트북은 학습된 PyTorch 모델을 생성합니다. 일반 코드를 사용하여 모델을 Studio Labs의 파일 시스템에 저장합니다.
이것을 노트북 작업으로 실행할 때 나중에 액세스할 수 있는 위치에 모델을 저장해야 합니다. 가장 쉬운 방법은 모델을 Amazon S3에 저장하는 것입니다. 모델을 저장하기 위해 S3 버킷을 생성하고 다른 명령줄 셀을 사용하여 객체를 버킷에 복사합니다.
우리는을 사용하여 AWS 명령 줄 인터페이스 (AWS CLI) 여기에서 객체를 복사합니다. 우리는 또한 Python 용 AWS SDK (Boto3) 보다 정교하거나 자동화된 파일 이름 제어를 원하는 경우. 지금은 모델을 덮어쓰지 않도록 노트북을 실행할 때마다 파일 이름을 변경해야 합니다.
이제 노트북 작업을 생성할 준비가 되었습니다.
- 노트북 이름을 선택(마우스 오른쪽 버튼 클릭)한 다음 노트북 작업 생성.
이 메뉴 옵션이 없으면 Studio Lab 환경을 새로 고쳐야 할 수 있습니다. 이렇게 하려면 시작 관리자에서 터미널을 열고 다음 코드를 실행합니다. - 그런 다음 선택하여 JupyterLab 인스턴스를 다시 시작합니다. Amazon SageMaker 스튜디오 랩 상단 메뉴에서 다음을 선택합니다. JupyterLab 다시 시작.또는 프로젝트 페이지로 이동하여 런타임을 종료하고 다시 시작합니다.
- 에 직업 만들기 페이지 컴퓨팅 유형, 작업에 적합한 컴퓨팅 유형을 선택하십시오.
비용을 포함하여 다양한 유형의 컴퓨팅 용량에 대한 자세한 내용은 다음을 참조하십시오. Amazon SageMaker 요금 (선택하다 온디맨드 가격 그리고 트레이닝 탭. AWS 계정에서 컴퓨팅 유형의 할당량 가용성을 확인해야 할 수도 있습니다. 서비스 할당량에 대한 자세한 내용은 다음을 참조하세요. AWS 서비스 할당량.이 예에서는 vCPU 3.2개, 메모리 8GB 및 Tesla V61 GPU를 제공하는 ml.p100xlarge 인스턴스를 선택했습니다.
이 페이지에 경고가 없으면 바로 사용할 수 있습니다. 경고가 있는 경우 올바른 역할 ARN이 지정되었는지 확인하십시오. 추가 옵션. 이 역할은 이전에 생성한 SageMaker 실행 역할의 ARN과 일치해야 합니다. ARN은 다음 형식입니다.
arn:aws:iam::[account-number]:role/service-role/[role-name].내에서 사용할 수 있는 다른 옵션이 있습니다. 추가 옵션; 예를 들어 추가 라이브러리를 설치할 필요 없이 필요한 구성이 이미 있는 특정 이미지와 커널을 선택할 수 있습니다.
- 일정에 따라 이 노트북을 실행하려면 일정에 따라 실행 작업을 실행할 빈도를 지정합니다.
이 노트북이 한 번만 실행되기를 원하므로 다음을 선택합니다. 지금 실행. - 왼쪽 메뉴에서 만들기.
노트북 작업 목록
XNUMXD덴탈의 노트북 작업 페이지에는 현재 실행 중인 모든 작업과 과거에 실행된 작업이 나열됩니다. 런처에서 이 목록을 찾을 수 있습니다(선택, 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에, 새로운 런처)를 선택한 다음 노트북 작업 FBI 증오 범죄 보고서 기타 안내
노트북 작업이 완료되면 상태가 다음으로 변경되는 것을 볼 수 있습니다. Completed (사용 새로 고침 필요한 경우 옵션). 그런 다음 다운로드 아이콘을 선택하여 출력 파일에 액세스할 수 있습니다.
파일이 다운로드되면 코드 출력 및 출력 로그와 함께 노트북을 검토할 수 있습니다. 우리의 경우 훈련 셀 실행 시간을 측정하기 위해 코드를 추가했기 때문에 훈련 작업이 얼마나 오래 걸렸는지(16분 21초) 확인할 수 있습니다. 이는 코드가 Studio Lab 내부에서 실행된 경우(1시간)보다 훨씬 빠릅니다. , 38분 55초). 실제로 전체 노트북은 $1,231(USD) 미만의 비용으로 20초(1.30분 남짓) 만에 실행되었습니다.
W는 이제 에포크 수를 늘리고 모델의 손실 값을 개선하기 위해 하이퍼파라미터를 조정하고 다른 노트북 작업을 제출할 수 있습니다.
결론
이 게시물에서는 Studio Lab 노트북 작업을 사용하여 Studio Lab에서 개발한 코드를 확장하고 AWS 계정에서 더 많은 리소스로 실행하는 방법을 보여주었습니다.
Studio Lab 환경에 AWS 자격 증명을 추가하면 노트북 작업에 액세스할 수 있을 뿐만 아니라 Studio Lab 노트북 내에서 바로 AWS 계정의 다른 리소스에 액세스할 수도 있습니다. Python용 AWS SDK를 살펴보십시오.
Studio Lab의 이 추가 기능은 달성할 수 있는 프로젝트의 종류와 크기의 한계를 높입니다. 이 새로운 기능으로 무엇을 구축했는지 알려주세요!
저자 소개
마이크 챔버스 AWS의 AI 및 ML을 위한 Developer Advocate입니다. 그는 지난 7년 동안 빌더가 클라우드, 보안 및 ML을 배우도록 도왔습니다. 원래 영국 출신인 Mike는 열정적으로 차를 마시는 사람이자 레고 조립가입니다.
미셸 몽클로바 SageMaker 팀의 AWS 수석 제품 관리자입니다. 그녀는 뉴요커 출신이자 실리콘 밸리 베테랑입니다. 그녀는 우리 삶의 질을 향상시키는 혁신에 열정적입니다.
