2021 년에 우리는 AWS 지원 사전 예방 서비스 의 일환으로 AWS 엔터프라이즈 지원 헌금. 도입 이후 수백 명의 고객이 워크로드를 최적화하고, 가드레일을 설정하고, 기계 학습(ML) 워크로드의 비용 및 사용량에 대한 가시성을 개선하도록 도왔습니다.
이 게시물 시리즈에서는 비용 최적화에 대해 배운 교훈을 공유합니다. 아마존 세이지 메이커. 에 파트 1, 우리는 사용을 시작하는 방법을 보여주었습니다 AWS 비용 탐색기 SageMaker에서 비용 최적화 기회를 식별합니다. 이 게시물에서는 SageMaker 사용량을 분석하고 SageMaker 노트북 인스턴스 및 비용 최적화 기회를 식별하는 다양한 방법에 중점을 둡니다. 아마존 세이지 메이커 스튜디오.
SageMaker 노트북 인스턴스
A SageMaker 노트북 인스턴스 Jupyter Notebook 앱을 실행하는 완전 관리형 컴퓨팅 인스턴스입니다. SageMaker는 인스턴스 및 관련 리소스 생성을 관리합니다. 노트북에는 ML 워크플로를 실행하거나 재생성하는 데 필요한 모든 것이 포함되어 있습니다. 노트북 인스턴스에서 Jupyter 노트북을 사용하여 데이터를 준비 및 처리하고, 모델을 교육하는 코드를 작성하고, SageMaker Hosting에 모델을 배포하고, 모델을 테스트 또는 검증할 수 있습니다. SageMaker 노트북 인스턴스의 비용은 노트북 인스턴스가 실행되는 동안 소비된 인스턴스 시간과 프로비저닝된 스토리지의 GB-월 비용을 기준으로 합니다. Amazon SageMaker 요금.
비용 탐색기에서 필터를 적용하여 노트북 비용을 필터링할 수 있습니다. 사용 유형. 이러한 사용 유형의 이름은 다음과 같이 구성됩니다.
REGION-Notebk:instanceType
(예 :USE1-Notebk:ml.g4dn.8xlarge
)REGION-Notebk:VolumeUsage.gp2
(예 :USE2-Notebk:VolumeUsage.gp2
)
사용 유형별 필터링 Notebk:
계정의 노트북 사용 유형 목록이 표시됩니다. 다음 스크린샷과 같이 선택할 수 있습니다. 모두 선택 선택하고 신청 노트북 사용의 비용 내역을 표시합니다.
선택한 노트북 사용 유형의 비용 분석을 사용 시간별로 보려면 모든 REGION-Notebk:VolumeUsage.gp2
이전 목록에서 사용 유형을 선택하고 신청 필터를 적용합니다. 다음 스크린샷은 선택한 노트북 사용 유형에 대한 비용 및 사용 그래프를 보여줍니다.
계좌번호, 아마존 엘라스틱 컴퓨트 클라우드 (Amazon EC2) 인스턴스 유형, 비용 할당 태그, 지역, 그리고 더. 세분성을 다음으로 변경 매일 다음 스크린샷과 같이 선택한 사용량 유형 및 차원을 기반으로 일일 비용 및 사용량 차트를 제공합니다.
앞의 예에서 USE2 지역에 있는 ml.t2.medium 유형의 노트북 인스턴스는 24월 2일과 26월 3일 사이에 1시간의 일일 사용량을 보고합니다. USE24 지역은 3월 26일부터 48월 26일까지 매일 31시간, 24월 XNUMX일부터 XNUMX월 XNUMX일까지 매일 XNUMX시간의 사용량을 보고합니다. 여러 날 연속 일일 사용량이 XNUMX시간 이상인 경우 노트북 인스턴스에 다음이 있음을 나타낼 수 있습니다. 여러 날 동안 실행 상태로 두었지만 활발히 사용되지는 않습니다. 이러한 유형의 패턴은 유휴 런타임을 방지하기 위해 노트북 인스턴스의 수동 또는 자동 종료와 같은 비용 제어 가드레일을 적용함으로써 이점을 얻을 수 있습니다.
비용 탐색기는 인스턴스 유형의 세부 수준에서 비용 및 사용량 데이터를 이해하는 데 도움이 되지만 다음을 사용할 수 있습니다. AWS 비용 및 사용 보고서 (AWS CUR)을 사용하여 노트북 ARN과 같은 리소스 단위로 데이터를 가져옵니다. 표준 SQL을 사용하여 AWS CUR 데이터를 조회하는 사용자 지정 쿼리를 작성할 수 있습니다. 추가 세부 수준을 위해 쿼리에 비용 할당 태그를 포함할 수도 있습니다. 다음 쿼리는 AWS CUR 데이터에서 지난 3개월 동안의 노트북 리소스 사용량을 반환합니다.
다음 스크린샷은 다음을 사용하여 AWS CUR 쿼리를 실행하여 얻은 결과를 보여줍니다. 아마존 아테나. Athena 사용에 대한 자세한 내용은 다음을 참조하십시오. Amazon Athena를 사용하여 비용 및 사용 보고서 쿼리.
쿼리 결과에 해당 노트북이 표시됩니다. dev-notebook
ml.t2.medium 인스턴스에서 실행 중인 경우 여러 날 연속으로 24시간 사용된 것으로 보고됩니다. 인스턴스 요금은 시간당 $0.0464이고 24시간 실행에 대한 일일 비용은 $1.1136입니다.
AWS CUR 쿼리 결과는 비용 최적화를 위해 분석할 수 있는 연속 일 동안 실행되는 노트북의 패턴을 식별하는 데 도움이 될 수 있습니다. 자세한 내용과 예제 쿼리는 다음에서 찾을 수 있습니다. AWS CUR 쿼리 라이브러리.
또한 AWS CUR 데이터를 아마존 퀵 사이트, 보고 또는 시각화 목적으로 원하는 방식으로 슬라이스 및 다이싱할 수 있습니다. AWS CUR 데이터를 QuickSight로 수집하는 방법에 대한 지침은 다음을 참조하십시오. AWS 비용 및 사용 보고서(CUR)를 Amazon QuickSight로 수집하고 시각화하려면 어떻게 해야 합니까?.
노트북 인스턴스 비용 최적화
SageMaker 노트북은 대화형 데이터 탐색, 스크립트 작성, 기능 엔지니어링 프로토타이핑 및 모델링을 포함하는 ML 모델 개발에 적합합니다. 이러한 각 작업에는 다양한 컴퓨팅 리소스 요구 사항이 있을 수 있습니다. 다양한 워크로드를 처리하기 위해 올바른 유형의 컴퓨팅 리소스를 예측하는 것은 어려우며 리소스를 과도하게 프로비저닝하여 비용이 증가할 수 있습니다.
ML 모델 개발의 경우 SageMaker 노트북 인스턴스의 크기는 의미 있는 탐색 데이터 분석(EDA)을 위해 인메모리에 로드해야 하는 데이터의 양과 필요한 계산량에 따라 다릅니다. 범용 인스턴스(예: T 또는 M 제품군)로 작게 시작하고 필요에 따라 확장하는 것이 좋습니다. 예를 들어 ml.t2.medium은 대부분의 기본 데이터 처리, 기능 엔지니어링 및 4GB 메모리 내에 보관할 수 있는 작은 데이터 세트를 처리하는 EDA에 충분합니다. 모델 개발에 많은 계산 작업(예: 이미지 처리)이 포함되는 경우 더 작은 노트북 인스턴스를 중지하고 인스턴스 유형을 원하는 더 큰 인스턴스(예: ml.c5.xlarge)로 변경할 수 있습니다. 더 이상 큰 인스턴스가 필요하지 않으면 더 작은 인스턴스로 다시 전환할 수 있습니다. 이렇게 하면 컴퓨팅 비용을 낮추는 데 도움이 됩니다.
노트북 인스턴스의 비용을 줄이는 데 도움이 되는 다음 모범 사례를 고려하십시오.
CPU 대 GPU
CPU와 GPU 노트북 인스턴스를 고려하는 것은 인스턴스 크기 조정에 중요합니다. CPU는 하나의 보다 복잡한 계산을 순차적으로 처리하는 데 가장 적합하지만 GPU는 여러 개의 간단한 계산을 병렬로 처리하는 데 더 좋습니다. 많은 사용 사례에서 M과 같은 인스턴스 패밀리의 표준 현재 세대 인스턴스 유형은 노트북이 잘 작동할 수 있도록 충분한 컴퓨팅 성능, 메모리 및 네트워크 성능을 제공합니다.
GPU는 효과적으로 활용한다면 뛰어난 가격 대비 성능을 제공합니다. 예를 들어, SageMaker 노트북에서 딥 러닝 모델을 교육하고 있고 신경망이 상대적으로 커서 수십만 개의 매개변수가 포함된 많은 수의 계산을 수행하는 경우 모델이 제공되는 가속화된 컴퓨팅 및 하드웨어 병렬 처리를 활용할 수 있습니다. P 인스턴스 패밀리와 같은 GPU 인스턴스에 의해. 그러나 GPU 인스턴스는 비용이 많이 들고 GPU 통신 오버헤드가 노트북에 필요하지 않은 경우 성능이 저하될 수도 있으므로 실제로 필요할 때만 GPU 인스턴스를 사용하는 것이 좋습니다. 대화형 구축을 위해 컴퓨팅 규모가 더 작은 인스턴스가 포함된 노트북을 사용하고 무거운 작업은 GPU 지원 인스턴스를 포함하여 더 큰 인스턴스로 임시 교육, 조정 및 처리 작업에 맡기는 것이 좋습니다. 이렇게 하면 노트북과 함께 계속 실행되는 대규모 인스턴스(또는 GPU)를 유지하지 않아도 됩니다. 노트북 환경에서 가속 컴퓨팅이 필요한 경우 m* 제품군 노트북 인스턴스를 중지하고 GPU 지원 P* 제품군 인스턴스로 전환한 다음 다시 시작할 수 있습니다. 개발 환경에서 더 이상 추가 부스트가 필요하지 않을 때 다시 전환하는 것을 잊지 마십시오.
특정 인스턴스 유형에 대한 사용자 액세스 제한
관리자는 다음을 통해 사용자가 너무 큰 노트북을 만들지 못하도록 제한할 수 있습니다. AWS 자격 증명 및 액세스 관리 (IAM) 정책. 예를 들어 다음 샘플 정책은 사용자가 더 작은 t3 SageMaker 노트북 인스턴스를 생성하도록 허용합니다.
관리자도 사용할 수 있습니다. AWS 서비스 카탈로그 SageMaker 노트북의 셀프 서비스를 허용합니다. 이를 통해 노트북을 생성할 때 사용자가 사용할 수 있는 인스턴스 유형을 제한할 수 있습니다. 자세한 내용은 다음을 참조하십시오. Amazon SageMaker 노트북 및 AWS Service Catalog를 사용하여 셀프 서비스 보안 데이터 사이언스 활성화 및 AWS Control Tower 환경에서 AWS Service Catalog 및 AWS SSO를 사용하여 Amazon SageMaker Studio 시작.
유휴 노트북 인스턴스 중지
비용을 낮추려면 필요하지 않을 때 노트북 인스턴스를 중지하고 필요할 때 시작할 것을 권장합니다. 유휴 노트북 인스턴스를 자동으로 감지하고 수명 주기를 관리하는 것을 고려하십시오. 수명주기 구성 스크립트. 예를 들어, 자동 정지 유휴 1시간 이상 유휴 상태일 때 SageMaker 노트북을 중지하는 샘플 셸 스크립트입니다.
AWS는 노트북 라이프 사이클 구성 스크립트의 공용 저장소 유휴 노트북을 중지하기위한 샘플 bash 스크립트를 포함하여 노트북 인스턴스를 사용자 정의하는 일반적인 사용 사례를 해결합니다.
노트북 인스턴스의 자동 시작 및 중지 예약
노트북 비용을 절약하는 또 다른 방법은 특정 시간에 노트북을 자동으로 시작하고 중지하는 것입니다. 다음을 사용하여 이를 수행할 수 있습니다. 아마존 이벤트 브리지 규칙과 AWS 람다 기능. Lambda 함수 구성에 대한 자세한 내용은 Lambda 함수 옵션 구성. 함수를 생성한 후에는 특정 일정에 따라 이러한 함수를 트리거하는 규칙을 생성할 수 있습니다. 예를 들어 매일 평일 오전 7시에 노트북을 시작합니다. 보다 일정에 따라 실행되는 Amazon EventBridge 규칙 생성 지침을 위해. Lambda 함수로 노트북을 시작 및 중지하는 스크립트는 다음을 참조하십시오. Amazon SageMaker에서 효율적인 컴퓨팅 리소스 보장.
SageMaker 스튜디오
Studio는 데이터 과학자가 ML 모델을 대화식으로 구축, 교육 및 배포할 수 있는 완전 관리형 솔루션을 제공합니다. 스튜디오 노트북 컴퓨트 인스턴스와 파일 스토리지를 미리 설정할 필요가 없기 때문에 빠르게 가동할 수 있는 원클릭 협업 Jupyter 노트북입니다. 사용 기간에 따라 노트북을 실행하기 위해 선택한 컴퓨팅 인스턴스 유형에 대해 요금이 부과됩니다. Studio 사용에 대한 추가 비용은 없습니다. Studio 노트북, 대화형 셸, 콘솔 및 터미널을 실행하는 데 발생하는 비용은 ML 컴퓨팅 인스턴스 사용량을 기반으로 합니다.
시작할 때 리소스는 선택한 인스턴스 유형의 ML 컴퓨팅 인스턴스에서 실행됩니다. 해당 유형의 인스턴스가 이전에 시작되었고 사용 가능한 경우 해당 인스턴스에서 리소스가 실행됩니다. CPU 기반 이미지의 경우 기본 제안 인스턴스 유형은 ml.t3.medium입니다. GPU 기반 이미지의 경우 기본 제안 인스턴스 유형은 ml.g4dn.xlarge입니다. 요금은 인스턴스별로 발생하며 지정된 인스턴스 유형의 첫 번째 인스턴스가 시작될 때 시작됩니다.
비용 발생 위험 없이 노트북을 만들거나 열려면 다음에서 노트북을 엽니다. 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에 메뉴를 선택하고 커널 없음 인사말 커널 선택 대화. 실행 중인 커널 없이 노트북을 읽고 편집할 수 있지만 셀을 실행할 수는 없습니다. 각 인스턴스에 대해 별도로 요금이 청구됩니다. 인스턴스의 모든 KernelGateway 앱이 종료되거나 인스턴스가 종료되면 청구가 종료됩니다. 요금 예와 함께 청구에 대한 자세한 내용은 다음을 참조하세요. Amazon SageMaker 요금.
비용 탐색기에서 필터를 적용하여 Studio 노트북 비용을 필터링할 수 있습니다. 사용 유형. 이 사용 유형의 이름은 다음과 같이 구성됩니다. REGION-studio:KernelGateway-instanceType
(예 : USE1-Studio:KernelGateway-ml.m5.large
)
사용 유형별 필터링 studio:
Cost Explorer에서 계정의 Studio 사용 유형 목록이 표시됩니다. 필요한 사용 유형을 선택하거나 모두 선택 선택하고 신청 Studio 앱 사용의 비용 내역을 표시합니다. 다음 스크린샷은 모든 선택 항목을 보여줍니다. studio
비용 분석을 위한 사용 유형.
보다 세분화된 비용 분석을 위해 리전, 연결된 계정 또는 인스턴스 유형과 같은 추가 필터를 적용할 수도 있습니다. 세분성을 다음으로 변경 매일 다음 스크린샷과 같이 선택한 사용량 유형 및 차원을 기반으로 일일 비용 및 사용량 차트를 제공합니다.
앞의 예에서 USE3 지역에 있는 ml.t1.medium 유형의 Studio KernelGateway 인스턴스는 48월 1일부터 24월 24일 사이에 매일 11시간 사용한 후 5월 1일까지 매일 24시간 사용했다고 보고합니다. 마찬가지로, USE1 지역에 있는 ml.m23.large 유형의 Studio KernelGateway 인스턴스는 24월 XNUMX일부터 XNUMX월 XNUMX일까지 일일 XNUMX시간 사용을 보고합니다. 여러 날 연속 일일 사용이 XNUMX시간 이상인 경우 Studio 노트북 인스턴스가 실행 중일 가능성이 있음을 나타냅니다. 여러 날 동안 지속적으로. 이러한 유형의 패턴은 사용하지 않을 때 Studio 앱을 수동 또는 자동으로 종료하는 것과 같은 비용 관리 가드레일을 적용하면 도움이 될 수 있습니다.
앞서 언급했듯이 AWS CUR을 사용하여 리소스 단위로 데이터를 가져오고 사용자 지정 쿼리를 작성하여 표준 SQL을 사용하여 AWS CUR 데이터를 조회할 수 있습니다. 추가 세부 수준을 위해 쿼리에 비용 할당 태그를 포함할 수도 있습니다. 다음 쿼리는 AWS CUR 데이터에서 지난 3개월 동안 Studio KernelGateway 리소스 사용량을 반환합니다.
다음 스크린샷은 Athena를 사용하여 AWS CUR 쿼리를 실행하여 얻은 결과를 보여줍니다.
쿼리 결과는 Studio KernelGateway 앱이 datascience-1-0-ml-t3-medium-1abf3407f667f989be9d86559395
계정에서 실행 111111111111
, 스튜디오 도메인 d-domain1234
및 사용자 프로필 user1
ml.t3.medium 인스턴스에서 연속 여러 날 동안 24시간의 사용을 보고합니다. 인스턴스 요금은 시간당 $0.05이고 24시간 실행에 대한 일일 비용은 $1.20입니다.
AWS CUR 쿼리 결과는 비용 최적화를 위해 분석할 수 있는 세부적인 시간별 또는 일별 사용량 수준에서 연속적으로 실행되는 리소스 패턴을 식별하는 데 도움이 될 수 있습니다. SageMaker 노트북과 마찬가지로 보고 또는 시각화 목적으로 AWS CUR 데이터를 QuickSight에 공급할 수도 있습니다.
SageMaker 데이터 랭글러
Amazon SageMaker 데이터 랭글러 로우 코드 시각적 인터페이스에서 데이터 준비 및 기능 엔지니어링 프로세스를 단순화하는 데 도움이 되는 Studio의 기능입니다. Studio Data Wrangler 앱의 사용 유형 이름은 다음과 같이 구성됩니다. REGION-Studio_DW:KernelGateway-instanceType
(예 : USE1-Studio_DW:KernelGateway-ml.m5.4xlarge
).
사용 유형별 필터링 studio_DW:
비용 탐색기에 계정의 Studio Data Wrangler 사용 유형 목록이 표시됩니다. 필요한 사용 유형을 선택하거나 모두 선택 선택하고 신청 Studio Data Wrangler 앱 사용의 비용 내역을 표시합니다. 다음 스크린샷은 모든 선택 항목을 보여줍니다. studio_DW
비용 분석을 위한 사용 유형.
앞서 언급한 바와 같이 보다 세분화된 비용 분석을 위해 추가 필터를 적용할 수도 있습니다. 예를 들어 다음 스크린샷은 여러 날 동안 USE24 리전에서 Studio Data Wrangler 인스턴스 유형 ml.m5.4xlarge의 일일 1시간 사용과 관련 비용을 보여줍니다. 이와 같은 인사이트는 사용하지 않을 때 Studio 앱을 종료하는 것과 같은 비용 제어 조치를 적용하는 데 사용할 수 있습니다.
AWS CUR에서 리소스 수준 정보를 얻고 표준 SQL을 사용하여 AWS CUR 데이터를 조회하는 사용자 지정 쿼리를 작성할 수 있습니다. 다음 쿼리는 AWS CUR 데이터에서 지난 3개월 동안 Studio Data Wrangler 앱 리소스 사용량 및 관련 비용을 반환합니다.
SELECT bill_payer_account_id, line_item_usage_account_id, line_item_resource_id AS studio_notebook_arn, line_item_usage_type, DATE_FORMAT((line_item_usage_start_date),'%Y-%m-%d') AS day_line_item_usage_start_date, SUM(CAST(line_item_usage_amount AS DOUBLE)) AS sum_line_item_usage_amount, line_item_unblended_rate, SUM(CAST(line_item_unblended_cost AS DECIMAL(16,8))) AS sum_line_item_unblended_cost, line_item_blended_rate, SUM(CAST(line_item_blended_cost AS DECIMAL(16,8))) AS sum_line_item_blended_cost, line_item_line_item_description, line_item_line_item_type FROM {$table_name} WHERE line_item_usage_start_date >= date_trunc('month',current_date - interval '3' month) AND line_item_product_code = 'AmazonSageMaker' AND line_item_line_item_type IN ('DiscountedUsage', 'Usage', 'SavingsPlanCoveredUsage') AND line_item_usage_type like '%Studio_DW:KernelGateway%' AND line_item_operation = 'RunInstance' AND bill_payer_account_id = 'xxxxxxxxxxxx' GROUP BY bill_payer_account_id, line_item_usage_account_id, line_item_resource_id, line_item_usage_type, line_item_unblended_rate, line_item_blended_rate, line_item_line_item_type, DATE_FORMAT((line_item_usage_start_date),'%Y-%m-%d'), line_item_line_item_description ORDER BY line_item_resource_id, day_line_item_usage_start_date
다음 스크린샷은 Athena를 사용하여 AWS CUR 쿼리를 실행하여 얻은 결과를 보여줍니다.
쿼리 결과는 Studio Data Wrangler 앱이 sagemaker-data-wrang-ml-m5-4xlarge-b741c1a025d542c78bb538373f2d
계정에서 실행 111111111111
, 스튜디오 도메인 d-domain1234
및 사용자 프로필 user1
ml.m5.4xlarge 인스턴스에서 연속 여러 날 동안 24시간의 사용을 보고합니다. 인스턴스 요금은 시간당 $0.922이고 24시간 실행에 대한 일일 비용은 $22.128입니다.
스튜디오 비용 최적화
Studio 노트북은 사용 기간에 따라 선택한 인스턴스 유형에 대해 요금이 부과됩니다. 요금 발생을 중지하려면 인스턴스를 종료해야 합니다. 인스턴스에서 실행 중인 노트북을 종료했지만 인스턴스를 종료하지 않은 경우 여전히 요금이 발생합니다. Studio 노트북 인스턴스를 종료하면 SageMaker 엔드포인트와 같은 추가 리소스가 아마존 EMR 클러스터 및 아마존 단순 스토리지 서비스 (Amazon S3) Studio에서 생성된 버킷은 삭제되지 않습니다. 요금 발생을 중지하는 데 더 이상 필요하지 않은 경우 해당 리소스를 삭제합니다. Studio 리소스 종료에 대한 자세한 내용은 다음을 참조하세요. 리소스 종료. Data Wrangler를 사용하는 경우 작업이 완료된 후 종료하여 비용을 절감하는 것이 중요합니다. 자세한 내용은 다음을 참조하십시오. 데이터 랭글러 종료.
Studio 노트북의 비용을 줄이는 데 도움이 되는 다음 모범 사례를 고려하십시오.
유휴 Studio 노트북 인스턴스 자동 중지
다음을 사용하여 유휴 Studio 노트북 리소스를 자동으로 중지할 수 있습니다. 수명주기 구성 스튜디오에서. 다음에서 제공되는 JupyterLab 확장 프로그램을 설치하고 사용할 수도 있습니다. GitHub의 Studio 수명 주기 구성으로. Studio 아키텍처 및 확장 추가에 대한 자세한 지침은 다음을 참조하십시오. Amazon SageMaker Studio 내에서 유휴 리소스를 자동으로 종료하여 비용 절감.
즉석에서 크기 조정
노트북 인스턴스에 비해 Studio 노트북의 이점은 Studio를 사용하면 기본 컴퓨팅 리소스는 완전히 탄력적이며 즉시 인스턴스를 변경할 수 있습니다.. 이를 통해 작업을 중단하거나 인프라를 관리하지 않고도 컴퓨팅 수요가 변경될 때(예: ml.t3.medium에서 ml.m5.4xlarge로) 컴퓨팅을 확장 및 축소할 수 있습니다. 한 인스턴스에서 다른 인스턴스로 원활하게 이동할 수 있으며 인스턴스가 시작되는 동안 작업을 계속할 수 있습니다. 온디맨드 노트북 인스턴스를 사용하는 경우 인스턴스를 중지하고 설정을 업데이트한 다음 새 인스턴스 유형으로 다시 시작해야 합니다. 자세한 내용은 다음을 참조하십시오. Amazon SageMaker Studio에서 ML 인스턴스를 즉시 선택하는 방법 알아보기.
특정 인스턴스 유형에 대한 사용자 액세스 제한
관리자는 IAM을 사용할 수 있습니다. 조건 키 특정 사용자에 대해 GPU 인스턴스와 같은 특정 인스턴스 유형을 제한하여 비용을 제어하는 효과적인 방법입니다. 예를 들어 다음 샘플 정책에서 ml.t3.medium 및 ml.g4dn.xlarge를 제외한 모든 인스턴스에 대한 액세스가 거부됩니다. 기본 Jupyter 서버 앱에 대해 시스템 인스턴스를 허용해야 합니다.
Studio 비용을 최적화하기 위한 모범 사례에 대한 포괄적인 지침은 다음을 참조하십시오. Amazon SageMaker에서 효율적인 컴퓨팅 리소스 보장.
태그를 사용하여 Studio 비용 추적
Studio에서 Studio에 맞춤 태그를 할당할 수 있습니다. 도메인 만큼 잘 사용자 도메인에 대한 액세스 권한이 프로비저닝된 사람. Studio는 이러한 태그를 자동으로 복사하여 스튜디오 노트북 사용자가 생성하므로 Studio 노트북의 비용을 쉽게 추적 및 분류하고 조직을 위한 비용 지불 거절 모델을 생성할 수 있습니다.
기본적으로 SageMaker는 교육 작업, 처리 작업, 실험, 파이프라인 및 모델 레지스트리 항목과 같은 새로운 SageMaker 리소스에 각각의 태그를 자동으로 지정합니다. sagemaker:domain-arn
. SageMaker는 또한 리소스에 sagemaker:user-profile-arn
or sagemaker:space-arn
훨씬 더 세분화된 수준에서 리소스 생성을 지정할 수 있습니다.
관리자는 자동화된 태깅을 사용하여 다음과 같은 도구를 사용하여 비즈니스 라인, 팀, 개별 사용자 또는 개별 비즈니스 문제와 관련된 비용을 쉽게 모니터링할 수 있습니다. AWS 예산 및 비용 탐색기. 예를 들어 다음을 첨부할 수 있습니다. 비용 할당 태그 위한 sagemaker:domain-arn
꼬리표.
이를 통해 비용 탐색기를 활용하여 지정된 도메인에 대한 Studio 노트북 지출을 시각화할 수 있습니다.
스토리지 비용 고려
팀의 첫 번째 구성원이 Studio에 온보딩하면 SageMaker는 아마존 탄성 파일 시스템 (Amazon EFS) 팀의 볼륨. 이 구성원 또는 팀 구성원이 Studio를 열면 해당 구성원의 볼륨에 홈 디렉토리가 생성됩니다. 이 디렉터리에 대한 스토리지 요금이 발생합니다. 이후 회원의 홈디렉토리에 저장된 노트북 및 데이터 파일에 대한 추가 스토리지 요금이 발생합니다. 자세한 내용은 다음을 참조하십시오. Amazon EFS 요금.
결론
이 게시물에서는 노트북 인스턴스와 Studio를 사용하여 ML 모델을 구축할 때 비용 분석 및 모범 사례에 대한 지침을 제공했습니다. 기계 학습이 산업 전반에 걸쳐 강력한 도구로 자리매김함에 따라 ML 모델을 교육하고 실행하는 것은 비용 효율성을 유지해야 합니다. SageMaker는 ML 파이프라인의 각 단계를 용이하게 하기 위한 광범위하고 심층적인 기능 세트를 제공하고 성능이나 민첩성에 영향을 미치지 않으면서 비용 최적화 기회를 제공합니다.
저자에 관하여
디팔리 라잘레 AWS의 선임 AI/ML 전문가입니다. 그녀는 AWS 에코시스템에서 AI/ML 솔루션을 배포하고 유지 관리하기 위한 모범 사례와 함께 기술 지침을 제공하는 기업 고객과 협력합니다. 그녀는 NLP 및 컴퓨터 비전과 관련된 다양한 딥 러닝 사용 사례에 대해 광범위한 조직과 협력했습니다. 그녀는 조직이 생성 AI를 활용하여 사용 경험을 향상할 수 있도록 지원하는 데 열정적입니다. 여가 시간에는 영화, 음악, 문학을 즐깁니다.
우리 로젠버그 유럽, 중동 및 아프리카의 AI 및 ML 전문 기술 관리자입니다. 이스라엘에 기반을 둔 Uri는 기업 고객이 ML을 대규모로 설계, 구축 및 운영할 수 있도록 지원합니다. 여가 시간에는 자전거 타기, 하이킹, 아침, 점심, 저녁 식사를 즐깁니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoAiStream. Web3 데이터 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 미래 만들기 w Adryenn Ashley. 여기에서 액세스하십시오.
- PREIPO®로 PRE-IPO 회사의 주식을 사고 팔 수 있습니다. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/machine-learning/part-2-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-2-sagemaker-notebooks-and-studio/
- :있다
- :이다
- :아니
- :어디
- ][피
- $UP
- 1
- 100
- 11
- 14
- 15%
- 20
- 2021
- 23
- 24
- 26%
- 31
- 7
- 8
- a
- 소개
- 가속 된
- ACCESS
- 달성
- 계정
- 가로질러
- 동작
- 활동적인
- 첨가
- 추가
- 주소
- 이점
- 아프리카
- 후
- 다시
- AI
- AI / ML
- All
- 배당
- 수
- 수
- 따라
- 또한
- am
- 아마존
- Amazon EC2
- 아마존 세이지 메이커
- 아마존 세이지 메이커 스튜디오
- Amazon Web Services
- 양
- an
- 복수
- 분석
- 분석하다
- 및
- 다른
- 어떤
- 앱
- 신청
- 적용
- 접근
- 앱
- 아키텍처
- 있군요
- AS
- 관련
- At
- 붙이다
- 8월
- 자동화
- Automatic
- 자동적으로
- 가능
- AWS
- 뒤로
- 기반으로
- 세게 때리다
- 기본
- BE
- 때문에
- 된
- 이익
- BEST
- 모범 사례
- 더 나은
- 사이에
- 큰
- 청구
- 후원
- 분석
- 아침 식사
- 빌드
- 건물
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- 계산
- CAN
- 가지 경우
- 목록
- 셀
- 어떤
- 도전
- 이전 단계로 돌아가기
- 변경
- 변화
- 요금
- 청구 된
- 요금
- 차트
- 왼쪽 메뉴에서
- 선택
- 암호
- 협력
- 공통의
- 의사 소통
- 복잡한
- 포괄적 인
- 계산
- 계산
- 컴퓨터
- 컴퓨터 비전
- 컴퓨팅
- 컴퓨팅 파워
- 조건
- 구성
- 연속적인
- 고려
- 콘솔
- 끊임없이
- 소비
- 포함하는
- 계속
- 지속적으로
- 제어
- 컨트롤 타워
- 제어
- 비용
- 비용 효율적인
- 비용
- 수
- 만들
- 만든
- 생성
- 만들기
- 창조
- Current
- 관습
- 고객
- 매일
- 데이터
- 데이터 준비
- 데이터 처리
- 데이터 과학
- 데이터 세트
- 일
- 패키지 딜
- XNUMX월
- 깊은
- 깊은 학습
- 태만
- 수요
- 따라
- 배포
- 배치
- 디자인
- 원하는
- 상세한
- 세부설명
- 결정
- 개발
- 다이얼로그
- 외형 치수
- 저녁 식사
- 디스플레이
- do
- 하지 않습니다
- 도메인
- 한
- 말라
- 더블
- 아래 (down)
- 지속
- 마다
- 이전
- 용이하게
- 동쪽
- 생태계
- 효과
- 유효한
- 효과적으로
- 효율적인
- 능력을 키우다
- 힘을 실어
- 종료
- 엔지니어링
- 강화
- 충분히
- Enterprise
- 환경
- 개설하다
- 유럽
- 조차
- 모든
- 모두
- 예
- 예
- 외
- 비싼
- 경험
- 실험
- 탐구
- 탐색기
- 확장자
- 여분의
- 촉진
- 가족
- 가족
- 특색
- Feb
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 필터링
- 필터
- 먼저,
- 초점
- 다음에
- 수행원
- 다음
- 럭셔리
- 발견
- 에
- 충분히
- 기능
- 기능
- 범용
- 세대
- 생성적인
- 제너레이티브 AI
- 얻을
- 주어진
- 제공
- GPU
- GPU
- 그래프
- 큰
- 그룹
- 지도
- 처리
- 하드웨어
- 있다
- he
- 무거운
- 무거운 리프팅
- 개최
- 도움
- 도움
- 도움이
- 그녀의
- 그의
- 홈
- 호스팅
- 시간
- 진료 시간
- 방법
- How To
- 그러나
- HTML
- HTTP
- HTTPS
- 수백
- i
- 확인
- 통합 인증
- 유휴
- if
- 영상
- 형상
- 영향을주는
- 중대한
- 개선
- in
- 포함
- 포함
- 포함
- 증가
- 표시
- 표시
- 개인
- 산업
- 정보
- 인프라
- 통찰력
- 설치
- 예
- 명령
- 대화형
- 인터페이스
- 으로
- 개요
- 참여
- 이스라엘
- IT
- 그
- 그 자체
- 일월
- 24년 XNUMX월
- 작업
- JPG
- 7월
- 유지
- 넓은
- 큰
- 성
- 시작
- 시작
- 리드
- 배운
- 배우기
- 출발
- 왼쪽 (left)
- 레슨
- 배운
- 레벨
- 이점
- wifecycwe
- 리프팅
- 처럼
- 라인
- 연결
- 명부
- 문학
- 하중
- 이상
- 보기
- 점심
- 기계
- 기계 학습
- 유지 보수
- 유지
- 관리
- 매니저
- 관리하다
- 관리
- 조작
- .
- XNUMX월..
- 의미있는
- 조치들
- 매질
- 회원
- 메모리
- 말하는
- 메뉴
- 중간
- 중동
- 수도
- ML
- 모델
- 모델링
- 모델
- 모니터
- 달
- 개월
- 배우기
- 가장
- 영화 산업
- 움직이는
- 여러
- 음악
- 절대로 필요한 것
- name
- 이름
- 이름
- 필요한
- 필요
- 필요
- 요구
- 네트워크
- 신경망
- 신제품
- nlp
- 아니
- 수첩
- 유명한
- 번호
- 획득
- 획득
- of
- 제공
- 제공
- 제공
- on
- 온디맨드
- ONE
- 만
- 열 수
- 열립니다
- 운영
- 기회
- 최적화
- 최적화
- 최적화
- or
- 주문
- 조직
- 조직
- 아웃
- 설명
- 위에
- 평행
- 매개 변수
- 부품
- 열렬한
- 무늬
- 패턴
- 수행
- 성능
- 실행할 수 있는
- 기간
- 관로
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 정책
- 정책
- 가능성
- 게시하다
- 게시물
- 힘
- 강한
- 사례
- 준비
- Prepare
- 예방
- 이전에
- 가격
- 사전
- 문제
- 방법
- 처리
- 프로필
- 프로토 타입
- 제공
- 제공
- 제공
- 제공
- 목적
- 쿼리
- 빨리
- 범위
- 율
- 비율
- 읽기
- 정말
- 권하다
- 추천
- 감소
- 지방
- 레지스트리
- 관련
- 상대적으로
- 남아
- 신고
- 통계 보고서
- 보고서
- 저장소
- 필수
- 요구조건 니즈
- 의지
- 제품 자료
- 그
- 얽매다
- 결과
- 결과
- 결과
- 반품
- 연락해주세요
- 위험
- 통치
- 규칙
- 달리기
- 달리는
- 현자
- 찜하기
- 규모
- 스케일링
- 예정
- 과학
- 과학자
- 스크립트
- 원활한
- 보안
- 참조
- 선택된
- 선택
- 셀프 서비스
- 연장자
- XNUMX월
- 연속
- 서브
- 서비스
- 서비스
- 세트
- 설정
- 공유
- 그녀
- 껍질
- 표시
- 보여
- 표시
- 쇼
- 종료
- 종료
- 종료
- 비슷하게
- 단순, 간단, 편리
- 단순화
- 이후
- 단일
- 크기
- 일부분
- 작은
- 작은
- So
- 해결책
- 솔루션
- 전문가
- 구체적인
- 지출
- 잡아 늘인
- 표준
- 스타트
- 시작
- 시작 중
- 시작
- 단계
- 아직도
- 중지
- 멎는
- 중지
- 저장
- 저장
- 구조화
- 스튜디오
- 그후
- 이러한
- 충분한
- 적당한
- SUPPORT
- 적극적인 지원
- 스위치
- 체계
- TAG
- 받아
- 작업
- 팀
- 팀
- 테크니컬
- test
- 보다
- 그
- XNUMXD덴탈의
- 그들의
- 그들
- 그때
- 그곳에.
- 그것에 의하여
- Bowman의
- 그들
- 일
- 이
- 그
- 수천
- 을 통하여
- 시간
- 시대
- 에
- 너무
- 수단
- 검색을
- 탑
- 선로
- Train
- 트레이닝
- 트리거
- 유형
- 유형
- 밑에 있는
- 이해
- 까지
- 업데이트
- 용법
- 사용
- 익숙한
- 사용자
- 사용자
- 사용
- 활용
- 유효 기간
- 여러
- 가시성
- 시력
- 심상
- 음량
- vs
- 필요
- 였다
- 방법..
- 방법
- we
- 웹
- 웹 서비스
- 잘
- 언제
- 이므로
- 어느
- 동안
- 누구
- 넓은
- 넓은 범위
- 의지
- 과
- 이내
- 없이
- 작업
- 일
- 워크플로우
- 일하는
- 일
- 쓰다
- 코드 작성
- 쓰기
- 자신의
- 너의
- 제퍼 넷