Amazon SageMaker Data Wrangler 및 Amazon SageMaker Autopilot을 통한 통합 데이터 준비 및 모델 교육

데이터는 기계 학습(ML)을 촉진합니다. 데이터 품질은 ML 모델의 품질에 직접적인 영향을 미칩니다. 따라서 정확한 ML 모델을 생성하려면 데이터 품질을 개선하고 올바른 기능 엔지니어링 기술을 사용하는 것이 중요합니다. ML 실무자는 실제 데이터를 잘 일반화하고 원하는 결과를 제공하는 최적의 모델을 찾기 위해 피쳐 엔지니어링, 알고리즘 선택 및 기타 ML 측면을 지루하게 반복합니다. 비즈니스를 수행하는 속도가 지나치게 중요하기 때문에 이 극도로 지루하고 반복적인 프로세스는 프로젝트 지연과 비즈니스 기회 상실로 이어질 수 있습니다.

Amazon SageMaker 데이터 랭글러 ML용 데이터를 집계하고 준비하는 시간을 몇 주에서 몇 분으로 단축하고, Amazon SageMaker 자동 조종 장치 데이터를 기반으로 최고의 ML 모델을 자동으로 빌드, 학습 및 조정합니다. Autopilot을 사용하면 데이터와 모델을 완전히 제어하고 가시성을 유지할 수 있습니다. 두 서비스 모두 ML 실무자의 생산성을 높이고 가치 실현 시간을 단축하기 위해 특별히 제작되었습니다.

Data Wrangler는 이제 Autopilot에서 데이터를 준비하고 ML 모델을 원활하게 훈련할 수 있는 통합 환경을 제공합니다. 새로 출시된 이 기능을 사용하면 이제 Data Wrangler에서 데이터를 준비하고 Data Wrangler UI(사용자 인터페이스)에서 직접 Autopilot 실험을 쉽게 시작할 수 있습니다. 클릭 몇 번으로 ML 모델을 자동으로 빌드, 교육 및 조정할 수 있으므로 보다 쉽게 ​​최첨단 기능 엔지니어링 기술을 사용하고 고품질 ML 모델을 교육하며 데이터에서 더 빠르게 통찰력을 얻을 수 있습니다.

이 게시물에서는 Data Wrangler의 이 새로운 통합 환경을 사용하여 데이터 세트를 분석하고 Autopilot에서 고품질 ML 모델을 쉽게 구축할 수 있는 방법에 대해 설명합니다.

데이터세트 개요

피마 인디언은 멕시코와 미국 애리조나에 사는 원주민 그룹입니다. 연구 Pima 인디언을 당뇨병에 대한 고위험 인구 그룹으로 표시합니다. 당뇨병과 같은 만성 질환에 대한 개인의 위험과 감수성의 가능성을 예측하는 것은 종종 과소 대표되는 소수 그룹의 건강과 웰빙을 개선하는 데 중요한 작업입니다.

우리는을 사용하여 Pima 인도 당뇨병 공개 데이터 세트 당뇨병에 대한 개인의 감수성을 예측합니다. Data Wrangler와 Autopilot 간의 새로운 통합에 초점을 맞춰 데이터를 준비하고 코드를 한 줄도 작성하지 않고 ML 모델을 자동으로 생성합니다.

데이터 세트에는 21세 이상의 Pima 인디언 여성에 대한 정보가 포함되어 있으며 여러 의학적 예측 변수(독립)와 하나의 목표(종속) 변수인 결과가 포함되어 있습니다. 다음 차트는 데이터세트의 열을 설명합니다.

단 성함	상품 설명
임신	임신 횟수
포도당	2시간 이내에 경구 포도당 내성 검사에서 혈장 포도당 농도
혈압	이완기 혈압 (mm Hg)
피부두께	삼두근 피부 주름 두께(mm)
인슐린	2시간 혈청 인슐린(mu U/ml)
BMI	체질량지수(체중(kg)/(높이(m)^2)
당뇨병 혈통	당뇨병 가계도 기능
연령	연령
결과	대상 변수

데이터 세트에는 총 768개의 기능이 있는 9개의 레코드가 포함되어 있습니다. 우리는 이 데이터 세트를 다음 위치에 저장합니다. Amazon Simple Storage 버킷 (Amazon S3)를 CSV 파일로 가져온 다음 CSV를 Amazon S3에서 Data Wrangler 흐름으로 직접 가져옵니다.

솔루션 개요

다음 다이어그램은 이 게시물에서 수행한 작업을 요약한 것입니다.[KT1]

데이터 과학자, 의사 및 기타 의료 분야 전문가는 당뇨병 발병 가능성을 예측하는 데 사용되는 포도당 수준, 혈압, 체질량 지수 및 기타 기능에 대한 정보를 환자 데이터에 제공합니다. Amazon S3의 데이터 세트를 사용하여 데이터 세트를 Data Wrangler로 가져와서 탐색적 데이터 분석(EDA), 데이터 프로파일링, 기능 엔지니어링을 수행하고 데이터 세트를 훈련으로 분할하고 모델 구축 및 평가를 테스트합니다.

그런 다음 Autopilot의 새로운 기능 통합을 사용하여 Data Wrangler 인터페이스에서 직접 모델을 신속하게 구축합니다. F-beta 점수가 가장 높은 모델을 기준으로 Autopilot의 최고의 모델을 선택합니다. Autopilot이 최상의 모델을 찾은 후 SageMaker 일괄 변환 평가를 위한 최상의 모델의 모델 아티팩트로 설정된 테스트(홀드아웃)에 대한 작업.

의료 전문가는 검증된 모델에 새로운 데이터를 제공하여 환자가 당뇨병에 걸릴 가능성이 있는지 여부를 예측할 수 있습니다. 이러한 통찰력을 바탕으로 의료 전문가는 조기에 치료를 시작하여 취약 인구의 건강과 웰빙을 개선할 수 있습니다. 의료 전문가는 모델의 설명 가능성, 성능 및 인공물에 대한 완전한 가시성을 갖고 있기 때문에 Autopilot에서 모델의 세부 정보를 참조하여 모델의 예측을 설명할 수도 있습니다. 테스트 세트의 모델 검증과 함께 이러한 가시성은 의료 전문가에게 모델의 예측 능력에 대한 더 큰 확신을 줍니다.

다음과 같은 높은 수준의 단계를 안내합니다.

1. Amazon S3에서 데이터 세트를 가져옵니다.
2. Data Wrangler를 사용하여 EDA 및 데이터 프로파일링을 수행합니다.
3. 이상값 및 누락된 값을 처리하기 위해 기능 엔지니어링을 수행합니다.
4. 데이터를 학습 세트와 테스트 세트로 분할합니다.
5. Autopilot을 사용하여 모델을 학습하고 구축합니다.
6. SageMaker 노트북으로 홀드아웃 샘플에서 모델을 테스트합니다.
7. 검증 및 테스트 세트 성능을 분석합니다.

사전 조건

다음 전제조건 단계를 완료하십시오.

1. 데이터세트 업로드 선택한 S3 버킷에.
2. 필요한 권한이 있는지 확인하십시오. 자세한 내용은 다음을 참조하십시오. 데이터 랭글러 시작하기.
3. Data Wrangler를 사용하도록 구성된 SageMaker 도메인을 설정합니다. 지침은 다음을 참조하십시오. Amazon SageMaker 도메인에 온보딩.

Data Wrangler로 데이터세트 가져오기

Data Wrangler 데이터 흐름을 ML 워크플로에 통합하여 코딩을 거의 또는 전혀 사용하지 않고 데이터 사전 처리 및 기능 엔지니어링을 간소화하고 간소화할 수 있습니다. 다음 단계를 완료하십시오.

1. 새 항목 만들기 데이터 랭글러 흐름.

데이터 랭글러를 처음 여는 경우 준비 될 때까지 몇 분 정도 기다려야 할 수 있습니다.

2. Amazon S3에 저장된 데이터 세트를 선택하고 Data Wrangler로 가져옵니다.

데이터 세트를 가져온 후 Data Wrangler UI 내에서 데이터 흐름의 시작을 확인해야 합니다. 이제 흐름도가 있습니다.

3. 옆에 있는 더하기 기호를 선택합니다. 자료형 선택하고 편집 Data Wrangler가 데이터 열에 대해 올바른 데이터 유형을 자동으로 유추했는지 확인합니다.

데이터 유형이 올바르지 않은 경우 UI를 통해 쉽게 수정할 수 있습니다. 여러 데이터 원본이 있는 경우 조인하거나 연결할 수 있습니다.

이제 분석을 만들고 변환을 추가 할 수 있습니다.

데이터 통찰력 보고서로 탐색적 데이터 분석 수행

탐색적 데이터 분석은 ML 워크플로의 중요한 부분입니다. Data Wrangler의 새로운 데이터 통찰력 보고서를 사용하여 데이터의 프로필과 분포를 더 잘 이해할 수 있습니다. 보고서에는 요약 통계, 데이터 품질 경고, 대상 열 통찰력, 빠른 모델, 이상 및 중복 행에 대한 정보가 포함됩니다.

1. 옆에 있는 더하기 기호를 선택합니다. 자료형 선택하고 데이터 인사이트 얻기.

2. 럭셔리 목표 칼럼선택한다. 결과.
3. 럭셔리 문제 유형, 및 (선택 사항) 선택 분류.
4. 왼쪽 메뉴에서 만들기.

결과는 데이터 세트 통계와 함께 요약 데이터를 보여줍니다.

또한 히스토그램이 있는 레이블이 지정된 행의 분포, 빠른 모델 기능이 있는 모델의 예상 예측 품질 추정치, 기능 요약 테이블을 볼 수 있습니다.

데이터 통찰력 보고서 분석에 대한 세부 사항은 다루지 않습니다. 인용하다 Amazon SageMaker Data Wrangler의 데이터 품질 및 통찰력으로 데이터 준비 가속화 데이터 인사이트 보고서를 사용하여 데이터 준비 단계를 가속화하는 방법에 대한 자세한 내용은

기능 엔지니어링 수행

이제 입력 열의 분포를 높은 수준에서 프로파일링하고 분석했으므로 데이터 품질을 개선하기 위한 첫 번째 고려 사항은 결측값을 처리하는 것입니다.

예를 들어, Insulin 열은 누락된 값을 나타냅니다. XNUMX을 다음으로 대체하라는 권장 사항을 따를 수 있습니다. NaN. 그러나 자세히 살펴보면 다음과 같은 다른 열의 경우 최소값이 0임을 알 수 있습니다. Glucose, BloodPressure, SkinThickness및 BMI. 결측값을 처리하는 방법이 필요하지만 유효한 데이터로 XNUMX이 있는 열에 민감해야 합니다. 이 문제를 해결하는 방법을 살펴보겠습니다.

. 기능 세부 정보 섹션, 보고서는 위장된 결측값 기능에 대한 경고 Insulin.

왜냐하면 Insulin 열에 실제로 누락된 데이터가 있습니다. 정규식을 누락으로 변환 XNUMX 값을 비어 있는 값(결측값)으로 변환하려면 변환합니다.

1. 옆에 있는 더하기 기호를 선택합니다. Data 유형 선택하고 추가 변환.
2.  왼쪽 메뉴에서 검색 및 편집.
3. 럭셔리 변환선택한다. 정규식을 누락으로 변환.
4. 럭셔리 입력 열, 열 선택 Insulin, Glucose, BloodPressure, SkinThickness및 BMI.
5. 럭셔리 무늬, 입력 0.
6. 왼쪽 메뉴에서 시사 와 추가 이 단계를 저장합니다.

아래의 0개 항목 Insulin, Glucose, BloodPressure, SkinThickness및 BMI 이제 값이 누락되었습니다.

Data Wrangler는 누락된 값을 수정하기 위한 몇 가지 다른 옵션을 제공합니다.

7. 대략적인 중앙값을 대입하여 결측값을 처리합니다. Glucose 열입니다.

우리는 또한 우리의 기능이 동일한 규모에 있는지 확인하기를 원합니다. 특정 기능에 더 큰 숫자 범위가 포함되어 있다는 이유로 실수로 특정 기능에 더 많은 가중치를 부여하고 싶지 않습니다. 이를 위해 기능을 정규화합니다.

8. 새로운 추가 숫자 처리 변형하고 선택 스케일 값.
9. 럭셔리 스케일러선택한다. 최소-최대 스케일러.
10. 럭셔리 입력 열, 열 선택 Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMI및 Age.
11. 세트 Min 에 0 와 Max 에 1.

이것은 우리의 기능이 값 사이에 있는지 확인합니다 0 와 1.

이제 몇 가지 기능을 만들었으므로 모델을 빌드하기 전에 데이터 세트를 학습 및 테스트로 분할합니다.

데이터를 학습 및 테스트로 분할

ML 워크플로의 모델 구축 단계에서 일괄 예측을 실행하여 모델의 효율성을 테스트합니다. 예측을 실제와 비교하여 모델의 성능을 확인하기 위해 평가를 위해 테스트 또는 홀드아웃 데이터 세트를 따로 보관할 수 있습니다. 일반적으로 더 많은 모델의 예측이 일치하는 경우 true 레이블을 통해 모델이 잘 수행되고 있는지 확인할 수 있습니다.

테스트를 위해 데이터 랭글러를 사용하여 데이터 세트를 분할합니다. 우리는 상대적으로 작은 데이터 세트를 가지고 있기 때문에 훈련을 위해 데이터 세트의 90%를 유지합니다. 데이터 세트의 나머지 10%는 테스트 데이터 세트로 사용됩니다. 이 데이터 세트를 사용하여 이 게시물의 뒷부분에서 Autopilot 모델을 검증합니다.

우리는 다음을 선택하여 데이터를 분할합니다. 데이터 분할 변형 및 선택 무작위 분할 방법으로. 우리는 훈련을 위한 분할 백분율로 0.9를 지정하고 테스트를 위해 0.1을 지정합니다.

데이터 변환과 특징적인 엔지니어링 단계가 완료되었으므로 이제 모델을 훈련할 준비가 되었습니다.

모델 훈련 및 검증

Autopilot과 새로운 Data Wrangler 통합을 사용하여 Data Wrangler 데이터 흐름 UI에서 모델을 직접 훈련할 수 있습니다.

1. 옆에 있는 더하기 기호를 선택합니다. 데이터 세트 선택하고 모델 학습.

2. 럭셔리 아마존 S3 위치, SageMaker가 데이터를 내보내는 Amazon S3 위치를 지정합니다.

Autopilot은 이 위치를 사용하여 모델을 자동으로 훈련하므로 Data Wrangler 흐름의 출력 위치를 정의한 다음 Autopilot 훈련 데이터의 입력 위치를 정의해야 하는 시간을 절약할 수 있습니다. 이를 통해 보다 원활한 경험을 할 수 있습니다.

3. 왼쪽 메뉴에서 수출 그리고 훈련 Autopilot으로 모델 구축을 시작합니다.

Autopilot은 훈련 데이터 입력 및 출력 위치를 자동으로 선택합니다. 대상 열을 지정하고 클릭하기만 하면 됩니다. 실험 만들기 모델을 교육합니다.

홀드아웃 샘플에서 모델 테스트

Autopilot이 실험을 완료하면 훈련 결과를 보고 최상의 모델을 탐색할 수 있습니다.

1. 왼쪽 메뉴에서 모델 세부정보 보기 원하는 모델을 선택한 다음 퍼포먼스 모델 세부 정보 페이지의 탭.

XNUMXD덴탈의 퍼포먼스 탭에는 혼동 행렬, 정밀도/재현율 곡선 아래 영역(AUCPR), 수신기 작동 특성 곡선 아래 영역(ROC)을 비롯한 여러 모델 측정 테스트가 표시됩니다. 이는 모델의 전반적인 유효성 검사 성능을 보여주지만 모델이 잘 일반화되는지 여부를 알려주지는 않습니다. 모델이 개인이 당뇨병에 걸릴지 얼마나 정확하게 예측하는지 확인하기 위해 아직 보이지 않는 테스트 데이터에 대한 평가를 실행해야 합니다.

모델이 충분히 일반화되도록 하기 위해 독립 샘플링을 위해 테스트 샘플을 따로 보관했습니다. Data Wrangler 흐름 UI에서 그렇게 할 수 있습니다.

2.  옆에 있는 더하기 기호를 선택합니다. 데이터 세트선택한다. 다음 위치로 내보내기 :, 선택 아마존 S3.

3. Amazon S3 경로를 지정합니다.

다음 섹션에서 유효성 검사를 위해 일괄 추론을 실행할 때 이 경로를 참조합니다.

4. 새로운 SageMaker 노트북을 생성하여 홀드아웃 샘플에서 일괄 추론을 수행하고 테스트 성능을 평가합니다. 다음을 참조하십시오 GitHub 레포 A에 대한 샘플 노트 유효성 검사를 위해 일괄 추론을 실행합니다.

검증 및 테스트 세트 성능 분석

일괄 변환이 완료되면 홀드아웃 데이터 세트의 실제 결과와 예측 결과를 비교하기 위해 혼동 행렬을 만듭니다.

결과에서 23개의 참 긍정과 33개의 참 부정을 봅니다. 우리의 경우 참 양성은 당뇨병이 있는 개인을 정확하게 예측하는 모델을 나타냅니다. 대조적으로, 진음성(true negative)은 당뇨병이 없는 개인을 정확하게 예측하는 모델을 나타냅니다.

우리의 경우 정밀도와 재현율이 중요한 지표입니다. 정밀도는 기본적으로 당뇨병이 있을 것으로 예측되는 모든 개인을 측정합니다. 실제로 당뇨병이 있는 사람은 몇 명입니까? 대조적으로, 회상은 실제로 당뇨병이 있는 모든 개인을 측정하는 데 도움이 됩니다. 당뇨병이 있을 것으로 예측된 ​​사람은 몇 명입니까? 예를 들어, 특히 치료의 첫 번째 단계가 당뇨병이 없는 개인에게 영향을 미치지 않는 경우 가능한 한 많은 개인을 치료하기를 원하기 때문에 높은 정밀도의 모델을 사용할 수 있습니다. 실제로 그들은하지 않을 때).

또한 결과를 평가하기 위해 ROC 곡선(AUC) 그래프 아래 영역을 표시합니다. AUC가 높을수록 모델이 클래스를 더 잘 구별할 수 있습니다. 우리의 경우 모델이 당뇨병이 있는 환자와 없는 환자를 구별하는 데 얼마나 잘 수행되는지입니다.

결론

이 게시물에서는 Data Wrangler 및 Autopilot을 사용하여 엔지니어링 및 모델 구축을 특징으로 하는 데이터 처리를 통합하는 방법을 보여주었습니다. Data Wrangler 사용자 인터페이스에서 직접 Autopilot을 사용하여 모델을 쉽게 훈련하고 조정할 수 있는 방법을 강조했습니다. 이 통합 기능을 사용하면 코드를 작성하지 않고도 기능 엔지니어링을 완료한 후 모델을 빠르게 구축할 수 있습니다. 그런 다음 Autopilot의 최상의 모델을 참조하여 SageMaker Python SDK와 함께 AutoML 클래스를 사용하여 일괄 예측을 실행했습니다.

Data Wrangler 및 Autopilot과 같은 로우 코드 및 AutoML 솔루션은 강력한 ML 모델을 구축하기 위해 깊은 코딩 지식이 필요하지 않습니다. 데이터 랭글러 사용 시작하기 오늘은 다음을 사용하여 ML 모델을 구축하는 것이 얼마나 쉬운지 경험해 SageMaker 자동 조종 장치.

---

저자에 관하여

피터 정 AWS용 솔루션 아키텍트이며 고객이 데이터에서 통찰력을 찾도록 돕는 데 열정적입니다. 그는 공공 부문과 민간 부문 모두에서 조직이 데이터 기반 의사 결정을 내리는 데 도움이 되는 솔루션을 구축해 왔습니다. 그는 모든 AWS 인증과 XNUMX개의 GCP 인증을 보유하고 있습니다. 그는 커피, 요리, 활동적인 생활, 가족과 함께 시간을 보내는 것을 즐깁니다.

프라딥 레디 SageMaker Autopilot, SageMaker 자동 모델 튜너를 포함하는 SageMaker Low/No Code ML 팀의 수석 제품 관리자입니다. 직장 밖에서 Pradeep은 라즈베리 파이와 같은 손바닥 크기의 컴퓨터 및 기타 홈 자동화 기술을 사용하여 독서, 달리기 및 괴짜 작업을 즐깁니다.

아룬 프라 사스 샨 카르 AWS의 인공 지능 및 기계 학습 (AI / ML) 전문 솔루션 아키텍트로서 글로벌 고객이 클라우드에서 AI 솔루션을 효과적이고 효율적으로 확장 할 수 있도록 지원합니다. 여가 시간에 Arun은 공상 과학 영화를보고 클래식 음악을 듣는 것을 즐깁니다.

스루잔 고푸 SageMaker Low Code/No Code ML의 수석 프론트엔드 엔지니어로 Autopilot 및 Canvas 제품 고객을 지원합니다. 코딩을 하지 않을 때 Srujan은 강아지 Max와 함께 달리기, 오디오북 듣기, VR 게임 개발을 즐깁니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/