Amazon Forecast로 예측기 정확도를 지속적으로 모니터링

이제 귀하의 정확성을 자동으로 모니터링할 수 있다는 소식을 발표하게 되어 기쁘게 생각합니다. 아마존 예측 시간 경과에 따른 예측변수. 새 데이터가 제공되면 Forecast는 새 데이터 세트에 대한 예측 정확도 측정항목을 자동으로 계산하여 새 예측 변수를 계속 사용할지, 재교육할지, 아니면 생성할지 결정하는 데 필요한 추가 정보를 제공합니다.

예측기 품질을 모니터링하고 시간 경과에 따른 정확도 저하를 식별하는 것은 비즈니스 목표를 달성하는 데 중요합니다. 그러나 예측 정확도 지표를 지속적으로 모니터링하는 데 필요한 프로세스는 설정하는 데 시간이 많이 걸리고 관리하기 어려울 수 있습니다. 예측을 평가해야 하고 업데이트된 정확도 지표를 계산해야 합니다. 또한 추세를 이해하고 예측 변수 유지, 재교육 또는 재생성에 대한 결정을 내리려면 측정항목을 저장하고 차트로 작성해야 합니다. 이러한 프로세스는 비용이 많이 드는 개발 및 유지 관리 부담을 초래할 수 있으며 데이터 과학 및 분석 팀에 의미 있는 운영 스트레스를 줄 수 있습니다. 그리고 시간이 많이 소요되는 이 프로세스를 수행할 의향이 없는 고객의 경우(필요하지 않은 경우에도 새로운 예측기를 재교육하는 것을 선호함) 이는 시간과 계산을 낭비하게 됩니다.

오늘 출시를 통해 Forecast는 이제 새 데이터를 가져올 때 시간이 지남에 따라 예측 정확도를 자동으로 추적합니다. 이제 초기 품질 지표에서 예측 변수의 편차를 정량화하고 추세를 시각화하여 모델 품질을 체계적으로 평가할 수 있으며, 새 데이터가 들어올 때 모델 유지, 재훈련 또는 재구축에 대해 더 많은 정보를 바탕으로 결정을 내릴 수 있습니다. 처음부터 새로운 예측 변수에 대해 예측 변수 모니터링을 활성화할 수 있습니다. , 또는 기존 모델의 경우 켜져 있습니다. 한 번의 클릭으로 이 기능을 활성화할 수 있습니다. AWS 관리 콘솔 또는 예측 API.

시간 경과에 따른 예측 정확도

예측자는 원본 교육 데이터 세트를 사용하여 특정 시점에 생성된 기계 학습 모델입니다. 예측기가 생성된 후에는 실제 거래를 통해 생성된 새로운 실측 데이터로 시계열 예측을 생성하기 위해 며칠, 몇 주 또는 몇 달 동안 지속적으로 사용됩니다. 새 데이터를 가져오면 예측기는 제공된 최신 데이터를 기반으로 새로운 예측 데이터 포인트를 생성합니다.

예측 변수가 처음 생성되면 Forecast는 wQL(가중 분위수 손실), MAPE(평균 절대 백분율 오류) 또는 RMSE(평균 제곱근 오차)와 같은 정확도 메트릭을 생성하여 예측 변수의 정확도를 수량화합니다. 이러한 정확도 측정항목은 예측변수가 프로덕션에 투입될지 여부를 결정하는 데 사용됩니다. 그러나 예측기의 성능은 시간이 지남에 따라 변동됩니다. 경제 환경이나 소비자 행동의 변화와 같은 외부 요인은 예측 변수의 기본 요인을 변경할 수 있습니다. 다른 요인으로는 생성될 수 있는 새로운 제품, 항목 및 서비스가 있습니다. 금융 또는 경제 환경의 변화; 또는 데이터 분포의 변화.

예를 들어, 제품의 특정 색상이 인기가 있을 때 훈련된 예측기를 생각해 보세요. 몇 달이 지나면 새로운 색상이 나타나거나 더 인기를 끌 수 있으며 가치 분포도 바뀔 수 있습니다. 또는 오랜 구매 패턴(예: 고수익 제품에서 저수익 제품으로)을 수정하는 비즈니스 환경의 변화가 발생합니다. 모든 것을 고려하면 매우 정확한 예측이 계속 이루어지도록 예측기를 재교육해야 하거나 새로운 예측기를 생성해야 할 수도 있습니다.

자동화된 예측 변수 모니터링

예측기 모니터링은 새로운 실측 시계열 데이터가 제공되고 새로운 예측을 생성하는 데 사용됨에 따라 예측기의 성능을 자동으로 분석하도록 설계되었습니다. 이 모니터링은 지속적인 모델 성능 정보를 제공하고 프로세스를 직접 설정할 필요가 없도록 시간을 절약해 줍니다.

예측에서 예측 변수 모니터링이 활성화된 경우 새 데이터를 가져오고 새 예측을 생성할 때마다 성능 통계가 자동으로 업데이트됩니다. 지금까지 이러한 성능 통계는 예측기가 처음 훈련되었을 때만 사용할 수 있었습니다. 이제 이러한 통계는 새로운 실측 데이터를 사용하여 지속적으로 생성되며 예측 성능을 측정하기 위해 적극적으로 모니터링할 수 있습니다.

이를 통해 예측기 성능 통계를 사용하여 새 예측기를 훈련하거나 재훈련할 시기를 결정할 수 있습니다. 예를 들어 평균 wQL 지표가 초기 기준 값에서 벗어나면 새 예측기를 재교육할지 여부를 결정할 수 있습니다. 예측기를 재교육하거나 새 예측기를 생성하기로 결정한 경우 더 정확한 예측기를 사용하여 새로운 예측 데이터 포인트 생성을 시작할 수 있습니다.

다음 그래프는 예측 변수 모니터링의 두 가지 예를 제공합니다. 첫 번째 차트에서 평균 wQL 지표는 기준선(예측자가 훈련되었을 때의 초기 값)에서 감소하고 있으며, 이는 예측 정확도가 시간이 지남에 따라 증가함을 나타냅니다. 차트는 며칠 동안 평균 wQL이 0.3에서 0.15로 떨어지는 것을 보여줍니다. 이는 예측 정확도가 증가하고 있음을 의미합니다. 이 경우 처음 훈련했을 때보다 더 정확한 예측을 생성하므로 예측기를 다시 훈련할 필요가 없습니다.

다음 그림에서는 그 반대가 사실입니다. 평균 wQL이 증가하고 있으며 이는 시간이 지남에 따라 정확도가 감소함을 나타냅니다. 이 경우 새 데이터로 예측기를 재교육하거나 다시 구축하는 것을 고려해야 합니다.

예측에서는 현재 예측기를 재교육하거나 처음부터 다시 빌드할 수 있습니다. 재교육 한 번의 클릭으로 완료되며 최신 데이터와 Forecast 알고리즘의 모든 업데이트 및 개선 사항이 통합됩니다. 재건하기 예측기를 사용하면 새 입력(예: 예측 빈도, 범위 또는 새 차원)을 제공하여 새 예측기를 생성할 수 있습니다.

예측자 모니터링 활성화

새 예측자를 생성할 때 예측자 모니터링을 활성화하거나 기존 예측자에 대해 켤 수 있습니다. 이 섹션의 단계에서는 Forecast 콘솔을 사용하여 이러한 단계를 수행하는 방법을 보여줍니다. 주피터도 있어요 수첩 API를 사용하여 예측자 모니터링을 활성화하고 예측자 모니터 결과를 생성하는 일련의 단계를 안내합니다.

이 예에서는 예측 모니터링에서 사용할 수 있는 시간 분할 샘플 데이터세트를 사용합니다. 수첩. 이 예에서는 타임스탬프, 위치 ID 및 대상 값(위치 ID의 타임스탬프 동안 요청된 픽업 수)이 포함된 뉴욕시 택시 픽업의 100,000행 데이터 세트로 시작합니다.

다음 단계를 완료하십시오.

1. Forecast 콘솔에서 데이터세트 그룹 보기 탐색 창에서
2. 왼쪽 메뉴에서 데이터 세트 그룹 생성 데이터세트 그룹 세부정보를 제공하세요.
   데이터 세트 그룹을 생성한 후에는 대상 시계열 데이터 세트를 생성하라는 메시지가 표시됩니다. 이 데이터 세트를 사용하여 예측기를 훈련하고 예측을 생성합니다.
3. 에 대상 시계열 데이터 세트 생성 페이지에서 데이터의 스키마, 빈도, 위치를 제공하세요.
4. 왼쪽 메뉴에서 스타트 대상 데이터세트를 가져옵니다.
   다음으로 예측기를 구축하고 초기 데이터세트를 사용하여 학습시킵니다.
5. 탐색 창에서 예측 자.
6. 왼쪽 메뉴에서 새로운 예측기 학습.
   
7. . 예측자 설정 섹션에 예측 변수의 이름, 예측할 향후 기간, 빈도, 예측할 분위수 수를 입력합니다.
   
8. 럭셔리 최적화 지표, 최적화할 최적화 측정항목을 선택할 수 있습니다. AutoPredictor 선택한 특정 정확도 측정항목에 맞게 모델을 조정합니다. 연습에서는 이를 기본값으로 둡니다.
9. 예측자 설명 가능성 보고서를 얻으려면 다음을 선택하세요. 예측기 설명 기능 활성화.
10. 예측자 모니터링을 활성화하려면 다음을 선택하세요. 예측자 모니터링 활성화.
11. 입력 데이터 구성에 현지 날씨 정보와 공휴일을 추가하여 보다 정확한 수요 예측을 할 수 있습니다.
12. 왼쪽 메뉴에서 스타트 예측기 훈련을 시작하세요.
    
    이제 Forecast는 이 초기 데이터 세트를 사용하여 예측기를 교육합니다. 예측자 모니터링이 활성화되면 이 데이터세트 그룹에 새 데이터가 제공될 때마다 Forecast는 업데이트된 예측자 정확도 측정항목을 계산할 수 있습니다.
13. 예측기가 훈련된 후 이를 선택하여 초기 정확도 측정항목을 평가합니다.
    
    XNUMXD덴탈의 통계 탭에는 초기 예측자 품질 메트릭이 표시됩니다. 예측기에서 예측을 생성하지 않았거나 새로운 실측 데이터를 가져오지 않았기 때문에 표시할 내용이 없습니다. 모니터링 탭.
    다음 단계는 새 예측변수를 사용하여 예측을 생성하는 것입니다.
14. 왼쪽 메뉴에서 예측 탐색 창에서
15. 왼쪽 메뉴에서 예측 생성 방금 가져온 시계열 데이터와 예측기 설정을 기반으로 새 예측을 생성합니다.
16. 예측 이름, 예측자 이름 및 계산하려는 추가 분위수 측정항목을 제공하세요.

예측을 생성한 후 다음에서 해당 세부 정보와 결과를 보고 내보낼 수 있습니다. 예측 세부정보 페이지.

예측자 모니터링: 시간 경과에 따른 정확성 평가

시간이 지남에 따라 업데이트된 판매 수치, 인력 수준, 제조 결과 등 비즈니스 프로세스에 따라 새로운 실측 데이터가 생성됩니다. 새로운 데이터를 기반으로 새로운 예측을 생성하려면 생성한 데이터 세트로 데이터를 가져오면 됩니다.

1. Amazon Forecast 콘솔에서 데이터 세트 그룹 페이지에서 데이터 세트 그룹을 선택합니다.
   
2. 데이터세트를 선택하세요.
   
3. . 데이터 세트 가져 오기 섹션 선택 데이터세트 가져오기 만들기.
   
4. 위치를 포함하여 업데이트된 데이터에 대한 추가 세부정보를 제공하세요.
   
5. 왼쪽 메뉴에서 스타트.

예측자 모니터링을 통해 Forecast는 이 새 데이터를 생성된 이전 예측과 비교하고 예측자에 대한 정확도 메트릭을 계산합니다. 업데이트된 예측자 품질 지표는 새 데이터가 데이터 세트에 추가됨에 따라 지속적으로 계산됩니다.

다음 단계에 따라 시간에 따라 발생한 추가 트랜잭션을 나타내는 추가 데이터를 가져올 수 있습니다.

예측자 모니터링 결과 평가

예측자 모니터링 결과를 보려면 초기 예측을 생성한 후 새로운 실측 데이터를 추가해야 합니다. 예측은 이 새로운 실측 데이터를 이전 예측과 비교하고 모니터링을 위해 업데이트된 모델 정확도 값을 생성합니다.

1. 에 데이터 세트 그룹 페이지에서 관련 데이터 세트 그룹을 선택하고 대상 시계열을 선택하여 새로운 실측 데이터로 업데이트합니다.
   
2. 왼쪽 메뉴에서 데이터세트 가져오기 만들기 새로운 실측 데이터를 추가하세요.
   
   추가 정답 데이터를 제공한 후 예측기를 열고 초기 예측기 모니터링 통계를 볼 수 있습니다.
3. 예측변수를 선택하고 모니터링 탭.
   

다음 단계에 따라 이 예측기를 사용하여 추가 예측을 실행하고 실측 데이터의 추가 반복을 추가할 수 있습니다. 예측 변수에 대한 모델 정확도 통계의 진행 상황은 다음에서 확인할 수 있습니다. 모니터링 탭.

이 예에서는 0.55개의 추가 데이터 업데이트를 통해 평가된 예측 변수에 대한 모델 정확도 통계를 보여줍니다. 예측기는 처음 훈련되었을 때 초기 기준 MAPE가 42였습니다. 추가 데이터가 로드됨에 따라 MAPE는 첫 번째 추가 데이터 세트에서 .42로 떨어졌으며 이는 더 정확한 예측 변수를 나타냈고 후속 데이터 세트에서는 .48에서 .XNUMX 사이의 좁은 범위 내에서 변동했습니다.

차트를 전환하여 추가 측정항목을 볼 수 있습니다. 다음 예에서 MASE와 평균 wQL은 시간이 지남에 따라 기준선과 유사한 변동을 보여줍니다.

XNUMXD덴탈의 모니터링 내역 페이지 하단의 섹션에서는 시간 경과에 따라 추적된 모든 예측 정확도 지표에 대한 전체 세부 정보를 제공합니다.

기존 예측기에 대한 예측 모니터링 설정

기존 예측자에 대한 모니터링을 쉽게 활성화할 수 있습니다. 이렇게 하려면 다음 단계를 완료하세요.

1. 탐색 창의 데이터세트 아래에서 다음을 선택합니다. 예측 자.
2. 여기에서는 모니터링을 활성화하는 두 가지 방법이 있습니다.
   1. 왼쪽 메뉴에서 모니터링 시작 아래 모니터링 열입니다.
      
   2. 예측변수를 선택하고 모니터링 탭, 아래 모니터 세부 정보선택한다. 모니터 시작.
      
3. 팝업 대화 상자에서 다음을 선택하십시오. 스타트 선택한 예측변수에 대한 모니터링을 시작합니다.
   

XNUMXD덴탈의 모니터링 이제 탭에는 예측자 모니터링이 시작되었음을 표시하고 더 많은 데이터를 가져올 때 결과가 생성됩니다.

예측자 모니터링 중지 및 다시 시작

예측자 모니터링을 중지했다가 다시 시작할 수도 있습니다. 다음을 고려하세요:

• 비용 – 예측자 모니터링은 추가 리소스를 소비합니다. 일반적인 소규모 데이터세트의 경우 비용은 최소화되지만 대규모 데이터세트(입력 데이터세트의 항목 수 및 예측 범위)에서는 비용이 증가할 수 있습니다.
• 개인정보보호 – 모니터링 중에 예측 사본이 저장됩니다. 이 복사본을 저장하지 않으려면 모니터링을 중지할 수 있습니다.
• 노이즈 – 예측자로 실험 중이고 예측자 모니터 결과에서 노이즈를 확인하지 않으려는 경우 예측자 모니터링을 일시적으로 중지하고 예측자가 다시 안정되면 다시 시작할 수 있습니다.

예측자 모니터링을 중지하려면 다음 단계를 완료하세요.

1. 로 이동 모니터링 모니터링이 활성화된 예측 변수에 대한 탭입니다.
2. 왼쪽 메뉴에서 모니터 중지 예측기의 모니터링을 중지합니다.
   
3. 메시지가 나타나면 선택 사항을 확인하세요.
   

예측자 모니터링이 중지되었음을 나타내는 메시지가 다음 페이지에 표시됩니다.

다음을 선택하여 예측 변수 모니터링을 다시 시작할 수 있습니다. 이력서 모니터.

결론

수요 계획 및 예측 목표, 그리고 궁극적으로 비즈니스 목표를 달성하려면 시간이 지남에 따라 예측 변수의 품질을 모니터링하는 것이 중요합니다. 그러나 예측자 모니터링은 시간이 많이 소요될 수 있으며 필요한 워크플로우를 유지하고 유지하는 데 필요한 프로세스로 인해 운영 비용이 높아질 수 있습니다.

이제 예측은 예측 변수의 품질을 자동으로 추적하여 운영 노력을 줄이는 동시에 예측 변수 유지, 재교육 또는 재구축에 대해 더 많은 정보를 바탕으로 결정을 내리는 데 도움을 줍니다. 예측자 모니터링을 활성화하려면 이 게시물에 설명된 단계를 따르거나 GitHub 노트북을 따르세요.

예측 변수 모니터링은 다음에서만 사용할 수 있습니다. AutoPredictor. 자세한 내용은 다음을 참조하십시오. 최대 40% 더 정확한 예측을 생성하고 설명 가능성을 제공하는 새로운 Amazon Forecast API 및 자동예측기 생성.

자세한 내용은 다음을 참조하십시오. 예측자 모니터링. 또한 가격 새로운 기능을 사용해 보세요. 이러한 모든 새로운 기능은 Forecast가 공개적으로 제공되는 모든 지역에서 사용할 수 있습니다. 지역 가용성에 대한 자세한 내용은 다음을 참조하세요. AWS 지역 서비스.

---

저자에 관하여

댄 신라이히 Amazon Forecast의 수석 제품 관리자입니다. 그는 로우 코드/노 코드 머신 러닝을 대중화하고 이를 적용하여 비즈니스 성과를 개선하는 데 중점을 두고 있습니다. 직장 밖에서 그는 하키를 하고, 테니스 서브를 향상시키려고 노력하고, 공상 과학 소설을 읽는 모습을 볼 수 있습니다.

 아다 쉬 싱 Amazon Forecast 팀에서 소프트웨어 개발 엔지니어로 일하고 있습니다. 현재 그는 엔지니어링 문제와 최종 사용자에게 최고의 가치를 제공하는 확장 가능한 분산 시스템 구축에 중점을 두고 있습니다. 여가 시간에는 애니메이션 시청과 비디오 게임을 즐깁니다.

섀넌 킬링스워스 Amazon Forecast의 UX 디자이너입니다. 현재 그의 작업은 누구나 사용할 수 있는 콘솔 경험을 만들고 새로운 기능을 콘솔 경험에 통합하는 것입니다. 여가 시간에는 피트니스와 자동차 매니아입니다.

• 코인스마트. 유럽 ​​최고의 비트코인 ​​및 암호화폐 거래소.
• 플라토 블록체인. Web3 메타버스 인텔리전스. 지식 증폭. 무료 액세스.
• 크립토호크. 알트코인 레이더. 무료 시험판.
• 출처: https://aws.amazon.com/blogs/machine-learning/continuously-monitor-predictor-accuracy-with-amazon-forecast/