Liên tục theo dõi độ chính xác của dự đoán với Amazon Forecast

Chúng tôi vui mừng thông báo rằng giờ đây bạn có thể tự động theo dõi độ chính xác của Dự báo Amazon các yếu tố dự đoán theo thời gian. Khi dữ liệu mới được cung cấp, Dự báo sẽ tự động tính toán các chỉ số về độ chính xác của dự đoán trên tập dữ liệu mới, cung cấp cho bạn thêm thông tin để quyết định tiếp tục sử dụng, đào tạo lại hay tạo các dự đoán mới.

Giám sát chất lượng của công cụ dự báo và xác định sự suy giảm độ chính xác theo thời gian là điều quan trọng để đạt được các mục tiêu kinh doanh. Tuy nhiên, các quy trình cần thiết để liên tục theo dõi các chỉ số về độ chính xác của dự đoán có thể tốn nhiều thời gian để thiết lập và khó quản lý: dự báo phải được đánh giá và phải tính toán các chỉ số về độ chính xác được cập nhật. Ngoài ra, các số liệu phải được lưu trữ và lập biểu đồ để hiểu xu hướng và đưa ra quyết định về việc lưu giữ, đào tạo lại hoặc tạo lại các yếu tố dự đoán. Các quy trình này có thể dẫn đến gánh nặng phát triển và bảo trì tốn kém, đồng thời đặt ra áp lực hoạt động có ý nghĩa đối với các nhóm khoa học dữ liệu và nhà phân tích. Và đối với những khách hàng không sẵn sàng thực hiện quá trình tốn thời gian này (họ muốn đào tạo lại các nhà dự đoán mới ngay cả khi không cần thiết), điều này gây lãng phí thời gian và tính toán.

Với lần ra mắt hôm nay, Dự báo giờ đây tự động theo dõi độ chính xác của dự đoán theo thời gian khi dữ liệu mới được nhập. Giờ đây, bạn có thể định lượng độ lệch của người dự đoán so với chỉ số chất lượng ban đầu và đánh giá chất lượng mô hình một cách có hệ thống bằng cách hình dung các xu hướng và đưa ra quyết định sáng suốt hơn về việc lưu giữ, đào tạo lại hoặc xây dựng lại mô hình của bạn khi có dữ liệu mới. Bạn có thể bật tính năng giám sát dự đoán cho các nhà dự báo mới ngay từ đầu hoặc được bật cho các mô hình hiện có. Bạn có thể bật tính năng này bằng một cú nhấp chuột vào Bảng điều khiển quản lý AWS hoặc sử dụng API dự báo.

Dự đoán chính xác theo thời gian

Dự đoán là một mô hình học máy được tạo tại một thời điểm, sử dụng tập hợp dữ liệu đào tạo ban đầu. Sau khi tạo dự đoán, công cụ này được sử dụng liên tục trong nhiều ngày, nhiều tuần hoặc nhiều tháng trong tương lai để tạo dự báo chuỗi thời gian với dữ liệu sự thật cơ bản mới được tạo thông qua các giao dịch thực tế. Khi dữ liệu mới được nhập, công cụ dự đoán tạo ra các điểm dữ liệu dự báo mới dựa trên dữ liệu mới nhất được cung cấp cho nó.

Khi một công cụ dự đoán được tạo lần đầu tiên, Dự báo sẽ tạo ra các chỉ số chính xác như tổn thất định lượng có trọng số (wQL), sai số phần trăm tuyệt đối trung bình (MAPE) hoặc sai số bình phương trung bình gốc (RMSE) để định lượng độ chính xác của công cụ dự đoán. Các chỉ số đo độ chính xác này được sử dụng để xác định liệu một công cụ dự đoán có được đưa vào sản xuất hay không. Tuy nhiên, hiệu suất của một công cụ dự đoán sẽ biến động theo thời gian. Các yếu tố bên ngoài như những thay đổi trong môi trường kinh tế hoặc trong hành vi của người tiêu dùng có thể thay đổi các yếu tố cơ bản làm cơ sở cho một yếu tố dự báo. Các yếu tố khác bao gồm các sản phẩm, mặt hàng và dịch vụ mới có thể được tạo ra; những thay đổi trong môi trường tài chính hoặc kinh tế; hoặc những thay đổi trong việc phân phối dữ liệu.

Ví dụ: hãy xem xét một công cụ dự đoán được đào tạo khi một màu nhất định của sản phẩm được ưa chuộng. Nhiều tháng sau, các màu mới có thể xuất hiện hoặc trở nên phổ biến hơn và sự phân bố các giá trị thay đổi. Hoặc một sự thay đổi xảy ra trong môi trường kinh doanh thay đổi các mô hình mua hàng lâu đời (chẳng hạn như từ các sản phẩm có tỷ suất lợi nhuận cao sang các sản phẩm có tỷ suất lợi nhuận thấp). Tất cả những điều đã được xem xét, người dự đoán có thể cần được đào tạo lại hoặc một người dự đoán mới có thể cần được tạo ra để đảm bảo các dự đoán có độ chính xác cao tiếp tục được thực hiện.

Giám sát bộ dự báo tự động

Theo dõi công cụ dự đoán được thiết kế để tự động phân tích hiệu suất của công cụ dự đoán của bạn khi dữ liệu chuỗi thời gian sự thật cơ bản mới có sẵn và được sử dụng để tạo dự báo mới. Việc giám sát này cung cấp cho bạn thông tin liên tục về hiệu suất của mô hình và giúp bạn tiết kiệm thời gian để bạn không phải tự thiết lập quy trình.

Nếu tính năng giám sát dự báo được bật trong Dự báo, mỗi khi bạn nhập dữ liệu mới và tạo dự báo mới, thống kê hiệu suất sẽ tự động được cập nhật. Cho đến nay, những thống kê hiệu suất này chỉ có sẵn khi người dự đoán được đào tạo ban đầu; giờ đây, những số liệu thống kê này được tạo ra trên cơ sở liên tục bằng cách sử dụng dữ liệu sự thật cơ bản mới và có thể được theo dõi tích cực để đánh giá hiệu suất của công cụ dự đoán.

Điều này cho phép bạn sử dụng thống kê hiệu suất của bộ dự đoán để quyết định thời điểm đào tạo hoặc đào tạo lại một bộ dự đoán mới. Ví dụ: khi chỉ số wQL trung bình lệch khỏi các giá trị cơ sở ban đầu, bạn có thể xác định xem có nên đào tạo lại một công cụ dự đoán mới hay không. Nếu bạn quyết định đào tạo lại một công cụ dự đoán hoặc tạo một công cụ mới, bạn có thể bắt đầu tạo các điểm dữ liệu dự báo mới bằng cách sử dụng công cụ dự đoán chính xác hơn.

Các biểu đồ sau đây cung cấp hai ví dụ về giám sát dự báo. Trong biểu đồ đầu tiên, chỉ số wQL trung bình đang giảm so với đường cơ sở (giá trị ban đầu khi người dự đoán được đào tạo), cho thấy rằng độ chính xác của dự báo đang tăng lên theo thời gian. Biểu đồ cho thấy wQL trung bình giảm từ 0.3 xuống 0.15 trong vài ngày, có nghĩa là độ chính xác của dự báo đang tăng lên. Trong trường hợp này, không cần phải đào tạo lại công cụ dự đoán vì nó tạo ra các dự báo chính xác hơn so với khi nó được đào tạo lần đầu.

Trong hình tiếp theo, điều ngược lại là đúng: wQL trung bình ngày càng tăng, cho thấy độ chính xác đang giảm dần theo thời gian. Trong trường hợp này, bạn nên xem xét đào tạo lại hoặc xây dựng lại công cụ dự đoán với dữ liệu mới.

Trong Dự báo, bạn có lựa chọn đào tạo lại công cụ dự đoán hiện tại hoặc xây dựng lại từ đầu. Đào tạo lại được thực hiện bằng một cú nhấp chuột và kết hợp nhiều dữ liệu cập nhật hơn cũng như bất kỳ bản cập nhật và cải tiến nào trong thuật toán Dự báo. Xây dựng lại công cụ dự đoán cho phép bạn cung cấp các đầu vào mới (chẳng hạn như tần suất dự báo, đường chân trời hoặc thứ nguyên mới) để tạo một công cụ dự đoán mới.

Bật theo dõi trình dự đoán

Bạn có thể bật theo dõi trình dự đoán khi tạo một dự báo mới hoặc bật tính năng này cho các dự báo hiện có. Các bước trong phần này trình bày cách thực hiện các bước này bằng bảng điều khiển Dự báo. Ngoài ra còn có một Jupyter máy tính xách tay đi qua một chuỗi các bước để cho phép giám sát bộ dự đoán bằng cách sử dụng API và tạo kết quả theo dõi bộ dự đoán.

Ví dụ này sử dụng bộ dữ liệu mẫu được phân chia theo thời gian có sẵn từ việc giám sát bộ dự báo máy tính xách tay. Trong ví dụ của chúng tôi, chúng tôi bắt đầu với tập dữ liệu 100,000 hàng về các xe đón taxi của Thành phố New York có chứa dấu thời gian, ID vị trí và giá trị mục tiêu (số lượng xe đón được yêu cầu trong dấu thời gian tại ID vị trí).

Hoàn thành các bước sau:

1. Trên bảng điều khiển Dự báo, chọn Xem các nhóm tập dữ liệu trong khung điều hướng.
2. Chọn Tạo nhóm tập dữ liệu và cung cấp thông tin chi tiết về nhóm tập dữ liệu của bạn.
   Sau khi bạn tạo nhóm tập dữ liệu, bạn sẽ được nhắc tạo tập dữ liệu chuỗi thời gian mục tiêu. Bạn sử dụng tập dữ liệu này để đào tạo người dự đoán và tạo dự báo.
3. trên Tạo tập dữ liệu chuỗi thời gian mục tiêu , cung cấp lược đồ, tần suất và vị trí dữ liệu của bạn.
4. Chọn Bắt đầu để nhập tập dữ liệu mục tiêu của bạn.
   Tiếp theo, bạn xây dựng dự đoán của mình và đào tạo nó bằng cách sử dụng tập dữ liệu ban đầu của bạn.
5. Trong ngăn dẫn hướng, chọn Người dự đoán.
6. Chọn Đào tạo công cụ dự đoán mới.
   
7. Trong tạp chí Cài đặt dự đoán , hãy nhập tên cho công cụ dự đoán của bạn, thời gian bạn muốn dự báo trong tương lai, tần suất ra sao và số lượng tử bạn muốn dự báo.
   
8. Trong Chỉ số tối ưu hóa, bạn có thể chọn một số liệu tối ưu hóa để tối ưu hóa AutoPredictor để điều chỉnh một mô hình cho một số liệu chính xác cụ thể mà bạn chọn. Chúng tôi để điều này làm mặc định cho hướng dẫn của chúng tôi.
9. Để nhận báo cáo khả năng giải thích của dự đoán, hãy chọn Bật khả năng giải thích dự đoán.
10. Để bật tính năng giám sát dự báo, hãy chọn Bật theo dõi trình dự đoán.
11. Trong cấu hình dữ liệu đầu vào, bạn có thể thêm thông tin thời tiết địa phương và các ngày lễ quốc gia để có dự báo nhu cầu chính xác hơn.
12. Chọn Bắt đầu để bắt đầu đào tạo người dự đoán của bạn.
    
    Dự báo hiện đào tạo người dự đoán với tập dữ liệu ban đầu này. Với tính năng giám sát dự đoán được bật, mỗi khi dữ liệu mới được cung cấp trong nhóm tập dữ liệu này, Dự báo có thể tính toán các chỉ số cập nhật về độ chính xác của dự đoán.
13. Sau khi người dự đoán đã được đào tạo, hãy chọn nó để đánh giá các chỉ số độ chính xác ban đầu.
    
    Sản phẩm Metrics tab hiển thị các chỉ số chất lượng của trình dự đoán ban đầu. Bởi vì bạn chưa tạo bất kỳ dự báo nào từ công cụ dự đoán của mình hoặc nhập bất kỳ dữ liệu sự thật cơ bản mới nào, nên không có gì để hiển thị trên Giám sát tab.
    Bước tiếp theo là tạo dự báo bằng cách sử dụng công cụ dự đoán mới.
14. Chọn Dự báo trong khung điều hướng.
15. Chọn Tạo dự báo để tạo dự báo mới dựa trên dữ liệu chuỗi thời gian bạn vừa nhập và cài đặt dự đoán.
16. Cung cấp tên dự báo, tên công cụ dự đoán và bất kỳ chỉ số định lượng bổ sung nào mà bạn muốn tính toán.

Sau khi tạo dự báo, bạn có thể xem và xuất các chi tiết cũng như kết quả của dự báo trên Chi tiết dự báo .

Giám sát dự đoán: Đánh giá độ chính xác theo thời gian

Theo thời gian, dữ liệu sự thật cơ bản mới được tạo ra bởi các quy trình kinh doanh của bạn, chẳng hạn như số liệu bán hàng cập nhật, cấp độ nhân viên hoặc sản lượng sản xuất. Để tạo dự báo mới dựa trên dữ liệu mới đó, bạn có thể nhập dữ liệu của mình vào tập dữ liệu mà bạn đã tạo.

1. Trên bảng điều khiển Amazon Forecast, trên Nhóm tập dữ liệu trang, chọn nhóm tập dữ liệu của bạn.
   
2. Chọn tập dữ liệu của bạn.
   
3. Trong tạp chí Nhập tập dữ liệu phần, chọn Tạo nhập tập dữ liệu.
   
4. Cung cấp chi tiết bổ sung về dữ liệu cập nhật của bạn, bao gồm cả vị trí của nó.
   
5. Chọn Bắt đầu.

Với việc theo dõi công cụ dự đoán, Dự báo so sánh dữ liệu mới này với dữ liệu dự báo đã tạo trước đó và tính toán các chỉ số về độ chính xác cho công cụ dự đoán. Các chỉ số chất lượng của công cụ dự đoán cập nhật được tính toán liên tục khi dữ liệu mới được thêm vào tập dữ liệu.

Bạn có thể làm theo các bước sau để nhập dữ liệu bổ sung, đại diện cho các giao dịch bổ sung đã xảy ra theo thời gian.

Đánh giá kết quả giám sát bộ dự báo

Để xem kết quả giám sát dự báo, bạn phải thêm dữ liệu chân thực mới sau khi tạo dự báo ban đầu. Dự báo so sánh dữ liệu sự thật mặt đất mới này với dự báo trước đó và tạo ra các giá trị độ chính xác của mô hình được cập nhật để theo dõi.

1. trên Nhóm tập dữ liệu , chọn các nhóm tập dữ liệu có liên quan và chọn Chuỗi thời gian mục tiêu để cập nhật tập dữ liệu cơ bản mới.
   
2. Chọn Tạo Nhập tập dữ liệu và thêm dữ liệu sự thật cơ bản mới của bạn.
   
   Sau khi bạn cung cấp dữ liệu sự thật cơ bản bổ sung, bạn có thể mở công cụ dự đoán của mình và xem thống kê giám sát công cụ dự đoán ban đầu.
3. Chọn công cụ dự đoán của bạn và điều hướng đến Giám sát tab.
   

Bạn có thể thực hiện theo các bước sau để chạy các dự báo bổ sung bằng cách sử dụng công cụ dự đoán này và thêm các lần lặp tiếp theo của dữ liệu sự thật cơ bản. Tiến trình thống kê độ chính xác của mô hình cho công cụ dự đoán của bạn có sẵn trên Giám sát tab.

Ví dụ này hiển thị thống kê độ chính xác của mô hình cho một dự đoán đã được đánh giá với bốn lần cập nhật dữ liệu bổ sung. Người dự đoán có MAPE cơ bản ban đầu là 0.55 khi nó được đào tạo ban đầu. Khi dữ liệu bổ sung được tải, MAPE giảm xuống .42 với tập dữ liệu bổ sung đầu tiên, cho biết một công cụ dự đoán chính xác hơn và dao động trong một phạm vi hẹp từ .42 đến .48 với các tập dữ liệu tiếp theo.

Bạn có thể chuyển đổi biểu đồ để xem các chỉ số bổ sung. Trong các ví dụ sau, MASE và wQL trung bình cho thấy các biến động tương tự so với đường cơ sở theo thời gian.

Sản phẩm Lịch sử giám sát ở cuối trang cung cấp đầy đủ chi tiết về tất cả các chỉ số về độ chính xác của công cụ dự đoán được theo dõi theo thời gian.

Thiết lập giám sát dự đoán trên một công cụ dự đoán hiện có

Bạn có thể dễ dàng kích hoạt theo dõi các yếu tố dự đoán hiện có. Để làm như vậy, hãy hoàn thành các bước sau:

1. Trong ngăn dẫn hướng, bên dưới tập dữ liệu của bạn, hãy chọn Người dự đoán.
2. Từ đây, có hai cách để kích hoạt giám sát:
   1. Chọn Bắt đầu giám sát theo Giám sát cột.
      
   2. Chọn công cụ dự đoán của bạn và trên Giám sát tab, dưới Giám sát chi tiết, chọn Khởi động màn hình.
      
3. Trong hộp thoại bật lên, hãy chọn Bắt đầu để bắt đầu giám sát đối với công cụ dự đoán đã chọn.
   

Sản phẩm Giám sát tab hiện cho thấy rằng việc theo dõi trình dự đoán đã bắt đầu và kết quả được tạo khi bạn nhập thêm dữ liệu.

Dừng và khởi động lại giám sát bộ dự đoán

Bạn cũng có thể dừng và khởi động lại việc giám sát bộ dự đoán. Hãy xem xét những điều sau:

• Phí Tổn - Giám sát dự báo tiêu tốn tài nguyên bổ sung. Với các tập dữ liệu nhỏ điển hình, chi phí là tối thiểu, nhưng có thể tăng lên với các tập dữ liệu lớn (số lượng mục trong tập dữ liệu đầu vào và đường chân trời dự báo).
• Quyền riêng tư - Một bản sao dự báo của bạn được lưu trữ trong quá trình theo dõi. Nếu bạn không muốn lưu trữ bản sao này, bạn có thể ngừng giám sát.
• Tiếng ồn - Nếu bạn đang thử nghiệm với một công cụ dự đoán và không muốn thấy nhiễu trong kết quả giám sát công cụ dự đoán của mình, bạn có thể tạm thời ngừng theo dõi công cụ dự đoán và bắt đầu lại khi công cụ dự đoán của bạn ổn định trở lại.

Để ngừng theo dõi bộ dự báo, hãy hoàn thành các bước sau:

1. Điều hướng đến Giám sát tab cho một công cụ dự đoán nơi tính năng giám sát được kích hoạt.
2. Chọn Dừng giám sát để dừng việc theo dõi người dự đoán.
   
3. Xác minh lựa chọn của bạn khi được nhắc.
   

Một thông báo hiển thị trên trang tiếp theo để cho biết rằng việc giám sát dự đoán đã dừng lại.

Bạn có thể bắt đầu lại theo dõi trình dự đoán bằng cách chọn Tiếp tục theo dõi.

Kết luận

Theo dõi chất lượng của các yếu tố dự đoán của bạn theo thời gian là điều quan trọng để đạt được các mục tiêu lập kế hoạch và dự báo nhu cầu và cuối cùng là mục tiêu kinh doanh của bạn. Tuy nhiên, giám sát bộ dự báo có thể là một bài tập tốn thời gian và các quy trình cần thiết để duy trì và duy trì các quy trình công việc cần thiết có thể dẫn đến chi phí hoạt động cao hơn.

Dự báo giờ đây có thể tự động theo dõi chất lượng của các công cụ dự đoán của bạn, cho phép bạn giảm bớt các nỗ lực hoạt động, đồng thời giúp bạn đưa ra quyết định sáng suốt hơn về việc giữ lại, đào tạo lại hoặc xây dựng lại các công cụ dự đoán của mình. Để bật tính năng theo dõi dự đoán, bạn có thể làm theo các bước được nêu trong bài đăng này hoặc làm theo sổ tay GitHub của chúng tôi.

Xin lưu ý rằng giám sát dự báo chỉ khả dụng với AutoPredictor. Để biết thêm thông tin, hãy tham khảo API dự báo mới của Amazon tạo ra dự báo chính xác hơn tới 40% và cung cấp khả năng giải thích và TạoAutoPredictor.

Để tìm hiểu thêm, hãy tham khảo Giám sát dự báo. Chúng tôi cũng khuyên bạn nên xem lại giá để sử dụng các tính năng mới này. Tất cả các tính năng mới này đều khả dụng ở tất cả các Khu vực mà Dự báo được công bố công khai. Để biết thêm thông tin về tính khả dụng của Khu vực, hãy xem Dịch vụ khu vực của AWS.

---

Về các tác giả

Dan Sinnreich là Giám đốc sản phẩm của Sr. cho Amazon Forecast. Ông tập trung vào việc dân chủ hóa việc học máy mã thấp / không mã và áp dụng nó để cải thiện kết quả kinh doanh. Ngoài giờ làm việc, anh ấy có thể chơi khúc côn cầu, cố gắng cải thiện cú giao bóng tennis của mình và đọc khoa học viễn tưởng.

 Adarsh ​​Singh làm việc với tư cách là Kỹ sư phát triển phần mềm trong nhóm Dự báo của Amazon. Với vai trò hiện tại, anh tập trung vào các vấn đề kỹ thuật và xây dựng các hệ thống phân tán có thể mở rộng cung cấp nhiều giá trị nhất cho người dùng cuối. Trong thời gian rảnh rỗi, anh ấy thích xem anime và chơi trò chơi điện tử.

Shannon Killingsworth là một UX Designer cho Amazon Forecast. Công việc hiện tại của anh ấy là tạo ra trải nghiệm bảng điều khiển mà bất kỳ ai cũng có thể sử dụng được và tích hợp các tính năng mới vào trải nghiệm bảng điều khiển. Trong thời gian rảnh rỗi, anh ấy là một người đam mê thể dục và ô tô.

• Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. TRUY CẬP MIỄN PHÍ.
• CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
• Nguồn: https://aws.amazon.com/blogs/machine-learning/continuly-monitor-predictor-accuracy-with-amazon-forecast/