Cho dù bạn đang phân bổ tài nguyên hiệu quả hơn cho lưu lượng truy cập web, dự báo nhu cầu của bệnh nhân về nhu cầu nhân sự hay dự đoán doanh số bán các sản phẩm của công ty, thì dự báo là một công cụ cần thiết cho nhiều doanh nghiệp. Một trường hợp sử dụng cụ thể, được gọi là dự báo bắt đầu lạnh, xây dựng dự báo cho chuỗi thời gian có ít hoặc không có dữ liệu lịch sử hiện có, chẳng hạn như một sản phẩm mới vừa tham gia thị trường trong ngành bán lẻ. Các phương pháp dự báo theo chuỗi thời gian truyền thống như đường trung bình động tích hợp tự động hồi phục (ARIMA) hoặc làm mịn theo cấp số nhân (ES) chủ yếu dựa vào chuỗi thời gian lịch sử của từng sản phẩm riêng lẻ và do đó không hiệu quả đối với dự báo bắt đầu lạnh.
Trong bài đăng này, chúng tôi trình bày cách xây dựng công cụ dự báo khởi động nguội bằng cách sử dụng AutoGluon AutoML để dự báo chuỗi thời gian, một gói Python mã nguồn mở để tự động học máy (ML) trên dữ liệu hình ảnh, văn bản, bảng và chuỗi thời gian. AutoGluon cung cấp hệ thống máy học tự động (AutoML) từ đầu đến cuối cho người mới bắt đầu đến các nhà phát triển ML có kinh nghiệm, biến nó thành giải pháp hoàn toàn tự động chính xác và dễ sử dụng nhất. Chúng tôi sử dụng miễn phí Phòng thí nghiệm Amazon SageMaker Studio dịch vụ cho cuộc biểu tình này.
Giới thiệu về chuỗi thời gian AutoGluon
AutoGluon là một thư viện mã nguồn mở hàng đầu cho AutoML dành cho dữ liệu văn bản, hình ảnh và bảng, cho phép bạn tạo ra các mô hình có độ chính xác cao từ dữ liệu thô chỉ với một dòng mã. Gần đây, nhóm đã làm việc để mở rộng những khả năng này cho dữ liệu chuỗi thời gian và đã phát triển một mô-đun dự báo tự động được công bố rộng rãi trên GitHub. Các autogluon.forecasting
mô-đun tự động xử lý dữ liệu chuỗi thời gian thô thành định dạng thích hợp, sau đó đào tạo và điều chỉnh các mô hình học sâu hiện đại khác nhau để đưa ra dự báo chính xác. Trong bài đăng này, chúng tôi trình bày cách sử dụng autogluon.forecasting
và áp dụng nó cho các nhiệm vụ dự báo bắt đầu lạnh.
Tổng quan về giải pháp
Vì AutoGluon là một gói Python mã nguồn mở, bạn có thể triển khai giải pháp này tại địa phương trên máy tính xách tay của bạn hoặc trên Amazon SageMaker Studio Lab. Chúng tôi đi qua các bước sau:
- Thiết lập AutoGluon cho Amazon SageMaker Studio Lab.
- Chuẩn bị tập dữ liệu.
- Xác định các thông số huấn luyện bằng AutoGluon.
- Đào tạo một công cụ dự báo bắt đầu nguội để dự báo chuỗi thời gian.
- Hình dung các dự báo dự báo bắt đầu lạnh.
Giả định chính của dự báo bắt đầu nguội là các mục có đặc điểm tương tự phải có quỹ đạo chuỗi thời gian tương tự, điều này cho phép dự báo khởi động nguội đưa ra dự đoán về các mục không có dữ liệu lịch sử, như được minh họa trong hình sau.
Trong phần hướng dẫn của mình, chúng tôi sử dụng tập dữ liệu tổng hợp dựa trên mức tiêu thụ điện, bao gồm chuỗi thời gian hàng giờ cho 370 mục, mỗi mục có item_id
từ 0–369. Trong tập dữ liệu tổng hợp này, mỗi item_id
cũng được liên kết với một tính năng tĩnh (một tính năng không thay đổi theo thời gian). Chúng tôi đào tạo một Sâu mô hình sử dụng AutoGluon để tìm hiểu hành vi điển hình của các mặt hàng tương tự và chuyển hành vi đó để đưa ra dự đoán về các mặt hàng mới (item_id
370–373) không có dữ liệu chuỗi thời gian lịch sử. Mặc dù chúng tôi đang trình diễn phương pháp dự báo bắt đầu lạnh chỉ với một tính năng tĩnh nhưng trên thực tế, việc có các tính năng tĩnh chất lượng cao và nhiều thông tin là chìa khóa để có một dự báo bắt đầu lạnh tốt.
Sơ đồ sau cung cấp tổng quan cấp cao về giải pháp của chúng tôi. Mã nguồn mở có sẵn trên Repo GitHub.
Điều kiện tiên quyết
Đối với hướng dẫn này, bạn nên có các điều kiện tiên quyết sau:
- An Tài khoản Amazon SageMaker Studio Lab
- GitHub truy cập tài khoản
Đăng nhập vào tài khoản Amazon SageMaker Studio Lab của bạn và thiết lập môi trường bằng thiết bị đầu cuối:
Các hướng dẫn này cũng sẽ hoạt động trên máy tính xách tay của bạn nếu bạn không có quyền truy cập vào Amazon SageMaker Studio Lab (chúng tôi khuyên bạn nên cài đặt Anaconda trên máy tính xách tay của mình trước).
Khi bạn đã thiết lập xong môi trường ảo, hãy khởi chạy sổ ghi chép AutoGluon-cold-start-demo.ipynb
và chọn môi trường tùy chỉnh .conda-autogluon:Python
nhân.
Chuẩn bị chuỗi thời gian mục tiêu và tập dữ liệu meta mục
Tải xuống các tập dữ liệu sau vào phiên bản sổ ghi chép của bạn nếu chúng không được bao gồm và lưu chúng trong thư mục data/
. Bạn có thể tìm thấy các bộ dữ liệu này trên Repo GitHub:
- Kiểm tra.csv.gz
- coldStartTargetData.csv
- itemMetaData.csv
Chạy đoạn mã sau để tải tập dữ liệu chuỗi thời gian mục tiêu vào nhân:
Chuỗi thời gian AutoGluon yêu cầu các tính năng tĩnh phải được biểu diễn ở định dạng số. Điều này có thể đạt được thông qua việc áp dụng LabelEncoder()
về tính năng tĩnh của chúng tôi type
, trong đó chúng tôi mã hóa A = 0, B = 1, C = 2, D = 3 (xem đoạn mã sau). Theo mặc định, AutoGluon suy luận tính năng tĩnh là thứ tự hoặc phân loại. Bạn cũng có thể ghi đè cột này bằng cách chuyển đổi cột tính năng tĩnh thành kiểu dữ liệu đối tượng / chuỗi cho các đối tượng phân loại hoặc kiểu dữ liệu số nguyên / float cho các đối tượng thứ tự.
Thiết lập và bắt đầu đào tạo mô hình AutoGluon
Chúng tôi cần xác định save_path = ‘autogluon-coldstart-demo’
làm tên thư mục tạo tác mô hình (xem đoạn mã sau). Chúng tôi cũng đặt eval_metric
as nghĩa là lỗi tỷ lệ phần trăm tuyệt đối, hoặc là ‘MAPE’
nói ngắn gọn, nơi chúng tôi đã xác định prediction_length
trong 24 giờ. Nếu không được chỉ định, AutoGluon theo mặc định sẽ tạo ra các dự báo xác suất và cho điểm thông qua giảm số lượng trọng lượng. Chúng tôi chỉ nhìn vào Mô hình DeepAR trong bản demo của chúng tôi, bởi vì chúng tôi biết thuật toán DeepAR cho phép dự báo bắt đầu nguội theo thiết kế. Chúng tôi đặt một trong các siêu tham số DeepAR một cách tùy ý và chuyển siêu tham số đó cho ForecastingPredictor().fit()
gọi. Điều này cho phép AutoGluon chỉ xem xét mô hình được chỉ định. Để có danh sách đầy đủ các siêu tham số có thể điều chỉnh, hãy tham khảo gói gluonts.model.deepar.
Quá trình đào tạo diễn ra trong 30–45 phút. Bạn có thể lấy tóm tắt mô hình bằng cách gọi hàm sau:
Dự báo về mục bắt đầu lạnh
Bây giờ, chúng tôi đã sẵn sàng tạo dự báo cho mặt hàng bắt đầu lạnh. Chúng tôi khuyên bạn nên có ít nhất năm hàng cho mỗi item_id
. Do đó, đối với item_id
có ít hơn năm quan sát, chúng tôi điền vào NaN. Trong bản demo của chúng tôi, cả hai item_id
370 và 372 không có quan sát, một vấn đề bắt đầu nguội thuần túy, trong khi hai cái còn lại có năm giá trị mục tiêu.
Tải vào tập dữ liệu chuỗi thời gian mục tiêu bắt đầu nguội với mã sau:
Chúng tôi cung cấp chuỗi thời gian mục tiêu bắt đầu nguội vào mô hình AutoGluon của chúng tôi, cùng với tập dữ liệu meta vật phẩm cho bắt đầu lạnh item_id
:
Hình dung các dự đoán
Chúng ta có thể tạo một hàm biểu đồ để tạo ra hình ảnh trực quan về dự báo bắt đầu lạnh, như được hiển thị trong biểu đồ sau.
Làm sạch
Để tối ưu hóa việc sử dụng tài nguyên, hãy cân nhắc dừng thời gian chạy trên Amazon SageMaker Studio Lab sau khi bạn đã khám phá đầy đủ sổ ghi chép.
Kết luận
Trong bài đăng này, chúng tôi đã hướng dẫn cách xây dựng công cụ dự báo bắt đầu nguội bằng AutoGluon AutoML cho dữ liệu chuỗi thời gian trên Amazon SageMaker Studio Lab. Đối với những người bạn đang tự hỏi sự khác biệt giữa Dự báo Amazon và AutoGluon (chuỗi thời gian), Amazon Forecast là một dịch vụ được quản lý và hỗ trợ đầy đủ sử dụng máy học (ML) để tạo ra các dự báo có độ chính xác cao mà không yêu cầu bất kỳ kinh nghiệm ML nào trước đó. Trong khi AutoGluon là một dự án mã nguồn mở được cộng đồng hỗ trợ với những đóng góp nghiên cứu mới nhất. Chúng tôi đã xem qua một ví dụ end-to-end để chứng minh những gì AutoGluon cho chuỗi thời gian có khả năng và cung cấp một tập dữ liệu và trường hợp sử dụng.
AutoGluon cho dữ liệu chuỗi thời gian là một gói Python mã nguồn mở và chúng tôi hy vọng rằng bài đăng này, cùng với ví dụ mã của chúng tôi, cung cấp cho bạn một giải pháp đơn giản để giải quyết các vấn đề dự báo khởi động lạnh đầy thách thức. Bạn có thể truy cập toàn bộ ví dụ trên Repo GitHub. Hãy dùng thử và cho chúng tôi biết suy nghĩ của bạn!
Về các tác giả
Ivan Cui là Nhà khoa học dữ liệu của Dịch vụ Chuyên nghiệp AWS, nơi anh ấy giúp khách hàng xây dựng và triển khai các giải pháp sử dụng máy học trên AWS. Ông đã làm việc với khách hàng trong nhiều ngành khác nhau, bao gồm phần mềm, tài chính, dược phẩm và chăm sóc sức khỏe. Khi rảnh rỗi, anh ấy thích đọc sách, dành thời gian cho gia đình và tối đa hóa danh mục đầu tư chứng khoán của mình.
Jonas Muller là Nhà khoa học ứng dụng cao cấp trong nhóm Nghiên cứu và Giáo dục AI tại AWS, nơi ông phát triển các thuật toán mới để cải thiện việc học sâu và phát triển máy học tự động. Trước khi gia nhập AWS để dân chủ hóa ML, anh đã hoàn thành bằng Tiến sĩ tại Phòng thí nghiệm Khoa học Máy tính và Trí tuệ Nhân tạo MIT. Khi rảnh rỗi, anh ấy thích khám phá núi non và các hoạt động ngoài trời.
Ôn Minh Diệp là Giám đốc Sản phẩm Nghiên cứu tại AWS AI. Anh ấy đam mê giúp các nhà nghiên cứu và khách hàng doanh nghiệp mở rộng quy mô đổi mới của họ một cách nhanh chóng thông qua công nghệ máy học hiện đại và mã nguồn mở. Wenming có kinh nghiệm nghiên cứu và phát triển đa dạng từ Microsoft Research, nhóm kỹ sư SQL và các công ty khởi nghiệp thành công.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/build-a-cold-start-time-series-forecasting-engine-using-autogluon/
- "
- 100
- 9
- Giới thiệu
- Tuyệt đối
- truy cập
- Tài khoản
- chính xác
- đạt được
- ngang qua
- AI
- ai nghiên cứu
- thuật toán
- thuật toán
- Cho phép
- Mặc dù
- đàn bà gan dạ
- Nộp đơn
- phương pháp tiếp cận
- nhân tạo
- trí tuệ nhân tạo
- Tự động
- có sẵn
- Trung bình cộng
- AWS
- xây dựng
- xây dựng
- các doanh nghiệp
- cuộc gọi
- Có thể có được
- khả năng
- CD
- thay đổi
- Kiểm tra
- mã
- Cột
- cộng đồng
- Của công ty
- Khoa học Máy tính
- tiêu thụ
- khách hàng
- dữ liệu
- nhà khoa học dữ liệu
- Nhu cầu
- triển khai
- Thiết kế
- phát triển
- phát triển
- phát triển
- Không
- Đào tạo
- Hiệu quả
- điện
- Kỹ Sư
- vào
- Doanh nghiệp
- Môi trường
- thiết yếu
- ví dụ
- kinh nghiệm
- kinh nghiệm
- thêm
- gia đình
- Đặc tính
- Tính năng
- Hình
- tài chính
- Tên
- tiếp theo
- định dạng
- Miễn phí
- Full
- chức năng
- tương lai
- tạo ra
- đi
- tốt
- Nhóm
- có
- chăm sóc sức khỏe
- giúp
- cao
- lịch sử
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- hình ảnh
- thực hiện
- nâng cao
- bao gồm
- Bao gồm
- hệ thống riêng biệt,
- các ngành công nghiệp
- ngành công nghiệp
- tích hợp
- Sự thông minh
- IT
- Key
- nổi tiếng
- máy tính xách tay
- mới nhất
- phóng
- hàng đầu
- LEARN
- học tập
- Thư viện
- Dòng
- Danh sách
- ít
- tải
- máy
- học máy
- Làm
- giám đốc
- thị trường
- Siêu dữ liệu
- microsoft
- MIT
- ML
- kiểu mẫu
- mô hình
- hầu hết
- di chuyển
- sản phẩm mới
- máy tính xách tay
- mã nguồn mở
- Nền tảng khác
- ngoài trời
- tỷ lệ phần trăm
- Dược phẩm
- danh mục đầu tư
- Dự đoán
- Vấn đề
- vấn đề
- Quy trình
- sản xuất
- Sản phẩm
- Sản phẩm
- chuyên nghiệp
- dự án
- cung cấp
- R & D
- Nguyên
- Reading
- giới thiệu
- nghiên cứu
- tài nguyên
- Thông tin
- bán lẻ
- bán hàng
- Quy mô
- mở rộng quy mô
- Khoa học
- Nhà khoa học
- Loạt Sách
- dịch vụ
- DỊCH VỤ
- định
- ngắn
- tương tự
- Phần mềm
- Giải pháp
- Chi
- Bắt đầu
- Startups
- cổ phần
- phòng thu
- thành công
- Hỗ trợ
- Mục tiêu
- nhiệm vụ
- nhóm
- Công nghệ
- Thiết bị đầu cuối
- Thông qua
- thời gian
- bên nhau
- truyền thống
- giao thông
- Hội thảo
- tàu hỏa
- us
- sử dụng
- ảo
- hình dung
- web
- Điều gì
- CHÚNG TÔI LÀ
- ở trong
- không có
- Công việc
- làm việc
- đang làm việc
- không