Tăng tốc thời gian tìm hiểu thông tin chi tiết với các bộ sưu tập chuỗi thời gian MongoDB và Amazon SageMaker Canvas | Dịch vụ web của Amazon

Đây là bài viết của khách được đồng sáng tác với Babu Srinivasan từ MongoDB.

Khi các ngành phát triển trong bối cảnh kinh doanh phát triển nhanh chóng ngày nay, việc không thể dự báo theo thời gian thực đặt ra những thách thức đáng kể cho các ngành phụ thuộc nhiều vào những hiểu biết chính xác và kịp thời. Việc thiếu dự báo theo thời gian thực trong các ngành khác nhau đặt ra những thách thức kinh doanh cấp bách có thể ảnh hưởng đáng kể đến việc ra quyết định và hiệu quả hoạt động. Nếu không có thông tin chi tiết theo thời gian thực, các doanh nghiệp sẽ gặp khó khăn trong việc thích ứng với điều kiện thị trường năng động, dự đoán chính xác nhu cầu của khách hàng, tối ưu hóa mức tồn kho và đưa ra các quyết định chiến lược chủ động. Các ngành như Tài chính, Bán lẻ, Quản lý chuỗi cung ứng và Hậu cần phải đối mặt với nguy cơ bỏ lỡ cơ hội, chi phí tăng, phân bổ nguồn lực không hiệu quả và không có khả năng đáp ứng mong đợi của khách hàng. Bằng cách khám phá những thách thức này, các tổ chức có thể nhận ra tầm quan trọng của việc dự báo theo thời gian thực và khám phá các giải pháp đổi mới để vượt qua những rào cản này, cho phép họ duy trì tính cạnh tranh, đưa ra quyết định sáng suốt và phát triển trong môi trường kinh doanh có nhịp độ nhanh ngày nay.

Bằng cách khai thác tiềm năng biến đổi của bản địa MongoDB chuỗi thời gian khả năng dữ liệu và tích hợp nó với sức mạnh của Canvas SageMaker của Amazon, các tổ chức có thể vượt qua những thách thức này và đạt được mức độ linh hoạt mới. Khả năng quản lý dữ liệu chuỗi thời gian mạnh mẽ của MongoDB cho phép lưu trữ và truy xuất khối lượng lớn dữ liệu chuỗi thời gian trong thời gian thực, trong khi các thuật toán học máy tiên tiến và khả năng dự đoán cung cấp các mô hình dự báo động và chính xác với SageMaker Canvas.

Trong bài đăng này, chúng ta sẽ khám phá tiềm năng của việc sử dụng dữ liệu chuỗi thời gian của MongoDB và SageMaker Canvas như một giải pháp toàn diện.

Bản đồ MongoDB

Bản đồ MongoDB là một nền tảng dữ liệu dành cho nhà phát triển được quản lý hoàn toàn giúp đơn giản hóa việc triển khai và mở rộng cơ sở dữ liệu MongoDB trên đám mây. Đây là bộ lưu trữ dựa trên tài liệu cung cấp cơ sở dữ liệu được quản lý hoàn toàn, với toàn văn bản và vectơ tích hợp sẵn Tìm kiếm, hỗ trợ cho Geospatial truy vấn, Bảng xếp hạng và hỗ trợ riêng cho hiệu quả chuỗi thời gian khả năng lưu trữ và truy vấn. MongoDB Atlas cung cấp khả năng phân chia tự động, khả năng mở rộng theo chiều ngang và lập chỉ mục linh hoạt để nhập dữ liệu khối lượng lớn. Trong số tất cả, các khả năng của chuỗi thời gian gốc là một tính năng nổi bật, khiến nó trở nên lý tưởng để quản lý khối lượng lớn dữ liệu chuỗi thời gian, chẳng hạn như dữ liệu ứng dụng quan trọng trong kinh doanh, đo từ xa, nhật ký máy chủ, v.v. Với khả năng truy vấn, tổng hợp và phân tích hiệu quả, doanh nghiệp có thể rút ra những hiểu biết có giá trị từ dữ liệu được đánh dấu thời gian. Bằng cách sử dụng các khả năng này, doanh nghiệp có thể lưu trữ, quản lý và phân tích dữ liệu chuỗi thời gian một cách hiệu quả, cho phép đưa ra các quyết định dựa trên dữ liệu và đạt được lợi thế cạnh tranh.

Canvas SageMaker của Amazon

Canvas SageMaker của Amazon là dịch vụ học máy trực quan (ML) cho phép các nhà phân tích kinh doanh và nhà khoa học dữ liệu xây dựng và triển khai các mô hình ML tùy chỉnh mà không yêu cầu bất kỳ trải nghiệm ML nào hoặc phải viết một dòng mã. SageMaker Canvas hỗ trợ một số trường hợp sử dụng, bao gồm dự báo chuỗi thời gian, cho phép doanh nghiệp dự báo chính xác nhu cầu, doanh số, yêu cầu về nguồn lực và dữ liệu chuỗi thời gian khác một cách chính xác. Dịch vụ này sử dụng các kỹ thuật học sâu để xử lý các mẫu dữ liệu phức tạp và cho phép doanh nghiệp tạo dự báo chính xác ngay cả với dữ liệu lịch sử tối thiểu. Bằng cách sử dụng các khả năng của Amazon SageMaker Canvas, doanh nghiệp có thể đưa ra quyết định sáng suốt, tối ưu hóa mức tồn kho, cải thiện hiệu quả hoạt động và nâng cao sự hài lòng của khách hàng.

Giao diện người dùng SageMaker Canvas cho phép bạn tích hợp liền mạch các nguồn dữ liệu từ đám mây hoặc tại chỗ, hợp nhất các tập dữ liệu một cách dễ dàng, đào tạo các mô hình chính xác và đưa ra dự đoán với dữ liệu mới nổi—tất cả đều không cần mã hóa. Nếu bạn cần quy trình làm việc tự động hoặc tích hợp mô hình ML trực tiếp vào ứng dụng, bạn có thể truy cập chức năng dự báo Canvas thông qua API.

Tổng quan về giải pháp

Người dùng lưu giữ dữ liệu chuỗi thời gian giao dịch của họ trong MongoDB Atlas. Thông qua Liên kết dữ liệu Atlas, dữ liệu được trích xuất vào bộ chứa Amazon S3. Amazon SageMaker Canvas truy cập dữ liệu để xây dựng mô hình và tạo dự báo. Kết quả dự báo được lưu trữ trong bộ chứa S3. Bằng cách sử dụng các dịch vụ Liên kết dữ liệu MongoDB, các dự báo được trình bày trực quan thông qua Biểu đồ MongoDB.

Sơ đồ sau đây phác thảo kiến ​​trúc giải pháp được đề xuất.

Điều kiện tiên quyết

Đối với giải pháp này, chúng tôi sử dụng MongoDB Atlas để lưu trữ dữ liệu chuỗi thời gian, Amazon SageMaker Canvas để đào tạo mô hình và đưa ra dự báo cũng như Amazon S3 để lưu trữ dữ liệu được trích xuất từ ​​MongoDB Atlas.

Đảm bảo bạn có các điều kiện tiên quyết sau:

Định cấu hình cụm MongoDB Atlas

Tạo cụm MongoDB Atlas miễn phí bằng cách làm theo hướng dẫn trong Tạo một cụm. Thiết lập Truy cập cơ sở dữ liệu và Truy cập mạng.

Điền vào bộ sưu tập chuỗi thời gian trong MongoDB Atlas

Với mục đích trình diễn này, bạn có thể sử dụng tập dữ liệu mẫu từ Kaggle và tải nội dung tương tự lên MongoDB Atlas bằng MongoDB công cụ , Tốt MongoDB La bàn.

Đoạn mã sau hiển thị tập dữ liệu mẫu cho bộ sưu tập chuỗi thời gian:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Ảnh chụp màn hình sau đây hiển thị dữ liệu chuỗi thời gian mẫu trong MongoDB Atlas:

Tạo nhóm S3

Tạo vùng lưu trữ S3 trong AWS, nơi dữ liệu chuỗi thời gian cần được lưu trữ và phân tích. Lưu ý chúng tôi có hai thư mục. sales-train-data được sử dụng để lưu trữ dữ liệu được trích xuất từ ​​MongoDB Atlas, trong khi sales-forecast-output chứa các dự đoán từ  Canvas.

Tạo liên kết dữ liệu

Thiết lập Liên kết dữ liệu trong Atlas và đăng ký nhóm S3 được tạo trước đó như một phần của nguồn dữ liệu. Lưu ý rằng ba cơ sở dữ liệu/bộ sưu tập khác nhau được tạo trong liên kết dữ liệu cho cụm Atlas, nhóm S3 cho dữ liệu MongoDB Atlas và nhóm S3 để lưu trữ kết quả Canvas.

Ảnh chụp màn hình sau đây hiển thị quá trình thiết lập liên kết dữ liệu.

Thiết lập dịch vụ ứng dụng Atlas

tạo Dịch vụ ứng dụng MongoDB để triển khai các chức năng chuyển dữ liệu từ cụm MongoDB Atlas sang nhóm S3 bằng cách sử dụng $ ra sự tập hợp.

Xác minh cấu hình nguồn dữ liệu

Các dịch vụ Ứng dụng tạo Tên dịch vụ Altas mới cần được gọi là dịch vụ dữ liệu trong chức năng sau. Xác minh rằng Tên dịch vụ Atlas đã được tạo và ghi lại để tham khảo trong tương lai.

Tạo chức năng

Thiết lập các dịch vụ Ứng dụng Atlas để tạo kích hoạt và chức năng. Trình kích hoạt cần được lên lịch để ghi dữ liệu vào S3 với tần suất định kỳ dựa trên nhu cầu đào tạo mô hình của doanh nghiệp.

Tập lệnh sau đây hiển thị chức năng ghi vào nhóm S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Hàm mẫu

Chức năng này có thể được chạy thông qua tab Chạy và có thể sửa lỗi bằng cách sử dụng tính năng nhật ký trong Dịch vụ ứng dụng. Ngoài ra, các lỗi có thể được sửa bằng menu Nhật ký ở khung bên trái.

Ảnh chụp màn hình sau đây cho thấy việc thực thi hàm cùng với kết quả đầu ra:

Tạo tập dữ liệu trong Amazon SageMaker Canvas

Các bước sau đây giả định rằng bạn đã tạo miền SageMaker và hồ sơ người dùng. Nếu bạn chưa làm như vậy, hãy đảm bảo rằng bạn định cấu hình SageMaker miền và hồ sơ người dùng. Trong hồ sơ người dùng, hãy cập nhật vùng lưu trữ S3 thành tùy chỉnh và cung cấp tên vùng lưu trữ của bạn.

Khi hoàn tất, hãy điều hướng đến SageMaker Canvas, chọn miền và hồ sơ của bạn rồi chọn Canvas.

Tạo một tập dữ liệu cung cấp nguồn dữ liệu.

Chọn nguồn dữ liệu là S3

Chọn vị trí dữ liệu từ nhóm S3 và chọn Tạo tập dữ liệu.

Xem lại lược đồ và nhấp vào Tạo tập dữ liệu

Sau khi nhập thành công, tập dữ liệu sẽ xuất hiện trong danh sách như trong ảnh chụp màn hình sau.

Đào tạo mô hình

Tiếp theo, chúng ta sẽ sử dụng Canvas để thiết lập huấn luyện mô hình. Chọn tập dữ liệu và nhấp vào Tạo.

Tạo tên mô hình, chọn Phân tích dự đoán và chọn Tạo.

Chọn cột mục tiêu

Tiếp theo, nhấp vào Định cấu hình mô hình chuỗi thời gian và chọn item_id làm cột ID mặt hàng.

Chọn tm cho cột dấu thời gian

Để chỉ định khoảng thời gian bạn muốn dự báo, hãy chọn 8 tuần.

Bây giờ bạn đã sẵn sàng xem trước mô hình hoặc khởi chạy quá trình xây dựng.

Sau khi bạn xem trước mô hình hoặc khởi chạy bản dựng, mô hình của bạn sẽ được tạo và có thể mất tới bốn giờ. Bạn có thể rời khỏi màn hình và quay lại để xem trạng thái đào tạo mô hình.

Khi mô hình đã sẵn sàng, hãy chọn mô hình và nhấp vào phiên bản mới nhất

Xem lại số liệu mô hình và tác động của cột và nếu bạn hài lòng với hiệu suất của mô hình, hãy nhấp vào Dự đoán.

Tiếp theo, chọn Dự đoán hàng loạt và nhấp vào Chọn tập dữ liệu.

Chọn tập dữ liệu của bạn và nhấp vào Chọn tập dữ liệu.

Tiếp theo, nhấp vào Bắt đầu dự đoán.

Quan sát công việc được tạo hoặc quan sát tiến trình công việc trong SageMaker trong phần Suy luận, chuyển đổi hàng loạt công việc.

Khi công việc hoàn thành, hãy chọn công việc và ghi lại đường dẫn S3 nơi Canvas lưu trữ dự đoán.

Trực quan hóa dữ liệu dự báo trong Biểu đồ Atlas

Để trực quan hóa dữ liệu dự báo, hãy tạo Biểu đồ Atlas MongoDB dựa trên dữ liệu Liên kết (amazon-dự báo-dữ liệu) cho các dự báo P10, P50 và P90 như được hiển thị trong biểu đồ sau.

Làm sạch

• Xóa cụm MongoDB Atlas
• Xóa cấu hình liên kết dữ liệu Atlas
• Xóa ứng dụng dịch vụ ứng dụng Atlas
• Xóa nhóm S3
• Xóa tập dữ liệu và mô hình Amazon SageMaker Canvas
• Xóa biểu đồ Atlas
• Đăng xuất khỏi Amazon SageMaker Canvas

Kết luận

Trong bài đăng này, chúng tôi đã trích xuất dữ liệu chuỗi thời gian từ bộ sưu tập chuỗi thời gian MongoDB. Đây là bộ sưu tập đặc biệt được tối ưu hóa cho tốc độ lưu trữ và truy vấn dữ liệu chuỗi thời gian. Chúng tôi đã sử dụng Amazon SageMaker Canvas để đào tạo mô hình và tạo dự đoán, đồng thời chúng tôi trực quan hóa các dự đoán trong Biểu đồ Atlas.

Để biết thêm thông tin, hãy tham khảo các tài nguyên sau.

---

Giới thiệu về tác giả

Igor Alekseev là Kiến trúc sư giải pháp đối tác cấp cao tại AWS trong lĩnh vực Dữ liệu và Phân tích. Trong vai trò của mình, Igor đang làm việc với các đối tác chiến lược giúp họ xây dựng các kiến ​​trúc phức tạp, được tối ưu hóa cho AWS. Trước khi gia nhập AWS, với tư cách là Kiến trúc sư dữ liệu/giải pháp, anh ấy đã triển khai nhiều dự án trong miền Dữ liệu lớn, bao gồm một số kho dữ liệu trong hệ sinh thái Hadoop. Là một Kỹ sư dữ liệu, anh ấy đã tham gia vào việc áp dụng AI/ML để phát hiện gian lận và tự động hóa văn phòng.

Babu Srinivasan là Kiến trúc sư giải pháp đối tác cấp cao tại MongoDB. Trong vai trò hiện tại của mình, anh ấy đang làm việc với AWS để xây dựng các tích hợp kỹ thuật và kiến ​​trúc tham chiếu cho các giải pháp AWS và MongoDB. Ông có hơn hai thập kỷ kinh nghiệm về Cơ sở dữ liệu và công nghệ Đám mây. Anh đam mê cung cấp các giải pháp kỹ thuật cho khách hàng làm việc với nhiều Nhà tích hợp hệ thống toàn cầu (GSIs) trên nhiều khu vực địa lý.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/