เร่งเวลาในการทำความเข้าใจด้วยคอลเลกชันอนุกรมเวลา MongoDB และ Amazon SageMaker Canvas | อเมซอนเว็บเซอร์วิส

นี่คือโพสต์รับเชิญที่เขียนร่วมกับ Babu Srinivasan จาก MongoDB

เนื่องจากอุตสาหกรรมต่างๆ พัฒนาไปในภูมิทัศน์ทางธุรกิจที่เปลี่ยนแปลงไปอย่างรวดเร็วในปัจจุบัน การไม่สามารถคาดการณ์แบบเรียลไทม์ได้ทำให้เกิดความท้าทายที่สำคัญสำหรับอุตสาหกรรมที่ต้องอาศัยข้อมูลเชิงลึกที่แม่นยำและทันท่วงที การไม่มีการคาดการณ์แบบเรียลไทม์ในอุตสาหกรรมต่างๆ ทำให้เกิดความท้าทายทางธุรกิจที่เร่งด่วน ซึ่งอาจส่งผลกระทบอย่างมีนัยสำคัญต่อการตัดสินใจและประสิทธิภาพการดำเนินงาน หากไม่มีข้อมูลเชิงลึกแบบเรียลไทม์ ธุรกิจต่างๆ จะต้องดิ้นรนเพื่อปรับตัวให้เข้ากับสภาวะตลาดที่มีพลวัต คาดการณ์ความต้องการของลูกค้าได้อย่างแม่นยำ เพิ่มประสิทธิภาพระดับสินค้าคงคลัง และทำการตัดสินใจเชิงกลยุทธ์เชิงรุก อุตสาหกรรมต่างๆ เช่น การเงิน การค้าปลีก การจัดการห่วงโซ่อุปทาน และลอจิสติกส์ เผชิญกับความเสี่ยงที่จะพลาดโอกาส ต้นทุนที่เพิ่มขึ้น การจัดสรรทรัพยากรที่ไม่มีประสิทธิภาพ และไม่สามารถตอบสนองความคาดหวังของลูกค้าได้ ด้วยการสำรวจความท้าทายเหล่านี้ องค์กรต่างๆ สามารถตระหนักถึงความสำคัญของการคาดการณ์แบบเรียลไทม์ และสำรวจโซลูชันที่เป็นนวัตกรรมเพื่อเอาชนะอุปสรรคเหล่านี้ ช่วยให้พวกเขารักษาความสามารถในการแข่งขัน ตัดสินใจอย่างมีข้อมูล และเจริญเติบโตในสภาพแวดล้อมทางธุรกิจที่เปลี่ยนแปลงอย่างรวดเร็วในปัจจุบัน

โดยการควบคุมศักยภาพในการเปลี่ยนแปลงของชาว MongoDB อนุกรมเวลา ความสามารถของข้อมูลและบูรณาการเข้ากับพลังของ ผืนผ้าใบ Amazon SageMakerองค์กรต่างๆ จะสามารถเอาชนะความท้าทายเหล่านี้และปลดล็อกความคล่องตัวในระดับใหม่ได้ การจัดการข้อมูลอนุกรมเวลาที่แข็งแกร่งของ MongoDB ช่วยให้สามารถจัดเก็บและเรียกข้อมูลอนุกรมเวลาจำนวนมากแบบเรียลไทม์ ในขณะที่อัลกอริธึมการเรียนรู้ของเครื่องขั้นสูงและความสามารถในการคาดการณ์มอบโมเดลการคาดการณ์ที่แม่นยำและไดนามิกด้วย SageMaker Canvas

ในโพสต์นี้ เราจะสำรวจศักยภาพของการใช้ข้อมูลอนุกรมเวลาของ MongoDB และ SageMaker Canvas เป็นโซลูชันที่ครอบคลุม

แผนที่ MongoDB

แผนที่ MongoDB คือแพลตฟอร์มข้อมูลสำหรับนักพัฒนาที่มีการจัดการเต็มรูปแบบ ซึ่งช่วยให้การปรับใช้และการปรับขนาดฐานข้อมูล MongoDB ในระบบคลาวด์ง่ายขึ้น เป็นที่จัดเก็บข้อมูลแบบเอกสารซึ่งมีฐานข้อมูลที่มีการจัดการเต็มรูปแบบ พร้อมด้วยข้อความแบบเต็มและเวกเตอร์ในตัว ค้นหา, การสนับสนุน Geospatial แบบสอบถาม ชาร์ต และการสนับสนุนพื้นเมืองเพื่อประสิทธิภาพ อนุกรมเวลา ความสามารถในการจัดเก็บและการสืบค้น MongoDB Atlas นำเสนอการแบ่งส่วนอัตโนมัติ ความสามารถในการปรับขนาดแนวนอน และการจัดทำดัชนีที่ยืดหยุ่นสำหรับการนำเข้าข้อมูลปริมาณมาก ความสามารถด้านอนุกรมเวลาแบบเนทิฟถือเป็นคุณสมบัติที่โดดเด่น ทำให้เหมาะสำหรับการจัดการข้อมูลอนุกรมเวลาปริมาณมาก เช่น ข้อมูลแอปพลิเคชันที่สำคัญทางธุรกิจ การวัดและส่งข้อมูลทางไกล บันทึกของเซิร์ฟเวอร์ และอื่นๆ ด้วยการสืบค้น การรวมกลุ่ม และการวิเคราะห์ที่มีประสิทธิภาพ ธุรกิจสามารถดึงข้อมูลเชิงลึกอันมีค่าจากข้อมูลที่ประทับเวลาได้ ด้วยการใช้ความสามารถเหล่านี้ ธุรกิจต่างๆ จะสามารถจัดเก็บ จัดการ และวิเคราะห์ข้อมูลอนุกรมเวลาได้อย่างมีประสิทธิภาพ ช่วยให้ตัดสินใจโดยอาศัยข้อมูลและเพิ่มความได้เปรียบทางการแข่งขัน

ผืนผ้าใบ Amazon SageMaker

ผืนผ้าใบ Amazon SageMaker เป็นบริการ Visual Machine Learning (ML) ที่ช่วยให้นักวิเคราะห์ธุรกิจและนักวิทยาศาสตร์ข้อมูลสามารถสร้างและปรับใช้โมเดล ML แบบกำหนดเองได้ โดยไม่ต้องมีประสบการณ์ ML หรือต้องเขียนโค้ดแม้แต่บรรทัดเดียว SageMaker Canvas รองรับกรณีการใช้งานหลายกรณี ซึ่งรวมถึง การพยากรณ์อนุกรมเวลาซึ่งช่วยให้ธุรกิจสามารถคาดการณ์ความต้องการ การขาย ความต้องการทรัพยากร และข้อมูลอนุกรมเวลาอื่นๆ ในอนาคตได้อย่างแม่นยำ บริการนี้ใช้เทคนิคการเรียนรู้เชิงลึกเพื่อจัดการกับรูปแบบข้อมูลที่ซับซ้อน และช่วยให้ธุรกิจสามารถสร้างการคาดการณ์ที่แม่นยำแม้จะมีข้อมูลในอดีตเพียงเล็กน้อยก็ตาม ด้วยการใช้ความสามารถของ Amazon SageMaker Canvas ธุรกิจต่างๆ จึงสามารถตัดสินใจอย่างมีข้อมูล เพิ่มประสิทธิภาพระดับสินค้าคงคลัง ปรับปรุงประสิทธิภาพการดำเนินงาน และเพิ่มความพึงพอใจของลูกค้า

SageMaker Canvas UI ช่วยให้คุณผสานรวมแหล่งข้อมูลจากระบบคลาวด์หรือภายในองค์กรได้อย่างราบรื่น ผสานชุดข้อมูลได้อย่างง่ายดาย ฝึกฝนโมเดลที่แม่นยำ และคาดการณ์กับข้อมูลที่เกิดขึ้นใหม่ ทั้งหมดนี้โดยไม่ต้องเขียนโค้ด หากคุณต้องการเวิร์กโฟลว์อัตโนมัติหรือการรวมโมเดล ML โดยตรงเข้ากับแอป ฟังก์ชันการคาดการณ์ Canvas จะสามารถเข้าถึงได้ผ่าน APIs.

ภาพรวมโซลูชัน

ผู้ใช้คงข้อมูลอนุกรมเวลาของธุรกรรมไว้ใน MongoDB Atlas ข้อมูลจะถูกแยกไปยังบัคเก็ต Amazon S3 ผ่าน Atlas Data Federation Amazon SageMaker Canvas เข้าถึงข้อมูลเพื่อสร้างโมเดลและสร้างการคาดการณ์ ผลลัพธ์ของการคาดการณ์จะถูกจัดเก็บไว้ในบัคเก็ต S3 เมื่อใช้บริการ MongoDB Data Federation การคาดการณ์จะถูกนำเสนอเป็นภาพผ่านแผนภูมิ MongoDB

แผนภาพต่อไปนี้สรุปสถาปัตยกรรมโซลูชันที่นำเสนอ

เบื้องต้น

สำหรับโซลูชันนี้ เราใช้ MongoDB Atlas เพื่อจัดเก็บข้อมูลอนุกรมเวลา, Amazon SageMaker Canvas เพื่อฝึกโมเดลและสร้างการคาดการณ์ และ Amazon S3 เพื่อจัดเก็บข้อมูลที่แยกจาก MongoDB Atlas

ตรวจสอบให้แน่ใจว่าคุณมีข้อกำหนดเบื้องต้นดังต่อไปนี้:

กำหนดค่าคลัสเตอร์ MongoDB Atlas

สร้างคลัสเตอร์ MongoDB Atlas ฟรีโดยทำตามคำแนะนำใน สร้างคลัสเตอร์. ตั้งค่า การเข้าถึงฐานข้อมูล และ การเข้าถึงเครือข่าย.

เติมคอลเลกชันอนุกรมเวลาใน MongoDB Atlas

เพื่อวัตถุประสงค์ของการสาธิตนี้ คุณสามารถใช้ชุดข้อมูลตัวอย่างจาก Kaggle และอัปโหลดสิ่งเดียวกันไปยัง MongoDB Atlas ด้วย MongoDB เครื่องมือ โดยเฉพาะอย่างยิ่ง เข็มทิศ MongoDB.

รหัสต่อไปนี้แสดงชุดข้อมูลตัวอย่างสำหรับคอลเลกชันอนุกรมเวลา:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

ภาพหน้าจอต่อไปนี้แสดงข้อมูลอนุกรมเวลาตัวอย่างใน MongoDB Atlas:

สร้างถัง S3

สร้างบัญชีตัวแทน บัคเก็ต S3 ใน AWS ซึ่งจำเป็นต้องจัดเก็บและวิเคราะห์ข้อมูลอนุกรมเวลา โปรดทราบว่าเรามีสองโฟลเดอร์ sales-train-data ใช้เพื่อจัดเก็บข้อมูลที่แยกจาก MongoDB Atlas ในขณะที่ sales-forecast-output มีการคาดการณ์จาก  Canvas

สร้างสหพันธ์ข้อมูล

ตั้งค่า สหพันธ์ข้อมูล ใน Atlas และลงทะเบียนบัคเก็ต S3 ที่สร้างขึ้นก่อนหน้านี้โดยเป็นส่วนหนึ่งของแหล่งข้อมูล โปรดสังเกตว่าฐานข้อมูล/คอลเลกชันที่แตกต่างกันสามรายการถูกสร้างขึ้นในการรวมข้อมูลสำหรับคลัสเตอร์ Atlas, บัคเก็ต S3 สำหรับข้อมูล MongoDB Atlas และบัคเก็ต S3 เพื่อจัดเก็บผลลัพธ์ Canvas

ภาพหน้าจอต่อไปนี้แสดงการตั้งค่าการรวมศูนย์ข้อมูล

ตั้งค่าบริการแอปพลิเคชัน Atlas

สร้าง บริการแอปพลิเคชัน MongoDB เพื่อปรับใช้ฟังก์ชันเพื่อถ่ายโอนข้อมูลจากคลัสเตอร์ MongoDB Atlas ไปยังบัคเก็ต S3 โดยใช้ $ออก การรวมตัว

ตรวจสอบการกำหนดค่าแหล่งข้อมูล

บริการแอปพลิเคชันจะสร้างชื่อบริการ Altas ใหม่ซึ่งจำเป็นต้องเรียกว่าบริการข้อมูลในฟังก์ชันต่อไปนี้ ตรวจสอบว่าชื่อบริการ Atlas ถูกสร้างขึ้น และบันทึกไว้เพื่อใช้อ้างอิงในอนาคต

สร้างฟังก์ชัน

ตั้งค่าบริการ Atlas Application เพื่อสร้าง ทริกเกอร์และฟังก์ชั่น. ทริกเกอร์จำเป็นต้องได้รับการกำหนดเวลาเพื่อเขียนข้อมูลไปยัง S3 ตามความถี่ของช่วงเวลาตามความต้องการทางธุรกิจสำหรับการฝึกโมเดล

สคริปต์ต่อไปนี้แสดงฟังก์ชันที่จะเขียนลงในบัคเก็ต S3:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

ฟังก์ชั่นตัวอย่าง

ฟังก์ชันสามารถรันผ่านแท็บ Run และสามารถแก้ไขข้อผิดพลาดได้โดยใช้คุณลักษณะบันทึกใน Application Services นอกจากนี้ ข้อผิดพลาดสามารถแก้ไขได้โดยใช้เมนูบันทึกในบานหน้าต่างด้านซ้าย

ภาพหน้าจอต่อไปนี้แสดงการทำงานของฟังก์ชันพร้อมกับเอาต์พุต:

สร้างชุดข้อมูลใน Amazon SageMaker Canvas

ขั้นตอนต่อไปนี้ถือว่าคุณได้สร้างโดเมน SageMaker และโปรไฟล์ผู้ใช้แล้ว หากคุณยังไม่ได้ดำเนินการ ตรวจสอบให้แน่ใจว่าคุณได้กำหนดค่า โดเมน SageMaker และโปรไฟล์ผู้ใช้. ในโปรไฟล์ผู้ใช้ ให้อัปเดตบัคเก็ต S3 ของคุณให้เป็นแบบกำหนดเองและระบุชื่อบัคเก็ตของคุณ

เมื่อเสร็จแล้ว ให้ไปที่ SageMaker Canvas เลือกโดเมนและโปรไฟล์ของคุณ แล้วเลือก Canvas

สร้างชุดข้อมูลที่จัดหาแหล่งข้อมูล

เลือกแหล่งที่มาของชุดข้อมูลเป็น S3

เลือกตำแหน่งข้อมูลจากบัคเก็ต S3 และเลือกสร้างชุดข้อมูล

ตรวจสอบสคีมาแล้วคลิกสร้างชุดข้อมูล

เมื่อนำเข้าสำเร็จ ชุดข้อมูลจะปรากฏในรายการดังที่แสดงในภาพหน้าจอต่อไปนี้

ฝึกโมเดล

ต่อไปเราจะใช้ Canvas เพื่อตั้งค่าเพื่อฝึกโมเดล เลือกชุดข้อมูลแล้วคลิกสร้าง

สร้างชื่อแบบจำลอง เลือก การวิเคราะห์เชิงคาดการณ์ และเลือก สร้าง

เลือกคอลัมน์เป้าหมาย

ถัดไป คลิกกำหนดค่าโมเดลอนุกรมเวลา และเลือก item_id เป็นคอลัมน์รหัสรายการ

เลือก tm สำหรับคอลัมน์การประทับเวลา

หากต้องการระบุระยะเวลาที่คุณต้องการคาดการณ์ ให้เลือก 8 สัปดาห์

ตอนนี้คุณพร้อมที่จะดูตัวอย่างโมเดลหรือเริ่มกระบวนการสร้างแล้ว

หลังจากที่คุณดูตัวอย่างโมเดลหรือเปิดใช้งานบิลด์แล้ว โมเดลของคุณจะถูกสร้างขึ้นและอาจใช้เวลาสูงสุดสี่ชั่วโมง คุณสามารถออกจากหน้าจอและกลับมาดูสถานะการฝึกโมเดลได้

เมื่อโมเดลพร้อม ให้เลือกรุ่นและคลิกเวอร์ชันล่าสุด

ตรวจสอบเมทริกโมเดลและผลกระทบของคอลัมน์ และหากคุณพอใจกับประสิทธิภาพของโมเดล คลิกคาดการณ์

จากนั้นเลือกการทำนายแบบกลุ่ม และคลิกเลือกชุดข้อมูล

เลือกชุดข้อมูลของคุณ แล้วคลิกเลือกชุดข้อมูล

จากนั้นคลิกเริ่มการคาดการณ์

สังเกตงานที่สร้างขึ้นหรือสังเกตความคืบหน้าของงานใน SageMaker ภายใต้การอนุมาน งานการแปลงเป็นชุด

เมื่องานเสร็จสมบูรณ์ ให้เลือกงาน และจดบันทึกเส้นทาง S3 ที่ Canvas เก็บการคาดการณ์

แสดงภาพข้อมูลการคาดการณ์ใน Atlas Charts

หากต้องการแสดงภาพข้อมูลการคาดการณ์ ให้สร้าง แผนภูมิ MongoDB Atlas อิงตามข้อมูลแบบรวมศูนย์ (ข้อมูลการคาดการณ์ของ Amazon) สำหรับการคาดการณ์ P10, P50 และ P90 ดังแสดงในแผนภูมิต่อไปนี้

ทำความสะอาด

• ลบคลัสเตอร์ MongoDB Atlas
• ลบการกำหนดค่า Atlas Data Federation
• ลบแอปบริการแอปพลิเคชัน Atlas
• ลบบัคเก็ต S3
• ลบชุดข้อมูลและโมเดล Amazon SageMaker Canvas
• ลบแผนภูมิ Atlas
• ออกจากระบบ Amazon SageMaker Canvas

สรุป

ในโพสต์นี้ เราได้ดึงข้อมูลอนุกรมเวลาจากการรวบรวมอนุกรมเวลาของ MongoDB นี่คือคอลเลกชันพิเศษที่ปรับให้เหมาะสมสำหรับการจัดเก็บและการสืบค้นข้อมูลอนุกรมเวลา เราใช้ Amazon SageMaker Canvas เพื่อฝึกโมเดลและสร้างการคาดการณ์ และเราแสดงภาพการคาดการณ์ใน Atlas Charts

สำหรับข้อมูลเพิ่มเติม โปรดดูแหล่งข้อมูลต่อไปนี้

---

เกี่ยวกับผู้แต่ง

อิกอร์ อเล็กเซเยฟ เป็น Senior Partner Solution Architect ที่ AWS ในโดเมน Data and Analytics ในบทบาทของเขา Igor กำลังทำงานร่วมกับพันธมิตรเชิงกลยุทธ์ที่ช่วยสร้างสถาปัตยกรรมที่ซับซ้อนและปรับแต่ง AWS ก่อนเข้าร่วม AWS ในฐานะ Data/Solution Architect เขาได้ดำเนินการหลายโครงการในโดเมน Big Data รวมถึง Data Lake หลายแห่งในระบบนิเวศ Hadoop ในฐานะวิศวกรข้อมูล เขามีส่วนร่วมในการใช้ AI/ML เพื่อตรวจจับการฉ้อโกงและระบบอัตโนมัติในสำนักงาน

บาบู ศรีนิวาสัน เป็น Senior Partner Solutions Architect ที่ MongoDB ในบทบาทปัจจุบัน เขากำลังทำงานร่วมกับ AWS เพื่อสร้างการผสานรวมทางเทคนิคและสถาปัตยกรรมอ้างอิงสำหรับโซลูชัน AWS และ MongoDB เขามีประสบการณ์มากกว่าสองทศวรรษในด้านเทคโนโลยีฐานข้อมูลและคลาวด์ เขามีความกระตือรือร้นในการให้บริการโซลูชันทางเทคนิคแก่ลูกค้าที่ทำงานร่วมกับ Global System Integrators (GSI) หลายรายในหลากหลายภูมิภาค

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/