Amazon Lookout สำหรับเมตริก เป็นบริการของ AWS ที่ใช้แมชชีนเลิร์นนิง (ML) เพื่อตรวจสอบเมตริกที่สำคัญที่สุดสำหรับธุรกิจโดยอัตโนมัติด้วยความเร็วและความแม่นยำที่มากขึ้น บริการนี้ยังช่วยให้วินิจฉัยสาเหตุของความผิดปกติได้ง่ายขึ้น เช่น รายได้ที่ลดลงโดยไม่คาดคิด อัตราสูงของตะกร้าสินค้าที่ถูกละทิ้ง ธุรกรรมการชำระเงินที่ล้มเหลวพุ่งสูงขึ้น การลงทะเบียนผู้ใช้ใหม่เพิ่มขึ้น และอื่นๆ อีกมากมาย Lookout for Metrics เป็นมากกว่าการตรวจจับสิ่งผิดปกติทั่วไป ช่วยให้นักพัฒนาตั้งค่าการตรวจสอบอัตโนมัติสำหรับตัววัดที่สำคัญเพื่อตรวจจับความผิดปกติและระบุสาเหตุที่แท้จริงได้ภายในไม่กี่คลิกเพื่อตรวจจับความผิดปกติในตัวชี้วัด ทั้งหมดนี้ไม่จำเป็นต้องมีประสบการณ์ ML
อเมซอน อาเธน่า เป็นบริการสืบค้นข้อมูลเชิงโต้ตอบที่ทำให้ง่ายต่อการวิเคราะห์ข้อมูลใน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) โดยใช้ SQL มาตรฐาน เพียงชี้ไปที่ข้อมูลของคุณใน Amazon S3 กำหนดสคีมา และเริ่มการสืบค้นโดยใช้ SQL มาตรฐาน ผลลัพธ์ส่วนใหญ่จะถูกส่งภายในไม่กี่วินาที ด้วย Athena คุณไม่จำเป็นต้องมีงาน ETL ที่ซับซ้อนเพื่อเตรียมข้อมูลของคุณสำหรับการวิเคราะห์ ซึ่งช่วยให้ทุกคนที่มีทักษะ SQL วิเคราะห์ชุดข้อมูลขนาดใหญ่ได้อย่างรวดเร็ว
ด้วยการเปิดตัวในวันนี้ Lookout for Metrics สามารถเชื่อมต่อกับข้อมูลของคุณใน Athena ได้อย่างราบรื่นเพื่อตั้งค่าตัวตรวจจับความผิดปกติที่มีความแม่นยำสูง ซึ่งช่วยให้คุณปรับใช้การตรวจจับความผิดปกติที่ล้ำสมัยได้อย่างรวดเร็วผ่าน ML ด้วย Lookout for Metrics กับชุดข้อมูลใดๆ ที่มีอยู่ใน Athena
การเชื่อมต่อ Athena ขยายขีดความสามารถของ Lookout for Metrics โดยนำคุณประโยชน์ดังต่อไปนี้:
- ขยายขีดความสามารถของ Lookout for Metrics ในแง่ของ รองรับประเภทไฟล์. ก่อนหน้านี้ Lookout for Metrics รองรับไฟล์ที่จัดรูปแบบ CSV และ JSONLines แต่ด้วย Athena สิ่งนี้ได้ขยายไปยัง Parquet, Avro, Plaintext และอื่นๆ หากคุณแยกวิเคราะห์ผ่าน Athena ได้ ตอนนี้คุณก็นำเข้าและใช้ประโยชน์จาก Lookout for Metrics ได้แล้ว
- นอกจากนี้ยังแนะนำการสนับสนุนข้อมูลด้วย แบบสอบถามส่วนกลาง. ก่อนการเปิดตัวนี้ หากข้อมูลของคุณถูกจัดเก็บไว้ในฐานข้อมูลหรือแหล่งที่มาหลายแห่ง คุณจะต้องกำหนดกระบวนการ ETL ที่ซับซ้อนโดยสมบูรณ์ รวมทั้งจัดการคุณลักษณะด้านประสิทธิภาพก่อนที่คุณจะสามารถส่งออกข้อมูลทั้งหมดลงในไฟล์ CSV หรือ JSONLines และป้อนข้อมูลได้ เข้าสู่ Lookout for Metrics for Anomaly Detection ด้วยการสืบค้นแบบรวมศูนย์จาก Athena คุณสามารถกำหนดแหล่งที่มาที่แตกต่างกันรวมถึงวิธีการรวมและเมื่อข้อมูลได้รับการประมวลผลและสามารถสอบถามโดย Athena ก็พร้อมสำหรับ Lookout for Metrics ทันที สิ่งนี้ทำให้คุณสามารถมอบภาระสำหรับการแปลงข้อมูล การรวมกลุ่ม และตำแหน่งการส่งมอบให้กับ Athena และเพียงแค่มุ่งเน้นไปที่ความผิดปกติที่ระบุจาก Lookout for Metrics
ภาพรวมโซลูชัน
ในโพสต์นี้ เราสาธิตวิธีผสานรวมตาราง Athena และตรวจหาความผิดปกติในเมตริกรายได้ เรายังติดตามว่าอัตราคำสั่งซื้อและเมตริกสินค้าคงคลังได้รับผลกระทบอย่างไร ข้อมูลต้นฉบับอยู่ใน Amazon S3 และเราได้กำหนดค่าตาราง Athena เพื่อให้สามารถสืบค้นข้อมูลในนั้นได้ หนึ่ง AWS แลมบ์ดา มีหน้าที่ในการอัปเดตพาร์ติชั่นภายใน Athena ซึ่ง Lookout for Metrics ใช้เพื่อตรวจจับความผิดปกติ โซลูชันนี้ช่วยให้คุณใช้แหล่งข้อมูล Athena สำหรับ Lookout for Metrics
คุณสามารถใช้ที่ให้มา การก่อตัวของ AWS Cloud stack เพื่อตั้งค่าทรัพยากรสำหรับคำแนะนำ ประกอบด้วยแหล่งข้อมูลเพื่อสร้างข้อมูลสดอย่างต่อเนื่องและทำให้สามารถสืบค้นได้ใน Athena
- เปิดสแต็กจากลิงค์ต่อไปนี้และเลือก ถัดไป ในหน้าสร้างสแต็ค
- เกี่ยวกับ ระบุรายละเอียดกอง หน้า เพิ่มค่าจากด้านบน ตั้งชื่อ Stack (เช่น
L4MAthenaDetector
) และเลือก ถัดไป. - เกี่ยวกับ กำหนดค่าตัวเลือกสแต็ก หน้าทิ้งทุกอย่างไว้เหมือนเดิมแล้วเลือก ถัดไป.
ตั้งค่าตัวตรวจจับใหม่โดยมี Athena เป็นแหล่งข้อมูล
ขั้นตอนที่ 1
เข้าสู่ระบบเพื่อ คอนโซล AWS เพื่อเริ่มต้นสร้าง Anomaly Detector ด้วย Lookout for Metrics ขั้นตอนแรกคือการเลือกปุ่ม "สร้างตัวตรวจจับ"
ขั้นตอนที่ 2
กรอกข้อมูลในฟิลด์ตัวตรวจสอบที่จำเป็น เช่น ชื่อ เลือกช่วงการตรวจจับสำหรับตัวตรวจจับ ซึ่งกำหนดโดยความถี่ที่คุณต้องการให้ Lookout for Metrics สืบค้นข้อมูลของคุณและตรวจสอบความผิดปกติ ข้อมูลการเข้ารหัสไม่จำเป็น ข้อมูลการเข้ารหัสช่วยให้ Lookout for Metrics เข้ารหัสข้อมูลของคุณโดยใช้ your บริการการจัดการคีย์ AWS (KMS) กุญแจ. ในตัวอย่างนี้ เราจะข้ามการเพิ่มคีย์การเข้ารหัส Lookout for Metrics จะใช้การเข้ารหัสเริ่มต้นเพื่อเข้ารหัสข้อมูลของคุณหากไม่มีข้อมูลการเข้ารหัส และดำเนินการต่อโดยเลือกปุ่ม "สร้าง"
ขั้นตอนที่ 3
เมื่อสร้างตัวตรวจจับความผิดปกติ คุณจะเห็นการยืนยันในแบนเนอร์ที่ด้านบน คุณสามารถดำเนินการต่อโดยเลือก "เพิ่มชุดข้อมูล" ผ่านแบนเนอร์หรือปุ่มภายใต้ "เพิ่มชุดข้อมูล"
กรอกข้อมูลพื้นฐานสำหรับแหล่งข้อมูล เขตเวลาเป็นฟิลด์ที่ไม่บังคับ เลือกดรอปดาวน์เพื่อเลือกแหล่งข้อมูล
Lookout for Metrics รองรับแหล่งข้อมูลที่หลากหลายเพื่อความสะดวกของลูกค้า สำหรับตัวอย่างนี้ เราจะเลือก Athena
เมื่อเลือก Athena เป็นแหล่งข้อมูลแล้ว คุณจะมีตัวเลือกในการเลือกโหมด Backtest หรือโหมดต่อเนื่องสำหรับตัวตรวจจับ สำหรับตัวอย่างนี้ เราจะดำเนินการโดยใช้โหมดต่อเนื่อง ดำเนินการเพิ่มรายละเอียดสำหรับตาราง Athena ที่คุณต้องการตรวจสอบความผิดปกติ
คุณสามารถอนุญาตให้บริการสร้างบทบาทบริการหรือคุณสามารถใช้ที่มีอยู่ AWS Identity และการจัดการการเข้าถึง (IAM) บทบาทในบัญชีของคุณสำหรับการสืบค้นแบบรวมศูนย์ โปรดทราบว่า Lookout for Metrics ไม่สนับสนุนการสร้างบทบาท IAM โดยอัตโนมัติสำหรับการสืบค้นแบบรวมศูนย์ ดังนั้น คุณจะต้องสร้างบทบาท IAM ใหม่ เพื่อให้ Athena ดำเนินการต่อไปนี้กับข้อมูลของคุณ
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
บทบาท IAM ที่สร้างโดยบริการมีลักษณะดังนี้:
ขั้นตอนที่ 4
ตอนนี้ เราจะกำหนดตัวชี้วัดที่เกี่ยวข้องสำหรับตัวตรวจจับ Lookout for Metrics จะเติมข้อมูลในเมนูแบบเลื่อนลงที่มีคอลัมน์ต่างๆ อยู่ในตาราง Athena ที่ให้มา คุณสามารถเลือกเมตริกและมิติข้อมูลได้สูงสุด XNUMX รายการ Lookout for Metrics กำหนดให้ข้อมูลในตารางของคุณถูกแบ่งพาร์ติชันเป็นการประทับเวลาสำหรับคอลัมน์การประทับเวลา คุณยังมีตัวเลือกในการประมาณค่าใช้จ่ายสำหรับตัวตรวจจับนี้ด้วยการเพิ่มจำนวนค่าในมิติข้อมูลของคุณ
เมื่อคุณเลือกเมตริกทั้งหมดแล้ว ให้ดำเนินการต่อโดยเลือกปุ่ม "ถัดไป" ตรวจสอบรายละเอียดและเลือกปุ่ม "บันทึกชุดข้อมูล" เพื่อบันทึกชุดข้อมูล
ขั้นตอนที่ 5
เมื่อสร้างชุดข้อมูลแล้ว เราจะเปิดใช้งานตัวตรวจจับโดยเลือกปุ่ม "เปิดใช้งาน" ที่ด้านบนหรือปุ่ม "เปิดใช้งานตัวตรวจจับ" ใต้ส่วน "วิธีการทำงาน"
คุณจะได้รับแจ้งให้ยืนยันว่าคุณต้องการเปิดใช้งานตัวตรวจจับเพื่อการตรวจจับอย่างต่อเนื่องหรือไม่ เลือก “เปิดใช้งาน” เพื่อยืนยัน
คุณจะเห็นข้อความยืนยันที่แจ้งว่าตัวตรวจจับเปิดใช้งานอยู่
ขั้นตอนที่ 6
เมื่อ Anomaly Detector ทำงานอยู่ คุณสามารถใช้แท็บ "บันทึกตัวตรวจจับ" ในหน้ารายละเอียดของตัวตรวจจับเพื่อตรวจสอบการดำเนินการตรวจจับที่ดำเนินการโดยบริการ
ขั้นตอนที่ 7
คุณสามารถเลือกปุ่ม “ดูความผิดปกติ” จากหน้ารายละเอียดของตัวตรวจจับเพื่อตรวจสอบความผิดปกติที่อาจตรวจพบโดยบริการด้วยตนเอง
ขั้นตอนที่ 8
ในหน้าการตรวจสอบความผิดปกติ คุณสามารถปรับเกณฑ์คะแนนความรุนแรงบนแป้นหมุนตามเกณฑ์เพื่อกรองความผิดปกติที่อยู่เหนือคะแนนที่เลือกได้
ทบทวนและวิเคราะห์ผลลัพธ์
เมื่อตรวจพบความผิดปกติ Lookout for Metrics จะช่วยให้คุณมีสมาธิกับสิ่งที่สำคัญที่สุดด้วยการกำหนดคะแนนความรุนแรงเพื่อช่วยในการจัดลำดับความสำคัญ เพื่อช่วยคุณค้นหาสาเหตุที่แท้จริง ระบบจะจัดกลุ่มความผิดปกติที่อาจเกี่ยวข้องกับเหตุการณ์เดียวกันอย่างชาญฉลาด แล้วสรุปแหล่งที่มาของผลกระทบต่างๆ
Lookout for Metrics ยังให้คุณให้ข้อเสนอแนะแบบเรียลไทม์เกี่ยวกับความเกี่ยวข้องของความผิดปกติที่ตรวจพบ ซึ่งช่วยให้เกิดกลไกที่มีประสิทธิภาพในมนุษย์ ข้อมูลนี้จะถูกส่งกลับไปยังแบบจำลองการตรวจจับสิ่งผิดปกติเพื่อปรับปรุงความแม่นยำในเวลาที่เกือบเรียลไทม์
ทำความสะอาด
เพื่อหลีกเลี่ยงค่าใช้จ่ายเพิ่มเติมสำหรับการตั้งค่าทรัพยากรสำหรับการสาธิต คุณสามารถลบตัวตรวจจับที่สร้างขึ้นภายใต้ Lookout for Metrics และสแตกที่สร้างผ่าน CloudFormation
สรุป
คุณสามารถเชื่อมต่อกับข้อมูลของคุณใน Athena to Lookout for Metrics ได้อย่างราบรื่น เพื่อตั้งค่าตัวตรวจจับความผิดปกติที่มีความแม่นยำสูงทั่วทั้งเมตริกและมิติข้อมูลภายในตาราง Athena ของคุณ ในการเริ่มต้นใช้งานความสามารถนี้ โปรดดูที่ การใช้ Amazon Athena กับ Lookout for Metrics. คุณสามารถใช้ความสามารถนี้ในทุกภูมิภาคที่ Lookout for Metrics เผยแพร่ต่อสาธารณะ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความพร้อมให้บริการในภูมิภาค โปรดดูที่ บริการระดับภูมิภาคของ AWS.
เกี่ยวกับผู้เขียน
เทเวศร์ ราโท เป็นวิศวกรพัฒนาซอฟต์แวร์ในทีม Lookout for Metrics ความสนใจของเขาอยู่ที่การสร้างระบบแบบกระจายที่ปรับขนาดได้ ในเวลาว่าง เขาชอบเล่นซิมเรซซิ่ง
คริสคิง เป็นสถาปนิกโซลูชันอาวุโสด้าน AI ประยุกต์กับ AWS เขามีความสนใจเป็นพิเศษในการเปิดตัวบริการ AI และช่วยให้เติบโตและสร้าง Amazon Personalize และ Amazon Forecast ก่อนที่จะมุ่งเน้นไปที่ Amazon Lookout for Metrics ในเวลาว่าง เขาชอบทำอาหาร อ่านหนังสือ ชกมวย และสร้างแบบจำลองเพื่อทำนายผลลัพธ์ของกีฬาต่อสู้
- "
- 100
- เกี่ยวกับเรา
- เข้า
- ลงชื่อเข้าใช้
- ถูกต้อง
- ข้าม
- การกระทำ
- การปฏิบัติ
- คล่องแคล่ว
- เพิ่มเติม
- AI
- บริการ AI
- ทั้งหมด
- อเมซอน
- การวิเคราะห์
- ทุกคน
- อัตโนมัติ
- อิสระ
- ความพร้อมใช้งาน
- ใช้ได้
- AWS
- แบนเนอร์
- ก่อน
- ประโยชน์ที่ได้รับ
- เกิน
- ชายแดน
- มวย
- สร้าง
- การก่อสร้าง
- ธุรกิจ
- ความสามารถในการ
- ก่อให้เกิด
- โหลด
- คอลัมน์
- การต่อสู้
- ซับซ้อน
- สภาพ
- เชื่อมต่อ
- การเชื่อมต่อ
- มี
- ความสะดวกสบาย
- ได้
- สร้าง
- ที่สร้างขึ้น
- การสร้าง
- การสร้าง
- ลูกค้า
- ข้อมูล
- ฐานข้อมูล
- ส่ง
- การจัดส่ง
- สาธิต
- ปรับใช้
- รายละเอียด
- ตรวจพบ
- การตรวจพบ
- นักพัฒนา
- พัฒนาการ
- ต่าง
- กระจาย
- ไม่
- ผล
- การเปิดใช้งาน
- การเข้ารหัสลับ
- วิศวกร
- ประมาณการ
- ทุกอย่าง
- ตัวอย่าง
- ที่มีอยู่
- ขยาย
- ประสบการณ์
- เฟด
- ข้อเสนอแนะ
- สาขา
- ชื่อจริง
- โฟกัส
- โดยมุ่งเน้น
- ดังต่อไปนี้
- สร้าง
- มากขึ้น
- กลุ่ม
- ขึ้น
- ช่วย
- จะช่วยให้
- จุดสูง
- อย่างสูง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- แยกแยะ
- เอกลักษณ์
- ส่งผลกระทบ
- สำคัญ
- ปรับปรุง
- ข้อมูล
- อินพุต
- รวบรวม
- การโต้ตอบ
- อยากเรียนรู้
- ผลประโยชน์
- สินค้าคงคลัง
- IT
- งาน
- ร่วม
- คีย์
- พระมหากษัตริย์
- เปิดตัว
- การเปิดตัว
- การเรียนรู้
- ทิ้ง
- เลฟเวอเรจ
- LINK
- ที่ตั้ง
- เครื่อง
- เรียนรู้เครื่อง
- ทำให้
- จัดการ
- การจัดการ
- จำเป็น
- ด้วยมือ
- เรื่อง
- เรื่อง
- ตัวชี้วัด
- ML
- แบบ
- โมเดล
- การตรวจสอบ
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- มากที่สุด
- หลาย
- จำนวน
- ตัวเลือกเสริม (Option)
- ใบสั่ง
- การชำระเงิน
- การปฏิบัติ
- ปรับแต่ง
- จุด
- เป็นไปได้
- ที่มีประสิทธิภาพ
- คาดการณ์
- เตรียมการ
- นำเสนอ
- กระบวนการ
- ให้
- อย่างรวดเร็ว
- การแข่งขัน
- ราคา
- การอ่าน
- เรียลไทม์
- ของแคว้น
- ตรงประเด็น
- จำเป็นต้องใช้
- ต้อง
- ทรัพยากร
- แหล่งข้อมูล
- รับผิดชอบ
- ผลสอบ
- รายได้
- ทบทวน
- ที่ปรับขนาดได้
- ได้อย่างลงตัว
- วินาที
- เลือก
- บริการ
- บริการ
- ชุด
- ช้อปปิ้ง
- YES
- ง่าย
- ทักษะ
- ซอฟต์แวร์
- การพัฒนาซอฟต์แวร์
- ของแข็ง
- ทางออก
- โซลูชัน
- พิเศษ
- ความเร็ว
- กีฬา
- กอง
- มาตรฐาน
- เริ่มต้น
- ข้อความที่เริ่ม
- รัฐของศิลปะ
- คำแถลง
- การเก็บรักษา
- สนับสนุน
- ที่สนับสนุน
- รองรับ
- ระบบ
- ทีม
- ที่มา
- ดังนั้น
- ธรณีประตู
- ตลอด
- เวลา
- วันนี้
- ด้านบน
- ลู่
- การทำธุกรรม
- การแปลง
- ภายใต้
- การปรับปรุง
- ใช้
- รุ่น
- อะไร
- ภายใน
- จะ