โพสต์นี้ร่วมเขียนโดย Jyoti Sharma และ Sharmo Sarkar จาก Vericast
สำหรับปัญหาแมชชีนเลิร์นนิง (ML) นักวิทยาศาสตร์ข้อมูลจะเริ่มต้นด้วยการทำงานกับข้อมูล ซึ่งรวมถึงการรวบรวม สำรวจ และทำความเข้าใจธุรกิจและแง่มุมทางเทคนิคของข้อมูล พร้อมด้วยการประเมินการปรับเปลี่ยนใดๆ ที่อาจจำเป็นสำหรับกระบวนการสร้างแบบจำลอง แง่มุมหนึ่งของการเตรียมข้อมูลนี้คือวิศวกรรมคุณลักษณะ
วิศวกรรมคุณลักษณะ หมายถึงกระบวนการที่ระบุ เลือก และจัดการตัวแปรที่เกี่ยวข้องเพื่อแปลงข้อมูลดิบให้เป็นรูปแบบที่มีประโยชน์และใช้งานได้มากขึ้นสำหรับใช้กับอัลกอริทึม ML ที่ใช้ในการฝึกโมเดลและทำการอนุมานกับมัน เป้าหมายของกระบวนการนี้คือการเพิ่มประสิทธิภาพของอัลกอริทึมและแบบจำลองการทำนายผลลัพธ์ กระบวนการทางวิศวกรรมคุณลักษณะประกอบด้วยหลายขั้นตอน รวมถึงการสร้างคุณลักษณะ การแปลงข้อมูล การดึงคุณลักษณะ และการเลือกคุณลักษณะ
การสร้างแพลตฟอร์มสำหรับวิศวกรรมฟีเจอร์ทั่วไปเป็นงานทั่วไปสำหรับลูกค้าที่ต้องการสร้างโมเดล ML จำนวนมากด้วยชุดข้อมูลที่แตกต่างกัน แพลตฟอร์มประเภทนี้รวมถึงการสร้างกระบวนการที่ขับเคลื่อนด้วยโปรแกรมเพื่อสร้างข้อมูลเชิงวิศวกรรมที่สรุปแล้วพร้อมสำหรับการฝึกอบรมแบบจำลองโดยมีการแทรกแซงจากมนุษย์เพียงเล็กน้อย อย่างไรก็ตาม การทำให้วิศวกรรมคุณสมบัติทั่วไปเป็นสิ่งที่ท้าทาย ปัญหาทางธุรกิจแต่ละอย่างแตกต่างกัน ชุดข้อมูลแต่ละชุดแตกต่างกัน ปริมาณข้อมูลแตกต่างกันอย่างมากจากไคลเอนต์หนึ่งไปยังอีกไคลเอนต์ และคุณภาพข้อมูลและบ่อยครั้งที่จำนวนสมาชิกของคอลัมน์บางคอลัมน์ (ในกรณีของข้อมูลที่มีโครงสร้าง) อาจมีบทบาทสำคัญในความซับซ้อนของวิศวกรรมคุณลักษณะ กระบวนการ. นอกจากนี้ ลักษณะไดนามิกของข้อมูลของลูกค้ายังส่งผลให้เกิดความแตกต่างอย่างมากของเวลาการประมวลผลและทรัพยากรที่จำเป็นสำหรับการทำวิศวกรรมฟีเจอร์ให้สมบูรณ์ที่สุด
ลูกค้า AWS เวริแคสต์ เป็นบริษัทโซลูชันการตลาดที่ทำการตัดสินใจโดยใช้ข้อมูลเพื่อเพิ่ม ROI ทางการตลาดให้กับลูกค้า แพลตฟอร์มแมชชีนเลิร์นนิงบนระบบคลาวด์ภายในของ Vericast ซึ่งสร้างขึ้นจากกระบวนการ CRISP-ML(Q) ใช้บริการต่างๆ ของ AWS รวมถึง อเมซอน SageMaker, การประมวลผล Amazon SageMaker, AWS แลมบ์ดาและ ฟังก์ชันขั้นตอนของ AWSเพื่อสร้างโมเดลที่ดีที่สุดเท่าที่จะเป็นไปได้ซึ่งปรับให้เหมาะกับข้อมูลเฉพาะของลูกค้า แพลตฟอร์มนี้มีจุดมุ่งหมายเพื่อบันทึกความสามารถในการทำซ้ำของขั้นตอนที่เข้าสู่การสร้างเวิร์กโฟลว์ ML ต่างๆ และรวมเข้าไว้ในโมดูลเวิร์กโฟลว์มาตรฐานที่ปรับแต่งได้ทั่วไปภายในแพลตฟอร์ม
ในโพสต์นี้ เราจะแชร์วิธีที่ Vericast ปรับวิศวกรรมฟีเจอร์ให้เหมาะสมโดยใช้ SageMaker Processing
ภาพรวมโซลูชัน
แพลตฟอร์มแมชชีนเลิร์นนิงของ Vericast ช่วยในการปรับใช้โมเดลธุรกิจใหม่ตามเวิร์กโฟลว์ที่มีอยู่หรือเปิดใช้งานโมเดลที่มีอยู่สำหรับลูกค้าใหม่ได้เร็วขึ้น ตัวอย่างเช่น แบบจำลองที่ทำนายแนวโน้มการส่งจดหมายโดยตรงจะค่อนข้างแตกต่างจากแบบจำลองที่ทำนายความไวของคูปองส่วนลดของลูกค้าของไคลเอนต์ Vericast พวกเขาแก้ปัญหาทางธุรกิจที่แตกต่างกัน ดังนั้นจึงมีสถานการณ์การใช้งานที่แตกต่างกันในการออกแบบแคมเปญการตลาด แต่จากมุมมองของ ML ทั้งสองสามารถตีความได้ว่าเป็นแบบจำลองการจำแนกประเภทไบนารี ดังนั้นจึงสามารถแบ่งปันขั้นตอนทั่วไปมากมายจากมุมมองเวิร์กโฟลว์ ML รวมถึงการปรับแต่งแบบจำลองและการฝึกอบรม การประเมิน การตีความ การปรับใช้ และการอนุมาน
เนื่องจากแบบจำลองเหล่านี้เป็นปัญหาการจำแนกประเภทไบนารี (ในเงื่อนไข ML) เราจึงแยกลูกค้าของบริษัทออกเป็นสองประเภท (ไบนารี): ลูกค้าที่จะตอบสนองเชิงบวกต่อแคมเปญและลูกค้าที่ไม่ตอบสนอง นอกจากนี้ ตัวอย่างเหล่านี้ถือเป็นการจัดประเภทที่ไม่สมดุล เนื่องจากข้อมูลที่ใช้ในการฝึกโมเดลจะไม่มีลูกค้าจำนวนเท่าๆ กันที่ตอบสนองและไม่พึงพอใจ
การสร้างแบบจำลองเช่นนี้เกิดขึ้นจริงตามรูปแบบทั่วไปที่แสดงในแผนภาพต่อไปนี้
กระบวนการนี้ส่วนใหญ่จะเหมือนกันสำหรับการจำแนกประเภทไบนารีใดๆ ยกเว้นขั้นตอนวิศวกรรมคุณลักษณะ นี่อาจเป็นขั้นตอนที่ซับซ้อนที่สุด แต่บางครั้งก็ถูกมองข้ามในกระบวนการนี้ โมเดล ML ส่วนใหญ่ขึ้นอยู่กับคุณสมบัติที่ใช้ในการสร้าง
แพลตฟอร์มแมชชีนเลิร์นนิงบนระบบคลาวด์ของ Vericast มีเป้าหมายเพื่อทำให้ขั้นตอนวิศวกรรมฟีเจอร์เป็นแบบอัตโนมัติสำหรับเวิร์กโฟลว์ ML ต่างๆ และเพิ่มประสิทธิภาพการทำงานตามเมตริกต้นทุนเทียบกับเวลาโดยใช้ฟีเจอร์ต่อไปนี้:
- ไลบรารีวิศวกรรมคุณลักษณะของแพลตฟอร์ม – ซึ่งประกอบด้วยชุดการแปลงที่พัฒนาตลอดเวลาซึ่งได้รับการทดสอบเพื่อให้ได้คุณสมบัติที่สามารถปรับแต่งได้ทั่วไปคุณภาพสูงตามแนวคิดของลูกค้าเฉพาะ (เช่น ข้อมูลประชากรของลูกค้า รายละเอียดผลิตภัณฑ์ รายละเอียดธุรกรรม และอื่นๆ)
- เครื่องมือเพิ่มประสิทธิภาพทรัพยากรอัจฉริยะ – แพลตฟอร์มนี้ใช้ความสามารถด้านโครงสร้างพื้นฐานตามต้องการของ AWS เพื่อหมุนเวียนประเภททรัพยากรการประมวลผลที่เหมาะสมที่สุดสำหรับงานด้านวิศวกรรมคุณลักษณะโดยเฉพาะ โดยพิจารณาจากความซับซ้อนที่คาดไว้ของขั้นตอนและจำนวนข้อมูลที่ต้องใช้ในการเปลี่ยนผ่าน
- การปรับขนาดแบบไดนามิกของงานด้านวิศวกรรมคุณลักษณะ – มีการใช้บริการต่างๆ ของ AWS ร่วมกันสำหรับสิ่งนี้ แต่ที่โดดเด่นที่สุดคือ SageMaker Processing สิ่งนี้ทำให้มั่นใจได้ว่าแพลตฟอร์มจะสร้างคุณสมบัติคุณภาพสูงได้อย่างคุ้มค่าและทันเวลา
โพสต์นี้มุ่งเน้นไปที่จุดที่สามในรายการนี้ และแสดงวิธีการปรับขนาดไดนามิกของงาน SageMaker Processing เพื่อให้ได้เฟรมเวิร์กการประมวลผลข้อมูลที่มีการจัดการ มีประสิทธิภาพ และคุ้มค่าสำหรับปริมาณข้อมูลขนาดใหญ่
การประมวลผลของ SageMaker เปิดใช้งานปริมาณงานที่ดำเนินการตามขั้นตอนสำหรับการประมวลผลข้อมูลล่วงหน้าหรือหลังการประมวลผล วิศวกรรมคุณลักษณะ การตรวจสอบความถูกต้องของข้อมูล และการประเมินแบบจำลองบน SageMaker นอกจากนี้ยังมีสภาพแวดล้อมที่มีการจัดการและขจัดความซับซ้อนของการยกของหนักที่ไม่แตกต่างกันซึ่งจำเป็นต่อการตั้งค่าและบำรุงรักษาโครงสร้างพื้นฐานที่จำเป็นในการรันเวิร์กโหลด นอกจากนี้ SageMaker Processing ยังมีอินเทอร์เฟซ API สำหรับการเรียกใช้ ตรวจสอบ และประเมินภาระงาน
การเรียกใช้งาน SageMaker Processing เกิดขึ้นอย่างสมบูรณ์ภายในคลัสเตอร์ SageMaker ที่มีการจัดการ โดยแต่ละงานจะใส่ลงในคอนเทนเนอร์ของอินสแตนซ์ในขณะทำงาน เมตริกรายงานคลัสเตอร์ อินสแตนซ์ และคอนเทนเนอร์ที่ได้รับการจัดการ อเมซอน คลาวด์วอตช์รวมถึงการใช้งาน GPU, CPU, หน่วยความจำ, หน่วยความจำ GPU, ตัวชี้วัดดิสก์ และการบันทึกเหตุการณ์
คุณลักษณะเหล่านี้ให้ประโยชน์แก่วิศวกรข้อมูลและนักวิทยาศาสตร์ของ Vericast โดยช่วยในการพัฒนาเวิร์กโฟลว์การประมวลผลล่วงหน้าแบบทั่วไป และขจัดความยากลำบากในการบำรุงรักษาสภาพแวดล้อมที่สร้างขึ้นเพื่อเรียกใช้งาน อย่างไรก็ตาม ปัญหาทางเทคนิคอาจเกิดขึ้นได้ เนื่องจากลักษณะไดนามิกของข้อมูลและคุณสมบัติที่หลากหลายซึ่งสามารถป้อนเข้าสู่โซลูชันทั่วไปดังกล่าวได้ ระบบต้องทำการคาดเดาเบื้องต้นเกี่ยวกับขนาดของคลัสเตอร์และอินสแตนซ์ที่ประกอบขึ้น การเดานี้จำเป็นต้องประเมินเกณฑ์ของข้อมูลและอนุมานข้อกำหนดของ CPU หน่วยความจำ และดิสก์ การเดานี้อาจเหมาะสมทั้งหมดและใช้งานได้เพียงพอกับงาน แต่ในกรณีอื่นอาจไม่ใช่ สำหรับชุดข้อมูลที่กำหนดและงานประมวลผลล่วงหน้า CPU อาจมีขนาดเล็กลง ส่งผลให้ประสิทธิภาพการประมวลผลสูงสุดและใช้เวลานานในการดำเนินการให้เสร็จสิ้น ยิ่งไปกว่านั้น หน่วยความจำอาจกลายเป็นปัญหา ส่งผลให้ประสิทธิภาพต่ำหรือเหตุการณ์หน่วยความจำไม่เพียงพอทำให้งานทั้งหมดล้มเหลว
เมื่อคำนึงถึงอุปสรรคทางเทคนิคเหล่านี้ Vericast จึงเริ่มสร้างโซลูชัน พวกเขาจำเป็นต้องคงไว้ซึ่งลักษณะทั่วไปและเข้ากับภาพขนาดใหญ่ของเวิร์กโฟลว์ก่อนการประมวลผลที่มีความยืดหยุ่นในขั้นตอนต่างๆ ที่เกี่ยวข้อง สิ่งสำคัญคือต้องแก้ไขทั้งความต้องการที่เป็นไปได้ในการปรับขนาดสภาพแวดล้อมในกรณีที่ประสิทธิภาพลดลงและการกู้คืนอย่างสง่างามจากเหตุการณ์ดังกล่าวหรือเมื่องานเสร็จก่อนกำหนดไม่ว่าด้วยเหตุผลใดก็ตาม
โซลูชันที่สร้างขึ้นโดย Vericast เพื่อแก้ปัญหานี้ใช้บริการของ AWS หลายอย่างที่ทำงานร่วมกันเพื่อบรรลุวัตถุประสงค์ทางธุรกิจ ได้รับการออกแบบมาเพื่อรีสตาร์ทและปรับขนาดคลัสเตอร์ SageMaker Processing ตามเมตริกประสิทธิภาพที่สังเกตได้โดยใช้ฟังก์ชัน Lambda ที่ตรวจสอบงาน เพื่อไม่ให้งานสูญหายเมื่อมีเหตุการณ์การปรับสเกลเกิดขึ้น หรือเพื่อกู้คืนจากงานที่หยุดกะทันหัน จึงมีการติดตั้งบริการตามจุดตรวจที่ใช้ อเมซอน ไดนาโมดีบี และเก็บข้อมูลที่ประมวลผลบางส่วนไว้ใน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) เก็บข้อมูลเป็นขั้นตอนเสร็จสมบูรณ์ ผลลัพธ์สุดท้ายคือโซลูชันการปรับขนาดอัตโนมัติ แข็งแกร่ง และตรวจสอบแบบไดนามิก
แผนภาพต่อไปนี้แสดงภาพรวมระดับสูงของวิธีการทำงานของระบบ
ในส่วนต่อไปนี้ เราจะหารือเกี่ยวกับส่วนประกอบของโซลูชันในรายละเอียดเพิ่มเติม
กำลังเริ่มต้นโซลูชัน
ระบบจะถือว่ากระบวนการที่แยกจากกันเริ่มต้นโซลูชัน ในทางกลับกัน การออกแบบนี้ไม่ได้ออกแบบมาให้ทำงานโดยลำพัง เนื่องจากจะไม่สร้างสิ่งประดิษฐ์หรือเอาต์พุตใดๆ แต่จะทำหน้าที่เป็นตัวช่วยเสริมสำหรับระบบใดระบบหนึ่งที่ใช้งาน SageMaker Processing ในกรณีของ Vericast โซลูชันจะเริ่มต้นโดยวิธีการเรียกจากขั้นตอน Step Functions ที่เริ่มต้นในโมดูลอื่นของระบบที่ใหญ่กว่า
เมื่อโซลูชันเริ่มต้นและเรียกใช้ครั้งแรก การกำหนดค่ามาตรฐานฐานจะถูกอ่านจากตาราง DynamoDB การกำหนดค่านี้ใช้เพื่อตั้งค่าพารามิเตอร์สำหรับงาน SageMaker Processing และมีสมมติฐานเริ่มต้นของความต้องการโครงสร้างพื้นฐาน เริ่มงานการประมวลผล SageMaker แล้ว
ตรวจสอบข้อมูลเมตาและเอาต์พุต
เมื่องานเริ่ม ฟังก์ชัน Lambda จะเขียนข้อมูลเมตาของการประมวลผลงาน (การกำหนดค่างานปัจจุบันและข้อมูลบันทึกอื่นๆ) ลงในตารางบันทึก DynamoDB ข้อมูลเมตาและข้อมูลบันทึกนี้จะรักษาประวัติของงาน การกำหนดค่าเริ่มต้นและต่อเนื่อง และข้อมูลสำคัญอื่นๆ
ในบางจุด เมื่อขั้นตอนต่างๆ เสร็จสิ้นในงาน ข้อมูลจุดตรวจสอบจะถูกเพิ่มลงในตารางบันทึกของ DynamoDB ข้อมูลเอาต์พุตที่ประมวลผลจะถูกย้ายไปยัง Amazon S3 เพื่อการกู้คืนอย่างรวดเร็วหากจำเป็น
ฟังก์ชันแลมบ์ดานี้ยังตั้งค่า อเมซอน EventBridge กฎที่ตรวจสอบงานที่รันอยู่ในสถานะ โดยเฉพาะอย่างยิ่ง กฎนี้เฝ้าดูงานเพื่อดูว่าสถานะงานเปลี่ยนไปหรือไม่ stopping
หรืออยู่ใน stopped
สถานะ. กฎ EventBridge นี้มีส่วนสำคัญในการเริ่มงานใหม่ หากเกิดความล้มเหลวหรือมีเหตุการณ์การปรับขนาดอัตโนมัติที่วางแผนไว้เกิดขึ้น
การตรวจสอบตัวชี้วัด CloudWatch
ฟังก์ชัน Lambda ยังตั้งค่าการเตือน CloudWatch ตามนิพจน์ทางคณิตศาสตร์ของเมตริกในงานประมวลผล ซึ่งจะตรวจสอบเมตริกของอินสแตนซ์ทั้งหมดสำหรับการใช้งาน CPU การใช้งานหน่วยความจำ และการใช้งานดิสก์ การเตือนประเภทนี้ (เมตริก) ใช้เกณฑ์การเตือนของ CloudWatch การแจ้งเตือนจะสร้างเหตุการณ์ตามค่าของเมตริกหรือนิพจน์ที่สัมพันธ์กับเกณฑ์ในช่วงเวลาต่างๆ
ในกรณีการใช้งานของ Vericast นิพจน์เกณฑ์ได้รับการออกแบบให้พิจารณาไดรเวอร์และอินสแตนซ์ตัวดำเนินการแยกจากกัน โดยมีเมตริกตรวจสอบแยกกันสำหรับแต่ละรายการ เมื่อแยกจากกัน Vericast จะรู้ว่าสิ่งใดเป็นสาเหตุของสัญญาณเตือน นี่เป็นสิ่งสำคัญในการตัดสินใจว่าจะปรับขนาดอย่างไร:
- หากเมตริกตัวดำเนินการผ่านเกณฑ์ จะเป็นการดีที่จะปรับขนาดในแนวนอน
- หากมาตรวัดไดรเวอร์เกินเกณฑ์ การปรับขนาดในแนวนอนอาจไม่ช่วยอะไร ดังนั้นเราต้องปรับขนาดในแนวตั้ง
นิพจน์เมตริกการเตือน
Vericast สามารถเข้าถึงเมตริกต่อไปนี้ในการประเมินเพื่อปรับขนาดและความล้มเหลว:
- การใช้งานซีพียู – ผลรวมของการใช้งานคอร์ CPU แต่ละตัว
- การใช้หน่วยความจำ – เปอร์เซ็นต์ของหน่วยความจำที่ใช้โดยคอนเทนเนอร์บนอินสแตนซ์
- การใช้งานดิสก์ – เปอร์เซ็นต์ของพื้นที่ดิสก์ที่ใช้โดยคอนเทนเนอร์บนอินสแตนซ์
- การใช้งาน GPU – เปอร์เซ็นต์ของหน่วย GPU ที่ใช้โดยคอนเทนเนอร์บนอินสแตนซ์
- การใช้งานหน่วยความจำ GPU – เปอร์เซ็นต์ของหน่วยความจำ GPU ที่ใช้โดยคอนเทนเนอร์บนอินสแตนซ์
ขณะที่เขียนนี้ Vericast จะพิจารณาเท่านั้น CPUUtilization
, MemoryUtilization
และ DiskUtilization
. ในอนาคตก็ตั้งใจพิจารณา GPUUtilization
และ GPUMemoryUtilization
เช่นกัน
โค้ดต่อไปนี้เป็นตัวอย่างของการเตือน CloudWatch ตามนิพจน์ทางคณิตศาสตร์เมตริกสำหรับการปรับขนาดอัตโนมัติของ Vericast:
นิพจน์นี้แสดงให้เห็นว่าสัญญาณเตือนของ CloudWatch กำลังพิจารณาอยู่ DriverMemoryUtilization (memoryDriver)
, CPUUtilization (cpuDriver)
, DiskUtilization (diskDriver)
, ExecutorMemoryUtilization (memoryExec)
, CPUUtilization (cpuExec)
และ DiskUtilization (diskExec)
เป็นตัวชี้วัดการตรวจสอบ ตัวเลข 80 ในนิพจน์ก่อนหน้าหมายถึงค่าเกณฑ์
ที่นี่ IF((cpuDriver) > 80, 1, 0
หมายความว่าหากการใช้งาน CPU ของไดรเวอร์เกิน 80% 1 จะถูกกำหนดเป็นเกณฑ์อื่นเป็น 0 IF(AVG(METRICS("memoryExec")) > 80, 1, 0
หมายความว่าเมตริกทั้งหมดที่มีสตริง memoryExec
ในนั้นจะพิจารณาและคำนวณค่าเฉลี่ยในนั้น หากเปอร์เซ็นต์การใช้หน่วยความจำเฉลี่ยเกิน 80 จะมีการกำหนดให้ 1 เป็นเกณฑ์อื่นเป็น 0
ตัวดำเนินการเชิงตรรกะ OR
ใช้ในนิพจน์เพื่อรวมการใช้ประโยชน์ทั้งหมดในนิพจน์—หากการใช้ประโยชน์ใดๆ ถึงเกณฑ์ ให้ทริกเกอร์การเตือน
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการใช้การเตือนตัววัดของ CloudWatch ตามนิพจน์ทางคณิตศาสตร์ของเมตริก โปรดดูที่ การสร้างการเตือน CloudWatch ตามนิพจน์ทางคณิตศาสตร์เมตริก.
ข้อจำกัดการเตือนของ CloudWatch
CloudWatch จำกัดจำนวนเมตริกต่อการเตือนที่ 10 รายการ ซึ่งอาจทำให้เกิดข้อจำกัดหากคุณจำเป็นต้องพิจารณาเมตริกมากกว่านี้
เพื่อเอาชนะข้อจำกัดนี้ Vericast ได้ตั้งค่าการเตือนตามขนาดคลัสเตอร์โดยรวม หนึ่งการเตือนจะถูกสร้างขึ้นต่อสามอินสแตนซ์ (สำหรับสามอินสแตนซ์ จะมีหนึ่งการเตือนเพราะนั่นจะรวมกันได้ถึงเก้าเมตริก) สมมติว่าต้องพิจารณาอินสแตนซ์ไดรเวอร์แยกต่างหาก ระบบจะสร้างสัญญาณเตือนแยกต่างหากสำหรับอินสแตนซ์ไดรเวอร์ ดังนั้น จำนวนการเตือนทั้งหมดที่สร้างขึ้นจะเทียบเท่ากับหนึ่งในสามของจำนวนโหนดตัวดำเนินการ และอีกหนึ่งตัวเพิ่มเติมสำหรับอินสแตนซ์ไดรเวอร์ ในแต่ละกรณี จำนวนเมตริกต่อการเตือนภัยจะต่ำกว่าขีดจำกัด 10 เมตริก
จะเกิดอะไรขึ้นเมื่ออยู่ในสถานะปลุก
หากถึงเกณฑ์ที่กำหนดไว้ล่วงหน้า สัญญาณเตือนจะไปที่ alarm
รัฐซึ่งใช้ บริการแจ้งเตือนแบบง่ายของ Amazon (Amazon SNS) เพื่อส่งการแจ้งเตือน ในกรณีนี้ ระบบจะส่งการแจ้งเตือนทางอีเมลไปยังสมาชิกทุกคนพร้อมรายละเอียดเกี่ยวกับการเตือนภัยในข้อความ
Amazon SNS ยังใช้เป็นทริกเกอร์ไปยังฟังก์ชัน Lambda ที่หยุดงานการประมวลผล SageMaker ที่กำลังทำงานอยู่ในขณะนี้ เนื่องจากเราทราบดีว่างานนั้นอาจล้มเหลว ฟังก์ชันนี้ยังบันทึกบันทึกไปยังตารางบันทึกที่เกี่ยวข้องกับเหตุการณ์
กฎ EventBridge ที่ตั้งค่าเมื่อเริ่มงานจะสังเกตเห็นว่างานเข้าสู่ stopping
ระบุในไม่กี่วินาทีต่อมา จากนั้นกฎนี้จะเรียกใช้ฟังก์ชัน Lambda แรกอีกครั้งเพื่อเริ่มงานใหม่
กระบวนการปรับขนาดแบบไดนามิก
ฟังก์ชัน Lambda แรกหลังจากทำงานสองครั้งหรือมากกว่านั้นจะรู้ว่างานก่อนหน้านี้ได้เริ่มต้นไปแล้วและตอนนี้ได้หยุดลงแล้ว ฟังก์ชันจะผ่านกระบวนการที่คล้ายกันในการรับการกำหนดค่าพื้นฐานจากงานดั้งเดิมในตาราง DynamoDB ของบันทึก และจะดึงการกำหนดค่าที่อัปเดตจากตารางภายในด้วย การกำหนดค่าที่อัปเดตนี้เป็นการกำหนดค่าเดลต้าของทรัพยากรที่ตั้งค่าตามประเภทมาตราส่วน ประเภทมาตราส่วนถูกกำหนดจากข้อมูลเมตาของสัญญาณเตือนตามที่อธิบายไว้ก่อนหน้า
การกำหนดค่าดั้งเดิมบวกกับเดลต้าของทรัพยากรถูกใช้เนื่องจากการกำหนดค่าใหม่และงาน SageMaker Processing ใหม่เริ่มต้นด้วยทรัพยากรที่เพิ่มขึ้น
กระบวนการนี้จะดำเนินต่อไปจนกว่างานจะเสร็จสมบูรณ์ และอาจส่งผลให้มีการรีสตาร์ทหลายครั้งตามความจำเป็น โดยเพิ่มทรัพยากรมากขึ้นในแต่ละครั้ง
ผลลัพธ์ของ Vericast
โซลูชันการปรับขนาดอัตโนมัติแบบกำหนดเองนี้เป็นเครื่องมือสำคัญในการทำให้แพลตฟอร์มการเรียนรู้ของเครื่องของ Vericast แข็งแกร่งและทนทานต่อข้อผิดพลาดมากขึ้น แพลตฟอร์มนี้สามารถรองรับปริมาณงานปริมาณข้อมูลต่างๆ ได้อย่างสง่างามโดยมีการแทรกแซงจากมนุษย์น้อยที่สุด
ก่อนนำโซลูชันนี้ไปใช้ การประเมินความต้องการทรัพยากรสำหรับโมดูลที่ใช้ Spark ทั้งหมดในไปป์ไลน์เป็นหนึ่งในปัญหาคอขวดที่ใหญ่ที่สุดของกระบวนการออนบอร์ดไคลเอนต์ใหม่ เวิร์กโฟลว์จะล้มเหลวหากปริมาณข้อมูลไคลเอ็นต์เพิ่มขึ้น หรือต้นทุนจะไม่สมเหตุสมผลหากปริมาณข้อมูลลดลงในการผลิต
ด้วยโมดูลใหม่นี้ ความล้มเหลวของเวิร์กโฟลว์เนื่องจากข้อจำกัดด้านทรัพยากรลดลงเกือบ 80% ความล้มเหลวที่เหลืออยู่เพียงเล็กน้อยส่วนใหญ่เกิดจากข้อจำกัดของบัญชี AWS และนอกเหนือไปจากกระบวนการปรับขนาดอัตโนมัติ ชัยชนะที่ยิ่งใหญ่ที่สุดของ Vericast ด้วยโซลูชันนี้คือความง่ายในการที่พวกเขาสามารถต้อนรับลูกค้าใหม่และเวิร์กโฟลว์ Vericast คาดว่าจะเร่งกระบวนการได้อย่างน้อย 60–70% โดยที่ข้อมูลยังคงถูกรวบรวมเพื่อหาตัวเลขสุดท้าย
แม้ว่าสิ่งนี้จะถูกมองว่าเป็นความสำเร็จโดย Vericast แต่ก็มีค่าใช้จ่ายที่มาพร้อมกับมัน ตามลักษณะของโมดูลนี้และแนวคิดของการปรับขนาดแบบไดนามิกโดยรวม เวิร์กโฟลว์มักจะใช้เวลานานกว่าประมาณ 30% (กรณีเฉลี่ย) กว่าเวิร์กโฟลว์ที่มีคลัสเตอร์ที่ปรับแต่งเองสำหรับแต่ละโมดูลในเวิร์กโฟลว์ Vericast ยังคงเพิ่มประสิทธิภาพในด้านนี้ โดยต้องการปรับปรุงโซลูชันโดยรวมการเริ่มต้นทรัพยากรตามการวิเคราะห์พฤติกรรมสำหรับแต่ละโมดูลไคลเอนต์
Sharmo Sarkar ผู้จัดการอาวุโสของแพลตฟอร์ม Machine Learning ที่ Vericast กล่าวว่า "ในขณะที่เราขยายการใช้งาน AWS และ SageMaker อย่างต่อเนื่อง ฉันต้องการใช้เวลาสักครู่เพื่อเน้นย้ำถึงผลงานที่น่าทึ่งของทีม AWS Client Services ซึ่งเป็น AWS Solutions Architects โดยเฉพาะ และบริการระดับมืออาชีพของ AWS ที่เราร่วมงานด้วย ความเข้าใจอย่างลึกซึ้งเกี่ยวกับ AWS และ SageMaker ทำให้เราสามารถออกแบบโซลูชันที่ตอบสนองความต้องการทั้งหมดของเรา และมอบความยืดหยุ่นและความสามารถในการปรับขนาดตามที่เราต้องการ เรารู้สึกขอบคุณมากที่มีทีมสนับสนุนที่มีความสามารถและมีความรู้อยู่เคียงข้างเรา”
สรุป
ในโพสต์นี้ เราได้แชร์วิธีที่ SageMaker และ SageMaker Processing ช่วยให้ Vericast สร้างเฟรมเวิร์กการประมวลผลข้อมูลที่มีการจัดการ มีประสิทธิภาพ และคุ้มค่าสำหรับปริมาณข้อมูลขนาดใหญ่ ด้วยการรวมพลังและความยืดหยุ่นของ SageMaker Processing กับบริการอื่นๆ ของ AWS พวกเขาสามารถตรวจสอบกระบวนการทางวิศวกรรมคุณลักษณะทั่วไปได้อย่างง่ายดาย พวกเขาสามารถตรวจพบปัญหาที่อาจเกิดขึ้นได้โดยอัตโนมัติซึ่งเกิดจากการขาดการประมวลผล หน่วยความจำ และปัจจัยอื่นๆ และใช้การปรับมาตราส่วนแนวตั้งและแนวนอนโดยอัตโนมัติตามความจำเป็น
SageMaker และเครื่องมือสามารถช่วยให้ทีมของคุณบรรลุเป้าหมาย ML ได้เช่นกัน หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ SageMaker Processing และวิธีที่ SageMaker สามารถช่วยงานการประมวลผลข้อมูลของคุณได้ โปรดดูที่ ประมวลผลข้อมูล. หากคุณเพิ่งเริ่มต้นกับ ML และกำลังมองหาตัวอย่างและคำแนะนำ Amazon SageMaker JumpStart ช่วยให้คุณเริ่มต้นได้ JumpStart เป็นฮับ ML ซึ่งคุณสามารถเข้าถึงอัลกอริทึมในตัวด้วยโมเดลพื้นฐานที่ฝึกไว้ล่วงหน้าเพื่อช่วยให้คุณทำงานต่างๆ เช่น การสรุปบทความและการสร้างรูปภาพ และโซลูชันที่สร้างไว้ล่วงหน้าเพื่อแก้ปัญหากรณีการใช้งานทั่วไป
สุดท้าย หากโพสต์นี้ช่วยคุณหรือเป็นแรงบันดาลใจให้คุณแก้ปัญหา เรายินดีที่จะรับฟัง! กรุณาแบ่งปันความคิดเห็นและข้อเสนอแนะของคุณ
เกี่ยวกับผู้เขียน
แอนโธนี แมคเคลอร์ เป็น Senior Partner Solutions Architect กับทีม AWS SaaS Factory นอกจากนี้ Anthony ยังมีความสนใจอย่างมากในการเรียนรู้ของเครื่องและปัญญาประดิษฐ์ที่ทำงานร่วมกับ AWS ML/AI Technical Field Community เพื่อช่วยเหลือลูกค้าในการนำโซลูชันการเรียนรู้ของเครื่องไปสู่ความเป็นจริง
โจติ ชาร์มา เป็นวิศวกรวิทยาศาสตร์ข้อมูลกับทีมแพลตฟอร์มแมชชีนเลิร์นนิงที่ Vericast เธอหลงใหลในทุกแง่มุมของวิทยาศาสตร์ข้อมูล และมุ่งเน้นไปที่การออกแบบและใช้งานแพลตฟอร์มแมชชีนเลิร์นนิงที่ปรับขนาดได้สูงและกระจายได้
ชาร์โม ซาร์การ์ เป็นผู้จัดการอาวุโสของ Vericast เขาเป็นผู้นำแพลตฟอร์ม Cloud Machine Learning และทีม R&D Marketing Platform ML ที่ Vericast เขามีประสบการณ์มากมายในด้านการวิเคราะห์ข้อมูลขนาดใหญ่ คอมพิวเตอร์แบบกระจาย และการประมวลผลภาษาธรรมชาติ เขาชอบขี่มอเตอร์ไซค์ เดินป่า และขี่จักรยานบนเส้นทางภูเขา
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
- การสร้างอนาคตโดย Adryenn Ashley เข้าถึงได้ที่นี่.
- ซื้อและขายหุ้นในบริษัท PRE-IPO ด้วย PREIPO® เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/how-vericast-optimized-feature-engineering-using-amazon-sagemaker-processing/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 1
- 10
- 100
- 15%
- 7
- a
- เกี่ยวกับเรา
- เข้า
- ตาม
- ลงชื่อเข้าใช้
- บรรลุ
- การกระตุ้น
- การกระทำ
- เพิ่ม
- ที่เพิ่ม
- เพิ่ม
- เพิ่มเติม
- อย่างเพียงพอ
- หลังจาก
- กับ
- เอดส์
- จุดมุ่งหมาย
- ปลุก
- ขั้นตอนวิธี
- อัลกอริทึม
- ทั้งหมด
- คนเดียว
- ตาม
- แล้ว
- ด้วย
- อเมซอน
- อเมซอน SageMaker
- จำนวน
- an
- การวิเคราะห์
- และ
- อื่น
- แอนโทนี่
- ใด
- API
- เหมาะสม
- สถาปัตยกรรม
- เป็น
- AREA
- รอบ
- บทความ
- เทียม
- ปัญญาประดิษฐ์
- AS
- แง่มุม
- ด้าน
- ที่ได้รับมอบหมาย
- ช่วยเหลือ
- At
- รถยนต์
- โดยอัตโนมัติ
- อัตโนมัติ
- เฉลี่ย
- AWS
- บริการระดับมืออาชีพของ AWS
- ฐาน
- ตาม
- BE
- เพราะ
- กลายเป็น
- รับ
- กำลัง
- ประโยชน์ที่ได้รับ
- ที่ดีที่สุด
- เกิน
- ใหญ่
- ข้อมูลขนาดใหญ่
- ที่ใหญ่ที่สุด
- เพิ่ม
- ทั้งสอง
- การนำ
- สร้าง
- การก่อสร้าง
- สร้าง
- built-in
- ธุรกิจ
- แต่
- by
- คำนวณ
- โทรศัพท์
- รณรงค์
- CAN
- สามารถรับ
- จับ
- กรณี
- กรณี
- ก่อให้เกิด
- การก่อให้เกิด
- บาง
- ท้าทาย
- การเปลี่ยนแปลง
- ชั้น
- ชั้นเรียน
- การจัดหมวดหมู่
- ไคลเอนต์
- การรับลูกค้า
- ลูกค้า
- เมฆ
- Cluster
- รหัส
- คอลัมน์
- การผสมผสาน
- การรวมกัน
- มา
- ความคิดเห็น
- ร่วมกัน
- ชุมชน
- บริษัท
- สมบูรณ์
- เสร็จสิ้น
- ความซับซ้อน
- ซับซ้อน
- ส่วนประกอบ
- ที่ถูกบุกรุก
- คำนวณ
- การคำนวณ
- แนวคิด
- แนวความคิด
- องค์ประกอบ
- พิจารณา
- ถือว่า
- พิจารณา
- พิจารณา
- ข้อ จำกัด
- บรรจุ
- ภาชนะบรรจุ
- ต่อ
- อย่างต่อเนื่อง
- ราคา
- ค่าใช้จ่ายที่มีประสิทธิภาพ
- ได้
- คูปอง
- สร้าง
- ที่สร้างขึ้น
- การสร้าง
- เกณฑ์
- ข้าม
- ปัจจุบัน
- ขณะนี้
- ประเพณี
- ลูกค้า
- ลูกค้า
- ข้อมูล
- วิเคราะห์ข้อมูล
- การเตรียมข้อมูล
- การประมวลผล
- วิทยาศาสตร์ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ที่ขับเคลื่อนด้วยข้อมูล
- ชุดข้อมูล
- ตัดสินใจ
- การตัดสินใจ
- ทุ่มเท
- ลึก
- สันดอน
- ประชากร
- ขึ้นอยู่กับ
- การใช้งาน
- อธิบาย
- ออกแบบ
- ได้รับการออกแบบ
- การออกแบบ
- รายละเอียด
- รายละเอียด
- แน่นอน
- พัฒนาการ
- ต่าง
- แตกต่าง
- ความยาก
- โดยตรง
- ส่วนลด
- สนทนา
- กระจาย
- คอมพิวเตอร์แบบกระจาย
- ขับเคลื่อน
- คนขับรถ
- สอง
- พลวัต
- แบบไดนามิก
- แต่ละ
- ก่อน
- ความสะดวก
- อย่างง่ายดาย
- ทั้ง
- อีเมล
- เปิดการใช้งาน
- ช่วยให้
- วิศวกร
- ชั้นเยี่ยม
- วิศวกร
- เพื่อให้แน่ใจ
- ทั้งหมด
- สิ่งแวดล้อม
- สภาพแวดล้อม
- เท่ากัน
- เท่ากัน
- ประเมินค่า
- การประเมินการ
- การประเมินผล
- เหตุการณ์
- เหตุการณ์
- ตัวอย่าง
- ตัวอย่าง
- ยกเว้น
- ที่มีอยู่
- แสดง
- ที่คาดหวัง
- คาดว่า
- ประสบการณ์
- สำรวจ
- การแสดงออก
- กว้างขวาง
- ประสบการณ์ที่กว้างขวาง
- ปัจจัย
- โรงงาน
- ล้มเหลว
- ความล้มเหลว
- ลักษณะ
- คุณสมบัติ
- เฟด
- ข้อเสนอแนะ
- สองสาม
- สนาม
- สุดท้าย
- สรุป
- ชื่อจริง
- พอดี
- ความยืดหยุ่น
- มีความยืดหยุ่น
- มุ่งเน้น
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- รูปแบบ
- รากฐาน
- กรอบ
- ราคาเริ่มต้นที่
- อย่างเต็มที่
- ฟังก์ชัน
- ฟังก์ชั่น
- นอกจากนี้
- อนาคต
- การรวบรวม
- General
- สร้าง
- สร้าง
- รุ่น
- ได้รับ
- ได้รับ
- กำหนด
- Go
- เป้าหมาย
- เป้าหมาย
- ไป
- ดี
- GPU
- ขอบคุณ
- คำแนะนำ
- มี
- จัดการ
- ที่เกิดขึ้น
- มี
- มี
- he
- ได้ยิน
- หนัก
- ยกของหนัก
- ช่วย
- จะช่วยให้
- ระดับสูง
- ที่มีคุณภาพสูง
- เน้น
- อย่างสูง
- ประวัติ
- ตามแนวนอน
- แนวนอน
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- HTML
- ที่ http
- HTTPS
- Hub
- เป็นมนุษย์
- วิ่งกระโดดข้ามรั้ว
- i
- ระบุ
- if
- แสดงให้เห็นถึง
- ภาพ
- การดำเนินการ
- การดำเนินงาน
- การดำเนินการ
- สำคัญ
- ปรับปรุง
- in
- ในอื่น ๆ
- รวมถึง
- รวมทั้ง
- ผสมผสาน
- เพิ่ม
- เพิ่มขึ้น
- เหลือเชื่อ
- เป็นรายบุคคล
- เป็นรายบุคคล
- ข้อมูล
- โครงสร้างพื้นฐาน
- แรกเริ่ม
- ประทับจิต
- ตัวอย่าง
- เป็นเครื่องมือ
- Intelligence
- ตั้งใจ
- อยากเรียนรู้
- อินเตอร์เฟซ
- ภายใน
- การแทรกแซง
- เข้าไป
- ร่วมมือ
- ปัญหา
- ปัญหา
- IT
- ITS
- การสัมภาษณ์
- งาน
- jpg
- เพียงแค่
- ชนิด
- ทราบ
- ไม่มี
- ภาษา
- ใหญ่
- ส่วนใหญ่
- ที่มีขนาดใหญ่
- ต่อมา
- นำไปสู่
- เรียนรู้
- การเรียนรู้
- น้อยที่สุด
- ห้องสมุด
- facelift
- การ จำกัด
- ข้อ จำกัด
- ขีด จำกัด
- รายการ
- น้อย
- เข้าสู่ระบบ
- การเข้าสู่ระบบ
- ตรรกะ
- อีกต่อไป
- ที่ต้องการหา
- สูญเสีย
- ความรัก
- เครื่อง
- เรียนรู้เครื่อง
- เก็บรักษา
- การบำรุงรักษา
- รักษา
- ทำ
- ทำให้
- การทำ
- การจัดการ
- ผู้จัดการ
- จัดการ
- ลักษณะ
- หลาย
- การตลาด
- คณิตศาสตร์
- อาจ..
- พบ
- หน่วยความจำ
- ข่าวสาร
- เมตาดาต้า
- เมตริก
- ตัวชี้วัด
- อาจ
- ใจ
- ต่ำสุด
- ML
- แบบ
- โมเดล
- โมดูล
- โมดูล
- ขณะ
- การตรวจสอบ
- การตรวจสอบ
- การตรวจสอบ
- จอภาพ
- ข้อมูลเพิ่มเติม
- มากที่สุด
- ส่วนใหญ่
- ภูเขา
- หลาย
- ต้อง
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- ธรรมชาติ
- จำเป็นต้อง
- จำเป็น
- ต้อง
- ความต้องการ
- ใหม่
- โหนด
- ยวด
- สังเกต..
- การประกาศ
- การแจ้งเตือน
- ตอนนี้
- จำนวน
- วัตถุประสงค์
- สังเกต
- of
- มักจะ
- on
- ตามความต้องการ
- ออนบอร์ด
- การดูแลพนักงานใหม่
- ONE
- ต่อเนื่อง
- เพียง
- ผู้ประกอบการ
- ดีที่สุด
- เพิ่มประสิทธิภาพ
- การปรับให้เหมาะสม
- or
- เป็นต้นฉบับ
- อื่นๆ
- ของเรา
- ออก
- ผล
- เอาท์พุต
- ด้านนอก
- เกิน
- ทั้งหมด
- เอาชนะ
- ภาพรวม
- พารามิเตอร์
- ส่วนหนึ่ง
- ในสิ่งที่สนใจ
- หุ้นส่วน
- ที่ผ่านไป
- หลงใหล
- แบบแผน
- เปอร์เซ็นต์
- ดำเนินการ
- การปฏิบัติ
- บางที
- งวด
- มุมมอง
- ภาพ
- ท่อ
- สถานที่
- การวางแผน
- เวที
- แพลตฟอร์ม
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- เล่น
- กรุณา
- บวก
- จุด
- จุด
- น่าสงสาร
- เป็นไปได้
- โพสต์
- ที่มีศักยภาพ
- อำนาจ
- ทำนาย
- ก่อน
- อาจ
- ปัญหา
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- แปรรูปแล้ว
- การประมวลผล
- ก่อ
- ผลิตภัณฑ์
- การผลิต
- มืออาชีพ
- ให้
- ให้
- ให้
- ใส่
- คุณภาพ
- รวดเร็ว
- ได้เร็วขึ้น
- วิจัยและพัฒนา
- ค่อนข้าง
- ดิบ
- มาถึง
- อ่าน
- พร้อม
- ความจริง
- เหตุผล
- บันทึก
- กู้
- การฟื้นตัว
- ลดลง
- หมายถึง
- ที่เกี่ยวข้อง
- ตรงประเด็น
- ยังคง
- ที่เหลืออยู่
- รายงาน
- จำเป็นต้องใช้
- ความต้องการ
- ทรัพยากร
- แหล่งข้อมูล
- ตอบสนอง
- ผล
- ส่งผลให้
- แข็งแรง
- บทบาท
- ลวก
- กฎ
- วิ่ง
- วิ่ง
- SaaS
- sagemaker
- เดียวกัน
- พูดว่า
- scalability
- ที่ปรับขนาดได้
- ขนาด
- ปรับ
- โซลูชันการปรับขนาด
- สถานการณ์
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- นักวิทยาศาสตร์
- วินาที
- ส่วน
- เลือก
- การเลือก
- ส่ง
- ส่ง
- ระดับอาวุโส
- ความไว
- แยก
- การพลัดพราก
- บริการ
- บริการ
- ชุด
- ชุดอุปกรณ์
- หลาย
- Share
- ที่ใช้ร่วมกัน
- Sharma
- เธอ
- แสดง
- แสดงให้เห็นว่า
- ด้าน
- สำคัญ
- คล้ายคลึงกัน
- ง่าย
- ขนาด
- So
- ทางออก
- โซลูชัน
- แก้
- ช่องว่าง
- โดยเฉพาะ
- เฉพาะ
- ความเร็ว
- สปิน
- ขั้นตอน
- มาตรฐาน
- ยืน
- เริ่มต้น
- ข้อความที่เริ่ม
- เริ่มต้น
- สถานะ
- Status
- ขั้นตอน
- ขั้นตอน
- ยังคง
- หยุด
- การหยุด
- หยุด
- การเก็บรักษา
- ร้านค้า
- เชือก
- แข็งแรง
- โครงสร้าง
- สมาชิก
- ความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- สนับสนุน
- ระบบ
- ระบบ
- ตาราง
- ปรับปรุง
- เอา
- ใช้เวลา
- มีความสามารถ
- งาน
- งาน
- ทีม
- ทีม
- วิชาการ
- เงื่อนไขการใช้บริการ
- กว่า
- ที่
- พื้นที่
- ก้าวสู่อนาคต
- ของพวกเขา
- พวกเขา
- แล้วก็
- ที่นั่น
- ดังนั้น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- ที่สาม
- นี้
- เหล่านั้น
- สาม
- ธรณีประตู
- ตลอด
- เวลา
- ครั้ง
- ไปยัง
- ร่วมกัน
- เครื่องมือ
- รวม
- รถไฟ
- การฝึกอบรม
- การทำธุกรรม
- รายละเอียดการทำธุรกรรม
- แปลง
- การแปลง
- การแปลง
- เรียก
- ทริกเกอร์
- สอง
- ชนิด
- ตามแบบฉบับ
- ภายใต้
- ความเข้าใจ
- หน่วย
- จนกระทั่ง
- ให้กับคุณ
- us
- ใช้ได้
- การใช้
- ใช้
- ใช้กรณี
- มือสอง
- การใช้
- การตรวจสอบ
- ความคุ้มค่า
- ต่างๆ
- แนวตั้ง
- ปริมาณ
- ไดรฟ์
- vs
- อยาก
- คือ
- ชม
- ทาง..
- we
- ดี
- เมื่อ
- ที่
- WHO
- ทั้งหมด
- ทั้งหมด
- จะ
- ชนะ
- กับ
- ภายใน
- งาน
- ขั้นตอนการทำงาน
- การทำงาน
- โรงงาน
- แย่ลง
- จะ
- การเขียน
- ยัง
- ผล
- คุณ
- ของคุณ
- ลมทะเล