ทำความเข้าใจแมชชีนเลิร์นนิงอย่างล้ำลึกผ่านกรณีการใช้งานจริง

ขอบ เป็นคำที่หมายถึงตำแหน่งที่อยู่ไกลจากคลาวด์หรือศูนย์ข้อมูลขนาดใหญ่ ซึ่งคุณมีอุปกรณ์คอมพิวเตอร์ (อุปกรณ์ขอบ) ที่สามารถใช้งานแอปพลิเคชัน (ขอบ) ได้ Edge Computing คือการดำเนินการตามปริมาณงานบนอุปกรณ์ Edge เหล่านี้ การเรียนรู้ของเครื่องที่ขอบ (ML@Edge) เป็นแนวคิดที่นำความสามารถในการเรียกใช้โมเดล ML ในเครื่องไปยังอุปกรณ์ Edge จากนั้นแอปพลิเคชัน Edge จะสามารถเรียกใช้โมเดล ML เหล่านี้ได้ ML@Edge มีความสำคัญสำหรับหลายๆ สถานการณ์ที่รวบรวมข้อมูลดิบจากแหล่งที่มาที่ห่างไกลจากคลาวด์ สถานการณ์จำลองเหล่านี้อาจมีข้อกำหนดหรือข้อจำกัดเฉพาะ:

• เวลาแฝงต่ำการคาดการณ์ตามเวลาจริง
• การเชื่อมต่อระบบคลาวด์ไม่ดีหรือไม่มีอยู่จริง
• ข้อจำกัดทางกฎหมายที่ไม่อนุญาตให้ส่งข้อมูลไปยังบริการภายนอก
• ชุดข้อมูลขนาดใหญ่ที่ต้องประมวลผลล่วงหน้าในเครื่องก่อนส่งการตอบกลับไปยัง cloud

ต่อไปนี้คือกรณีการใช้งานจำนวนมากที่อาจได้รับประโยชน์จากโมเดล ML ที่ทำงานใกล้กับอุปกรณ์ที่สร้างข้อมูลที่ใช้สำหรับการคาดคะเน:

• ความปลอดภัยและความปลอดภัย – พื้นที่จำกัดที่เครื่องจักรหนักทำงานในพอร์ตอัตโนมัติถูกตรวจสอบโดยกล้อง หากมีคนเข้าไปในพื้นที่นี้โดยไม่ได้ตั้งใจ กลไกความปลอดภัยจะเปิดใช้งานเพื่อหยุดเครื่องจักรและปกป้องมนุษย์
• การบำรุงรักษาเชิงคาดการณ์ – เซ็นเซอร์การสั่นสะเทือนและเสียงรวบรวมข้อมูลจากกระปุกเกียร์ของกังหันลม แบบจำลองการตรวจจับสิ่งผิดปกติจะประมวลผลข้อมูลเซ็นเซอร์และระบุว่ามีสิ่งผิดปกติเกิดขึ้นกับอุปกรณ์หรือไม่ หากตรวจพบความผิดปกติ อุปกรณ์ขอบสามารถเริ่มการวัดฉุกเฉินได้แบบเรียลไทม์เพื่อหลีกเลี่ยงไม่ให้อุปกรณ์เสียหาย เช่น เกิดการแตกหักหรือตัดการเชื่อมต่อเครื่องกำเนิดไฟฟ้าจากกริด
• การตรวจจับข้อบกพร่องในสายการผลิต – กล้องจับภาพของผลิตภัณฑ์บนสายพานลำเลียงและประมวลผลเฟรมด้วยแบบจำลองการจำแนกรูปภาพ หากตรวจพบข้อบกพร่อง สามารถทิ้งผลิตภัณฑ์โดยอัตโนมัติโดยไม่ต้องดำเนินการใดๆ

แม้ว่า ML@Edge จะสามารถจัดการกับกรณีการใช้งานจำนวนมาก แต่ก็มีความท้าทายด้านสถาปัตยกรรมที่ซับซ้อนซึ่งจำเป็นต้องแก้ไขเพื่อให้มีการออกแบบที่ปลอดภัย แข็งแกร่ง และเชื่อถือได้ ในโพสต์นี้ คุณจะได้เรียนรู้รายละเอียดบางอย่างเกี่ยวกับ ML@Edge หัวข้อที่เกี่ยวข้อง และวิธีใช้บริการของ AWS เพื่อเอาชนะความท้าทายเหล่านี้ และใช้โซลูชันที่สมบูรณ์สำหรับ ML ของคุณที่ปริมาณงานของ Edge

ML@Edge ภาพรวม

มีความสับสนทั่วไปเมื่อพูดถึง ML@Edge และ Internet of Things (IoT) ดังนั้นจึงเป็นเรื่องสำคัญที่จะต้องชี้แจงว่า ML@Edge แตกต่างจาก IoT อย่างไร และทั้งสองจะทำงานร่วมกันเพื่อมอบโซลูชันที่มีประสิทธิภาพในบางกรณีได้อย่างไร

โซลูชันขอบที่ใช้ ML@Edge มีองค์ประกอบหลักสองส่วน: แอปพลิเคชันขอบและรุ่น ML (เรียกใช้โดยแอปพลิเคชัน) ที่ทำงานบนอุปกรณ์ขอบ ML@Edge เป็นเรื่องเกี่ยวกับการควบคุมวงจรชีวิตของโมเดล ML ตั้งแต่หนึ่งรุ่นขึ้นไปที่ปรับใช้กับกลุ่มอุปกรณ์ Edge วงจรชีวิตของโมเดล ML สามารถเริ่มต้นได้ทางฝั่งคลาวด์ (on อเมซอน SageMakerตัวอย่างเช่น) แต่โดยทั่วไปแล้วจะจบลงด้วยการปรับใช้โมเดลแบบสแตนด์อโลนบนอุปกรณ์ Edge แต่ละสถานการณ์จำลองต้องการวงจรชีวิตของแบบจำลอง ML ที่แตกต่างกันซึ่งสามารถประกอบขึ้นจากหลายขั้นตอน เช่น การรวบรวมข้อมูล การเตรียมข้อมูล การสร้างแบบจำลอง การรวบรวม และการปรับใช้กับอุปกรณ์ขอบ การโหลดและใช้งานแบบจำลอง และวนซ้ำวงจรชีวิต

กลไก ML@Edge จะไม่รับผิดชอบต่อวงจรชีวิตของแอปพลิเคชัน ควรใช้แนวทางอื่นเพื่อจุดประสงค์นั้น การแยกวงจรชีวิตโมเดล ML และวงจรชีวิตแอปพลิเคชันช่วยให้คุณมีอิสระและความยืดหยุ่นในการพัฒนาต่อไปตามระดับความเร็วที่ต่างกัน ลองนึกภาพแอปพลิเคชันมือถือที่ฝังโมเดล ML เป็นทรัพยากร เช่น รูปภาพหรือไฟล์ XML ในกรณีนี้ ทุกครั้งที่คุณฝึกโมเดลใหม่และต้องการปรับใช้กับโทรศัพท์มือถือ คุณต้องปรับใช้แอปพลิเคชันทั้งหมดอีกครั้ง ซึ่งต้องใช้เวลาและเงิน และสามารถทำให้เกิดข้อบกพร่องในแอปพลิเคชันของคุณได้ การแยกวงจรชีวิตของโมเดล ML ทำให้คุณเผยแพร่แอปบนมือถือเพียงครั้งเดียว และปรับใช้โมเดล ML เวอร์ชันต่างๆ ได้มากเท่าที่คุณต้องการ

แต่ IoT มีความสัมพันธ์กับ ML@Edge อย่างไร? IoT เกี่ยวข้องกับวัตถุทางกายภาพที่ฝังด้วยเทคโนโลยี เช่น เซ็นเซอร์ ความสามารถในการประมวลผล และซอฟต์แวร์ ออบเจ็กต์เหล่านี้เชื่อมต่อกับอุปกรณ์และระบบอื่น ๆ ผ่านทางอินเทอร์เน็ตหรือเครือข่ายการสื่อสารอื่น ๆ เพื่อแลกเปลี่ยนข้อมูล รูปต่อไปนี้แสดงสถาปัตยกรรมนี้ แนวคิดนี้เริ่มต้นขึ้นเมื่อนึกถึงอุปกรณ์ธรรมดาที่รวบรวมข้อมูลจาก Edge ดำเนินการประมวลผลในพื้นที่อย่างง่าย และส่งผลไปยังหน่วยการประมวลผลที่ทรงพลังยิ่งขึ้นซึ่งดำเนินการตามกระบวนการวิเคราะห์ที่ช่วยผู้คนและบริษัทในการตัดสินใจ โซลูชัน IoT มีหน้าที่ควบคุมวงจรชีวิตของแอปพลิเคชันขอบ สำหรับข้อมูลเพิ่มเติมเกี่ยวกับ IoT โปรดดูที่ อินเทอร์เน็ตของสิ่งต่าง ๆ.

หากคุณมีแอปพลิเคชัน IoT อยู่แล้ว คุณสามารถเพิ่มความสามารถ ML@Edge เพื่อทำให้ผลิตภัณฑ์มีประสิทธิภาพมากขึ้น ดังแสดงในรูปต่อไปนี้ โปรดทราบว่า ML@Edge ไม่ได้ขึ้นอยู่กับ IoT แต่คุณสามารถรวมเข้าด้วยกันเพื่อสร้างโซลูชันที่ทรงพลังยิ่งขึ้น เมื่อคุณทำเช่นนั้น คุณจะปรับปรุงศักยภาพของอุปกรณ์อย่างง่ายของคุณเพื่อสร้างข้อมูลเชิงลึกแบบเรียลไทม์สำหรับธุรกิจของคุณได้เร็วกว่าการส่งข้อมูลไปยังระบบคลาวด์เพื่อการประมวลผลในภายหลัง

หากคุณกำลังสร้างโซลูชัน Edge ใหม่ตั้งแต่ต้นด้วยความสามารถ ML@Edge สิ่งสำคัญคือต้องออกแบบสถาปัตยกรรมที่ยืดหยุ่นซึ่งสนับสนุนทั้งแอปพลิเคชันและวงจรชีวิตของโมเดล ML เราจัดเตรียมสถาปัตยกรรมอ้างอิงสำหรับแอปพลิเคชันขอบด้วย ML@Edge ในภายหลังในโพสต์นี้ แต่ก่อนอื่น มาเจาะลึกใน Edge Computing และเรียนรู้วิธีเลือกอุปกรณ์ Edge ที่ถูกต้องสำหรับโซลูชันของคุณ โดยพิจารณาจากข้อจำกัดของสภาพแวดล้อม

การประมวลผลแบบ Edge

ขึ้นอยู่กับว่าอุปกรณ์อยู่ห่างจากคลาวด์หรือศูนย์ข้อมูลขนาดใหญ่ (ฐาน) มากเพียงใด จะต้องพิจารณาคุณสมบัติหลักสามประการของอุปกรณ์ Edge เพื่อเพิ่มประสิทธิภาพและอายุการใช้งานของระบบให้สูงสุด ได้แก่ ความจุในการประมวลผลและการจัดเก็บ การเชื่อมต่อ และการใช้พลังงาน ไดอะแกรมต่อไปนี้แสดงอุปกรณ์ขอบสามกลุ่มที่รวมข้อมูลจำเพาะที่แตกต่างกันของคุณลักษณะเหล่านี้ ขึ้นอยู่กับระยะห่างจากฐาน

กลุ่มต่างๆ มีดังนี้

• MEC (Edge Computing แบบ Multi-Access) – MEC หรือศูนย์ข้อมูลขนาดเล็กที่มีความหน่วงแฝงต่ำหรือต่ำมากและมีแบนด์วิธสูง เป็นสภาพแวดล้อมทั่วไปที่ ML@Edge สามารถสร้างประโยชน์ได้โดยไม่มีข้อจำกัดขนาดใหญ่เมื่อเปรียบเทียบกับปริมาณงานบนคลาวด์ เสาอากาศและเซิร์ฟเวอร์ 5G ที่โรงงาน คลังสินค้า ห้องปฏิบัติการ และอื่นๆ โดยมีข้อจำกัดด้านพลังงานเพียงเล็กน้อยและด้วยการเชื่อมต่ออินเทอร์เน็ตที่ดี นำเสนอวิธีต่างๆ ในการรันโมเดล ML บน GPU และ CPU, เครื่องเสมือน, คอนเทนเนอร์ และเซิร์ฟเวอร์เปล่า
• ใกล้ขอบ – นี่คือความต้องการด้านการเคลื่อนไหวหรือการรวมข้อมูล และอุปกรณ์มีข้อจำกัดบางประการเกี่ยวกับการใช้พลังงานและกำลังในการประมวลผล แต่ยังคงมีการเชื่อมต่อที่เชื่อถือได้อยู่บ้าง แม้ว่าจะมีเวลาแฝงที่สูงกว่า โดยมีปริมาณงานจำกัดและมีราคาแพงกว่า "ใกล้กับขอบ" แอปพลิเคชันมือถือ บอร์ดเฉพาะเพื่อเร่งรุ่น ML หรืออุปกรณ์อย่างง่ายที่มีความสามารถในการเรียกใช้รุ่น ML ที่ครอบคลุมโดยเครือข่ายไร้สาย จะรวมอยู่ในกลุ่มนี้
• สุดขอบ – ในสถานการณ์สมมติสุดโต่งนี้ อุปกรณ์ Edge มีการใช้พลังงานที่รุนแรงหรือมีข้อจำกัดในการเชื่อมต่อ ด้วยเหตุนี้ พลังในการประมวลผลจึงถูกจำกัดในหลายสถานการณ์ เกษตรกรรม การขุด การเฝ้าระวังและความปลอดภัย และการขนส่งทางทะเลเป็นพื้นที่บางส่วนที่อุปกรณ์ที่อยู่ห่างไกลมีบทบาทสำคัญ บอร์ดธรรมดาทั่วไปไม่มี GPU หรือตัวเร่งความเร็ว AI อื่น ๆ ออกแบบมาเพื่อโหลดและเรียกใช้โมเดล ML อย่างง่าย บันทึกการคาดคะเนในฐานข้อมูลภายในเครื่อง และพักเครื่องจนกว่าจะถึงรอบการทำนายรอบถัดไป อุปกรณ์ที่ต้องประมวลผลข้อมูลแบบเรียลไทม์สามารถมีที่เก็บข้อมูลในเครื่องขนาดใหญ่เพื่อหลีกเลี่ยงการสูญเสียข้อมูล

ความท้าทาย

เป็นเรื่องปกติที่จะมีสถานการณ์ ML@Edge ที่คุณมีอุปกรณ์หลายแสนเครื่อง (อาจเป็นล้าน) ที่ใช้รุ่นเดียวกันและแอปพลิเคชันขอบ เมื่อคุณปรับขนาดระบบของคุณ จำเป็นต้องมีโซลูชันที่มีประสิทธิภาพที่สามารถจัดการจำนวนอุปกรณ์ที่คุณต้องการสนับสนุนได้ นี่เป็นงานที่ซับซ้อน และสำหรับสถานการณ์เหล่านี้ คุณต้องถามคำถามมากมาย:

• ฉันจะใช้งานรุ่น ML บนอุปกรณ์ Edge ได้อย่างไร
• ฉันจะสร้าง เพิ่มประสิทธิภาพ และปรับใช้โมเดล ML กับอุปกรณ์ Edge หลายเครื่องได้อย่างไร
• ฉันจะรักษาความปลอดภัยให้กับโมเดลของฉันในขณะที่ใช้งานและใช้งานที่ Edge ได้อย่างไร
• ฉันจะตรวจสอบประสิทธิภาพของแบบจำลองและฝึกซ้ำได้อย่างไร หากจำเป็น
• ฉันจะขจัดความจำเป็นในการติดตั้งเฟรมเวิร์กขนาดใหญ่ เช่น TensorFlow หรือ PyTorch บนอุปกรณ์ที่ถูกจำกัดได้อย่างไร
• ฉันจะเปิดเผยหนึ่งหรือหลายรุ่นด้วยแอพพลิเคชั่น edge เป็น API อย่างง่ายได้อย่างไร
• ฉันจะสร้างชุดข้อมูลใหม่พร้อมเพย์โหลดและการคาดการณ์ที่อุปกรณ์ Edge จับได้อย่างไร
• ฉันจะทำงานเหล่านี้โดยอัตโนมัติได้อย่างไร (MLOps plus ML@Edge)

ในส่วนถัดไป เราจะให้คำตอบสำหรับคำถามเหล่านี้ทั้งหมดผ่านกรณีการใช้งานตัวอย่างและสถาปัตยกรรมอ้างอิง นอกจากนี้เรายังหารือเกี่ยวกับบริการของ AWS ที่คุณสามารถรวมกันเพื่อสร้างโซลูชันที่สมบูรณ์สำหรับแต่ละสถานการณ์ที่สำรวจได้ อย่างไรก็ตาม หากคุณต้องการเริ่มต้นด้วยโฟลว์ง่ายๆ ที่อธิบายวิธีใช้บริการบางอย่างที่ AWS จัดหาให้เพื่อสร้างโซลูชัน ML@Edge ของคุณ นี่คือตัวอย่าง:

ด้วย SageMaker คุณสามารถเตรียมชุดข้อมูลและสร้างโมเดล ML ที่ปรับใช้กับอุปกรณ์ Edge ได้อย่างง่ายดาย กับ Amazon SageMaker นีโอคุณสามารถรวบรวมและปรับแต่งโมเดลที่คุณฝึกให้เหมาะกับอุปกรณ์ขอบเฉพาะที่คุณเลือกได้ หลังจากคอมไพล์โมเดลแล้ว คุณเพียงแค่ต้องการรันไทม์แบบเบาเพื่อรันโมเดล (ให้บริการโดยบริการ) ผู้จัดการ Amazon SageMaker Edge มีหน้าที่จัดการวงจรชีวิตของ ML รุ่นต่างๆ ที่ปรับใช้กับกลุ่มอุปกรณ์ Edge ของคุณ Edge Manager สามารถจัดการกลุ่มอุปกรณ์ได้มากถึงล้านเครื่อง เอเจนต์ซึ่งติดตั้งอยู่ในอุปกรณ์เอดจ์แต่ละอัน จะเปิดเผยโมเดล ML ที่ปรับใช้เป็น API ให้กับแอปพลิเคชัน เอเจนต์ยังมีหน้าที่รับผิดชอบในการรวบรวมเมทริก เพย์โหลด และการคาดการณ์ที่คุณสามารถใช้สำหรับการตรวจสอบหรือสร้างชุดข้อมูลใหม่เพื่อฝึกโมเดลใหม่ หากจำเป็น สุดท้ายกับ ท่อส่ง Amazon SageMakerคุณสามารถสร้างไปป์ไลน์อัตโนมัติพร้อมขั้นตอนทั้งหมดที่จำเป็นในการสร้าง เพิ่มประสิทธิภาพ และปรับใช้โมเดล ML กับกลุ่มอุปกรณ์ของคุณ ไปป์ไลน์อัตโนมัตินี้สามารถทริกเกอร์ได้โดยเหตุการณ์ง่ายๆ ที่คุณกำหนด โดยไม่ต้องมีการแทรกแซงจากมนุษย์

ใช้กรณี 1

สมมติว่าผู้ผลิตเครื่องบินต้องการตรวจจับและติดตามชิ้นส่วนและเครื่องมือในโรงเก็บเครื่องบิน ในการปรับปรุงประสิทธิภาพการผลิต วิศวกรต้องมีชิ้นส่วนที่จำเป็นและเครื่องมือที่ถูกต้องครบถ้วนในแต่ละขั้นตอนของการผลิต เราต้องการที่จะสามารถตอบคำถามเช่น: ส่วน A อยู่ที่ไหน? หรือเครื่องมือ B อยู่ที่ไหน? เรามีกล้อง IP หลายตัวติดตั้งไว้แล้วและเชื่อมต่อกับเครือข่ายท้องถิ่น กล้องครอบคลุมทั้งโรงเก็บเครื่องบินและสามารถสตรีมวิดีโอ HD แบบเรียลไทม์ผ่านเครือข่ายได้

AWS พาโนรามา เข้ากันได้ดีในกรณีนี้ AWS Panorama มีอุปกรณ์ ML และบริการที่มีการจัดการที่ช่วยให้คุณสามารถเพิ่ม Computer Vision (CV) ให้กับกลุ่มกล้อง IP ที่มีอยู่และทำให้เป็นระบบอัตโนมัติได้ AWS Panorama ให้คุณเพิ่ม CV ให้กับกล้อง Internet Protocol (IP) ที่มีอยู่และทำให้งานอัตโนมัติซึ่งปกติแล้วต้องมีการตรวจสอบและติดตามโดยมนุษย์

ในสถาปัตยกรรมอ้างอิงต่อไปนี้ เราแสดงองค์ประกอบหลักของแอปพลิเคชันที่ทำงานบน AWS Panorama Appliance Panorama Application SDK ทำให้ง่ายต่อการจับภาพวิดีโอจากสตรีมของกล้อง ทำการอนุมานด้วยไปป์ไลน์ของ ML หลายรุ่น และประมวลผลผลลัพธ์โดยใช้โค้ด Python ที่ทำงานอยู่ภายในคอนเทนเนอร์ คุณสามารถเรียกใช้โมเดลจากไลบรารี ML ยอดนิยม เช่น TensorFlow, PyTorch หรือ TensorRT ผลลัพธ์จากโมเดลสามารถรวมเข้ากับระบบธุรกิจบนเครือข่ายท้องถิ่นของคุณได้ ช่วยให้คุณตอบสนองต่อเหตุการณ์ได้แบบเรียลไทม์

การแก้ปัญหาประกอบด้วยขั้นตอนต่อไปนี้:

1. เชื่อมต่อและกำหนดค่าอุปกรณ์ AWS Panorama กับเครือข่ายท้องถิ่นเดียวกัน
2. ฝึกโมเดล ML (การตรวจจับวัตถุ) เพื่อระบุชิ้นส่วนและเครื่องมือในแต่ละเฟรม
3. สร้างแอปพลิเคชัน AWS Panorama ที่ได้รับการคาดการณ์จากโมเดล ML ใช้กลไกการติดตามกับแต่ละออบเจกต์ และส่งผลไปยังฐานข้อมูลแบบเรียลไทม์
4. ตัวดำเนินการสามารถส่งคำถามไปยังฐานข้อมูลเพื่อค้นหาชิ้นส่วนและเครื่องมือ

ใช้กรณี 2

สำหรับกรณีการใช้งานครั้งต่อไป ลองนึกภาพว่าเรากำลังสร้างกล้องติดรถยนต์สำหรับรถยนต์ที่สามารถรองรับคนขับได้ในหลายสถานการณ์ เช่น การหลีกเลี่ยงคนเดินถนน บอร์ด CV25 จาก Ambaralla. การโฮสต์โมเดล ML บนอุปกรณ์ที่มีทรัพยากรระบบจำกัดอาจเป็นเรื่องยาก ในกรณีนี้ สมมติว่าเรามีกลไกการจัดส่งแบบ over-the-air (OTA) ที่เป็นที่ยอมรับอยู่แล้วในการปรับใช้ส่วนประกอบแอปพลิเคชันที่จำเป็นสำหรับอุปกรณ์ Edge อย่างไรก็ตาม เรายังคงได้รับประโยชน์จากความสามารถในการปรับใช้ OTA ของตัวแบบเอง ดังนั้นจึงแยกวงจรชีวิตของแอปพลิเคชันและวงจรชีวิตของโมเดล

ผู้จัดการ Amazon SageMaker Edge และ Amazon SageMaker นีโอ เหมาะสมดีสำหรับกรณีการใช้งานนี้

Edge Manager ช่วยให้นักพัฒนา ML edge ใช้เครื่องมือที่คุ้นเคยในระบบคลาวด์หรืออุปกรณ์ Edge ได้อย่างง่ายดาย ช่วยลดเวลาและความพยายามในการนำโมเดลไปสู่การผลิต ขณะที่ช่วยให้คุณตรวจสอบและปรับปรุงคุณภาพของโมเดลได้อย่างต่อเนื่องในกลุ่มอุปกรณ์ของคุณ SageMaker Edge มีกลไกการปรับใช้ OTA ที่ช่วยให้คุณปรับใช้โมเดลบนฟลีตโดยไม่ขึ้นกับแอพพลิเคชั่นหรือเฟิร์มแวร์ของอุปกรณ์ ดิ ตัวแทน Edge Manager ให้คุณรันได้หลายรุ่นในเครื่องเดียวกัน เอเจนต์รวบรวมข้อมูลการคาดการณ์ตามตรรกะที่คุณควบคุม เช่น ช่วงเวลา และอัปโหลดไปยังคลาวด์ เพื่อให้คุณสามารถฝึกโมเดลของคุณใหม่ได้เป็นระยะๆ เมื่อเวลาผ่านไป SageMaker Edge เซ็นชื่อโมเดลของคุณแบบเข้ารหัส เพื่อให้คุณสามารถตรวจสอบได้ว่าไม่มีการปลอมแปลงขณะย้ายจากคลาวด์ไปยังอุปกรณ์ Edge

Neo เป็นคอมไพเลอร์ในฐานะบริการและเหมาะสมอย่างยิ่งในกรณีการใช้งานนี้ Neo ปรับโมเดล ML ให้เหมาะสมโดยอัตโนมัติสำหรับการอนุมานบนอินสแตนซ์คลาวด์และอุปกรณ์ Edge เพื่อให้ทำงานเร็วขึ้นโดยไม่สูญเสียความแม่นยำ คุณเริ่มต้นด้วยโมเดล ML ที่สร้างขึ้นด้วยหนึ่งใน กรอบงานที่รองรับ และฝึกฝนใน SageMaker หรือที่อื่นๆ จากนั้นเลือกแพลตฟอร์มฮาร์ดแวร์เป้าหมายของคุณ (ดูรายการของ อุปกรณ์ที่รองรับ). ด้วยการคลิกเพียงครั้งเดียว Neo จะปรับโมเดลที่ได้รับการฝึกให้เหมาะสมและรวบรวมเป็นแพ็คเกจที่สามารถเรียกใช้ได้โดยใช้รันไทม์ SageMaker Edge ที่มีน้ำหนักเบา คอมไพเลอร์ใช้โมเดล ML เพื่อใช้การปรับแต่งประสิทธิภาพที่ดึงประสิทธิภาพที่ดีที่สุดสำหรับโมเดลของคุณบนอินสแตนซ์คลาวด์หรืออุปกรณ์ Edge จากนั้นคุณปรับใช้โมเดลเป็นจุดสิ้นสุด SageMaker หรือบนอุปกรณ์ Edge ที่รองรับและเริ่มคาดการณ์

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

เวิร์กโฟลว์โซลูชันประกอบด้วยขั้นตอนต่อไปนี้:

1. นักพัฒนาสร้าง ฝึกฝน ตรวจสอบ และสร้างสิ่งประดิษฐ์ของโมเดลขั้นสุดท้ายที่ต้องปรับใช้กับ dashcam
2. เรียกใช้ Neo เพื่อคอมไพล์โมเดลที่ผ่านการฝึกอบรม
3. เอเจนต์ SageMaker Edge ได้รับการติดตั้งและกำหนดค่าบนอุปกรณ์ Edge ในกรณีนี้คือ dashcam
4. สร้างแพ็คเกจการปรับใช้ด้วยโมเดลที่ลงนามและรันไทม์ที่ใช้โดยเอเจนต์ SageMaker Edge เพื่อโหลดและเรียกใช้โมเดลที่ปรับให้เหมาะสม
5. ปรับใช้แพ็คเกจโดยใช้กลไกการปรับใช้ OTA ที่มีอยู่
6. แอปพลิเคชัน edge โต้ตอบกับตัวแทน SageMaker Edge เพื่อทำการอนุมาน
7. สามารถกำหนดค่าเอเจนต์ (ถ้าจำเป็น) เพื่อส่งข้อมูลอินพุตตัวอย่างแบบเรียลไทม์จากแอปพลิเคชันเพื่อวัตถุประสงค์ในการตรวจสอบและปรับแต่งโมเดล

ใช้กรณี 3

สมมติว่าลูกค้าของคุณกำลังพัฒนาแอปพลิเคชันที่ตรวจจับความผิดปกติในกลไกของกังหันลม (เช่น กล่องเกียร์ เครื่องกำเนิดไฟฟ้า หรือโรเตอร์) เป้าหมายคือเพื่อลดความเสียหายของอุปกรณ์โดยใช้ขั้นตอนการป้องกันในพื้นที่ทันที กังหันเหล่านี้มีราคาแพงมากและตั้งอยู่ในที่ที่ไม่สามารถเข้าถึงได้ง่าย กังหันแต่ละตัวสามารถติดตั้งอุปกรณ์ NVIDIA Jetson เพื่อตรวจสอบข้อมูลเซ็นเซอร์จากกังหัน เราต้องการโซลูชันในการเก็บข้อมูลและใช้อัลกอริธึม ML เพื่อตรวจจับความผิดปกติ นอกจากนี้เรายังต้องการกลไก OTA เพื่อให้ซอฟต์แวร์และรุ่น ML บนอุปกรณ์เป็นปัจจุบันอยู่เสมอ

AWS IoT Greengrass V2 พร้อมกับ Edge Manager เข้ากันได้ดีในกรณีการใช้งานนี้ AWS IoT Greengrass เป็นโอเพ่นซอร์ส IoT edge รันไทม์และบริการคลาวด์ที่ช่วยให้คุณสร้าง ปรับใช้ และจัดการแอปพลิเคชัน IoT บนอุปกรณ์ของคุณ คุณสามารถใช้ AWS IoT Greengrass เพื่อสร้างแอปพลิเคชัน Edge โดยใช้โมดูลซอฟต์แวร์ที่สร้างไว้ล่วงหน้าซึ่งเรียกว่า ส่วนประกอบที่สามารถเชื่อมต่ออุปกรณ์ Edge ของคุณกับบริการของ AWS หรือบริการของบุคคลที่สาม ความสามารถของ AWS IoT Greengrass ทำให้ง่ายต่อการปรับใช้สินทรัพย์กับอุปกรณ์ ซึ่งรวมถึงตัวแทน SageMaker Edge AWS IoT Greengrass มีหน้าที่จัดการวงจรชีวิตของแอปพลิเคชัน ในขณะที่ Edge Manager จะแยกวงจรชีวิตของโมเดล ML สิ่งนี้ให้ความยืดหยุ่นแก่คุณในการพัฒนาโซลูชันทั้งหมดอย่างต่อเนื่องโดยปรับใช้เวอร์ชันใหม่ของแอปพลิเคชันขอบและรุ่น ML อย่างอิสระ ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

การแก้ปัญหาประกอบด้วยขั้นตอนต่อไปนี้:

1. นักพัฒนาสร้าง ฝึกฝน ตรวจสอบ และสร้างแบบจำลองขั้นสุดท้ายที่ต้องปรับใช้กับกังหันลม
2. เรียกใช้ Neo เพื่อคอมไพล์โมเดลที่ผ่านการฝึกอบรม
3. สร้างส่วนประกอบโมเดลโดยใช้ Edge Manager ด้วยการผสานรวม AWS IoT Greengrass V2
4. ตั้งค่า AWS IoT Greengrass V2
5. สร้างองค์ประกอบการอนุมานโดยใช้ AWS IoT Greengrass V2
6. แอปพลิเคชัน edge โต้ตอบกับตัวแทน SageMaker Edge เพื่อทำการอนุมาน
7. สามารถกำหนดค่าเอเจนต์ (ถ้าจำเป็น) เพื่อส่งข้อมูลอินพุตตัวอย่างแบบเรียลไทม์จากแอปพลิเคชันเพื่อวัตถุประสงค์ในการตรวจสอบและปรับแต่งโมเดล

ใช้กรณี 4

สำหรับกรณีการใช้งานขั้นสุดท้ายของเรา มาดูเรือขนส่งคอนเทนเนอร์ ซึ่งแต่ละคอนเทนเนอร์มีเซ็นเซอร์สองสามตัวและสตรีมสัญญาณไปยังโครงสร้างพื้นฐานด้านการประมวลผลและการจัดเก็บข้อมูลที่ปรับใช้ในพื้นที่ ความท้าทายคือเราต้องการทราบเนื้อหาของภาชนะแต่ละใบ และสภาพของสินค้าตามอุณหภูมิ ความชื้น และก๊าซภายในภาชนะแต่ละใบ นอกจากนี้เรายังต้องการติดตามสินค้าทั้งหมดในตู้คอนเทนเนอร์แต่ละตู้ ไม่มีการเชื่อมต่ออินเทอร์เน็ตตลอดการเดินทาง และการเดินทางอาจใช้เวลาหลายเดือน โมเดล ML ที่ทำงานบนโครงสร้างพื้นฐานนี้ควรประมวลผลข้อมูลล่วงหน้าและสร้างข้อมูลเพื่อตอบคำถามของเราทั้งหมด ข้อมูลที่สร้างขึ้นจะต้องเก็บไว้ในเครื่องเป็นเวลาหลายเดือน แอปพลิเคชั่นขอบเก็บการอนุมานทั้งหมดในฐานข้อมูลท้องถิ่นแล้วซิงโครไนซ์ผลลัพธ์กับคลาวด์เมื่อเรือเข้าใกล้ท่าเรือ

AWS สโนว์โคน และ AWS สโนว์บอล จาก ครอบครัว AWS Snow สามารถเข้ากันได้ดีมากในกรณีการใช้งานนี้

AWS Snowcone เป็นอุปกรณ์ประมวลผลและย้ายข้อมูลขนาดเล็ก ทนทาน และปลอดภัย Snowcone ได้รับการออกแบบตามมาตรฐาน OSHA สำหรับอุปกรณ์ที่ยกได้คนเดียว Snowcone ช่วยให้คุณเรียกใช้งานขอบโดยใช้ อเมซอน อีลาสติก คอมพิวท์ คลาวด์ การประมวลผล (Amazon EC2) และการจัดเก็บในพื้นที่ในสภาพแวดล้อมภาคสนามที่ไม่เอื้ออำนวย เช่น แท่นขุดเจาะน้ำมัน รถค้นหาและกู้ภัย พื้นที่ทางทหาร หรือพื้นโรงงาน ตลอดจนสำนักงานระยะไกล โรงพยาบาล และโรงภาพยนตร์

Snowball ช่วยเพิ่มการประมวลผลเมื่อเปรียบเทียบกับ Snowcone ดังนั้นจึงอาจเหมาะสำหรับการใช้งานที่มีความต้องการมากกว่า ฟีเจอร์ Compute Optimized ให้ตัวเลือก NVIDIA Tesla V100 GPU พร้อมกับอินสแตนซ์ EC2 เพื่อเร่งประสิทธิภาพของแอปพลิเคชันในสภาพแวดล้อมที่ไม่ได้เชื่อมต่อ ด้วยตัวเลือก GPU คุณสามารถเรียกใช้แอปพลิเคชันต่างๆ เช่น ML ขั้นสูงและการวิเคราะห์วิดีโอแบบเคลื่อนไหวเต็มรูปแบบในสภาพแวดล้อมที่มีการเชื่อมต่อเพียงเล็กน้อยหรือไม่มีเลย

ด้านบนของอินสแตนซ์ EC2 คุณมีอิสระในการสร้างและปรับใช้โซลูชัน Edge ประเภทใดก็ได้ ตัวอย่างเช่น คุณสามารถใช้ อเมซอน อีซีเอส หรือตัวจัดการคอนเทนเนอร์อื่น ๆ เพื่อปรับใช้แอพพลิเคชั่น Edge, Edge Manager Agent และโมเดล ML เป็นคอนเทนเนอร์เดี่ยว สถาปัตยกรรมนี้จะคล้ายกับ Use Case 2 (ยกเว้นว่าจะทำงานแบบออฟไลน์เกือบตลอดเวลา) ด้วยการเพิ่มเครื่องมือจัดการคอนเทนเนอร์

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมโซลูชันนี้

ในการใช้โซลูชันนี้ เพียงสั่งซื้ออุปกรณ์ Snow ของคุณจาก คอนโซลการจัดการ AWS และเปิดทรัพยากรของคุณ

สรุป

ในบทความนี้ เราได้พูดถึงแง่มุมต่างๆ ของ edge ที่คุณอาจเลือกใช้ตามกรณีการใช้งานของคุณ นอกจากนี้เรายังได้พูดคุยถึงแนวคิดหลักบางประการเกี่ยวกับ ML@Edge และวิธีที่การแยกวงจรชีวิตของแอปพลิเคชันและวงจรชีวิตของแบบจำลอง ML ให้อิสระแก่คุณในการพัฒนาสิ่งเหล่านี้โดยไม่ต้องพึ่งพากันและกัน เราเน้นว่าการเลือกอุปกรณ์ Edge ที่เหมาะสมกับปริมาณงานของคุณและการถามคำถามที่ถูกต้องในระหว่างขั้นตอนโซลูชันสามารถช่วยให้คุณทำงานย้อนหลังและจำกัดขอบเขตบริการของ AWS ที่เหมาะสมได้อย่างไร นอกจากนี้เรายังนำเสนอกรณีการใช้งานที่แตกต่างกันพร้อมกับสถาปัตยกรรมอ้างอิงเพื่อสร้างแรงบันดาลใจให้คุณสร้างโซลูชันของคุณเองซึ่งจะใช้ได้กับปริมาณงานของคุณ

---

เกี่ยวกับผู้เขียน

ดิเนช กุมาร สุพรหมมานี เป็น Senior Solutions Architect กับทีม UKIR SMB ซึ่งตั้งอยู่ในเมืองเอดินบะระ ประเทศสกอตแลนด์ เขาเชี่ยวชาญด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง Dinesh สนุกกับการทำงานร่วมกับลูกค้าในอุตสาหกรรมต่างๆ เพื่อช่วยแก้ปัญหาด้วยบริการของ AWS นอกที่ทำงาน เขาชอบใช้เวลาอยู่กับครอบครัว เล่นหมากรุก และเพลิดเพลินกับดนตรีหลากหลายแนว

ซามีร์ อาเราโจ เป็นสถาปนิกโซลูชัน AI/ML ที่ AWS เขาช่วยลูกค้าสร้างโซลูชัน AI/ML ซึ่งแก้ปัญหาทางธุรกิจโดยใช้ AWS เขาเคยทำงานในโครงการ AI/ML หลายโครงการที่เกี่ยวข้องกับการมองเห็นด้วยคอมพิวเตอร์ การประมวลผลภาษาธรรมชาติ การพยากรณ์ ML ที่ขอบ และอีกมากมาย เขาชอบเล่นโปรเจ็กต์ฮาร์ดแวร์และระบบอัตโนมัติในเวลาว่าง และมีความสนใจเป็นพิเศษในด้านวิทยาการหุ่นยนต์

• คอยน์สมาร์ท การแลกเปลี่ยน Bitcoin และ Crypto ที่ดีที่สุดในยุโรป
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าฟรี
• คริปโตฮอว์ก เรดาร์ Altcoin ทดลองฟรี.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-cases/