CCC Intelligent Solutions สร้างวิธีการแบบกำหนดเองสำหรับการโฮสต์โมเดล AI ที่ซับซ้อนโดยใช้ Amazon SageMaker ได้อย่างไร

โพสต์นี้ร่วมเขียนโดย Christopher Diaz, Sam Kinard, Jaime Hidalgo และ Daniel Suarez จาก CCC Intelligent Solutions

ในโพสต์นี้เราจะพูดถึงวิธีการ CCC โซลูชั่นอัจฉริยะ (ป.ป.ช.) รวมกัน อเมซอน SageMaker กับบริการอื่นๆ ของ AWS เพื่อสร้างโซลูชันแบบกำหนดเองที่สามารถโฮสต์ประเภทของโมเดลปัญญาประดิษฐ์ (AI) ที่ซับซ้อนตามที่จินตนาการไว้ CCC เป็นแพลตฟอร์มซอฟต์แวร์-as-a-service (SaaS) ชั้นนำสำหรับทรัพย์สินมูลค่าหลายล้านล้านดอลลาร์และการประกันวินาศภัยที่ขับเคลื่อนการดำเนินงานสำหรับผู้ประกัน ผู้ซ่อม ผู้ผลิตรถยนต์ ผู้จัดหาชิ้นส่วน ผู้ให้กู้ และอื่นๆ เทคโนโลยีคลาวด์ CCC เชื่อมต่อธุรกิจมากกว่า 30,000 แห่งโดยเปลี่ยนเวิร์กโฟลว์ที่มีความสำคัญต่อภารกิจ การค้า และประสบการณ์ของลูกค้าให้เป็นดิจิทัล ผู้นำที่เชื่อถือได้ในด้าน AI, Internet of Things (IoT), ประสบการณ์ของลูกค้า และเครือข่ายและการจัดการเวิร์กโฟลว์ CCC นำเสนอนวัตกรรมที่ช่วยให้ชีวิตของผู้คนก้าวไปข้างหน้าในเวลาที่สำคัญที่สุด

ความท้าทาย

CCC ประมวลผลธุรกรรมเรียกร้องมากกว่า 1 ล้านล้านดอลลาร์ต่อปี ในขณะที่บริษัทยังคงพัฒนาอย่างต่อเนื่องเพื่อรวม AI เข้ากับแคตตาล็อกผลิตภัณฑ์ที่มีอยู่และใหม่ สิ่งนี้ต้องการแนวทางที่ซับซ้อนในการฝึกอบรมและปรับใช้โมเดลชุดการเรียนรู้ของเครื่องแบบมัลติโมดอล (ML) เพื่อแก้ปัญหาความต้องการทางธุรกิจที่ซับซ้อน สิ่งเหล่านี้เป็นแบบจำลองระดับหนึ่งที่รวบรวมอัลกอริทึมที่เป็นกรรมสิทธิ์และความเชี่ยวชาญเฉพาะเรื่องที่ CCC ได้ฝึกฝนมาเป็นเวลาหลายปี โมเดลเหล่านี้ควรสามารถนำเข้าเลเยอร์ใหม่ของข้อมูลที่แตกต่างกันเล็กน้อยและกฎของลูกค้าเพื่อสร้างผลลัพธ์การคาดคะเนเดี่ยว ในบล็อกโพสต์นี้ เราจะเรียนรู้วิธีที่ CCC ใช้ประโยชน์จากการโฮสต์ Amazon SageMaker และบริการอื่นๆ ของ AWS เพื่อปรับใช้หรือโฮสต์โมเดลหลายโมดอลหลายตัวในไปป์ไลน์การอนุมานทั้งมวล

ดังที่แสดงในไดอะแกรมต่อไปนี้ ensemble คือชุดของโมเดลตั้งแต่สองโมเดลขึ้นไปที่ได้รับการจัดเตรียมให้ทำงานในลักษณะเชิงเส้นหรือไม่เชิงเส้นเพื่อสร้างการทำนายเดียว เมื่อวางซ้อนกันแบบเชิงเส้น แบบจำลองแต่ละแบบของทั้งมวลสามารถเรียกใช้ได้โดยตรงสำหรับการคาดการณ์และนำมารวมเข้าด้วยกันในภายหลัง ในบางครั้ง แบบจำลองทั้งมวลยังสามารถนำไปใช้เป็นไปป์ไลน์การอนุมานแบบอนุกรมได้อีกด้วย

สำหรับกรณีการใช้งานของเรา ท่อทั้งมวลนั้นไม่เชิงเส้นอย่างเคร่งครัด ดังที่อธิบายไว้ในแผนภาพต่อไปนี้ ไปป์ไลน์ทั้งมวลแบบไม่เชิงเส้นเป็นกราฟอะไซคลิกโดยตรงในทางทฤษฎี (DAG) สำหรับกรณีการใช้งานของเรา ไปป์ไลน์ DAG นี้มีทั้งโมเดลอิสระที่ทำงานพร้อมกัน (บริการ B, C) และโมเดลอื่นๆ ที่ใช้การคาดการณ์จากขั้นตอนก่อนหน้า (บริการ D)

แนวทางปฏิบัติที่มาจากวัฒนธรรมที่ขับเคลื่อนด้วยการวิจัยของ CCC คือการทบทวนเทคโนโลยีอย่างต่อเนื่องที่สามารถใช้ประโยชน์เพื่อเพิ่มมูลค่าให้กับลูกค้า เมื่อ CCC เผชิญกับความท้าทายทั้งมวลนี้ ผู้นำจึงเปิดตัวโครงการพิสูจน์แนวคิด (POC) เพื่อประเมินข้อเสนอจาก AWS อย่างละเอียด เพื่อค้นหาว่า Amazon SageMaker และเครื่องมือ AWS อื่นๆ สามารถจัดการการโฮสต์โมเดล AI แต่ละตัวที่ซับซ้อนและไม่เชิงเส้นได้หรือไม่ วงดนตรี

วงดนตรีอธิบายว่า: ในบริบทนี้ วงดนตรีคือกลุ่มของโมเดล AI 2 โมเดลขึ้นไปที่ทำงานร่วมกันเพื่อสร้างการคาดการณ์โดยรวม 1 รายการ

คำถามที่ขับเคลื่อนการวิจัย

สามารถใช้ Amazon SageMaker เพื่อโฮสต์โมเดล AI ที่ซับซ้อนซึ่งทำงานร่วมกันเพื่อให้การคาดการณ์โดยรวมเป็นหนึ่งเดียวได้หรือไม่ หากเป็นเช่นนั้น SageMaker สามารถนำเสนอประโยชน์อื่นๆ นอกกรอบ เช่น ระบบอัตโนมัติที่เพิ่มขึ้น ความน่าเชื่อถือ การตรวจสอบ การปรับขนาดอัตโนมัติ และการวัดผลที่ประหยัดต้นทุนได้หรือไม่

การค้นหาทางเลือกอื่นในการปรับใช้โมเดล AI ของ CCC โดยใช้ความก้าวหน้าทางเทคโนโลยีจากผู้ให้บริการระบบคลาวด์จะช่วยให้ CCC สามารถนำโซลูชัน AI ออกสู่ตลาดได้เร็วกว่าคู่แข่ง นอกจากนี้ การมีสถาปัตยกรรมการปรับใช้มากกว่าหนึ่งแบบยังให้ความยืดหยุ่นในการค้นหาความสมดุลระหว่างต้นทุนและประสิทธิภาพตามลำดับความสำคัญของธุรกิจ

ตามความต้องการของเรา เราได้สรุปรายการคุณลักษณะต่อไปนี้เป็นรายการตรวจสอบสำหรับสถาปัตยกรรมการปรับใช้ระดับการผลิต:

• รองรับวงดนตรีที่ซับซ้อน
• รับประกันเวลาทำงานสำหรับส่วนประกอบทั้งหมด
• การปรับขนาดอัตโนมัติที่ปรับแต่งได้สำหรับโมเดล AI ที่ปรับใช้
• การเก็บรักษาอินพุตและเอาต์พุตของโมเดล AI
• เมตริกการใช้งานและบันทึกสำหรับส่วนประกอบทั้งหมด
• กลไกการประหยัดต้นทุน

เนื่องจากโซลูชัน AI ของ CCC ส่วนใหญ่ใช้โมเดลการมองเห็นของคอมพิวเตอร์ จึงจำเป็นต้องมีสถาปัตยกรรมใหม่เพื่อรองรับไฟล์รูปภาพและวิดีโอที่มีความละเอียดเพิ่มขึ้นอย่างต่อเนื่อง มีความจำเป็นอย่างมากในการออกแบบและนำสถาปัตยกรรมนี้ไปใช้ในรูปแบบอะซิงโครนัส

หลังจากวัฏจักรของการวิจัยและความพยายามในการเทียบมาตรฐานขั้นต้น CCC พิจารณาว่า SageMaker เหมาะสมอย่างยิ่งที่จะตอบสนองความต้องการด้านการผลิตส่วนใหญ่ โดยเฉพาะอย่างยิ่งการรับประกันเวลาพร้อมใช้งานที่รับประกันว่า SageMaker จัดเตรียมไว้สำหรับส่วนประกอบการอนุมานส่วนใหญ่ คุณลักษณะเริ่มต้นของตำแหน่งข้อมูลการอนุมานแบบ Asynchronous ของ Amazon SageMaker การบันทึกอินพุต/เอาต์พุตใน Amazon S3 ช่วยลดความซับซ้อนของงานในการเก็บรักษาข้อมูลที่สร้างจากชุดคำสั่งที่ซับซ้อน นอกจากนี้ เมื่อแต่ละโมเดล AI ถูกโฮสต์โดยจุดสิ้นสุดของตัวเอง การจัดการนโยบายการปรับขนาดอัตโนมัติที่ระดับโมเดลหรือจุดสิ้นสุดจะง่ายขึ้น ด้วยการทำให้การจัดการง่ายขึ้น ประโยชน์ที่เป็นไปได้ในการประหยัดต้นทุนจากสิ่งนี้คือทีมพัฒนาสามารถจัดสรรเวลามากขึ้นในการปรับแต่งนโยบายการปรับสเกลเพื่อลดการจัดสรรทรัพยากรการประมวลผลมากเกินไป

หลังจากตัดสินใจใช้ SageMaker เป็นองค์ประกอบสำคัญของสถาปัตยกรรมแล้ว เรายังตระหนักว่า SageMaker สามารถเป็นส่วนหนึ่งของสถาปัตยกรรมที่ใหญ่ขึ้นได้ เสริมด้วยบริการที่จัดการโดย AWS แบบไร้เซิร์ฟเวอร์อื่นๆ อีกมากมาย ตัวเลือกนี้จำเป็นเพื่ออำนวยความสะดวกในการจัดลำดับขั้นสูงและความต้องการในการสังเกตของสถาปัตยกรรมที่ซับซ้อนนี้

ประการแรก เพื่อขจัดข้อจำกัดด้านขนาดของเพย์โหลดและลดความเสี่ยงของการหมดเวลาระหว่างสถานการณ์ที่มีการจราจรหนาแน่น CCC ได้นำสถาปัตยกรรมที่รันการคาดคะเนแบบอะซิงโครนัสไปใช้ จุดสิ้นสุดการอนุมานแบบอะซิงโครนัสของ SageMaker ร่วมกับบริการอื่นๆ ที่จัดการโดย AWS เป็นองค์ประกอบหลัก นอกจากนี้ ส่วนต่อประสานผู้ใช้สำหรับระบบยังเป็นไปตามรูปแบบการออกแบบที่ไม่ใช้แล้วลืม กล่าวอีกนัยหนึ่ง เมื่อผู้ใช้อัปโหลดอินพุตของตนไปยังระบบแล้ว ก็ไม่จำเป็นต้องทำอะไรอีก พวกเขาจะได้รับแจ้งเมื่อมีการทำนาย รูปภาพด้านล่างแสดงภาพรวมระดับสูงของสถาปัตยกรรมที่ขับเคลื่อนด้วยเหตุการณ์แบบอะซิงโครนัส ในส่วนถัดไป ให้เราดำดิ่งสู่ขั้นตอนการดำเนินงานของสถาปัตยกรรมที่ออกแบบ

วิธีแก้ปัญหาทีละขั้นตอน

ขั้นตอนที่ 1

ลูกค้าทำการร้องขอไปที่ เกตเวย์ AWS API จุดสิ้นสุด เนื้อหาของคำขอประกอบด้วยชื่อของบริการ AI ที่พวกเขาต้องการการคาดคะเนและวิธีการแจ้งเตือนที่ต้องการ

คำขอนี้ถูกส่งไปยัง แลมบ์ดา ฟังก์ชันที่เรียกว่า การทำนายใหม่ ซึ่งมีภารกิจหลักคือ:

• ตรวจสอบว่ามีบริการที่ลูกค้าร้องขอหรือไม่
• กำหนด ID การคาดคะเนที่ไม่ซ้ำให้กับคำขอ ผู้ใช้สามารถใช้ ID การคาดการณ์นี้เพื่อตรวจสอบสถานะของการคาดคะเนตลอดทั้งกระบวนการทั้งหมด
• สร้างและ Amazon S3 URL ที่ลงนามล่วงหน้าซึ่งผู้ใช้จะต้องใช้ในขั้นตอนถัดไปเพื่ออัปโหลดเนื้อหาอินพุตของคำขอการคาดคะเน
• สร้างรายการใน อเมซอน ไดนาโมดีบี พร้อมข้อมูลคำขอที่ได้รับ

จากนั้น ฟังก์ชัน Lambda จะส่งคืนการตอบกลับผ่านตำแหน่งข้อมูลเกตเวย์ API พร้อมข้อความที่มี ID การคาดคะเนที่กำหนดให้กับคำขอและ URL ที่ลงนามล่วงหน้าของ Amazon S3

ขั้นตอนที่ 2

ไคลเอนต์อัปโหลดเนื้อหาอินพุตการคาดคะเนอย่างปลอดภัยไปยังบัคเก็ต S3 โดยใช้ URL ที่ลงนามล่วงหน้าซึ่งสร้างในขั้นตอนก่อนหน้า เนื้อหาที่ป้อนขึ้นอยู่กับบริการ AI และสามารถประกอบด้วยรูปภาพ ข้อมูลแบบตาราง หรือทั้งสองอย่างรวมกัน

ขั้นตอนที่ 3

บัคเก็ต S3 ได้รับการกำหนดค่าให้ทริกเกอร์เหตุการณ์เมื่อผู้ใช้อัปโหลดเนื้อหาอินพุต การแจ้งเตือนนี้ถูกส่งไปยังคิว Amazon SQS และจัดการโดยฟังก์ชัน Lambda ที่เรียก ป้อนข้อมูลกระบวนการ. ป้อนข้อมูลกระบวนการ Lambda จะได้รับข้อมูลที่เกี่ยวข้องกับ ID การคาดคะเนนั้นจาก DynamoDB เพื่อรับชื่อของบริการที่จะร้องขอ

บริการนี้สามารถเป็นแบบ AI เดียว ซึ่งในกรณีนี้ ป้อนข้อมูลกระบวนการ Lambda จะส่งคำขอไปยังตำแหน่งข้อมูล SageMaker ที่โฮสต์โมเดลนั้น (ขั้นตอนที่ 3-A) หรืออาจเป็นบริการ AI แบบรวม ซึ่งในกรณีนี้ ป้อนข้อมูลกระบวนการ แลมบ์ดาจะส่งคำขอไปยังเครื่องสถานะของฟังก์ชันขั้นตอนที่โฮสต์ตรรกะทั้งมวล (ขั้นตอนที่ 3-B)

ในตัวเลือกใดตัวเลือกหนึ่ง (โมเดล AI เดี่ยวหรือบริการ AI ทั้งชุด) เมื่อการคาดการณ์ขั้นสุดท้ายพร้อม ระบบจะจัดเก็บไว้ในบัคเก็ต S3 ที่เหมาะสม และผู้โทรจะได้รับแจ้งผ่านวิธีการที่ระบุในขั้นตอนที่ 1 (รายละเอียดเพิ่มเติมเกี่ยวกับการแจ้งเตือนในขั้นตอนที่ 4).

ขั้นตอนที่ 3-A

หากรหัสการคาดการณ์เชื่อมโยงกับโมเดล AI เดียว ป้อนข้อมูลกระบวนการ Lambda จะส่งคำขอไปยังตำแหน่งข้อมูล SageMaker ที่ให้บริการโมเดล ในระบบนี้ รองรับตำแหน่งข้อมูล SageMaker สองประเภท:

• ไม่ตรงกัน: ป้อนข้อมูลกระบวนการ Lambda ทำการร้องขอไปยังจุดสิ้นสุดแบบอะซิงโครนัสของ SageMaker การตอบสนองทันทีรวมถึงตำแหน่ง S3 ที่ SageMaker จะบันทึกผลลัพธ์การคาดคะเน คำขอนี้เป็นแบบอะซิงโครนัส เป็นไปตามรูปแบบ fire-and-forget และไม่ได้ปิดกั้นโฟลว์การดำเนินการของฟังก์ชัน Lambda
• พร้อมกัน: ป้อนข้อมูลกระบวนการ Lambda ส่งคำขอไปยังปลายทางแบบซิงโครนัสของ SageMaker เนื่องจากเป็นคำขอแบบซิงโครนัส อินพุตกระบวนการจะรอการตอบกลับ และเมื่อได้รับแล้ว ก็จะจัดเก็บไว้ใน S3 ในรูปแบบอะนาล็อกที่ปลายทางแบบอะซิงโครนัสของ SageMaker จะทำ

ในทั้งสองกรณี (ปลายทางแบบซิงโครนัสหรืออะซิงโครนัส) การคาดคะเนจะได้รับการประมวลผลด้วยวิธีที่เทียบเท่ากัน โดยจัดเก็บเอาต์พุตไว้ในบัคเก็ต S3 เมื่อตำแหน่งข้อมูล SageMaker แบบอะซิงโครนัสเสร็จสิ้นการคาดคะเน เหตุการณ์ Amazon SNS จะถูกทริกเกอร์ ลักษณะการทำงานนี้ยังจำลองสำหรับจุดสิ้นสุดแบบซิงโครนัสด้วยตรรกะเพิ่มเติมในฟังก์ชัน Lambda

ขั้นตอนที่ 3-B

หาก ID การคาดคะเนเชื่อมโยงกับ AI ensemble ป้อนข้อมูลกระบวนการ แลมบ์ดาจะส่งคำขอไปยังฟังก์ชันขั้นตอนที่เกี่ยวข้องกับ AI Ensemble นั้น ตามที่กล่าวไว้ข้างต้น AI Ensemble เป็นสถาปัตยกรรมที่อิงตามกลุ่มของโมเดล AI ที่ทำงานร่วมกันเพื่อสร้างการคาดการณ์โดยรวมเดียว การประสานกันของชุด AI ทำได้ผ่านฟังก์ชันขั้นตอน

ฟังก์ชันขั้นตอนมีหนึ่งขั้นตอนต่อบริการ AI ที่ประกอบด้วยทั้งมวล แต่ละขั้นตอนจะเรียกใช้ฟังก์ชัน Lambda ที่จะเตรียมอินพุตของบริการ AI ที่สอดคล้องกันโดยใช้การผสมผสานเนื้อหาเอาต์พุตที่แตกต่างกันจากการเรียกบริการ AI ก่อนหน้าของขั้นตอนก่อนหน้า จากนั้นจะทำการเรียกไปยังบริการ AI แต่ละรายการ ซึ่งในบริบทนี้อาจเป็นโมเดล AI เดียวหรือกลุ่ม AI อื่นก็ได้

ฟังก์ชันแลมบ์ดาเดียวกันเรียกว่า GetTransformCall ใช้เพื่อจัดการกับการคาดการณ์ระดับกลางของ AI Ensemble จะใช้ตลอดทั้งฟังก์ชันขั้นตอน แต่มีพารามิเตอร์อินพุตที่แตกต่างกันสำหรับแต่ละขั้นตอน การป้อนข้อมูลนี้รวมถึงชื่อของบริการ AI ที่จะเรียก นอกจากนี้ยังรวมถึงข้อกำหนดการแมปเพื่อสร้างอินพุตสำหรับบริการ AI ที่ระบุ สิ่งนี้ทำได้โดยใช้ไวยากรณ์แบบกำหนดเองที่ Lambda สามารถถอดรหัสได้ ซึ่งโดยสรุปคือพจนานุกรม JSON ที่ควรแทนที่ค่าด้วยเนื้อหาจากการคาดคะเน AI ก่อนหน้านี้ Lambda จะดาวน์โหลดการคาดการณ์ก่อนหน้านี้จาก Amazon S3

ในแต่ละขั้นตอน GetTransformCall Lambda อ่านจาก Amazon S3 เอาต์พุตก่อนหน้าที่จำเป็นในการสร้างอินพุตของบริการ AI ที่ระบุ จากนั้นจะเรียกใช้ คำทำนายใหม่ โค้ดแลมบ์ดาที่ใช้ก่อนหน้านี้ในขั้นตอนที่ 1 และระบุชื่อบริการ วิธีการโทรกลับ (“ฟังก์ชันขั้นตอน”) และโทเค็นที่จำเป็นสำหรับการเรียกกลับในเพย์โหลดคำขอ ซึ่งจากนั้นจะบันทึกใน DynamoDB เป็นบันทึกการคาดการณ์ใหม่ นอกจากนี้ Lambda ยังจัดเก็บอินพุตที่สร้างขึ้นของสเตจนั้นไว้ในบัคเก็ต S3 ขึ้นอยู่กับว่าขั้นตอนนั้นเป็นโมเดล AI เดี่ยวหรือกลุ่ม AI Lambda จะส่งคำขอไปยังตำแหน่งข้อมูล SageMaker หรือฟังก์ชันขั้นตอนอื่นที่จัดการกลุ่ม AI ที่ขึ้นอยู่กับกลุ่มหลัก

เมื่อทำการร้องขอแล้ว ฟังก์ชัน step จะเข้าสู่สถานะรอดำเนินการจนกว่าจะได้รับโทเค็นการเรียกกลับซึ่งระบุว่าสามารถย้ายไปยังขั้นต่อไปได้ การส่งโทเค็นการโทรกลับดำเนินการโดยฟังก์ชันแลมบ์ดาที่เรียก การแจ้งเตือน (รายละเอียดเพิ่มเติมในขั้นตอนที่ 4) เมื่อการทำนายระดับกลางพร้อม กระบวนการนี้ซ้ำสำหรับแต่ละขั้นตอนที่กำหนดไว้ในฟังก์ชันขั้นตอนจนกว่าการทำนายขั้นสุดท้ายจะพร้อม

ขั้นตอนที่ 4

เมื่อการคาดการณ์พร้อมและจัดเก็บไว้ในบัคเก็ต S3 การแจ้งเตือน SNS จะเริ่มทำงาน เหตุการณ์นี้สามารถเรียกได้หลายวิธีขึ้นอยู่กับโฟลว์:

1. โดยอัตโนมัติเมื่อปลายทางแบบอะซิงโครนัสของ SageMaker เสร็จสิ้นการคาดคะเน
2. เป็นขั้นตอนสุดท้ายของฟังก์ชันขั้นตอน
3. By ป้อนข้อมูลกระบวนการ or GetTransformCall Lambda เมื่อปลายทาง SageMaker แบบซิงโครนัสส่งคืนการคาดคะเน

สำหรับ B และ C เราสร้างข้อความ SNS ที่คล้ายกับที่ A ส่งโดยอัตโนมัติ

ฟังก์ชัน Lambda ที่เรียกว่าการแจ้งเตือนสมัครรับข้อมูลในหัวข้อ SNS นี้ การแจ้งเตือน Lambda จะได้รับข้อมูลที่เกี่ยวข้องกับรหัสการคาดการณ์จาก DynamoDB อัปเดตรายการด้วยค่าสถานะเป็น "เสร็จสมบูรณ์" หรือ "ข้อผิดพลาด" และดำเนินการที่จำเป็นโดยขึ้นอยู่กับโหมดการโทรกลับที่บันทึกไว้ในบันทึกฐานข้อมูล

หากการคาดคะเนนี้เป็นการคาดการณ์ระดับกลางของกลุ่ม AI ตามที่อธิบายไว้ในขั้นตอนที่ 3-B โหมดการเรียกกลับที่เกี่ยวข้องกับการคาดคะเนนี้จะเป็น "ฟังก์ชันขั้นตอน" และบันทึกฐานข้อมูลจะมีโทเค็นการเรียกกลับที่เกี่ยวข้องกับขั้นตอนเฉพาะใน ฟังก์ชั่นขั้นตอน การแจ้งเตือน Lambda จะทำการเรียก AWS Step Functions API โดยใช้วิธี “SendTaskSuccess” หรือ “SendTaskFailure” ซึ่งจะทำให้ฟังก์ชันขั้นตอนดำเนินการต่อไปยังขั้นตอนถัดไปหรือออก

หากการคาดคะเนเป็นผลลัพธ์สุดท้ายของ step function และโหมดการโทรกลับคือ "Webhook" [หรืออีเมล นายหน้าข้อความ (Kafka) ฯลฯ] การแจ้งเตือน Lambda จะแจ้งให้ลูกค้าทราบด้วยวิธีที่ระบุ ผู้ใช้สามารถขอสถานะการคาดคะเนของตนได้ทุกเมื่อ คำขอต้องมีรหัสการคาดการณ์ที่กำหนดในขั้นตอนที่ 1 และชี้ไปที่ URL ที่ถูกต้องภายในเกตเวย์ API เพื่อกำหนดเส้นทางคำขอไปยังฟังก์ชันแลมบ์ดาที่เรียกว่า ผล.

ผลลัพธ์ที่แลมบ์ดาจะส่งคำขอไปยัง DynamoDB เพื่อรับสถานะของคำขอและส่งคืนข้อมูลให้กับผู้ใช้ หากสถานะของการทำนายเป็น ความผิดพลาดจากนั้นรายละเอียดที่เกี่ยวข้องเกี่ยวกับความล้มเหลวจะรวมอยู่ในการตอบกลับ หากสถานะการทำนายเป็น ความสำเร็จจะมีการส่งคืน URL ที่ลงนามล่วงหน้า S3 เพื่อให้ผู้ใช้ดาวน์โหลดเนื้อหาการคาดคะเน

ผลลัพธ์

ผลการทดสอบประสิทธิภาพเบื้องต้นมีแนวโน้มที่ดีและสนับสนุนกรณีที่ CCC ขยายการใช้งานสถาปัตยกรรมการปรับใช้ใหม่นี้

ข้อสังเกตที่น่าสังเกต:

• การทดสอบแสดงให้เห็นถึงความแข็งแกร่งในการประมวลผลคำขอเป็นชุดหรือพร้อมกันด้วยปริมาณงานสูงและอัตราความล้มเหลว 0 เปอร์เซ็นต์ในระหว่างสถานการณ์การรับส่งข้อมูลสูง
• คิวข้อความให้ความเสถียรภายในระบบระหว่างการร้องขออย่างกะทันหันจนกว่าทริกเกอร์การปรับขนาดจะสามารถจัดเตรียมทรัพยากรการประมวลผลเพิ่มเติมได้ เมื่อเพิ่มทราฟฟิก 3 เท่า เวลาแฝงของคำขอโดยเฉลี่ยเพิ่มขึ้นเพียง 5 เปอร์เซ็นต์เท่านั้น
• ราคาของความเสถียรคือเวลาแฝงที่เพิ่มขึ้นเนื่องจากค่าใช้จ่ายในการสื่อสารระหว่างส่วนประกอบต่างๆ ของระบบ เมื่อการรับส่งข้อมูลของผู้ใช้สูงกว่าเกณฑ์พื้นฐาน เวลาแฝงที่เพิ่มสามารถลดลงได้บางส่วนโดยการจัดหาทรัพยากรการประมวลผลเพิ่มเติม หากประสิทธิภาพมีลำดับความสำคัญสูงกว่าค่าใช้จ่าย
• จุดสิ้นสุดการอนุมานแบบอะซิงโครนัสของ SageMaker ช่วยให้จำนวนอินสแตนซ์ถูกปรับขนาดเป็นศูนย์ในขณะที่ทำให้จุดสิ้นสุดทำงานเพื่อรับคำขอ ฟังก์ชันนี้ช่วยให้การปรับใช้ทำงานต่อไปได้โดยไม่มีค่าใช้จ่ายในการประมวลผล และเพิ่มขนาดจากศูนย์เมื่อจำเป็นในสองสถานการณ์: การปรับใช้บริการที่ใช้ในสภาพแวดล้อมการทดสอบที่ต่ำกว่า และสภาพแวดล้อมที่มีทราฟฟิกน้อยที่สุดโดยไม่ต้องมีการประมวลผลในทันที

สรุป

ตามที่สังเกตเห็นในระหว่างกระบวนการ POC การออกแบบเชิงนวัตกรรมที่สร้างสรรค์ร่วมกันโดย CCC และ AWS เป็นรากฐานที่มั่นคงสำหรับการใช้ Amazon SageMaker กับบริการที่มีการจัดการอื่นๆ ของ AWS เพื่อโฮสต์กลุ่ม AI แบบมัลติโมดอลที่ซับซ้อนและประสานไปป์ไลน์การอนุมานได้อย่างมีประสิทธิภาพและราบรื่น ด้วยการใช้ประโยชน์จากฟังก์ชันที่ใช้งานได้ทันทีของ Amazon SageMaker เช่น Asynchronous Inference ทำให้ CCC มีโอกาสมากขึ้นในการมุ่งเน้นไปที่งานเฉพาะที่สำคัญต่อธุรกิจ ด้วยจิตวิญญาณของวัฒนธรรมที่ขับเคลื่อนด้วยการวิจัยของ CCC สถาปัตยกรรมใหม่นี้จะยังคงพัฒนาต่อไปในขณะที่ CCC เป็นผู้นำไปข้างหน้า ควบคู่ไปกับ AWS ในการปลดปล่อยโซลูชัน AI ใหม่ที่ทรงพลังสำหรับลูกค้า

สำหรับขั้นตอนโดยละเอียดเกี่ยวกับวิธีสร้าง เรียกใช้ และมอนิเตอร์จุดสิ้นสุดการอนุมานแบบอะซิงโครนัส โปรดดูที่ เอกสารซึ่งประกอบด้วย a โน๊ตบุ๊คตัวอย่าง เพื่อช่วยให้คุณเริ่มต้น ดูข้อมูลราคาได้ที่ ราคา Amazon SageMaker.

สำหรับตัวอย่างการใช้การอนุมานแบบอะซิงโครนัสกับข้อมูลที่ไม่มีโครงสร้าง เช่น คอมพิวเตอร์วิทัศน์และการประมวลผลภาษาธรรมชาติ (NLP) โปรดดูที่ เรียกใช้การอนุมานการมองเห็นด้วยคอมพิวเตอร์บนวิดีโอขนาดใหญ่ด้วยจุดปลายอะซิงโครนัสของ Amazon SageMaker และ  ปรับปรุงการวิจัยที่มีมูลค่าสูงด้วย Hugging Face และจุดสิ้นสุดการอนุมานแบบอะซิงโครนัสของ Amazon SageMakerตามลำดับ

---

เกี่ยวกับผู้เขียน

คริสโตเฟอร์ดิแอซ เป็นหัวหน้าวิศวกร R&D ที่ CCC Intelligent Solutions ในฐานะสมาชิกของทีม R&D เขาได้ทำงานในโครงการต่างๆ มากมาย ตั้งแต่การใช้เครื่องมือ ETL การพัฒนาเว็บแบ็กเอนด์ ร่วมมือกับนักวิจัยในการฝึกอบรมโมเดล AI บนระบบกระจาย และอำนวยความสะดวกในการส่งมอบบริการ AI ใหม่ระหว่างทีมวิจัยและทีมปฏิบัติการ ความสนใจล่าสุดของเขาอยู่ที่การวิจัยโซลูชันเครื่องมือบนคลาวด์เพื่อปรับปรุงแง่มุมต่างๆ ของวงจรการพัฒนาโมเดล AI ของบริษัท ในเวลาว่าง เขาสนุกกับการลองร้านอาหารใหม่ๆ ในชิคาโกบ้านเกิดของเขา และสะสมชุดเลโก้ให้ได้มากที่สุดเท่าที่บ้านของเขาจะใส่ได้ คริสโตเฟอร์สำเร็จการศึกษาวิทยาศาสตรบัณฑิตสาขาวิทยาการคอมพิวเตอร์จากมหาวิทยาลัยนอร์ธอีสเทิร์น อิลลินอยส์

ผู้ชนะรางวัลเอ็มมี่ แซม คินาร์ด เป็นผู้จัดการอาวุโสฝ่ายวิศวกรรมซอฟต์แวร์ของ CCC Intelligent Solutions ซึ่งตั้งอยู่ในเมืองออสติน รัฐเท็กซัส เขาทะเลาะกับทีม AI Runtime ซึ่งมีหน้าที่รับผิดชอบในการให้บริการผลิตภัณฑ์ AI ของ CCC ที่ความพร้อมใช้งานสูงและขนาดใหญ่ ในเวลาว่าง แซมชอบอดนอนเพราะลูกที่น่ารักสองคนของเขา แซมสำเร็จการศึกษาวิทยาศาสตรบัณฑิตสาขาวิทยาการคอมพิวเตอร์และวิทยาศาสตรบัณฑิตสาขาคณิตศาสตร์จากมหาวิทยาลัยเทกซัสออสติน

ไจ ฮิดัลโก เป็นวิศวกรระบบอาวุโสของ CCC Intelligent Solutions ก่อนเข้าร่วมทีมวิจัย AI เขาเป็นผู้นำการย้ายข้อมูลทั่วโลกของบริษัทไปยังสถาปัตยกรรม Microservices ออกแบบ สร้าง และทำให้โครงสร้างพื้นฐานเป็นอัตโนมัติใน AWS เพื่อรองรับการปรับใช้ผลิตภัณฑ์และบริการระบบคลาวด์ ปัจจุบัน เขาสร้างและสนับสนุนคลัสเตอร์ศูนย์ข้อมูลภายในองค์กรที่สร้างขึ้นสำหรับการฝึกอบรม AI และยังออกแบบและสร้างโซลูชันระบบคลาวด์สำหรับการวิจัยและการใช้งาน AI ในอนาคตของบริษัท

แดเนียลซัวเรซ เป็นวิศวกรด้านวิทยาศาสตร์ข้อมูลที่ CCC Intelligent Solutions ในฐานะสมาชิกของทีมวิศวกรรม AI เขาทำงานเกี่ยวกับระบบอัตโนมัติและการเตรียมโมเดล AI ในการผลิต การประเมิน และการตรวจสอบเมตริกและด้านอื่นๆ ของการดำเนินงาน ML Daniel สำเร็จการศึกษาระดับปริญญาโทด้านวิทยาการคอมพิวเตอร์จาก Illinois Institute of Technology และปริญญาโทและปริญญาตรีด้านวิศวกรรมโทรคมนาคมจาก Universidad Politecnica de Madrid

อรุณประศาสน์ เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญด้าน AI/ML อาวุโสกับ AWS ซึ่งช่วยให้ลูกค้าทั่วโลกปรับขนาดโซลูชัน AI ของตนในระบบคลาวด์ได้อย่างมีประสิทธิภาพและประสิทธิผล ในเวลาว่าง อรุณชอบดูหนังไซไฟและฟังเพลงคลาสสิก

จัสติน แมคเวิร์ตเตอร์ เป็นผู้จัดการสถาปนิกโซลูชันที่ AWS เขาทำงานร่วมกับทีม Solutions Architects ที่น่าทึ่งซึ่งช่วยให้ลูกค้าได้รับประสบการณ์ที่ดีในขณะที่ใช้แพลตฟอร์ม AWS เมื่อไม่ได้ทำงาน จัสตินชอบเล่นวิดีโอเกมกับลูกชายสองคน เล่นฮ็อกกี้น้ำแข็ง และขี่รถจี๊ปขับรถออฟโรด

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/how-ccc-intelligent-solutions-created-a-custom-approach-for-hosting-complex-ai-models-using-amazon-sagemaker/