แนวทางการทดสอบสำหรับโมเดล Amazon SageMaker ML

โพสต์นี้เขียนร่วมกับ Tobias Wenzel ผู้จัดการฝ่ายวิศวกรรมซอฟต์แวร์สำหรับแพลตฟอร์ม Intuit Machine Learning

เราทุกคนต่างชื่นชมความสำคัญของโมเดลการเรียนรู้ของเครื่อง (ML) คุณภาพสูงและเชื่อถือได้เมื่อใช้การขับขี่แบบอัตโนมัติหรือโต้ตอบกับ Alexa เป็นต้น โมเดล ML ยังมีบทบาทสำคัญในรูปแบบที่ไม่ค่อยชัดเจนนัก เช่น ใช้กับแอปพลิเคชันทางธุรกิจ การดูแลสุขภาพ สถาบันการเงิน amazon.com TurboTax และอื่นๆ

เนื่องจากแอปพลิเคชันที่เปิดใช้งาน ML กลายเป็นแกนหลักของธุรกิจจำนวนมาก โมเดลจึงต้องมีความแข็งแกร่งและมีระเบียบวินัยเช่นเดียวกับแอปพลิเคชันซอฟต์แวร์ ลักษณะสำคัญของ MLOps คือการนำเสนอเวอร์ชันใหม่ของโมเดล ML ที่พัฒนาก่อนหน้านี้ในการผลิตโดยใช้แนวทางปฏิบัติ DevOps ที่กำหนดไว้ เช่น การทดสอบ การกำหนดเวอร์ชัน การส่งมอบอย่างต่อเนื่อง และการตรวจสอบ

มีหลายคำ กำหนดให้ แนวทางปฏิบัติเกี่ยวกับ MLOps และโพสต์นี้จะให้ภาพรวมของกระบวนการที่คุณสามารถปฏิบัติตามและเครื่องมือที่จะใช้สำหรับการทดสอบ ทั้งนี้ขึ้นอยู่กับความร่วมมือระหว่าง ตรัสรู้ และ อสท. เราได้ทำงานร่วมกันเพื่อนำคำแนะนำที่อธิบายในโพสต์นี้ไปใช้ในทางปฏิบัติและในระดับต่างๆ เป้าหมายของ Intuit ในการเป็น an แพลตฟอร์มผู้เชี่ยวชาญที่ขับเคลื่อนด้วย AI ขึ้นอยู่กับกลยุทธ์ในการเพิ่มความเร็วของการพัฒนาโมเดลเริ่มต้นอย่างมากรวมถึงการทดสอบเวอร์ชันใหม่

ความต้องการ

ต่อไปนี้คือประเด็นหลักที่ต้องพิจารณาขณะปรับใช้เวอร์ชันโมเดลใหม่:

1. ประสิทธิภาพความแม่นยำของแบบจำลอง – สำคัญไฉน ติดตาม ของตัวชี้วัดการประเมินแบบจำลอง เช่น ความแม่นยำ ความแม่นยำ และการเรียกคืน และทำให้แน่ใจว่าตัวชี้วัดวัตถุประสงค์ยังคงค่อนข้างเหมือนเดิมหรือปรับปรุงด้วยเวอร์ชันใหม่ของโมเดล ในกรณีส่วนใหญ่ การปรับใช้เวอร์ชันใหม่ของโมเดลไม่สมเหตุสมผลหากประสบการณ์ของผู้ใช้ปลายทางไม่ดีขึ้น
2. ทดสอบคุณภาพข้อมูล – ข้อมูลในสภาพแวดล้อมที่ไม่ใช่การผลิต ไม่ว่าจะจำลองหรือคัดลอกในช่วงเวลา ควรเป็นตัวแทนของข้อมูลที่โมเดลจะได้รับเมื่อใช้งานอย่างเต็มที่ในแง่ของปริมาณหรือการกระจาย หากไม่เป็นเช่นนั้น กระบวนการทดสอบของคุณจะไม่เป็นตัวแทน และแบบจำลองของคุณอาจทำงานแตกต่างออกไปในการผลิต
3. ความสำคัญและความเท่าเทียมกันของคุณลักษณะ – ความสำคัญของคุณลักษณะในเวอร์ชันที่ใหม่กว่าของโมเดลควรเปรียบเทียบกับรุ่นเก่า แม้ว่าอาจมีคุณลักษณะใหม่แนะนำ เพื่อให้แน่ใจว่าโมเดลจะไม่ลำเอียง
4. การทดสอบกระบวนการทางธุรกิจ – เป็นสิ่งสำคัญที่โมเดลเวอร์ชันใหม่สามารถบรรลุวัตถุประสงค์ทางธุรกิจที่คุณต้องการภายในพารามิเตอร์ที่ยอมรับได้ ตัวอย่างเช่น หนึ่งในตัวชี้วัดทางธุรกิจอาจเป็นได้ว่าเวลาแฝงแบบ end-to-end สำหรับบริการใดๆ ต้องไม่เกิน 100 มิลลิวินาที หรือค่าใช้จ่ายในการโฮสต์และฝึกอบรมแบบจำลองเฉพาะต้องไม่เกิน 10,000 ดอลลาร์ต่อปี
5. ราคา – วิธีง่ายๆ ในการทดสอบคือการทำซ้ำสภาพแวดล้อมการผลิตทั้งหมดเป็นสภาพแวดล้อมการทดสอบ นี่เป็นวิธีปฏิบัติทั่วไปในการพัฒนาซอฟต์แวร์ อย่างไรก็ตาม แนวทางดังกล่าวในกรณีของแบบจำลอง ML อาจไม่ให้ ROI ที่ถูกต้อง ทั้งนี้ขึ้นอยู่กับขนาดของข้อมูล และอาจส่งผลกระทบต่อแบบจำลองในแง่ของปัญหาทางธุรกิจที่กำลังดำเนินการอยู่
6. Security – สภาพแวดล้อมการทดสอบมักมีข้อมูลตัวอย่างแทนที่จะเป็นข้อมูลลูกค้าจริง ด้วยเหตุนี้ การจัดการข้อมูลและกฎการปฏิบัติตามข้อกำหนดจึงเข้มงวดน้อยลง เช่นเดียวกับต้นทุน หากคุณเพียงแค่ทำซ้ำสภาพแวดล้อมการผลิตในสภาพแวดล้อมการทดสอบ คุณสามารถทำให้เกิดความเสี่ยงด้านความปลอดภัยและการปฏิบัติตามข้อกำหนด
7. ความสามารถในการปรับขนาดของที่เก็บฟีเจอร์ – หากองค์กรตัดสินใจที่จะไม่สร้างที่เก็บคุณสมบัติการทดสอบแยกต่างหากเนื่องจากเหตุผลด้านต้นทุนหรือความปลอดภัย การทดสอบแบบจำลองจำเป็นต้องเกิดขึ้นบนที่เก็บคุณสมบัติการใช้งานจริง ซึ่งอาจทำให้เกิดปัญหาในการขยายขนาดเนื่องจากมีการรับส่งข้อมูลเพิ่มขึ้นเป็นสองเท่าในช่วงระยะเวลาการทดสอบ
8. ประสิทธิภาพของโมเดลออนไลน์ – การประเมินออนไลน์แตกต่างจากการประเมินแบบออฟไลน์ และอาจมีความสำคัญในบางกรณี เช่น โมเดลคำแนะนำ เนื่องจากจะวัดความพึงพอใจของผู้ใช้ในแบบเรียลไทม์มากกว่าการรับรู้ความพึงพอใจ การจำลองรูปแบบการเข้าชมจริงในการไม่ใช้งานจริงนั้นทำได้ยากเนื่องจากฤดูกาลหรือพฤติกรรมของผู้ใช้อื่นๆ ดังนั้นประสิทธิภาพของโมเดลออนไลน์จึงทำได้เฉพาะในเวอร์ชันที่ใช้งานจริงเท่านั้น
9. ผลการดำเนินงาน – เมื่อโมเดลมีขนาดใหญ่ขึ้นและมีการใช้งานมากขึ้นในลักษณะการกระจายอำนาจบนฮาร์ดแวร์ที่แตกต่างกัน การทดสอบโมเดลสำหรับประสิทธิภาพการทำงานที่คุณต้องการ เช่น เวลาแฝง อัตราข้อผิดพลาด และอื่นๆ ถือเป็นสิ่งสำคัญ

ทีม ML ส่วนใหญ่มีวิธีการทดสอบแบบจำลองหลายง่าม ในส่วนต่อไปนี้ เรามีวิธีจัดการกับความท้าทายเหล่านี้ในระหว่างขั้นตอนการทดสอบต่างๆ

การทดสอบโมเดลออฟไลน์

เป้าหมายของขั้นตอนการทดสอบนี้คือการตรวจสอบเวอร์ชันใหม่ของโมเดลที่มีอยู่จากจุดยืนด้านความถูกต้อง ควรทำแบบออฟไลน์เพื่อไม่ให้กระทบต่อการคาดคะเนใดๆ ในระบบการผลิตที่ให้บริการการคาดคะเนแบบเรียลไทม์ การทดสอบนี้จัดการกับความท้าทายที่ 1 (ประสิทธิภาพความแม่นยำของแบบจำลอง) โดยการรับรองว่าโมเดลใหม่ทำงานได้ดีขึ้นสำหรับเมตริกการประเมินที่เกี่ยวข้อง นอกจากนี้ ด้วยการใช้ชุดข้อมูลที่ถูกต้อง การทดสอบนี้สามารถจัดการกับความท้าทายที่ 2 และ 3 (คุณภาพของข้อมูลในการทดสอบ ความสำคัญของฟีเจอร์ และความเท่าเทียมกัน) พร้อมประโยชน์เพิ่มเติมของการแก้ปัญหาความท้าทายที่ 5 (ต้นทุน)

ขั้นตอนนี้ดำเนินการในสภาพแวดล้อมการแสดงละคร

คุณควรบันทึกปริมาณการใช้งานการผลิต ซึ่งคุณสามารถใช้เพื่อเล่นซ้ำในการทดสอบย้อนหลังแบบออฟไลน์ ควรใช้ปริมาณข้อมูลการผลิตที่ผ่านมาแทนข้อมูลสังเคราะห์ ดิ การตรวจสอบโมเดล Amazon SageMaker คุณสมบัติข้อมูลการจับภาพ ช่วยให้คุณสามารถจับภาพปริมาณการใช้งานการผลิตสำหรับโมเดลที่โฮสต์บน อเมซอน SageMaker. ซึ่งช่วยให้นักพัฒนาโมเดลสามารถทดสอบโมเดลของตนด้วยข้อมูลจากวันทำการสูงสุดหรือเหตุการณ์สำคัญอื่นๆ จากนั้น ข้อมูลที่บันทึกไว้จะถูกเล่นซ้ำกับเวอร์ชันใหม่ในรูปแบบแบทช์โดยใช้ การแปลงแบทช์ของ Sagemaker. ซึ่งหมายความว่าการรันการแปลงชุดงานสามารถทดสอบกับข้อมูลที่รวบรวมมาเป็นเวลาหลายสัปดาห์หรือหลายเดือนในเวลาเพียงไม่กี่ชั่วโมง สิ่งนี้สามารถเร่งกระบวนการประเมินโมเดลได้อย่างมาก เมื่อเทียบกับการรันโมเดลแบบเรียลไทม์สองเวอร์ชันขึ้นไปเคียงข้างกัน และส่งคำขอการคาดการณ์ที่ซ้ำกันไปยังแต่ละปลายทาง นอกเหนือจากการค้นหาเวอร์ชันที่มีประสิทธิภาพดีกว่าได้เร็วขึ้นแล้ว แนวทางนี้ยังใช้ทรัพยากรในการประมวลผลในระยะเวลาที่สั้นลง ซึ่งช่วยลดต้นทุนโดยรวม

ความท้าทายของแนวทางการทดสอบนี้คือชุดคุณลักษณะเปลี่ยนจากรุ่นหนึ่งเป็นรุ่นอื่น ในสถานการณ์สมมตินี้ เราแนะนำให้สร้างชุดคุณลักษณะที่มีชุดคุณลักษณะพิเศษสำหรับทั้งสองเวอร์ชัน เพื่อให้สามารถสอบถามคุณลักษณะทั้งหมดได้ในครั้งเดียวและบันทึกผ่านการบันทึกข้อมูล การเรียกการคาดคะเนแต่ละครั้งสามารถทำงานได้เฉพาะคุณลักษณะที่จำเป็นสำหรับรุ่นปัจจุบันของโมเดลเท่านั้น

เป็นโบนัสเพิ่มเติมโดยการบูรณาการ Amazon SageMaker ชี้แจง ในการทดสอบรูปแบบออฟไลน์ของคุณ คุณสามารถตรวจสอบเวอร์ชันใหม่ของรูปแบบสำหรับอคติและเปรียบเทียบการระบุแหล่งที่มาของคุณลักษณะกับรุ่นก่อนหน้าของรูปแบบได้ ด้วยไปป์ไลน์ คุณสามารถจัดการเวิร์กโฟลว์ทั้งหมดได้ โดยหลังจากการฝึกอบรม ขั้นตอนการตรวจสอบคุณภาพสามารถดำเนินการวิเคราะห์เมตริกโมเดลและความสำคัญของฟีเจอร์ได้ ตัวชี้วัดเหล่านี้ถูกเก็บไว้ใน การลงทะเบียนรุ่น SageMaker เพื่อเปรียบเทียบในการฝึกครั้งต่อไป

บูรณาการและการทดสอบประสิทธิภาพ

จำเป็นต้องมีการทดสอบการรวมเพื่อตรวจสอบความถูกต้องของกระบวนการทางธุรกิจแบบ end-to-end จากการทำงานตลอดจนมุมมองประสิทธิภาพรันไทม์ ภายในกระบวนการนี้ ควรทดสอบไปป์ไลน์ทั้งหมด รวมถึงการดึงข้อมูล และการคำนวณคุณลักษณะในที่เก็บคุณลักษณะและการเรียกใช้แอปพลิเคชัน ML สิ่งนี้ควรทำด้วยเพย์โหลดต่างๆ ที่หลากหลาย เพื่อให้ครอบคลุมสถานการณ์และคำขอที่หลากหลาย และบรรลุความครอบคลุมสูงสำหรับการรันโค้ดที่เป็นไปได้ทั้งหมด สิ่งนี้กล่าวถึงความท้าทายที่ 4 และ 9 (การทดสอบกระบวนการทางธุรกิจและประสิทธิภาพการปฏิบัติงาน) เพื่อให้แน่ใจว่าไม่มีกระบวนการทางธุรกิจใดที่เสียหายด้วยโมเดลเวอร์ชันใหม่

การทดสอบนี้ควรทำในสภาพแวดล้อมการแสดงละคร

ทั้งการทดสอบการรวมและการทดสอบประสิทธิภาพจะต้องดำเนินการโดยแต่ละทีมโดยใช้ไปป์ไลน์ MLOps สำหรับการทดสอบการรวม เราขอแนะนำวิธีที่ทดลองและทดสอบแล้วในการรักษาสภาพแวดล้อมก่อนการผลิตที่เทียบเท่ากับการใช้งานและการทดสอบด้วยเพย์โหลดที่แตกต่างกันสองสามอย่าง เวิร์กโฟลว์การทดสอบสามารถเป็นไปโดยอัตโนมัติตามที่แสดงใน เวิร์คช็อปนี้. สำหรับการทดสอบประสิทธิภาพ คุณสามารถใช้ ผู้แนะนำการอนุมานของ Amazon SageMakerซึ่งเป็นจุดเริ่มต้นที่ดีในการพิจารณาประเภทอินสแตนซ์และจำนวนอินสแตนซ์ที่จะใช้ สำหรับสิ่งนี้ คุณจะต้องใช้เครื่องมือสร้างโหลด เช่น โครงการโอเพ่นซอร์ส ผู้สร้างความสมบูรณ์แบบ และ สมบูรณ์แบบ ที่ Intuit ได้พัฒนาขึ้น Perfsizesagemaker ให้คุณทดสอบการกำหนดค่าปลายทางของโมเดลโดยอัตโนมัติด้วยเพย์โหลด เวลาตอบสนอง และธุรกรรมสูงสุดต่อวินาที มันสร้างผลการทดสอบโดยละเอียดที่เปรียบเทียบรุ่นรุ่นต่างๆ Perfsize เป็นเครื่องมือที่แสดงร่วมที่พยายามตั้งค่าคอนฟิกที่แตกต่างกันโดยให้เฉพาะธุรกรรมสูงสุดต่อวินาทีและเวลาตอบสนองที่คาดไว้

ทดสอบ A / B

ในหลายกรณีที่จำเป็นต้องมีปฏิกิริยาของผู้ใช้ต่อผลลัพธ์ของโมเดลในทันที เช่น แอปพลิเคชันอีคอมเมิร์ซ การประเมินการทำงานของโมเดลออฟไลน์นั้นไม่เพียงพอ ในสถานการณ์เหล่านี้ คุณต้องทดสอบโมเดล A/B ในการผลิตก่อนตัดสินใจอัปเดตโมเดล การทดสอบ A/B ก็มีความเสี่ยงเช่นกัน เนื่องจากอาจมีผลกระทบต่อลูกค้าอย่างแท้จริง วิธีการทดสอบนี้ทำหน้าที่เป็นการตรวจสอบประสิทธิภาพของ ML ขั้นสุดท้าย ซึ่งเป็นการตรวจสอบสติทางวิศวกรรมที่มีน้ำหนักเบา วิธีการนี้ยังจัดการกับความท้าทายที่ 8 และ 9 (ประสิทธิภาพของแบบจำลองออนไลน์และความเป็นเลิศในการปฏิบัติงาน)

ควรทำการทดสอบ A/B ในสภาพแวดล้อมการผลิต

ด้วย SageMaker คุณสามารถทำการทดสอบ A/B บนโมเดล ML ได้อย่างง่ายดายด้วยการรัน หลากหลายรูปแบบการผลิต บนจุดสิ้นสุด สามารถกำหนดเส้นทางการรับส่งข้อมูลทีละน้อยไปยังเวอร์ชันใหม่เพื่อลดความเสี่ยงที่โมเดลที่ประพฤติตัวไม่ดีอาจมีต่อการผลิต หากผลลัพธ์ของการทดสอบ A/B ดูดี การรับส่งข้อมูลจะถูกส่งไปยังเวอร์ชันใหม่ ซึ่งในที่สุดจะเข้าครอบงำ 100% ของการรับส่งข้อมูล เราขอแนะนำให้ใช้รั้วกั้นการติดตั้งเพื่อเปลี่ยนจากรุ่น A เป็น B สำหรับการสนทนาที่สมบูรณ์ยิ่งขึ้นเกี่ยวกับการทดสอบ A/B โดยใช้ ปรับแต่ง Amazon รุ่นต่างๆ เป็นตัวอย่าง อ้างถึง การใช้การทดสอบ A/B เพื่อวัดประสิทธิภาพของคำแนะนำที่สร้างโดย Amazon Personalize.

การทดสอบโมเดลออนไลน์

ในสถานการณ์สมมตินี้ เวอร์ชันใหม่ของโมเดลจะแตกต่างอย่างมากจากเวอร์ชันที่ให้บริการทราฟฟิกแบบสดอยู่แล้วในการผลิต ดังนั้นวิธีการทดสอบแบบออฟไลน์จึงไม่เหมาะที่จะกำหนดประสิทธิภาพของเวอร์ชันโมเดลใหม่อีกต่อไป เหตุผลที่ชัดเจนที่สุดคือการเปลี่ยนแปลงคุณสมบัติที่จำเป็นในการสร้างการคาดคะเน เพื่อไม่ให้ธุรกรรมที่บันทึกไว้ก่อนหน้านี้ไม่สามารถใช้ทดสอบแบบจำลองได้ ในสถานการณ์สมมตินี้ เราขอแนะนำให้ใช้การปรับใช้เงา การปรับใช้เงามีความสามารถในการปรับใช้เงา (หรือ ผู้ท้าชิง) รุ่นควบคู่ไปกับการผลิต (หรือ แชมป์) โมเดลที่กำลังแสดงการคาดการณ์ ซึ่งช่วยให้คุณประเมินว่าโมเดลเงาทำงานอย่างไรในทราฟฟิกที่ใช้งานจริง การคาดคะเนของแบบจำลองเงาไม่ได้ให้บริการแก่แอปพลิเคชันที่ร้องขอ พวกเขากำลังเข้าสู่ระบบสำหรับการประเมินแบบออฟไลน์ ด้วยแนวทางเงาสำหรับการทดสอบ เราจัดการกับความท้าทายที่ 4, 5, 6 และ 7 (การทดสอบกระบวนการทางธุรกิจ ต้นทุน ความปลอดภัย และความสามารถในการปรับขนาดของร้านค้าคุณลักษณะ)

การทดสอบแบบจำลองออนไลน์ควรทำในสภาพแวดล้อมการจัดเตรียมหรือการผลิต

วิธีการทดสอบรุ่นใหม่นี้ควรใช้เป็นทางเลือกสุดท้าย หากใช้วิธีอื่นๆ ไม่ได้ทั้งหมด เราขอแนะนำเป็นทางเลือกสุดท้ายเนื่องจากการเรียกแบบสองทางไปยังหลายรุ่นจะสร้างภาระเพิ่มเติมสำหรับบริการดาวน์สตรีมทั้งหมดในการผลิต ซึ่งอาจนำไปสู่ปัญหาคอขวดด้านประสิทธิภาพและต้นทุนการผลิตที่เพิ่มขึ้น ผลกระทบที่ชัดเจนที่สุดคือชั้นการแสดงคุณลักษณะ สำหรับกรณีการใช้งานที่ใช้คุณลักษณะร่วมกันจากกลุ่มข้อมูลทางกายภาพร่วมกัน เราจำเป็นต้องสามารถจำลองกรณีการใช้งานหลายกรณีพร้อมกันในการเข้าถึงตารางข้อมูลเดียวกันเพื่อให้แน่ใจว่าไม่มีการแย่งชิงทรัพยากรก่อนที่จะเปลี่ยนเป็นการผลิต เมื่อใดก็ตามที่เป็นไปได้ ควรหลีกเลี่ยงการสืบค้นซ้ำไปยังที่เก็บคุณลักษณะ และคุณลักษณะที่จำเป็นสำหรับทั้งสองเวอร์ชันของโมเดลควรใช้ซ้ำสำหรับการอนุมานที่สอง ร้านค้าคุณสมบัติตาม อเมซอน ไดนาโมดีบีอย่างที่ Intuit ได้สร้างไว้ สามารถนำไปปฏิบัติได้ ตัวเร่งความเร็ว Amazon DynamoDB(DAX) เพื่อแคชและหลีกเลี่ยงการเพิ่ม I/O ให้กับฐานข้อมูลเป็นสองเท่า ตัวเลือกการแคชเหล่านี้และตัวเลือกอื่นๆ สามารถลดความท้าทายที่ 7 (ความสามารถในการปรับขยายของที่เก็บฟีเจอร์)

เพื่อจัดการกับความท้าทาย 5 (ต้นทุน) และ 7 เราเสนอให้ใช้การปรับใช้เงาเพื่อสุ่มตัวอย่างการรับส่งข้อมูลขาเข้า สิ่งนี้ทำให้เจ้าของโมเดลสามารถควบคุมได้อีกระดับหนึ่งเพื่อลดผลกระทบต่อระบบการผลิต

การปรับใช้เงาควรได้รับการออนบอร์ดกับ จอภาพรุ่น ข้อเสนอเช่นเดียวกับการปรับใช้งานจริงเพื่อสังเกตการปรับปรุงเวอร์ชันผู้ท้าชิง

สรุป

โพสต์นี้แสดงให้เห็นถึงองค์ประกอบพื้นฐานในการสร้างชุดกระบวนการและเครื่องมือที่ครอบคลุมเพื่อจัดการกับความท้าทายต่างๆ ด้วยการทดสอบแบบจำลอง แม้ว่าทุกองค์กรจะมีความแตกต่างกัน แต่สิ่งนี้จะช่วยคุณในการเริ่มต้นและจำกัดข้อควรพิจารณาเมื่อใช้กลยุทธ์การทดสอบของคุณเอง

---

เกี่ยวกับผู้แต่ง

โทเบียส เวนเซล เป็นผู้จัดการด้านวิศวกรรมซอฟต์แวร์ของแพลตฟอร์ม Intuit Machine Learning ในเมาน์เทนวิว รัฐแคลิฟอร์เนีย เขาทำงานบนแพลตฟอร์มมาตั้งแต่เริ่มก่อตั้งในปี 2016 และได้ช่วยออกแบบและสร้างมันขึ้นมาตั้งแต่ต้น ในงานของเขา เขาได้มุ่งเน้นไปที่ความเป็นเลิศในการดำเนินงานของแพลตฟอร์มและนำพาให้ประสบความสำเร็จผ่านธุรกิจตามฤดูกาลของ Intuit นอกจากนี้ เขายังหลงใหลในการขยายแพลตฟอร์มด้วยเทคโนโลยีล่าสุดอย่างต่อเนื่อง

ชีวันชู อุปถัยย์ เป็น Principal Solutions Architect ในกลุ่ม AWS Business Development and Strategic Industries ในบทบาทนี้ เขาช่วยผู้ใช้ขั้นสูงส่วนใหญ่ของ AWS เปลี่ยนโฉมอุตสาหกรรมของตนโดยใช้ข้อมูลและ AI อย่างมีประสิทธิภาพ

อลัน ตัน เป็นผู้จัดการผลิตภัณฑ์อาวุโสของ SageMaker ซึ่งเป็นผู้นำในการอนุมานแบบจำลองขนาดใหญ่ เขาหลงใหลในการใช้แมชชีนเลิร์นนิงในด้านการวิเคราะห์ นอกเวลางาน เขาสนุกกับกิจกรรมกลางแจ้ง