วิธีที่ Getir ลดระยะเวลาการฝึกโมเดลลง 90% ด้วย Amazon SageMaker และ AWS Batch | อเมซอนเว็บเซอร์วิส

นี่คือโพสต์รับเชิญที่ร่วมเขียนโดย Nafi Ahmet Turgut, Hasan Burak Yel และ Damla Šentürk จาก Getir

ก่อตั้งขึ้นในปี 2015, นำ ได้วางตำแหน่งตัวเองเป็นผู้บุกเบิกในด้านการจัดส่งของชำที่รวดเร็วเป็นพิเศษ บริษัทเทคโนโลยีที่เป็นนวัตกรรมนี้ได้ปฏิวัติกลุ่มการจัดส่งแบบ Last-Mile ด้วยการนำเสนอ "ของชำในไม่กี่นาที" ที่น่าสนใจ ด้วยการปรากฏตัวทั่วตุรกี สหราชอาณาจักร เนเธอร์แลนด์ เยอรมนี และสหรัฐอเมริกา Getir ได้กลายเป็นกำลังข้ามชาติที่ต้องคำนึงถึง ปัจจุบัน แบรนด์ Getir เป็นตัวแทนของกลุ่มบริษัทที่มีความหลากหลายซึ่งครอบคลุมธุรกิจแนวดิ่งที่แตกต่างกัน XNUMX แห่ง โดยทั้งหมดทำงานร่วมกันภายใต้ร่มเงาเดียว

ในโพสต์นี้ เราจะอธิบายวิธีที่เราสร้างไปป์ไลน์การคาดการณ์หมวดหมู่ผลิตภัณฑ์แบบครบวงจรเพื่อช่วยทีมเชิงพาณิชย์โดยใช้ อเมซอน SageMaker และ ชุด AWSลดระยะเวลาการฝึกโมเดลลง 90%

การทำความเข้าใจการเลือกสรรผลิตภัณฑ์ที่มีอยู่ของเราอย่างละเอียดถือเป็นความท้าทายที่สำคัญที่เราและธุรกิจจำนวนมากต้องเผชิญในตลาดที่มีการแข่งขันอย่างรวดเร็วและมีการแข่งขันสูงในปัจจุบัน วิธีแก้ปัญหาที่มีประสิทธิภาพสำหรับปัญหานี้คือการทำนายหมวดหมู่ผลิตภัณฑ์ โมเดลที่สร้างแผนผังหมวดหมู่ที่ครอบคลุมช่วยให้ทีมการค้าของเราสามารถเปรียบเทียบพอร์ตโฟลิโอผลิตภัณฑ์ที่มีอยู่ของเรากับผลิตภัณฑ์ของคู่แข่งของเรา โดยเสนอข้อได้เปรียบเชิงกลยุทธ์ ดังนั้นความท้าทายหลักของเราคือการสร้างและการนำแบบจำลองการคาดการณ์หมวดหมู่ผลิตภัณฑ์ที่แม่นยำไปใช้

เราใช้ประโยชน์จากเครื่องมืออันทรงพลังที่ AWS มอบให้เพื่อรับมือกับความท้าทายนี้และนำทางขอบเขตการเรียนรู้ของเครื่อง (ML) ที่ซับซ้อนและการวิเคราะห์เชิงคาดการณ์ที่ซับซ้อนได้อย่างมีประสิทธิภาพ ความพยายามของเรานำไปสู่การสร้างไปป์ไลน์การคาดการณ์หมวดหมู่ผลิตภัณฑ์แบบครบวงจรที่ประสบความสำเร็จ ซึ่งรวมเอาจุดแข็งของ SageMaker และ AWS Batch เข้าด้วยกัน

ความสามารถในการวิเคราะห์เชิงคาดการณ์นี้ โดยเฉพาะอย่างยิ่งการคาดการณ์ประเภทผลิตภัณฑ์ที่แม่นยำ ได้รับการพิสูจน์แล้วว่ามีคุณค่าอย่างยิ่ง ช่วยให้ทีมงานของเราได้รับข้อมูลเชิงลึกที่สำคัญซึ่งช่วยเพิ่มประสิทธิภาพการจัดการสินค้าคงคลัง ปรับปรุงการโต้ตอบกับลูกค้า และทำให้สถานะทางการตลาดของเราแข็งแกร่งขึ้น

วิธีการที่เราอธิบายในโพสต์นี้มีตั้งแต่ระยะเริ่มต้นของการรวบรวมชุดคุณลักษณะไปจนถึงการใช้งานขั้นสุดท้ายของไปป์ไลน์การคาดการณ์ สิ่งสำคัญในกลยุทธ์ของเราคือการใช้ SageMaker และ AWS Batch เพื่อปรับแต่งโมเดล BERT ที่ได้รับการฝึกอบรมล่วงหน้าสำหรับเจ็ดภาษาที่แตกต่างกัน นอกจากนี้ การผสานรวมอย่างราบรื่นของเรากับบริการพื้นที่จัดเก็บออบเจ็กต์ของ AWS บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) เป็นกุญแจสำคัญในการจัดเก็บและเข้าถึงโมเดลที่ได้รับการปรับปรุงเหล่านี้อย่างมีประสิทธิภาพ

SageMaker เป็นบริการ ML ที่มีการจัดการเต็มรูปแบบ ด้วย SageMaker นักวิทยาศาสตร์ข้อมูลและนักพัฒนาสามารถสร้างและฝึกฝนโมเดล ML ได้อย่างรวดเร็วและง่ายดาย จากนั้นปรับใช้ในสภาพแวดล้อมที่โฮสต์พร้อมสำหรับการผลิตโดยตรง

ในฐานะบริการที่มีการจัดการเต็มรูปแบบ AWS Batch ช่วยให้คุณรันปริมาณงานการประมวลผลเป็นชุดทุกขนาด AWS Batch จัดเตรียมทรัพยากรการประมวลผลโดยอัตโนมัติและเพิ่มประสิทธิภาพการกระจายปริมาณงานตามปริมาณและขนาดของปริมาณงาน ด้วย AWS Batch คุณไม่จำเป็นต้องติดตั้งหรือจัดการซอฟต์แวร์การประมวลผลเป็นชุด ดังนั้นคุณจึงสามารถมุ่งเน้นไปที่การวิเคราะห์ผลลัพธ์และการแก้ปัญหาได้ เราใช้งาน GPU ที่ช่วยเรารันงานที่ใช้ GPU ของอินสแตนซ์

ภาพรวมของโซลูชัน

ห้าคนจากทีมวิทยาศาสตร์ข้อมูลและทีมโครงสร้างพื้นฐานของ Getir ทำงานร่วมกันในโครงการนี้ โปรเจ็กต์นี้แล้วเสร็จภายในหนึ่งเดือนและนำไปใช้งานจริงหลังจากการทดสอบหนึ่งสัปดาห์

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมของโซลูชัน

ไปป์ไลน์แบบจำลองจะดำเนินการแยกกันสำหรับแต่ละประเทศ สถาปัตยกรรมประกอบด้วยงาน cron AWS Batch GPU สองงานสำหรับแต่ละประเทศ ซึ่งทำงานตามกำหนดเวลาที่กำหนด

เราเอาชนะความท้าทายบางอย่างด้วยการปรับใช้ทรัพยากร SageMaker และ AWS Batch GPU อย่างมีกลยุทธ์ กระบวนการที่ใช้ในการแก้ไขปัญหาแต่ละอย่างมีรายละเอียดอยู่ในส่วนต่อไปนี้

ปรับแต่งโมเดล BERT หลายภาษาอย่างละเอียดด้วยงาน AWS Batch GPU

เราค้นหาโซลูชันเพื่อรองรับหลายภาษาสำหรับฐานผู้ใช้ที่หลากหลายของเรา โมเดล BERT เป็นตัวเลือกที่ชัดเจนเนื่องจากความสามารถในการจัดการงานภาษาธรรมชาติที่ซับซ้อนได้อย่างมีประสิทธิภาพ เพื่อปรับแต่งโมเดลเหล่านี้ให้ตรงกับความต้องการของเรา เราได้ควบคุมพลังของ AWS โดยใช้งานอินสแตนซ์ GPU โหนดเดียว สิ่งนี้ทำให้เราสามารถปรับแต่งโมเดล BERT ที่ได้รับการฝึกอบรมล่วงหน้าสำหรับแต่ละภาษาจากเจ็ดภาษาที่เราต้องการการสนับสนุน ด้วยวิธีการนี้ เรารับประกันความแม่นยำสูงในการทำนายหมวดหมู่ผลิตภัณฑ์ และเอาชนะอุปสรรคด้านภาษาที่อาจเกิดขึ้นได้

พื้นที่จัดเก็บโมเดลที่มีประสิทธิภาพโดยใช้ Amazon S3

ขั้นตอนต่อไปของเราคือการจัดการกับการจัดเก็บและการจัดการโมเดล ด้วยเหตุนี้ เราจึงเลือก Amazon S3 ซึ่งขึ้นชื่อเรื่องความสามารถในการปรับขนาดและความปลอดภัย การจัดเก็บโมเดล BERT ที่ได้รับการปรับแต่งอย่างดีของเราบน Amazon S3 ช่วยให้เราสามารถเข้าถึงทีมต่างๆ ภายในองค์กรของเราได้อย่างง่ายดาย จึงทำให้กระบวนการปรับใช้ของเราคล่องตัวขึ้นอย่างมาก นี่เป็นส่วนสำคัญในการบรรลุความคล่องตัวในการดำเนินงานของเรา และการบูรณาการความพยายามด้าน ML ของเราอย่างราบรื่น

การสร้างไปป์ไลน์การคาดการณ์แบบครบวงจร

จำเป็นต้องมีไปป์ไลน์ที่มีประสิทธิภาพเพื่อใช้งานโมเดลที่ได้รับการฝึกอบรมล่วงหน้าของเราให้เกิดประโยชน์สูงสุด ก่อนอื่นเราได้ปรับใช้โมเดลเหล่านี้บน SageMaker ซึ่งเป็นการดำเนินการที่อนุญาตให้มีการคาดการณ์แบบเรียลไทม์โดยมีเวลาแฝงต่ำ จึงช่วยปรับปรุงประสบการณ์ผู้ใช้ของเรา สำหรับการคาดการณ์แบตช์ขนาดใหญ่ซึ่งมีความสำคัญเท่าเทียมกันต่อการดำเนินงานของเรา เราได้ใช้งาน AWS Batch GPU สิ่งนี้ทำให้มั่นใจได้ถึงการใช้ทรัพยากรของเราให้เกิดประโยชน์สูงสุด ทำให้เราได้รับความสมดุลที่สมบูรณ์แบบระหว่างประสิทธิภาพและประสิทธิผล

สำรวจความเป็นไปได้ในอนาคตด้วย SageMaker MME

ขณะที่เราพัฒนาและแสวงหาประสิทธิภาพในไปป์ไลน์ ML ของเราอย่างต่อเนื่อง แนวทางหนึ่งที่เรากระตือรือร้นที่จะสำรวจคือการใช้จุดสิ้นสุดหลายโมเดล (MME) ของ SageMaker เพื่อปรับใช้โมเดลที่ได้รับการปรับแต่งอย่างละเอียดของเรา ด้วย MME เราจึงสามารถปรับปรุงการปรับใช้โมเดลที่ได้รับการปรับแต่งอย่างละเอียดต่างๆ ได้ ทำให้มั่นใจได้ถึงการจัดการโมเดลที่มีประสิทธิภาพ ขณะเดียวกันก็ได้รับประโยชน์จากความสามารถดั้งเดิมของ SageMaker เช่น ตัวแปรเงา การปรับขนาดอัตโนมัติ และ อเมซอน คลาวด์วอตช์ บูรณาการ การสำรวจนี้สอดคล้องกับการแสวงหาอย่างต่อเนื่องของเราในการเพิ่มขีดความสามารถในการวิเคราะห์เชิงคาดการณ์และการมอบประสบการณ์ที่เหนือกว่าแก่ลูกค้าของเรา

สรุป

การผสานรวม SageMaker และ AWS Batch ที่ประสบความสำเร็จของเราไม่เพียงแต่จัดการกับความท้าทายเฉพาะของเราเท่านั้น แต่ยังช่วยเพิ่มประสิทธิภาพการดำเนินงานของเราอย่างมากอีกด้วย ด้วยการใช้ไปป์ไลน์การคาดการณ์หมวดหมู่ผลิตภัณฑ์ที่ซับซ้อน เราจึงสามารถเสริมศักยภาพทีมการค้าของเราด้วยข้อมูลเชิงลึกที่ขับเคลื่อนด้วยข้อมูล ซึ่งจะช่วยอำนวยความสะดวกในการตัดสินใจที่มีประสิทธิภาพมากขึ้น

ผลลัพธ์ของเราบ่งบอกถึงประสิทธิผลของแนวทางของเรามากมาย เราได้รับความแม่นยำในการคาดการณ์ถึง 80% จากรายละเอียดหมวดหมู่ทั้งสี่ระดับ ซึ่งมีบทบาทสำคัญในการกำหนดรูปแบบการจัดประเภทผลิตภัณฑ์สำหรับแต่ละประเทศที่เราให้บริการ ความแม่นยำระดับนี้ขยายขอบเขตการเข้าถึงของเราให้ก้าวข้ามอุปสรรคทางภาษา และรับประกันว่าเราตอบสนองฐานผู้ใช้ที่หลากหลายของเราด้วยความแม่นยำสูงสุด

ยิ่งไปกว่านั้น ด้วยการใช้งาน AWS Batch GPU ที่กำหนดเวลาไว้อย่างมีกลยุทธ์ เราจึงสามารถลดระยะเวลาการฝึกโมเดลของเราลงได้ถึง 90% ประสิทธิภาพนี้ได้ปรับปรุงกระบวนการของเราให้ดียิ่งขึ้นและเพิ่มความคล่องตัวในการปฏิบัติงานของเรา พื้นที่จัดเก็บโมเดลที่มีประสิทธิภาพโดยใช้ Amazon S3 มีบทบาทสำคัญในความสำเร็จนี้ โดยสร้างสมดุลทั้งการคาดการณ์แบบเรียลไทม์และแบบกลุ่ม

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีเริ่มต้นสร้างไปป์ไลน์ ML ของคุณเองด้วย SageMaker โปรดดู ทรัพยากร Amazon SageMaker. AWS Batch เป็นตัวเลือกที่ยอดเยี่ยมหากคุณกำลังมองหาโซลูชันราคาประหยัดและปรับขนาดได้สำหรับการรันงานแบบแบตช์ที่มีค่าใช้จ่ายในการดำเนินงานต่ำ หากต้องการเริ่มต้น โปรดดู เริ่มต้นใช้งาน AWS Batch.

---

เกี่ยวกับผู้เขียน

นาฟี อาห์เมต ทูร์กุต สำเร็จการศึกษาระดับปริญญาโทสาขาวิศวกรรมไฟฟ้าและอิเล็กทรอนิกส์ และทำงานเป็นนักวิทยาศาสตร์การวิจัยระดับบัณฑิตศึกษา จุดมุ่งหมายของเขาคือการสร้างอัลกอริธึมการเรียนรู้ของเครื่องเพื่อจำลองความผิดปกติของเครือข่ายประสาท เขาร่วมงานกับ Getir ในปี 2019 และปัจจุบันทำงานเป็นผู้จัดการอาวุโสด้านวิทยาศาสตร์ข้อมูลและการวิเคราะห์ ทีมของเขามีหน้าที่รับผิดชอบในการออกแบบ ใช้งาน และบำรุงรักษาอัลกอริธึมการเรียนรู้ของเครื่องแบบครบวงจรและโซลูชันที่ขับเคลื่อนด้วยข้อมูลสำหรับ Getir

ฮาซัน บูรัค เยล สำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมไฟฟ้าและอิเล็กทรอนิกส์จากมหาวิทยาลัยBoğaziçi เขาทำงานที่ Turkcell โดยเน้นที่การพยากรณ์อนุกรมเวลา การแสดงข้อมูลเป็นภาพ และระบบเครือข่ายอัตโนมัติเป็นหลัก เขาร่วมงานกับ Getir ในปี 2021 และปัจจุบันทำงานเป็นผู้จัดการ Data Science & Analytics โดยรับผิดชอบด้านการค้นหา การแนะนำ และการเติบโต

ดามลา เชนเติร์ก สำเร็จการศึกษาระดับปริญญาตรีสาขาวิศวกรรมคอมพิวเตอร์จากมหาวิทยาลัยกาลาตาซาราย เธอเรียนต่อระดับปริญญาโทสาขาวิศวกรรมคอมพิวเตอร์ที่มหาวิทยาลัยBoğaziçi เธอร่วมงานกับ Getir ในปี 2022 และทำงานเป็นนักวิทยาศาสตร์ข้อมูล เธอทำงานในโครงการเชิงพาณิชย์ ห่วงโซ่อุปทาน และโครงการที่เกี่ยวข้องกับการค้นพบ

เอสรา คายาบาลี เป็นสถาปนิกโซลูชันอาวุโสที่ AWS ซึ่งเชี่ยวชาญด้านโดเมนการวิเคราะห์ รวมถึงคลังข้อมูล Data Lake การวิเคราะห์ Big Data การสตรีมข้อมูลแบบแบตช์และแบบเรียลไทม์ และการบูรณาการข้อมูล เธอมีประสบการณ์ด้านการพัฒนาซอฟต์แวร์และสถาปัตยกรรมมาเป็นเวลา 12 ปี เธอมีความหลงใหลในการเรียนรู้และการสอนเทคโนโลยีคลาวด์

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/how-getir-reduced-model-training-durations-by-90-with-amazon-sagemaker-and-aws-batch/