โพสต์นี้เขียนร่วมกับ Kostia Kofman และ Jenny Tokar จาก Booking.com
ในฐานะผู้นำระดับโลกในอุตสาหกรรมการท่องเที่ยวออนไลน์ Booking.com มองหาวิธีการใหม่ๆ เพื่อปรับปรุงการบริการและมอบประสบการณ์ที่ตรงตามความต้องการและราบรื่นแก่ลูกค้าอยู่เสมอ ทีมจัดอันดับของ Booking.com มีบทบาทสำคัญในการรับประกันว่าอัลกอริธึมการค้นหาและการแนะนำได้รับการปรับให้เหมาะสมเพื่อมอบผลลัพธ์ที่ดีที่สุดแก่ผู้ใช้
การแบ่งปันทรัพยากรภายในองค์กรกับทีมภายในอื่นๆ นักวิทยาศาสตร์แมชชีนเลิร์นนิง (ML) ของทีมจัดอันดับมักเผชิญกับการรอคอยที่ยาวนานในการเข้าถึงทรัพยากรสำหรับการฝึกอบรมโมเดลและการทดลอง ซึ่งท้าทายความสามารถในการทดลองและสร้างสรรค์สิ่งใหม่ๆ อย่างรวดเร็ว เมื่อตระหนักถึงความจำเป็นสำหรับโครงสร้างพื้นฐาน ML ที่ทันสมัย ทีมจัดอันดับจึงเริ่มต้นการเดินทางเพื่อใช้พลังของ อเมซอน SageMaker เพื่อสร้าง ฝึกอบรม และปรับใช้โมเดล ML ในวงกว้าง
Booking.com ร่วมมือกับ บริการระดับมืออาชีพของ AWS เพื่อสร้างโซลูชันเพื่อเร่งเวลาออกสู่ตลาดสำหรับโมเดล ML ที่ได้รับการปรับปรุงผ่านการปรับปรุงต่อไปนี้:
- ลดเวลารอทรัพยากรสำหรับการฝึกอบรมและการทดลอง
- การบูรณาการความสามารถ ML ที่จำเป็น เช่น การปรับแต่งไฮเปอร์พารามิเตอร์
- วงจรการพัฒนาที่ลดลงสำหรับโมเดล ML
เวลารอที่ลดลงหมายความว่าทีมสามารถทำซ้ำและทดลองโมเดลได้อย่างรวดเร็ว และรับข้อมูลเชิงลึกได้เร็วขึ้นมาก การใช้อินสแตนซ์ที่มีอยู่ตามความต้องการของ SageMaker ช่วยลดเวลารอได้สิบเท่า ความสามารถ ML ที่สำคัญ เช่น การปรับแต่งไฮเปอร์พารามิเตอร์ และความสามารถในการอธิบายโมเดลยังขาดในสถานที่ การเดินทางสู่ความทันสมัยของทีมได้แนะนำคุณสมบัติเหล่านี้ผ่านทาง การปรับโมเดลอัตโนมัติของ Amazon SageMaker และ Amazon SageMaker ชี้แจง. สุดท้ายนี้ ความปรารถนาของทีมคือการได้รับผลตอบรับทันทีเกี่ยวกับการเปลี่ยนแปลงแต่ละครั้งที่ทำในโค้ด ลดการวนซ้ำจากนาทีเหลือเพียงทันที และด้วยเหตุนี้จึงเป็นการลดวงจรการพัฒนาสำหรับโมเดล ML
ในโพสต์นี้ เราจะมาเจาะลึกการเดินทางของทีมจัดอันดับของ Booking.com เมื่อพวกเขาใช้ประโยชน์จากความสามารถของ SageMaker เพื่อปรับปรุงกรอบงานการทดลอง ML ให้ทันสมัย ด้วยการทำเช่นนั้น พวกเขาไม่เพียงแต่เอาชนะความท้าทายที่มีอยู่เท่านั้น แต่ยังปรับปรุงประสบการณ์การค้นหาของพวกเขาด้วย ซึ่งท้ายที่สุดจะเป็นประโยชน์ต่อนักเดินทางหลายล้านคนทั่วโลก
แนวทางสู่ความทันสมัย
ทีมจัดอันดับประกอบด้วยนักวิทยาศาสตร์ ML หลายคนซึ่งแต่ละคนต้องพัฒนาและทดสอบแบบจำลองของตนเองแบบออฟไลน์ เมื่อโมเดลถือว่าประสบความสำเร็จตามการประเมินแบบออฟไลน์ ก็สามารถย้ายไปยังการทดสอบ A/B ที่ใช้งานจริงได้ หากแสดงการปรับปรุงทางออนไลน์ ก็สามารถนำมาใช้กับผู้ใช้ทุกคนได้
เป้าหมายของโปรเจ็กต์นี้คือการสร้างสภาพแวดล้อมที่เป็นมิตรต่อผู้ใช้สำหรับนักวิทยาศาสตร์ ML เพื่อให้ปรับแต่งได้อย่างง่ายดาย ไปป์ไลน์การสร้างแบบจำลอง Amazon SageMaker เพื่อทดสอบสมมติฐานโดยไม่จำเป็นต้องเขียนโค้ดโมดูลที่ยาวและซับซ้อน
หนึ่งในความท้าทายหลายประการที่ต้องเผชิญคือการปรับโซลูชันไปป์ไลน์ภายในองค์กรที่มีอยู่เพื่อใช้งานบน AWS โซลูชันนี้เกี่ยวข้องกับองค์ประกอบหลักสองประการ:
- การแก้ไขและขยายโค้ดที่มีอยู่ – ส่วนแรกของโซลูชันของเราเกี่ยวข้องกับการแก้ไขและส่วนขยายโค้ดที่มีอยู่ของเราเพื่อให้เข้ากันได้กับโครงสร้างพื้นฐาน AWS นี่เป็นสิ่งสำคัญในการรับประกันการเปลี่ยนผ่านจากการประมวลผลในองค์กรไปสู่การประมวลผลบนคลาวด์ได้อย่างราบรื่น
- การพัฒนาแพ็คเกจลูกค้า – แพ็คเกจไคลเอนต์ได้รับการพัฒนาซึ่งทำหน้าที่เป็นตัวห่อหุ้ม SageMaker API และโค้ดที่มีอยู่ก่อนหน้านี้ แพ็คเกจนี้รวมทั้งสองเข้าด้วยกัน ช่วยให้นักวิทยาศาสตร์ ML สามารถกำหนดค่าและปรับใช้ไปป์ไลน์ ML ได้อย่างง่ายดายโดยไม่ต้องเขียนโค้ด
การกำหนดค่าไปป์ไลน์ SageMaker
ความสามารถในการปรับแต่งได้เป็นกุญแจสำคัญในขั้นตอนการสร้างโมเดล และสำเร็จได้ด้วยวิธีการดังกล่าว config.ini
ซึ่งเป็นไฟล์การกำหนดค่าที่กว้างขวาง ไฟล์นี้ทำหน้าที่เป็นศูนย์ควบคุมสำหรับอินพุตและพฤติกรรมทั้งหมดของไปป์ไลน์
การกำหนดค่าที่มีอยู่ภายใน config.ini
รวมถึง:
- รายละเอียดท่อ – ผู้ประกอบวิชาชีพสามารถกำหนดชื่อของไปป์ไลน์ ระบุขั้นตอนที่ควรรัน กำหนดตำแหน่งที่ควรจัดเก็บเอาต์พุต บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) และเลือกชุดข้อมูลที่จะใช้
- รายละเอียดบัญชี AWS – คุณสามารถตัดสินใจได้ว่าควรใช้ไปป์ไลน์ในภูมิภาคใด และควรใช้บทบาทใด
- การกำหนดค่าเฉพาะขั้นตอน – สำหรับแต่ละขั้นตอนในไปป์ไลน์ คุณสามารถระบุรายละเอียด เช่น จำนวนและประเภทของอินสแตนซ์ที่จะใช้ พร้อมด้วยพารามิเตอร์ที่เกี่ยวข้อง
รหัสต่อไปนี้แสดงไฟล์การกำหนดค่าตัวอย่าง:
config.ini
เป็นไฟล์ที่ควบคุมเวอร์ชันที่จัดการโดย Git ซึ่งแสดงถึงการกำหนดค่าขั้นต่ำที่จำเป็นสำหรับการรันไปป์ไลน์การฝึกอบรมที่ประสบความสำเร็จ ในระหว่างการพัฒนา สามารถใช้ไฟล์การกำหนดค่าภายในเครื่องที่ไม่ได้ควบคุมเวอร์ชันได้ ไฟล์การกำหนดค่าภายในเครื่องเหล่านี้จำเป็นต้องมีการตั้งค่าที่เกี่ยวข้องกับการทำงานเฉพาะเท่านั้น ทำให้เกิดความยืดหยุ่นโดยไม่ซับซ้อน ไคลเอนต์การสร้างไปป์ไลน์ได้รับการออกแบบมาเพื่อจัดการไฟล์การกำหนดค่าหลายไฟล์ โดยไฟล์ล่าสุดจะมีความสำคัญมากกว่าการตั้งค่าก่อนหน้า
ขั้นตอนไปป์ไลน์ SageMaker
ไปป์ไลน์แบ่งออกเป็นขั้นตอนต่อไปนี้:
- ฝึกอบรมและทดสอบการเตรียมข้อมูล – ข้อมูลดิบจำนวนเทราไบต์จะถูกคัดลอกไปยังบัคเก็ต S3 และประมวลผลโดยใช้ AWS กาว งานสำหรับการประมวลผล Spark ส่งผลให้ข้อมูลมีโครงสร้างและจัดรูปแบบเพื่อความเข้ากันได้
- รถไฟ – ขั้นตอนการฝึกอบรมใช้ตัวประมาณ TensorFlow สำหรับงานการฝึกอบรม SageMaker การฝึกอบรมเกิดขึ้นในลักษณะกระจายโดยใช้ Horovod และอาร์ติแฟกต์ของโมเดลที่เป็นผลลัพธ์จะถูกจัดเก็บไว้ใน Amazon S3 สำหรับการปรับแต่งไฮเปอร์พารามิเตอร์ สามารถเริ่มต้นงานการปรับให้เหมาะสมไฮเปอร์พารามิเตอร์ (HPO) ได้ โดยเลือกแบบจำลองที่ดีที่สุดตามตัวชี้วัดวัตถุประสงค์
- ทำนาย – ในขั้นตอนนี้ งานการประมวลผลของ SageMaker จะใช้อาร์ติแฟกต์ของโมเดลที่จัดเก็บไว้เพื่อทำการคาดการณ์ กระบวนการนี้ทำงานแบบขนานบนเครื่องที่มีอยู่ และผลการคาดการณ์จะถูกจัดเก็บไว้ใน Amazon S3
- ประเมินค่า – งานประมวลผล PySpark ประเมินโมเดลโดยใช้สคริปต์ Spark แบบกำหนดเอง จากนั้นรายงานการประเมินจะถูกจัดเก็บไว้ใน Amazon S3
- เงื่อนไข – หลังจากการประเมิน จะมีการตัดสินใจเกี่ยวกับคุณภาพของแบบจำลอง การตัดสินใจนี้ขึ้นอยู่กับเมตริกเงื่อนไขที่กำหนดไว้ในไฟล์การกำหนดค่า หากการประเมินเป็นค่าบวก โมเดลจะได้รับการลงทะเบียนว่าได้รับการอนุมัติ มิฉะนั้นจะถูกลงทะเบียนว่าถูกปฏิเสธ ในทั้งสองกรณี รายงานการประเมินและการอธิบาย (หากสร้างขึ้น) จะถูกบันทึกไว้ในทะเบียนแบบจำลอง
- โมเดลแพ็คเกจสำหรับการอนุมาน – ในการใช้งานการประมวลผล หากผลการประเมินเป็นบวก โมเดลจะถูกจัดแพคเกจ จัดเก็บไว้ใน Amazon S3 และพร้อมสำหรับการอัปโหลดไปยังพอร์ทัล ML ภายใน
- อธิบาย – SageMaker Clarify สร้างรายงานที่สามารถอธิบายได้
มีการใช้ที่เก็บที่แตกต่างกันสองแห่ง พื้นที่เก็บข้อมูลแรกประกอบด้วยคำจำกัดความและโค้ดบิวด์สำหรับไปป์ไลน์ ML และพื้นที่เก็บข้อมูลที่สองประกอบด้วยโค้ดที่ทำงานในแต่ละขั้นตอน เช่น การประมวลผล การฝึก การคาดคะเน และการประเมินผล วิธีการใช้พื้นที่เก็บข้อมูลคู่นี้ช่วยให้มีความเป็นโมดูลมากขึ้น และช่วยให้ทีมวิทยาศาสตร์และวิศวกรรมสามารถวนซ้ำโค้ด ML และส่วนประกอบไปป์ไลน์ ML ได้อย่างอิสระ
ไดอะแกรมต่อไปนี้แสดงเวิร์กโฟลว์โซลูชัน
การปรับรุ่นอัตโนมัติ
โมเดล ML การฝึกอบรมต้องใช้วิธีทำซ้ำของการทดลองฝึกอบรมหลายครั้ง เพื่อสร้างโมเดลสุดท้ายที่มีประสิทธิภาพและมีประสิทธิภาพสำหรับการใช้งานทางธุรกิจ นักวิทยาศาสตร์ ML ต้องเลือกประเภทโมเดลที่เหมาะสม สร้างชุดข้อมูลอินพุตที่ถูกต้อง และปรับชุดไฮเปอร์พารามิเตอร์ที่ควบคุมกระบวนการเรียนรู้โมเดลระหว่างการฝึกอบรม
การเลือกค่าที่เหมาะสมสำหรับไฮเปอร์พารามิเตอร์สำหรับกระบวนการฝึกโมเดลสามารถมีอิทธิพลอย่างมากต่อประสิทธิภาพขั้นสุดท้ายของโมเดล อย่างไรก็ตาม ไม่มีวิธีการเฉพาะหรือที่กำหนดไว้ในการพิจารณาว่าค่าใดเหมาะสมกับกรณีการใช้งานเฉพาะ โดยส่วนใหญ่แล้ว นักวิทยาศาสตร์ ML จะต้องรันงานการฝึกอบรมหลายครั้งโดยใช้ชุดไฮเปอร์พารามิเตอร์ที่แตกต่างกันเล็กน้อย สังเกตตัวชี้วัดการฝึกโมเดล จากนั้นพยายามเลือกค่าที่มีแนวโน้มมากขึ้นสำหรับการวนซ้ำครั้งถัดไป กระบวนการปรับแต่งประสิทธิภาพของโมเดลนี้เรียกอีกอย่างว่าการเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์ (HPO) และในบางครั้งอาจต้องใช้การทดลองหลายร้อยครั้ง
ทีมจัดอันดับเคยดำเนินการ HPO ด้วยตนเองในสภาพแวดล้อมภายในองค์กร เนื่องจากพวกเขาสามารถเปิดงานการฝึกอบรมพร้อมกันในจำนวนที่จำกัดเท่านั้น ดังนั้น พวกเขาจึงต้องรัน HPO ตามลำดับ ทดสอบและเลือกชุดค่าไฮเปอร์พารามิเตอร์ที่แตกต่างกันด้วยตนเอง และติดตามความคืบหน้าเป็นประจำ สิ่งนี้ทำให้การพัฒนาแบบจำลองและกระบวนการปรับแต่งยืดเยื้อขึ้น และจำกัดจำนวนการทดลอง HPO โดยรวมที่สามารถทำงานได้ในระยะเวลาที่เป็นไปได้
เมื่อย้ายไปยัง AWS ทีมจัดอันดับก็สามารถใช้คุณสมบัติการปรับแต่งโมเดลอัตโนมัติ (AMT) ของ SageMaker ได้ AMT ช่วยให้นักวิทยาศาสตร์ Ranking ML สามารถเริ่มงานการฝึกอบรมหลายร้อยงานโดยอัตโนมัติภายในช่วงไฮเปอร์พารามิเตอร์ที่สนใจ เพื่อค้นหาเวอร์ชันที่มีประสิทธิภาพสูงสุดของโมเดลขั้นสุดท้ายตามหน่วยเมตริกที่เลือก ขณะนี้ทีมจัดอันดับสามารถเลือกระหว่างสี่กลยุทธ์การปรับแต่งอัตโนมัติที่แตกต่างกันสำหรับการเลือกไฮเปอร์พารามิเตอร์:
- ค้นหากริด – AMT คาดหวังว่าไฮเปอร์พารามิเตอร์ทั้งหมดจะเป็นค่าเชิงหมวดหมู่ และจะเปิดตัวงานการฝึกอบรมสำหรับชุดค่าผสมตามหมวดหมู่ที่แตกต่างกันแต่ละรายการ โดยสำรวจพื้นที่ไฮเปอร์พารามิเตอร์ทั้งหมด
- สุ่มค้นหา – AMT จะสุ่มเลือกชุดค่าไฮเปอร์พารามิเตอร์ภายในช่วงที่กำหนด เนื่องจากไม่มีการพึ่งพาระหว่างงานการฝึกที่แตกต่างกันและการเลือกค่าพารามิเตอร์ งานการฝึกแบบขนานหลายรายการจึงสามารถเริ่มต้นได้ด้วยวิธีนี้ ซึ่งจะช่วยเร่งกระบวนการเลือกพารามิเตอร์ที่เหมาะสมที่สุด
- การเพิ่มประสิทธิภาพแบบเบย์ – AMT ใช้การปรับให้เหมาะสมแบบเบย์เซียนเพื่อคาดเดาชุดค่าไฮเปอร์พารามิเตอร์ที่ดีที่สุด โดยถือว่าเป็นปัญหาการถดถอย โดยจะพิจารณาชุดค่าผสมไฮเปอร์พารามิเตอร์ที่ทดสอบก่อนหน้านี้ และผลกระทบต่องานการฝึกโมเดลด้วยการเลือกพารามิเตอร์ใหม่ โดยปรับให้เหมาะสมสำหรับการเลือกพารามิเตอร์ที่ชาญฉลาดยิ่งขึ้นด้วยการทดลองน้อยลง แต่ยังจะเปิดตัวงานการฝึกตามลำดับเท่านั้น เพื่อให้สามารถเรียนรู้จากการฝึกครั้งก่อน ๆ ได้ตลอดเวลา
- ไฮเปอร์แบนด์ – AMT จะใช้ผลลัพธ์ขั้นกลางและสุดท้ายของงานการฝึกอบรมที่กำลังดำเนินการอยู่เพื่อจัดสรรทรัพยากรแบบไดนามิกไปยังงานการฝึกอบรมด้วยการกำหนดค่าไฮเปอร์พารามิเตอร์ที่แสดงผลลัพธ์ที่มีแนวโน้มมากขึ้น ในขณะเดียวกันก็หยุดงานที่มีประสิทธิภาพต่ำกว่าโดยอัตโนมัติ
AMT บน SageMaker ช่วยให้ทีมจัดอันดับลดเวลาที่ใช้ในกระบวนการปรับแต่งไฮเปอร์พารามิเตอร์สำหรับการพัฒนาโมเดลโดยทำให้พวกเขาทำการทดลองแบบขนานหลายรายการเป็นครั้งแรก ใช้กลยุทธ์การปรับแต่งอัตโนมัติ และดำเนินการฝึกอบรมเลขสองหลักภายในไม่กี่วัน สิ่งที่ไม่สามารถทำได้ในสถานที่
ความสามารถในการอธิบายโมเดลด้วย SageMaker Clarify
ความสามารถในการอธิบายโมเดลช่วยให้ผู้ปฏิบัติงาน ML เข้าใจธรรมชาติและพฤติกรรมของโมเดล ML ของตนได้ โดยการให้ข้อมูลเชิงลึกอันมีค่าสำหรับการตัดสินใจด้านวิศวกรรมคุณลักษณะและการเลือก ซึ่งจะช่วยปรับปรุงคุณภาพของการคาดการณ์โมเดลได้ ทีมจัดอันดับต้องการประเมินข้อมูลเชิงลึกที่สามารถอธิบายได้สองวิธี: ทำความเข้าใจว่าอินพุตคุณลักษณะส่งผลต่อเอาต์พุตของโมเดลในชุดข้อมูลทั้งหมดอย่างไร (การตีความทั่วโลก) และยังสามารถค้นพบอิทธิพลของคุณลักษณะอินพุตสำหรับการทำนายโมเดลเฉพาะบนจุดข้อมูลที่สนใจ ( การตีความในท้องถิ่น) ด้วยข้อมูลนี้ นักวิทยาศาสตร์ในการจัดอันดับ ML จึงสามารถตัดสินใจได้อย่างชาญฉลาดว่าจะปรับปรุงประสิทธิภาพของโมเดลให้ดียิ่งขึ้นได้อย่างไร และคำนึงถึงผลการคาดการณ์ที่ท้าทายที่โมเดลจะมอบให้ในบางครั้ง
SageMaker Clarify ช่วยให้คุณสร้างรายงานความสามารถในการอธิบายโมเดลได้โดยใช้ คำอธิบายสารเติมแต่ง Shapley (SHAP) เมื่อฝึกโมเดลของคุณบน SageMaker ซึ่งรองรับการตีความโมเดลทั้งในระดับสากลและระดับท้องถิ่น นอกเหนือจากรายงานความสามารถในการอธิบายโมเดลแล้ว SageMaker Clarify ยังรองรับการวิเคราะห์ที่รันอยู่สำหรับตัววัดอคติก่อนการฝึก ตัววัดอคติหลังการฝึก และแผนการพึ่งพาบางส่วน งานจะถูกเรียกใช้เป็นงานการประมวลผล SageMaker ภายในบัญชี AWS และจะผสานรวมกับไปป์ไลน์ SageMaker โดยตรง
รายงานความสามารถในการตีความทั่วโลกจะถูกสร้างขึ้นโดยอัตโนมัติในเอาต์พุตงานและแสดงใน สตูดิโอ Amazon SageMaker สภาพแวดล้อมซึ่งเป็นส่วนหนึ่งของการทดลองฝึกอบรม หากโมเดลนี้ได้รับการลงทะเบียนในการลงทะเบียนโมเดล SageMaker รายงานจะเชื่อมโยงกับอาร์ติแฟกต์ของโมเดลเพิ่มเติม ด้วยการใช้ทั้งสองตัวเลือกนี้ ทีมจัดอันดับจึงสามารถติดตามเวอร์ชันโมเดลต่างๆ และการเปลี่ยนแปลงพฤติกรรมได้อย่างง่ายดาย
เพื่อสำรวจผลกระทบของคุณลักษณะอินพุตต่อการทำนายครั้งเดียว (ค่าความสามารถในการตีความในท้องถิ่น) ทีมจัดอันดับได้เปิดใช้งานพารามิเตอร์ save_local_shap_values
ใน SageMaker ชี้แจงงานและสามารถโหลดงานเหล่านั้นจากบัคเก็ต S3 เพื่อการวิเคราะห์เพิ่มเติมในสมุดบันทึก Jupyter ใน SageMaker Studio
รูปภาพก่อนหน้านี้แสดงตัวอย่างความสามารถในการอธิบายโมเดลสำหรับโมเดล ML ที่กำหนดเอง
การเพิ่มประสิทธิภาพการฝึกอบรม
การเพิ่มขึ้นของการเรียนรู้เชิงลึก (DL) ทำให้ ML ต้องพึ่งพาพลังการคำนวณและข้อมูลจำนวนมหาศาลมากขึ้น ผู้ปฏิบัติงาน ML มักเผชิญกับอุปสรรคในการใช้ทรัพยากรอย่างมีประสิทธิภาพเมื่อฝึกอบรมโมเดลที่ซับซ้อนเหล่านี้ เมื่อคุณดำเนินการฝึกอบรมบนคลัสเตอร์การประมวลผลขนาดใหญ่ ความท้าทายต่างๆ จะเกิดขึ้นในการเพิ่มประสิทธิภาพการใช้ทรัพยากร รวมถึงปัญหาต่างๆ เช่น คอขวดของ I/O ความล่าช้าในการเปิดเคอร์เนล ข้อจำกัดของหน่วยความจำ และทรัพยากรที่มีการใช้งานน้อยเกินไป หากการกำหนดค่าของงานการฝึกไม่ได้รับการปรับแต่งอย่างมีประสิทธิภาพ อุปสรรคเหล่านี้อาจส่งผลให้มีการใช้งานฮาร์ดแวร์ที่ไม่เหมาะสม ระยะเวลาการฝึกนานขึ้น หรือแม้แต่การรันการฝึกที่ไม่สมบูรณ์ ปัจจัยเหล่านี้ทำให้ต้นทุนโครงการเพิ่มขึ้นและกำหนดเวลาล่าช้า
การทำโปรไฟล์การใช้งาน CPU และ GPU ช่วยให้เข้าใจความไร้ประสิทธิภาพเหล่านี้ กำหนดปริมาณการใช้ทรัพยากรฮาร์ดแวร์ (เวลาและหน่วยความจำ) ของการดำเนินการ TensorFlow ต่างๆ ในโมเดลของคุณ แก้ไขคอขวดของประสิทธิภาพ และทำให้โมเดลทำงานเร็วขึ้นในท้ายที่สุด
ทีมจัดอันดับใช้คุณลักษณะการทำโปรไฟล์กรอบงานของ ดีบักเกอร์ Amazon SageMaker (ตอนนี้เลิกใช้แล้วเพื่อสนับสนุน ตัวสร้างโปรไฟล์ Amazon SageMaker) เพื่อเพิ่มประสิทธิภาพงานการฝึกอบรมเหล่านี้ สิ่งนี้ช่วยให้คุณติดตามกิจกรรมทั้งหมดบน CPU และ GPU เช่น การใช้งาน CPU และ GPU, การรันเคอร์เนลบน GPU, การเปิดใช้เคอร์เนลบน CPU, การซิงค์, การทำงานของหน่วยความจำใน GPU, เวลาแฝงระหว่างการเรียกใช้เคอร์เนลและการรันที่สอดคล้องกัน และการถ่ายโอนข้อมูลระหว่าง CPU และ GPU
ทีมอันดับยังใช้ ตัวสร้างโปรไฟล์ TensorFlow คุณลักษณะของ เทนเซอร์บอร์ดซึ่งช่วยสร้างโปรไฟล์การฝึกอบรมโมเดล TensorFlow เพิ่มเติม SageMaker อยู่ในขณะนี้ บูรณาการเพิ่มเติมกับ TensorBoard และนำเครื่องมือการแสดงภาพของ TensorBoard มาสู่ SageMaker ซึ่งผสานรวมกับการฝึกอบรมและโดเมนของ SageMaker TensorBoard ช่วยให้คุณทำงานแก้ไขข้อบกพร่องโมเดลได้โดยใช้ปลั๊กอินการแสดงภาพ TensorBoard
ด้วยความช่วยเหลือของเครื่องมือทั้งสองนี้ ทีมจัดอันดับได้ปรับโมเดล TensorFlow ให้เหมาะสม และสามารถระบุปัญหาคอขวดและลดเวลาขั้นตอนการฝึกอบรมโดยเฉลี่ยจาก 350 มิลลิวินาทีเป็น 140 มิลลิวินาทีบน CPU และจาก 170 มิลลิวินาทีเป็น 70 มิลลิวินาทีบน GPU ซึ่งเพิ่มความเร็วได้ 60% และ 59% ตามลำดับ
ผลลัพธ์ทางธุรกิจ
ความพยายามในการโยกย้ายมีศูนย์กลางอยู่ที่การเพิ่มความพร้อมใช้งาน ความสามารถในการปรับขนาด และความยืดหยุ่น ซึ่งร่วมกันนำสภาพแวดล้อม ML ไปสู่ระดับใหม่ของความเป็นเลิศในการปฏิบัติงาน โดยมีตัวอย่างจากความถี่การฝึกโมเดลที่เพิ่มขึ้นและความล้มเหลวที่ลดลง เวลาการฝึกอบรมที่ได้รับการปรับปรุงให้เหมาะสม และความสามารถ ML ขั้นสูง
ความถี่และความล้มเหลวในการฝึกโมเดล
จำนวนงานฝึกอบรมโมเดลรายเดือนเพิ่มขึ้นห้าเท่า ส่งผลให้มีการปรับปรุงโมเดลให้เหมาะสมถี่ขึ้นอย่างเห็นได้ชัด นอกจากนี้ สภาพแวดล้อม ML ใหม่ยังช่วยลดอัตราความล้มเหลวของการเรียกใช้ไปป์ไลน์ โดยลดลงจากประมาณ 50% เป็น 20% เวลาประมวลผลงานที่ล้มเหลวลดลงอย่างมาก จากโดยเฉลี่ยมากกว่าหนึ่งชั่วโมงเหลือเพียง 5 วินาทีเพียงเล็กน้อย สิ่งนี้ได้เพิ่มประสิทธิภาพการดำเนินงานอย่างมากและลดการสิ้นเปลืองทรัพยากร
เวลาการฝึกอบรมที่เหมาะสมที่สุด
การย้ายข้อมูลนำมาซึ่งประสิทธิภาพที่เพิ่มขึ้นผ่านการฝึกอบรม GPU ที่ใช้ SageMaker การเปลี่ยนแปลงนี้ลดเวลาการฝึกโมเดลลงเหลือหนึ่งในห้าของระยะเวลาก่อนหน้า ก่อนหน้านี้ กระบวนการฝึกอบรมสำหรับโมเดลการเรียนรู้เชิงลึกใช้เวลาประมาณ 60 ชั่วโมงบน CPU; สิ่งนี้ได้รับการปรับปรุงให้เหลือเวลาประมาณ 12 ชั่วโมงบน GPU การปรับปรุงนี้ไม่เพียงแต่ช่วยประหยัดเวลา แต่ยังช่วยเร่งวงจรการพัฒนา ทำให้สามารถทำซ้ำและปรับปรุงโมเดลได้เร็วขึ้น
ความสามารถ ML ขั้นสูง
ศูนย์กลางความสำเร็จของการย้ายข้อมูลคือการใช้ชุดคุณลักษณะ SageMaker ซึ่งครอบคลุมการปรับแต่งไฮเปอร์พารามิเตอร์และความสามารถในการอธิบายโมเดล นอกจากนี้ การย้ายข้อมูลยังทำให้สามารถติดตามการทดลองได้อย่างราบรื่น การทดลอง Amazon SageMakerซึ่งช่วยให้การทดลองมีข้อมูลเชิงลึกและมีประสิทธิภาพมากขึ้น
สิ่งสำคัญที่สุดคือ สภาพแวดล้อมการทดลอง ML ใหม่สนับสนุนการพัฒนาโมเดลใหม่ที่ประสบความสำเร็จซึ่งขณะนี้อยู่ในการใช้งานจริง โมเดลนี้เป็นการเรียนรู้เชิงลึกมากกว่าแบบต้นไม้ และได้นำเสนอการปรับปรุงประสิทธิภาพของโมเดลออนไลน์ที่เห็นได้ชัดเจน
สรุป
โพสต์นี้ให้ภาพรวมของการทำงานร่วมกันของ AWS Professional Services และ Booking.com ซึ่งส่งผลให้มีการใช้เฟรมเวิร์ก ML ที่ปรับขนาดได้ และลดเวลาในการนำโมเดล ML ออกสู่ตลาดของทีมจัดอันดับได้สำเร็จ
ทีมจัดอันดับของ Booking.com ได้เรียนรู้ว่าการย้ายไปยังระบบคลาวด์และ SageMaker ได้พิสูจน์แล้วว่ามีประโยชน์ และการปรับแนวทางปฏิบัติของการเรียนรู้ของเครื่อง (MLOps) ช่วยให้วิศวกรและนักวิทยาศาสตร์ ML มุ่งเน้นไปที่งานฝีมือและเพิ่มความเร็วในการพัฒนา ทีมงานแบ่งปันการเรียนรู้และงานที่ทำร่วมกับชุมชน ML ทั้งหมดที่ Booking.com ผ่านการพูดคุยและเซสชันเฉพาะกับผู้ปฏิบัติงาน ML โดยพวกเขาจะแบ่งปันโค้ดและความสามารถต่างๆ เราหวังว่าโพสต์นี้จะเป็นอีกช่องทางหนึ่งในการแบ่งปันความรู้
AWS Professional Services พร้อมที่จะช่วยทีมของคุณพัฒนา ML ที่ปรับขนาดได้และพร้อมสำหรับการผลิตใน AWS สำหรับข้อมูลเพิ่มเติม โปรดดู บริการระดับมืออาชีพของ AWS หรือติดต่อผ่านผู้จัดการบัญชีของคุณเพื่อติดต่อ
เกี่ยวกับผู้เขียน
ลอเรนส์ ฟาน เดอร์ มาส เป็นวิศวกรการเรียนรู้ของเครื่องที่ AWS Professional Services เขาทำงานอย่างใกล้ชิดกับลูกค้าที่สร้างโซลูชันแมชชีนเลิร์นนิงบน AWS เชี่ยวชาญด้านการฝึกอบรมแบบกระจาย การทดลอง และ AI ที่มีความรับผิดชอบ และหลงใหลเกี่ยวกับวิธีที่แมชชีนเลิร์นนิงเปลี่ยนแปลงโลกอย่างที่เรารู้จัก
ดาเนียล ซากีวา เป็นนักวิทยาศาสตร์ข้อมูลที่ AWS Professional Services เขาเชี่ยวชาญในการพัฒนาโซลูชันแมชชีนเลิร์นนิงระดับการผลิตที่ปรับขนาดได้สำหรับลูกค้า AWS ประสบการณ์ของเขาขยายออกไปในด้านต่างๆ รวมถึงการประมวลผลภาษาธรรมชาติ AI เชิงสร้างสรรค์ และการดำเนินการเรียนรู้ของเครื่องจักร
คอสเตีย คอฟมาน เป็นผู้จัดการอาวุโสด้านแมชชีนเลิร์นนิงของ Booking.com ซึ่งเป็นผู้นำทีม Search Ranking ML และดูแลระบบ ML ที่ครอบคลุมที่สุดของ Booking.com ด้วยความเชี่ยวชาญในด้านการปรับเปลี่ยนเฉพาะบุคคลและการจัดอันดับ เขามุ่งมั่นที่จะใช้ประโยชน์จากเทคโนโลยีล้ำสมัยเพื่อยกระดับประสบการณ์ของลูกค้า
เจนนี่ โตการ์ เป็นวิศวกรแมชชีนเลิร์นนิงอาวุโสของทีมจัดอันดับการค้นหาของ Booking.com เธอเชี่ยวชาญในการพัฒนาไปป์ไลน์ ML แบบ end-to-end โดยโดดเด่นด้วยประสิทธิภาพ ความน่าเชื่อถือ ความสามารถในการปรับขนาด และนวัตกรรม ความเชี่ยวชาญของ Jenny ช่วยให้ทีมของเธอสร้างโมเดลการจัดอันดับที่ล้ำสมัยที่ให้บริการผู้ใช้หลายล้านคนทุกวัน
อเล็กซานดรา โดคิช เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสที่ AWS Professional Services เธอสนุกกับการสนับสนุนลูกค้าในการสร้างโซลูชัน AI/ML ที่เป็นนวัตกรรมบน AWS และเธอรู้สึกตื่นเต้นกับการเปลี่ยนแปลงทางธุรกิจผ่านพลังของข้อมูล
ลูบา โปรตซิวา เป็นผู้จัดการฝ่ายการมีส่วนร่วมที่ AWS Professional Services เธอเชี่ยวชาญในการนำเสนอโซลูชันข้อมูลและ GenAI/ML ที่ช่วยให้ลูกค้า AWS สามารถเพิ่มมูลค่าทางธุรกิจให้สูงสุดและเร่งความเร็วของนวัตกรรมได้
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/how-booking-com-modernized-its-ml-experimentation-framework-with-amazon-sagemaker/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 1
- 100
- 12
- 130
- 140
- 16
- 350
- 60
- 7
- 70
- a
- ความสามารถ
- สามารถ
- เกี่ยวกับเรา
- เร่งความเร็ว
- เข้า
- ตาม
- ลงชื่อเข้าใช้
- ประสบความสำเร็จ
- ข้าม
- กิจกรรม
- การกระทำ
- การปรับตัว
- นอกจากนี้
- นอกจากนี้
- สูง
- มีผลต่อ
- หลังจาก
- AI
- AI / ML
- อัลกอริทึม
- ทั้งหมด
- อนุญาตให้
- ช่วยให้
- ตาม
- ด้วย
- เสมอ
- อเมซอน
- อเมซอน SageMaker
- Amazon Web Services
- จำนวน
- จำนวน
- an
- การวิเคราะห์
- และ
- อื่น
- APIs
- เข้าใกล้
- เหมาะสม
- ได้รับการอนุมัติ
- ประมาณ
- โดยพลการ
- เป็น
- พื้นที่
- เกิดขึ้น
- รอบ
- AS
- ความทะเยอทะยาน
- At
- อัตโนมัติ
- อัตโนมัติ
- ความพร้อมใช้งาน
- ใช้ได้
- เฉลี่ย
- AWS
- บริการระดับมืออาชีพของ AWS
- กลับ
- ตาม
- เบย์เซียน
- BE
- เพราะ
- สมควร
- พฤติกรรม
- พฤติกรรม
- พฤติกรรม
- เป็นประโยชน์
- ได้รับประโยชน์
- ที่ดีที่สุด
- ระหว่าง
- อคติ
- การจอง
- Booking.com
- ทั้งสอง
- คอขวด
- นำ
- นำ
- สร้าง
- การก่อสร้าง
- ธุรกิจ
- แต่
- by
- CAN
- ความสามารถในการ
- กรณี
- กรณี
- ศูนย์
- ศูนย์กลาง
- ความท้าทาย
- ท้าทาย
- เปลี่ยนแปลง
- การเปลี่ยนแปลง
- เปลี่ยนแปลง
- ลักษณะ
- Choose
- เลือก
- ไคลเอนต์
- อย่างใกล้ชิด
- เมฆ
- รหัส
- การเข้ารหัส
- ร่วมมือ
- การทำงานร่วมกัน
- รวม
- COM
- การผสมผสาน
- รวม
- รวม
- อย่างธรรมดา
- ชุมชน
- ความเข้ากันได้
- เข้ากันได้
- ซับซ้อน
- ความซับซ้อน
- ซับซ้อน
- ส่วนประกอบ
- การคำนวณ
- พลังการคำนวณ
- คำนวณ
- สภาพ
- องค์ประกอบ
- พิจารณา
- ประกอบ
- ข้อ จำกัด
- ถูกใช้
- การบริโภค
- บรรจุ
- มี
- ควบคุม
- แก้ไข
- ตรงกัน
- ค่าใช้จ่าย
- ได้
- หัตถกรรม
- สร้าง
- การสร้าง
- สำคัญมาก
- ประเพณี
- ลูกค้า
- ลูกค้า
- ปรับแต่งได้
- ตัดขอบ
- เทคโนโลยีล้ำสมัย
- วงจร
- ข้อมูล
- การเตรียมข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ชุดข้อมูล
- วัน
- วัน
- ตัดสินใจ
- การตัดสินใจ
- การตัดสินใจ
- ลดลง
- ทุ่มเท
- ถือว่า
- ลึก
- การเรียนรู้ลึก ๆ
- กำหนด
- กำหนด
- คำนิยาม
- ความล่าช้า
- ความล่าช้า
- ส่งมอบ
- การส่งมอบ
- คุ้ย
- การพึ่งพาอาศัยกัน
- การอยู่ที่
- ปรับใช้
- นำไปใช้
- เลิก
- ได้รับการออกแบบ
- รายละเอียด
- กำหนด
- พัฒนา
- พัฒนา
- ที่กำลังพัฒนา
- พัฒนาการ
- แผนภาพ
- ต่าง
- โดยตรง
- ค้นพบ
- แสดง
- แตกต่าง
- กระจาย
- กระจายการฝึกอบรม
- แบ่งออก
- การทำ
- โดเมน
- ทำ
- ฮวบ
- ลดลง
- ระยะเวลา
- ในระหว่าง
- แบบไดนามิก
- แต่ละ
- อย่างง่ายดาย
- อย่างมีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- ความพยายาม
- ลงมือ
- ให้อำนาจ
- ทำให้สามารถ
- เปิดการใช้งาน
- ช่วยให้
- การเปิดใช้งาน
- ห้อมล้อม
- จบสิ้น
- มีส่วนร่วม
- วิศวกร
- ชั้นเยี่ยม
- วิศวกร
- เสริม
- การเสริมสร้าง
- การสร้างความมั่นใจ
- ทั้งหมด
- สิ่งแวดล้อม
- ยุค
- จำเป็น
- ประเมินค่า
- การประเมินผล
- แม้
- ทุกๆ
- ทุกวัน
- ตัวอย่าง
- ความยอดเยี่ยม
- ตื่นเต้น
- เป็นตัวอย่าง
- ที่มีอยู่
- คาดหวัง
- เร่ง
- ประสบการณ์
- ประสบการณ์
- การทดลอง
- การทดลอง
- ความชำนาญ
- อธิบาย
- สำรวจ
- สำรวจ
- การขยาย
- ขยาย
- นามสกุล
- กว้างขวาง
- ใบหน้า
- ต้องเผชิญกับ
- ปัจจัย
- ล้มเหลว
- ความล้มเหลว
- ความล้มเหลว
- เท็จ
- เร็วขึ้น
- โปรดปราน
- เป็นไปได้
- ลักษณะ
- คุณสมบัติ
- ข้อเสนอแนะ
- น้อยลง
- เนื้อไม่มีมัน
- ไฟล์
- สุดท้าย
- ในที่สุด
- หา
- ชื่อจริง
- ครั้งแรก
- ความยืดหยุ่น
- โฟกัส
- ดังต่อไปนี้
- สำหรับ
- สี่
- กรอบ
- เวลา
- บ่อย
- ราคาเริ่มต้นที่
- ต่อไป
- นอกจากนี้
- ดึงดูด
- สร้าง
- สร้าง
- สร้าง
- กำเนิด
- กำเนิด AI
- ได้รับ
- ไป
- เหตุการณ์ที่
- เป้าหมาย
- GPU
- GPUs
- มากขึ้น
- เดา
- มี
- จัดการ
- ฮาร์ดแวร์
- ควบคุม
- มี
- he
- ช่วย
- ช่วย
- จะช่วยให้
- เธอ
- ของเขา
- ความหวัง
- ชั่วโมง
- ชั่วโมง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- HTML
- ที่ http
- HTTPS
- ร้อย
- อุปสรรค์
- การเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์
- การปรับแต่งไฮเปอร์พารามิเตอร์
- แยกแยะ
- if
- แสดงให้เห็นถึง
- ภาพ
- ทันที
- ส่งผลกระทบ
- การดำเนินงาน
- ที่สำคัญ
- ปรับปรุง
- การปรับปรุง
- การปรับปรุง
- การปรับปรุง
- ช่วยเพิ่ม
- in
- ประกอบด้วย
- รวมทั้ง
- เพิ่ม
- เพิ่มขึ้น
- เพิ่มขึ้น
- ขึ้น
- อิสระ
- อุตสาหกรรม
- ความไร้ประสิทธิภาพ
- มีอิทธิพล
- ข้อมูล
- แจ้ง
- โครงสร้างพื้นฐาน
- ที่ริเริ่ม
- เราสร้างสรรค์สิ่งใหม่ ๆ
- นักวิเคราะห์ส่วนบุคคลที่หาโอกาสให้เป็นไปได้มากที่สุด
- นวัตกรรม
- อินพุต
- ปัจจัยการผลิต
- ภายใน
- ที่ชาญฉลาด
- ข้อมูลเชิงลึก
- ด่วน
- แบบบูรณาการ
- รวม
- อยากเรียนรู้
- ภายใน
- เข้าไป
- แนะนำ
- แนะนำ
- ร่วมมือ
- ปัญหา
- IT
- การย้ำ
- ซ้ำ
- ITS
- การสัมภาษณ์
- งาน
- การเดินทาง
- jpg
- คีย์
- ทราบ
- ความรู้
- ที่รู้จักกัน
- ขาดแคลน
- ภาษา
- ใหญ่
- ล่าสุด
- เปิดตัว
- เปิดตัว
- การเปิดตัว
- ผู้นำ
- ชั้นนำ
- เรียนรู้
- ได้เรียนรู้
- การเรียนรู้
- นำ
- ชั้น
- การใช้ประโยชน์
- กดไลก์
- ถูก จำกัด
- ที่เชื่อมโยง
- โหลด
- ในประเทศ
- นาน
- ดู
- ดูเหมือน
- เครื่อง
- เรียนรู้เครื่อง
- เครื่อง
- ทำ
- ทำ
- การจัดการ
- ผู้จัดการ
- ลักษณะ
- ด้วยมือ
- เพิ่ม
- หมายความ
- หน่วยความจำ
- วิธี
- เมตริก
- ตัวชี้วัด
- การโยกย้าย
- การโยกย้าย
- ล้าน
- มิลลิวินาที
- ต่ำสุด
- นาที
- ML
- ม.ป.ป
- แบบ
- โมเดล
- ทันสมัย
- โมดูล
- การตรวจสอบ
- รายเดือน
- ข้อมูลเพิ่มเติม
- มากที่สุด
- ย้าย
- ย้าย
- มาก
- หลาย
- ชื่อ
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- ธรรมชาติ
- จำเป็นต้อง
- ใหม่
- ถัดไป
- ไม่
- ตอนนี้
- จำนวน
- วัตถุประสงค์
- สังเกต
- อุปสรรค
- of
- ออฟไลน์
- มักจะ
- on
- ตามความต้องการ
- ONE
- ออนไลน์
- เพียง
- การดำเนินงาน
- การดำเนินการ
- ดีที่สุด
- การเพิ่มประสิทธิภาพ
- การเพิ่มประสิทธิภาพ
- เพิ่มประสิทธิภาพ
- การปรับให้เหมาะสม
- การเพิ่มประสิทธิภาพ
- Options
- or
- อื่นๆ
- มิฉะนั้น
- ของเรา
- ออก
- เอาท์พุต
- เอาท์พุท
- เกิน
- ทั้งหมด
- การกำกับดูแล
- ภาพรวม
- ของตนเอง
- ก้าว
- แพ็คเกจ
- แพคเกจ
- Parallel
- พารามิเตอร์
- ส่วนหนึ่ง
- หลงใหล
- ดำเนินการ
- การปฏิบัติ
- ที่มีประสิทธิภาพ
- ส่วนบุคคล
- ท่อ
- เป็นจุดสำคัญ
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- ปลั๊กอิน
- จุด
- พอร์ทัล
- บวก
- โพสต์
- อำนาจ
- การปฏิบัติ
- มาก่อน
- คาดการณ์
- คำทำนาย
- การคาดการณ์
- การจัดเตรียม
- ก่อน
- ก่อนหน้านี้
- ปัญหา
- กระบวนการ
- แปรรูปแล้ว
- กระบวนการ
- การประมวลผล
- การผลิต
- ประสิทธิผล
- มืออาชีพ
- โปรไฟล์
- โปรไฟล์
- ความคืบหน้า
- โครงการ
- แวว
- พิสูจน์แล้วว่า
- ให้
- ให้
- การให้
- คุณภาพ
- อย่างรวดเร็ว
- ช่วง
- อันดับ
- อย่างรวดเร็ว
- คะแนน
- ค่อนข้าง
- ดิบ
- มาถึง
- พร้อม
- รับ
- ตระหนักถึง
- แนะนำ
- บันทึก
- ลด
- ลดลง
- ลด
- การลดลง
- เกี่ยวกับ
- ภูมิภาค
- ทะเบียน
- ลงทะเบียน
- รีจิสทรี
- สม่ำเสมอ
- ถูกปฏิเสธ..
- ตรงประเด็น
- ความเชื่อถือได้
- รายงาน
- รายงาน
- กรุ
- เป็นตัวแทนของ
- ต้องการ
- จำเป็นต้องใช้
- ต้อง
- แก้ไข
- ทรัพยากร
- แหล่งข้อมูล
- ตามลำดับ
- รับผิดชอบ
- ผล
- ส่งผลให้
- ผลสอบ
- ขึ้น
- แข็งแรง
- บทบาท
- วิ่ง
- วิ่ง
- ทำงาน
- sagemaker
- ท่อส่ง SageMaker
- scalability
- ที่ปรับขนาดได้
- ขนาด
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- นักวิทยาศาสตร์
- ต้นฉบับ
- ไร้รอยต่อ
- ค้นหา
- ที่สอง
- วินาที
- เห็น
- ที่กำลังมองหา
- เลือก
- การเลือก
- การเลือก
- ระดับอาวุโส
- ให้บริการ
- ให้บริการอาหาร
- บริการ
- ครั้ง ราคา
- ชุด
- ชุดอุปกรณ์
- การตั้งค่า
- หลาย
- Share
- ใช้งานร่วมกัน
- เธอ
- เปลี่ยน
- น่า
- โชว์
- แสดงให้เห็นว่า
- อย่างมีความหมาย
- ง่าย
- เดียว
- แตกต่างกันเล็กน้อย
- อย่างชาญฉลาด
- เรียบ
- So
- ทางออก
- โซลูชัน
- บางสิ่งบางอย่าง
- ช่องว่าง
- จุดประกาย
- ความเชี่ยวชาญ
- โดยเฉพาะ
- ความเร็ว
- การใช้จ่าย
- ขั้นตอน
- ขั้นตอน
- การหยุด
- การเก็บรักษา
- เก็บไว้
- กลยุทธ์
- คล่องตัว
- เสถียร
- โครงสร้าง
- สตูดิโอ
- ไม่ดี
- ความสำเร็จ
- ที่ประสบความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- ที่สนับสนุน
- ที่สนับสนุน
- รองรับ
- ซิงค์.
- ระบบ
- ปรับปรุง
- การ
- พูดคุย
- งาน
- ทีม
- ทีม
- เทคโนโลยี
- tensorflow
- ทดสอบ
- การทดสอบ
- การทดสอบ
- กว่า
- ที่
- พื้นที่
- โลก
- ของพวกเขา
- พวกเขา
- แล้วก็
- ที่นั่น
- ดังนั้น
- ดังนั้น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- นี้
- เหล่านั้น
- thrives
- ตลอด
- เวลา
- ระยะเวลา
- ครั้ง
- ไปยัง
- เครื่องมือ
- แตะ
- ไปทาง
- ลู่
- การติดตาม
- รถไฟ
- การฝึกอบรม
- การฝึกอบรม
- โอน
- การแปลง
- การเปลี่ยนแปลง
- การเดินทาง
- อุตสาหกรรมการท่องเที่ยว
- เดินทาง
- การรักษาเยียวยา
- จริง
- ลอง
- จูน
- กลับ
- สอง
- ชนิด
- ในที่สุด
- เข้าใจ
- เป็นเอกลักษณ์
- การใช้
- ใช้
- ใช้กรณี
- มือสอง
- ที่ใช้งานง่าย
- ผู้ใช้
- ใช้
- การใช้
- ใช้
- มีคุณค่า
- ความคุ้มค่า
- ความคุ้มค่า
- ต่างๆ
- กว้างใหญ่
- ความเร็ว
- รุ่น
- รุ่น
- มาก
- การสร้างภาพ
- รอ
- อยาก
- คือ
- ทาง..
- วิธี
- we
- เว็บ
- บริการเว็บ
- คือ
- เมื่อ
- ที่
- ในขณะที่
- WHO
- จะ
- กับ
- ภายใน
- ไม่มี
- งาน
- เวิร์กโฟลว์
- โรงงาน
- โลก
- ทั่วโลก
- จะ
- คุณ
- ของคุณ
- ลมทะเล