การทดลองใช้งานแมชชีนเลิร์นนิง (ML) ในระบบคลาวด์สามารถครอบคลุมบริการและส่วนประกอบต่างๆ มากมาย ความสามารถในการจัดโครงสร้าง ทำให้เป็นอัตโนมัติ และติดตามการทดลอง ML มีความสำคัญต่อการพัฒนาแบบจำลอง ML อย่างรวดเร็ว ด้วยความก้าวหน้าล่าสุดในด้านการเรียนรู้ของเครื่องอัตโนมัติ (AutoML) ซึ่งก็คือพื้นที่ของ ML ที่ทุ่มเทให้กับระบบอัตโนมัติของกระบวนการ ML คุณสามารถสร้างแบบจำลองการตัดสินใจที่แม่นยำโดยไม่ต้องมีความรู้ ML เชิงลึก ในบทความนี้ เราจะพูดถึง AutoGluon ซึ่งเป็นเฟรมเวิร์ก AutoML แบบโอเพนซอร์สที่ให้คุณสร้างโมเดล ML ที่แม่นยำด้วย Python เพียงไม่กี่บรรทัด
AWS เสนอบริการที่หลากหลายเพื่อจัดการและเรียกใช้เวิร์กโฟลว์ ML ซึ่งช่วยให้คุณสามารถเลือกโซลูชันตามทักษะและแอปพลิเคชันของคุณ ตัวอย่างเช่น หากคุณใช้ .อยู่แล้ว ฟังก์ชันขั้นตอนของ AWS คุณสามารถใช้บริการเดียวกันเพื่อสร้างและทำให้เวิร์กโฟลว์ ML ของคุณเป็นแบบอัตโนมัติได้ เครื่องมือ MLOps อื่นๆ ที่ AWS มีให้ ได้แก่ ท่อส่ง Amazon SageMakerซึ่งช่วยให้คุณสามารถสร้างโมเดล ML ได้ใน สตูดิโอ Amazon SageMaker ด้วยความสามารถ MLOps (เช่น ความเข้ากันได้ของ CI/CD การตรวจสอบโมเดล และการอนุมัติรุ่น) เครื่องมือโอเพ่นซอร์สเช่น อาปาเช่แอร์โฟลว์—ใช้ได้บน AWS ผ่าน เวิร์กโฟลว์ที่มีการจัดการของ Amazon สำหรับ Apache Airflow-และ คิวบ์โฟลว์นอกจากนี้ยังรองรับโซลูชั่นไฮบริดอีกด้วย ตัวอย่างเช่น คุณสามารถจัดการการนำเข้าข้อมูลและการประมวลผลด้วย Step Functions ในขณะที่ฝึกอบรมและปรับใช้โมเดล ML ของคุณด้วย SageMaker Pipelines
ในโพสต์นี้ เราแสดงให้เห็นว่าแม้แต่นักพัฒนาที่ไม่มีความเชี่ยวชาญด้าน ML ก็สามารถสร้างและรักษาโมเดล ML ที่ล้ำสมัยโดยใช้ AutoGluon ได้อย่างไร อเมซอน SageMaker และ Step Functions เพื่อจัดองค์ประกอบเวิร์กโฟลว์
หลังจากภาพรวมของอัลกอริธึม AutoGluon เรานำเสนอข้อกำหนดเวิร์กโฟลว์พร้อมกับตัวอย่างและ กวดวิชารหัส ที่คุณสามารถนำไปใช้กับข้อมูลของคุณเองได้
ออโต้กลูออน
AutoGluon เป็นเฟรมเวิร์ก AutoML โอเพ่นซอร์สที่เร่งการนำ ML ไปใช้โดยการฝึกโมเดล ML ที่แม่นยำด้วยโค้ด Python เพียงไม่กี่บรรทัด แม้ว่าโพสต์นี้จะเน้นที่ข้อมูลแบบตาราง แต่ AutoGluon ยังช่วยให้คุณฝึกโมเดลที่ล้ำสมัยสำหรับการจัดประเภทรูปภาพ การตรวจจับวัตถุ และการจัดประเภทข้อความ ตาราง AutoGluon สร้างและรวมรุ่นต่างๆ เข้าด้วยกันเพื่อค้นหาโซลูชันที่เหมาะสมที่สุด
ทีม AutoGluon ที่ AWS เปิดตัว a กระดาษ ที่นำเสนอหลักการที่จัดโครงสร้างห้องสมุด:
- ความง่าย – คุณสามารถสร้างแบบจำลองการจัดประเภทและการถดถอยได้โดยตรงจากข้อมูลดิบโดยไม่ต้องวิเคราะห์ข้อมูลหรือดำเนินการวิศวกรรมคุณลักษณะ
- ความแข็งแรง – กระบวนการฝึกอบรมโดยรวมควรประสบความสำเร็จแม้ว่าบางรุ่นจะล้มเหลวก็ตาม
- เวลาที่คาดการณ์ได้ – คุณสามารถได้รับผลลัพธ์ที่ดีที่สุดภายในเวลาที่คุณต้องการลงทุนเพื่อการฝึกอบรม
- ความทนทานต่อความผิดพลาด – คุณสามารถหยุดการฝึกอบรมและดำเนินการได้ทุกเมื่อ ซึ่งจะปรับค่าใช้จ่ายให้เหมาะสมหากกระบวนการทำงานบนภาพเฉพาะจุดในระบบคลาวด์
สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับอัลกอริทึม โปรดดูที่ กระดาษ เผยแพร่โดยทีม AutoGluon ที่ AWS
หลังจากที่คุณติดตั้งไฟล์ แพ็คเกจออโตกลูออน และการพึ่งพาอาศัยกัน การฝึกโมเดลนั้นง่ายพอๆ กับการเขียนโค้ดสามบรรทัด:
ทีมงาน AutoGluon ได้พิสูจน์จุดแข็งของเฟรมเวิร์กโดยเข้าถึงกระดานผู้นำ 10 อันดับแรกในการแข่งขัน Kaggle หลายรายการ
ภาพรวมโซลูชัน
เราใช้ Step Functions เพื่อปรับใช้เวิร์กโฟลว์ ML ที่ครอบคลุมการฝึกอบรม การประเมิน และการปรับใช้ การออกแบบไปป์ไลน์ช่วยให้ทำการทดลองได้อย่างรวดเร็วและกำหนดค่าได้โดยการปรับเปลี่ยนพารามิเตอร์อินพุตที่คุณป้อนลงในไพพ์ไลน์ขณะใช้งานจริง
คุณสามารถกำหนดค่าไปป์ไลน์เพื่อใช้เวิร์กโฟลว์ที่แตกต่างกันได้ เช่น
- ฝึกโมเดล ML ใหม่และจัดเก็บไว้ในรีจีสทรีรุ่น SageMaker หากไม่จำเป็นต้องปรับใช้ ณ จุดนี้
- ปรับใช้โมเดล ML ที่ผ่านการฝึกอบรมล่วงหน้า ไม่ว่าจะออนไลน์ (ปลายทาง SageMaker) หรือออฟไลน์ (การแปลงแบทช์ SageMaker) การอนุมาน
- เรียกใช้ไปป์ไลน์ที่สมบูรณ์เพื่อฝึก ประเมิน และปรับใช้โมเดล ML ตั้งแต่เริ่มต้น
การแก้ปัญหาประกอบด้วยทั่วไป เครื่องรัฐ (ดูไดอะแกรมต่อไปนี้) ที่เตรียมชุดของการดำเนินการที่จะรันตามชุดของพารามิเตอร์อินพุต
ขั้นตอนของเครื่องสถานะมีดังนี้:
- ขั้นตอนแรก
IsTraining
ตัดสินใจว่าเรากำลังใช้โมเดลที่ฝึกไว้ล่วงหน้าหรือฝึกโมเดลตั้งแต่เริ่มต้น หากใช้โมเดลที่ฝึกไว้ล่วงหน้า เครื่องสถานะจะข้ามไปยังขั้นตอนที่ 7 - เมื่อต้องการโมเดล ML ใหม่
TrainSteps
ทริกเกอร์เครื่องสถานะที่สองที่ดำเนินการทั้งหมดที่จำเป็นและส่งคืนผลลัพธ์ไปยังเครื่องสถานะปัจจุบัน เราจะเข้าไปดูรายละเอียดเพิ่มเติมเกี่ยวกับเครื่องสถานะการฝึกในหัวข้อถัดไป - เมื่ออบรมเสร็จ
PassModelName
เก็บชื่องานการฝึกไว้ในตำแหน่งที่ระบุของบริบทเครื่องสถานะเพื่อนำกลับมาใช้ใหม่ในสถานะต่อไปนี้ - หากเลือกขั้นตอนการประเมิน
IsEvaluation
เปลี่ยนเส้นทางเครื่องของรัฐไปยังสาขาการประเมิน มิฉะนั้น จะข้ามไปยังขั้นตอนที่ 7 - ขั้นตอนการประเมินจะดำเนินการโดยใช้ an AWS แลมบ์ดา ฟังก์ชันที่เรียกใช้โดย
ModelValidation
ขั้นตอน ฟังก์ชันแลมบ์ดาดึงประสิทธิภาพของโมเดลในชุดทดสอบและเปรียบเทียบกับเกณฑ์ที่กำหนดโดยผู้ใช้ซึ่งระบุไว้ในพารามิเตอร์อินพุต รหัสต่อไปนี้เป็นตัวอย่างของผลการประเมิน: - ถ้าการประเมินแบบจำลองที่
EvaluationResults
สำเร็จ เครื่องสถานะจะดำเนินต่อไปด้วยขั้นตอนการปรับใช้ในที่สุด หากโมเดลทำงานต่ำกว่าเกณฑ์ที่ผู้ใช้กำหนด เครื่องสถานะจะหยุดและข้ามการปรับใช้ - หากเลือกการทำให้ใช้งานได้
IsDeploy
เริ่มเครื่องสถานะที่สามผ่านDeploySteps
ซึ่งเราจะอธิบายในภายหลังในโพสต์นี้ หากไม่ต้องการปรับใช้ เครื่องสถานะจะหยุดที่นี่
มีชุดตัวอย่างพารามิเตอร์อินพุตอยู่บน repo GitHub.
เครื่องสถานะการฝึกอบรม
เครื่องบอกสถานะสำหรับการฝึกโมเดล ML ใหม่โดยใช้ AutoGluon ประกอบด้วยสองขั้นตอน ดังแสดงในแผนภาพต่อไปนี้ ขั้นตอนแรกคืองานฝึกอบรม SageMaker ที่สร้างแบบจำลอง ส่วนที่สองจะบันทึกรายการในรีจีสทรีรุ่น SageMaker
คุณสามารถเรียกใช้ขั้นตอนเหล่านี้โดยอัตโนมัติโดยเป็นส่วนหนึ่งของเครื่องสถานะหลัก หรือเป็นกระบวนการแบบสแตนด์อโลน
เครื่องสถานะการทำให้ใช้งานได้
ตอนนี้เรามาดูเครื่องสถานะที่ทุ่มเทให้กับขั้นตอนการปรับใช้ (ดูแผนภาพต่อไปนี้) ตามที่กล่าวไว้ก่อนหน้านี้ สถาปัตยกรรมรองรับการปรับใช้ทั้งแบบออนไลน์และออฟไลน์ อดีตประกอบด้วยการปรับใช้ปลายทาง SageMaker ในขณะที่หลังเรียกใช้งานการแปลงแบบแบตช์ SageMaker
ขั้นตอนการดำเนินการมีดังนี้:
ChoiceDeploymentMode
ดูพารามิเตอร์อินพุตเพื่อกำหนดโหมดการปรับใช้ที่จำเป็นและนำเครื่องสถานะไปยังสาขาที่เกี่ยวข้อง- หากเลือกจุดสิ้นสุด
EndpointConfig
ขั้นตอนกำหนดการกำหนดค่าในขณะที่CreateEndpoint
เริ่มกระบวนการจัดสรรทรัพยากรการคำนวณที่จำเป็น การจัดสรรนี้อาจใช้เวลาหลายนาที ดังนั้นเครื่องสถานะจะหยุดที่WaitForEndpoint
และใช้ฟังก์ชัน Lambda เพื่อสำรวจสถานะปลายทาง - ขณะกำหนดค่าปลายทาง
ChoiceEndpointStatus
กลับไปที่WaitForEndpoint
รัฐ มิฉะนั้น จะยังคงอย่างใดอย่างหนึ่งDeploymentFailed
orDeploymentSucceeded
. - หากเลือกการปรับใช้แบบออฟไลน์ เครื่องสถานะจะเรียกใช้งานการแปลงชุดงาน SageMaker หลังจากที่เครื่องสถานะหยุดทำงาน
สรุป
โพสต์นี้นำเสนอไปป์ไลน์ที่ใช้งานง่ายเพื่อควบคุมเวิร์กโฟลว์ AutoML และเปิดใช้งานการทดลองอย่างรวดเร็วในระบบคลาวด์ ช่วยให้สามารถแก้ปัญหา ML ได้อย่างแม่นยำโดยไม่ต้องมีความรู้ ML ขั้นสูง
เรามีไปป์ไลน์ทั่วไปและโมดูลาร์สองอันที่ช่วยให้คุณดำเนินการฝึกอบรมและปรับใช้แยกกันได้ หากจำเป็น นอกจากนี้ โซลูชันยังผสานรวมกับ SageMaker อย่างสมบูรณ์ โดยได้ประโยชน์จากคุณลักษณะและทรัพยากรในการคำนวณ
เริ่มต้นตอนนี้ด้วยสิ่งนี้ กวดวิชารหัส เพื่อปรับใช้ทรัพยากรที่นำเสนอในโพสต์นี้ในบัญชี AWS ของคุณและเรียกใช้การทดสอบ AutoML ครั้งแรกของคุณ
เกี่ยวกับผู้เขียน
เฟเดริโก้ ปิคชินี่ เป็นสถาปนิก Deep Learning ของ Amazon Machine Learning Solutions Lab เขาหลงใหลเกี่ยวกับแมชชีนเลิร์นนิง, AI ที่อธิบายได้ และ MLOps เขามุ่งเน้นที่การออกแบบไปป์ไลน์ ML สำหรับลูกค้า AWS นอกงาน เขาชอบเล่นกีฬาและกินพิซซ่า
เปาโล อิเรร่า เป็นนักวิทยาศาสตร์ข้อมูลที่ Amazon Machine Learning Solutions Lab ซึ่งเขาช่วยลูกค้าแก้ปัญหาทางธุรกิจด้วยความสามารถของ ML และคลาวด์ เขาสำเร็จการศึกษาระดับปริญญาเอกด้าน Computer Vision จาก Telecom ParisTech, Paris
- "
- 10
- 100
- 7
- a
- ความสามารถ
- เกี่ยวกับเรา
- ลงชื่อเข้าใช้
- ถูกต้อง
- ข้าม
- การปฏิบัติ
- ที่อยู่
- การนำมาใช้
- สูง
- ความก้าวหน้า
- AI
- ขั้นตอนวิธี
- ทั้งหมด
- การจัดสรร
- การอนุญาต
- ช่วยให้
- แล้ว
- แม้ว่า
- อเมซอน
- วิเคราะห์
- การใช้งาน
- การใช้งาน
- ใช้
- สถาปัตยกรรม
- AREA
- โดยอัตโนมัติ
- อัตโนมัติ
- อัตโนมัติ
- อัตโนมัติ
- ใช้ได้
- AWS
- กำลัง
- ด้านล่าง
- สร้าง
- ธุรกิจ
- สามารถรับ
- ความสามารถในการ
- เลือก
- การจัดหมวดหมู่
- เมฆ
- รหัส
- ความเข้ากันได้
- การแข่งขัน
- สมบูรณ์
- ส่วนประกอบ
- คอมพิวเตอร์
- การคำนวณ
- องค์ประกอบ
- อย่างต่อเนื่อง
- ตรงกัน
- ค่าใช้จ่าย
- สร้าง
- สร้าง
- เกณฑ์
- ปัจจุบัน
- สถานะปัจจุบัน
- ลูกค้า
- ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ทุ่มเท
- ลึก
- ปรับใช้
- ปรับใช้
- การใช้งาน
- บรรยาย
- ออกแบบ
- การออกแบบ
- รายละเอียด
- รายละเอียด
- การตรวจพบ
- นักพัฒนา
- พัฒนาการ
- ต่าง
- โดยตรง
- กระจาย
- อย่างง่ายดาย
- ง่ายต่อการใช้งาน
- ทำให้สามารถ
- ช่วยให้
- ปลายทาง
- จำเป็น
- ประเมินค่า
- การประเมินผล
- ตัวอย่าง
- ตัวอย่าง
- ความชำนาญ
- FAST
- ลักษณะ
- คุณสมบัติ
- ชื่อจริง
- มุ่งเน้นไปที่
- ดังต่อไปนี้
- ดังต่อไปนี้
- กรอบ
- ราคาเริ่มต้นที่
- ฟังก์ชัน
- ฟังก์ชั่น
- General
- มี
- จะช่วยให้
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- ถือ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- HTTPS
- เป็นลูกผสม
- ภาพ
- ภาพ
- การดำเนินการ
- การดำเนินงาน
- การดำเนินการ
- ประกอบด้วย
- เป็นรายบุคคล
- อินพุต
- ติดตั้ง
- แบบบูรณาการ
- IT
- การสัมภาษณ์
- ความรู้
- ห้องปฏิบัติการ
- ล่าสุด
- การเรียนรู้
- ห้องสมุด
- เส้น
- ที่ตั้ง
- ดู
- เครื่อง
- เรียนรู้เครื่อง
- เก็บรักษา
- จัดการ
- การจัดการ
- กล่าวถึง
- ML
- แบบ
- โมเดล
- โมดูลาร์
- การตรวจสอบ
- ข้อมูลเพิ่มเติม
- หลาย
- คือ
- จำเป็น
- ต้อง
- ถัดไป
- เสนอ
- เสนอ
- ออฟไลน์
- ออนไลน์
- อื่นๆ
- มิฉะนั้น
- ทั้งหมด
- ของตนเอง
- ปารีส
- ส่วนหนึ่ง
- หลงใหล
- การแสดง
- ที่มีประสิทธิภาพ
- ระยะ
- พิซซ่า
- มา
- นำเสนอ
- นำเสนอ
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- กระบวนการ
- การประมวลผล
- ให้
- พิสัย
- ดิบ
- การเผยแพร่
- จำเป็นต้องใช้
- แหล่งข้อมูล
- ผลสอบ
- เรซูเม่
- รับคืน
- วิ่ง
- เดียวกัน
- นักวิทยาศาสตร์
- เลือก
- บริการ
- บริการ
- ชุด
- หลาย
- โชว์
- ทักษะ
- So
- ทางออก
- โซลูชัน
- บาง
- กีฬา
- จุด
- สแตนด์อโลน
- ข้อความที่เริ่ม
- เริ่มต้น
- สถานะ
- รัฐของศิลปะ
- สหรัฐอเมริกา
- Status
- จัดเก็บ
- ร้านค้า
- ความแข็งแรง
- ที่ประสบความสำเร็จ
- ที่สนับสนุน
- รองรับ
- ทีม
- โทรคมนาคม
- ทดสอบ
- พื้นที่
- สาม
- ธรณีประตู
- ตลอด
- เวลา
- เครื่องมือ
- ด้านบน
- ไปทาง
- ลู่
- รถไฟ
- การฝึกอบรม
- แปลง
- ใช้
- วิสัยทัศน์
- ว่า
- ในขณะที่
- ภายใน
- ไม่มี
- งาน
- ขั้นตอนการทำงาน
- การเขียน
- ของคุณ