อเมซอน SageMaker มี ประกาศ การรองรับเกณฑ์ความสมบูรณ์ใหม่สามข้อสำหรับ Amazon SageMaker การปรับรุ่นอัตโนมัติให้ชุดคันโยกเพิ่มเติมแก่คุณเพื่อควบคุมเกณฑ์การหยุดของงานปรับแต่งเมื่อค้นหาการกำหนดค่าไฮเปอร์พารามิเตอร์ที่ดีที่สุดสำหรับโมเดลของคุณ
ในโพสต์นี้ เราจะพูดถึงเกณฑ์การสำเร็จใหม่เหล่านี้ ควรใช้เมื่อใด และประโยชน์บางประการที่ได้รับ
การปรับโมเดลอัตโนมัติของ SageMaker
การปรับรูปแบบอัตโนมัติ เรียก การปรับไฮเปอร์พารามิเตอร์ค้นหาเวอร์ชันที่ดีที่สุดของโมเดลที่วัดโดยเมตริกที่เราเลือก มันหมุนงานการฝึกอบรมจำนวนมากบนชุดข้อมูลที่ให้มา โดยใช้อัลกอริทึมที่เลือกและช่วงไฮเปอร์พารามิเตอร์ที่ระบุ งานฝึกอบรมแต่ละงานสามารถเสร็จสิ้นก่อนเวลาได้เมื่อเมตริกวัตถุประสงค์ไม่ได้รับการปรับปรุงอย่างมีนัยสำคัญ ซึ่งเรียกว่าการหยุดก่อนกำหนด
จนถึงขณะนี้ มีวิธีจำกัดในการควบคุมงานปรับแต่งโดยรวม เช่น การระบุจำนวนงานฝึกอบรมสูงสุด อย่างไรก็ตาม การเลือกค่าพารามิเตอร์นี้เป็นฮิวริสติกที่ดีที่สุด ค่าที่มากขึ้นจะเพิ่มค่าใช้จ่ายในการปรับแต่ง และค่าที่น้อยลงอาจไม่ได้ผลลัพธ์ของรุ่นที่ดีที่สุดตลอดเวลา
การปรับโมเดลอัตโนมัติของ SageMaker แก้ปัญหาความท้าทายเหล่านี้โดยให้เกณฑ์การสำเร็จหลายรายการสำหรับงานปรับแต่ง มันถูกนำไปใช้ที่ระดับการปรับแต่งมากกว่าที่ระดับงานฝึกอบรมแต่ละงาน ซึ่งหมายความว่ามันทำงานในชั้นนามธรรมที่สูงขึ้น
ประโยชน์ของการปรับเกณฑ์การจบงาน
ด้วยการควบคุมที่ดีขึ้นเมื่องานปรับแต่งจะหยุดลง คุณจะได้รับประโยชน์จากการประหยัดต้นทุนโดยไม่ต้องใช้งานเป็นระยะเวลานานและมีค่าใช้จ่ายสูงในการคำนวณ นอกจากนี้ยังหมายความว่าคุณสามารถมั่นใจได้ว่างานจะไม่หยุดเร็วเกินไป และคุณได้รับแบบจำลองที่มีคุณภาพดีเพียงพอและตรงตามวัตถุประสงค์ของคุณ คุณสามารถเลือกที่จะหยุดงานปรับแต่งเมื่อโมเดลไม่ได้รับการปรับปรุงอีกต่อไปหลังจากชุดของการทำงานซ้ำ หรือเมื่อการปรับปรุงที่เหลือโดยประมาณไม่สอดคล้องกับทรัพยากรและเวลาในการคำนวณ
นอกเหนือจากเกณฑ์การสำเร็จงานฝึกอบรมจำนวนสูงสุดที่มีอยู่แล้ว จำนวนงานฝึกอบรมสูงสุดการปรับโมเดลอัตโนมัติจะแนะนำตัวเลือกเพื่อหยุดการปรับตามเวลาการปรับสูงสุด การตรวจสอบการปรับปรุง และการตรวจจับการบรรจบกัน
ลองสำรวจแต่ละเกณฑ์เหล่านี้
เวลาปรับแต่งสูงสุด
ก่อนหน้านี้ คุณมีตัวเลือกในการกำหนดจำนวนสูงสุดของงานการฝึกอบรมเป็นการตั้งค่าขีดจำกัดของทรัพยากรเพื่อควบคุมการปรับงบประมาณในแง่ของทรัพยากรการประมวลผล อย่างไรก็ตาม สิ่งนี้สามารถนำไปสู่ระยะเวลาการฝึกที่นานขึ้นหรือสั้นลงโดยไม่จำเป็นหรือน้อยกว่าที่ต้องการ
ด้วยการเพิ่มเกณฑ์เวลาในการปรับแต่งสูงสุด ตอนนี้คุณสามารถจัดสรรงบประมาณการฝึกอบรมของคุณในแง่ของระยะเวลาเพื่อเรียกใช้งานการปรับแต่งและยุติงานโดยอัตโนมัติหลังจากเวลาที่กำหนดเป็นวินาที
ดังที่เห็นข้างต้น เราใช้ MaxRuntimeInSeconds
เพื่อกำหนดเวลาการปรับจูนเป็นวินาที การตั้งค่าขีดจำกัดเวลาการปรับช่วยให้คุณจำกัดระยะเวลาของงานปรับแต่งและรวมถึงต้นทุนที่คาดการณ์ไว้ของการทดสอบ
ต้นทุนรวมก่อนส่วนลดตามสัญญาสามารถประมาณได้ด้วยสูตรต่อไปนี้:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
รันไทม์สูงสุดเป็นวินาทีสามารถใช้ผูกต้นทุนและรันไทม์ได้ กล่าวอีกนัยหนึ่งก็คือเกณฑ์การควบคุมงบประมาณให้เสร็จสมบูรณ์
คุณลักษณะนี้เป็นส่วนหนึ่งของเกณฑ์การควบคุมทรัพยากร และไม่คำนึงถึงการบรรจบกันของแบบจำลอง ดังที่เราเห็นในโพสต์นี้ เกณฑ์นี้สามารถใช้ร่วมกับเกณฑ์การหยุดอื่นๆ เพื่อให้บรรลุการควบคุมต้นทุนโดยไม่ต้องเสียสละความแม่นยำ
เมตริกเป้าหมายที่ต้องการ
อีกเกณฑ์ที่แนะนำก่อนหน้านี้คือการกำหนดเป้าหมายวัตถุประสงค์ล่วงหน้า เกณฑ์จะตรวจสอบประสิทธิภาพของแบบจำลองที่ดีที่สุดตามเมตริกวัตถุประสงค์เฉพาะ และหยุดการปรับเมื่อแบบจำลองถึงเกณฑ์ที่กำหนดซึ่งสัมพันธ์กับเมตริกวัตถุประสงค์ที่ระบุ
กับ TargetObjectiveMetricValue
ตามเกณฑ์ เราสามารถสั่งให้ SageMaker หยุดปรับแต่งโมเดลหลังจากที่เมตริกวัตถุประสงค์ของโมเดลที่ดีที่สุดถึงค่าที่ระบุ:
ในตัวอย่างนี้ เราได้รับคำสั่งให้ SageMaker หยุดปรับแต่งโมเดลเมื่อเมตริกวัตถุประสงค์ของโมเดลที่ดีที่สุดมีค่าถึง 0.95
วิธีนี้มีประโยชน์เมื่อคุณมีเป้าหมายเฉพาะที่คุณต้องการให้โมเดลของคุณไปถึง เช่น ความแม่นยำ ความแม่นยำ การเรียกคืน คะแนน F1 AUC การสูญเสียบันทึก และอื่นๆ ในระดับหนึ่ง
กรณีการใช้งานทั่วไปสำหรับเกณฑ์นี้สำหรับผู้ใช้ที่คุ้นเคยกับประสิทธิภาพของโมเดลตามเกณฑ์ที่กำหนดอยู่แล้ว ผู้ใช้ในระยะการสำรวจอาจปรับแต่งโมเดลด้วยชุดย่อยขนาดเล็กของชุดข้อมูลขนาดใหญ่ก่อน เพื่อระบุเกณฑ์เมตริกการประเมินที่น่าพอใจเพื่อกำหนดเป้าหมายเมื่อฝึกกับชุดข้อมูลแบบเต็ม
การตรวจสอบการปรับปรุง
เกณฑ์นี้ตรวจสอบการบรรจบกันของโมเดลหลังจากการวนซ้ำแต่ละครั้ง และหยุดการปรับแต่งหากโมเดลไม่ปรับปรุงหลังจากงานการฝึกตามจำนวนที่กำหนด ดูการกำหนดค่าต่อไปนี้:
ในกรณีนี้ เราตั้งค่า MaxNumberOfTrainingJobsNotImproving
ถึง 10 ซึ่งหมายความว่าหากเมตริกวัตถุประสงค์หยุดปรับปรุงหลังจากงานฝึกอบรม 10 งาน การปรับแต่งจะหยุดลงและรายงานโมเดลและเมตริกที่ดีที่สุด
ควรใช้การตรวจสอบการปรับปรุงเพื่อปรับแต่งการแลกเปลี่ยนระหว่างคุณภาพของแบบจำลองและระยะเวลาเวิร์กโฟลว์โดยรวมในลักษณะที่น่าจะถ่ายโอนระหว่างปัญหาการปรับให้เหมาะสมที่แตกต่างกัน
การตรวจจับการบรรจบกัน
การตรวจจับการบรรจบกันเป็นเกณฑ์ความสมบูรณ์ที่ช่วยให้การปรับแต่งโมเดลอัตโนมัติตัดสินใจได้ว่าจะหยุดการปรับแต่งเมื่อใด โดยทั่วไป การปรับโมเดลอัตโนมัติจะหยุดการปรับเมื่อประเมินว่าไม่สามารถปรับปรุงที่สำคัญได้ ดูการกำหนดค่าต่อไปนี้:
เกณฑ์นี้เหมาะสมที่สุดเมื่อคุณไม่ทราบว่าการตั้งค่าการหยุดใดให้เลือก
นอกจากนี้ยังมีประโยชน์หากคุณไม่ทราบว่าเมตริกวัตถุประสงค์เป้าหมายใดที่สมเหตุสมผลสำหรับการคาดคะเนที่ดีเมื่อพิจารณาจากปัญหาและชุดข้อมูลในมือ และต้องการให้งานปรับแต่งเสร็จสมบูรณ์เมื่อไม่มีการปรับปรุงอีกต่อไป
ทดลองเปรียบเทียบเกณฑ์การสำเร็จ
ในการทดลองนี้ เราทำการทดสอบการถดถอย 3 ครั้งเพื่อหาโมเดลที่เหมาะสมที่สุดภายในพื้นที่การค้นหา 2 ไฮเปอร์พารามิเตอร์ซึ่งมีการกำหนดค่าไฮเปอร์พารามิเตอร์ทั้งหมด 200 รายการโดยใช้ ชุดข้อมูลการตลาดทางตรง.
โดยที่ทุกอย่างเท่าเทียมกัน โมเดลแรกได้รับการปรับแต่งด้วย BestObjectiveNotImproving
เกณฑ์การเสร็จสิ้น รุ่นที่สองถูกปรับด้วย CompleteOnConvergence
และรุ่นที่สามได้รับการปรับแต่งโดยไม่มีการกำหนดเกณฑ์ความสมบูรณ์
เมื่ออธิบายแต่ละงาน เราสามารถสังเกตว่าการตั้งค่า BestObjectiveNotImproving
เกณฑ์ได้นำไปสู่ทรัพยากรและเวลาที่เหมาะสมที่สุดเมื่อเทียบกับเมตริกวัตถุประสงค์โดยมีงานที่รันน้อยลงอย่างมาก
พื้นที่ CompleteOnConvergence
เกณฑ์ยังสามารถหยุดการปรับจูนได้ครึ่งทางของการทดสอบ ส่งผลให้งานฝึกอบรมน้อยลงและเวลาฝึกอบรมสั้นลงเมื่อเทียบกับการไม่กำหนดเกณฑ์
แม้ว่าการไม่กำหนดเกณฑ์ความสมบูรณ์จะส่งผลให้เกิดการทดสอบที่มีค่าใช้จ่ายสูง แต่การกำหนด MaxRuntimeInSeconds
เนื่องจากส่วนหนึ่งของทรัพยากรที่จำกัดจะเป็นวิธีหนึ่งในการลดต้นทุน
ผลลัพธ์ด้านบนแสดงให้เห็นว่าเมื่อกำหนดเกณฑ์ความสมบูรณ์ Amazon SageMaker สามารถหยุดกระบวนการปรับแต่งได้อย่างชาญฉลาดเมื่อตรวจพบว่าโมเดลนั้นมีโอกาสน้อยที่จะปรับปรุงเกินกว่าผลลัพธ์ปัจจุบัน
โปรดทราบว่าเกณฑ์ความสมบูรณ์ที่สนับสนุนในการปรับโมเดลอัตโนมัติของ SageMaker นั้นไม่ได้แยกออกจากกัน และสามารถใช้พร้อมกันได้เมื่อปรับแต่งโมเดล
เมื่อมีการกำหนดเกณฑ์ความสมบูรณ์มากกว่าหนึ่งเกณฑ์ งานปรับแต่งจะเสร็จสมบูรณ์เมื่อตรงตามเกณฑ์ใดๆ
ตัวอย่างเช่น การรวมกันของเกณฑ์การจำกัดทรัพยากร เช่น เวลาการปรับสูงสุดกับเกณฑ์การบรรจบกัน เช่น การเฝ้าติดตามการปรับปรุงหรือการตรวจจับการบรรจบกัน อาจสร้างการควบคุมต้นทุนที่เหมาะสมที่สุดและการวัดวัตถุประสงค์ที่เหมาะสมที่สุด
สรุป
ในโพสต์นี้ เราได้พูดถึงวิธีที่ตอนนี้คุณสามารถหยุดงานปรับแต่งของคุณอย่างชาญฉลาดโดยการเลือกชุดของเกณฑ์ความสมบูรณ์ที่เพิ่งนำมาใช้ใน SageMaker เช่น เวลาในการปรับแต่งสูงสุด การตรวจสอบการปรับปรุง หรือการตรวจจับการบรรจบกัน
เราแสดงให้เห็นด้วยการทดลองว่าการหยุดอย่างชาญฉลาดตามการสังเกตการปรับปรุงตลอดการวนซ้ำอาจนำไปสู่การปรับงบประมาณและการจัดการเวลาให้เหมาะสมอย่างมากเมื่อเทียบกับการไม่กำหนดเกณฑ์การทำให้เสร็จ
นอกจากนี้ เรายังแสดงให้เห็นว่าเกณฑ์เหล่านี้ไม่ได้แยกออกจากกัน และสามารถใช้พร้อมกันเมื่อปรับแต่งโมเดล เพื่อใช้ประโยชน์จากทั้งสองอย่าง การควบคุมงบประมาณและการบรรจบกันที่เหมาะสมที่สุด
สำหรับรายละเอียดเพิ่มเติมเกี่ยวกับวิธีการกำหนดค่าและเรียกใช้การปรับแต่งโมเดลอัตโนมัติ โปรดดูที่ ระบุการตั้งค่างานปรับแต่งไฮเปอร์พารามิเตอร์.
เกี่ยวกับผู้เขียน
ดั๊ก เอ็มบาย่า เป็นสถาปนิกโซลูชันคู่ค้าอาวุโสที่เน้นข้อมูลและการวิเคราะห์ Doug ทำงานอย่างใกล้ชิดกับคู่ค้าของ AWS ช่วยผสานรวมข้อมูลและโซลูชันการวิเคราะห์ในระบบคลาวด์
ไชยทรา มธุรส เป็น Principal Solutions Architect ที่ AWS เธอแนะนำลูกค้าและคู่ค้าในการสร้างโซลูชันที่ปรับขนาดได้สูง เชื่อถือได้ ปลอดภัย และคุ้มค่าบน AWS เธอหลงใหลเกี่ยวกับแมชชีนเลิร์นนิงและช่วยลูกค้าแปลความต้องการด้าน ML ให้เป็นโซลูชันโดยใช้บริการ AWS AI/ML เธอมีใบรับรอง 5 ใบรวมถึงใบรับรอง ML Specialty ในเวลาว่าง เธอชอบอ่านหนังสือ เล่นโยคะ และใช้เวลากับลูกสาว
ยาโรสลาฟ เชอร์บาตี เป็นวิศวกรการเรียนรู้ของเครื่องที่ AWS เขาทำงานเกี่ยวกับการปรับปรุงแพลตฟอร์ม Amazon SageMaker เป็นหลัก และช่วยให้ลูกค้าใช้คุณลักษณะต่างๆ ได้ดีที่สุด ในเวลาว่าง เขาชอบไปยิม เล่นกีฬากลางแจ้ง เช่น สเก็ตน้ำแข็งหรือเดินป่า และติดตามการวิจัย AI ใหม่ๆ
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- สามารถ
- เกี่ยวกับเรา
- ข้างบน
- ลงชื่อเข้าใช้
- ความถูกต้อง
- บรรลุ
- ประสบความสำเร็จ
- ข้าม
- นอกจากนี้
- เพิ่มเติม
- ความได้เปรียบ
- หลังจาก
- AI
- วิจัยไอ
- AI / ML
- ขั้นตอนวิธี
- ทั้งหมด
- แล้ว
- อเมซอน
- อเมซอน SageMaker
- จำนวน
- การวิเคราะห์
- และ
- ประยุกต์
- อัตโนมัติ
- อัตโนมัติ
- AWS
- ตาม
- ก่อน
- กำลัง
- ประโยชน์
- ประโยชน์ที่ได้รับ
- ที่ดีที่สุด
- ดีกว่า
- ระหว่าง
- เกิน
- ขอบเขต
- นำมาซึ่ง
- งบ
- การก่อสร้าง
- ที่เรียกว่า
- กรณี
- จับ
- บาง
- ใบรับรอง มาตราฐาน
- การรับรอง
- ความท้าทาย
- Choose
- เลือก
- อย่างใกล้ชิด
- เมฆ
- การผสมผสาน
- เมื่อเทียบกับ
- การเปรียบเทียบ
- สมบูรณ์
- เสร็จ
- เสร็จสิ้น
- เสร็จสิ้น
- คำนวณ
- องค์ประกอบ
- ควบคุม
- การลู่เข้า
- ราคา
- ประหยัดค่าใช้จ่าย
- ค่าใช้จ่ายที่มีประสิทธิภาพ
- ค่าใช้จ่าย
- ได้
- เกณฑ์
- ปัจจุบัน
- ลูกค้า
- ข้อมูล
- กำหนด
- การกำหนด
- แสดงให้เห็นถึง
- ที่ต้องการ
- รายละเอียด
- การตรวจพบ
- ต่าง
- ส่วนลด
- สนทนา
- กล่าวถึง
- ไม่
- Dont
- แต่ละ
- ก่อน
- เปิดการใช้งาน
- วิศวกร
- ทำให้มั่นใจ
- ประมาณ
- ประมาณการ
- การประเมินผล
- ทุกอย่าง
- ตัวอย่าง
- พิเศษ
- ที่มีอยู่
- แพง
- การทดลอง
- การสำรวจ
- สำรวจ
- คุ้นเคย
- ลักษณะ
- คุณสมบัติ
- หา
- หา
- พบ
- ชื่อจริง
- โฟกัส
- ดังต่อไปนี้
- สูตร
- เต็ม
- โดยทั่วไป
- ได้รับ
- กำหนด
- ให้
- Go
- เป้าหมาย
- ดี
- คู่มือ
- ห้องออกกำลังกาย
- มี
- การช่วยเหลือ
- จะช่วยให้
- สูงกว่า
- อย่างสูง
- ถือ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- อย่างไรก็ตาม
- HTML
- HTTPS
- การเพิ่มประสิทธิภาพไฮเปอร์พารามิเตอร์
- การปรับแต่งไฮเปอร์พารามิเตอร์
- ICE
- แยกแยะ
- ปรับปรุง
- การปรับปรุง
- การปรับปรุง
- การปรับปรุง
- in
- ในอื่น ๆ
- รวมทั้ง
- เพิ่มขึ้น
- เป็นรายบุคคล
- ในขั้นต้น
- รวบรวม
- ฉลาด
- แนะนำ
- เปิดตัว
- IT
- การย้ำ
- ซ้ำ
- การสัมภาษณ์
- งาน
- ทราบ
- ที่รู้จักกัน
- ที่มีขนาดใหญ่
- ชั้น
- นำ
- การเรียนรู้
- นำ
- ช่วยให้
- ชั้น
- น่าจะ
- LIMIT
- ถูก จำกัด
- อีกต่อไป
- เครื่อง
- เรียนรู้เครื่อง
- การจัดการ
- หลาย
- การตลาด
- แม็กซ์
- เพิ่ม
- สูงสุด
- วิธี
- มีคุณสมบัติตรงตาม
- วิธี
- เมตริก
- ตัวชี้วัด
- การลด
- ML
- แบบ
- โมเดล
- การตรวจสอบ
- จอภาพ
- ข้อมูลเพิ่มเติม
- มากที่สุด
- หลาย
- ซึ่งกันและกัน
- ความต้องการ
- ใหม่
- จำนวน
- วัตถุประสงค์
- วัตถุประสงค์
- สังเกต
- ONE
- ดำเนินการ
- ดีที่สุด
- การเพิ่มประสิทธิภาพ
- การปรับให้เหมาะสม
- ตัวเลือกเสริม (Option)
- อื่นๆ
- ทั้งหมด
- พารามิเตอร์
- ส่วนหนึ่ง
- หุ้นส่วน
- พาร์ทเนอร์
- หลงใหล
- การปฏิบัติ
- งวด
- ระยะ
- เวที
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- โพสต์
- ความแม่นยำ
- คำทำนาย
- ก่อนหน้านี้
- หลัก
- ปัญหา
- ปัญหาที่เกิดขึ้น
- กระบวนการ
- ก่อ
- ที่คาดการณ์
- ให้
- การให้
- คุณภาพ
- มาถึง
- ถึง
- การอ่าน
- เหมาะสม
- ความสัมพันธ์
- น่าเชื่อถือ
- รายงาน
- การวิจัย
- ทรัพยากร
- แหล่งข้อมูล
- ผล
- ส่งผลให้
- ผลสอบ
- วิ่ง
- เสียสละ
- sagemaker
- การปรับโมเดลอัตโนมัติของ SageMaker
- เงินออม
- ที่ปรับขนาดได้
- ค้นหา
- ที่สอง
- วินาที
- ปลอดภัย
- การเลือก
- การเลือก
- ระดับอาวุโส
- บริการ
- ชุด
- การตั้งค่า
- การตั้งค่า
- น่า
- โชว์
- สำคัญ
- อย่างมีความหมาย
- เล็ก
- มีขนาดเล็กกว่า
- So
- ทางออก
- โซลูชัน
- แก้ปัญหา
- บาง
- ช่องว่าง
- พิเศษ
- โดยเฉพาะ
- ที่ระบุไว้
- การใช้จ่าย
- สปิน
- กีฬา
- หยุด
- หยุด
- การหยุด
- หยุด
- อย่างเช่น
- สนับสนุน
- ที่สนับสนุน
- รองรับ
- เอา
- เป้า
- งาน
- เงื่อนไขการใช้บริการ
- พื้นที่
- ของพวกเขา
- ที่สาม
- สาม
- ธรณีประตู
- ตลอด
- เวลา
- ครั้ง
- ไปยัง
- เกินไป
- รวม
- การฝึกอบรม
- แปลความ
- ตามแบบฉบับ
- ใช้
- ใช้กรณี
- ผู้ใช้งาน
- การตรวจสอบ
- ความคุ้มค่า
- รุ่น
- วิธี
- อะไร
- ที่
- WHO
- จะ
- ภายใน
- ไม่มี
- คำ
- โรงงาน
- จะ
- ผล
- โยคะ
- คุณ
- ของคุณ
- ลมทะเล