ระบบนำร่องอัตโนมัติของ Amazon SageMaker ช่วยให้คุณทำเวิร์กโฟลว์การเรียนรู้ของเครื่อง (ML) แบบ end-to-end ให้เสร็จสมบูรณ์โดยทำให้ขั้นตอนของวิศวกรรมคุณลักษณะ การฝึกอบรม การปรับแต่ง และการนำโมเดล ML ใช้งานได้ไปใช้โดยอัตโนมัติสำหรับการอนุมาน คุณจัดเตรียมชุดข้อมูลแบบตารางและแอตทริบิวต์เป้าหมายเพื่อคาดการณ์ SageMaker Autopilot จากนั้น SageMaker Autopilot จะสำรวจข้อมูลของคุณ ฝึกฝน ปรับแต่ง อันดับ และค้นหาโมเดลที่ดีที่สุดของคุณโดยอัตโนมัติ สุดท้าย คุณสามารถปรับใช้โมเดลนี้กับการผลิตเพื่อการอนุมานได้ด้วยคลิกเดียว
มีอะไรใหม่
คุณลักษณะที่เพิ่งเปิดตัวใหม่ รายงานคุณภาพแบบจำลอง SageMaker Autopilotตอนนี้รายงานตัววัดของแบบจำลองของคุณเพื่อให้มองเห็นได้ชัดเจนยิ่งขึ้นเกี่ยวกับประสิทธิภาพของแบบจำลองของคุณสำหรับปัญหาการถดถอยและการจัดหมวดหมู่ คุณสามารถใช้เมตริกเหล่านี้เพื่อรวบรวมข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับโมเดลที่ดีที่สุดในลีดเดอร์บอร์ดโมเดล
เมตริกและรายงานเหล่านี้มีอยู่ในแท็บ "ประสิทธิภาพ" ใหม่ภายใต้ "รายละเอียดโมเดล" ของโมเดลที่ดีที่สุด ได้แก่ เมทริกซ์ความสับสน พื้นที่ใต้เส้นโค้งลักษณะการทำงานของตัวรับ (AUC-ROC) และพื้นที่ใต้เส้นโค้งการเรียกคืนที่แม่นยำ (AUC-PR). ตัวชี้วัดเหล่านี้ช่วยให้คุณเข้าใจผลบวกลวง/ผลลบเท็จ (FPs/FN) การแลกเปลี่ยนระหว่างผลบวกจริง (TP) และผลบวกลวง (FP) รวมถึงจุดแลกเปลี่ยนระหว่างความแม่นยำและการเรียกคืนเพื่อประเมินลักษณะประสิทธิภาพของแบบจำลองที่ดีที่สุด
เรียกใช้การทดลอง SageMaker Autopilot
ชุดข้อมูล
เราใช้ ชุดข้อมูลการตลาดธนาคารของ UCI เพื่อสาธิตรายงานคุณภาพแบบจำลอง SageMaker Autopilot ข้อมูลนี้มีคุณลักษณะของลูกค้า เช่น อายุ ประเภทงาน สถานภาพการสมรส และอื่นๆ ที่เราจะใช้เพื่อคาดการณ์ว่าลูกค้าจะเปิดบัญชีกับธนาคารหรือไม่ ชุดข้อมูลหมายถึงบัญชีนี้เป็นเงินฝากประจำ สิ่งนี้ทำให้กรณีของเราเป็นปัญหาการจำแนกประเภทไบนารี – การคาดคะเนอาจเป็น "ใช่" หรือ "ไม่ใช่" SageMaker Autopilot จะสร้างโมเดลต่างๆ ในนามของเราเพื่อคาดการณ์ผู้มีโอกาสเป็นลูกค้าได้ดีที่สุด จากนั้น เราจะตรวจสอบรายงานคุณภาพแบบจำลองสำหรับ SageMaker Autopilot's รุ่นที่ดีที่สุด.
เบื้องต้น
ในการเริ่มต้นการทดสอบ SageMaker Autopilot คุณต้องวางข้อมูลของคุณใน .ก่อน บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ถัง ระบุที่เก็บข้อมูลและคำนำหน้าที่คุณต้องการใช้สำหรับการฝึก ตรวจสอบให้แน่ใจว่าที่เก็บข้อมูลอยู่ในภูมิภาคเดียวกับการทดสอบ SageMaker Autopilot คุณต้องตรวจสอบให้แน่ใจด้วยว่า Autopilot บทบาท Identity and Access Management (IAM) มีสิทธิ์ในการเข้าถึงข้อมูลใน Amazon S3
การสร้างการทดลอง
คุณมีตัวเลือกมากมายสำหรับการสร้างการทดสอบ SageMaker Autopilot ใน SageMaker Studio เมื่อเปิดตัวเรียกใช้ใหม่ คุณอาจสามารถเข้าถึง SageMaker Autopilot ได้โดยตรง ถ้าไม่เช่นนั้น คุณสามารถเลือกไอคอนทรัพยากร SageMaker ทางด้านซ้ายมือได้ ถัดไปคุณสามารถเลือก การทดลองและการทดลอง จากเมนูแบบเลื่อนลง
- ตั้งชื่อการทดลองของคุณ
- เชื่อมต่อกับแหล่งข้อมูลของคุณโดยเลือกบัคเก็ต Amazon S3 และชื่อไฟล์
- เลือกตำแหน่งข้อมูลเอาต์พุตใน Amazon S3
- เลือกคอลัมน์เป้าหมายสำหรับชุดข้อมูลของคุณ ในกรณีนี้ เรากำลังกำหนดเป้าหมายคอลัมน์ "y" เพื่อระบุว่าใช่/ไม่ใช่
- หรือระบุชื่อปลายทางหากคุณต้องการให้ SageMaker Autopilot ปรับใช้ปลายทางของโมเดลโดยอัตโนมัติ
- ปล่อยให้การตั้งค่าขั้นสูงอื่นๆ ทั้งหมดเป็นค่าเริ่มต้น แล้วเลือก สร้างการทดสอบ.
เมื่อการทดสอบเสร็จสิ้น คุณจะเห็นผลลัพธ์ใน SageMaker Studio SageMaker Autopilot จะนำเสนอโมเดลที่ดีที่สุดจากรุ่นต่างๆ ที่มันฝึกฝน คุณสามารถดูรายละเอียดและผลลัพธ์สำหรับการทดลองใช้ต่างๆ ได้ แต่เราจะใช้แบบจำลองที่ดีที่สุดเพื่อสาธิตการใช้รายงานคุณภาพแบบจำลอง
- เลือกรุ่นและคลิกขวาเพื่อ เปิดในรายละเอียดรุ่น.
- ภายในรายละเอียดรุ่น ให้เลือก ประสิทธิภาพ แท็บ ซึ่งจะแสดงเมตริกของโมเดลผ่านการแสดงภาพและแผนภาพ
- ภายใต้ ประสิทธิภาพให้เลือก ดาวน์โหลดรายงานประสิทธิภาพ เป็น PDF
การตีความรายงานคุณภาพแบบจำลองอัตโนมัติของ SageMaker
รายงานคุณภาพแบบจำลองจะสรุปงาน SageMaker Autopilot และรายละเอียดของแบบจำลอง เราจะเน้นที่รูปแบบ PDF ของรายงาน แต่คุณยังสามารถเข้าถึงผลลัพธ์ในรูปแบบ JSON ได้อีกด้วย เนื่องจาก SageMaker Autopilot กำหนดชุดข้อมูลของเราว่าเป็นปัญหาการจำแนกประเภทไบนารี SageMaker Autopilot จึงมีจุดมุ่งหมายเพื่อเพิ่ม เมตริกคุณภาพ F1 เพื่อค้นหารุ่นที่ดีที่สุด SageMaker Autopilot เลือกตัวเลือกนี้โดยค่าเริ่มต้น อย่างไรก็ตาม มีความยืดหยุ่นในการเลือกตัวชี้วัดวัตถุประสงค์อื่นๆ เช่น ความแม่นยำและ AUC คะแนน F1 ของโมเดลของเราคือ 0.61 ในการตีความคะแนน F1 อันดับแรก จะช่วยให้เข้าใจเมทริกซ์ความสับสน ซึ่งอธิบายโดยรายงานคุณภาพแบบจำลองใน PDF ที่ส่งออก
เมทริกซ์ความสับสน
เมทริกซ์ความสับสนช่วยให้เห็นภาพประสิทธิภาพของโมเดลโดยการเปรียบเทียบคลาสและเลเบลต่างๆ การทดสอบ SageMaker Autopilot ได้สร้างเมทริกซ์ความสับสนที่แสดงป้ายกำกับจริงเป็นแถว และป้ายกำกับที่ระบุเป็นคอลัมน์ในรายงานคุณภาพแบบจำลอง กล่องด้านซ้ายบนแสดงลูกค้าที่ไม่ได้เปิดบัญชีกับธนาคารที่คาดการณ์อย่างถูกต้องว่า 'ไม่' ตามแบบจำลอง เหล่านี้คือ เชิงลบที่แท้จริง (ทีเอ็น). กล่องด้านล่างขวาแสดงลูกค้าที่เปิดบัญชีกับธนาคารที่คาดการณ์อย่างถูกต้องว่า 'ใช่' ตามแบบจำลอง เหล่านี้คือ แง่บวกที่แท้จริง (ปตท.).
มุมล่างซ้ายแสดงจำนวน เชิงลบเท็จ (เอฟเอ็น). โมเดลทำนายว่าลูกค้าจะไม่เปิดบัญชีแต่ลูกค้าเปิด มุมบนขวาแสดงจำนวน บวกเท็จ (เอฟพี). โมเดลทำนายว่าลูกค้าจะเปิดบัญชีแต่ลูกค้าทำ ไม่ ทำเช่นนั้นจริงๆ
ตัวชี้วัดรายงานคุณภาพแบบจำลอง
รายงานคุณภาพแบบจำลองจะอธิบายวิธีการคำนวณ อัตราบวกลวง (FPR) และ อัตราบวกจริง (TPR).
อัตราการเรียกคืนหรือบวกเท็จ (FPR) วัดสัดส่วนของค่าลบที่เกิดขึ้นจริงซึ่งถูกคาดการณ์อย่างผิด ๆ ว่าเป็นการเปิดบัญชี (บวก) ช่วงคือ 0 ถึง 1 และค่าที่น้อยกว่าบ่งชี้ถึงความแม่นยำในการทำนายที่ดีกว่า
โปรดทราบว่า FPR ยังแสดงเป็น 1-Specificity โดยที่ Specificity หรือ True Negative Rate (TNR) คือสัดส่วนของ TN ที่ระบุอย่างถูกต้องว่าไม่ได้เปิดบัญชี (เชิงลบ)
การเรียกคืน/ความไว/อัตราการบวกที่แท้จริง (TPR) วัดเศษส่วนของผลบวกที่เกิดขึ้นจริงที่คาดการณ์ว่าเป็นการเปิดบัญชี ช่วงยังเป็น 0 ถึง 1 และค่าที่มากขึ้นบ่งชี้ถึงความแม่นยำในการทำนายที่ดีกว่า สิ่งนี้เรียกอีกอย่างว่าการเรียกคืน/ความไว การวัดนี้เป็นการแสดงออกถึงความสามารถในการค้นหาอินสแตนซ์ที่เกี่ยวข้องทั้งหมดในชุดข้อมูล
ความแม่นยำ วัดเศษส่วนของผลบวกที่เกิดขึ้นจริงที่คาดการณ์ว่าเป็นผลบวกจากผลบวกทั้งหมดที่คาดการณ์ว่าเป็นผลบวก ช่วงคือ 0 ถึง 1 และค่าที่มากขึ้นแสดงถึงความแม่นยำที่ดีขึ้น ความแม่นยำแสดงสัดส่วนของจุดข้อมูลที่แบบจำลองของเราระบุว่ามีความเกี่ยวข้องและมีความเกี่ยวข้องจริง ความแม่นยำเป็นตัวชี้วัดที่ดีในการพิจารณา โดยเฉพาะอย่างยิ่งเมื่อต้นทุนของ FP สูง ตัวอย่างเช่น การตรวจจับสแปมอีเมล
โมเดลของเราแสดงความแม่นยำ 0.53 และการเรียกคืน 0.72
คะแนน F1 แสดงให้เห็นถึงตัวชี้วัดเป้าหมายของเรา ซึ่งเป็นค่าเฉลี่ยฮาร์โมนิกของความแม่นยำและการเรียกคืน เนื่องจากชุดข้อมูลของเราไม่สมดุลกับการคาดการณ์ที่ 'ไม่' จำนวนมาก F1 จึงคำนึงถึงทั้ง FP และ FN เพื่อให้น้ำหนักเท่ากันสำหรับความแม่นยำและการเรียกคืน
รายงานจะอธิบายวิธีตีความเมตริกเหล่านี้ สิ่งนี้สามารถช่วยได้หากคุณไม่คุ้นเคยกับข้อกำหนดเหล่านี้ ในตัวอย่างของเรา ความแม่นยำและการเรียกคืนเป็นตัวชี้วัดที่สำคัญสำหรับปัญหาการจำแนกประเภทไบนารี เนื่องจากใช้ในการคำนวณคะแนน F1 รายงานอธิบายว่าคะแนน F1 อาจแตกต่างกันระหว่าง 0 ถึง 1 ประสิทธิภาพที่ดีที่สุดเท่าที่จะเป็นไปได้คือ 1 คะแนน ในขณะที่ 0 จะระบุว่าแย่ที่สุด โปรดจำไว้ว่าคะแนน F1 ของโมเดลของเราคือ 0.61
คะแนนFβ คือค่าเฉลี่ยฮาร์มอนิกถ่วงน้ำหนักของความแม่นยำและการเรียกคืน นอกจากนี้ คะแนน F1 ยังเท่ากับ Fβ ที่มี β=1 รายงานระบุคะแนน Fβ ของตัวแยกประเภท โดยที่ β ใช้ 0.5, 1 และ 2
ตารางเมตริก
ขึ้นอยู่กับปัญหา คุณอาจพบว่า SageMaker Autopilot เพิ่มตัวชี้วัดอื่น เช่น ความแม่นยำ สำหรับปัญหาการจำแนกประเภทหลายคลาส โดยไม่คำนึงถึงประเภทของปัญหา รายงานคุณภาพแบบจำลองจะสร้างตารางที่สรุปตัวชี้วัดของแบบจำลองของคุณที่มีทั้งแบบอินไลน์และในรายงาน PDF คุณสามารถเรียนรู้เพิ่มเติมเกี่ยวกับตารางเมตริกใน เอกสาร.
ตัวแยกประเภทค่าคงที่ที่ดีที่สุด – ตัวแยกประเภทที่ทำหน้าที่เป็นพื้นฐานง่ายๆ เพื่อเปรียบเทียบกับตัวแยกประเภทที่ซับซ้อนมากขึ้น – คาดการณ์ป้ายกำกับส่วนใหญ่คงที่ที่ผู้ใช้จัดเตรียมไว้เสมอ ในกรณีของเรา โมเดล 'ค่าคงที่' จะทำนายว่า 'ไม่' เนื่องจากเป็นคลาสที่ใช้บ่อยที่สุดและถือว่าเป็นป้ายกำกับเชิงลบ ตัวชี้วัดสำหรับแบบจำลองตัวแยกประเภทที่ผ่านการฝึกอบรม (เช่น f1, f2 หรือการเรียกคืน) สามารถเปรียบเทียบกับตัวแยกประเภทคงที่ กล่าวคือ พื้นฐาน ซึ่งทำให้แน่ใจได้ว่าแบบจำลองที่ได้รับการฝึกจะทำงานได้ดีกว่าตัวแยกประเภทคงที่ คะแนน Fβ (f0_5, f1 และ f2 โดยที่ β รับค่า 0.5, 1 และ 2 ตามลำดับ) คือค่าเฉลี่ยฮาร์มอนิกถ่วงน้ำหนักของความแม่นยำและการจำได้ ถึงค่าที่เหมาะสมที่สุดที่ 1 และค่าที่แย่ที่สุดที่ 0
ในกรณีของเรา ตัวแยกประเภทค่าคงที่ที่ดีที่สุดจะทำนายว่า 'ไม่' เสมอ ดังนั้น ความแม่นยำจึงสูงที่ 0.89 แต่คะแนนการเรียกคืน ความแม่นยำ และคะแนน Fβ เท่ากับ 0 หากชุดข้อมูลมีความสมดุลอย่างสมบูรณ์แบบโดยที่ไม่มีกลุ่มชนกลุ่มน้อยหรือกลุ่มเดียว เราจะได้เห็นความเป็นไปได้ที่น่าสนใจมากขึ้นสำหรับความแม่นยำ การเรียกคืน และคะแนนFβของตัวแยกประเภทคงที่
นอกจากนี้ คุณสามารถดูผลลัพธ์เหล่านี้ในรูปแบบ JSON ตามที่แสดงในตัวอย่างต่อไปนี้ Υคุณสามารถเข้าถึงทั้งไฟล์ PDF และ JSON ผ่าน UI เช่นเดียวกับ Amazon SageMaker Python SDK โดยใช้องค์ประกอบ S3OutputPath ใน การกำหนดค่าข้อมูลเอาต์พุต โครงสร้างใน สร้าง AutoMLJob/อธิบายAutoMLJob การตอบสนองของ API
{ "version" : 0.0, "dataset" : { "item_count" : 9152, "evaluation_time" : "2022-03-16T20:49:18.661Z" }, "binary_classification_metrics" : { "confusion_matrix" : { "no" : { "no" : 7468, "yes" : 648 }, "yes" : { "no" : 295, "yes" : 741 } }, "recall" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "precision" : { "value" : 0.5334773218142549, "standard_deviation" : 0.007335840278445563 }, "accuracy" : { "value" : 0.8969624125874126, "standard_deviation" : 0.0011703516093899595 }, "recall_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "precision_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "accuracy_best_constant_classifier" : { "value" : 0.8868006993006993, "standard_deviation" : 0.0016707401772078998 }, "true_positive_rate" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "true_negative_rate" : { "value" : 0.9201577131591917, "standard_deviation" : 0.0010233756436643213 }, "false_positive_rate" : { "value" : 0.07984228684080828, "standard_deviation" : 0.0010233756436643403 }, "false_negative_rate" : { "value" : 0.2847490347490348, "standard_deviation" : 0.004399966000813983 },
………………….
ROC และ AUC
ขึ้นอยู่กับประเภทของปัญหา คุณอาจมีเกณฑ์ที่แตกต่างกันสำหรับสิ่งที่ยอมรับได้ในฐานะ FPR ตัวอย่างเช่น หากคุณกำลังพยายามคาดการณ์ว่าลูกค้าจะเปิดบัญชีหรือไม่ ธุรกิจอาจยอมรับได้ว่ามีอัตรา FP ที่สูงขึ้น อาจมีความเสี่ยงมากกว่าที่จะพลาดการขยายข้อเสนอพิเศษให้กับลูกค้าที่คาดการณ์ว่า "ไม่" อย่างไม่ถูกต้อง เมื่อเทียบกับการเสนอลูกค้าที่คาดการณ์ว่า "ใช่" อย่างไม่ถูกต้อง การเปลี่ยนขีดจำกัดเหล่านี้เพื่อสร้าง FPR ที่แตกต่างกัน คุณต้องสร้างเมทริกซ์ความสับสนใหม่
อัลกอริธึมการจำแนกประเภทส่งคืนค่าต่อเนื่องที่เรียกว่าความน่าจะเป็นในการทำนาย ความน่าจะเป็นเหล่านี้ต้องแปลงเป็นค่าไบนารี (สำหรับการจำแนกประเภทไบนารี) ในปัญหาการจำแนกประเภทไบนารี ธรณีประตู (หรือเกณฑ์การตัดสินใจ) คือค่าที่แบ่งแยกความน่าจะเป็นเป็นการตัดสินใจแบบไบนารีอย่างง่าย สำหรับความน่าจะเป็นที่คาดการณ์ให้เป็นมาตรฐานในช่วง 0 ถึง 1 ขีดจำกัดจะถูกตั้งค่าเป็น 0.5 โดยค่าเริ่มต้น
สำหรับแบบจำลองการจำแนกประเภทไบนารี ตัวชี้วัดการประเมินที่มีประโยชน์คือพื้นที่ใต้เส้นโค้งลักษณะการทำงานของตัวรับ (ROC) รายงานคุณภาพแบบจำลองประกอบด้วยกราฟ ROC โดยมีอัตรา TP เป็นแกน y และ FPR เป็นแกน x พื้นที่ภายใต้ลักษณะการทำงานของตัวรับ (AUC-ROC) แสดงถึงการแลกเปลี่ยนระหว่าง TPR และ FPR
คุณสร้างเส้นโค้ง ROC โดยใช้ตัวทำนายการจำแนกประเภทไบนารี ซึ่งใช้ค่าเกณฑ์ และกำหนดป้ายกำกับด้วยความน่าจะเป็นที่คาดการณ์ เมื่อคุณเปลี่ยนเกณฑ์สำหรับรุ่นหนึ่งๆ คุณจะครอบคลุมจากสองขั้วสุดขั้ว เมื่อ TPR และ FPR เป็น 0 ทั้งคู่ แสดงว่าทุกอย่างมีป้ายกำกับว่า "ไม่" และเมื่อทั้ง TPR และ FPR เป็น 1 แสดงว่าทุกอย่างระบุว่า "ใช่"
ตัวทำนายแบบสุ่มที่ระบุว่า "ใช่" ครึ่งหนึ่งของเวลาและ "ไม่" อีกครึ่งหนึ่งจะมี ROC ที่เป็นเส้นทแยงมุมตรง (เส้นประสีแดง) เส้นนี้ตัดสี่เหลี่ยมหน่วยเป็นสามเหลี่ยมสองรูปที่มีขนาดเท่ากัน ดังนั้น พื้นที่ใต้เส้นโค้งคือ 0.5 ค่า AUC-ROC ที่ 0.5 จะหมายความว่าตัวทำนายของคุณไม่ได้แยกแยะระหว่างสองคลาสได้ดีไปกว่าการเดาแบบสุ่มว่าลูกค้าจะเปิดบัญชีหรือไม่ ยิ่งค่า AUC-ROC ใกล้เคียงกับ 1.0 มากเท่าใด การทำนายก็จะยิ่งดีขึ้นเท่านั้น ค่าที่ต่ำกว่า 0.5 บ่งชี้ว่าเราสามารถทำให้แบบจำลองของเราสร้างการคาดคะเนได้ดีขึ้นโดยการกลับคำตอบที่มันให้มา สำหรับรุ่นที่ดีที่สุดของเรา AUC คือ 0.93
เส้นโค้งการเรียกคืนที่แม่นยำ
รายงานคุณภาพแบบจำลองยังได้สร้าง Precision Recall Curve (PR) Curve เพื่อพล็อตความแม่นยำ (แกน y) และการเรียกคืน (แกน x) สำหรับขีดจำกัดที่แตกต่างกัน เช่นเดียวกับกราฟ ROC PR Curves มักใช้ในการดึงข้อมูล เป็นอีกทางเลือกหนึ่งของเส้นโค้ง ROC สำหรับปัญหาการจำแนกประเภทที่มีความเบ้มากในการแจกแจงคลาส
สำหรับชุดข้อมูลที่ไม่สมดุลของคลาสเหล่านี้ PR Curves จะมีประโยชน์อย่างยิ่งเมื่อคลาสที่เป็นบวกของส่วนน้อยนั้นน่าสนใจมากกว่าคลาสเชิงลบส่วนใหญ่ โปรดจำไว้ว่าแบบจำลองของเราแสดงความแม่นยำ 0.53 และการเรียกคืน 0.72 นอกจากนี้ โปรดจำไว้ว่า ตัวแยกประเภทค่าคงที่ที่ดีที่สุดไม่สามารถแยกแยะระหว่าง 'ใช่' และ 'ไม่ใช่' มันจะทำนายคลาสสุ่มหรือคลาสคงที่ทุกครั้ง
เส้นโค้งสำหรับชุดข้อมูลที่สมดุลระหว่าง 'ใช่' และ 'ไม่ใช่' จะเป็นเส้นแนวนอนที่ 0.5 และด้วยเหตุนี้จึงจะมีพื้นที่ใต้เส้นโค้ง PR (AUPRC) เป็น 0.5 ในการสร้าง PRC เราพล็อตแบบจำลองต่างๆ บนเส้นโค้งที่ธรณีประตูที่แตกต่างกัน ในลักษณะเดียวกับเส้นโค้ง ROC สำหรับข้อมูลของเรา AUPRC คือ 0.61
ผลงานรายงานคุณภาพแบบจำลอง
คุณสามารถค้นหารายงานคุณภาพโมเดลในบัคเก็ต Amazon S3 ที่คุณระบุเมื่อกำหนดพาธเอาต์พุตก่อนรันการทดสอบ SageMaker AutoPilot คุณจะพบรายงานภายใต้ documentation/model_monitor/output/<autopilot model name>/ prefix
บันทึกเป็น PDF
สรุป
รายงานคุณภาพแบบจำลอง SageMaker Autopilot ช่วยให้คุณเห็นและแบ่งปันผลลัพธ์ของการทดสอบ SageMaker Autopilot ได้อย่างรวดเร็ว คุณสามารถดำเนินการฝึกอบรมและปรับแต่งโมเดลได้อย่างง่ายดายโดยใช้ SageMaker Autopilot จากนั้นอ้างอิงรายงานที่สร้างขึ้นเพื่อตีความผลลัพธ์ ไม่ว่าคุณจะลงเอยด้วยการใช้แบบจำลองที่ดีที่สุดของ SageMaker Autopilot หรือตัวเลือกอื่น ผลลัพธ์เหล่านี้อาจเป็นจุดเริ่มต้นที่เป็นประโยชน์ในการประเมินการฝึกแบบจำลองเบื้องต้นและงานปรับแต่ง รายงานคุณภาพแบบจำลองอัตโนมัติของ SageMaker ช่วยลดเวลาที่จำเป็นในการเขียนโค้ดและสร้างภาพสำหรับการประเมินประสิทธิภาพและการเปรียบเทียบ
วันนี้คุณรวม autoML เข้ากับกรณีธุรกิจของคุณได้ง่ายๆ โดยไม่ต้องสร้างทีมวิทยาศาสตร์ข้อมูล SageMaker เอกสาร มีตัวอย่างมากมายเพื่อช่วยคุณในการเริ่มต้น
เกี่ยวกับผู้เขียน
ปีเตอร์ จุง เป็นสถาปนิกโซลูชันสำหรับ AWS และมีความกระตือรือร้นในการช่วยให้ลูกค้าค้นพบข้อมูลเชิงลึกจากข้อมูลของพวกเขา เขาได้สร้างโซลูชันเพื่อช่วยให้องค์กรต่างๆ ตัดสินใจโดยใช้ข้อมูลเป็นหลักทั้งในภาครัฐและเอกชน เขาถือใบรับรอง AWS ทั้งหมดรวมถึงใบรับรอง GCP สองใบ เขาชอบดื่มกาแฟ ทำอาหาร กระตือรือร้น และใช้เวลาอยู่กับครอบครัว
อรุณประศาสน์ เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญด้านปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง (AI/ML) กับ AWS ซึ่งช่วยให้ลูกค้าทั่วโลกปรับขนาดโซลูชัน AI ของตนในระบบคลาวด์ได้อย่างมีประสิทธิภาพและประสิทธิผล ในเวลาว่าง อรุณชอบดูหนังไซไฟและฟังเพลงคลาสสิก
อาลี ตักบีรี เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญ AI/ML และช่วยเหลือลูกค้าโดยใช้การเรียนรู้ของเครื่องเพื่อแก้ปัญหาความท้าทายทางธุรกิจบน AWS Cloud
ประทีป เรดดี้ เป็นผู้จัดการผลิตภัณฑ์อาวุโสในทีม SageMaker Low/No Code ML ซึ่งรวมถึง SageMaker Autopilot, SageMaker Automatic Model Tuner นอกเวลางาน Pradeep สนุกกับการอ่านหนังสือ วิ่งเล่น และสนุกกับคอมพิวเตอร์ขนาดเท่าฝ่ามือ เช่น Raspberry Pi และเทคโนโลยีระบบอัตโนมัติภายในบ้านอื่นๆ
- คอยน์สมาร์ท การแลกเปลี่ยน Bitcoin และ Crypto ที่ดีที่สุดในยุโรป
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าฟรี
- คริปโตฮอว์ก เรดาร์ Altcoin ทดลองฟรี.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/automatically-generate-model-evaluation-metrics-using-sagemaker-autopilot-model-quality-reports/
- "
- 100
- 7
- เกี่ยวกับเรา
- เข้า
- ลงชื่อเข้าใช้
- คล่องแคล่ว
- สูง
- AI
- อัลกอริทึม
- ทั้งหมด
- อเมซอน
- ในหมู่
- อื่น
- API
- AREA
- เทียม
- ปัญญาประดิษฐ์
- ปัญญาประดิษฐ์และการเรียนรู้ด้วยเครื่อง
- แอตทริบิวต์
- อัตโนมัติ
- ใช้ได้
- AWS
- ธนาคาร
- baseline
- กลายเป็น
- ที่ดีที่สุด
- ชายแดน
- กล่อง
- สร้าง
- การก่อสร้าง
- ธุรกิจ
- กรณี
- ความท้าทาย
- Choose
- ชั้น
- ชั้นเรียน
- การจัดหมวดหมู่
- ใกล้ชิด
- เมฆ
- รหัส
- กาแฟ
- คอลัมน์
- เมื่อเทียบกับ
- ซับซ้อน
- คอมพิวเตอร์
- ความสับสน
- มี
- ค่าใช้จ่าย
- ได้
- ที่สร้างขึ้น
- การสร้าง
- เส้นโค้ง
- ลูกค้า
- ข้อมูล
- วิทยาศาสตร์ข้อมูล
- ชุดข้อมูล
- สาธิต
- ปรับใช้
- ปรับใช้
- การตรวจพบ
- DID
- ต่าง
- โดยตรง
- การกระจาย
- อย่างง่ายดาย
- อีเมล
- ปลายทาง
- ชั้นเยี่ยม
- โดยเฉพาะอย่างยิ่ง
- ทุกอย่าง
- ตัวอย่าง
- การทดลอง
- ครอบครัว
- ลักษณะ
- ในที่สุด
- พบ
- ชื่อจริง
- ความยืดหยุ่น
- โฟกัส
- ดังต่อไปนี้
- รูป
- สร้าง
- เหตุการณ์ที่
- ดี
- มี
- ช่วย
- เป็นประโยชน์
- จะช่วยให้
- จุดสูง
- สูงกว่า
- ถือ
- หน้าแรก
- บ้านอัตโนมัติ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- ICON
- เอกลักษณ์
- สำคัญ
- ประกอบด้วย
- ข้อมูล
- ข้อมูลเชิงลึก
- Intelligence
- IT
- การสัมภาษณ์
- ที่รู้จักกัน
- ป้ายกำกับ
- ใหญ่
- ที่มีขนาดใหญ่
- เรียนรู้
- การเรียนรู้
- เลฟเวอเรจ
- Line
- การฟัง
- ที่ตั้ง
- เครื่อง
- เรียนรู้เครื่อง
- ส่วนใหญ่
- ทำให้
- การจัดการ
- ผู้จัดการ
- การตลาด
- มดลูก
- วัด
- ตัวชี้วัด
- ชนกลุ่มน้อย
- ML
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- มากที่สุด
- Movies
- ดนตรี
- จำนวน
- มากมาย
- การเสนอ
- เสนอ
- เปิด
- การเปิด
- การดำเนินงาน
- Options
- องค์กร
- อื่นๆ
- หลงใหล
- รูปแบบไฟล์ PDF
- การปฏิบัติ
- จุด
- บวก
- ความเป็นไปได้
- เป็นไปได้
- ที่มีศักยภาพ
- คาดการณ์
- คำทำนาย
- การคาดการณ์
- นำเสนอ
- ส่วนตัว
- ปัญหา
- ปัญหาที่เกิดขึ้น
- ก่อ
- ผลิตภัณฑ์
- การผลิต
- ให้
- ให้
- สาธารณะ
- คุณภาพ
- อย่างรวดเร็ว
- พิสัย
- การอ่าน
- ลด
- ตรงประเด็น
- รายงาน
- รายงาน
- แสดงให้เห็นถึง
- แหล่งข้อมูล
- คำตอบ
- ผลสอบ
- วิ่ง
- ขนาด
- วิทยาศาสตร์
- ภาค
- ชุด
- Share
- ง่าย
- So
- โซลูชัน
- แก้
- สแปม
- การใช้จ่าย
- สี่เหลี่ยม
- ข้อความที่เริ่ม
- Status
- การเก็บรักษา
- สตูดิโอ
- เป้า
- ทีม
- เทคโนโลยี
- ตลอด
- เวลา
- ในวันนี้
- TPR
- การฝึกอบรม
- รถไฟ
- ui
- เปิดเผย
- เข้าใจ
- us
- ใช้
- ความคุ้มค่า
- ต่างๆ
- รายละเอียด
- ความชัดเจน
- ว่า
- WHO
- ไม่มี
- งาน
- จะ