ตรวจสอบป้ายข้อมูลของคุณด้วยภาพที่ไม่มีเครื่องมือโค้ดเพื่อสร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงด้วย Amazon SageMaker Ground Truth Plus

เปิดตัวที่ AWS re:Invent 2021 Amazon SageMaker Ground Truth Plus ช่วยให้คุณสร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงโดยการลบการยกของหนักที่ไม่แตกต่างที่เกี่ยวข้องกับการสร้างแอปพลิเคชันการติดฉลากข้อมูลและการจัดการพนักงานการติดฉลาก สิ่งที่คุณทำคือแบ่งปันข้อมูลพร้อมกับข้อกำหนดในการติดฉลาก และ Ground Truth Plus จะตั้งค่าและจัดการเวิร์กโฟลว์การติดป้ายกำกับข้อมูลของคุณตามข้อกำหนดเหล่านี้ จากนั้น เจ้าหน้าที่ผู้เชี่ยวชาญที่ได้รับการฝึกอบรมเกี่ยวกับงานการเรียนรู้ของเครื่อง (ML) ต่างๆ จะทำหน้าที่ติดป้ายกำกับข้อมูล คุณไม่จำเป็นต้องมีความเชี่ยวชาญ ML อย่างลึกซึ้งหรือความรู้เกี่ยวกับการออกแบบขั้นตอนการทำงานและการจัดการคุณภาพเพื่อใช้ Ground Truth Plus

การสร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงสำหรับอัลกอริทึม ML ของคุณนั้นเป็นกระบวนการที่ต้องทำซ้ำๆ ผู้ปฏิบัติงาน ML มักจะสร้างระบบที่กำหนดเองเพื่อตรวจสอบป้ายกำกับข้อมูล เนื่องจากข้อมูลที่ติดป้ายกำกับอย่างถูกต้องมีความสำคัญต่อคุณภาพของโมเดล ML เพื่อให้แน่ใจว่าคุณจะได้รับข้อมูลการฝึกอบรมคุณภาพสูง Ground Truth Plus จึงมีอินเทอร์เฟซผู้ใช้ในตัว (UI การตรวจสอบ) เพื่อตรวจสอบคุณภาพของป้ายกำกับข้อมูลและให้ข้อเสนอแนะเกี่ยวกับป้ายกำกับข้อมูลจนกว่าคุณจะพอใจว่าป้ายกำกับนั้นแสดงถึง ความจริงภาคพื้นดินหรือสิ่งที่สังเกตได้โดยตรงในโลกแห่งความเป็นจริง

โพสต์นี้จะอธิบายขั้นตอนต่างๆ ในการสร้างทีมโครงการและใช้คุณลักษณะในตัวใหม่หลายประการของเครื่องมือ Review UI เพื่อตรวจสอบชุดข้อมูลที่มีป้ายกำกับให้เสร็จสมบูรณ์อย่างมีประสิทธิภาพ การฝึกปฏิบัติจะถือว่าคุณมีโครงการการติดฉลาก Ground Truth Plus ที่ใช้งานอยู่ สำหรับข้อมูลเพิ่มเติม โปรดดู Amazon SageMaker Ground Truth Plus – สร้างชุดข้อมูลการฝึกอบรมโดยไม่ต้องใช้โค้ดหรือทรัพยากรภายในองค์กร.

จัดตั้งทีมงานโครงการ

ทีมงานโครงการให้สิทธิ์การเข้าถึงแก่สมาชิกจากองค์กรของคุณเพื่อตรวจสอบป้ายกำกับข้อมูลโดยใช้เครื่องมือตรวจสอบ UI หากต้องการตั้งค่าทีมงานโครงการ ให้ทำตามขั้นตอนต่อไปนี้:

1. บนพื้นดินความจริงพลัส ปลอบใจเลือก สร้างทีมโครงการ.
2. เลือก สร้างกลุ่มผู้ใช้ Amazon Cognito ใหม่ . หากคุณมีอยู่แล้ว Amazon Cognito Co กลุ่มผู้ใช้ ให้เลือก นำเข้าสมาชิก ตัวเลือก
3. สำหรับ ชื่อกลุ่มผู้ใช้ Amazon Cognitoให้ป้อนชื่อ ชื่อนี้ไม่สามารถเปลี่ยนแปลงได้
4. สำหรับ ที่อยู่อีเมลป้อนที่อยู่อีเมลของสมาชิกในทีมสูงสุด 50 คน คั่นด้วยเครื่องหมายจุลภาค
5. Choose สร้างทีมโครงการ.

สมาชิกในทีมของคุณจะได้รับอีเมลเชิญให้เข้าร่วมทีมโครงการ Ground Truth Plus จากนั้น พวกเขาสามารถเข้าสู่พอร์ทัลโครงการ Ground Truth Plus เพื่อตรวจสอบป้ายกำกับข้อมูล

ตรวจสอบคุณภาพชุดข้อมูลที่ติดป้ายกำกับ

ตอนนี้เรามาดำดิ่งลงสู่ตัวอย่างการติดตามออบเจ็กต์วิดีโอโดยใช้ CBCL สตรีทซีน ชุดข้อมูล

หลังจากข้อมูลในชุดงานของคุณได้รับการติดป้ายกำกับแล้ว ชุดงานจะถูกทำเครื่องหมายเป็น พร้อมรีวิว.

เลือกชุดและเลือก ตรวจสอบชุด. คุณถูกเปลี่ยนเส้นทางไปยัง UI การตรวจสอบ คุณมีความยืดหยุ่นในการเลือกอัตราการสุ่มตัวอย่างที่แตกต่างกันสำหรับแต่ละชุดที่คุณตรวจสอบ ตัวอย่างเช่น ในชุดตัวอย่างของเรา เรามีวิดีโอทั้งหมดห้ารายการ คุณสามารถระบุได้ว่าต้องการตรวจสอบเพียงชุดย่อยของวิดีโอทั้ง XNUMX รายการหรือทั้งหมด

ตอนนี้เรามาดูฟังก์ชันต่างๆ ภายใน Review UI ที่จะช่วยคุณในการตรวจสอบคุณภาพของชุดข้อมูลที่ติดป้ายกำกับได้รวดเร็วยิ่งขึ้น และให้คำติชมเกี่ยวกับคุณภาพ:

• กรองป้ายกำกับตามหมวดหมู่ป้ายกำกับ – ภายใน UI การตรวจสอบ ในบานหน้าต่างด้านขวา คุณสามารถกรองป้ายกำกับตามหมวดหมู่ป้ายกำกับได้ คุณลักษณะนี้มีประโยชน์เมื่อมีป้ายกำกับหลายประเภท (เช่น Vehicles, Pedestriansและ Poles) ในออบเจ็กต์ชุดข้อมูลที่หนาแน่น และคุณต้องการดูป้ายกำกับสำหรับหมวดหมู่ป้ายกำกับทีละหมวดหมู่ ตัวอย่างเช่น เรามาเน้นไปที่ Car หมวดหมู่ฉลาก ป้อน Car หมวดหมู่ป้ายกำกับในบานหน้าต่างด้านขวาเพื่อกรองคำอธิบายประกอบทั้งหมดประเภทเดียว Car. ภาพหน้าจอต่อไปนี้แสดงมุมมอง ตรวจสอบ UI ก่อนและหลังการใช้ตัวกรอง
  
• การซ้อนทับค่าแอตทริบิวต์ที่มีคำอธิบายประกอบที่เกี่ยวข้อง – แต่ละป้ายกำกับสามารถกำหนดคุณลักษณะที่จะใส่คำอธิบายประกอบได้ เช่น สำหรับหมวดหมู่ป้ายกำกับ Car สมมติว่าคุณต้องการขอให้พนักงานใส่คำอธิบายประกอบด้วย Color  และ  Occlusion คุณลักษณะสำหรับแต่ละอินสแตนซ์ป้ายกำกับ เมื่อคุณโหลด UI การตรวจสอบ คุณจะเห็นแอตทริบิวต์ที่เกี่ยวข้องภายใต้อินสแตนซ์ป้ายกำกับแต่ละรายการในบานหน้าต่างด้านขวา แต่ถ้าคุณต้องการดูคำอธิบายประกอบแอตทริบิวต์เหล่านี้บนรูปภาพโดยตรงแทนล่ะ คุณเลือกป้ายกำกับ Car:1 และเพื่อซ้อนทับคำอธิบายประกอบแอตทริบิวต์สำหรับ Car:1 คุณกด Ctrl + A.
  ตอนนี้คุณจะเห็นคำอธิบายประกอบ Dark Blue สำหรับ Color คุณลักษณะและคำอธิบายประกอบ None สำหรับ Occlusion คุณลักษณะที่แสดงโดยตรงบนรูปภาพถัดจาก Car:1 กล่องขอบเขต ตอนนี้คุณสามารถตรวจสอบได้อย่างง่ายดาย Car:1 ถูกทำเครื่องหมายเป็น Dark Blueโดยไม่มีการบดบังเพียงแค่ดูภาพแทนที่จะต้องค้นหาตำแหน่ง Car:1 ในบานหน้าต่างด้านขวาเพื่อดูคำอธิบายประกอบของแอตทริบิวต์
  
• แสดงความคิดเห็นในระดับป้ายกำกับ – สำหรับแต่ละป้ายกำกับ คุณสามารถแสดงความคิดเห็นได้ที่ระดับป้ายกำกับในป้ายกำกับนั้น ป้ายกำกับข้อเสนอแนะ แอตทริบิวต์สตริงฟรี ตัวอย่างเช่น ในภาพนี้ Car:1 ดูเป็นสีดำมากกว่าสีน้ำเงินเข้ม คุณสามารถถ่ายทอดความคลาดเคลื่อนนี้เป็นความคิดเห็นได้ Car:1 โดยใช้โปรแกรม ป้ายกำกับข้อเสนอแนะ เพื่อติดตามความคิดเห็นไปยังป้ายกำกับนั้นในเฟรมนั้น ทีมควบคุมคุณภาพภายในของเราจะตรวจสอบความคิดเห็นนี้และแนะนำการเปลี่ยนแปลงกระบวนการคำอธิบายประกอบและนโยบายป้ายกำกับ และฝึกอบรมคำอธิบายประกอบตามที่จำเป็น
  
• แสดงความคิดเห็นในระดับเฟรม – ในทำนองเดียวกัน สำหรับแต่ละเฟรม คุณสามารถแสดงความคิดเห็นไว้ที่ระดับเฟรมใต้เฟรมนั้นได้ ความคิดเห็นเกี่ยวกับเฟรม แอตทริบิวต์สตริงฟรี ในกรณีนี้ คำอธิบายประกอบสำหรับ Car และ  Pedestrian คลาสดูถูกต้องและนำไปใช้ได้ดีในเฟรมนี้ คุณสามารถถ่ายทอดผลตอบรับเชิงบวกนี้ได้โดยใช้ ให้ข้อเสนอแนะ และความคิดเห็นของคุณเชื่อมโยงกับเฟรมนี้
  
• คัดลอกความคิดเห็นเกี่ยวกับคำอธิบายประกอบไปยังเฟรมอื่น – คุณสามารถคัดลอกความคิดเห็นทั้งระดับป้ายกำกับและระดับเฟรมไปยังเฟรมอื่นได้หากคุณคลิกขวาที่แอตทริบิวต์นั้น คุณลักษณะนี้มีประโยชน์เมื่อคุณต้องการทำซ้ำความคิดเห็นเดียวกันในเฟรมสำหรับป้ายกำกับนั้น หรือใช้ความคิดเห็นระดับเฟรมเดียวกันกับหลายเฟรม คุณสมบัตินี้ช่วยให้คุณตรวจสอบป้ายกำกับข้อมูลได้อย่างรวดเร็ว
  
• อนุมัติหรือปฏิเสธออบเจ็กต์ชุดข้อมูลแต่ละรายการ – สำหรับแต่ละออบเจ็กต์ชุดข้อมูลที่คุณตรวจสอบ คุณจะมีตัวเลือกให้เลือก อนุมัติ หากคุณพอใจกับคำอธิบายประกอบหรือเลือกแล้ว ปฏิเสธ หากคุณไม่พอใจและต้องการให้คำอธิบายประกอบเหล่านั้นได้รับการแก้ไขใหม่ เมื่อคุณเลือก ส่งคุณจะพบตัวเลือกในการอนุมัติหรือปฏิเสธวิดีโอที่คุณเพิ่งตรวจสอบ ไม่ว่าในกรณีใด คุณสามารถให้ความเห็นเพิ่มเติมได้:
  • หากคุณเลือกที่ อนุมัติความเห็นเป็นทางเลือก
    
  • หากคุณเลือกที่ ปฏิเสธจำเป็นต้องมีความเห็น และเราแนะนำให้แสดงความคิดเห็นโดยละเอียด ความคิดเห็นของคุณจะได้รับการตรวจสอบโดยทีมควบคุมคุณภาพ Ground Truth Plus โดยเฉพาะ ซึ่งจะดำเนินการแก้ไขเพื่อหลีกเลี่ยงข้อผิดพลาดที่คล้ายกันในวิดีโอต่อๆ ไป
    

หลังจากที่คุณส่งวิดีโอพร้อมคำติชมของคุณ คุณจะถูกนำกลับไปที่หน้ารายละเอียดโปรเจ็กต์ในพอร์ทัลโปรเจ็กต์ ซึ่งคุณสามารถดูจำนวนออบเจ็กต์ที่ถูกปฏิเสธภายใต้ วัตถุที่ถูกปฏิเสธ และอัตราความผิดพลาดซึ่งคำนวณเป็นจำนวนออบเจ็กต์ที่ยอมรับจากออบเจ็กต์ที่ได้รับการตรวจสอบภายใต้ อัตราการยอมรับ คอลัมน์สำหรับแต่ละชุดในโครงการของคุณ ตัวอย่างเช่น สำหรับชุดที่ 1 ในภาพหน้าจอต่อไปนี้ อัตราการยอมรับคือ 80% เนื่องจากวัตถุสี่รายการได้รับการยอมรับจากวัตถุที่ได้รับการตรวจทานห้ารายการ

สรุป

ชุดข้อมูลการฝึกอบรมคุณภาพสูงมีความสำคัญต่อการบรรลุโครงการริเริ่ม ML ของคุณ ด้วย Ground Truth Plus ตอนนี้คุณมีเครื่องมือ Review UI ในตัวที่ได้รับการปรับปรุง ซึ่งจะลบการยกของหนักที่ไม่แตกต่างที่เกี่ยวข้องกับการสร้างเครื่องมือแบบกำหนดเองเพื่อตรวจสอบคุณภาพของชุดข้อมูลที่มีป้ายกำกับ โพสต์นี้จะอธิบายวิธีการตั้งค่าทีมงานโครงการและใช้คุณลักษณะในตัวใหม่ของเครื่องมือรีวิว UI เยี่ยมชม คอนโซล Ground Truth Plus ที่จะเริ่มต้น

เช่นเคย AWS ยินดีรับข้อเสนอแนะ กรุณาส่งความคิดเห็นหรือคำถามใด ๆ

เกี่ยวกับผู้เขียน

มานิช โกล์ เป็นผู้จัดการผลิตภัณฑ์ของ Amazon SageMaker Ground Truth Plus เขามุ่งเน้นที่การสร้างผลิตภัณฑ์ที่ช่วยให้ลูกค้านำแมชชีนเลิร์นนิงมาใช้ได้ง่ายขึ้น ในเวลาว่าง เขาชอบเดินทางท่องเที่ยวและอ่านหนังสือ

เรเวกก้า คอสโตเอวา เป็นวิศวกรนักพัฒนาซอฟต์แวร์ที่ Amazon AWS ซึ่งเธอทำงานเกี่ยวกับการพบปะกับลูกค้าและโซลูชันภายในเพื่อขยายขอบเขตและความสามารถในการปรับขนาดของบริการ Sagemaker Ground Truth ในฐานะนักวิจัย เธอได้รับแรงผลักดันให้ปรับปรุงเครื่องมือทางการค้าเพื่อขับเคลื่อนนวัตกรรมไปข้างหน้า

• คอยน์สมาร์ท การแลกเปลี่ยน Bitcoin และ Crypto ที่ดีที่สุดในยุโรป
• เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าฟรี
• คริปโตฮอว์ก เรดาร์ Altcoin ทดลองฟรี.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- ด้วย-amazon-sagemaker-ground-truth-plus/