รับข้อมูลระดับการผลิตได้เร็วขึ้นโดยใช้อินเทอร์เฟซใหม่ในตัวกับ Amazon SageMaker Ground Truth Plus

เปิดตัวที่ AWS re:Invent 2021 Amazon SageMaker Ground Truth Plus ช่วยคุณสร้างชุดข้อมูลการฝึกอบรมคุณภาพสูงโดยการลบการยกของหนักที่ไม่แตกต่างซึ่งเกี่ยวข้องกับการสร้างแอปพลิเคชันการติดฉลากข้อมูลและการจัดการพนักงานการติดฉลาก สิ่งที่คุณทำคือแชร์ข้อมูลพร้อมกับข้อกำหนดการติดฉลาก และ Ground Truth Plus จะตั้งค่าและจัดการเวิร์กโฟลว์การติดฉลากข้อมูลของคุณตามข้อกำหนดเหล่านี้ จากจุดนั้น พนักงานผู้เชี่ยวชาญที่ได้รับการฝึกอบรมเกี่ยวกับงานแมชชีนเลิร์นนิง (ML) ต่างๆ จะติดป้ายกำกับข้อมูลของคุณ คุณไม่จำเป็นต้องมีความเชี่ยวชาญด้าน ML หรือความรู้เกี่ยวกับการออกแบบเวิร์กโฟลว์และการจัดการคุณภาพเพื่อใช้ Ground Truth Plus

วันนี้เรารู้สึกตื่นเต้นที่จะประกาศเปิดตัวอินเทอร์เฟซใหม่ในตัวบน Ground Truth Plus ด้วยความสามารถใหม่นี้ ผู้ใช้ Ground Truth Plus หลายคนสามารถสร้างใหม่ได้แล้ว โครงการ และ  ชุดแชร์ข้อมูล และรับข้อมูลโดยใช้บัญชี AWS เดียวกันผ่านอินเทอร์เฟซแบบบริการตนเอง สิ่งนี้ทำให้คุณสามารถเร่งการพัฒนาชุดข้อมูลการฝึกอบรมคุณภาพสูงโดยลดเวลาการตั้งค่าโครงการ นอกจากนี้ คุณสามารถควบคุมการเข้าถึงข้อมูลของคุณแบบละเอียดได้ด้วยการกำหนดขอบเขตของคุณ AWS Identity และการจัดการการเข้าถึง (IAM) สิทธิ์ตามบทบาทเพื่อให้ตรงกับระดับบุคคลของคุณ บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon การเข้าถึง (Amazon S3) และคุณมีตัวเลือกในการเพิกถอนการเข้าถึงบัคเก็ตบางตัวเสมอ

จนถึงตอนนี้ คุณต้องติดต่อผู้จัดการโปรแกรมการดำเนินงาน Ground Truth Plus (OPM) ของคุณเพื่อสร้างการติดฉลากข้อมูลใหม่ โครงการ และ สำหรับกระบวนการ. กระบวนการนี้มีข้อจำกัดบางประการเนื่องจากอนุญาตให้ผู้ใช้เพียงรายเดียวสามารถขอโปรเจ็กต์และแบทช์ใหม่ได้—หากผู้ใช้หลายคนในองค์กรใช้บัญชี AWS เดียวกัน ผู้ใช้เพียงรายเดียวจะสามารถขอโปรเจกต์การติดฉลากข้อมูลใหม่และแบทช์โดยใช้ Ground Truth Plus คอนโซล นอกจากนี้ กระบวนการดังกล่าวยังสร้างความล่าช้าเทียมในการเริ่มกระบวนการติดฉลากเนื่องจากจุดติดต่อด้วยตนเองหลายจุดและการแก้ไขปัญหาที่จำเป็นในกรณีที่เกิดปัญหา โครงการทั้งหมดใช้บทบาท IAM เดียวกันในการเข้าถึงข้อมูล ดังนั้น ในการรันโปรเจกต์และแบทช์ที่ต้องการการเข้าถึงแหล่งข้อมูลต่างๆ เช่น บัคเก็ต Amazon S3 ต่างๆ คุณต้องพึ่งพา Ground Truth Plus OPM เพื่อกำหนดนโยบาย S3 เฉพาะบัญชีของคุณ ซึ่งคุณต้องนำไปใช้กับบัคเก็ต S3 ด้วยตนเอง การดำเนินการทั้งหมดนี้ต้องใช้แรงงานคนมาก ส่งผลให้มีค่าใช้จ่ายในการดำเนินงาน

โพสต์นี้จะอธิบายขั้นตอนต่างๆ ในการสร้างโครงการและแบทช์ใหม่ แชร์ข้อมูล และรับข้อมูลโดยใช้อินเทอร์เฟซแบบบริการตนเองแบบใหม่เพื่อเริ่มต้นกระบวนการติดฉลากอย่างมีประสิทธิภาพ โพสต์นี้ถือว่าคุณคุ้นเคยกับ Ground Truth Plus สำหรับข้อมูลเพิ่มเติม โปรดดูที่ Amazon SageMaker Ground Truth Plus – สร้างชุดข้อมูลการฝึกอบรมโดยไม่ต้องใช้โค้ดหรือทรัพยากรภายในองค์กร.

ภาพรวมโซลูชัน

เราสาธิตวิธีการดังต่อไปนี้:

• ปรับปรุงโครงการที่มีอยู่
• ขอโครงการใหม่
• จัดตั้งทีมงานโครงการ
• สร้างแบทช์

เบื้องต้น

ก่อนที่คุณจะเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณมีข้อกำหนดเบื้องต้นดังต่อไปนี้:

• An บัญชี AWS
• ผู้ใช้ IAM ที่มีสิทธิ์เข้าถึงเพื่อสร้างบทบาท IAM
• พื้นที่ URI ของ Amazon S3 ของบัคเก็ตที่เก็บอ็อบเจกต์การติดฉลากของคุณ

ปรับปรุงโครงการที่มีอยู่

หากคุณมีโปรเจ็กต์ Ground Truth Plus ก่อนการเปิดตัว (9 ธันวาคม 2022) ของฟีเจอร์ใหม่ที่อธิบายไว้ในโพสต์นี้ คุณต้องสร้างและแชร์บทบาท IAM เพื่อให้คุณสามารถใช้ฟีเจอร์เหล่านี้กับโปรเจ็กต์ Ground Truth Plus ที่คุณมีอยู่ได้ . หากคุณเป็นผู้ใช้ใหม่ของ Ground Truth Plus คุณสามารถข้ามส่วนนี้ได้

หากต้องการสร้างบทบาท IAM ให้ทำตามขั้นตอนต่อไปนี้:

1. บนคอนโซล IAM ให้เลือก สร้างบทบาท.
2. เลือก นโยบายความไว้วางใจที่กำหนดเอง.
3. ระบุความสัมพันธ์ที่เชื่อถือได้ต่อไปนี้สำหรับบทบาท:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Choose ถัดไป.
5. Choose สร้างนโยบาย.
6. ในแท็บ JSON ให้ระบุนโยบายต่อไปนี้ อัปเดตคุณสมบัติทรัพยากรโดยระบุสองรายการสำหรับแต่ละที่เก็บข้อมูล รายการหนึ่งที่มี ARN ที่เก็บข้อมูลเท่านั้น และอีกรายการที่มี ARN ที่เก็บข้อมูลตามด้วย /*. ตัวอย่างเช่น แทนที่ กับ arn:aws:s3:::my-bucket/myprefix/ และ /* กับ arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Choose ถัดไป: แท็ก และ ถัดไป: รีวิว.
8. ป้อนชื่อนโยบายและคำอธิบายที่ไม่บังคับ
9. Choose สร้างนโยบาย.
10. ปิดแท็บนี้และกลับไปที่แท็บก่อนหน้าเพื่อสร้างบทบาทของคุณ

ในแท็บเพิ่มสิทธิ์ คุณควรเห็นนโยบายใหม่ที่คุณสร้างขึ้น (รีเฟรชหน้านี้หากคุณไม่เห็น)

11. เลือกนโยบายที่สร้างขึ้นใหม่แล้วเลือก ถัดไป.
12. ป้อนชื่อ (เช่น GTPlusExecutionRole) และตัวเลือกคำอธิบายของบทบาท
13. Choose สร้างบทบาท.
14. ระบุบทบาท ARN ให้กับ Ground Truth Plus OPM ของคุณ ซึ่งจะอัปเดตโครงการที่มีอยู่ของคุณด้วยบทบาทที่สร้างขึ้นใหม่นี้

ขอโครงการใหม่

หากต้องการขอโครงการใหม่ ให้ทำตามขั้นตอนต่อไปนี้:

1. เกี่ยวกับ คอนโซล Ground Truth Plus, ไปที่ โครงการ มาตรา.

นี่คือที่ที่โครงการทั้งหมดของคุณอยู่ในรายการ

2. Choose ขอโครงการ.

พื้นที่ ขอโครงการ หน้าเป็นโอกาสของคุณในการให้รายละเอียดที่จะช่วยให้เรากำหนดเวลาการโทรให้คำปรึกษาเบื้องต้นและตั้งค่าโครงการของคุณ

3. นอกเหนือจากการระบุข้อมูลทั่วไป เช่น ชื่อโครงการและคำอธิบาย คุณต้องระบุประเภทงานของโครงการและระบุว่ามีข้อมูลส่วนบุคคลที่สามารถระบุตัวตนได้ (PII) หรือไม่

ในการติดป้ายกำกับข้อมูลของคุณ Ground Truth Plus จำเป็นต้องเข้าถึงข้อมูลดิบของคุณชั่วคราวในบัคเก็ต S3 เมื่อกระบวนการติดฉลากเสร็จสิ้น Ground Truth Plus จะส่งเอาต์พุตการติดฉลากกลับไปยังบัคเก็ต S3 ของคุณ สิ่งนี้ทำได้ผ่านบทบาท IAM คุณสามารถสร้างบทบาทใหม่หรือไปที่คอนโซล IAM เพื่อสร้างบทบาทใหม่ (โปรดดูคำแนะนำในส่วนก่อนหน้า)

4. หากคุณเลือกที่จะสร้างบทบาท ให้เลือก ป้อนบทบาท IAM ที่กำหนดเอง ARN และป้อนบทบาท IAM ของคุณ ARN ซึ่งอยู่ในรูปแบบ arn:aws:iam:::role/.
5. หากต้องการใช้เครื่องมือที่มีมาให้ในเมนูแบบเลื่อนลงด้านล่าง บทบาท IAMเลือก สร้างบทบาทใหม่.
6. ระบุตำแหน่งฝากข้อมูลของข้อมูลการติดฉลากของคุณ หากคุณไม่ทราบตำแหน่งของข้อมูลการติดฉลากหรือหากคุณไม่ได้อัปโหลดข้อมูลการติดฉลาก ให้เลือก ถัง S3 ใดก็ได้ซึ่งจะให้สิทธิ์ Ground Truth Plus เข้าถึงบัคเก็ตทั้งหมดในบัญชีของคุณ
7. Choose สร้างบัญชีตัวแทน เพื่อสร้างบทบาท

บทบาท IAM ของคุณจะอนุญาตให้ใช้ Ground Truth Plus ซึ่งระบุว่าเป็น sagemaker-ground-truth-plus.amazonaws.com ในบทบาทของ นโยบายความน่าเชื่อถือเพื่อดำเนินการต่อไปนี้บนบัคเก็ต S3 ของคุณ:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Choose ขอโครงการ เพื่อดำเนินการตามคำขอ

OPM ของ Ground Truth Plus จะกำหนดเวลาการโทรให้คำปรึกษาเบื้องต้นกับคุณเพื่อหารือเกี่ยวกับข้อกำหนดและราคาโครงการติดฉลากข้อมูลของคุณ

จัดตั้งทีมงานโครงการ

หลังจากที่คุณขอโครงการ คุณต้องสร้างทีมโครงการเพื่อเข้าสู่ระบบพอร์ทัลโครงการของคุณ ทีมโครงการให้สิทธิ์การเข้าถึงแก่สมาชิกจากองค์กรหรือทีมของคุณเพื่อติดตามโครงการ ดูเมตริก และตรวจสอบป้ายกำกับ คุณสามารถใช้ตัวเลือก เชิญสมาชิกใหม่ทางอีเมล or นำเข้าสมาชิกจากที่มีอยู่ Amazon Cognito Co กลุ่มผู้ใช้. ในโพสต์นี้ เราจะแสดงวิธีการนำเข้าสมาชิกจากที่มีอยู่ Amazon Cognito Co กลุ่มผู้ใช้เพื่อเพิ่มผู้ใช้ในทีมโครงการของคุณ

1. เกี่ยวกับ คอนโซล Ground Truth Plus, ไปที่ ทีมงานโครงการ มาตรา.
2. Choose สร้างทีมโครงการ
3. Choose นำเข้าสมาชิกจากกลุ่มผู้ใช้ Amazon Cognito ที่มีอยู่
4. เลือกกลุ่มผู้ใช้ Amazon Cognito

กลุ่มผู้ใช้จำเป็นต้องมีโดเมนและกลุ่มผู้ใช้ที่มีอยู่

5. เลือกไคลเอ็นต์แอป

เราขอแนะนำให้ใช้ไคลเอนต์ที่สร้างโดย อเมซอน SageMaker.

6. เลือกกลุ่มผู้ใช้จากกลุ่มของคุณเพื่อนำเข้าสมาชิก
7. Choose สร้างทีมโครงการ.
   

คุณสามารถเพิ่มสมาชิกในทีมหลังจากสร้างทีมโครงการโดยเลือก เชิญสมาชิกใหม่ บน สมาชิก หน้าคอนโซล Ground Truth Plus

สร้างแบทช์

หลังจากที่คุณส่งคำขอโครงการและสร้างทีมโครงการเรียบร้อยแล้ว คุณจะสามารถเข้าถึงพอร์ทัลโครงการ Ground Truth Plus ได้โดยการคลิก เปิดพอร์ทัลโครงการ บนคอนโซล Ground Truth Plus

คุณสามารถใช้พอร์ทัลโครงการเพื่อสร้างชุดงานสำหรับโครงการได้ แต่หลังจากสถานะของโครงการเปลี่ยนเป็น Request approved.

1. ดูรายละเอียดและแบทช์ของโครงการโดยเลือกชื่อโครงการ
   หน้าที่มีชื่อโครงการจะเปิดขึ้น
2. ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร แบทช์ ส่วนเลือก สร้างแบทช์.
   
3. ป้อนชื่อแบทช์และคำอธิบายเพิ่มเติม
4. ป้อนตำแหน่ง S3 ของชุดข้อมูลอินพุตและเอาต์พุต

คุณต้องปฏิบัติตามข้อกำหนดต่อไปนี้:

4. • ควรมีบัคเก็ต S3 และคำนำหน้า และจำนวนไฟล์ทั้งหมดควรมากกว่า 0
   • จำนวนวัตถุทั้งหมดควรน้อยกว่า 10,000
   • ขนาดของแต่ละวัตถุควรน้อยกว่า 2 GB
   • ขนาดรวมของวัตถุทั้งหมดรวมกันน้อยกว่า 100 GB
   • บทบาท IAM ที่จัดเตรียมไว้เพื่อสร้างโปรเจ็กต์มีสิทธิ์เข้าถึงที่เก็บข้อมูลอินพุต ที่เก็บข้อมูลเอาต์พุต และไฟล์ S3 ที่ใช้สร้างแบตช์
   • ไฟล์ภายใต้ตำแหน่ง S3 ที่ให้ไว้สำหรับชุดข้อมูลอินพุตไม่ควรเข้ารหัสโดย บริการจัดการคีย์ AWS (AWS KMS)
5. Choose ส่ง.

สถานะแบทช์ของคุณจะแสดงเป็น Request submitted. หลังจากที่ Ground Truth Plus เข้าถึงข้อมูลของคุณได้ชั่วคราว ผู้เชี่ยวชาญของ AWS จะตั้งค่าเวิร์กโฟลว์การติดฉลากข้อมูลและดำเนินการในนามของคุณ ซึ่งจะเปลี่ยนสถานะแบทช์เป็น In-progress. เมื่อการติดฉลากเสร็จสมบูรณ์ สถานะแบทช์จะเปลี่ยนจาก In-progress ไปยัง Ready for review. หากคุณต้องการตรวจสอบฉลากของคุณก่อนรับฉลาก ให้เลือก ตรวจสอบชุด จากนั้นคุณมีตัวเลือกให้เลือก ยอมรับแบทช์ เพื่อรับข้อมูลที่มีป้ายกำกับของคุณ

สรุป

โพสต์นี้แสดงให้คุณเห็นว่าผู้ใช้ Ground Truth Plus หลายคนสามารถสร้างโครงการและแบทช์ใหม่ แชร์ข้อมูล และรับข้อมูลโดยใช้บัญชี AWS เดียวกันผ่านอินเทอร์เฟซแบบบริการตนเองใหม่ได้อย่างไร ความสามารถใหม่นี้ช่วยให้คุณเริ่มต้นโครงการติดฉลากได้เร็วขึ้นและลดค่าใช้จ่ายในการดำเนินงาน นอกจากนี้ เรายังแสดงวิธีที่คุณสามารถควบคุมการเข้าถึงข้อมูลแบบละเอียดโดยกำหนดขอบเขตการอนุญาตตามบทบาท IAM ของคุณให้ตรงกับระดับการเข้าถึงส่วนบุคคลของคุณ

เราขอแนะนำให้คุณลองใช้ฟังก์ชันใหม่นี้ และเชื่อมต่อกับ การเรียนรู้ของเครื่องและชุมชน AI หากคุณมีคำถามหรือข้อเสนอแนะ!

เกี่ยวกับผู้แต่ง

มานิช โกล์ เป็นผู้จัดการผลิตภัณฑ์ของ Amazon SageMaker Ground Truth Plus เขามุ่งเน้นที่การสร้างผลิตภัณฑ์ที่ช่วยให้ลูกค้านำแมชชีนเลิร์นนิงมาใช้ได้ง่ายขึ้น ในเวลาว่าง เขาชอบเดินทางท่องเที่ยวและอ่านหนังสือ

การ์ทิก กันดูรี เป็นวิศวกรพัฒนาซอฟต์แวร์ที่ Amazon AWS ซึ่งเขาทำงานเกี่ยวกับการสร้างเครื่องมือ ML สำหรับลูกค้าและโซลูชันภายใน นอกเวลางานเขาชอบคลิกรูปภาพ  

จูหลิงไป๋ เป็นวิศวกรพัฒนาซอฟต์แวร์ที่ Amazon AWS เธอทำงานเกี่ยวกับการพัฒนาระบบกระจายขนาดใหญ่เพื่อแก้ปัญหาการเรียนรู้ของเครื่อง

อาเตฟ บารานซี่ เป็นวิศวกรส่วนหน้าของ Amazon AWS เขาเขียนซอฟต์แวร์ที่รวดเร็ว เชื่อถือได้ และผ่านการทดสอบอย่างละเอียดถี่ถ้วนเพื่อดูแลและขยายแอปพลิเคชัน AI ที่ทันสมัยที่สุดในอุตสาหกรรม

โมฮัมหมัดอัดนาน เป็นวิศวกรอาวุโสสำหรับ AI และ ML ที่ AWS เขาเป็นส่วนหนึ่งของการเปิดตัวบริการต่างๆ ของ AWS โดยเฉพาะอย่างยิ่ง Amazon Lookout for Metrics และ AWS Panorama ปัจจุบัน เขากำลังมุ่งเน้นไปที่ข้อเสนอแบบมนุษย์ในลูปของ AWS (Ground Truth ของ AWS SageMaker, Ground Truth Plus และ Augmented AI) เขาเป็นผู้สนับสนุนโค้ดที่สะอาดและเป็นผู้เชี่ยวชาญเฉพาะเรื่องเกี่ยวกับสถาปัตยกรรมที่ไม่ใช้เซิร์ฟเวอร์และขับเคลื่อนด้วยเหตุการณ์ คุณสามารถติดตามเขาได้ที่ LinkedIn, mohammad-adnan-6a99a829