Φτάστε σε δεδομένα ποιότητας παραγωγής πιο γρήγορα χρησιμοποιώντας νέες ενσωματωμένες διεπαφές με το Amazon SageMaker Ground Truth Plus

Κυκλοφόρησε στο AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus σας βοηθά να δημιουργήσετε σύνολα δεδομένων εκπαίδευσης υψηλής ποιότητας, καταργώντας την αδιαφοροποίητη βαριά ανύψωση που σχετίζεται με την κατασκευή εφαρμογών σήμανσης δεδομένων και τη διαχείριση του εργατικού δυναμικού ετικετών. Το μόνο που κάνετε είναι να μοιράζεστε δεδομένα μαζί με τις απαιτήσεις επισήμανσης και το Ground Truth Plus ρυθμίζει και διαχειρίζεται τη ροή εργασιών επισήμανσης δεδομένων με βάση αυτές τις απαιτήσεις. Από εκεί, ένα εξειδικευμένο εργατικό δυναμικό που είναι εκπαιδευμένο σε μια ποικιλία εργασιών μηχανικής εκμάθησης (ML) επισημαίνει τα δεδομένα σας. Δεν χρειάζεστε καν βαθιά τεχνογνωσία ML ή γνώση σχεδιασμού ροής εργασιών και διαχείρισης ποιότητας για να χρησιμοποιήσετε το Ground Truth Plus.

Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε την κυκλοφορία νέων ενσωματωμένων διεπαφών στο Ground Truth Plus. Με αυτή τη νέα δυνατότητα, πολλοί χρήστες του Ground Truth Plus μπορούν πλέον να δημιουργήσουν ένα νέο σχέδιο και  σύνολο παραγωγής, κοινή χρήση δεδομένων και λήψη δεδομένων χρησιμοποιώντας τον ίδιο λογαριασμό AWS μέσω διεπαφών αυτοεξυπηρέτησης. Αυτό σας δίνει τη δυνατότητα να επιταχύνετε την ανάπτυξη συνόλων δεδομένων εκπαίδευσης υψηλής ποιότητας μειώνοντας τον χρόνο εγκατάστασης του έργου. Επιπλέον, μπορείτε να ελέγξετε την ακριβή πρόσβαση στα δεδομένα σας, προσδιορίζοντας το εύρος σας Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) δικαιώματα ρόλου που ταιριάζουν με το ατομικό σας επίπεδο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) πρόσβαση και έχετε πάντα την επιλογή να ανακαλέσετε την πρόσβαση σε συγκεκριμένους κάδους.

Μέχρι τώρα, έπρεπε να απευθυνθείτε στον διαχειριστή του προγράμματος λειτουργίας Ground Truth Plus (OPM) για να δημιουργήσετε νέα επισήμανση δεδομένων έργα και παρτίδες. Αυτή η διαδικασία είχε ορισμένους περιορισμούς επειδή επέτρεπε μόνο σε έναν χρήστη να ζητήσει νέο έργο και παρτίδα—αν πολλοί χρήστες εντός του οργανισμού χρησιμοποιούσαν τον ίδιο λογαριασμό AWS, τότε μόνο ένας χρήστης θα μπορούσε να ζητήσει ένα νέο έργο επισήμανσης δεδομένων και μια παρτίδα χρησιμοποιώντας το Ground Truth Plus κονσόλα. Επιπλέον, η διαδικασία δημιούργησε τεχνητές καθυστερήσεις στην έναρξη της διαδικασίας επισήμανσης λόγω πολλαπλών χειροκίνητων σημείων επαφής και αντιμετώπισης προβλημάτων που απαιτούνται σε περίπτωση προβλημάτων. Ξεχωριστά, όλα τα έργα χρησιμοποιούσαν τον ίδιο ρόλο IAM για την πρόσβαση σε δεδομένα. Επομένως, για να εκτελέσετε έργα και παρτίδες που χρειάζονταν πρόσβαση σε διαφορετικές πηγές δεδομένων, όπως διαφορετικούς κάδους Amazon S3, έπρεπε να βασιστείτε στο Ground Truth Plus OPM για να παρέχετε συγκεκριμένες πολιτικές S3 του λογαριασμού σας, τις οποίες έπρεπε να εφαρμόσετε μη αυτόματα στους κάδους S3. Όλη αυτή η λειτουργία ήταν χειροκίνητη εντατική με αποτέλεσμα λειτουργικά γενικά έξοδα.

Αυτή η ανάρτηση σάς καθοδηγεί στα βήματα για τη δημιουργία ενός νέου έργου και ομαδικής, κοινής χρήσης δεδομένων και λήψης δεδομένων χρησιμοποιώντας τις νέες διεπαφές αυτοεξυπηρέτησης για να ξεκινήσετε αποτελεσματικά τη διαδικασία επισήμανσης. Αυτή η ανάρτηση προϋποθέτει ότι είστε εξοικειωμένοι με το Ground Truth Plus. Για περισσότερες πληροφορίες, βλ Amazon SageMaker Ground Truth Plus – Δημιουργία συνόλων δεδομένων εκπαίδευσης χωρίς κώδικα ή εσωτερικούς πόρους.

Επισκόπηση λύσεων

Δείχνουμε πώς να κάνετε τα εξής:

• Ενημέρωση υφιστάμενων έργων
• Ζητήστε ένα νέο έργο
• Δημιουργήστε μια ομάδα έργου
• Δημιουργήστε μια παρτίδα

Προϋποθέσεις

Πριν ξεκινήσετε, βεβαιωθείτε ότι έχετε τις ακόλουθες προϋποθέσεις:

• An Λογαριασμός AWS
• Ένας χρήστης IAM με πρόσβαση για τη δημιουργία ρόλων IAM
• Η Amazon S3 URI του κάδου όπου αποθηκεύονται τα αντικείμενα ετικετών σας

Ενημέρωση υφιστάμενων έργων

Εάν έχετε ένα έργο Ground Truth Plus πριν από την κυκλοφορία (9 Δεκεμβρίου 2022) των νέων λειτουργιών που περιγράφονται σε αυτήν την ανάρτηση, τότε πρέπει να δημιουργήσετε και να μοιραστείτε έναν ρόλο IAM, ώστε να μπορείτε να χρησιμοποιήσετε αυτές τις δυνατότητες με το υπάρχον έργο σας Ground Truth Plus . Εάν είστε νέος χρήστης του Ground Truth Plus, μπορείτε να παραλείψετε αυτήν την ενότητα.

Για να δημιουργήσετε έναν ρόλο IAM, ολοκληρώστε τα ακόλουθα βήματα:

1. Στην κονσόλα IAM, επιλέξτε Δημιουργήστε ρόλο.
2. Αγορά Προσαρμοσμένη πολιτική εμπιστοσύνης.
3. Καθορίστε την ακόλουθη σχέση εμπιστοσύνης για το ρόλο:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Επιλέξτε Επόμενο.
5. Επιλέξτε Δημιουργήστε πολιτική.
6. Στην καρτέλα JSON, καθορίστε την ακόλουθη πολιτική. Ενημερώστε την ιδιότητα Resource καθορίζοντας δύο καταχωρήσεις για κάθε κάδο: μία με μόνο τον κάδο ARN και μία άλλη με τον κάδο ARN ακολουθούμενη από /*. Για παράδειγμα, αντικαταστήστε με arn:aws:s3:::my-bucket/myprefix/ και /* με arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Επιλέξτε Επόμενο: Ετικέτες και Επόμενο: Ανασκόπηση.
8. Εισαγάγετε το όνομα της πολιτικής και μια προαιρετική περιγραφή.
9. Επιλέξτε Δημιουργήστε πολιτική.
10. Κλείστε αυτήν την καρτέλα και επιστρέψτε στην προηγούμενη καρτέλα για να δημιουργήσετε τον ρόλο σας.

Στην καρτέλα Προσθήκη δικαιωμάτων, θα πρέπει να δείτε τη νέα πολιτική που δημιουργήσατε (ανανεώστε τη σελίδα εάν δεν τη βλέπετε).

11. Επιλέξτε την πολιτική που δημιουργήθηκε πρόσφατα και επιλέξτε Επόμενο.
12. Εισαγάγετε ένα όνομα (για παράδειγμα, GTPlusExecutionRole) και προαιρετικά περιγραφή του ρόλου.
13. Επιλέξτε Δημιουργήστε ρόλο.
14. Δώστε τον ρόλο ARN στο Ground Truth Plus OPM, ο οποίος στη συνέχεια θα ενημερώσει το υπάρχον έργο σας με αυτόν τον ρόλο που δημιουργήθηκε πρόσφατα.

Ζητήστε ένα νέο έργο

Για να ζητήσετε ένα νέο έργο, ολοκληρώστε τα παρακάτω βήματα:

1. Στις Κονσόλα Ground Truth Plus, μεταβείτε στο Έργα τμήμα.

Εδώ αναφέρονται όλα τα έργα σας.

2. Επιλέξτε Αίτημα έργου.

Η Αίτημα έργου Η σελίδα είναι η ευκαιρία σας να παρέχετε λεπτομέρειες που θα μας βοηθήσουν να προγραμματίσουμε μια αρχική κλήση διαβούλευσης και να ρυθμίσουμε το έργο σας.

3. Εκτός από τον καθορισμό γενικών πληροφοριών, όπως το όνομα και την περιγραφή του έργου, πρέπει να καθορίσετε τον τύπο εργασίας του έργου και εάν περιέχει στοιχεία προσωπικής ταυτοποίησης (PII).

Για την επισήμανση των δεδομένων σας, το Ground Truth Plus χρειάζεται προσωρινή πρόσβαση στα ακατέργαστα δεδομένα σας σε έναν κάδο S3. Όταν ολοκληρωθεί η διαδικασία επισήμανσης, το Ground Truth Plus παραδίδει την έξοδο σήμανσης πίσω στον κάδο S3 σας. Αυτό γίνεται μέσω ενός ρόλου IAM. Μπορείτε είτε να δημιουργήσετε έναν νέο ρόλο είτε μπορείτε να πλοηγηθείτε στην κονσόλα IAM για να δημιουργήσετε έναν νέο ρόλο (ανατρέξτε στην προηγούμενη ενότητα για οδηγίες).

4. Εάν επιλέξετε να δημιουργήσετε έναν ρόλο, επιλέξτε Εισαγάγετε έναν προσαρμοσμένο ρόλο IAM ARN και εισαγάγετε τον ρόλο IAM ARN, ο οποίος έχει τη μορφή arn:aws:iam:::role/.
5. Για να χρησιμοποιήσετε το ενσωματωμένο εργαλείο, στο αναπτυσσόμενο μενού κάτω Ρόλος IAM, επιλέξτε Δημιουργήστε ένα νέο ρόλο.
6. Καθορίστε τη θέση του κάδου των δεδομένων ετικετών σας. Εάν δεν γνωρίζετε την τοποθεσία των δεδομένων επισήμανσης ή εάν δεν έχετε μεταφορτώσει δεδομένα ετικετών, επιλέξτε Οποιοσδήποτε κάδος S3, το οποίο θα δώσει στο Ground Truth Plus πρόσβαση σε όλους τους κάδους του λογαριασμού σας.
7. Επιλέξτε Δημιουργία για τη δημιουργία του ρόλου.

Ο ρόλος σας στο IAM θα ​​επιτρέψει το Ground Truth Plus, που προσδιορίζεται ως sagemaker-ground-truth-plus.amazonaws.com στον ρόλο πολιτική εμπιστοσύνης, για να εκτελέσετε τις ακόλουθες ενέργειες στους κάδους S3 σας:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Επιλέξτε Αίτημα έργου για να ολοκληρώσετε το αίτημα.

Η Ground Truth Plus OPM θα προγραμματίσει μια αρχική κλήση διαβούλευσης μαζί σας για να συζητήσει τις απαιτήσεις του έργου επισήμανσης δεδομένων και την τιμολόγηση.

Δημιουργήστε μια ομάδα έργου

Αφού ζητήσετε ένα έργο, πρέπει να δημιουργήσετε μια ομάδα έργου για να συνδεθείτε στην πύλη του έργου σας. Μια ομάδα έργου παρέχει πρόσβαση στα μέλη από τον οργανισμό ή την ομάδα σας για παρακολούθηση έργων, προβολή μετρήσεων και έλεγχο ετικετών. Μπορείτε να χρησιμοποιήσετε την επιλογή Προσκαλέστε νέα μέλη μέσω email or Εισαγωγή μελών από υπάρχοντα Amazon Cognito ομάδες χρηστών. Σε αυτήν την ανάρτηση, δείχνουμε πώς να εισάγετε μέλη από τα υπάρχοντα Amazon Cognito ομάδες χρηστών για να προσθέσετε χρήστες στην ομάδα του έργου σας.

1. Στις Κονσόλα Ground Truth Plus, μεταβείτε στο Ομάδα έργου τμήμα.
2. Επιλέξτε Δημιουργία ομάδας έργου.
3. Επιλέξτε Εισαγάγετε μέλη από υπάρχουσες ομάδες χρηστών Amazon Cognito.
4. Επιλέξτε μια ομάδα χρηστών Amazon Cognito.

Οι ομάδες χρηστών απαιτούν έναν τομέα και μια υπάρχουσα ομάδα χρηστών.

5. Επιλέξτε ένα πρόγραμμα-πελάτη εφαρμογής.

Συνιστούμε να χρησιμοποιήσετε έναν πελάτη που δημιουργήθηκε από Amazon Sage Maker.

6. Επιλέξτε μια ομάδα χρηστών από την ομάδα σας για εισαγωγή μελών.
7. Επιλέξτε Δημιουργία ομάδας έργου.
   

Μπορείτε να προσθέσετε περισσότερα μέλη της ομάδας αφού δημιουργήσετε την ομάδα έργου επιλέγοντας Προσκαλέστε νέα μέλη σχετικά με την Μέλη σελίδα της κονσόλας Ground Truth Plus.

Δημιουργήστε μια παρτίδα

Αφού υποβάλετε επιτυχώς το αίτημα έργου και δημιουργήσετε μια ομάδα έργου, μπορείτε να αποκτήσετε πρόσβαση στην πύλη έργου Ground Truth Plus κάνοντας κλικ Ανοίξτε την πύλη έργου στην κονσόλα Ground Truth Plus.

Μπορείτε να χρησιμοποιήσετε την πύλη έργου για να δημιουργήσετε παρτίδες για ένα έργο, αλλά μόνο αφού αλλάξει η κατάσταση του έργου σε Request approved.

1. Δείτε τις λεπτομέρειες και τις παρτίδες ενός έργου επιλέγοντας το όνομα του έργου.
   Ανοίγει μια σελίδα με τίτλο με το όνομα του έργου.
2. Στο Παρτίδες τμήμα, επιλέξτε Δημιουργία παρτίδας.
   
3. Εισαγάγετε ένα όνομα παρτίδας και προαιρετική περιγραφή.
4. Εισαγάγετε τις θέσεις S3 των συνόλων δεδομένων εισόδου και εξόδου.

Για να διασφαλίσετε ότι η παρτίδα δημιουργήθηκε με επιτυχία, πρέπει να πληροίτε τις ακόλουθες απαιτήσεις:

4. • Ο κάδος και το πρόθεμα S3 θα πρέπει να υπάρχουν και ο συνολικός αριθμός αρχείων πρέπει να είναι μεγαλύτερος από 0
   • Ο συνολικός αριθμός αντικειμένων πρέπει να είναι μικρότερος από 10,000
   • Το μέγεθος κάθε αντικειμένου πρέπει να είναι μικρότερο από 2 GB
   • Το συνολικό μέγεθος όλων των αντικειμένων σε συνδυασμό είναι μικρότερο από 100 GB
   • Ο ρόλος IAM που παρέχεται για τη δημιουργία ενός έργου έχει άδεια πρόσβασης στον κάδο εισόδου, τον κάδο εξόδου και τα αρχεία S3 που χρησιμοποιούνται για τη δημιουργία της παρτίδας
   • Τα αρχεία κάτω από την παρεχόμενη θέση S3 για τα σύνολα δεδομένων εισόδου δεν πρέπει να κρυπτογραφούνται από Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS)
5. Επιλέξτε Υποβολη.

Η κατάσταση της παρτίδας σας θα εμφανίζεται ως Request submitted. Αφού το Ground Truth Plus αποκτήσει προσωρινή πρόσβαση στα δεδομένα σας, οι ειδικοί της AWS θα ρυθμίσουν ροές εργασιών για την επισήμανση δεδομένων και θα τις λειτουργήσουν για λογαριασμό σας, κάτι που θα αλλάξει την κατάσταση παρτίδας σε In-progress. Όταν ολοκληρωθεί η επισήμανση, η κατάσταση παρτίδας αλλάζει από In-progress προς την Ready for review. Εάν θέλετε να ελέγξετε τις ετικέτες σας πριν λάβετε τις ετικέτες, επιλέξτε Έλεγχος παρτίδας. Από εκεί, έχετε μια επιλογή να διαλέξετε Αποδοχή παρτίδας για να λάβετε τα δεδομένα σας με ετικέτα.

Συμπέρασμα

Αυτή η ανάρτηση σάς έδειξε πώς πολλοί χρήστες του Ground Truth Plus μπορούν τώρα να δημιουργήσουν ένα νέο έργο και να ομαδοποιήσουν, να μοιράζονται δεδομένα και να λαμβάνουν δεδομένα χρησιμοποιώντας τον ίδιο λογαριασμό AWS μέσω νέων διεπαφών αυτοεξυπηρέτησης. Αυτή η νέα δυνατότητα σάς επιτρέπει να ξεκινήσετε πιο γρήγορα τα έργα επισήμανσης και μειώνει τα λειτουργικά έξοδα. Επίσης, δείξαμε πώς μπορείτε να ελέγξετε τη λεπτομερή πρόσβαση στα δεδομένα, προσδιορίζοντας το πεδίο των αδειών ρόλων IAM ώστε να ταιριάζουν με το ατομικό επίπεδο πρόσβασής σας.

Σας ενθαρρύνουμε να δοκιμάσετε αυτή τη νέα λειτουργία και να συνδεθείτε με το Κοινότητα Machine Learning & AI αν έχετε οποιεσδήποτε ερωτήσεις ή σχόλια!

Σχετικά με τους συγγραφείς

Manish Goel είναι ο Product Manager για το Amazon SageMaker Ground Truth Plus. Επικεντρώνεται στην κατασκευή προϊόντων που διευκολύνουν τους πελάτες να υιοθετήσουν τη μηχανική μάθηση. Στον ελεύθερο χρόνο του, του αρέσουν οι οδικές εκδρομές και η ανάγνωση βιβλίων.

Karthik Ganduri είναι Μηχανικός Ανάπτυξης Λογισμικού στο Amazon AWS, όπου εργάζεται στην κατασκευή εργαλείων ML για πελάτες και εσωτερικών λύσεων. Εκτός δουλειάς, του αρέσει να κάνει κλικ στις φωτογραφίες.  

Ζουλίνγκ Μπάι είναι Μηχανικός Ανάπτυξης Λογισμικού στο Amazon AWS. Εργάζεται στην ανάπτυξη κατανεμημένων συστημάτων μεγάλης κλίμακας για την επίλυση προβλημάτων μηχανικής μάθησης.

Aatef Baransy είναι μηχανικός Frontend στο Amazon AWS. Γράφει γρήγορο, αξιόπιστο και διεξοδικά ελεγμένο λογισμικό για να καλλιεργήσει και να αναπτύξει τις πιο προηγμένες εφαρμογές τεχνητής νοημοσύνης του κλάδου.

Μοχάμεντ Αντνάν είναι Senior Engineer for AI και ML στο AWS. Συμμετείχε σε πολλές εκδόσεις υπηρεσιών AWS, ιδίως στο Amazon Lookout for Metrics και στο AWS Panorama. Επί του παρόντος, εστιάζει στις προσφορές AWS human-in-the-loop (AWS SageMaker's Ground true, Ground true plus και Augmented AI). Είναι υπέρμαχος καθαρού κώδικα και ειδικός σε θέματα σχετικά με την αρχιτεκτονική χωρίς διακομιστές και με γνώμονα τα συμβάντα. Μπορείτε να τον ακολουθήσετε στο LinkedIn, mohammad-adnan-6a99a829.