Saate kiiremini tootmistaseme andmeteni jõuda, kasutades uusi sisseehitatud liideseid rakendusega Amazon SageMaker Ground Truth Plus

Käivitatud AWS-is re:Invent 2021, Amazon SageMaker Ground Truth Plus aitab teil luua kvaliteetseid koolitusandmekogumeid, eemaldades andmete märgistamise rakenduste ehitamise ja märgistamise tööjõu haldamisega seotud eristamata raskete raskuste. Kõik, mida saate teha, on andmete jagamine koos märgistamisnõuetega ning Ground Truth Plus seadistab ja haldab teie andmete märgistamise töövoogu nende nõuete alusel. Sealt edasi märgistab teie andmeid asjatundlik tööjõud, kes on koolitatud mitmesuguste masinõppe (ML) ülesannete jaoks. Ground Truth Plusi kasutamiseks ei vaja te isegi sügavaid ML-teadmisi ega teadmisi töövoo kujundamise ja kvaliteedijuhtimise kohta.

Täna teatame rõõmuga Ground Truth Plusi uute sisseehitatud liideste käivitamisest. Selle uue võimalusega saavad mitu Ground Truth Plusi kasutajat nüüd luua uue projekt ja partii, jagada andmeid ja saada andmeid sama AWS-i konto kaudu iseteenindusliideste kaudu. See võimaldab teil kiirendada kvaliteetsete koolitusandmete kogumite väljatöötamist, vähendades projekti seadistamise aega. Lisaks saate kontrollida täpset juurdepääsu oma andmetele, määrates oma ulatuse AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolliload, mis vastavad teie individuaalsele tasemele Amazoni lihtne salvestusteenus (Amazon S3) juurdepääsu ja teil on alati võimalus teatud ämbritele juurdepääs tühistada.

Seni pidite uue andmemärgistuse loomiseks ühendust võtma oma Ground Truth Plusi operatsiooniprogrammi halduriga (OPM). projektid ja partiid. Sellel protsessil olid mõned piirangud, kuna see võimaldas ainult ühel kasutajal taotleda uut projekti ja paketti – kui organisatsioonis kasutasid sama AWS-i kontot mitu kasutajat, sai ainult üks kasutaja taotleda uut andmete märgistamise projekti ja paketti, kasutades Ground Truth Plusi. konsool. Lisaks tekitas protsess märgistamisprotsessi käivitamisel kunstlikke viivitusi mitme käsitsi puutepunkti ja probleemide korral vajaliku tõrkeotsingu tõttu. Eraldi kasutasid kõik projektid andmetele juurdepääsuks sama IAM-i rolli. Seetõttu pidite projektide ja partiide käitamiseks, mis vajasid juurdepääsu erinevatele andmeallikatele, näiteks erinevatele Amazon S3 ämbritele, toetuma oma Ground Truth Plus OPM-ile, et pakkuda oma kontole spetsiifilised S3 poliitikad, mida pidite oma S3 ämbritele käsitsi rakendama. Kogu see operatsioon oli käsitsi intensiivne, mis põhjustas käitamise üldkulusid.

See postitus juhendab teid uute iseteenindusliideste abil uue projekti loomiseks ja komplekteerimiseks, andmete jagamiseks ja andmete vastuvõtmiseks, et märgistamisprotsessi tõhusalt käivitada. See postitus eeldab, et olete Ground Truth Plusiga tuttav. Lisateabe saamiseks vt Amazon SageMaker Ground Truth Plus – looge koolitusandmekogumeid ilma koodita või ettevõttesiseste ressurssideta.

Lahenduse ülevaade

Näitame, kuidas teha järgmist.

• Uuenda olemasolevaid projekte
• Taotlege uut projekti
• Moodusta projektimeeskond
• Loo partii

Eeldused

Enne alustamist veenduge, et teil on järgmised eeltingimused.

• An AWS-i konto
• IAM-i kasutaja, kellel on juurdepääs IAM-rollide loomiseks
• . Amazon S3 URI ämbrist, kus teie märgistusobjekte hoitakse

Uuenda olemasolevaid projekte

Kui teil on Ground Truth Plus projekt enne selles postituses kirjeldatud uute funktsioonide käivitamist (9. detsember 2022), peate looma IAM-i rolli ja jagama seda, et saaksite neid funktsioone oma olemasoleva Ground Truth Plusi projektiga kasutada. . Kui olete Ground Truth Plusi uus kasutaja, võite selle jaotise vahele jätta.

IAM-rolli loomiseks toimige järgmiselt.

1. Valige IAM-konsoolil Loo roll.
2. valima Kohandatud usalduspoliitika.
3. Määrake rolli jaoks järgmine usaldussuhe:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Vali järgmine.
5. Vali Loo poliitika.
6. Määrake vahekaardil JSON järgmine reegel. Värskendage ressursi atribuuti, määrates iga ämbri jaoks kaks kirjet: üks ainult ämbriga ARN ja teine ​​ämbriga ARN, millele järgneb /*. Näiteks asendada koos arn:aws:s3:::my-bucket/myprefix/ ja /* koos arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Vali Järgmine: sildid ja Järgmine: ülevaade.
8. Sisestage poliitika nimi ja valikuline kirjeldus.
9. Vali Loo poliitika.
10. Sulgege see vahekaart ja minge tagasi eelmisele vahekaardile, et luua oma roll.

Vahekaardil Lisa õigused peaksite nägema uut loodud reeglit (kui te seda ei näe, värskendage lehte).

11. Valige vastloodud poliitika ja valige järgmine.
12. Sisestage nimi (näiteks GTPlusExecutionRole) ja soovi korral rolli kirjeldus.
13. Vali Loo roll.
14. Andke roll ARN oma Ground Truth Plus OPM-ile, kes seejärel värskendab teie olemasolevat projekti selle vastloodud rolliga.

Taotlege uut projekti

Uue projekti taotlemiseks toimige järgmiselt.

1. Kohta Ground Truth Plus konsool, navigeerige Projektid sektsiooni.

Siin on loetletud kõik teie projektid.

2. Vali Taotlege projekti.

. Taotlege projekti leht on teie võimalus esitada üksikasju, mis aitavad meil planeerida esialgse konsultatsioonikõne ja seadistada teie projekti.

3. Lisaks üldise teabe (nt projekti nimi ja kirjeldus) määramisele peate määrama projekti ülesande tüübi ja selle, kas see sisaldab isikut tuvastavat teavet (PII).

Teie andmete märgistamiseks vajab Ground Truth Plus ajutist juurdepääsu teie toorandmetele S3 ämbris. Kui märgistamisprotsess on lõppenud, saadab Ground Truth Plus märgistusväljundi tagasi teie S3 ämbrisse. Seda tehakse IAM-i rolli kaudu. Saate luua uue rolli või navigeerida uue rolli loomiseks IAM-konsooli (juhiste saamiseks vaadake eelmist jaotist).

4. Kui otsustate rolli luua, valige Sisestage kohandatud IAM-i roll ARN ja sisestage oma IAM-i roll ARN, mis on vormingus arn:aws:iam:::role/.
5. Sisseehitatud tööriista kasutamiseks allolevas rippmenüüs IAM-i roll, vali Loo uus roll.
6. Määrake oma sildistamisandmete salve asukoht. Kui te ei tea oma märgistusandmete asukohta või kui te pole märgistusandmeid üles laadinud, valige Igasugune S3 kopp, mis annab Ground Truth Plusile juurdepääsu kõigile teie konto ämbritele.
7. Vali Looma rolli loomiseks.

Teie IAM-i roll võimaldab Ground Truth Plusi, identifitseeritud kui sagemaker-ground-truth-plus.amazonaws.com rollis usalduspoliitika, et käivitada S3 ämbritega järgmised toimingud.

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Vali Taotlege projekti taotluse täitmiseks.

Ground Truth Plus OPM korraldab teiega esialgse konsultatsioonikõne, et arutada teie andmesildiprojekti nõudeid ja hindu.

Moodusta projektimeeskond

Pärast projekti taotlemist peate oma projektiportaali sisselogimiseks looma projektimeeskonna. Projektimeeskond pakub juurdepääsu teie organisatsiooni või meeskonna liikmetele projektide jälgimiseks, mõõdikute vaatamiseks ja siltide ülevaatamiseks. Saate kasutada valikut Kutsuge uusi liikmeid meili teel or Importige liikmeid olemasolevatest Amazon Cognito kasutajarühmad. Selles postituses näitame, kuidas importida liikmeid olemasolevatest Amazon Cognito kasutajarühmad, et lisada kasutajaid oma projektimeeskonda.

1. Kohta Ground Truth Plus konsool, navigeerige Projekti tiim sektsiooni.
2. Vali Loo projektimeeskond.
3. Vali Importige liikmeid olemasolevatest Amazon Cognito kasutajarühmadest.
4. Valige Amazon Cognito kasutajate kogum.

Kasutajakogumid nõuavad domeeni ja olemasolevat kasutajarühma.

5. Valige rakenduse klient.

Soovitame kasutada klienti, mille on genereerinud Amazon SageMaker.

6. Valige oma basseinist kasutajarühm, et liikmeid importida.
7. Vali Loo projektimeeskond.
   

Valides saate pärast projektimeeskonna loomist lisada rohkem meeskonnaliikmeid Kutsu uusi liikmeid kohta liikmed Ground Truth Plus konsooli leht.

Loo partii

Pärast projektitaotluse edukat esitamist ja projektimeeskonna loomist pääsete Ground Truth Plusi projektiportaali juurde, klõpsates nuppu Ava projektiportaal konsoolil Ground Truth Plus.

Saate kasutada projektiportaali projekti jaoks partiide loomiseks, kuid alles pärast seda, kui projekti olek on muutunud Request approved.

1. Vaadake projekti üksikasju ja partiisid, valides projekti nime.
   Avaneb leht projekti nimega.
2. aasta Partiid Valige jaotises Loo partii.
   
3. Sisestage partii nimi ja valikuline kirjeldus.
4. Sisestage sisend- ja väljundandmekogumite S3 asukohad.

Partii eduka loomise tagamiseks peate vastama järgmistele nõuetele.

4. • S3-salv ja eesliide peaksid olemas olema ning failide koguarv peaks olema suurem kui 0
   • Objektide koguarv peaks olema alla 10,000 XNUMX
   • Iga objekti suurus peaks olema väiksem kui 2 GB
   • Kõikide objektide kogumaht kokku on alla 100 GB
   • Projekti loomiseks antud IAM-i rollil on luba juurdepääsuks sisestussalbale, väljundsalbale ja S3-failidele, mida kasutatakse partii loomiseks
   • Sisendandmekogumite S3-asukohas olevaid faile ei tohiks krüptida AWS-i võtmehaldusteenus (AWS KMS)
5. Vali LIITU.

Teie partii olek kuvatakse kujul Request submitted. Kui Ground Truth Plusil on ajutine juurdepääs teie andmetele, seadistavad AWS-i eksperdid andmete sildistamise töövood ja käitavad neid teie nimel, mis muudab partii olekuks In-progress. Kui märgistamine on lõppenud, muutub partii olek In-progress et Ready for review. Kui soovite oma sildid enne siltide saamist üle vaadata, valige Vaata partii üle. Sealt on teil võimalus valida Aktsepteeri partii märgistatud andmete saamiseks.

Järeldus

See postitus näitas teile, kuidas mitu Ground Truth Plusi kasutajat saavad nüüd luua uue projekti ja pakkida, jagada andmeid ja saada andmeid sama AWS-i konto kaudu uute iseteenindusliideste kaudu. See uus võimalus võimaldab teil märgistamisprojekte kiiremini käivitada ja vähendab töökulusid. Samuti näitasime, kuidas saate kontrollida täpset juurdepääsu andmetele, määrates oma IAM-i rolliõigused vastavalt teie individuaalsele juurdepääsutasemele.

Soovitame teil seda uut funktsiooni proovida ja luua ühenduse Masinõppe ja AI kogukond kui teil on küsimusi või tagasisidet!

Autoritest

Manish Goel on Amazon SageMaker Ground Truth Plusi tootejuht. Ta on keskendunud selliste toodete loomisele, mis muudavad klientide jaoks masinõppe kasutuselevõtu lihtsamaks. Vabal ajal naudib ta autoreise ja raamatute lugemist.

Karthik Ganduri on Amazon AWS-i tarkvaraarenduse insener, kus ta töötab klientidele mõeldud ML-tööriistade ja sisemiste lahenduste loomisega. Töövälisel ajal meeldib talle pilte klõpsida.  

Zhuling Bai on Amazon AWS-i tarkvaraarenduse insener. Ta töötab masinõppe probleemide lahendamiseks suuremahuliste hajutatud süsteemide väljatöötamisega.

Aatef Baransy on Amazon AWS-i Frontendi insener. Ta kirjutab kiiret, usaldusväärset ja põhjalikult testitud tarkvara, et arendada ja arendada valdkonna tipptasemel tehisintellekti rakendusi.

Mohammad Adnan on AWS-i AI ja ML vaneminsener. Ta oli osa paljudest AWS-i teenuste käivitamisest, eriti Amazon Lookout for Metrics ja AWS Panorama. Praegu keskendub ta AWS-i inim-in-the-loop pakkumistele (AWS SageMaker's Ground true, Ground true plus ja Augmented AI). Ta on puhta koodi eestkõneleja ja serverivaba ja sündmustepõhise arhitektuuri teemade ekspert. Saate teda jälgida LinkedInis, mohammad-adnan-6a99a829.