Z uporabo novih vgrajenih vmesnikov z Amazon SageMaker Ground Truth Plus hitreje pridite do podatkov produkcijskega razreda

Predstavljeno na AWS re:Invent 2021, Amazon SageMaker Ground Truth Plus vam pomaga ustvariti visokokakovostne nabore podatkov za usposabljanje z odstranitvijo nediferenciranega težkega dela, povezanega z gradnjo aplikacij za označevanje podatkov in upravljanjem delovne sile za označevanje. Vse, kar počnete, je, da delite podatke skupaj z zahtevami za označevanje, Ground Truth Plus pa nastavi in ​​upravlja potek dela za označevanje podatkov na podlagi teh zahtev. Od tam strokovna delovna sila, ki je usposobljena za različne naloge strojnega učenja (ML), označi vaše podatke. Za uporabo Ground Truth Plus ne potrebujete niti globokega strokovnega znanja o ML ali znanja o načrtovanju delovnega toka in upravljanju kakovosti.

Danes z veseljem napovedujemo lansiranje novih vgrajenih vmesnikov na Ground Truth Plus. S to novo zmogljivostjo lahko več uporabnikov Ground Truth Plus ustvari novo Projekt in serija, delite podatke in prejemajte podatke z uporabo istega računa AWS prek samopostrežnih vmesnikov. To vam omogoča, da pospešite razvoj visokokakovostnih podatkovnih nizov za usposabljanje, tako da skrajšate čas za nastavitev projekta. Poleg tega lahko nadzirate natančen dostop do svojih podatkov tako, da določite obseg svojega AWS upravljanje identitete in dostopa (IAM) dovoljenja za vlogo, ki ustrezajo vaši individualni ravni Preprosta storitev shranjevanja Amazon (Amazon S3) in vedno imate možnost, da prekličete dostop do določenih veder.

Do zdaj ste se morali za ustvarjanje novih oznak podatkov obrniti na vodjo operacijskega programa Ground Truth Plus (OPM). projekti in serij. Ta postopek je imel nekaj omejitev, ker je dovoljeval samo enemu uporabniku, da zahteva nov projekt in serijo – če je več uporabnikov v organizaciji uporabljalo isti račun AWS, je lahko samo en uporabnik zahteval nov projekt označevanja podatkov in serijo z uporabo Ground Truth Plus. konzola. Poleg tega je postopek povzročil umetne zamude pri začetku postopka označevanja zaradi številnih ročnih dotičnih točk in odpravljanja težav, potrebnih v primeru težav. Ločeno so vsi projekti uporabljali isto vlogo IAM za dostop do podatkov. Zato ste se morali za zagon projektov in paketov, ki so potrebovali dostop do različnih podatkovnih virov, kot so različna vedra Amazon S3, zanesti na vaš Ground Truth Plus OPM, da zagotovite posebne politike S3 za vaš račun, ki ste jih morali ročno uporabiti za vedra S3. Ta celotna operacija je bila ročno intenzivna, kar je povzročilo operativne režijske stroške.

Ta objava vas vodi skozi korake za ustvarjanje novega projekta in serije, skupno rabo podatkov in prejemanje podatkov z uporabo novih samopostrežnih vmesnikov za učinkovit zagon postopka označevanja. Ta objava predpostavlja, da poznate Ground Truth Plus. Za več informacij glejte Amazon SageMaker Ground Truth Plus – ustvarite nabore podatkov za usposabljanje brez kode ali notranjih virov.

Pregled rešitev

Pokažemo, kako narediti naslednje:

• Posodobite obstoječe projekte
• Zahtevajte nov projekt
• Ustvarite projektno skupino
• Ustvarite serijo

Predpogoji

Preden začnete, se prepričajte, da imate naslednje predpogoje:

• An AWS račun
• Uporabnik IAM z dostopom za ustvarjanje vlog IAM
• O Amazon S3 URI vedra, kjer so shranjeni vaši predmeti za označevanje

Posodobite obstoječe projekte

Če imate projekt Ground Truth Plus pred lansiranjem (9. december 2022) novih funkcij, opisanih v tej objavi, potem morate ustvariti in dati v skupno rabo vlogo IAM, da boste lahko te funkcije uporabljali s svojim obstoječim projektom Ground Truth Plus . Če ste nov uporabnik Ground Truth Plus, lahko ta razdelek preskočite.

Če želite ustvariti vlogo IAM, izvedite naslednje korake:

1. Na konzoli IAM izberite Ustvari vlogo.
2. Izberite Politika zaupanja po meri.
3. Podajte naslednje razmerje zaupanja za vlogo:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Izberite Naslednji.
5. Izberite Ustvari pravilnik.
6. Na zavihku JSON podajte naslednji pravilnik. Posodobite lastnost Vir tako, da podate dva vnosa za vsako vedro: enega samo z ARN vedra in drugega z ARN vedra, ki mu sledi /*. Na primer zamenjajte z arn:aws:s3:::my-bucket/myprefix/ in /* z arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Izberite Naprej: Oznake in Naprej: Pregled.
8. Vnesite ime pravilnika in izbirni opis.
9. Izberite Ustvari pravilnik.
10. Zaprite ta zavihek in se vrnite na prejšnji zavihek, da ustvarite svojo vlogo.

Na zavihku Dodajanje dovoljenj bi morali videti nov pravilnik, ki ste ga ustvarili (osvežite stran, če ga ne vidite).

11. Izberite novo ustvarjeno politiko in izberite Naslednji.
12. Vnesite ime (npr. GTPlusExecutionRole) in po želji opis vloge.
13. Izberite Ustvari vlogo.
14. Zagotovite vlogo ARN svojemu Ground Truth Plus OPM, ki bo nato posodobil vaš obstoječi projekt s to novo ustvarjeno vlogo.

Zahtevajte nov projekt

Če želite zahtevati nov projekt, izvedite naslednje korake:

1. o Konzola Ground Truth Plus, pojdite na projekti oddelek.

Tukaj so navedeni vsi vaši projekti.

2. Izberite Zahtevaj projekt.

O Zahtevaj projekt stran je vaša priložnost, da zagotovite podrobnosti, ki nam bodo pomagale načrtovati prvi posvetovalni klic in nastaviti vaš projekt.

3. Poleg podajanja splošnih informacij, kot sta ime in opis projekta, morate določiti vrsto naloge projekta in ali vsebuje podatke, ki omogočajo osebno identifikacijo (PII).

Za označevanje vaših podatkov potrebuje Ground Truth Plus začasen dostop do vaših neobdelanih podatkov v vedru S3. Ko je postopek označevanja končan, Ground Truth Plus dostavi izhod označevanja nazaj v vaše vedro S3. To se izvede prek vloge IAM. Ustvarite lahko novo vlogo ali pa se pomaknete do konzole IAM, da ustvarite novo vlogo (za navodila glejte prejšnji razdelek).

4. Če se odločite ustvariti vlogo, izberite Vnesite ARN po meri vloge IAM in vnesite svojo vlogo IAM ARN, ki je v formatu arn:aws:iam:::role/.
5. Če želite uporabiti vgrajeno orodje, v spustnem meniju pod Vloga IAM, izberite Ustvari novo vlogo.
6. Določite lokacijo vedra vaših podatkov za označevanje. Če ne poznate lokacije svojih podatkov za označevanje ali če nimate naloženih podatkov za označevanje, izberite Vsako vedro S3, ki bo Ground Truth Plus omogočil dostop do vseh veder vašega računa.
7. Izberite ustvarjanje ustvariti vlogo.

Vaša vloga IAM bo omogočila Ground Truth Plus, identificirano kot sagemaker-ground-truth-plus.amazonaws.com v vlogi politiko zaupanja, da izvedete naslednja dejanja na vaših vedrih S3:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Izberite Zahtevaj projekt za dokončanje zahteve.

Ground Truth Plus OPM bo načrtoval prvi posvetovalni klic z vami, da se pogovorite o zahtevah in cenah vašega projekta označevanja podatkov.

Ustvarite projektno skupino

Ko zahtevate projekt, morate ustvariti projektno skupino, da se prijavite na portal vašega projekta. Projektna skupina omogoča dostop članom iz vaše organizacije ali ekipe za sledenje projektom, ogled meritev in pregledovanje oznak. Uporabite lahko možnost Povabite nove člane po e-pošti or Uvozi člane iz obstoječih Amazon Cognito skupine uporabnikov. V tej objavi prikazujemo, kako uvoziti člane iz obstoječih Amazon Cognito skupine uporabnikov za dodajanje uporabnikov v vašo projektno skupino.

1. o Konzola Ground Truth Plus, pojdite na Projektna skupina oddelek.
2. Izberite Ustvarite projektno skupino.
3. Izberite Uvozite člane iz obstoječih skupin uporabnikov Amazon Cognito.
4. Izberite skupino uporabnikov Amazon Cognito.

Baze uporabnikov zahtevajo domeno in obstoječo skupino uporabnikov.

5. Izberite odjemalca aplikacije.

Priporočamo uporabo odjemalca, ki ga je ustvaril Amazon SageMaker.

6. Za uvoz članov izberite uporabniško skupino iz svojega nabora.
7. Izberite Ustvarite projektno skupino.
   

Ko ustvarite projektno skupino, lahko dodate več članov skupine z izbiro Povabite nove člane o člani stran konzole Ground Truth Plus.

Ustvarite serijo

Ko uspešno oddate projektno zahtevo in ustvarite projektno skupino, lahko dostopate do projektnega portala Ground Truth Plus s klikom na Odpri projektni portal na konzoli Ground Truth Plus.

Projektni portal lahko uporabite za ustvarjanje paketov za projekt, vendar šele, ko se status projekta spremeni v Request approved.

1. Oglejte si podrobnosti projekta in pakete tako, da izberete ime projekta.
   Odpre se stran z naslovom projekta.
2. v Paketi oddelek, izberite Ustvari serijo.
   
3. Vnesite ime serije in izbirni opis.
4. Vnesite lokacije S3 vhodnih in izhodnih podatkovnih nizov.

Če želite zagotoviti uspešno ustvarjanje paketa, morate izpolnjevati naslednje zahteve:

4. • Vedro in predpona S3 morata obstajati, skupno število datotek pa mora biti večje od 0
   • Skupno število objektov naj bo manjše od 10,000
   • Velikost vsakega predmeta naj bo manjša od 2 GB
   • Skupna velikost vseh objektov skupaj je manjša od 100 GB
   • Vloga IAM za ustvarjanje projekta ima dovoljenje za dostop do vhodnega vedra, izhodnega vedra in datotek S3, ki se uporabljajo za ustvarjanje paketa
   • Datotek na podani lokaciji S3 za vhodne nize podatkov ne sme šifrirati AWS Service Key Management (AWS KMS)
5. Izberite Prijave se.

Status vaše serije bo prikazan kot Request submitted. Ko ima Ground Truth Plus začasen dostop do vaših podatkov, bodo strokovnjaki AWS vzpostavili poteke dela za označevanje podatkov in jih upravljali v vašem imenu, kar bo spremenilo status serije v In-progress. Ko je označevanje končano, se status serije spremeni iz In-progress do Ready for review. Če želite pregledati svoje nalepke, preden jih prejmete, izberite Pregled serije. Od tam imate možnost izbire Sprejmi serijo za prejemanje vaših označenih podatkov.

zaključek

Ta objava vam je pokazala, kako lahko več uporabnikov Ground Truth Plus zdaj ustvari nov projekt in serijo, deli podatke in prejema podatke z uporabo istega računa AWS prek novih samopostrežnih vmesnikov. Ta nova zmogljivost vam omogoča hitrejši zagon vaših projektov označevanja in zmanjša operativne stroške. Pokazali smo tudi, kako lahko nadzorujete natančen dostop do podatkov tako, da določite obseg svojih dovoljenj vloge IAM, da ustrezajo vaši individualni ravni dostopa.

Priporočamo vam, da preizkusite to novo funkcionalnost in se povežete z Skupnost strojnega učenja in umetne inteligence če imate kakršna koli vprašanja ali povratne informacije!

O avtorjih

Manish Goel je produktni vodja za Amazon SageMaker Ground Truth Plus. Osredotočen je na izdelavo izdelkov, ki strankam olajšajo sprejemanje strojnega učenja. V prostem času uživa v izletih in branju knjig.

Karthik Ganduri je inženir za razvoj programske opreme pri Amazon AWS, kjer se ukvarja z izdelavo orodij ML za stranke in internih rešitev. Zunaj službe uživa v klikanju slik.  

Zhuling Bai je inženir za razvoj programske opreme pri Amazon AWS. Dela na razvoju obsežnih porazdeljenih sistemov za reševanje problemov strojnega učenja.

Aatef Baransy je Frontend inženir pri Amazon AWS. Piše hitro, zanesljivo in temeljito preizkušeno programsko opremo za negovanje in rast najnaprednejših aplikacij umetne inteligence v industriji.

Mohamed Adnan je višji inženir za AI in ML pri AWS. Bil je del lansiranja številnih storitev AWS, zlasti Amazon Lookout for Metrics in AWS Panorama. Trenutno se osredotoča na ponudbe AWS človek v zanki (AWS SageMaker's Groundtrue, Groundtrue plus in Augmented AI). Je zagovornik čiste kode in strokovnjak za brezstrežniško arhitekturo, ki temelji na dogodkih. Lahko ga spremljate na LinkedInu, mohammad-adnan-6a99a829.