Pääset tuotantotason tietoihin nopeammin käyttämällä uusia sisäänrakennettuja käyttöliittymiä Amazon SageMaker Ground Truth Plusin kanssa

Julkaistu AWS:ssä re:Invent 2021, Amazon SageMaker Ground Truth Plus auttaa sinua luomaan korkealaatuisia koulutustietojoukkoja poistamalla erottelemattoman raskaan noston, joka liittyy tietojen merkintäsovellusten rakentamiseen ja merkintätyövoiman hallintaan. Sinun tarvitsee vain jakaa tietoja merkintävaatimusten kanssa, ja Ground Truth Plus määrittää ja hallitsee tietomerkintöjen työnkulkua näiden vaatimusten perusteella. Sieltä asiantuntijatyövoima, joka on koulutettu erilaisiin koneoppimistehtäviin, merkitsee tietosi. Et tarvitse edes syvällistä ML-asiantuntemusta tai tietoa työnkulun suunnittelusta ja laadunhallinnasta käyttääksesi Ground Truth Plusia.

Tänään olemme iloisia voidessamme ilmoittaa uusien sisäänrakennettujen käyttöliittymien julkaisemisesta Ground Truth Plusissa. Tämän uuden ominaisuuden avulla useat Ground Truth Plus -käyttäjät voivat nyt luoda uuden projekti ja erä, jakaa tietoja ja vastaanottaa tietoja käyttämällä samaa AWS-tiliä itsepalveluliittymien kautta. Tämän avulla voit nopeuttaa korkealaatuisten koulutustietojoukkojen kehittämistä vähentämällä projektin määritysaikaa. Lisäksi voit hallita tietojesi tarkkaa käyttöä määrittämällä tietosi AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) rooliluvat vastaamaan yksilöllistä tasoasi Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -käyttöoikeuden, ja sinulla on aina mahdollisuus peruuttaa pääsy tiettyihin ryhmiin.

Tähän asti sinun on täytynyt ottaa yhteyttä Ground Truth Plus -toimintojen ohjelmapäällikköön (OPM) luodaksesi uuden tietomerkinnän hankkeet ja erissä. Tällä prosessilla oli joitain rajoituksia, koska se salli vain yhden käyttäjän pyytää uutta projektia ja erää – jos useat organisaation käyttäjät käyttivät samaa AWS-tiliä, vain yksi käyttäjä saattoi pyytää uutta datamerkintäprojektia ja erää Ground Truth Plusin avulla. konsoli. Lisäksi prosessi aiheutti keinotekoisia viiveitä merkintäprosessin käynnistämisessä useiden manuaalisten kosketuspisteiden ja ongelmien varalta vaaditun vianmäärityksen vuoksi. Erikseen kaikki projektit käyttivät samaa IAM-roolia tietojen käyttämiseen. Siksi sinun täytyi toteuttaa projekteja ja eriä, jotka vaativat pääsyn erilaisiin tietolähteisiin, kuten erilaisiin Amazon S3 -ämpäriin, luottaaksesi Ground Truth Plus OPM:ään, jotta voit tarjota tilillesi erityisiä S3-käytäntöjä, joita sinun oli sovellettava manuaalisesti S3-säilöihisi. Tämä koko toimenpide oli manuaalisesti intensiivistä, mikä johti käyttökustannuksiin.

Tämä viesti opastaa sinut vaiheiden läpi uuden projektin ja erän luomiseksi, tietojen jakamiseksi ja tietojen vastaanottamiseksi uusilla itsepalveluliittymillä merkintäprosessin käynnistämiseksi tehokkaasti. Tämä viesti olettaa, että tunnet Ground Truth Plusin. Katso lisätietoja Amazon SageMaker Ground Truth Plus – Luo koulutustietojoukkoja ilman koodia tai sisäisiä resursseja.

Ratkaisun yleiskatsaus

Näytämme, kuinka tehdä seuraavat:

• Päivitä olemassa olevat projektit
• Pyydä uusi projekti
• Perusta projektiryhmä
• Luo erä

Edellytykset

Ennen kuin aloitat, varmista, että sinulla on seuraavat edellytykset:

• An AWS-tili
• IAM-käyttäjä, jolla on oikeus luoda IAM-rooleja
• - Amazon S3 URI ämpäri, johon etikettiobjektit on tallennettu

Päivitä olemassa olevat projektit

Jos sinulla on Ground Truth Plus -projekti ennen tässä viestissä kuvattujen uusien ominaisuuksien julkaisua (9. joulukuuta 2022), sinun on luotava ja jaettava IAM-rooli, jotta voit käyttää näitä ominaisuuksia olemassa olevan Ground Truth Plus -projektisi kanssa. . Jos olet uusi Ground Truth Plus -käyttäjä, voit ohittaa tämän osion.

Voit luoda IAM-roolin suorittamalla seuraavat vaiheet:

1. Valitse IAM-konsolista Luo rooli.
2. valita Mukautettu luottamuskäytäntö.
3. Määritä roolille seuraava luottamussuhde:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. Valita seuraava.
5. Valita Luo käytäntö.
6. Määritä seuraava käytäntö JSON-välilehdellä. Päivitä Resurssi-ominaisuus määrittämällä kaksi merkintää kullekin ryhmälle: toisessa vain ryhmä ARN ja toisessa ryhmässä ARN, jota seuraa /*. Esimerkiksi vaihda with arn:aws:s3:::my-bucket/myprefix/ ja /* with arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. Valita Seuraava: Tunnisteet ja Seuraava: Arvostelu.
8. Anna käytännön nimi ja valinnainen kuvaus.
9. Valita Luo käytäntö.
10. Sulje tämä välilehti ja palaa edelliseen välilehteen luodaksesi roolisi.

Lisää käyttöoikeudet -välilehdellä sinun pitäisi nähdä luomasi uusi käytäntö (päivitä sivu, jos et näe sitä).

11. Valitse juuri luotu käytäntö ja valitse seuraava.
12. Kirjoita nimi (esim. GTPlusExecutionRole) ja valinnaisesti roolin kuvaus.
13. Valita Luo rooli.
14. Anna rooli ARN Ground Truth Plus OPM:lle, joka sitten päivittää nykyisen projektisi tällä äskettäin luodulla roolilla.

Pyydä uusi projekti

Voit pyytää uutta projektia suorittamalla seuraavat vaiheet:

1. On Ground Truth Plus -konsoli, siirry kohtaan Projektit osiossa.

Tässä on luettelo kaikista projektistasi.

2. Valita Pyydä projekti.

- Pyydä projekti -sivulla on tilaisuutesi antaa tietoja, jotka auttavat meitä suunnittelemaan alustavan konsultaatiopuhelun ja suunnittelemaan projektisi.

3. Yleisten tietojen, kuten projektin nimen ja kuvauksen, määrittämisen lisäksi sinun on määritettävä projektin tehtävätyyppi ja se, sisältääkö se henkilökohtaisia ​​tunnistetietoja (PII).

Ground Truth Plus tarvitsee tietojesi merkitsemistä varten väliaikaisen pääsyn raakatietoihisi S3-ämpäriin. Kun merkintäprosessi on valmis, Ground Truth Plus toimittaa merkinnät takaisin S3-ämpäriisi. Tämä tehdään IAM-roolin kautta. Voit joko luoda uuden roolin tai siirtyä IAM-konsoliin luodaksesi uuden roolin (katso ohjeet edellisestä osiosta).

4. Jos päätät luoda roolin, valitse Anna mukautettu IAM-rooli ARN ja syötä IAM-roolisi ARN, joka on muodossa arn:aws:iam:::role/.
5. Voit käyttää sisäänrakennettua työkalua alla olevasta avattavasta valikosta IAM-rooli, valitse Luo uusi rooli.
6. Määritä merkintätietojesi sijainti. Jos et tiedä merkintätietojesi sijaintia tai jos et ole ladannut merkintätietoja, valitse Mikä tahansa S3-ämpäri, joka antaa Ground Truth Plusille pääsyn kaikkiin tilisi ryhmiin.
7. Valita luoda roolin luomiseen.

IAM-roolisi sallii Ground Truth Plusin, jonka tunniste on sagemaker-ground-truth-plus.amazonaws.com roolissa luottamuspolitiikka, suorittaaksesi seuraavat toiminnot S3-ämpärisi:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. Valita Pyydä projekti pyynnön täyttämiseksi.

Ground Truth Plus OPM suunnittelee kanssasi ensimmäisen konsultaatiopuhelun keskustellakseen tietomerkintäprojektisi vaatimuksista ja hinnoittelusta.

Perusta projektiryhmä

Kun olet pyytänyt projektia, sinun on luotava projektiryhmä kirjautuaksesi projektiportaaliisi. Projektitiimi tarjoaa organisaatiosi tai tiimisi jäsenille pääsyn projekteihin, mittareiden tarkastelemiseen ja tunnisteiden tarkistamiseen. Voit käyttää vaihtoehtoa Kutsu uusia jäseniä sähköpostitse or Tuo jäseniä olemassa olevista Amazon Cognito käyttäjäryhmät. Tässä viestissä näytämme kuinka tuoda jäseniä olemassa olevista Amazon Cognito käyttäjäryhmiä lisätäksesi käyttäjiä projektitiimiisi.

1. On Ground Truth Plus -konsoli, siirry kohtaan Projektiryhmä osiossa.
2. Valita Luo projektitiimi.
3. Valita Tuo jäseniä olemassa olevista Amazon Cognito -käyttäjäryhmistä.
4. Valitse Amazon Cogniton käyttäjäryhmä.

Käyttäjävarastot vaativat toimialueen ja olemassa olevan käyttäjäryhmän.

5. Valitse sovellusohjelma.

Suosittelemme käyttämään asiakasta, jonka on luonut Amazon Sage Maker.

6. Valitse ryhmästäsi käyttäjäryhmä tuodaksesi jäseniä.
7. Valita Luo projektitiimi.
   

Voit lisätä tiimin jäseniä projektin luomisen jälkeen valitsemalla Kutsu uusia jäseniä på den Jäsenet Ground Truth Plus -konsolin sivu.

Luo erä

Kun olet lähettänyt projektipyynnön onnistuneesti ja luonut projektiryhmän, pääset Ground Truth Plus -projektiportaaliin napsauttamalla Avaa projektiportaali Ground Truth Plus -konsolissa.

Projektiportaalin avulla voit luoda eriä projektille, mutta vasta sen jälkeen, kun projektin tila on muuttunut Request approved.

1. Tarkastele projektin tietoja ja eriä valitsemalla projektin nimi.
   Näyttöön tulee sivu, jolla on projektin nimi.
2. In Erät osiossa, valitse Luo erä.
   
3. Anna erän nimi ja valinnainen kuvaus.
4. Syötä tulo- ja lähtötietojoukon S3-paikat.

Varmistaaksesi, että erä luodaan onnistuneesti, sinun on täytettävä seuraavat vaatimukset:

4. • S3-säihön ja etuliitteen tulee olla olemassa, ja tiedostojen kokonaismäärän tulee olla suurempi kuin 0
   • Kohteiden kokonaismäärän tulee olla alle 10,000 XNUMX
   • Kunkin kohteen koon tulee olla alle 2 Gt
   • Kaikkien objektien yhteiskoko on alle 100 Gt
   • Projektin luomiseen annetulla IAM-roolilla on oikeus käyttää syöttösäilöä, tulostussäilöä ja S3-tiedostoja, joita käytetään erän luomiseen.
   • Syötetietojoukkojen S3-sijainnissa olevia tiedostoja ei pitäisi salata AWS-avainhallintapalvelu (AWS KMS)
5. Valita Lähetä.

Eräsi tila näkyy muodossa Request submitted. Kun Ground Truth Plusilla on tilapäinen pääsy tietoihisi, AWS-asiantuntijat määrittävät datamerkintätyönkulkuja ja käyttävät niitä puolestasi, mikä muuttaa erän tilaksi In-progress. Kun merkintä on valmis, erän tila vaihtuu In-progress että Ready for review. Jos haluat tarkistaa tarrasi ennen tarrojen vastaanottamista, valitse Tarkista erä. Sieltä sinulla on mahdollisuus valita Hyväksy erä vastaanottaaksesi merkittyjä tietojasi.

Yhteenveto

Tämä viesti osoitti sinulle, kuinka useat Ground Truth Plus -käyttäjät voivat nyt luoda uuden projektin ja yhdistää, jakaa tietoja ja vastaanottaa tietoja käyttämällä samaa AWS-tiliä uusien itsepalvelurajapintojen kautta. Tämän uuden ominaisuuden avulla voit käynnistää merkintäprojektisi nopeammin ja vähentää käyttökustannuksia. Olemme myös osoittaneet, kuinka voit hallita tarkkaan pääsyä tietoihin määrittämällä IAM-roolilupasi yksilöllisen käyttöoikeustasosi mukaiseksi.

Kehotamme sinua kokeilemaan tätä uutta toimintoa ja muodostamaan yhteyttä Koneoppimis- ja tekoälyyhteisö jos sinulla on kysyttävää tai palautetta!

Tietoja kirjoittajista

Manish Goel on Amazon SageMaker Ground Truth Plusin tuotepäällikkö. Hän on keskittynyt rakentamaan tuotteita, jotka helpottavat asiakkaiden omaksumista koneoppimiseen. Vapaa-ajallaan hän nauttii retkistä ja kirjojen lukemisesta.

Karthik Ganduri on ohjelmistokehitysinsinööri Amazon AWS:ssä, jossa hän työskentelee ML-työkalujen rakentamisessa asiakkaille ja sisäisille ratkaisuille. Työn ulkopuolella hän nauttii kuvien klikkaamisesta.  

Zhuling Bai on ohjelmistokehitysinsinööri Amazon AWS:ssä. Hän työskentelee suurten hajautettujen järjestelmien kehittämisessä koneoppimisongelmien ratkaisemiseksi.

Aatef Baransy on Frontend-insinööri Amazon AWS:ssä. Hän kirjoittaa nopeita, luotettavia ja perusteellisesti testattuja ohjelmistoja vaalia ja kasvattaa alan huippuluokan tekoälysovelluksia.

Mohammad Adnan on AI- ja ML-insinööri AWS:ssä. Hän oli mukana monissa AWS-palvelun lanseerauksissa, erityisesti Amazon Lookout for Metricsissä ja AWS Panoramassa. Tällä hetkellä hän keskittyy AWS:n human-in-the-loop -tarjouksiin (AWS SageMaker's Ground true, Ground true plus ja Augmented AI). Hän on puhtaan koodin puolestapuhuja ja palvelinvapaan ja tapahtumalähtöisen arkkitehtuurin asiantuntija. Voit seurata häntä LinkedInissä, mohammad-adnan-6a99a829.