Az Amazon SageMaker Ground Truth Plus új beépített interfészeivel gyorsabban elérheti a termelési szintű adatokat

Az AWS re:Invent 2021-ben elindítva, Amazon SageMaker Ground Truth Plus segít kiváló minőségű képzési adatkészletek létrehozásában azáltal, hogy megszünteti az adatcímkéző alkalmazásokhoz kapcsolódó differenciálatlan nehézemelést és kezeli a címkézési munkaerőt. Csak annyit kell tennie, hogy megosztja az adatokat a címkézési követelményekkel együtt, és a Ground Truth Plus beállítja és kezeli az adatcímkézési munkafolyamatot ezen követelmények alapján. Innentől kezdve a különféle gépi tanulási (ML) feladatokra képzett szakértő munkaerő címkézi fel az Ön adatait. A Ground Truth Plus használatához még mély ML-szakértelemre vagy munkafolyamat-tervezési és minőségirányítási ismeretekre sincs szüksége.

A mai napon örömmel jelentjük be, hogy a Ground Truth Plus új beépített interfészeit elindítjuk. Ezzel az új képességgel több Ground Truth Plus felhasználó létrehozhat egy újat program és a batch, megoszthat adatokat és fogadhat adatokat ugyanazon AWS-fiók használatával, önkiszolgáló interfészeken keresztül. Ez lehetővé teszi a kiváló minőségű képzési adatkészletek fejlesztésének felgyorsítását a projektbeállítási idő csökkentésével. Ezenkívül az adatokhoz való hozzáférést a saját hatókörének meghatározásával szabályozhatja AWS Identity and Access Management (IAM) szerepkör-engedélyek, amelyek megfelelnek az Ön egyéni szintjének Amazon egyszerű tárolási szolgáltatás (Amazon S3) hozzáférést, és mindig megvan a lehetőség, hogy visszavonja a hozzáférést bizonyos gyűjtőkhöz.

Eddig a Ground Truth Plus műveleti programmenedzseréhez (OPM) kellett fordulnia, hogy új adatcímkézést hozzon létre. projektek és a tételek. Ennek a folyamatnak voltak bizonyos korlátozásai, mivel csak egy felhasználó kérhetett új projektet és köteget – ha a szervezeten belül több felhasználó használta ugyanazt az AWS-fiókot, akkor csak egy felhasználó kérhetett új adatcímkézési projektet és köteget a Ground Truth Plus segítségével. konzol. Ezenkívül a folyamat mesterséges késleltetést okozott a címkézési folyamat elindításakor, mivel több kézi érintkezési pont és probléma esetén hibaelhárítás szükséges. Külön-külön minden projekt ugyanazt az IAM-szerepet használta az adatok elérésére. Ezért olyan projektek és kötegek futtatásához, amelyekhez különböző adatforrásokhoz, például különböző Amazon S3-tárolókhoz kellett hozzáférni, a Ground Truth Plus OPM-re kellett hagyatkoznia, hogy megadja fiókspecifikus S3-szabályzatait, amelyeket manuálisan kellett alkalmaznia az S3-tárolókra. Ez az egész művelet manuálisan intenzív volt, ami üzemeltetési rezsiköltségeket okozott.

Ez a bejegyzés végigvezeti Önt egy új projekt létrehozásának és kötegelt létrehozásának, az adatok megosztásának és az adatok fogadásának lépésein az új önkiszolgáló interfészek segítségével a címkézési folyamat hatékony elindítása érdekében. Ez a bejegyzés feltételezi, hogy ismeri a Ground Truth Plust. További információkért lásd Amazon SageMaker Ground Truth Plus – Képzési adatkészletek létrehozása kód vagy házon belüli erőforrások nélkül.

Megoldás áttekintése

Bemutatjuk, hogyan kell csinálni a következőket:

• Frissítse a meglévő projekteket
• Kérjen új projektet
• Hozzon létre egy projektcsapatot
• Hozzon létre egy köteget

Előfeltételek

Mielőtt elkezdené, győződjön meg arról, hogy rendelkezik a következő előfeltételekkel:

• An AWS-fiók
• IAM-felhasználó, akinek hozzáférése van IAM-szerepkörök létrehozásához
• A Amazon S3 URI annak a vödörnek, ahol a címkézési objektumok vannak tárolva

Frissítse a meglévő projekteket

Ha van egy Ground Truth Plus projektje az ebben a bejegyzésben leírt új funkciók elindítása (9. december 2022.) előtt, akkor létre kell hoznia és meg kell osztania egy IAM-szerepkört, hogy ezeket a funkciókat a meglévő Ground Truth Plus projektjével együtt tudja használni. . Ha Ön a Ground Truth Plus új felhasználója, kihagyhatja ezt a részt.

IAM-szerepkör létrehozásához hajtsa végre a következő lépéseket:

1. Az IAM konzolon válassza a lehetőséget Szerep létrehozása.
2. választ Egyéni bizalmi politika.
3. Adja meg a következő bizalmi kapcsolatot a szerepkörhöz:

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Principal": {
                   "Service": 
                       "sagemaker-ground-truth-plus.amazonaws.com"
               },
               "Action": "sts:AssumeRole"
           }
       ]
   }

4. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
5. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Házirend létrehozása.
6. A JSON lapon adja meg a következő házirendet. Frissítse az Erőforrás tulajdonságot úgy, hogy két bejegyzést ad meg minden egyes csoporthoz: az egyikben csak az ARN gyűjtőhely szerepel, a másikban pedig az ARN gyűjtőhely, majd /*. Például cserélje ki val vel arn:aws:s3:::my-bucket/myprefix/ és a /* val vel arn:aws:s3:::my-bucket/myprefix/*.

   {
       "Version": "2012-10-17",
       "Statement": [
           {
               "Effect": "Allow",
               "Action": [
                   "s3:GetObject",
                   "s3:PutObject",
                   "s3:GetBucketLocation",
                   "s3:ListBucket"
               ],
        "Resource": [
                   "",
                   "/*",
                   "",
                   "/*"
               ]
           }
       ]
   }

7. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő: Címkék és a Következő: Áttekintés.
8. Adja meg a házirend nevét és egy opcionális leírást.
9. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Házirend létrehozása.
10. Zárja be ezt a lapot, és lépjen vissza az előző lapra a szerepkör létrehozásához.

Az Engedélyek hozzáadása lapon látnia kell a létrehozott új házirendet (ha nem látja, frissítse az oldalt).

11. Válassza ki az újonnan létrehozott szabályzatot, és válassza ki Következő.
12. Adjon meg egy nevet (pl. GTPlusExecutionRole) és opcionálisan a szerepkör leírása.
13. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Szerep létrehozása.
14. Adja meg az ARN szerepet a Ground Truth Plus OPM-jének, aki ezután frissíti a meglévő projektjét ezzel az újonnan létrehozott szerepkörrel.

Kérjen új projektet

Új projekt kéréséhez hajtsa végre a következő lépéseket:

1. A Ground Truth Plus konzol, navigáljon a projektek szakasz.

Itt található az összes projektje.

2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Projekt kérése.

A Projekt kérése oldal lehetőséget kínál olyan részletek megadására, amelyek segítenek nekünk egy kezdeti konzultációs hívás ütemezésében és a projekt összeállításában.

3. Az általános információk (például a projekt neve és leírása) megadása mellett meg kell adnia a projekt feladattípusát, és azt, hogy tartalmaz-e személyazonosításra alkalmas információkat (PII).

Az adatok címkézéséhez a Ground Truth Plusnak ideiglenes hozzáférésre van szüksége a nyers adatokhoz egy S3 tárolóban. Amikor a címkézési folyamat befejeződött, a Ground Truth Plus visszaküldi a címkézési kimenetet az S3 vödörbe. Ez egy IAM szerepkörön keresztül történik. Létrehozhat egy új szerepkört, vagy navigálhat az IAM-konzolra egy új szerepkör létrehozásához (az utasításokat az előző szakaszban találja).

4. Ha úgy dönt, hogy létrehoz egy szerepet, válassza Adjon meg egy egyéni IAM-szerepet ARN és adja meg az ARN IAM-szerepkört, amely a következő formátumban van: arn:aws:iam:::role/.
5. A beépített eszköz használatához a legördülő menüben IAM szerepkör, választ Hozzon létre egy új szerepet.
6. Adja meg a címkézési adatok csoportjának helyét. Ha nem ismeri a címkézési adatok helyét, vagy ha nincsenek feltöltött címkézési adatok, válassza a Bármilyen S3 vödör, amely hozzáférést biztosít a Ground Truth Plus számára az összes fiókjához.
7. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Teremt létrehozni a szerepet.

Az Ön IAM-szerepe lehetővé teszi a Ground Truth Plus-t, amelyet a következőképpen azonosítanak: sagemaker-ground-truth-plus.amazonaws.com a szerepben bizalompolitika, a következő műveletek futtatásához az S3 tárolókon:

[
    "s3:GetObject",
    "s3:PutObject",
    "s3:GetBucketLocation",
    "s3:ListBucket"
]

8. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Projekt kérése a kérés teljesítéséhez.

A Ground Truth Plus OPM egy kezdeti konzultációs hívást egyeztet Önnel, hogy megvitassák az adatcímkézési projekt követelményeit és az árakat.

Hozzon létre egy projektcsapatot

Miután kért egy projektet, létre kell hoznia egy projektcsapatot, amely bejelentkezik a projektportáljára. A projektcsapat hozzáférést biztosít a szervezet vagy csapat tagjai számára a projektek nyomon követéséhez, a mutatók megtekintéséhez és a címkék áttekintéséhez. Használhatja az opciót Új tagok meghívása e-mailben or Tagok importálása a meglévőkből Amazon Cognito felhasználói csoportok. Ebben a bejegyzésben megmutatjuk, hogyan importálhat tagokat a meglévőkből Amazon Cognito felhasználói csoportok, hogy felhasználókat vegyen fel projektcsapatába.

1. A Ground Truth Plus konzol, navigáljon a Projekt csapat szakasz.
2. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre projektcsapatot.
3. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Importáljon tagokat a meglévő Amazon Cognito felhasználói csoportokból.
4. Válasszon egy Amazon Cognito felhasználói csoportot.

A felhasználói csoportokhoz tartományra és meglévő felhasználói csoportra van szükség.

5. Válasszon egy alkalmazásklienst.

által generált kliens használatát javasoljuk Amazon SageMaker.

6. Válasszon egy felhasználói csoportot a készletből a tagok importálásához.
7. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre projektcsapatot.
   

A projektcsapat létrehozása után további csapattagokat vehet fel a választással Új tagok meghívása a Partnerek oldalon a Ground Truth Plus konzolon.

Hozzon létre egy köteget

Miután sikeresen elküldte a projektkérelmet és létrehozta a projektcsapatot, a Ground Truth Plus projektportálhoz kattintson a Projektportál megnyitása a Ground Truth Plus konzolon.

A projektportál segítségével kötegeket hozhat létre egy projekthez, de csak akkor, ha a projekt állapota a következőre módosult Request approved.

1. A projekt nevének kiválasztásával megtekintheti a projekt részleteit és kötegeit.
   Megnyílik egy oldal a projekt nevével.
2. A Tételek szakaszban válassza Köteg létrehozása.
   
3. Adja meg a köteg nevét és opcionális leírását.
4. Adja meg a bemeneti és kimeneti adatkészletek S3 helyét.

A köteg sikeres létrehozásának biztosításához meg kell felelnie a következő követelményeknek:

4. • Az S3 csoportnak és előtagnak léteznie kell, és a fájlok teljes számának nagyobbnak kell lennie 0-nál
   • Az objektumok teljes számának 10,000 XNUMX-nél kevesebbnek kell lennie
   • Az egyes objektumok mérete nem haladhatja meg a 2 GB-ot
   • Az összes objektum együttes mérete kevesebb, mint 100 GB
   • A projekt létrehozásához biztosított IAM szerepkör jogosult a köteg létrehozásához használt bemeneti, kimeneti és S3-fájlok elérésére.
   • A bemeneti adatkészletekhez megadott S3 helyen található fájlokat nem szabad titkosítani AWS kulcskezelési szolgáltatás (AWS KMS)
5. A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Küld.

A köteg állapota így fog megjelenni Request submitted. Miután a Ground Truth Plus ideiglenes hozzáférést kapott az Ön adataihoz, az AWS szakértői beállítják az adatcímkézési munkafolyamatokat és működtetik azokat az Ön nevében, ami a kötegelt állapotot a következőre módosítja. In-progress. Amikor a címkézés befejeződött, a köteg állapota megváltozik In-progress nak nek Ready for review. Ha át szeretné tekinteni címkéit, mielőtt megkapja a címkéket, válassza a lehetőséget A köteg áttekintése. Innentől van lehetőség a választásra Tétel elfogadása hogy megkapja a címkézett adatait.

Következtetés

Ez a bejegyzés megmutatta, hogyan hozhat létre több Ground Truth Plus-felhasználó új projektet és kötegelt, oszthat meg adatokat, és fogadhat adatokat ugyanazon AWS-fiók használatával, új önkiszolgáló felületeken keresztül. Ez az új képesség lehetővé teszi a címkézési projektek gyorsabb elindítását, és csökkenti az üzemeltetési többletköltséget. Azt is bemutattuk, hogyan szabályozhatja az adatokhoz való hozzáférést azáltal, hogy IAM-szerepkör-engedélyeit egyéni hozzáférési szintjéhez igazítja.

Javasoljuk, hogy próbálja ki ezt az új funkciót, és csatlakozzon a Gépi tanulás és AI közösség ha bármilyen kérdése vagy visszajelzése van!

A szerzőkről

Manish Goel az Amazon SageMaker Ground Truth Plus termékmenedzsere. Olyan termékek gyártására összpontosít, amelyek megkönnyítik az ügyfelek számára a gépi tanulás alkalmazását. Szabadidejében szeret kirándulni és könyveket olvasni.

Karthik Ganduri az Amazon AWS szoftverfejlesztő mérnöke, ahol az ügyfelek számára készült ML-eszközök és belső megoldások kiépítésén dolgozik. Munkán kívül szívesen kattint a képekre.  

Zhuling Bai az Amazon AWS szoftverfejlesztő mérnöke. Nagyméretű elosztott rendszerek fejlesztésén dolgozik a gépi tanulási problémák megoldására.

Baransy Aatef az Amazon AWS frontend mérnöke. Gyors, megbízható és alaposan tesztelt szoftvereket ír az iparág legkorszerűbb AI-alkalmazásainak fejlesztésére és fejlesztésére.

Mohammad Adnan az AWS AI és ML vezető mérnöke. Részt vett számos AWS szolgáltatás bevezetésében, nevezetesen az Amazon Lookout for Metrics és az AWS Panorama programban. Jelenleg az AWS human-in-the-loop ajánlataira összpontosít (AWS SageMaker's Ground true, Ground true plus és Augmented AI). Ő egy tiszta kód szószólója és szakértője a szerver nélküli és eseményvezérelt architektúrának. Követheti őt a LinkedIn-en, mohammad-adnan-6a99a829.