Inspect Your Data Labels With A Visual, No Code Tool To Create High-quality Training Datasets With Amazon SageMaker Ground Truth Plus

Újra kiadta Platón

Követő: 0

Az AWS re:Invent 2021-ben elindítva, Amazon SageMaker Ground Truth Plus segít kiváló minőségű képzési adatkészletek létrehozásában azáltal, hogy megszünteti az adatcímkéző alkalmazásokhoz kapcsolódó differenciálatlan nehézemelést és kezeli a címkézési munkaerőt. Csak annyit kell tennie, hogy megosztja az adatokat a címkézési követelményekkel együtt, és a Ground Truth Plus beállítja és kezeli az adatcímkézési munkafolyamatot ezen követelmények alapján. Innentől kezdve a különféle gépi tanulási (ML) feladatokra képzett szakértő munkaerő végzi az adatcímkézést. A Ground Truth Plus használatához még mély ML-szakértelemre vagy munkafolyamat-tervezési és minőségirányítási ismeretekre sincs szüksége.

Az ML algoritmushoz kiváló minőségű képzési adatkészlet felépítése iteratív folyamat. Az ML szakemberek gyakran építenek egyedi rendszereket az adatcímkék ellenőrzésére, mivel a pontosan felcímkézett adatok kritikusak az ML modell minősége szempontjából. A kiváló minőségű edzési adatok biztosítása érdekében a Ground Truth Plus beépített felhasználói felületet (Review UI) biztosít az adatcímkék minőségének ellenőrzéséhez, és visszajelzést ad az adatcímkékről, amíg meg nem győződik arról, hogy a címkék pontosan tükrözik a földi igazság, vagy ami a való világban közvetlenül megfigyelhető.

Ez a bejegyzés végigvezeti Önt a projektcsapat létrehozásának lépésein, és a felhasználói felület áttekintése eszköz számos új beépített funkciójának használatával a címkézett adatkészlet ellenőrzésének hatékony befejezéséhez. Az áttekintés feltételezi, hogy van egy aktív Ground Truth Plus címkézési projektje. További információkért lásd Amazon SageMaker Ground Truth Plus – Képzési adatkészletek létrehozása kód vagy házon belüli erőforrások nélkül.

Hozzon létre egy projektcsapatot

A projektcsapat hozzáférést biztosít a szervezet tagjai számára az adatcímkék ellenőrzéséhez a felhasználói felület áttekintése eszközzel. Projektcsapat felállításához hajtsa végre a következő lépéseket:

On the Ground Truth Plus konzolra, választ Hozzon létre projektcsapatot.
választ Hozzon létre egy új Amazon Cognito felhasználói csoportot . Ha már van egy meglévő Amazon Cognito felhasználói csoportot, válassza ki a Tagok importálása opciót.
A Amazon Cognito felhasználói csoport neve, írjon be egy nevet. Ezt a nevet nem lehet megváltoztatni.
A Email címek, adja meg legfeljebb 50 csapattag e-mail címét, vesszővel elválasztva.
A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre projektcsapatot.

Csapattagjai e-mailt kapnak, amelyben felkérik őket, hogy csatlakozzanak a Ground Truth Plus projektcsapathoz. Innen bejelentkezhetnek a Ground Truth Plus projektportálra, hogy áttekintsék az adatcímkéket.

Ellenőrizze a címkézett adatkészlet minőségét

Most merüljünk el egy videó objektum követési példában a használatával CBCL StreetScenes adatkészlet.

Miután a kötegben lévő adatok felcímkézésre kerültek, a köteg a következőként lesz megjelölve Felülvizsgálatra kész.

Válassza ki a tételt, és válassza ki A köteg áttekintése. A rendszer átirányítja a felülvizsgálati felületre. Rugalmasan választhat más mintavételi gyakoriságot minden egyes áttekintett tételhez. Például a példacsomagunkban összesen öt videónk van. Megadhatod, hogy ennek az öt videónak csak egy részét vagy az összeset szeretnéd-e áttekinteni.

Most pedig nézzük meg a Review UI különböző funkcióit, amelyek segítségével gyorsabban ellenőrizheti a címkézett adatkészlet minőségét, és visszajelzést adhat a minőségről:

A címkék szűrése címkekategória alapján – Az Áttekintés felhasználói felületén, a jobb oldali ablaktáblában szűrheti a címkéket a címkekategória alapján. Ez a funkció akkor hasznos, ha több címkekategória van (pl. Vehicles, Pedestriansés Poles) egy sűrű adatkészlet objektumban, és egyszerre egy címkekategória címkéit szeretné megtekinteni. Például koncentráljunk a Car címke kategória. Írd be a Car címkekategória a jobb oldali ablaktáblában, hogy kiszűrje az összes csak típusú megjegyzést Car. A következő képernyőképek a felhasználói felület áttekintése nézetet mutatják a szűrő alkalmazása előtt és után.
Fedvényhez társított megjegyzésekkel ellátott attribútumértékek – Minden címkéhez hozzá lehet rendelni megjegyzésekkel ellátott attribútumokat. Például a címkekategóriához Car , mondjuk meg szeretné kérni a dolgozókat, hogy annotáljanak is a Color és a Occlusion attribútumokat minden címkepéldányhoz. Amikor betölti az áttekintési felhasználói felületet, a megfelelő attribútumok minden címkepéldány alatt megjelennek a jobb oldali panelen. De mi van akkor, ha ezeket az attribútumjegyzeteket közvetlenül a képen szeretné látni? Kiválasztod a címkét Car:1 , és az attribútum-jegyzetek átfedéséhez Car:1 , megnyomod Ctrl + A.
Most látni fogja a megjegyzést Dark Blue az Color attribútum és annotáció None az Occlusion attribútum közvetlenül a képen jelenik meg a mellett Car:1 határoló doboz. Most ezt könnyedén ellenőrizheti Car:1 mint volt megjelölve Dark Blue, elzáródás nélkül, pusztán attól, hogy megnézzük a képet, ahelyett, hogy meg kellene határozni a helyét Car:1 a jobb oldali ablaktáblában az attribútum-jelölések megtekintéséhez.
Hagyjon visszajelzést a címke szintjén – Minden egyes címkéhez visszajelzést küldhet a címke szintjén Címke visszajelzés szabad karakterlánc attribútum. Például ezen a képen Car:1 inkább feketének tűnik, mint sötétkéknek. Ezt az eltérést visszajelzésként továbbíthatja Car:1 használatával Címke visszajelzés mezőben nyomon követheti a megjegyzést az adott kereten lévő címkéhez. Belső minőség-ellenőrzési csapatunk felülvizsgálja ezt a visszajelzést, és változtatásokat vezet be a kommentárfolyamatban és a címkeszabályzatban, és szükség szerint kiképezi a jegyzőket.
Hagyjon visszajelzést a keret szintjén – Hasonlóképpen, minden egyes képkockához visszajelzést hagyhat a keret szintjén az adott keret alatt Keret visszajelzés szabad karakterlánc attribútum. Ebben az esetben a megjegyzések a Car és a Pedestrian osztályok helyesnek és jól megvalósítva jelennek meg ebben a keretben. Ezt a pozitív visszajelzést továbbíthatja a Visszajelzést mezőben, és az Ön megjegyzése ehhez a kerethez kapcsolódik.
Másolja át a kommentár visszajelzését más keretekbe – A címkeszintű és a keretszintű visszajelzéseket is átmásolhatja más keretekre, ha jobb gombbal rákattint az attribútumra. Ez a funkció akkor hasznos, ha ugyanazt a visszacsatolást szeretné megkettőzni az adott címke keretei között, vagy ugyanazt a keretszintű visszajelzést szeretné alkalmazni több képkockára. Ezzel a funkcióval gyorsan elvégezheti az adatcímkék ellenőrzését.
Jóváhagy vagy utasít el minden adatkészlet-objektumot – Minden egyes áttekintett adatkészlet-objektumnál választhat jóváhagy ha elégedett a megjegyzésekkel, vagy válasszon Elutasít ha nem elégedett, és szeretné átdolgozni ezeket a megjegyzéseket. Amikor választasz Küld, akkor lehetőség nyílik az imént ellenőrzött videó jóváhagyására vagy elutasítására. Mindkét esetben adhat további megjegyzéseket:
- Ha úgy döntesz jóváhagy, a kommentár nem kötelező.
- Ha úgy döntesz Elutasít, kommentárra van szükség, és javasoljuk, hogy adjon részletes visszajelzést. Visszajelzését egy dedikált Ground Truth Plus minőségellenőrző csapat fogja felülvizsgálni, akik korrekciós intézkedéseket tesznek, hogy elkerüljék a hasonló hibákat a következő videókban.

Miután elküldte a visszajelzést tartalmazó videót, visszairányítjuk a projektportál projekt részleteinek oldalára, ahol megtekintheti az elutasított objektumok számát a Elutasított objektumok oszlopban, és a hibaarányt, amely az elfogadott objektumok száma alapján kerül kiszámításra a felülvizsgált objektumok közül Elfogadási arány oszlopot a projekt minden egyes tételéhez. Például a következő képernyőképen látható 1. köteg esetében az elfogadási arány 80%, mivel az öt ellenőrzött objektumból négy objektumot fogadtak el.

Következtetés

A kiváló minőségű képzési adatkészlet kritikus fontosságú az ML kezdeményezések megvalósításához. A Ground Truth Plus segítségével most már rendelkezik egy továbbfejlesztett beépített Review UI eszközzel, amely eltávolítja az egyedi eszközök létrehozásával járó megkülönböztethetetlen nehéz teherbírást a címkézett adatkészlet minőségének ellenőrzéséhez. Ez a bejegyzés végigvezeti Önt a projektcsapat felállításán és a felhasználói felület áttekintése eszköz új beépített szolgáltatásainak használatán. Meglátogatni a Ground Truth Plus konzol az induláshoz.

Mint mindig, az AWS szívesen fogadja a visszajelzéseket. Kérjük, tegye meg észrevételeit vagy kérdéseit.

A szerzőről

Manish Goel az Amazon SageMaker Ground Truth Plus termékmenedzsere. Olyan termékek gyártására összpontosít, amelyek megkönnyítik az ügyfelek számára a gépi tanulás alkalmazását. Szabadidejében szeret kirándulni és könyveket olvasni.

Revekka Kostoeva Szoftverfejlesztő mérnök az Amazon AWS-nél, ahol ügyfélközpontú és belső megoldásokon dolgozik a Sagemaker Ground Truth szolgáltatások szélességének és skálázhatóságának bővítése érdekében. Kutatóként arra törekszik, hogy javítsa a szakma eszközeit az innováció előmozdítása érdekében.