A szegmentációs maszk címkézése néhány kattintással az Amazon SageMaker Ground Truth Plus alkalmazásban

Amazon SageMaker Ground Truth Plus egy felügyelt adatcímkézési szolgáltatás, amely megkönnyíti az adatok címkézését gépi tanulási (ML) alkalmazásokhoz. Az egyik gyakori felhasználási eset a szemantikus szegmentálás, amely egy számítógépes látásmódosító ML-technika, amely magában foglalja az osztálycímkék hozzárendelését a kép egyes képpontjaihoz. Például a mozgó jármű által rögzített videokockákban az osztálycímkék tartalmazhatnak járműveket, gyalogosokat, utakat, közlekedési jelzéseket, épületeket vagy háttereket. A képen látható különböző objektumok elhelyezkedésének nagy pontosságú megértését biztosítja, és gyakran használják észlelési rendszerek felépítésére autonóm járművek vagy robotika számára. A szemantikai szegmentáláshoz szükséges ML modell felépítéséhez először nagy mennyiségű adatot pixel szinten kell felcímkézni. Ez a címkézési folyamat összetett. Szakképzett címkézőket és jelentős időt igényel – egyes képek pontos címkézése akár 2 órát is igénybe vehet!

A 2019, kiadtunk egy ML-alapú interaktív címkéző eszközt, az Auto-segment for Ground Truth nevet amely lehetővé teszi, hogy gyorsan és egyszerűen készítsen kiváló minőségű szegmentáló maszkokat. További információkért lásd Automatikus szegmentáló eszköz. Ez a funkció úgy működik, hogy lehetővé teszi az objektum felső, bal, alsó és jobb szélső legszélső pontjára való kattintást. A háttérben futó ML-modell feldolgozza ezt a felhasználói bevitelt, és jó minőségű szegmentációs maszkot ad vissza, amely azonnal megjelenik a Ground Truth címkéző eszközben. Ez a funkció azonban csak négy kattintást tesz lehetővé. Bizonyos esetekben az ML által generált maszk véletlenül kihagyhatja a kép bizonyos részeit, például az objektum határa körül, ahol az élek elmosódnak, vagy ahol a színek, a telítettség vagy az árnyékok beleolvadnak a környezetbe.

Extrém pontkattintás rugalmas számú korrekciós kattintással

Most továbbfejlesztettük az eszközt, amely lehetővé teszi a határpontok extra kattintását, amely valós idejű visszajelzést ad az ML modellnek. Ezzel pontosabb szegmentációs maszkot hozhat létre. A következő példában a kezdeti szegmentálás eredménye nem pontos az árnyék közelében lévő gyenge határok miatt. Fontos, hogy ez az eszköz olyan üzemmódban működik, amely lehetővé teszi a valós idejű visszacsatolást – nem szükséges az összes pontot egyszerre megadni. Ehelyett először végezhet négy egérkattintást, ami elindítja az ML-modellt szegmentációs maszk létrehozására. Ezután megvizsgálhatja ezt a maszkot, megkeresheti az esetleges pontatlanságokat, majd szükség szerint további kattintásokat végezhet, hogy a modellt a megfelelő eredményre "lökje".

Korábbi címkéző eszközünkön pontosan négy egérkattintás (piros pont) helyezhető el. A kezdeti szegmentálás eredménye (árnyékolt piros terület) nem pontos, mert az árnyék közelében lévő gyenge határvonalak (a piros maszk bal alsó sarkában) nem pontosak.

Továbbfejlesztett címkéző eszközünkkel a felhasználó először ismét négy egérkattintással (piros pontok a felső ábrán). Ezután lehetősége van megvizsgálni a kapott szegmentáló maszkot (a felső ábrán árnyékolt piros terület). További egérkattintásokat végezhet (zöld pontok az alsó ábrán), hogy a modell finomítsa a maszkot (árnyékolt piros terület az alsó ábrán).

Az eszköz eredeti verziójához képest a továbbfejlesztett változat jobb eredményt ad, ha a tárgyak deformálhatók, nem domborúak, és változó alakúak és megjelenésűek.

Ennek a továbbfejlesztett eszköznek a teljesítményét mintaadatokon szimuláltuk úgy, hogy először futtattuk az alapeszközt (csak négy szélsőséges kattintással), hogy létrehozzunk egy szegmentációs maszkot, és kiértékeltük annak átlagos metszéspontját az Unión keresztül (mIoU), amely a szegmentációs maszkok pontosságának általános mértéke. Ezután szimulált korrekciós kattintásokat alkalmaztunk, és minden szimulált kattintás után értékeltük a millió forint javulását. Az alábbi táblázat ezeket az eredményeket foglalja össze. Az első sorban a millió, a második sorban a hiba látható (amelyet 100% mIoU-val ad meg). Mindössze öt további egérkattintással 9%-kal csökkenthetjük a hibát ennél a feladatnál!

.	.	Javító kattintások száma	.
.	kiindulási	1	2	3	4	5
mioU	72.72	76.56	77.62	78.89	80.57	81.73
hiba	27%	23%	22%	21%	19%	18%

Integráció a Ground Truth-szal és teljesítményprofilozással

Ennek a modellnek a Ground Truth-tal való integrálásához egy szabványos architektúramintát követünk, amint az a következő ábrán látható. Először az ML-modellt Docker-lemezképbe építjük, és telepítjük Amazon Elastic Container Registry (Amazon ECR), egy teljesen felügyelt Docker-tároló-nyilvántartás, amely megkönnyíti a tárolóképek tárolását, megosztását és telepítését. Használni a SageMaker Inference Toolkit A Docker-kép felépítése lehetővé teszi számunkra, hogy könnyen alkalmazzuk a modellkiszolgálás legjobb gyakorlatait, és alacsony késleltetésű következtetéseket érjünk el. Ezután létrehozunk egy Amazon SageMaker valós idejű végpont a modell tárolására. Bemutatunk egy AWS Lambda proxyként működik a SageMaker végpont előtt, hogy különféle típusú adatátalakításokat kínáljon. Végül használjuk Amazon API átjáró a Ground Truth címkealkalmazással való integráció módjaként, hogy biztonságos hitelesítést biztosíthassunk a háttérrendszerünk számára.

Ezt az általános mintát követheti saját felhasználási eseteihez a célra épített ML-eszközökhöz, és integrálhatja azokat az egyéni Ground Truth feladat felhasználói felületekkel. További információkért lásd: Építsen fel egyéni adatcímkézési munkafolyamatot az Amazon SageMaker Ground Truth segítségével.

Miután kiépítette ezt az architektúrát, és telepítette a modellünket a AWS Cloud Development Kit (AWS CDK), értékeltük modellünk késleltetési jellemzőit különböző SageMaker példánytípusokkal. Ez nagyon egyszerű megtenni, mert a SageMaker valós idejű következtetési végpontokat használjuk a modellünk kiszolgálásához. A SageMaker valós idejű következtetési végpontjai zökkenőmentesen integrálhatók amazonfelhőóra és olyan mérőszámokat bocsátanak ki, mint a memóriahasználat és a modell késleltetése, anélkül, hogy szükség lenne beállításra (lásd SageMaker végpont-hívási metrikák további részletekért).

A következő ábrán a SageMaker valós idejű következtetési végpontjai által natívan kibocsátott ModelLatency metrikát mutatjuk be. A CloudWatchban könnyedén használhatunk különféle metrikus matematikai függvényeket a késleltetési százalékok megjelenítésére, például a p50 vagy p90 késleltetést.

Az alábbi táblázat összefoglalja ezeket az eredményeket a továbbfejlesztett extrém kattintási eszközünk szemantikai szegmentálásához három példánytípus esetén: p2.xlarge, p3.2xlarge és g4dn.xlarge. Bár a p3.2xlarge példány biztosítja a legalacsonyabb késleltetést, a g4dn.xlarge példány biztosítja a legjobb költség-teljesítmény arányt. A g4dn.xlarge példány csak 8%-kal lassabb (35 ezredmásodperc), mint a p3.2xlarge példány, de óránként 81%-kal olcsóbb, mint a p3.2xlarge (lásd Amazon SageMaker árképzés további részletekért a SageMaker példánytípusokról és az árakról).

	SageMaker példánytípus	p90 késés (ms)
1	p2.xlarge	751
2	p3.2xnagy	424
3	g4dn.xlarge	459

Következtetés

Ebben a bejegyzésben bemutattuk a Ground Truth automatikus szegmens funkciójának kiterjesztését a szemantikus szegmentálási annotációs feladatokhoz. Míg az eszköz eredeti verziója pontosan négy egérkattintást tesz lehetővé, ami kiváltja a modellt, hogy kiváló minőségű szegmentációs maszkot biztosítson, a bővítmény lehetővé teszi a korrekciós kattintások végrehajtását, és ezáltal az ML modell frissítését és irányítását a jobb előrejelzések érdekében. Bemutattunk egy alapvető építészeti mintát is, amellyel interaktív eszközöket telepíthet és integrálhat a Ground Truth címkézési felhasználói felületekbe. Végül összefoglaltuk a modell késleltetését, és megmutattuk, hogy a SageMaker valós idejű következtetési végpontok használata hogyan teszi egyszerűvé a modell teljesítményének nyomon követését.

Ha többet szeretne megtudni arról, hogy ez az eszköz hogyan csökkentheti a címkézési költségeket és növelheti a pontosságot, látogasson el a következő oldalra Amazon SageMaker adatcímkézés hogy még ma kezdje meg a konzultációt.

---

A szerzőkről

Jonathan Buck az Amazon Web Services szoftvermérnöke, aki a gépi tanulás és az elosztott rendszerek találkozási pontján dolgozik. Munkája magában foglalja a gépi tanulási modellek gyártását és a gépi tanulással hajtott új szoftveralkalmazások fejlesztését, hogy a legújabb képességeket az ügyfelek kezébe adja.

Li Erran Li a humin-in-the-loop szolgáltatások, az AWS AI, Amazon alkalmazott tudományos menedzsere. Kutatási területe a 3D mély tanulás, valamint a látás és nyelvi reprezentáció tanulása. Korábban az Alexa AI vezető tudósa, a Scale AI gépi tanulási vezetője és a Pony.ai vezető tudósa volt. Ezt megelőzően az Uber ATG észlelési csapatánál és az Uber gépi tanulási platform csapatánál dolgozott az autonóm vezetés gépi tanulásán, a gépi tanulási rendszereken és az AI stratégiai kezdeményezésein. Pályafutását a Bell Labs-nál kezdte, és a Columbia Egyetem adjunktusa volt. Társaként tartott oktatóanyagokat az ICML'17-en és az ICCV'19-en, és több workshopot szervezett a NeurIPS-ben, ICML-ben, CVPR-ben, ICCV-ben az autonóm vezetés gépi tanulásáról, a 3D-látásról és a robotikáról, a gépi tanulási rendszerekről és az ellenséges gépi tanulásról. A Cornell Egyetemen szerzett PhD fokozatot számítástechnikából. ACM-ösztöndíjas és IEEE-ösztöndíjas.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/