Få-klicka segmenteringsmaskmärkning i Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus är en hanterad datamärkningstjänst som gör det enkelt att märka data för maskininlärningsapplikationer (ML). Ett vanligt användningsfall är semantisk segmentering, som är en datorseende ML-teknik som involverar att tilldela klassetiketter till enskilda pixlar i en bild. Till exempel, i videorutor som tagits av ett fordon i rörelse, kan klassetiketter inkludera fordon, fotgängare, vägar, trafiksignaler, byggnader eller bakgrunder. Det ger en högprecisionsförståelse av olika objekts placering i bilden och används ofta för att bygga uppfattningssystem för autonoma fordon eller robotik. För att bygga en ML-modell för semantisk segmentering är det först nödvändigt att märka en stor mängd data på pixelnivå. Denna märkningsprocess är komplex. Det kräver skickliga etiketterare och mycket tid – vissa bilder kan ta upp till 2 timmar eller mer att märka korrekt!

2019, vi släppte ett ML-drivet interaktivt märkningsverktyg som heter Auto-segment for Ground Truth som gör att du snabbt och enkelt kan skapa högkvalitativa segmenteringsmasker. För mer information, se Verktyg för automatisk segmentering. Den här funktionen fungerar genom att du kan klicka på de "yttersta punkterna" överst, till vänster, längst ner och längst till höger på ett objekt. En ML-modell som körs i bakgrunden tar in denna användarinmatning och returnerar en segmenteringsmask av hög kvalitet som omedelbart återges i märkningsverktyget Ground Truth. Den här funktionen låter dig dock bara placera fyra klick. I vissa fall kan den ML-genererade masken oavsiktligt missa vissa delar av en bild, till exempel runt objektgränsen där kanterna är otydliga eller där färg, mättnad eller skuggor smälter in i omgivningen.

Extremt punktklickning med ett flexibelt antal korrigerande klick

Vi har nu förbättrat verktyget för att tillåta extra klick av gränspunkter, vilket ger realtidsfeedback till ML-modellen. Detta gör att du kan skapa en mer exakt segmenteringsmask. I följande exempel är det initiala segmenteringsresultatet inte korrekt på grund av de svaga gränserna nära skuggan. Viktigt är att det här verktyget fungerar i ett läge som tillåter feedback i realtid – det kräver inte att du specificerar alla punkter på en gång. Istället kan du först göra fyra musklick, vilket kommer att trigga ML-modellen att producera en segmenteringsmask. Sedan kan du inspektera den här masken, lokalisera eventuella felaktigheter och sedan placera ytterligare klick som är lämpligt för att "nuffa" modellen till rätt resultat.

Vårt tidigare märkningsverktyg gjorde att du kunde placera exakt fyra musklick (röda prickar). Det initiala segmenteringsresultatet (skuggat rött område) är inte korrekt på grund av de svaga gränserna nära skuggan (nedre till vänster på den röda masken).

Med vårt förbättrade märkningsverktyg gör användaren igen först fyra musklick (röda prickar i den övre figuren). Sedan har du möjlighet att inspektera den resulterande segmenteringsmasken (skuggat rött område i översta figuren). Du kan göra ytterligare musklick (gröna prickar i den nedre figuren) för att få modellen att förfina masken (skuggat rött område i den nedre figuren).

Jämfört med den ursprungliga versionen av verktyget ger den förbättrade versionen ett förbättrat resultat när objekt är deformerbara, icke-konvexa och varierar i form och utseende.

Vi simulerade prestandan för detta förbättrade verktyg på exempeldata genom att först köra baslinjeverktyget (med endast fyra extrema klick) för att generera en segmenteringsmask och utvärderade dess genomsnittliga skärningspunkt över union (mIoU), ett vanligt mått på noggrannhet för segmenteringsmasker. Sedan använde vi simulerade korrigerande klick och utvärderade förbättringen i mIoU efter varje simulerad klick. Följande tabell sammanfattar dessa resultat. Den första raden visar mIoU och den andra raden visar felet (som ges av 100 % minus mIoU). Med endast fem extra musklick kan vi minska felet med 9 % för denna uppgift!

.	.	Antal korrigerande klick	.
.	Baslinje	1	2	3	4	5
MIOU	72.72	76.56	77.62	78.89	80.57	81.73
Fel	27%	23%	22%	21%	19%	18%

Integration med Ground Truth och prestationsprofilering

För att integrera denna modell med Ground Truth följer vi ett standardarkitekturmönster som visas i följande diagram. Först bygger vi ML-modellen till en Docker-avbildning och distribuerar den till Amazon Elastic Container Registry (Amazon ECR), ett fullständigt hanterat Docker-containerregister som gör det enkelt att lagra, dela och distribuera containeravbildningar. Använda SageMaker Inference Toolkit När vi bygger Docker-bilden kan vi enkelt använda bästa praxis för modellvisning och uppnå slutledning med låg latens. Vi skapar sedan en Amazon SageMaker realtidsslutpunkt för att vara värd för modellen. Vi introducerar en AWS Lambda fungera som en proxy framför SageMaker-slutpunkten för att erbjuda olika typer av datatransformation. Slutligen använder vi Amazon API Gateway som ett sätt att integrera med vår frontend, Ground Truth-märkningsapplikationen, för att tillhandahålla säker autentisering till vår backend.

Du kan följa det här generiska mönstret för dina egna användningsfall för specialbyggda ML-verktyg och för att integrera dem med anpassade Ground Truth-uppgiftsgränssnitt. För mer information, se Bygg ett anpassat arbetsmärke för datamärkning med Amazon SageMaker Ground Truth.

Efter att ha tillhandahållit den här arkitekturen och distribuerat vår modell med hjälp av AWS Cloud Development Kit (AWS CDK), utvärderade vi latensegenskaperna för vår modell med olika SageMaker-instanstyper. Detta är mycket enkelt att göra eftersom vi använder SageMaker slutpunkter i realtid för att tjäna vår modell. SageMaker slutpunkter i realtid integreras sömlöst med amazoncloudwatch och sänder ut sådana mätvärden som minnesanvändning och modelllatens utan nödvändiga inställningar (se SageMaker Endpoint Invocation Metrics för mer detaljer).

I följande figur visar vi ModelLatency-måttet som emitteras naturligt av SageMaker slutpunkter i realtid. Vi kan enkelt använda olika metriska matematiska funktioner i CloudWatch för att visa latenspercentiler, såsom p50 eller p90 latens.

Följande tabell sammanfattar dessa resultat för vårt förbättrade extrema klickverktyg för semantisk segmentering för tre instanstyper: p2.xlarge, p3.2xlarge och g4dn.xlarge. Även om p3.2xlarge-instansen ger den lägsta latensen, ger g4dn.xlarge-instansen det bästa förhållandet mellan kostnad och prestanda. g4dn.xlarge-instansen är bara 8 % långsammare (35 millisekunder) än p3.2xlarge-instansen, men den är 81 % billigare på timbasis än p3.2xlarge (se Amazon SageMaker Prissättning för mer information om SageMaker-instanstyper och prissättning).

	SageMaker-instanstyp	p90 latens (ms)
1	p2.xlarge	751
2	p3.2xstor	424
3	g4dn.xlarge	459

Slutsats

I det här inlägget introducerade vi ett tillägg till Ground Truths automatiska segmentfunktion för semantiska segmenteringsanteckningsuppgifter. Medan den ursprungliga versionen av verktyget låter dig göra exakt fyra musklick, vilket utlöser en modell för att ge en högkvalitativ segmenteringsmask, gör tillägget att du kan göra korrigerande klick och därigenom uppdatera och vägleda ML-modellen för att göra bättre förutsägelser. Vi presenterade också ett grundläggande arkitektoniskt mönster som du kan använda för att distribuera och integrera interaktiva verktyg i Ground Truth-märkningsgränssnitt. Slutligen sammanfattade vi modellens latens och visade hur användningen av SageMaker slutpunkter i realtid gör det enkelt att övervaka modellens prestanda.

Om du vill veta mer om hur det här verktyget kan minska märkningskostnaderna och öka noggrannheten, besök Amazon SageMaker-datamärkning att starta en konsultation idag.

---

Om författarna

Jonathan Buck är en mjukvaruingenjör på Amazon Web Services som arbetar i skärningspunkten mellan maskininlärning och distribuerade system. Hans arbete involverar produktion av maskininlärningsmodeller och utveckling av nya mjukvaruapplikationer som drivs av maskininlärning för att ge kunderna de senaste funktionerna.

Li Erran Li är tillämpad vetenskapschef på human-in-the-loop-tjänster, AWS AI, Amazon. Hans forskningsintressen är 3D-djupinlärning och inlärning av syn och språkrepresentation. Tidigare var han senior forskare på Alexa AI, chef för maskininlärning på Scale AI och chefsforskare på Pony.ai. Innan dess var han med perceptionsteamet på Uber ATG och maskininlärningsplattformsteamet på Uber och arbetade med maskininlärning för autonom körning, maskininlärningssystem och strategiska initiativ av AI. Han började sin karriär på Bell Labs och var adjungerad professor vid Columbia University. Han var med och undervisade i tutorials på ICML'17 och ICCV'19, och var med och organiserade flera workshops på NeurIPS, ICML, CVPR, ICCV om maskininlärning för autonom körning, 3D-vision och robotik, maskininlärningssystem och motstridig maskininlärning. Han har en doktorsexamen i datavetenskap vid Cornell University. Han är ACM Fellow och IEEE Fellow.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/