Få-klik segmenteringsmaskemærkning i Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus er en administreret datamærkningstjeneste, der gør det nemt at mærke data til maskinlæringsapplikationer (ML). Et almindeligt tilfælde er semantisk segmentering, som er en computervision ML-teknik, der involverer tildeling af klasseetiketter til individuelle pixels i et billede. For eksempel kan klasseetiketter i videobilleder optaget af et køretøj i bevægelse omfatte køretøjer, fodgængere, veje, trafiksignaler, bygninger eller baggrunde. Det giver en højpræcisionsforståelse af placeringen af ​​forskellige objekter i billedet og bruges ofte til at bygge perceptionssystemer til autonome køretøjer eller robotter. For at bygge en ML-model til semantisk segmentering er det først nødvendigt at mærke en stor mængde data på pixelniveau. Denne mærkningsproces er kompleks. Det kræver dygtige etikettere og betydelig tid - nogle billeder kan tage op til 2 timer eller mere at mærke nøjagtigt!

I 2019, blev vi udgav et ML-drevet interaktivt mærkningsværktøj kaldet Auto-segment for Ground Truth der giver dig mulighed for hurtigt og nemt at skabe segmenteringsmasker af høj kvalitet. For mere information, se Auto-segmenteringsværktøj. Denne funktion fungerer ved at give dig mulighed for at klikke på de øverste, venstre, nederste og længst højre "yderste punkter" på et objekt. En ML-model, der kører i baggrunden, indtager dette brugerinput og returnerer en segmenteringsmaske af høj kvalitet, der straks gengives i Ground Truth-mærkningsværktøjet. Denne funktion giver dig dog kun mulighed for at placere fire klik. I visse tilfælde kan den ML-genererede maske utilsigtet gå glip af visse dele af et billede, såsom omkring objektgrænsen, hvor kanterne er utydelige, eller hvor farve, mætning eller skygger blander sig ind i omgivelserne.

Ekstremt punktklik med et fleksibelt antal korrigerende klik

Vi har nu forbedret værktøjet til at tillade ekstra klik af grænsepunkter, hvilket giver feedback i realtid til ML-modellen. Dette giver dig mulighed for at skabe en mere nøjagtig segmenteringsmaske. I det følgende eksempel er det indledende segmenteringsresultat ikke nøjagtigt på grund af de svage grænser nær skyggen. Det er vigtigt, at dette værktøj fungerer i en tilstand, der giver mulighed for feedback i realtid – det kræver ikke, at du angiver alle punkter på én gang. I stedet kan du først lave fire museklik, hvilket vil udløse ML-modellen til at producere en segmenteringsmaske. Derefter kan du inspicere denne maske, lokalisere eventuelle potentielle unøjagtigheder og efterfølgende placere yderligere klik efter behov for at "skubbe" modellen til det korrekte resultat.

Vores tidligere mærkningsværktøj tillod dig at placere præcis fire museklik (røde prikker). Det indledende segmenteringsresultat (skraveret rødt område) er ikke nøjagtigt på grund af de svage grænser nær skyggen (nederst til venstre på den røde maske).

Med vores forbedrede mærkningsværktøj foretager brugeren igen først fire museklik (røde prikker i øverste figur). Så har du mulighed for at inspicere den resulterende segmenteringsmaske (skraveret rødt område i øverste figur). Du kan foretage yderligere museklik (grønne prikker i nederste figur) for at få modellen til at forfine masken (skraveret rødt område i nederste figur).

Sammenlignet med den originale version af værktøjet giver den forbedrede version et forbedret resultat, når objekter er deformerbare, ikke-konvekse og varierer i form og udseende.

Vi simulerede ydeevnen af ​​dette forbedrede værktøj på eksempeldata ved først at køre basislinjeværktøjet (med kun fire ekstreme klik) for at generere en segmenteringsmaske og evaluerede dets gennemsnitlige skæringspunkt over forening (mIoU), et fælles mål for nøjagtighed for segmenteringsmasker. Derefter anvendte vi simulerede korrigerende klik og evaluerede forbedringen i mIoU efter hvert simuleret klik. Følgende tabel opsummerer disse resultater. Den første række viser mIoU, og den anden række viser fejlen (som er givet ved 100 % minus mIoU). Med kun fem ekstra museklik kan vi reducere fejlen med 9% for denne opgave!

.	.	Antal korrigerende klik	.
.	Baseline	1	2	3	4	5
mIoU	72.72	76.56	77.62	78.89	80.57	81.73
Fejl	27 %	23 %	22 %	21 %	19 %	18 %

Integration med Ground Truth og præstationsprofilering

For at integrere denne model med Ground Truth følger vi et standardarkitekturmønster som vist i det følgende diagram. Først bygger vi ML-modellen ind i et Docker-image og implementerer det til Amazon Elastic Container Registry (Amazon ECR), et fuldt administreret Docker-containerregister, der gør det nemt at gemme, dele og implementere containerbilleder. Bruger SageMaker Inference Toolkit Ved opbygningen af ​​Docker-billedet kan vi nemt bruge bedste praksis til modelvisning og opnå slutning med lav latens. Så laver vi en Amazon SageMaker realtidsslutpunkt til at være vært for modellen. Vi introducerer en AWS Lambda fungere som proxy foran SageMaker-slutpunktet for at tilbyde forskellige typer datatransformation. Til sidst bruger vi Amazon API Gateway som en måde at integrere med vores frontend, Ground Truth-mærkningsapplikationen, for at give sikker autentificering til vores backend.

Du kan følge dette generiske mønster til dine egne brugstilfælde for specialbyggede ML-værktøjer og for at integrere dem med brugerdefinerede Ground Truth-opgave-UI'er. For mere information, se Byg et brugerdefineret datamærkningsworkflow med Amazon SageMaker Ground Truth.

Efter at have klargjort denne arkitektur og implementeret vores model ved hjælp af AWS Cloud Development Kit (AWS CDK), evaluerede vi latensegenskaberne for vores model med forskellige SageMaker-instanstyper. Dette er meget ligetil at gøre, fordi vi bruger SageMaker-slutpunkter i realtid til at tjene vores model. SageMaker-slutpunkter i realtid integreres problemfrit med amazoncloudwatch og udsender sådanne metrikker som hukommelsesudnyttelse og modellatens uden påkrævet opsætning (se SageMaker Endpoint Invocation Metrics for flere detaljer).

I den følgende figur viser vi ModelLatency-metrikken, der er indbygget udsendt af SageMaker-slutpunkter i realtid. Vi kan nemt bruge forskellige metriske matematiske funktioner i CloudWatch til at vise latency percentiler, såsom p50 eller p90 latency.

Følgende tabel opsummerer disse resultater for vores forbedrede ekstreme klikværktøj til semantisk segmentering for tre instanstyper: p2.xlarge, p3.2xlarge og g4dn.xlarge. Selvom p3.2xlarge-forekomsten giver den laveste latenstid, giver g4dn.xlarge-forekomsten det bedste forhold mellem omkostninger og ydeevne. g4dn.xlarge-forekomsten er kun 8 % langsommere (35 millisekunder) end p3.2xlarge-forekomsten, men den er 81 % billigere på timebasis end p3.2xlarge (se Amazon SageMaker-priser for flere detaljer om SageMaker-instanstyper og priser).

	SageMaker Instance Type	p90 latens (ms)
1	p2.xlarge	751
2	p3.2xlarge	424
3	g4dn.xlarge	459

Konklusion

I dette indlæg introducerede vi en udvidelse til Ground Truth autosegment-funktionen til semantiske segmenteringsannoteringsopgaver. Hvor den originale version af værktøjet giver dig mulighed for at lave præcis fire museklik, hvilket udløser en model til at give en segmenteringsmaske af høj kvalitet, gør udvidelsen dig i stand til at foretage korrigerende klik og derved opdatere og guide ML-modellen til at lave bedre forudsigelser. Vi præsenterede også et grundlæggende arkitektonisk mønster, som du kan bruge til at implementere og integrere interaktive værktøjer i Ground Truth-mærkningsbrugergrænseflader. Til sidst opsummerede vi modellatensen og viste, hvordan brugen af ​​SageMaker real-time inferens-endepunkter gør det nemt at overvåge modellens ydeevne.

For at lære mere om, hvordan dette værktøj kan reducere mærkningsomkostninger og øge nøjagtigheden, besøg Amazon SageMaker datamærkning at starte en konsultation i dag.

---

Om forfatterne

Jonathan Buck er softwareingeniør hos Amazon Web Services, der arbejder i skæringspunktet mellem maskinlæring og distribuerede systemer. Hans arbejde involverer produktion af maskinlæringsmodeller og udvikling af nye softwareapplikationer drevet af maskinlæring for at lægge de nyeste muligheder i hænderne på kunderne.

Li Erran Li er anvendt videnskabschef hos human-in-the-loop services, AWS AI, Amazon. Hans forskningsinteresser er 3D deep learning og læring af vision og sprogrepræsentation. Tidligere var han seniorforsker hos Alexa AI, leder af maskinlæring hos Scale AI og chefforsker hos Pony.ai. Før det var han sammen med perceptionsteamet hos Uber ATG og maskinlæringsplatformteamet hos Uber, der arbejdede med maskinlæring til autonom kørsel, maskinlæringssystemer og strategiske initiativer inden for AI. Han startede sin karriere på Bell Labs og var adjungeret professor ved Columbia University. Han underviste i tutorials på ICML'17 og ICCV'19 og var med til at organisere adskillige workshops på NeurIPS, ICML, CVPR, ICCV om maskinlæring til autonom kørsel, 3D-vision og robotteknologi, maskinlæringssystemer og adversarial machine learning. Han har en PhD i datalogi ved Cornell University. Han er ACM Fellow og IEEE Fellow.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/