Få-klikk segmenteringsmaskemerking i Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus er en administrert datamerkingstjeneste som gjør det enkelt å merke data for maskinlæringsapplikasjoner (ML). Et vanlig brukstilfelle er semantisk segmentering, som er en datasyn ML-teknikk som innebærer å tilordne klasseetiketter til individuelle piksler i et bilde. For eksempel, i videobilder tatt av et kjøretøy i bevegelse, kan klasseetiketter inkludere kjøretøy, fotgjengere, veier, trafikksignaler, bygninger eller bakgrunner. Det gir en høypresisjonsforståelse av plasseringen av forskjellige objekter i bildet og brukes ofte til å bygge persepsjonssystemer for autonome kjøretøy eller robotikk. For å bygge en ML-modell for semantisk segmentering, er det først nødvendig å merke et stort datavolum på pikselnivå. Denne merkeprosessen er kompleks. Det krever dyktige etikettere og betydelig tid – noen bilder kan ta opptil 2 timer eller mer å merke nøyaktig!

I 2019, vi ga ut et ML-drevet interaktivt merkeverktøy kalt Auto-segment for Ground Truth som lar deg raskt og enkelt lage segmenteringsmasker av høy kvalitet. For mer informasjon, se Verktøy for automatisk segmentering. Denne funksjonen fungerer ved at du kan klikke på de øverste, venstre, nederste og høyre "ekstrempunktene" på et objekt. En ML-modell som kjører i bakgrunnen vil innta denne brukerinndata og returnere en segmenteringsmaske av høy kvalitet som umiddelbart gjengis i merkeverktøyet Ground Truth. Denne funksjonen lar deg imidlertid bare plassere fire klikk. I visse tilfeller kan den ML-genererte masken utilsiktet gå glipp av visse deler av et bilde, for eksempel rundt objektgrensen der kantene er utydelige eller hvor farger, metning eller skygger blander seg inn i omgivelsene.

Ekstremt punktklikking med et fleksibelt antall korrigerende klikk

Vi har nå forbedret verktøyet for å tillate ekstra klikk på grensepunkter, noe som gir sanntids tilbakemelding til ML-modellen. Dette lar deg lage en mer nøyaktig segmenteringsmaske. I det følgende eksempelet er det innledende segmenteringsresultatet ikke nøyaktig på grunn av de svake grensene nær skyggen. Viktigere er at dette verktøyet fungerer i en modus som tillater tilbakemelding i sanntid – det krever ikke at du spesifiserer alle punktene samtidig. I stedet kan du først gjøre fire museklikk, som vil utløse ML-modellen til å produsere en segmenteringsmaske. Deretter kan du inspisere denne masken, finne eventuelle unøyaktigheter og deretter plassere flere klikk etter behov for å "dytte" modellen til riktig resultat.

Vårt forrige merkeverktøy tillot deg å plassere nøyaktig fire museklikk (røde prikker). Det første segmenteringsresultatet (skyggelagt rødt område) er ikke nøyaktig på grunn av de svake grensene nær skyggen (nederst til venstre på den røde masken).

Med vårt forbedrede merkeverktøy gjør brukeren igjen først fire museklikk (røde prikker i toppfiguren). Deretter har du muligheten til å inspisere den resulterende segmenteringsmasken (skravert rødt område i toppfiguren). Du kan foreta flere museklikk (grønne prikker i nederste figur) for å få modellen til å avgrense masken (skravert rødt område i nederste figur).

Sammenlignet med den originale versjonen av verktøyet, gir den forbedrede versjonen et forbedret resultat når objekter er deformerbare, ikke-konvekse og varierer i form og utseende.

Vi simulerte ytelsen til dette forbedrede verktøyet på eksempeldata ved først å kjøre grunnlinjeverktøyet (med bare fire ekstreme klikk) for å generere en segmenteringsmaske og evaluerte dets gjennomsnittlige skjæringspunkt over union (mIoU), et vanlig mål på nøyaktighet for segmenteringsmasker. Deretter brukte vi simulerte korrigerende klikk og evaluerte forbedringen i mIoU etter hvert simulert klikk. Følgende tabell oppsummerer disse resultatene. Den første raden viser mIoU, og den andre raden viser feilen (som er gitt av 100 % minus mIoU). Med bare fem ekstra museklikk kan vi redusere feilen med 9 % for denne oppgaven!

.	.	Antall korrigerende klikk	.
.	Baseline	1	2	3	4	5
mIoU	72.72	76.56	77.62	78.89	80.57	81.73
Feil	27%	23%	22%	21%	19%	18%

Integrasjon med Ground Truth og ytelsesprofilering

For å integrere denne modellen med Ground Truth følger vi et standard arkitekturmønster som vist i følgende diagram. Først bygger vi ML-modellen inn i et Docker-bilde og distribuerer den til Amazon Elastic Container Registry (Amazon ECR), et fullt administrert Docker-beholderregister som gjør det enkelt å lagre, dele og distribuere beholderbilder. Bruker SageMaker Inference Toolkit Ved å bygge Docker-bildet kan vi enkelt bruke beste praksis for modellvisning og oppnå slutninger med lav latens. Vi lager deretter en Amazon SageMaker sanntidsendepunkt for å være vert for modellen. Vi introduserer en AWS Lambda fungere som en proxy foran SageMaker-endepunktet for å tilby ulike typer datatransformasjon. Til slutt bruker vi Amazon API-gateway som en måte å integrere med vår frontend, Ground Truth-merkeapplikasjonen, for å gi sikker autentisering til vår backend.

Du kan følge dette generiske mønsteret for dine egne brukstilfeller for spesialbygde ML-verktøy og for å integrere dem med tilpassede Ground Truth-oppgavegrensesnitt. For mer informasjon, se Bygg en tilpasset arbeidsmerking for datamerking med Amazon SageMaker Ground Truth.

Etter å ha klargjort denne arkitekturen og distribuert modellen vår ved hjelp av AWS skyutviklingssett (AWS CDK), evaluerte vi latensegenskapene til modellen vår med forskjellige SageMaker-forekomsttyper. Dette er veldig enkelt å gjøre fordi vi bruker SageMaker sanntidsslutningsendepunkter for å betjene modellen vår. SageMaker sanntidsslutningsendepunkter integreres sømløst med Amazon CloudWatch og sender ut slike beregninger som minneutnyttelse og modellforsinkelse uten nødvendig oppsett (se SageMaker Endpoint Invocation Metrics for flere detaljer).

I den følgende figuren viser vi ModelLatency-metrikken som sendes ut av SageMaker sanntidsslutningsendepunkter. Vi kan enkelt bruke ulike metriske matematiske funksjoner i CloudWatch for å vise latenstidspersentiler, for eksempel p50 eller p90 latens.

Følgende tabell oppsummerer disse resultatene for vårt forbedrede ekstremklikkverktøy for semantisk segmentering for tre forekomsttyper: p2.xlarge, p3.2xlarge og g4dn.xlarge. Selv om p3.2xlarge-forekomsten gir den laveste latensen, gir g4dn.xlarge-forekomsten det beste kostnad-til-ytelse-forholdet. g4dn.xlarge-forekomsten er bare 8 % tregere (35 millisekunder) enn p3.2xlarge-forekomsten, men den er 81 % rimeligere på timebasis enn p3.2xlarge (se Amazon SageMaker-priser for mer informasjon om SageMaker-forekomsttyper og priser).

	SageMaker-forekomsttype	p90 latens (ms)
1	p2.xlarge	751
2	s3.2xlarge	424
3	g4dn.xlarge	459

konklusjonen

I dette innlegget introduserte vi en utvidelse til Ground Truth-autosegmentfunksjonen for merknadsoppgaver for semantisk segmentering. Mens den originale versjonen av verktøyet lar deg gjøre nøyaktig fire museklikk, som utløser en modell for å gi en segmenteringsmaske av høy kvalitet, lar utvidelsen deg gjøre korrigerende klikk og derved oppdatere og veilede ML-modellen for å lage bedre spådommer. Vi presenterte også et grunnleggende arkitektonisk mønster som du kan bruke til å distribuere og integrere interaktive verktøy i Ground Truth-merkingsgrensesnitt. Til slutt oppsummerte vi modellforsinkelsen, og viste hvordan bruken av SageMaker sanntidsslutningsendepunkter gjør det enkelt å overvåke modellens ytelse.

For å lære mer om hvordan dette verktøyet kan redusere merkekostnadene og øke nøyaktigheten, besøk Amazon SageMaker-datamerking for å starte en konsultasjon i dag.

---

Om forfatterne

Jonathan Buck er en programvareingeniør hos Amazon Web Services som jobber i skjæringspunktet mellom maskinlæring og distribuerte systemer. Arbeidet hans involverer produksjon av maskinlæringsmodeller og utvikling av nye programvareapplikasjoner drevet av maskinlæring for å gi kundene de siste mulighetene.

Li Erran Li er sjef for anvendt vitenskap ved human-in-the-loop-tjenester, AWS AI, Amazon. Hans forskningsinteresser er dyp læring i 3D, og ​​læring av syn og språkrepresentasjon. Tidligere var han seniorforsker ved Alexa AI, leder for maskinlæring ved Scale AI og sjefforsker ved Pony.ai. Før det var han sammen med persepsjonsteamet hos Uber ATG og maskinlæringsplattformteamet hos Uber og jobbet med maskinlæring for autonom kjøring, maskinlæringssystemer og strategiske initiativer til AI. Han startet sin karriere ved Bell Labs og var adjunkt ved Columbia University. Han underviste i opplæringsprogrammer på ICML'17 og ICCV'19, og var med på å organisere flere workshops på NeurIPS, ICML, CVPR, ICCV om maskinlæring for autonom kjøring, 3D-syn og robotikk, maskinlæringssystemer og motstridende maskinlæring. Han har en doktorgrad i informatikk ved Cornell University. Han er ACM-stipendiat og IEEE-stipendiat.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/