Labeling van segmentatiemaskers met weinig klikken in Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus is een beheerde service voor het labelen van gegevens die het eenvoudig maakt om gegevens te labelen voor machine learning (ML)-toepassingen. Een veelvoorkomende use-case is semantische segmentatie, een computer vision ML-techniek waarbij klasselabels worden toegewezen aan individuele pixels in een afbeelding. In videoframes die zijn vastgelegd door een bewegend voertuig, kunnen klasselabels bijvoorbeeld voertuigen, voetgangers, wegen, verkeerslichten, gebouwen of achtergronden bevatten. Het biedt een zeer nauwkeurig begrip van de locaties van verschillende objecten in het beeld en wordt vaak gebruikt om waarnemingssystemen voor autonome voertuigen of robotica te bouwen. Om een ​​ML-model voor semantische segmentatie te bouwen, is het eerst nodig om een ​​grote hoeveelheid gegevens op pixelniveau te labelen. Dit etiketteringsproces is complex. Het vereist bekwame labelers en veel tijd - sommige afbeeldingen kunnen tot 2 uur of langer nodig hebben om nauwkeurig te labelen!

In 2019, we hebben een ML-aangedreven interactieve labeltool uitgebracht genaamd Auto-segment for Ground Truth waarmee u snel en eenvoudig hoogwaardige segmentatiemaskers kunt maken. Voor meer informatie, zie Tool voor automatische segmentatie. Deze functie werkt doordat u op de bovenste, linker, onderste en meest rechtse "uiterste punten" van een object kunt klikken. Een ML-model dat op de achtergrond draait, neemt deze gebruikersinvoer op en retourneert een segmentatiemasker van hoge kwaliteit dat onmiddellijk wordt weergegeven in de Ground Truth-labeltool. Met deze functie kunt u echter slechts vier klikken plaatsen. In bepaalde gevallen kan het door ML gegenereerde masker onbedoeld bepaalde delen van een afbeelding missen, zoals rond de objectgrens waar randen onduidelijk zijn of waar kleur, verzadiging of schaduwen opgaan in de omgeving.

Extreem puntklikken met een flexibel aantal corrigerende klikken

We hebben de tool nu verbeterd om extra klikken op grenspunten mogelijk te maken, wat real-time feedback geeft aan het ML-model. Hierdoor kunt u een nauwkeuriger segmentatiemasker maken. In het volgende voorbeeld is het aanvankelijke segmentatieresultaat niet nauwkeurig vanwege de zwakke grenzen bij de schaduw. Belangrijk is dat deze tool werkt in een modus die real-time feedback mogelijk maakt - u hoeft niet alle punten tegelijk op te geven. In plaats daarvan kunt u eerst vier muisklikken maken, waardoor het ML-model een segmentatiemasker produceert. Vervolgens kunt u dit masker inspecteren, mogelijke onnauwkeurigheden lokaliseren en vervolgens waar nodig extra klikken plaatsen om het model naar het juiste resultaat te "duwen".

Met onze vorige labeltool kon je precies vier muisklikken plaatsen (rode stippen). Het aanvankelijke segmentatieresultaat (rood gearceerd gebied) is niet nauwkeurig vanwege de zwakke grenzen nabij de schaduw (linksonder in het rode masker).

Met onze verbeterde labeltool maakt de gebruiker opnieuw eerst vier muisklikken (rode stippen in bovenste figuur). Vervolgens heeft u de mogelijkheid om het resulterende segmentatiemasker te inspecteren (rood gearceerd gebied in bovenste afbeelding). U kunt extra muisklikken maken (groene stippen in de onderste afbeelding) om het model het masker te laten verfijnen (rode gearceerde zone in de onderste afbeelding).

Vergeleken met de originele versie van de tool, biedt de verbeterde versie een verbeterd resultaat wanneer objecten vervormbaar en niet-convex zijn en variëren in vorm en uiterlijk.

We simuleerden de prestaties van deze verbeterde tool op voorbeeldgegevens door eerst de baseline-tool uit te voeren (met slechts vier extreme klikken) om een ​​segmentatiemasker te genereren en de gemiddelde Intersection over Union (mIoU) te evalueren, een gebruikelijke maatstaf voor nauwkeurigheid voor segmentatiemaskers. Vervolgens pasten we gesimuleerde corrigerende klikken toe en evalueerden we de verbetering in mIoU na elke gesimuleerde klik. De volgende tabel vat deze resultaten samen. De eerste rij toont de mIoU en de tweede rij toont de fout (die wordt gegeven door 100% minus de mIoU). Met slechts vijf extra muisklikken kunnen we de fout voor deze taak met 9% verminderen!

.	.	Aantal corrigerende klikken	.
.	Baseline	1	2	3	4	5
mIou	72.72	76.56	77.62	78.89	80.57	81.73
Fout	27%	23%	22%	21%	19%	18%

Integratie met Ground Truth en prestatieprofilering

Om dit model te integreren met Ground Truth, volgen we een standaard architectuurpatroon zoals weergegeven in het volgende diagram. Eerst bouwen we het ML-model in een Docker-image en implementeren we het in Amazon Elastic Container-register (Amazon ECR), een volledig beheerd Docker-containerregister dat het gemakkelijk maakt om container-images op te slaan, te delen en te implementeren. De ... gebruiken SageMaker Inferentie Toolkit bij het bouwen van de Docker-image stelt ons in staat om eenvoudig best practices voor modelserving te gebruiken en low-latency inference te bereiken. Wij maken dan een Amazon Sage Maker real-time eindpunt om het model te hosten. We introduceren een AWS Lambda functioneren als een proxy voor het SageMaker-eindpunt om verschillende soorten gegevenstransformatie aan te bieden. Tot slot gebruiken we Amazon API-gateway als een manier om te integreren met onze front-end, de Ground Truth-labeltoepassing, om veilige authenticatie te bieden aan onze backend.

U kunt dit generieke patroon volgen voor uw eigen use-cases voor speciaal gebouwde ML-tools en om ze te integreren met aangepaste Ground Truth-taak-UI's. Voor meer informatie, zie Bouw een aangepaste workflow voor gegevensetikettering met Amazon SageMaker Ground Truth.

Na het inrichten van deze architectuur en het implementeren van ons model met behulp van de AWS Cloud-ontwikkelingskit (AWS CDK), hebben we de latentiekarakteristieken van ons model geëvalueerd met verschillende SageMaker-instantietypen. Dit is heel eenvoudig omdat we SageMaker real-time inferentie-eindpunten gebruiken om ons model te bedienen. SageMaker real-time inferentie-eindpunten integreren naadloos met Amazon Cloud Watch en meetgegevens zoals geheugengebruik en modellatentie uitzenden zonder vereiste instellingen (zie SageMaker Endpoint-aanroepstatistieken voor meer details).

In de volgende afbeelding laten we de ModelLatency-statistiek zien die native wordt uitgezonden door SageMaker real-time inferentie-eindpunten. We kunnen eenvoudig verschillende metrische wiskundige functies in CloudWatch gebruiken om latentiepercentielen weer te geven, zoals p50- of p90-latentie.

De volgende tabel vat deze resultaten samen voor onze verbeterde tool voor extreem klikken voor semantische segmentatie voor drie instantietypen: p2.xlarge, p3.2xlarge en g4dn.xlarge. Hoewel de p3.2xlarge-instantie de laagste latentie biedt, biedt de g4dn.xlarge-instantie de beste kosten-prestatieverhouding. De instantie g4dn.xlarge is slechts 8% langzamer (35 milliseconden) dan de instantie p3.2xlarge, maar is op uurbasis 81% goedkoper dan de instantie p3.2xlarge (zie Amazon SageMaker-prijzen voor meer informatie over SageMaker-instantietypen en prijzen).

	SageMaker-instantietype	p90 Latentie (ms)
1	p2.xgroot	751
2	p3.2xgroot	424
3	g4dn.xlarge	459

Conclusie

In dit bericht hebben we een uitbreiding geïntroduceerd van de automatische segmentfunctie van Ground Truth voor semantische segmentatie-annotatietaken. Terwijl u met de originele versie van de tool precies vier muisklikken kunt maken, waardoor een model wordt geactiveerd om een ​​hoogwaardig segmentatiemasker te bieden, kunt u met de extensie corrigerende klikken maken en zo het ML-model updaten en begeleiden om betere voorspellingen te doen. We hebben ook een basisarchitectuurpatroon gepresenteerd dat u kunt gebruiken om interactieve tools in te zetten en te integreren in gebruikersinterfaces voor Ground Truth-labels. Ten slotte hebben we de latentie van het model samengevat en laten zien hoe het gebruik van SageMaker real-time inferentie-eindpunten het gemakkelijk maakt om de modelprestaties te bewaken.

Voor meer informatie over hoe deze tool de etiketteringskosten kan verlagen en de nauwkeurigheid kan verhogen, gaat u naar Amazon SageMaker-gegevensetikettering om vandaag een consult te starten.

---

Over de auteurs

Jonathan Bok is een Software Engineer bij Amazon Web Services en werkt op het snijvlak van machine learning en gedistribueerde systemen. Zijn werk omvat het produceren van machine learning-modellen en het ontwikkelen van nieuwe softwaretoepassingen die worden aangedreven door machine learning om de nieuwste mogelijkheden in handen van klanten te krijgen.

Li Erran Li is de toegepaste wetenschapsmanager bij humain-in-the-loop services, AWS AI, Amazon. Zijn onderzoeksinteresses zijn 3D deep learning en het leren van visie en taalrepresentatie. Eerder was hij senior wetenschapper bij Alexa AI, hoofd machine learning bij Scale AI en hoofdwetenschapper bij Pony.ai. Daarvoor werkte hij bij het perceptieteam bij Uber ATG en het machine learning platformteam bij Uber aan machine learning voor autonoom rijden, machine learning-systemen en strategische initiatieven van AI. Hij begon zijn carrière bij Bell Labs en was adjunct-professor aan Columbia University. Hij gaf mede-tutorials aan ICML'17 en ICCV'19, en was medeorganisator van verschillende workshops bij NeurIPS, ICML, CVPR, ICCV over machine learning voor autonoom rijden, 3D-visie en robotica, machine learning-systemen en adversarial machine learning. Hij is gepromoveerd in computerwetenschappen aan de Cornell University. Hij is een ACM Fellow en IEEE Fellow.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/