Mõne klõpsuga segmenteerimismaski märgistus rakenduses Amazon SageMaker Ground Truth Plus

Amazon SageMaker Ground Truth Plus on hallatud andmete sildistamise teenus, mis muudab masinõppe (ML) rakenduste jaoks andmete sildistamise lihtsaks. Üks levinud kasutusjuhtum on semantiline segmenteerimine, mis on arvutinägemise ML-tehnika, mis hõlmab klassisiltide määramist pildi üksikutele pikslitele. Näiteks liikuva sõiduki jäädvustatud videokaadrites võivad klassisildid hõlmata sõidukeid, jalakäijaid, teid, liiklussignaale, hooneid või tausta. See annab suure täpsusega arusaamise erinevate objektide asukohtadest pildil ja seda kasutatakse sageli autonoomsete sõidukite või robootika tajusüsteemide ehitamiseks. Semantilise segmenteerimise jaoks ML-mudeli koostamiseks on kõigepealt vaja pikslitasandil märgistada suur hulk andmeid. See märgistamisprotsess on keeruline. See nõuab oskuslikke sildistajaid ja palju aega – mõne pildi täpseks märgistamiseks võib kuluda kuni 2 tundi või rohkem!

Aastal 2019, andsime välja ML-toega interaktiivse märgistamistööriista nimega Auto-segment for Ground Truth mis võimaldab teil kiiresti ja lihtsalt luua kvaliteetseid segmentimismaske. Lisateabe saamiseks vt Automaatse segmenteerimise tööriist. See funktsioon toimib, võimaldades teil klõpsata objekti ülemises, vasakpoolses, alumises ja paremas äärmises punktis. Taustal töötav ML-mudel neelab selle kasutaja sisendi ja tagastab kvaliteetse segmenteerimismaski, mis renderdab kohe Ground Truthi märgistamistööriistas. Kuid see funktsioon võimaldab teil teha ainult neli klõpsu. Teatud juhtudel võib ML-i loodud mask tahtmatult vahele jätta pildi teatud osad, näiteks objekti piiri ümber, kus servad on ebaselged või kus värv, küllastus või varjud sulanduvad ümbritsevasse.

Äärmuslik klõpsamine koos paindliku korrigeerivate klõpsude arvuga

Oleme nüüd täiustanud tööriista, et võimaldada piiripunktide lisaklõpse, mis annab ML-mudelile reaalajas tagasisidet. See võimaldab teil luua täpsema segmenteerimismaski. Järgmises näites ei ole esialgne segmenteerimise tulemus täpne varju lähedal olevate nõrkade piiride tõttu. Oluline on see, et see tööriist töötab režiimis, mis võimaldab reaalajas tagasisidet – see ei nõua kõigi punktide korraga määramist. Selle asemel saate esmalt teha neli hiireklõpsu, mis käivitab ML-mudeli segmenteerimismaski loomisel. Seejärel saate seda maski kontrollida, tuvastada võimalikud ebatäpsused ja seejärel teha vajaduse korral täiendavaid klõpse, et mudel õigesse tulemust „nihutada”.

Meie eelmine märgistamistööriist võimaldas teil teha täpselt neli hiireklõpsu (punased punktid). Esialgne segmenteerimise tulemus (varjutatud punane ala) ei ole täpne, kuna varju lähedal on nõrgad piirid (punase maski all vasakul).

Meie täiustatud märgistamistööriistaga teeb kasutaja jällegi esmalt neli hiireklõpsu (ülemisel joonisel punased täpid). Seejärel on teil võimalus kontrollida saadud segmenteerimismaski (ülemisel joonisel varjutatud punane ala). Saate teha täiendavaid hiireklõpse (rohelised täpid alumisel joonisel), et mudel viimistleks maski (varjutatud punane ala alumisel joonisel).

Võrreldes tööriista algse versiooniga annab täiustatud versioon parema tulemuse, kui objektid on deformeeruvad, mittekumerad ning erineva kuju ja välimusega.

Simuleerisime selle täiustatud tööriista toimivust näidisandmete põhjal, käivitades algtaseme tööriista (ainult nelja äärmise klõpsuga), et luua segmenteerimismask, ja hindasime selle keskmist ristmikku üle liidu (mIoU), mis on segmenteerimismaskide tavaline täpsuse mõõt. Seejärel rakendasime simuleeritud korrigeerivaid klikke ja hindasime miljonite ühikute paranemist pärast iga simuleeritud klikki. Järgmises tabelis on need tulemused kokku võetud. Esimene rida näitab MIOU ja teine ​​rida näitab viga (mis on antud 100% miinus mIoU). Ainult viie täiendava hiireklõpsuga saame selle ülesande puhul viga 9% võrra vähendada!

.	.	Korrigeerivate klikkide arv	.
.	Baseline	1	2	3	4	5
MIOU	72.72	76.56	77.62	78.89	80.57	81.73
viga	27%	23%	22%	21%	19%	18%

Integratsioon Ground Truthiga ja jõudluse profileerimine

Selle mudeli integreerimiseks Ground Truthiga järgime standardset arhitektuurimustrit, nagu on näidatud järgmisel diagrammil. Esiteks ehitame ML-mudeli Dockeri kujutiseks ja juurutame selle Amazoni elastsete konteinerite register (Amazon ECR), täielikult hallatav Dockeri konteineri register, mis muudab konteineri kujutiste salvestamise, jagamise ja juurutamise lihtsaks. Kasutades SageMakeri järelduste tööriistakomplekt Dockeri kujutise loomine võimaldab meil hõlpsasti kasutada mudelite teenindamise parimaid tavasid ja teha väikese latentsusajaga järeldusi. Seejärel loome an Amazon SageMaker reaalajas lõpp-punkt mudeli hostimiseks. Tutvustame an AWS Lambda toimib puhverserverina SageMakeri lõpp-punkti ees, et pakkuda erinevat tüüpi andmete teisendamist. Lõpuks kasutame Amazon API värav et integreerida meie kasutajaliidese Ground Truthi sildistamisrakendusega, et pakkuda meie taustaprogrammile turvalist autentimist.

Saate järgida seda üldist mustrit oma kasutusjuhtumite jaoks spetsiaalselt loodud ML-tööriistade jaoks ja integreerida need kohandatud Ground Truthi ülesannete kasutajaliidestega. Lisateabe saamiseks vaadake Looge kohandatud andmete märgistamise töövoog rakendusega Amazon SageMaker Ground Truth.

Pärast selle arhitektuuri ettevalmistamist ja meie mudeli juurutamist, kasutades AWS pilvearenduskomplekt (AWS CDK), hindasime oma mudeli latentsusomadusi erinevate SageMakeri eksemplaritüüpidega. Seda on väga lihtne teha, kuna kasutame oma mudeli teenindamiseks SageMakeri reaalajas järelduste lõpp-punkte. SageMakeri reaalajas järelduste lõpp-punktid integreeruvad sujuvalt Amazon CloudWatch ja väljastavad sellised mõõdikud nagu mälukasutus ja mudeli latentsus ilma nõutava häälestuseta (vt SageMakeri lõpp-punkti kutsumise mõõdikud üksikasjad).

Järgmisel joonisel näitame SageMakeri reaalajas järelduste lõpp-punktide poolt väljastatud ModelLatency mõõdikut. Saame CloudWatchis hõlpsasti kasutada erinevaid matemaatilisi metrilisi funktsioone, et näidata latentsusprotsentiile, näiteks p50 või p90 latentsusaeg.

Järgmine tabel võtab kokku need tulemused meie täiustatud ekstreemse klõpsamistööriista jaoks semantilise segmenteerimise jaoks kolme eksemplaritüübi jaoks: p2.xlarge, p3.2xlarge ja g4dn.xlarge. Kuigi eksemplar p3.2xlarge tagab väikseima latentsuse, pakub eksemplar g4dn.xlarge parimat kulu ja toimivuse suhet. Eksemplar g4dn.xlarge on ainult 8% aeglasem (35 millisekundit) kui p3.2xlarge, kuid see on tunnipõhiselt 81% odavam kui p3.2xlarge (vt. Amazon SageMakeri hinnakujundus SageMakeri eksemplari tüüpide ja hindade kohta lisateabe saamiseks).

	SageMakeri eksemplari tüüp	p90 Latentsus (ms)
1	p2.xlarge	751
2	p3.2xsuur	424
3	g4dn.xlarge	459

Järeldus

Selles postituses tutvustasime semantilise segmenteerimise annotatsiooniülesannete jaoks Ground Truthi automaatse segmendi funktsiooni laiendust. Kui tööriista algversioon võimaldab teil teha täpselt neli hiireklõpsu, mis käivitab mudeli, et pakkuda kvaliteetset segmenteerimismaski, siis laiendus võimaldab teil teha korrigeerivaid klõpse ning seeläbi värskendada ja suunata ML-mudelit paremate prognooside tegemiseks. Esitasime ka põhilise arhitektuurimustri, mida saate kasutada interaktiivsete tööriistade juurutamiseks ja integreerimiseks Ground Truthi märgistamise kasutajaliidestesse. Lõpuks tegime kokkuvõtte mudeli latentsusest ja näitasime, kuidas SageMakeri reaalajas järelduste lõpp-punktide kasutamine muudab mudeli jõudluse jälgimise lihtsaks.

Lisateavet selle kohta, kuidas see tööriist märgistamiskulusid vähendada ja täpsust suurendada, leiate aadressilt Amazon SageMakeri andmete märgistamine alustada konsultatsiooni täna.

---

Autoritest

Jonathan Buck on Amazon Web Servicesi tarkvarainsener, kes töötab masinõppe ja hajutatud süsteemide ristumiskohas. Tema töö hõlmab masinõppe mudelite tootmist ja uudsete masinõppel põhinevate tarkvararakenduste arendamist, et anda klientidele uusimad võimalused.

Li Erran Li on rakendusteaduste juht ettevõttes Humain-in-the-loop Services, AWS AI, Amazon. Tema uurimisvaldkonnad on 3D süvaõpe ning visiooni ja keele esituse õpe. Varem oli ta Alexa AI vanemteadur, Scale AI masinõppe juht ja Pony.ai peateadlane. Enne seda töötas ta Uber ATG tajumeeskonnas ja Uberi masinõppeplatvormi meeskonnas, kes töötas autonoomse sõidu masinõppe, masinõppesüsteemide ja tehisintellekti strateegiliste algatuste kallal. Ta alustas oma karjääri Bell Labsis ja oli Columbia ülikooli dotsent. Ta õpetas ICML'17 ja ICCV'19 õpetusi ning korraldas NeurIPS-is, ICML-is, CVPR-is ja ICCV-s mitmeid seminare autonoomse juhtimise masinõppe, 3D-nägemise ja robootika, masinõppesüsteemide ja võistleva masinõppe teemal. Tal on Cornelli ülikoolis arvutiteaduse doktorikraad. Ta on ACM Fellow ja IEEE Fellow.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/