Muutamalla napsautuksella segmentointimaskin merkintä Amazon SageMaker Ground Truth Plusissa

Amazon SageMaker Ground Truth Plus on hallittu tiedon merkintäpalvelu, jonka avulla on helppo merkitä tiedot koneoppimissovelluksiin (ML). Yksi yleinen käyttötapa on semanttinen segmentointi, joka on tietokonenäön ML-tekniikka, joka sisältää luokkatunnisteiden määrittämisen kuvan yksittäisille pikseleille. Esimerkiksi liikkuvan ajoneuvon kuvaamissa videokehyksissä luokkatunnisteet voivat sisältää ajoneuvoja, jalankulkijoita, teitä, liikennemerkkejä, rakennuksia tai taustoja. Se tarjoaa erittäin tarkan käsityksen eri kohteiden sijainnista kuvassa, ja sitä käytetään usein rakentamaan havainnointijärjestelmiä autonomisille ajoneuvoille tai robotiikalle. ML-mallin rakentamiseksi semanttista segmentointia varten on ensin tarpeen merkitä suuri määrä dataa pikselitasolla. Tämä merkintäprosessi on monimutkainen. Se vaatii taitavia merkintöjä ja paljon aikaa – joidenkin kuvien tarkkuus merkitseminen voi kestää jopa 2 tuntia tai enemmän!

Vuonna 2019, julkaisimme ML-käyttöisen interaktiivisen merkintätyökalun nimeltä Auto-segment for Ground Truth jonka avulla voit luoda nopeasti ja helposti korkealaatuisia segmentointimaskeja. Katso lisätietoja Automaattinen segmentointityökalu. Tämä ominaisuus toimii sallimalla sinun napsauttaa kohteen ylä-, vasen-, ala- ja oikeanpuoleisimpia "ääripisteitä". Taustalla toimiva ML-malli ottaa tämän käyttäjän syötteen ja palauttaa korkealaatuisen segmentointimaskin, joka hahmonnetaan välittömästi Ground Truth -merkintätyökalussa. Tämän ominaisuuden avulla voit kuitenkin tehdä vain neljä napsautusta. Tietyissä tapauksissa ML:n luoma maski saattaa vahingossa ohittaa kuvan tietyt osat, kuten kohteen rajan ympäriltä, ​​jossa reunat ovat epäselviä tai joissa värit, kylläisyys tai varjot sulautuvat ympäristöön.

Äärimmäinen pistenapsauttaminen joustavalla korjaavien napsautusten määrällä

Olemme nyt parantaneet työkalua mahdollistamaan ylimääräiset rajapisteiden napsautukset, mikä antaa reaaliaikaista palautetta ML-malliin. Näin voit luoda tarkemman segmentointimaskin. Seuraavassa esimerkissä alkuperäinen segmentointitulos ei ole tarkka varjon lähellä olevien heikkojen rajojen vuoksi. Tärkeää on, että tämä työkalu toimii tilassa, joka mahdollistaa reaaliaikaisen palautteen - se ei vaadi sinua määrittämään kaikkia pisteitä kerralla. Sen sijaan voit ensin tehdä neljä hiiren napsautusta, mikä käynnistää ML-mallin tuottamaan segmentointimaskin. Sitten voit tarkastaa tämän maskin, paikantaa mahdolliset epätarkkuudet ja sen jälkeen tehdä lisänapsautuksia tarpeen mukaan "työntää" mallia oikeaan tulokseen.

Edellinen merkintätyökalumme mahdollisti tasan neljä hiiren napsautusta (punaiset pisteet). Alkuperäinen segmentointitulos (varjostettu punainen alue) ei ole tarkka, koska varjon lähellä on heikkoja rajoja (punaisen maskin vasemmassa alakulmassa).

Tehostetulla merkintätyökalullamme käyttäjä tekee jälleen neljä hiiren napsautusta (punaiset pisteet yläkuvassa). Sitten sinulla on mahdollisuus tarkastaa tuloksena oleva segmentointimaski (varjostettu punainen alue yläkuvassa). Voit tehdä lisää hiiren napsautuksia (vihreitä pisteitä alakuvassa), jolloin malli tarkentaa maskia (varjostettu punainen alue alakuvassa).

Verrattuna työkalun alkuperäiseen versioon, parannettu versio tarjoaa paremman tuloksen, kun esineet ovat muotoaan muuttavia, ei-kuperia ja vaihtelevat muodoltaan ja ulkonäöltään.

Simuloimme tämän parannetun työkalun suorituskykyä näytetiedoilla suorittamalla ensin perustyökalun (vain neljällä äärimmäisellä napsautuksella) segmentointimaskin luomiseksi ja arvioimalla sen keskimääräistä leikkausta unionin yli (mIoU), joka on yleinen segmentointimaskien tarkkuuden mitta. Sitten käytimme simuloituja korjaavia napsautuksia ja arvioimme miljoonien parannusten jokaisen simuloidun napsautuksen jälkeen. Seuraavassa taulukossa on yhteenveto näistä tuloksista. Ensimmäisellä rivillä näkyy mIoU ja toisella rivillä on virhe (joka saadaan 100 % miinus mIoU). Vain viidellä ylimääräisellä hiiren napsautuksella voimme vähentää virhettä 9 % tässä tehtävässä!

.	.	Korjaavien napsautusten määrä	.
.	Lähtötilanne	1	2	3	4	5
MIOU	72.72	76.56	77.62	78.89	80.57	81.73
Virhe	27%	23%	22%	21%	19%	18%

Integrointi Ground Truthiin ja suorituskyvyn profilointi

Integroidaksemme tämän mallin Ground Truthiin, noudatamme vakioarkkitehtuurimallia seuraavan kaavion mukaisesti. Ensin rakennamme ML-mallin Docker-kuvaksi ja otamme sen käyttöön Amazonin elastisten säiliörekisteri (Amazon ECR), täysin hallittu Docker-säilörekisteri, jonka avulla on helppo tallentaa, jakaa ja ottaa käyttöön säilökuvia. Käyttämällä SageMaker Inference Toolkit Docker-kuvan rakentamisen avulla voimme helposti käyttää parhaita käytäntöjä mallien palvelemiseen ja tehdä matalan latenssin päätelmiä. Luomme sitten an Amazon Sage Maker reaaliaikainen päätepiste mallin isännöimiseksi. Esittelemme an AWS Lambda toimii välityspalvelimena SageMaker-päätepisteen edessä tarjotakseen erilaisia ​​datamuunnoksia. Lopuksi käytämme Amazon API -yhdyskäytävä tapana integroida käyttöliittymäämme, Ground Truth -merkintäsovellukseen, tarjotaksemme suojatun todennuksen taustajärjestelmällemme.

Voit seurata tätä yleistä kaavaa omissa käyttötapauksissasi tarkoitukseen rakennetuille ML-työkaluille ja integroida ne mukautettujen Ground Truth -tehtäväkäyttöliittymien kanssa. Lisätietoja on kohdassa Luo mukautettu tietojen merkitsemisen työnkulku Amazon SageMaker Ground Truth -sovelluksen avulla.

Kun olet valmistanut tämän arkkitehtuurin ja ottanut mallimme käyttöön käyttämällä AWS Cloud Development Kit (AWS CDK), arvioimme mallimme latenssiominaisuudet eri SageMaker-instanssityypeillä. Tämä on erittäin yksinkertaista tehdä, koska käytämme SageMakerin reaaliaikaisia ​​päätepisteitä palvelemaan malliamme. SageMakerin reaaliaikaiset päättelypäätepisteet integroituvat saumattomasti amazonin pilvikello ja lähettää sellaisia ​​mittareita kuin muistin käyttö ja mallin latenssi ilman vaadittuja asetuksia (katso SageMaker Endpoint Invocation Metrics Lisätietoja).

Seuraavassa kuvassa näytämme SageMakerin reaaliaikaisten päätelmien päätepisteiden natiivisti lähettämän ModelLatency-metriikan. Voimme helposti käyttää CloudWatchin erilaisia ​​​​metrisiä matemaattisia funktioita näyttämään latenssiprosenttipisteitä, kuten p50- tai p90-latenssi.

Seuraavassa taulukossa on yhteenveto näistä parannetun äärimmäisen napsautustyökalumme tuloksista semanttiseen segmentointiin kolmelle ilmentymätyypille: p2.xlarge, p3.2xlarge ja g4dn.xlarge. Vaikka p3.2xlarge-esiintymä tarjoaa pienimmän viiveen, g4dn.xlarge-esiintymä tarjoaa parhaan kustannus-tehokkuussuhteen. G4dn.xlarge -esiintymä on vain 8 % hitaampi (35 millisekuntia) kuin p3.2xlarge, mutta se on 81 % halvempi tuntitasolla kuin p3.2xlarge (katso Amazon SageMaker -hinnoittelu saadaksesi lisätietoja SageMaker-instanssityypeistä ja hinnoittelusta).

	SageMaker-instanssityyppi	p90 Latenssi (ms)
1	p2.xlarge	751
2	p3.2xlarge	424
3	g4dn.xlarge	459

Yhteenveto

Tässä viestissä esittelimme laajennuksen Ground Truth -autosegmenttiominaisuuteen semanttisen segmentoinnin huomautustehtäviä varten. Työkalun alkuperäisessä versiossa voit tehdä täsmälleen neljä hiiren napsautusta, mikä laukaisee mallin, joka tarjoaa korkealaatuisen segmentointimaskin, kun taas laajennuksen avulla voit tehdä korjaavia napsautuksia ja päivittää ja ohjata ML-mallia tekemään parempia ennusteita. Esittelimme myös arkkitehtonisen perusmallin, jonka avulla voit ottaa käyttöön ja integroida interaktiivisia työkaluja Ground Truth -merkintäkäyttöliittymiin. Lopuksi teimme yhteenvedon mallin latenssista ja osoitimme, kuinka SageMakerin reaaliaikaisten päättelypäätepisteiden käyttö helpottaa mallin suorituskyvyn seurantaa.

Lisätietoja siitä, kuinka tämä työkalu voi vähentää merkintäkustannuksia ja parantaa tarkkuutta, on osoitteessa Amazon SageMaker -tietojen merkintä aloittaa konsultaatio tänään.

---

Tietoja kirjoittajista

Jonathan Buck on ohjelmistosuunnittelija Amazon Web Servicesissä, joka työskentelee koneoppimisen ja hajautettujen järjestelmien risteyksessä. Hänen työhönsä kuuluu koneoppimismallien tuottaminen ja uusien koneoppimisen tukemien ohjelmistosovellusten kehittäminen tuomaan uusimmat ominaisuudet asiakkaiden käsiin.

Li Erran Li on soveltava tiedepäällikkö humain-in-the-loop -palveluissa, AWS AI, Amazon. Hänen tutkimusalueitaan ovat 3D-syväoppiminen sekä visio- ja kielenesitysoppiminen. Aiemmin hän oli vanhempi tutkija Alexa AI:ssä, koneoppimisen johtaja Scale AI:ssä ja päätutkija Pony.ai:ssa. Sitä ennen hän työskenteli Uber ATG:n havaintotiimin ja Uberin koneoppimisalustan tiimissä autonomisen ajamisen koneoppimisen, koneoppimisjärjestelmien ja tekoälyn strategisten aloitteiden parissa. Hän aloitti uransa Bell Labsissa ja oli dosentti Columbian yliopistossa. Hän opetti opetusohjelmia ICML'17:ssä ja ICCV'19:ssä ja järjesti useita työpajoja NeurIPS:ssä, ICML:ssä, CVPR:ssä ja ICCV:ssä autonomisen ajamisen koneoppimisesta, 3D-näöstä ja robotiikasta, koneoppimisjärjestelmistä ja kilpailevasta koneoppimisesta. Hän on koulutukseltaan tietojenkäsittelytieteen tohtori Cornellin yliopistossa. Hän on ACM Fellow ja IEEE Fellow.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/few-click-segmentation-mask-labeling-in-amazon-sagemaker-ground-truth-plus/