Tarkista tietotarrasi visuaalisella, koodittomalla työkalulla luodaksesi korkealaatuisia harjoitustietojoukkoja Amazon SageMaker Ground Truth Plus -sovelluksella

Julkaistu AWS:ssä re:Invent 2021, Amazon SageMaker Ground Truth Plus auttaa sinua luomaan korkealaatuisia koulutustietojoukkoja poistamalla erottelemattoman raskaan noston, joka liittyy tietojen merkintäsovellusten rakentamiseen ja merkintätyövoiman hallintaan. Sinun tarvitsee vain jakaa tietoja merkintävaatimusten kanssa, ja Ground Truth Plus määrittää ja hallitsee tietomerkintöjen työnkulkua näiden vaatimusten perusteella. Sieltä asiantuntijatyövoima, joka on koulutettu erilaisiin koneoppimistehtäviin (ML) suorittaa tietojen merkitsemisen. Et tarvitse edes syvällistä ML-asiantuntemusta tai tietoa työnkulun suunnittelusta ja laadunhallinnasta käyttääksesi Ground Truth Plusia.

Korkealaatuisen harjoitustietojoukon luominen ML-algoritmillesi on iteratiivinen prosessi. ML-ammattilaiset rakentavat usein mukautettuja järjestelmiä tietotarrojen tarkastamiseksi, koska tarkasti merkitty data on kriittistä ML-mallin laadun kannalta. Ground Truth Plus tarjoaa sinulle sisäänrakennetun käyttöliittymän (Review UI) varmistaaksesi, että saat korkealaatuisia harjoitustietoja, joiden avulla voit tarkistaa tietotarrojen laadun ja antaa palautetta tietotarroista, kunnes olet varma, että tarrat edustavat tarkasti pohjatotuus tai mikä on suoraan havaittavissa todellisessa maailmassa.

Tämä viesti opastaa sinut projektitiimin luomiseen ja useiden uusien käyttöliittymätyökalun uusien sisäänrakennettujen ominaisuuksien käyttämiseen, jotta voit suorittaa merkityn tietojoukon tarkastuksen tehokkaasti. Esittelyssä oletetaan, että sinulla on aktiivinen Ground Truth Plus -merkintäprojekti. Katso lisätietoja Amazon SageMaker Ground Truth Plus – Luo koulutustietojoukkoja ilman koodia tai sisäisiä resursseja.

Perusta projektiryhmä

Projektiryhmä tarjoaa organisaatiosi jäsenille pääsyn datatarrojen tarkastamiseen Review UI -työkalun avulla. Voit perustaa projektiryhmän suorittamalla seuraavat vaiheet:

1. On the Ground Truth Plus console, valitse Luo projektitiimi.
2. valita Luo uusi Amazon Cognito -käyttäjäryhmä . Jos sinulla on jo olemassa Amazon Cognito käyttäjäryhmä, valitse Tuo jäseniä vaihtoehto.
3. varten Amazon Cognito -käyttäjäryhmän nimi, anna nimi. Tätä nimeä ei voi muuttaa.
4. varten Sähköpostiosoitteet, anna enintään 50 tiimin jäsenen sähköpostiosoitteet pilkuilla erotettuina.
5. Valita Luo projektitiimi.

Ryhmäsi jäsenet saavat sähköpostin, jossa heidät kutsutaan liittymään Ground Truth Plus -projektitiimiin. Sieltä he voivat kirjautua Ground Truth Plus -projektiportaaliin tarkastaakseen tietotarrat.

Tarkista merkityn tietojoukon laatu

Sukellaan nyt videoobjektin seurantaesimerkkiin käyttämällä CBCL StreetScenes aineisto.

Kun erän tiedot on merkitty, erä merkitään nimellä Valmiina tarkastettavaksi.

Valitse erä ja valitse Tarkista erä. Sinut ohjataan tarkistuskäyttöliittymään. Voit joustavasti valita erilaisen näytteenottotaajuuden jokaiselle tarkastamasi erälle. Esimerkiksi esimerkkierässämme meillä on yhteensä viisi videota. Voit määrittää, haluatko tarkistaa vain osan näistä viidestä videosta vai kaikki.

Katsotaan nyt tarkastelukäyttöliittymän eri toimintoja, jotka auttavat sinua tarkastamaan merkityn tietojoukon laatua nopeammin ja antamaan palautetta laadusta:

• Suodata tarrat tunnisteluokan perusteella – Tarkastelukäyttöliittymän oikeanpuoleisessa ruudussa voit suodattaa tarroja niiden tarraluokan perusteella. Tämä ominaisuus on kätevä, kun tarrakategorioita on useita (esim. Vehicles, Pedestriansja Poles) tiheässä tietojoukkoobjektissa ja haluat tarkastella yhden tarraluokan tunnisteita kerrallaan. Keskitytään esimerkiksi Car etikettiluokka. Syötä Car otsikkoluokka oikeanpuoleisessa ruudussa suodattaaksesi kaikki vain tyyppiset huomautukset Car. Seuraavissa kuvakaappauksissa näkyy Review UI -näkymä ennen suodattimen käyttöä ja sen jälkeen.
  
• Peittokuvaan liittyvät huomautetut attribuuttiarvot – Jokaiselle tarralle voidaan määrittää merkityksiä. Esimerkiksi tarrakategorialle Car , sano, että haluat pyytää työntekijöitä myös huomauttamaan Color  ja Occlusion attribuutteja jokaiselle tarrainstanssille. Kun lataat tarkastelukäyttöliittymän, näet vastaavat attribuutit kunkin tarrainstanssin alla oikeanpuoleisessa ruudussa. Mutta entä jos haluat nähdä nämä määritemerkinnät suoraan kuvassa? Valitset etiketin Car:1 , ja peittääksesi attribuutin huomautukset Car:1 , painat Ctrl + A.
  Nyt näet huomautuksen Dark Blue varten Color attribuutti ja huomautus None varten Occlusion attribuutti näkyy suoraan kuvassa vieressä Car:1 rajaava laatikko. Nyt voit helposti varmistaa sen Car:1 merkittiin nimellä Dark Blue, ilman okkluusiota vain katsomalla kuvaa sen sijaan, että joutuisit paikantamaan Car:1 oikeanpuoleisessa ruudussa nähdäksesi määritemerkinnät.
  
• Jätä palautetta etikettitasolla – Jokaisesta tarrasta voit antaa palautetta tarratasolla kyseisessä tarrassa Tunnistepalaute ilmainen merkkijono-attribuutti. Tässä kuvassa esim. Car:1 näyttää enemmän mustalta kuin tummansiniseltä. Voit välittää tämän ristiriidan palautteena Car:1 käyttäen Tunnistepalaute -kenttään seurataksesi kommentin kyseisessä kehyksessä olevaan tunnisteeseen. Sisäinen laadunvalvontatiimimme tarkistaa tämän palautteen ja tekee muutoksia merkintäprosessiin ja etikettikäytäntöihin sekä kouluttaa merkinnät tarpeen mukaan.
  
• Jätä palautetta kehystasolla – Vastaavasti jokaisesta kehyksestä voit jättää palautetta kehystasolla kyseisen kehyksen alle Kehyspalaute ilmainen merkkijono-attribuutti. Tässä tapauksessa merkinnät Car ja Pedestrian luokat näyttävät oikeilta ja hyvin toteutetuilta tässä kehyksessä. Voit välittää tämän positiivisen palautteen käyttämällä Antaa palautetta -kenttään, ja kommenttisi on linkitetty tähän kehykseen.
  
• Kopioi huomautuksen palaute muihin kehyksiin – Voit kopioida sekä tarratason että kehystason palautteen muihin kehyksiin, jos napsautat kyseistä määritettä hiiren kakkospainikkeella. Tämä ominaisuus on hyödyllinen, kun haluat kopioida saman palautteen kehysten välillä kyseiselle tarralle tai käyttää samaa kehystason palautetta useisiin kehyksiin. Tämän ominaisuuden avulla voit nopeasti suorittaa tietotarrojen tarkastuksen.
  
• Hyväksy tai hylkää jokainen tietojoukkoobjekti – Jokaiselle tarkastamasi tietojoukkoobjektille voit valita jommankumman Hyväksyä jos olet tyytyväinen huomautuksiin tai valitse Hylätä jos et ole tyytyväinen ja haluat, että merkinnät muokataan. Kun valitset Lähetä, sinulle tarjotaan mahdollisuus hyväksyä tai hylätä juuri tarkistamasi video. Kummassakin tapauksessa voit antaa lisäkommentteja:
  • Jos valitset Hyväksyä, kommentti on valinnainen.
    
  • Jos valitset Hylätä, kommentteja tarvitaan, ja suosittelemme yksityiskohtaisen palautteen antamista. Ground Truth Plus -laadunvalvontatiimi tarkistaa palautteesi, joka ryhtyy korjaaviin toimiin välttääkseen vastaavia virheitä seuraavissa videoissa.
    

Kun olet lähettänyt palautettasi sisältävän videon, sinut ohjataan takaisin projektiportaalin projektin tietosivulle, jossa voit tarkastella hylättyjen objektien määrää Hylätyt kohteet sarake ja virheprosentti, joka lasketaan hyväksyttyjen kohteiden määränä tarkistetuista kohteista Hyväksymisnopeus sarakkeessa jokaiselle projektisi erälle. Esimerkiksi seuraavan kuvakaappauksen erän 1 hyväksymisprosentti on 80 %, koska viidestä tarkistetusta kohteesta hyväksyttiin neljä.

Yhteenveto

Laadukas koulutustietojoukko on kriittinen ML-aloitteidesi saavuttamiseksi. Ground Truth Plus -sovelluksessa sinulla on nyt parannettu sisäänrakennettu Review UI -työkalu, joka poistaa erottelemattoman raskasnostotyön, joka liittyy mukautettujen työkalujen rakentamiseen merkittyjen tietojoukon laadun tarkistamiseksi. Tämä viesti opasti sinut projektiryhmän perustamiseen ja Review UI -työkalun uusien sisäänrakennettujen ominaisuuksien käyttöön. Vieraile Ground Truth Plus -konsoli päästä alkuun.

Kuten aina, AWS suhtautuu myönteisesti palautteeseen. Lähetä kommentteja tai kysymyksiä.

kirjailijasta

Manish Goel on Amazon SageMaker Ground Truth Plusin tuotepäällikkö. Hän on keskittynyt rakentamaan tuotteita, jotka helpottavat asiakkaiden omaksumista koneoppimiseen. Vapaa-ajallaan hän nauttii retkistä ja kirjojen lukemisesta.

Revekka Kostoeva on ohjelmistokehitysinsinööri Amazon AWS:ssä, jossa hän työskentelee asiakaskohtaisten ja sisäisten ratkaisujen parissa laajentaakseen Sagemaker Ground Truth -palveluiden kattavuutta ja skaalautuvuutta. Tutkijana hän haluaa parantaa alan työkaluja innovaation edistämiseksi.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/inspect-your-data-labels-with-a-visual-no-code-tool-to-create-high-quality-training-datasets- with-amazon-sagemaker-ground-truth-plus/