Luo korkealaatuista dataa ML-malleille Amazon SageMaker Ground Truthin avulla

Koneoppiminen (ML) on parantanut liiketoimintaa eri toimialoilla viime vuosina – sinun suositusjärjestelmästäsi Prime Video tiliä, dokumentoidaksesi yhteenvedon ja tehokkaan haun Alexapuheapua. Kysymys jää kuitenkin siitä, kuinka tämä tekniikka sisällytetään yritykseesi. Toisin kuin perinteiset sääntöpohjaiset menetelmät, ML päättelee automaattisesti malleja tiedoista suorittaakseen kiinnostavan tehtävän. Vaikka tämä ohittaa automaation sääntöjen kuratoinnin tarpeen, se tarkoittaa myös sitä, että ML-mallit voivat olla vain niin hyviä kuin tiedot, joiden perusteella ne on koulutettu. Tiedon luominen on kuitenkin usein haastava tehtävä. klo Amazon Machine Learning Solutions Lab, olemme törmänneet tähän ongelmaan toistuvasti ja haluamme helpottaa tätä matkaa asiakkaillemme. Jos haluat purkaa tämän prosessin, voit käyttää Amazon SageMaker Ground Truth Plus.

Tämän viestin loppuun mennessä voit saavuttaa seuraavat:

• Ymmärrä tiedonkeruuputken perustamiseen liittyvät liiketoimintaprosessit
• Tunnista AWS-pilvipalvelut, jotka tukevat ja nopeuttavat datamerkintäprosessiasi
• Suorita tietojen hankinta- ja merkintätehtävä mukautettuja käyttötapauksia varten
• Luo korkealaatuista dataa liiketoiminnallisten ja teknisten parhaiden käytäntöjen mukaisesti

Keskitymme koko tämän postauksen ajan tietojen luomisprosessiin ja luotamme AWS-palveluihin infrastruktuurin ja prosessikomponenttien käsittelyssä. Nimittäin käytämme Amazon SageMaker Ground Totuus käsitellä merkintäinfrastruktuurin putkistoa ja käyttöliittymää. Tämä palvelu käyttää point-and-go-lähestymistapaa tietojen keräämiseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja määritä merkintätyönkulku. Merkintöjä varten se tarjoaa sisäänrakennetun joustavuuden hankkia tietoetikettejä yksityisen tiimisi avulla Amazon Mechanical Turk voimasta tai haluamaltasi merkintätoimittajalta AWS Marketplace. Lopuksi voit käyttää AWS Lambda ja Amazon SageMaker -kannettavat tietojen käsittelyyn, visualisointiin tai laadun valvontaan – joko ennen merkintää tai sen jälkeen.

Nyt kun kaikki osat on kasattu, aloitetaan prosessi!

Tietojen luontiprosessi

Toisin kuin yleinen intuitio, ensimmäinen askel tiedon luomisessa ei ole tiedonkeruu. Käyttäjien työskentely taaksepäin ongelman ilmaisemiseksi on ratkaisevan tärkeää. Esimerkiksi, mistä käyttäjät välittävät lopullisessa artefaktissa? Missä tiedoissa asiantuntijat uskovat käyttötapauksen kannalta merkitykselliset signaalit? Mitä tietoja käyttötapausympäristöstä voitaisiin tarjota mallille? Jos et tiedä vastauksia näihin kysymyksiin, älä huoli. Anna itsellesi aikaa keskustella käyttäjien ja alan asiantuntijoiden kanssa ymmärtääksesi vivahteet. Tämä alkuymmärrys ohjaa sinut oikeaan suuntaan ja auttaa sinua menestymään.

Tässä viestissä oletamme, että olet käsitellyt tämän alkuperäisen käyttäjävaatimusten määrittelyprosessin. Seuraavat kolme osiota opastavat sinua laadukkaiden tietojen luontiprosessin läpi: suunnittelu, lähdetietojen luominen ja tietojen merkintä. Pilotointisilmukat tiedon luonti- ja huomautusvaiheissa ovat elintärkeitä varmistettaessa merkittyjen tietojen tehokas luominen. Tämä edellyttää iterointia tietojen luomisen, huomautusten, laadunvarmistuksen ja prosessin päivittämisen välillä tarpeen mukaan.

Seuraava kuva antaa yleiskatsauksen vaiheista, jotka vaaditaan tyypillisessä tiedonluontiprosessissa. Voit työskennellä taaksepäin käyttötapauksesta tunnistaaksesi tarvitsemasi tiedot (Requirements Specification), rakentaa prosessin tietojen hankkimiseksi (Suunnittelu), toteuttaa varsinaisen tiedonkeruuprosessin (tiedonkeruu ja huomautus) ja arvioida tuloksia. Katkoviivoilla korostettujen pilottiajojen avulla voit iteroida prosessia, kunnes korkealaatuinen tiedonkeruuputki on kehitetty.

Suunnittelu

Tavallinen tiedonluontiprosessi voi olla aikaa vievä ja arvokkaiden henkilöresurssien hukkaa, jos se toteutetaan tehottomasti. Miksi se olisi aikaa vievää? Jotta voimme vastata tähän kysymykseen, meidän on ymmärrettävä tietojen luontiprosessin laajuus. Avuksi olemme koonneet korkean tason tarkistuslistan ja kuvauksen tärkeimmistä komponenteista ja sidosryhmistä, jotka sinun on otettava huomioon. Näihin kysymyksiin vastaaminen voi olla aluksi vaikeaa. Käyttötapauksestasi riippuen vain osa näistä voi olla soveltuvia.

• Tunnista lainopillinen yhteyspiste tarvittavia hyväksyntöjä varten – Tietojen käyttäminen sovelluksessasi voi edellyttää lisenssin tai toimittajasopimuksen tarkistamista yrityksen käytäntöjen ja käyttötapausten noudattamisen varmistamiseksi. On tärkeää tunnistaa oikeudellinen tuki prosessin tiedonkeruu- ja huomautusvaiheissa.
• Tunnista tietoturvayhteyspiste tietojen käsittelyä varten -Ostettujen tietojen vuotaminen voi johtaa vakaviin sakkoihin ja seurauksiin yrityksellesi. Turvallisten käytäntöjen varmistamiseksi on tärkeää tunnistaa tietoturvatukesi tiedonkeruu- ja huomautusvaiheiden aikana.
• Yksityiskohtaiset käyttötapausvaatimukset ja määritä lähdetiedot ja huomautusohjeet – Tiedon luominen ja merkitseminen on vaikeaa vaativan suuren tarkkuuden vuoksi. Sidosryhmät, mukaan lukien tiedon tuottajat ja annotaattorit, on oltava täysin linjassa resurssien tuhlaamisen välttämiseksi. Tätä tarkoitusta varten on yleinen käytäntö käyttää ohjeasiakirjaa, joka määrittelee kaikki huomautustehtävän osa-alueet: tarkat ohjeet, reunatapaukset, esimerkkikävittely ja niin edelleen.
• Kohdista lähdetietojesi keräämisen odotukset - Harkitse seuraavaa:
  • Tee tutkimusta mahdollisista tietolähteistä – Esimerkiksi julkiset tietojoukot, olemassa olevat tietojoukot muilta sisäisiltä ryhmiltä, ​​itse kerätyt tai toimittajilta ostetut tiedot.
  • Suorita laadunarviointi – Luo analyysiputki suhteessa lopulliseen käyttötapaukseen.
• Kohdista odotukset tietojen merkintöjen luomisessa - Harkitse seuraavaa:
  • Tunnista tekniset sidosryhmät – Tämä on yleensä yrityksesi henkilö tai tiimi, joka pystyy käyttämään Ground Truthia koskevaa teknistä dokumentaatiota huomautusputkiston toteuttamiseen. Nämä sidosryhmät ovat myös vastuussa selitettujen tietojen laadun arvioinnista varmistaakseen, että ne vastaavat loppupään ML-sovelluksesi tarpeita.
  • Tunnista datan annotaattorit – Nämä henkilöt käyttävät ennalta määritettyjä ohjeita lisätäkseen tunnisteita lähdetietoihisi Ground Truthissa. Heillä saattaa olla tarvittava verkkotunnustiedot käyttötapauksestasi ja huomautusohjeistasi riippuen. Voit käyttää yrityksesi sisäistä työvoimaa tai maksaa a ulkopuolisen toimittajan johtama työvoima.
• Varmista tietojen luontiprosessin valvonta – Kuten edellisistä kohdista näkyy, tiedon luominen on yksityiskohtainen prosessi, johon osallistuu lukuisia erikoistuneita sidosryhmiä. Siksi on erittäin tärkeää seurata sitä päästä päähän kohti haluttua tulosta. Kun omistautunut henkilö tai tiimi valvoo prosessia, voit varmistaa yhtenäisen ja tehokkaan tiedonluontiprosessin.

Riippuen reitistä, jonka päätät valita, sinun on otettava huomioon myös seuraavat asiat:

• Luo lähdetietojoukko – Tämä viittaa tapauksiin, joissa olemassa oleva data ei sovellu käsillä olevaan tehtävään tai lailliset rajoitukset estävät sinua käyttämästä niitä. On käytettävä sisäisiä ryhmiä tai ulkoisia toimittajia (seuraava kohta). Tämä pätee usein pitkälle erikoistuneilla aloilla tai aloilla, joilla on vähän julkista tutkimusta. Esimerkiksi lääkärin yleiset kysymykset, vaatekaappi tai urheiluasiantuntijat. Se voi olla sisäinen tai ulkoinen.
• Tutki myyjiä ja suorita perehdytysprosessi – Kun käytetään ulkopuolisia toimittajia, molempien yksiköiden välillä on määritettävä sopimus- ja käyttöönottoprosessi.

Tässä osiossa tarkastelimme komponentteja ja sidosryhmiä, jotka meidän on otettava huomioon. Miltä varsinainen prosessi kuitenkin näyttää? Seuraavassa kuvassa hahmotellaan prosessin työnkulku tietojen luomista ja huomautuksia varten. Iteratiivinen lähestymistapa käyttää pieniä tietoeriä, joita kutsutaan piloteiksi, lyhentämään läpimenoaikaa, havaitsemaan virheet varhaisessa vaiheessa ja välttämään resurssien tuhlaamista heikkolaatuisen datan luomiseen. Kuvaamme nämä pilottikierrokset myöhemmin tässä viestissä. Käsittelemme myös joitain parhaita käytäntöjä tietojen luomiseen, huomautuksiin ja laadunvalvontaan.

Seuraava kuva havainnollistaa tiedonluontiputken iteratiivista kehitystä. Pystysuoraan löydämme tiedonhankintalohkon (vihreä) ja huomautuslohkon (sininen). Molemmilla lohkoilla on itsenäiset pilottikierrokset (tietojen luonti/merkintä, QAQC ja päivitys). Yhä enemmän lähdettyä dataa luodaan, ja sitä voidaan käyttää yhä laadukkaampien merkintöjen rakentamiseen.

Lähdetietojen luominen

Syötteiden luontiprosessi pyörii kiinnostavien kohteiden lavastamisen ympärillä, jotka riippuvat tehtävätyypistäsi. Nämä voivat olla kuvia (sanomalehtiskannauksia), videoita (liikennekohtauksia), 3D-pistepilviä (lääketieteelliset skannaukset) tai yksinkertaisesti tekstiä (tekstitysraidat, transkriptiot). Yleisesti ottaen varmista seuraavat asiat, kun lavastelet tehtäviin liittyviä kohteita:

• Pohdi mahdollisen AI/ML-järjestelmän todellista käyttöä – Harjoitustietojen kuvien tai videoiden keräämisasetuksien tulee vastata läheisesti todellisen sovelluksen syöttötietojen asetuksia. Tämä tarkoittaa tasaisten sijoituspintojen, valonlähteiden tai kamerakulmien käyttöä.
• Ota huomioon ja minimoi vaihtelulähteet - Harkitse seuraavaa:
  • Kehittää parhaita käytäntöjä tiedonkeruustandardien ylläpitämiseksi – Käyttötapauksesi tarkkuudesta riippuen saatat joutua määrittämään vaatimuksia tietopisteidesi yhdenmukaisuuden takaamiseksi. Jos esimerkiksi keräät kuva- tai videotietoja yksittäisistä kamerapisteistä, saatat joutua varmistamaan kiinnostavien kohteidesi johdonmukaisen sijoituksen tai vaatimaan kameran laaduntarkistuksen ennen tiedonkeruukierrosta. Tämä voi välttää ongelmia, kuten kameran kallistumisen tai epäterävyyden, ja minimoi alavirran kulut, kuten kehyksestä ulkopuolisten tai epäselvien kuvien poistamisen, sekä tarpeen keskittää kuvakehys manuaalisesti kiinnostuksen kohteena olevaan alueeseen.
  • Ennaltaehkäise testiajan vaihtelun lähteet – Jos odotat vaihtelua jossakin tähän mennessä mainituista määritteistä testiaikana, varmista, että voit siepata nämä vaihtelulähteet harjoitustietojen luonnin aikana. Jos esimerkiksi odotat ML-sovelluksesi toimivan useissa eri valaistusasetuksissa, sinun tulee pyrkiä luomaan harjoituskuvia ja -videoita eri valaistusasetuksissa. Käyttötapauksesta riippuen myös kameran sijainnin vaihtelu voi vaikuttaa tarrojen laatuun.
• Sisällytä aiempi verkkotunnustieto, jos mahdollista - Harkitse seuraavaa:
  • Syötteet virhelähteistä – Toimialueen harjoittajat voivat tarjota näkemyksiä virhelähteistä vuosien kokemuksensa perusteella. He voivat antaa palautetta kahden edellisen kohdan parhaista käytännöistä: Mitkä asetukset vastaavat parhaiten todellista käyttötapaa? Mitkä ovat mahdolliset vaihtelun lähteet tiedonkeruun tai käytön aikana?
  • Verkkotunnuskohtaisen tiedonkeruun parhaat käytännöt – Vaikka teknisillä sidosryhmilläsi saattaa jo olla hyvä käsitys niistä teknisistä näkökohdista, joihin kannattaa keskittyä kerätyissä kuvissa tai videoissa, toimialueen harjoittajat voivat antaa palautetta siitä, kuinka parhaiten lavastella tai kerätä tiedot niin, että nämä tarpeet täyttyvät.

Luotujen tietojen laadunvalvonta ja laadunvarmistus

Nyt kun olet määrittänyt tiedonkeruuputken, saattaa olla houkuttelevaa edetä ja kerätä mahdollisimman paljon tietoa. Odota hetki! Meidän on ensin tarkistettava, soveltuvatko asennuksen kautta kerätyt tiedot oikeaan sanaan. Voimme käyttää joitakin alustavia näytteitä ja parantaa asetuksia iteratiivisesti näiden näytetietojen analysoinnista saamiemme oivallusten avulla. Tee tiivistä yhteistyötä teknisten, liiketoiminnallisten ja huomautusten sidosryhmiesi kanssa pilottiprosessin aikana. Tämä varmistaa, että tuloksena oleva putkisto täyttää liiketoiminnan tarpeet ja luo samalla ML-valmiita merkittyjä tietoja minimaalisilla yleiskustannuksilla.

Merkinnät

Syötteiden merkintä on paikka, jossa lisäämme taianomaisen kosketuksen tietoihimme – tarroihin! Tehtävän tyypistä ja tietojen luontiprosessista riippuen saatat tarvita manuaalisia merkintöjä tai voit käyttää valmiita automatisoituja menetelmiä. Tietojen annotointiputki itsessään voi olla teknisesti haastava tehtävä. Ground Truth helpottaa teknisten sidosryhmiesi matkaa sisäänrakennettu valikoima merkintätyönkulkuja yleisiä tietolähteitä varten. Muutamalla lisävaiheella voit myös rakentaa mukautettujen merkintöjen työnkulut esikonfiguroitujen vaihtoehtojen lisäksi.

Kysy itseltäsi seuraavat kysymykset, kun kehität sopivaa merkintätyönkulkua:

• Tarvitsenko tiedoilleni manuaalisen merkintäprosessin? Joissakin tapauksissa automaattiset merkintäpalvelut voivat riittää käsillä olevaan tehtävään. Dokumentaation ja käytettävissä olevien työkalujen tarkastelu voi auttaa sinua tunnistamaan, onko manuaalinen huomautus tarpeen sinun käyttötapauksessasi (lisätietoja on kohdassa Mikä on datamerkintä?). Tietojen luontiprosessi voi mahdollistaa tietomerkintöjen tarkkuuden vaihtelevan hallinnan. Tästä prosessista riippuen voit myös joskus ohittaa manuaalisen merkinnän tarpeen. Lisätietoja on kohdassa Luo mukautettu Q&A-tietojoukko Amazon SageMaker Ground Truthin avulla kouluttaaksesi Hugging Face Q&A NLU-mallin.
• Mikä muodostaa perustavanlaatuisen totuuteni? Useimmissa tapauksissa perustotuus tulee merkintäprosessistasi – se on koko pointti! Toisissa tapauksissa käyttäjällä voi olla pääsy perustotuustarroihin. Tämä voi merkittävästi nopeuttaa laadunvarmistusprosessiasi tai vähentää useiden manuaalisten huomautusten vaatimaa yleiskustannuksia.
• Mikä on totuustilastani poikkeaman yläraja? Työskentele loppukäyttäjien kanssa ymmärtääksesi tyypilliset virheet näiden tarrojen ympärillä, tällaisten virheiden lähteet ja toivottu virheiden väheneminen. Tämä auttaa sinua tunnistamaan, mitkä merkintätehtävän osa-alueet ovat haastavimpia tai joissa todennäköisesti on huomautusvirheitä.
• Onko olemassa olemassa olevia sääntöjä, joita käyttäjät tai alan ammattilaiset käyttävät merkitsemään nämä kohteet? Käytä ja tarkenna näitä ohjeita luodaksesi joukon ohjeita manuaalisille merkintöillesi.

Syötemerkintäprosessin pilotointi

Kun kokeilet syötemerkintöjä, ota huomioon seuraavat seikat:

• Tarkista ohjeet kirjoittajien ja kenttäharjoittajien kanssa – Ohjeiden tulee olla ytimekkäitä ja täsmällisiä. Pyydä palautetta käyttäjiltäsi (Ovatko ohjeet oikeita? Voimmeko tarkistaa ohjeita varmistaaksemme, että muut kuin alan ammattilaiset ymmärtävät ne?) ja merkintöjen kirjoittajilta (Onko kaikki ymmärrettävää? Onko tehtävä selkeä?). Jos mahdollista, lisää esimerkki hyvistä ja huonoista tunnistetiedoista, jotta annotaattorisi tunnistavat, mitä odotetaan ja miltä yleiset merkintävirheet voivat näyttää.
• Kerää tietoja huomautuksia varten – Tarkista tiedot asiakkaasi kanssa varmistaaksesi, että ne vastaavat odotettuja standardeja, ja vastaamaan manuaalisen huomautuksen odotettuja tuloksia.
• Anna esimerkkejä manuaalisten merkintöjen joukkoon koeajona – Mikä on tyypillinen varianssi kommentoijien välillä tässä esimerkkisarjassa? Tutki kunkin merkinnän varianssia tietyssä kuvassa tunnistaaksesi johdonmukaisuustrendit huomauttajien välillä. Vertaa sitten kuvien tai videokehysten varianssia tunnistaaksesi, mitkä tarrat ovat haastavia sijoittaa.

Merkintöjen laadunvalvonta

Annotaatioiden laadunvalvonnassa on kaksi pääosaa: merkintöjen tekijöiden välisen johdonmukaisuuden arviointi ja itse merkintöjen laadun arviointi.

Voit määrittää samaan tehtävään useita annotaattoreita (esimerkiksi kolme annotaattoria merkitsee saman kuvan avainkohdat) ja mitata keskimääräisen arvon näiden merkintöjen keskihajonnan rinnalla annotaattorien välillä. Tämä auttaa sinua tunnistamaan kaikki poikkeamat merkinnät (käytetty virheellinen nimi tai tunniste kaukana keskimääräisestä merkinnästä), jotka voivat ohjata toimivia tuloksia, kuten ohjeiden tarkentamista tai lisäkoulutusta tietyille merkintöjen kirjoittajille.

Itse merkintöjen laadun arviointi on sidottu annotaattorin vaihteluun ja (jos saatavilla) toimialueen asiantuntijoiden tai perustotuustiedon saatavuuteen. Onko olemassa tiettyjä tunnisteita (kaikissa kuvissasi), joissa huomauttajien välinen keskimääräinen varianssi on jatkuvasti suuri? Ovatko tarrat kaukana odotuksistasi siitä, missä niiden pitäisi olla tai miltä niiden pitäisi näyttää?

Kokemuksemme perusteella tyypillinen datamerkintöjen laadunvalvontasilmukka voi näyttää tältä:

• Toista ohjeita tai kuvasta koeajon tulosten perusteella – Ovatko objektit tukossa vai eikö kuvan lavastus vastaa annotaattorien tai käyttäjien odotuksia? Ovatko ohjeet harhaanjohtavia, vai puuttuiko esimerkkikuvistasi tarroja tai yleisiä virheitä? Voitko tarkentaa merkintöjesi ohjeita?
• Jos olet vakuuttunut siitä, että olet ratkaissut kaikki testiajon ongelmat, tee joukko huomautuksia – Noudata erän tulosten testaamiseen samaa laadunarviointitapaa, jossa arvioit annotaattorien ja kuvien välisiä tarrojen vaihteluita.

Yhteenveto

Tämä viesti toimii oppaana yritysten sidosryhmille ymmärtämään AI/ML-sovelluksiin liittyvän datan luomisen monimutkaisuutta. Kuvatut prosessit toimivat myös oppaana teknisille toimijoille, jotta he voivat tuottaa laadukasta tietoa samalla kun optimoidaan liiketoiminnan rajoitteita, kuten henkilöstöä ja kustannuksia. Jos tietoja ei tehdä kunnolla, tiedon luonti- ja merkintäprosessi voi kestää jopa 4–6 kuukautta.

Tässä viestissä esitettyjen ohjeiden ja ehdotusten avulla voit ennaltaehkäistä tiesulkuja, lyhentää valmistumiseen kuluvaa aikaa ja minimoida kustannukset, jotka liittyvät matkallasi kohti korkealaatuisen datan luomista.

---

Tietoja kirjoittajista

Jasleen Grewal on soveltuva tutkija Amazon Web Services -palvelussa, jossa hän työskentelee AWS-asiakkaiden kanssa ratkaistakseen todellisen maailman ongelmia koneoppimisen avulla keskittyen erityisesti tarkkuuslääketieteeseen ja genomiikkaan. Hänellä on vahva tausta bioinformatiikasta, onkologiasta ja kliinisestä genomiikasta. Hän on intohimoinen AI/ML- ja pilvipalvelujen käyttämiseen potilaiden hoidon parantamiseen.

Boris Aronchik on johtaja Amazon AI Machine Learning Solutions Labissa, jossa hän johtaa ML-tieteilijöiden ja -insinöörien tiimiä auttaakseen AWS-asiakkaita saavuttamaan liiketoimintatavoitteensa hyödyntäen AI/ML-ratkaisuja.

Miguel Romero Calvo on soveltuva tutkija Amazon ML Solutions Lab jossa hän tekee yhteistyötä AWS:n sisäisten tiimien ja strategisten asiakkaiden kanssa nopeuttaakseen heidän liiketoimintaansa ML:n ja pilven käyttöönoton avulla.

Lin Lee Cheong on vanhempi tutkija ja johtaja Amazon ML Solutions Lab -tiimissä Amazon Web Services -palvelussa. Hän työskentelee strategisten AWS-asiakkaiden kanssa tutkiakseen ja soveltaakseen tekoälyä ja koneoppimista löytääkseen uusia oivalluksia ja ratkaistakseen monimutkaisia ​​ongelmia.