Prepoznavanje dejanj se je dramatično izboljšalo z obsežnimi nabori video podatkov. Vendar pa te nabore podatkov spremljajo vprašanja, povezana s stroški kuriranja, zasebnostjo, etiko, pristranskostjo in avtorskimi pravicami. Torej, MIT znanstveniki se obračajo na sintetične zbirke podatkov.
Izdeluje jih računalnik, ki uporablja 3D modele prizorov, predmetov in ljudi za hitro izdelavo številnih različnih posnetkov določenih dejanj – brez morebitnih težav z avtorskimi pravicami ali etičnih pomislekov, ki prihajajo z resničnimi podatki.
Ali so sintetični podatki dobri kot resnični?
Skupina znanstvenikov z MIT, MIT-IBM Watson AI Lab in bostonske univerze je poskušala odgovoriti na to vprašanje. Ustvarili so sintetični nabor podatkov 150,000 videoposnetkov, ki so predstavljali različna človeška dejanja in usposobljeni strojno učenje modeli, ki uporabljajo ta nabor podatkov. Nato so tem modelom prikazali šest naborov podatkov filmov, posnetih iz dejanskega sveta, da bi preizkusili, kako dobro lahko zaznajo dejanja v teh posnetkih.
Znanstveniki so ugotovili, da so sintetično usposobljeni modeli delovali celo bolje kot modeli, usposobljeni na resničnih podatkih za videoposnetke, ki imajo manj predmetov v ozadju.
To odkritje lahko znanstvenikom pomaga pri uporabi sintetičnih naborov podatkov za pomoč modelom pri natančnejšem izvajanju dejanskih nalog. Da bi zmanjšali nekatere pomisleke glede etike, zasebnosti in avtorskih pravic, povezanih z uporabo dejanskih naborov podatkov, lahko raziskovalcem pomaga tudi pri določanju, katere aplikacije za strojno učenje so najprimernejše za usposabljanje s sintetičnimi podatki.
Rogerio Feris, glavni znanstvenik in vodja MIT-IBM Watson AI Lab je dejal, »Končni cilj naše raziskave je nadomestiti predusposabljanje resničnih podatkov s predusposabljanjem sintetičnih podatkov. Ustvarjanje dejanja v sintetičnih podatkih je strošek, a ko je to opravljeno, lahko ustvarite neomejeno število slik ali videoposnetkov s spremembo položaja, osvetlitve itd. To je lepota sintetičnih podatkov.«
Znanstveniki so začeli z zbiranjem novega sintetičnega predusposabljanja in prenosa (SynAPT) z uporabo treh javno dostopnih naborov podatkov sintetičnih video posnetkov, ki so zajeli človeška dejanja. Vsebuje skoraj 150 akcijskih kategorij, s 1,000 video posnetki na kategorijo.
Trije modeli strojnega učenja so bili predhodno usposobljeni za prepoznavanje dejanj, ki uporabljajo nabor podatkov, potem ko je bil ustvarjen. Predusposabljanje je proces poučevanja modela ene naloge pred poučevanjem druge. Vnaprej usposobljen model lahko uporablja parametre, ki se jih je že naučil, da se hitreje in učinkoviteje nauči nove naloge z novim naborom podatkov. To je oblikovano po tem, kako se ljudje učijo, to je ponovna uporaba preteklih informacij, ko izvemo nekaj novega. Vnaprej usposobljeni model je bil preizkušen z uporabo šestih podatkovnih nizov resničnih video posnetkov, od katerih je vsak zajel razrede dejanj, ki so se razlikovala od tistih v podatkih za usposabljanje.
Za znanstvenike je bilo presenetljivo, ko so videli, da so vsi trije sintetični modeli boljši od modelov, usposobljenih z dejanskimi video posnetki na štirih od šestih podatkovnih nizov. Njihova natančnost je bila najvišja za nize podatkov, ki so vsebovali videoposnetke z "nizko pristranskostjo prizora in predmeta". To pomeni, da model ne more prepoznati dejanja s pogledom v ozadje ali druge predmete v prizoru - osredotočiti se mora na samo dejanje.
Feris je rekel "V videoposnetkih z nizko pristranskostjo prizora in predmeta je časovna dinamika dejanj pomembnejša od videza predmetov ali ozadja in zdi se, da je to dobro zajeto s sintetičnimi podatki."
»Visoka pristranskost scena-objekt lahko deluje kot ovira. Model lahko napačno razvrsti dejanje tako, da gleda na predmet in ne na dejanje samo. Model lahko zmede.”
Soavtor Rameswar Panda, član raziskovalnega osebja v MIT-IBM Watson AI Lab, je dejal, "Na podlagi teh rezultatov želijo raziskovalci v prihodnje delo vključiti več akcijskih razredov in dodatnih sintetičnih video platform ter sčasoma ustvariti katalog modelov, ki so bili predhodno usposobljeni z uporabo sintetičnih podatkov."
"Želimo zgraditi modele, ki imajo zelo podobno ali celo boljšo zmogljivost kot obstoječi modeli v literaturi, vendar ne da bi nas zavezovali kateri koli od teh pristranskosti ali varnostnih pomislekov."
Sooyoung Jin, soavtor in podoktor CSAIL, je dejal, "Prav tako želijo združiti svoje delo z raziskavami, ki skušajo ustvariti natančnejše in realistične sintetične videe, kar bi lahko povečalo učinkovitost modelov."
»Uporabljamo sintetične nabore podatkov, da preprečimo težave z zasebnostjo ali kontekstualno ali družbeno pristranskost, toda kaj se model nauči? Ali se nauči nekaj, kar je nepristransko?«
Soavtorica Samarth Mishra, podiplomska študentka na Bostonski univerzi (BU), je dejal, »Kljub temu, da je pridobivanje dobro označenih sintetičnih podatkov nižji strošek, trenutno nimamo nabora podatkov v takšnem obsegu, da bi se z resničnimi videoposnetki kosal z največjimi nabori označenih podatkov. Upamo, da bomo z razpravo o različnih stroških in skrbeh z resničnimi videoposnetki ter prikazom učinkovitosti sintetičnih podatkov spodbudili prizadevanja v tej smeri.«
Referenca dnevnika:
- Yo-what Kim et al. Kako prenosljive so video predstavitve, ki temeljijo na sintetičnih podatkih? Papir
