Tegevuse tuvastamine on tohutute videoandmetega märkimisväärselt paranenud. Kuid nende andmekogudega kaasnevad probleemid, mis on seotud hoolduskulude, privaatsuse, eetika, eelarvamuste ja autoriõigustega. Niisiis, MIT teadlased pöörduvad sünteetiliste andmekogumite poole.
Need on tehtud arvutiga, mis kasutab stseenide, objektide ja inimeste 3D-mudeleid, et luua kiiresti palju erinevaid klippe konkreetsetest tegevustest – ilma tõeliste andmetega kaasnevate võimalike autoriõiguse või eetiliste probleemideta.
Kas sünteetilised andmed on head kui pärisandmed?
MIT-i, MIT-IBM Watson AI Labi ja Bostoni ülikooli teadlaste meeskond püüdis sellele küsimusele vastata. Nad lõid sünteetilise andmestiku 150,000 XNUMX videoklipist, mis esindasid erinevaid inimtegevusi ja õpetasid masinõpe seda andmestikku kasutavad mudelid. Seejärel kuvasid nad nendele mudelitele kuus tegelikust maailmast võetud filmide andmekogumit, et testida, kui hästi nad suudavad nende salvestuste toiminguid jälgida.
Teadlased leidsid, et sünteetiliselt koolitatud mudelid toimisid isegi paremini kui mudelid, mis on treenitud reaalsete andmete põhjal videote jaoks, millel on vähem taustaobjekte.
See avastus võib aidata teadlastel kasutada sünteetilisi andmekogumeid, et aidata mudelitel tegelikke ülesandeid täpsemalt täita. Et vähendada mõningaid tegelike andmekogumite kasutamisega seotud eetilisi, privaatsus- ja autoriõigusega seotud probleeme, võib see aidata ka teadlastel kindlaks teha, millised masinõpperakendused sobivad kõige paremini sünteetiliste andmetega treenimiseks.
Rogerio Feris, MIT-IBM Watson AI Labi juhtivteadlane ja juht ütles: "Meie uurimistöö lõppeesmärk on asendada reaalsete andmete eeltreening sünteetiliste andmete eelkoolitusega. Sünteetilistes andmetes toimingu loomine on kulukas, kuid kui see on tehtud, saate poosi, valgustust jne muutes luua piiramatult pilte või videoid. See on sünteetiliste andmete ilu.
Teadlased alustasid uue sünteetilise tegevuse eelkoolituse ja ülekande (SynAPT) koostamisega, kasutades kolme avalikult kättesaadavat sünteetiliste videoklippide andmekogumit, mis jäädvustasid inimtegevusi. See sisaldab peaaegu 150 tegevuskategooriat, igas kategoorias on 1,000 videoklippi.
Kolm masinõppemudelit koolitati ette, et tuvastada andmestiku abil toiminguid pärast selle loomist. Eelkoolitus on protsess, mille käigus õpetatakse mudelile üks ülesanne enne teise õpetamist. Eelkoolitatud mudel saab kasutada juba õpitud parameetreid, et aidata tal kiiremini ja tõhusamalt õppida uut ülesannet uue andmekogumiga. See on kujundatud selle järgi, kuidas inimesed õpivad, mis tähendab mineviku teabe taaskasutamist, kui saame teada midagi uut. Eelkoolitatud mudelit on testitud kuue reaalsete videoklippide andmekogumite abil, millest igaüks jäädvustab tegevuste klasse, mis erinevad treeningandmetes sisalduvatest.
Teadlaste jaoks oli üllatav näha, et kõik kolm sünteetilist mudelit ületasid kuuest andmekogumist neljas tegelike videoklippidega treenitud mudeleid. Nende täpsus oli suurim andmestike puhul, mis sisaldasid "madala stseeniobjekti kallutatusega" videoklippe. See tähendab, et mudel ei tunne tegevust ära, vaadates stseeni tausta või muid objekte – ta peab keskenduma tegevusele endale.
Feris ütles: "Madala stseeniobjekti kallutatusega videote puhul on toimingute ajaline dünaamika olulisem kui objektide välimus või taust ja see näib olevat sünteetiliste andmetega hästi tabatud."
"Suur stseeni ja objekti eelarvamus võib olla takistuseks. Mudel võib toimingu valesti klassifitseerida, vaadates pigem objekti kui tegevust ennast. See võib mudelit segadusse ajada.
Kaasautor Rameswar Panda, MIT-IBM Watson AI Labi teadur, ütles: "Nende tulemuste põhjal soovivad teadlased kaasata tulevasesse töösse rohkem tegevusklasse ja täiendavaid sünteetilisi videoplatvorme, luues lõpuks sünteetiliste andmete abil eelnevalt koolitatud mudelite kataloogi."
"Me tahame luua mudeleid, mis on väga sarnased või isegi paremad kui olemasolevad kirjanduses olevad mudelid, kuid ilma nende eelarvamuste või turvaprobleemideta."
Sooyoung Jin, kaasautor ja CSAIL-i järeldoktor, ütles: "Samuti soovivad nad ühendada oma töö uurimistööga, mille eesmärk on luua täpsemaid ja realistlikumaid sünteetilisi videoid, mis võiksid mudelite jõudlust suurendada."
„Kasutame sünteetilisi andmekogumeid privaatsusprobleemide või kontekstuaalse või sotsiaalse eelarvamuse vältimiseks, kuid mida mudel õpib? Kas see õpib midagi erapooletut?”
Kaasautor Samarth Mishra, Bostoni ülikooli (BU) magistrant ütles, "Hoolimata sellest, et hästi kommenteeritud sünteetiliste andmete hankimine on madalam, ei ole meil praegu sellist andmestikku, mis konkureeriks tõeliste videotega suurimate annoteeritud andmekogumitega. Arutades erinevaid kulusid ja probleeme tõeliste videotega ning näidates sünteetiliste andmete tõhusust, loodame motiveerida sellesuunalisi jõupingutusi.
Ajakirja viide:
- Yo-mis Kim jt. Kui ülekantavad on sünteetilistel andmetel põhinevad videoesitlused? Paber
