Meta-uuringud: fotorealistlikud rõivad koodekite avataridele

Meta jagas uusi uuringuid avataride riiete realistliku simulatsiooni kohta.

See rõivalahendus on üles ehitatud Codec Avatarsile – Meta pikaajalisele arendusprojektile fotorealistlikud avatarid, mida juhivad reaalajas VR riistvaraandurid – ja need on pärit samast meeskonnast. Traditsioonilise renderdamise asemel on Codec Avatarsi idee kasutada närvivõrkude seeriat, et õppida antud inimese välimust, seejärel kodeerida pidevalt anduri sisendi põhjal tema hetkeseisund ning lõpuks dekodeerida see olek geomeetria ja lõplike väljundtekstuuridena. Alates esialgsest esitlemisest on Codec Avatarsi meeskond näidanud mitmeid süsteemi evolutsioone, näiteks realistlikumad silmad, versioon nõuab ainult silmade jälgimist ja mikrofoni sisenditon 2.0 versioon, mis läheneb täielikule realismile, ja genereerimine ainult kasutades iPhone'iga FaceID.

Viimased uuringud, Sügav fotorealistlik välimus füüsiliselt simuleeritud rõivastele, rakendab närvivõrke riiete realistlikuks deformeerimiseks mis tahes kehatüübi puhul:

Nagu me alati märgime, on Meta endiselt on pikk tee käia, et saavutada selline truudus toodete saatmisel. See riietussüsteem töötab praegu NVIDIA RTX 13 GPU-ga vaid 3090 kaadrit sekundis. Kuid masinõppe valdkonnas võib optimeerimine aja jooksul olla dramaatiline. Ka tänapäeval nõudsid nutitelefonide kõnesünteesi ja objektituvastusalgoritmid kalleid PC GPU-sid.

Meta Avatarid täna neil on põhiline koomiksikunsti stiil. Nende realistlikkus on aja jooksul tegelikult vähenenud, sobides tõenäoliselt paremini suurematele rühmadele keerukates keskkondades sellistes rakendustes nagu Horizon Worlds on Quest 2 mobiiliprotsessor. Codec Avatars võib siiski lõppeda eraldi valikuna, mitte tänaste koomiksite avataride otsese värskendusena. sisse tema intervjuu Lex Fridmaniga, kirjeldas tegevjuht Mark Zuckerberg tulevikku, kus võite kasutada "ekspressionistlikku" avatari juhuslikes mängudes ja "realistlikku" avatari töökoosolekutel.

Aasta aprillis Codec Avatarsi meeskonda juhtiv Yaser Sheikh ütles, et on võimatu ennustada, kui kaugel see tegelikult tarnimisest on. Ta ütles küll, et kui projekt algas, oli see "kümne ime kaugusel" ja nüüd usub ta, et see on "viie ime kaugusel".