Meta Research: Fotorealistična oblačila za avatarje kodekov

Meta je delila nove raziskave v smeri realistične simulacije oblačil za avatarje.

Ta rešitev za oblačila je zgrajena na osnovi Codec Avatars – Metinega dolgoročnega projekta za razvoj fotorealistični avatarji, ki jih v realnem času upravljajo senzorji strojne opreme VR – in prihaja iz iste ekipe. Namesto tradicionalnega upodabljanja je ideja Codec Avatars uporaba niza nevronskih mrež za učenje videza dane osebe, nato stalno kodiranje njihovega trenutnega stanja na podlagi vnosa senzorja in končno dekodiranje tega stanja kot geometrije in končne izhodne teksture. Od prvotne predstavitve je ekipa Codec Avatars pokazala več razvojev sistema, kot je npr bolj realistične oči, različica zahteva le sledenje očem in vhod mikrofonaA Različica 2.0, ki se približuje popolnemu realizmuin samo z uporabo generacije iPhone z ID obraza.

Najnovejša raziskava, Globok fotorealističen videz za fizično simulirana oblačila, uporablja nevronske mreže za realistično deformacijo oblačil na katerem koli tipu telesa:

Kot vedno ugotavljamo, Meta še vedno ima še dolgo pot, da doseže takšno zvestobo pri pošiljanju izdelkov. Ta sistem oblačil trenutno deluje s samo 13 sličicami na sekundo na grafičnem procesorju NVIDIA RTX 3090. Toda na področju strojnega učenja je lahko optimizacija sčasoma dramatična. Sinteza govora in algoritmi za prepoznavanje predmetov na današnjih pametnih telefonih so nekoč prav tako zahtevali drage računalniške grafične procesorje.

Meta Avatarji danes imajo osnovni umetniški slog risanke. Njihov realizem se je sčasoma dejansko zmanjšal in verjetno bolje ustreza večjim skupinam s kompleksnimi okolji v aplikacijah, kot je Horizon Worlds na mobilnem procesorju Quest 2. Vendar pa se lahko kodeki Avatarji končajo kot ločena možnost in ne kot neposredna posodobitev današnjih risanih avatarjev. notri njegov intervju z Lexom Fridmanom, izvršni direktor Mark Zuckerberg je opisal prihodnost, v kateri boste morda uporabljali "ekspresionistični" avatar v priložnostnih igrah in "realističen" avatar na delovnih sestankih.

Aprila Yaser Sheikh, ki vodi skupino Codec Avatars, je dejal, da je nemogoče napovedati, kako daleč je od dejanskega pošiljanja. Rekel je, da je bil projekt, ko se je začel, oddaljen »deset čudežev«, zdaj pa verjame, da je »pet čudežev stran«.