Meta Research: Fotorealistiska kläder för Codec-avatarer

Meta delade med sig av ny forskning mot realistisk simulering av kläder för avatarer.

Denna klädlösning är byggd ovanpå Codec Avatars – Metas långsiktiga projekt att utveckla fotorealistiska avatarer som drivs i realtid av VR-hårdvarusensorer – och kommer från samma team. Istället för traditionell rendering är idén med Codec Avatars att använda en serie neurala nätverk för att lära sig utseendet på en given person, sedan ständigt koda deras nuvarande tillstånd baserat på sensoringång och slutligen avkoda detta tillstånd som geometri och slutliga utdatatexturer. Sedan det ursprungligen presenterades har Codec Avatars-teamet visat upp flera utvecklingar av systemet, som t.ex mer realistiska ögon, en version kräver endast eyetracking och mikrofoningång, en 2.0-version som närmar sig fullständig realism, och enbart generering en iPhone med FaceID.

Den senaste forskningen, Djupt fotorealistiskt utseende för fysiskt simulerade kläder, tillämpar neurala nätverk på realistisk deformation av kläder över alla kroppstyper:

Som vi alltid noterar, Meta still har en lång väg att gå för att nå denna typ av trohet i fraktprodukter. Detta klädsystem körs för närvarande med bara 13 bilder per sekund på en NVIDIA RTX 3090 GPU. Men inom området för maskininlärning kan optimering vara dramatisk över tiden. Algoritmerna för talsyntes och objektigenkänning på smartphones idag krävde också en gång dyra PC GPU:er.

Meta-avatarer idag ha en grundläggande tecknad konststil. Deras realism har faktiskt minskat med tiden, vilket sannolikt bättre passar större grupper med komplexa miljöer i appar som Horizon Worlds på Quest 2:s mobila processor. Codec-avatarer kan dock sluta som ett separat alternativ, snarare än en direkt uppdatering av dagens tecknade avatarer. I hans intervju med Lex Fridman, VD Mark Zuckerberg beskrev en framtid där du kan använda en "expressionistisk" avatar i vardagsspel och en "realistisk" avatar i arbetsmöten.

I april Yaser Sheikh, som leder Codec Avatars-teamet, sa att det är omöjligt att förutsäga hur långt bort det är från att faktiskt skickas. Han sa att när projektet startade var det "tio mirakel bort" och han tror nu att det är "fem mirakel bort".