Meta Research: fotorealistyczne ubrania dla awatarów kodeków

Meta podzieliła się nowymi badaniami nad realistyczną symulacją ubrań dla awatarów.

To rozwiązanie odzieżowe jest oparte na Codec Avatars – długoterminowym projekcie Meta fotorealistyczne awatary sterowane w czasie rzeczywistym przez czujniki sprzętowe VR – i pochodzą z tego samego zespołu. Zamiast tradycyjnego renderowania, ideą Codec Avatars jest wykorzystanie serii sieci neuronowych do poznania wyglądu danej osoby, następnie ciągłe kodowanie jej aktualnego stanu na podstawie danych wejściowych z czujnika, a na koniec dekodowanie tego stanu jako geometrii i końcowych tekstur wyjściowych. Od czasu pierwotnej prezentacji zespół Codec Avatars popisał się kilkoma ewolucjami systemu, m.in bardziej realistyczne oczy, wersja wymaga jedynie śledzenia wzroku i wejścia mikrofonowego, A Wersja 2.0, która zbliża się do pełnego realizmui generowanie tylko przy użyciu iPhone z FaceID.

Najnowsze badania, Głęboko fotorealistyczny wygląd symulowanej fizycznie odzieży, stosuje sieci neuronowe do realistycznej deformacji odzieży dla każdego typu ciała:

Jak zawsze zauważamy, Meta wciąż ma przed sobą długą drogę do osiągnięcia tego rodzaju wierności w wysyłce produktów. Ten system odzieżowy działa obecnie z zaledwie 13 klatkami na sekundę na procesorze graficznym NVIDIA RTX 3090. Ale w dziedzinie uczenia maszynowego optymalizacja może być dramatyczna w czasie. Algorytmy syntezy mowy i rozpoznawania obiektów w dzisiejszych smartfonach również kiedyś wymagały drogich procesorów graficznych do komputerów PC.

Meta Awatary dzisiaj mieć podstawowy styl rysunkowy. Ich realizm faktycznie z czasem się zmniejszył, prawdopodobnie lepiej pasując do większych grup ze złożonymi środowiskami w aplikacjach takich jak Horizon Worlds na mobilnym procesorze Quest 2. Avatary z kodeka mogą jednak stać się osobną opcją, a nie bezpośrednią aktualizacją dzisiejszych awatarów kreskówek. W jego wywiad z Lexem Fridmanem, dyrektor generalny Mark Zuckerberg opisał przyszłość, w której możesz używać „ekspresjonistycznego” awatara w zwykłych grach i „realistycznego” awatara podczas spotkań w pracy.

W kwietniu Yaser Sheikh, który kieruje zespołem Codec Avatars, powiedział, że nie można przewidzieć, jak daleko jest od rzeczywistej wysyłki. Powiedział, że kiedy projekt się rozpoczął, dzieliło go „dziesięć cudów”, a teraz wierzy, że dzieli go „pięć cudów”.