Meta Araştırma: Codec Avatarları İçin Fotogerçekçi Giysiler

Meta, avatarlar için kıyafetlerin gerçekçi simülasyonuna yönelik yeni bir araştırma paylaştı.

Bu giysi çözümü, Meta'nın geliştirmek için uzun vadeli projesi olan Codec Avatarlarının üzerine inşa edilmiştir. VR donanım sensörleri tarafından gerçek zamanlı olarak yönlendirilen fotogerçekçi avatarlar ve aynı ekipten geliyor. Geleneksel işleme yerine, Codec Avatarlarının fikri, belirli bir kişinin görünümünü öğrenmek için bir dizi sinir ağı kullanmak, ardından sensör girdisine dayalı olarak mevcut durumunu sürekli olarak kodlamak ve son olarak bu durumu geometri ve nihai çıktı dokuları olarak çözmektir. İlk sunulduğundan bu yana, Codec Avatarları ekibi sistemin çeşitli evrimlerini gösterdi, örneğin: daha gerçekçi gözler, bir versiyon yalnızca göz izleme ve mikrofon girişi gerektiren, Tam gerçekçiliğe yaklaşan 2.0 sürümü, ve sadece kullanarak nesil ile bir iPhone FaceID.

Son araştırmalar Fiziksel Olarak Simüle Edilmiş Giysiler için Derin Fotogerçekçi Görünüm, herhangi bir vücut tipinde giysinin gerçekçi deformasyonuna sinir ağları uygular:

Her zaman belirttiğimiz gibi, Meta hala nakliye ürünlerinde bu tür bir sadakate ulaşmak için uzun bir yolu var. Bu giysi sistemi şu anda bir NVIDIA RTX 13 GPU'da saniyede yalnızca 3090 kare hızında çalışıyor. Ancak makine öğrenimi alanında optimizasyon zaman içinde çarpıcı olabilir. Bugün akıllı telefonlardaki konuşma sentezi ve nesne tanıma algoritmaları da bir zamanlar pahalı PC GPU'ları gerektiriyordu.

Bugün Meta Avatarları temel bir karikatür sanat stiline sahip. Gerçeklikleri zamanla azaldı, Quest 2'nin mobil işlemcisindeki Horizon Worlds gibi uygulamalarda karmaşık ortamlara sahip daha büyük gruplara daha iyi uyması muhtemel. Bununla birlikte, Codec Avatarları, günümüzün çizgi film avatarlarının doğrudan güncellenmesi yerine ayrı bir seçenek haline gelebilir. İçinde Lex Fridman ile yaptığı röportajCEO Mark Zuckerberg, gündelik oyunlarda "dışavurumcu" bir avatar ve iş toplantılarında "gerçekçi" bir avatar kullanabileceğiniz bir geleceği anlattı.

Nisan ayında Codec Avatars ekibine liderlik eden Yaser Sheikh, aslında nakliyeden ne kadar uzakta olduğunu tahmin etmenin imkansız olduğunu söyledi. Proje başladığında “on mucize uzakta” ​​olduğunu söyledi ve şimdi “beş mucize uzakta” ​​olduğuna inanıyor.