Tech Demo, Quest Pro Yüz Takibinin Gerçek Gücünü Gösterir

Quest Pro'nun yüz izleme yetenekleri, Meta'nın avatarlarını daha etkileyici hale getirmek için hızla kullanılacak, ancak yeni nesil avatarlar yeni teknolojiden çok daha fazla faydalanacak.

Quest Pro'nun büyük yeni özelliklerinden biri, gözlerinizin ve yüzünüzün bazı bölümlerinin hareketini algılamak için dahili kameraları kullanan bir yüz izleme sistemidir. Kalibrasyon gerektirmeyen bir makine öğrenimi modeliyle birleştirilen kulaklık, gördüklerini alır ve bunları herhangi bir avatarın animasyonunu yönlendirebilecek girdilere dönüştürür.

Key Quest Pro Kapsamı:

Quest Pro Açıklandı – Tüm Özellikler, Fiyat ve Çıkış Tarihi

Quest Pro Hands-on – Karma Gerçeklik Kulaklık Çağının Şafağı

Quest Pro Teknik Analizi - Neler Vaat Ediyor & Neler Değil

Touch Pro Kontrol Cihazları Tanıtıldı – Quest 2 ile de Uyumlu

Yakın vadede bu, Meta'nın mevcut avatarlarında kullanılmaya başlanacak. Ve bu onları kesinlikle daha anlamlı kılsa da yine de biraz şapşal görünüyorlar.

Bu muhtemelen mevcut Meta avatar sisteminin bu düzeyde yüz izleme göz önünde bulundurularak oluşturulmamasının bir sonucudur. Modelin altında yatan animasyon çerçevesi olan 'donanım' bu göreve pek uygun görünmüyor. Quest Pro'nun yüz izleme girdilerini mevcut sisteme aşılamak, gerçekte yapabileceklerinin hakkını vermiyor.

Neyse ki Meta, bir avatarın Quest Pro'nun yüz takibi göz önünde bulundurularak tasarlandığında (ve kulaklığın işlem gücünün neredeyse tamamının onu oluşturmaya ayrıldığında) nelerin mümkün olduğunu gösteren bir teknoloji demosu oluşturdu.

[Gömülü içerik]

Evet, hâlâ biraz titrek ama burada gördüğünüz her hareket, yanakları şişirmek veya ağzı bir taraftan diğer tarafa hareket ettirmek gibi şeyler de dahil olmak üzere, kullanıcının aynı hareketleri yapmasıyla gerçekleştiriliyor. Genel olarak bakıldığında, esrarengiz vadiye girmekten kaçınmayı başardığını iddia ettiğim bir yüzün çok daha eksiksiz bir temsili.

Bu demoyu kendim denemeliyim Quest Pro ile son uygulamalı çalışma aynaya baktım ve bu karakter (Meta'nın Aura dediği) olarak göründüm. Özel bir kalibrasyon olmasa bile aynada gördüğüm yüzün, yüzümle yapmayı düşünebildiğim hareketleri taklit etmesinden gerçekten etkilendim.

Özellikle ciltteki detaylar ilgimi çekti. Gözlerimi kısıp burnumu kırıştırırsam, etrafındaki derinin gerçekçi bir şekilde toplandığını görebiliyordum ve kaşımı kaldırdığımda da aynı şey oldu. Yanaklardaki ağızla birlikte hareket eden kıvrım gibi bu ince detaylar, bunun sadece önümde olan bir nesne değil, arkasında yaşayan bir varlık olduğu izlenimini gerçekten artırıyor.

İfadelerin gerçekte şöyle görünüp görünmediği me maskenin ardındaki ben olduğumda başka bir soru. Bu avatarın yüzü benimkine benzemediği için bunu söylemek aslında zor. Ama hareketler en azından makul derecede gerçekçi doğal ve inandırıcı görünen sanal avatarlara doğru atılan ilk önemli adımdır.

Meta, geliştiricilerin yüz izleme girişlerini avatara nasıl eklediklerini görebilmeleri için Aura demosunu açık kaynaklı bir proje olarak yayınlayacağını söylüyor. Şirket ayrıca geliştiricilerin, her avatarı ayrı ayrı ayarlamaya gerek kalmadan insansı avatarları veya hayvanlar veya canavarlar gibi insan olmayan avatarları yönetmek için tek bir araç seti kullanabileceğini söylüyor.

Meta, geliştiricilerin, insan yüzündeki farklı kasların hareketini tanımlamak için iyi bilinen bir sistem olan FACS'ye karşılık gelen değerleri kullanan bir yüz izleme API'sinden yararlanabileceklerini söylüyor.

Bu sadece yüzlerin temsili açısından etkili bir sistem değil, aynı zamanda kullanıcılar için de yararlı bir gizlilik bariyeri oluşturuyor. Meta'ya göre geliştiriciler aslında kullanıcının yüzünün ham görüntülerine erişemiyor. Meta, bunun yerine "burnunuzu kıvırdığınızda veya kaşlarınızı çattığınızda olduğu gibi bir dizi genel yüz hareketine karşılık gelen bir dizi sıfıra bir değer elde ettiklerini" söylüyor. "Bu sinyaller, bir geliştiricinin, Yüz İzleme API'sinden gelen sinyalleri kendi karakter donanımlarıyla eşleştirirken, karakterleri ister insansı, ister daha fantastik olsun, oyuncunun orijinal hareketinin anlamsal anlamını korumasını kolaylaştırıyor."

Meta, şirketin kendisinin bile kulaklığın dahili veya harici kameraları tarafından çekilen görüntüleri göremediğini iddia ediyor. Şirkete göre bunlar, kulaklıkta işleniyor ve ardından buluta veya geliştiricilere gönderilmeden hemen siliniyor.