Eye-tracking, XR için Foveated Rendering'in Çok Ötesine Giden Bir Oyun Değiştiricidir

Bir kullanıcının bir VR başlığının içindeyken baktığı yönü hızlı ve hassas bir şekilde ölçebilme yeteneği olan göz izleme özelliğinden genellikle foveated render bağlamında ve XR başlıklarının performans gereksinimlerini nasıl azaltabileceğinden bahsedilir. Ve foveated render, AR ve VR başlıklarında göz izleme için heyecan verici bir kullanım durumu olsa da, göz izleme masaya çok daha fazlasını getiriyor.

Güncelleme – 2 Mayıs 2023

Göz izleme, uzun yıllardır uzak bir teknoloji olarak XR ile ilgili olarak konuşuldu, ancak donanım sonunda geliştiriciler ve müşteriler için giderek daha fazla kullanılabilir hale geliyor. PSVR 2 ve Quest Pro, Varjo Aero, Vive Pro Eye ve daha fazlasının yanı sıra yerleşik göz izleme özelliğine sahip kulaklıkların en görünür örnekleridir.

Bu ivmeyle, sadece birkaç yıl içinde göz izlemenin tüketici XR kulaklıklarının standart bir parçası haline geldiğini görebildik. Bu olduğunda, teknolojinin deneyimi büyük ölçüde iyileştirmesini sağlayabileceği çok çeşitli özellikler vardır.

Foveated İşleme

İlk önce birçok kişinin zaten aşina olduğu birinden başlayalım. Foveated oluşturma, zorlu AR ve VR sahnelerini görüntülemek için gereken hesaplama gücünü azaltmayı amaçlar. Adı, insan retinasının merkezinde yoğun bir şekilde fotoreseptörlerle dolu küçük bir çukur olan 'fovea'dan gelir. Görüş alanımızın merkezinde bize yüksek çözünürlüklü görüş sağlayan foveadır; bu arada, çevresel görüşümüz aslında ayrıntı ve rengi algılamada çok zayıftır ve ayrıntıyı görmektense hareket ve kontrastı tespit etmek için daha iyi ayarlanmıştır. Bunu, sadece birkaç megapiksellik büyük bir sensöre ve ortada çok sayıda megapiksele sahip daha küçük başka bir sensöre sahip bir kamera gibi düşünebilirsiniz.

Görüntünüzün yüksek ayrıntıda görebildiğiniz bölgesi aslında çoğu kişinin düşündüğünden çok daha küçüktür; görüşünüzün merkezi boyunca sadece birkaç derecedir. Fovea ile retinanın geri kalanı arasındaki çözme gücü farkı o kadar büyük ki, foveanız olmadan bu sayfadaki metni seçemezsiniz. Bunu kendiniz de kolayca görebilirsiniz: eğer gözlerinizi Re-Tweet kelimeyi yazın ve aşağıdaki iki cümleyi okumaya çalışın, görebilseniz bile kelimelerin ne söylediğini anlamanın neredeyse imkansız olduğunu göreceksiniz. bir şey kelimelere benzer. İnsanların görüşlerinin foveal bölgesini abartmalarının nedeni, beynin dünyanın nasıl olduğuna inandığımız bir model oluşturmak için çok fazla bilinçsiz yorumlama ve tahmin yapmasıdır.

Foveated rendering, sanal sahneyi yalnızca fovea'nın gördüğü bölgede yüksek çözünürlüklü hale getirerek vizyonumuzun bu tuhaflığından yararlanmayı ve ardından, ayrıntıların zaten çözülemediği çevresel görüşümüzde sahnenin karmaşıklığını büyük ölçüde azaltmayı amaçlar. . Bunu yapmak, başka bir yerde işleme kaynaklarından tasarruf ederken, işleme gücünün çoğunu ayrıntılara en çok katkıda bulunduğu yere odaklamamıza olanak tanır. Bu çok büyük bir anlaşma gibi gelmeyebilir, ancak XR kulaklıkların ekran çözünürlüğü ve görüş alanı arttıkça, karmaşık sahneleri işlemek için gereken güç de hızla artıyor.

Göz izleme elbette devreye giriyor çünkü foveated render işlemini gerçekleştirmek için kullanıcının bakış merkezinin nerede olduğunu her zaman hızlı ve yüksek hassasiyetle bilmemiz gerekiyor. Kullanıcı fark etmeden bunu başarmak zor olsa da, Quest Pro ve PSVR 2 gibi son kulaklıklarda oldukça etkili bir şekilde kanıtlanmıştır.

Otomatik Kullanıcı Tespiti ve Ayarlama

Göz izleme, hareketi algılamanın yanı sıra biyometrik tanımlayıcı olarak da kullanılabilir. Bu, göz izlemeyi tek bir kulaklıkta birden fazla kullanıcı profili için harika bir aday yapar; kulaklığı taktığımda, sistem beni anında benzersiz bir kullanıcı olarak tanımlayabilir ve özelleştirilmiş ortamımı, içerik kitaplığımı, oyun ilerlememi ve ayarlarımı çağırabilir. Bir arkadaş kulaklığı taktığında, sistem yükleyebilir ve bazı Asya tercihler ve kaydedilen veriler.

Göz izleme, IPD'yi (kişinin gözleri arasındaki mesafe) kesin olarak ölçmek için de kullanılabilir. IPD'nizi bilmek XR'de önemlidir çünkü hem konfor hem de görsel kalite için lensleri ve ekranları en uygun konuma taşımak gerekir. Ne yazık ki pek çok insan anlaşılır bir şekilde IPD'lerinin ne olduğunu kafalarının üstünden bilmiyorlar.

Göz izleme ile, her kullanıcının IPD'sini anında ölçmek ve ardından kulaklığın yazılımının, kullanıcının kulaklığın IPD'sini eşleşecek şekilde ayarlamasına yardımcı olmasını sağlamak veya kullanıcıları IPD'lerinin kulaklık tarafından desteklenen aralığın dışında olduğu konusunda uyarmasını sağlamak kolay olacaktır.

Daha gelişmiş kulaklıklarda bu işlem görünmez ve otomatik olabilir; IPD görünmez bir şekilde ölçülebilir ve kulaklıkta, kullanıcının herhangi bir şeyin farkına varmasına gerek kalmadan lensleri otomatik olarak doğru konuma getiren motorlu bir IPD ayarı olabilir. örneğin Varjo Aero'da.

Değişken Odaklı Ekranlar

Günümüzün VR kulaklıklarında kullanılan optik sistemler oldukça iyi çalışıyor ancak aslında oldukça basitler ve insan görüşünün önemli bir işlevini desteklemiyorlar: dinamik odaklama. Bunun nedeni, XR kulaklıklarındaki ekranın, stereoskopik derinlik aksini gösterse bile gözümüze her zaman aynı uzaklıkta olmasıdır. Bu, vergence-accommodation çatışması adı verilen bir soruna yol açar. Biraz daha derinlemesine öğrenmek istiyorsanız, aşağıdaki primerimize göz atın:

Odak derinliğini dinamik olarak değiştirebilen değişken odaklı ekranlar, bu soruna bir çözüm olarak önerilmiştir. Değişken odaklı ekranlara bir dizi yaklaşım vardır; bunlardan belki de en basiti, odak derinliğini anında değiştirmek için ekranın fiziksel olarak lensten ileri geri hareket ettirildiği bir optik sistemdir.

Böyle bir harekete geçirilmiş değişken odaklı görüntü elde etmek, göz takibi gerektirir çünkü sistemin kullanıcının sahnede tam olarak nereye baktığını bilmesi gerekir. Sistem, kullanıcının her bir gözünden sanal sahneye giden bir yol izleyerek, bu yolların kesiştiği noktayı bulabilir ve kullanıcının baktığı uygun odak düzlemini oluşturabilir. Bu bilgi daha sonra buna göre ayarlanması için ekrana gönderilir ve odak derinliği kullanıcının gözünden nesneye olan sanal mesafeyle eşleşecek şekilde ayarlanır.

İyi uygulanmış bir değişken odaklı ekran, sapma-uyum çatışmasını ortadan kaldırmakla kalmaz, aynı zamanda kullanıcıların mevcut kulaklıklardan çok kendilerine daha yakın olan sanal nesnelere odaklanmalarına olanak tanır.

Ve biz XR kulaklıklarına değişken odaklı ekranlar yerleştirmeden çok önce, kullanıcının gözlerinin odak düzlemi dışındaki nesnelerin bulanıklaşmasına yaklaşabilen simüle edilmiş alan derinliği için göz izleme kullanılabilir.

Şu an itibariyle, piyasada değişken odaklı yeteneklere sahip büyük bir kulaklık yok, ancak büyüyen araştırma ve geliştirme kuruluşu yeteneğin nasıl kompakt, güvenilir ve uygun fiyatlı hale getirileceğini bulmaya çalışmak.

Foveated Ekranlar

Foveated render, render gücünü vizyonumuzun keskin görebildiğimiz kısmı ile düşük detaylı çevresel görüşümüz arasında daha iyi dağıtmayı amaçlarken, gerçek piksel sayısı için benzer bir şey elde edilebilir.

Yalnızca ekranın belirli bölümlerindeki işleme ayrıntılarını diğerlerine göre değiştirmek yerine, foveated ekranlar, nereye bakarlarsa baksınlar kullanıcının bakışlarının önünde kalmak için fiziksel olarak hareket ettirilen (veya bazı durumlarda "yönlendirilen") ekranlardır.

Foveated ekranlar, pikselleri tüm görüş alanımızda daha yüksek çözünürlükte sıkıştırmaya çalışarak sorunu zorlamadan AR ve VR başlıklarında çok daha yüksek çözünürlüğe ulaşmanın kapısını açar. Bunu yapmak yalnızca maliyetli olmakla kalmaz, aynı zamanda piksel sayısı retinal çözünürlüğe yaklaştıkça zorlu güç ve boyut kısıtlamalarına da yol açar. Bunun yerine, foveated ekranlar, göz izleme verilerine dayalı olarak daha küçük, piksel yoğun bir ekranı kullanıcının baktığı yere taşır. Bu yaklaşım, aksi takdirde tek bir düz ekranla elde edilebilecek olandan daha yüksek görüş alanlarına bile yol açabilir.

Varjo, foveated görüntüleme sistemi üzerinde çalışan bir şirkettir. Geniş bir görüş alanını kapsayan (ancak çok piksel yoğun olmayan) tipik bir ekran kullanırlar ve ardından bunun üzerine çok daha fazla piksel yoğunluğuna sahip bir mikro ekran yerleştirirler. İkisinin kombinasyonu, kullanıcının hem periferik görüşü için geniş bir görüş alanı hem de foveal görüşü için çok yüksek çözünürlüklü bir bölge elde ettiği anlamına gelir.

Kabul edilirse, bu ön plana çıkan ekran dinamik olmaktan çok statiktir (yüksek çözünürlüklü alan ekranın ortasında kalır), ancak şirket ekranı hareket ettirmek için bir dizi yöntem olarak kabul edildi yüksek çözünürlüklü alanın her zaman bakışınızın merkezinde olmasını sağlamak için.

Devamı 2. Sayfada: Daha İyi Sosyal Avatarlar »

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• Kaynak: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/