Meta Gerçekliğe Giriş: Sanal ve Fiziksel Dünyaları İkna Edici Bir Şekilde Harmanlamak için Gerekli Teknolojilere Bir Bakış

Karma gerçeklik (MR), üretkenlik ve iş arkadaşlarıyla gerçek zamanlı işbirliğinden, arkadaşlarınız ve ailenizle takılmaya, henüz hayalini bile kurmadığımız yeni oyun türlerine ve etkileşimli uygulamalara kadar çeşitli benzersiz deneyimlerin kapısını açabilir. VR sizi tamamen dijital bir ortama çekerken, MR size sanal içeriğin tadını çıkarırken fiziksel alanınızda hareket etme ve insanlarla ve nesnelerle etkileşimde bulunma özgürlüğü vererek, VR'de fiziksel alanınızı genişleten yeni bir AR benzeri deneyimler sınıfının kilidini açar.

“Çevrenizdeki fiziksel dünyayı görebilmek ve onu sanal içerikle harmanlayabilmek, günümüzde VR için yeni olanakların önünü açıyor; arkadaşlarınızla aynı fiziksel odada oynayabileceğiniz ortak konumlu oyunlar veya devasa sanal monitörleri fiziksel araçlarla birleştiren üretkenlik deneyimleri gibi. " diye açıklıyor Meta Ürün Müdürü Sarthak Ray. "Ve bu, artırılmış gerçeklik konusunda uzun vadeli vizyonumuza doğru atılmış bir adım."

Karma gerçekliğin, fiziksel dünyanın gerçek zamanlı, yüksek çözünürlüklü video akışının kulaklığın içinde gösterilmesiyle elde edilebileceğine dair yaygın bir yanılgı var, ancak gerçek çok daha karmaşık. İnandırıcı MR deneyimleri, sanal ve fiziksel dünyaları ikna edici bir şekilde harmanlama yeteneğini gerektirir; bu, kulaklığın fiziksel çevrenizi 2D video olarak görüntülemekten daha fazlasını yapması gerektiği anlamına gelir. Etrafınızdaki nesneleri ve yüzeyleri anlayarak odanızı aslında dijital olarak 3 boyutlu bir alan olarak yeniden yapılandırması gerekir. Bu, yüksek çözünürlüklü sensörler gibi birden fazla donanım ve yazılım teknolojisinden oluşan karmaşık bir sistemi gerektirir. Şifreli, yapay zeka destekli Sahne Anlama, ve Mekansal Çapalarhepsi sorunsuz ve rahat bir şekilde birlikte çalışıyor.

Meta olarak, tüketicilere geniş ölçekte sunduğumuz önde gelen VR teknolojilerini yaratmak için orijinal araştırma ve geliştirmeye sürekli yatırım yapıyoruz ve bunu yaparken de tasarımımızda insanı ön planda tutuyoruz. İnsanların etraflarındaki dünyayı nasıl algıladıklarına dair derin bir anlayıştan ve bu algıyı, insanları sanal ve karma gerçekliğin olanakları konusunda heyecanlandıran sürükleyici deneyimlere bağlama dürtüsünden edinilen bilgilerle ayrıntılara odaklanıyoruz. Bugün, benzersiz karma gerçeklik sistemimiz için yeni bir isim olan Meta Reality'yi tanıtıyoruz ve size gerçekten birinci sınıf bir MR deneyimine neyin dahil olduğuna dair arka planda bir bakış sunuyoruz.

Uzamsal Farkındalık için Stereoskopik Renk Geçişi

Her şeyden önce, gerçek bir MR deneyimi rahat olmalı ve doğal bir görüntüleme deneyimi gibi hissettirmelidir; derinlik duygusunu iletemeyen doğrudan bir video akışı, yüksek çözünürlükte olsa bile bunu sağlayamaz. Ek olarak, Geçiş monoskopikse (tek bir görüntüleme açısından görülüyorsa) ve/veya derinlik ipuçlarından yoksunsa izleyici için rahatsız edici olabilir. İçin Şifreli Konforlu olması için, bireysel göz tamponunda oluşturulan görüntülerin stereoskopik ipuçları sağlayan iki ayrı açıdan oluşturulması gerekir. Bu, derinlik ve renk bilgilerinin varlığıyla birlikte konforlu bir deneyimi yeniden oluşturmak için önemlidir.

Stereoskopik renkli Geçiş çözümümüz, bu zorluğun üstesinden gelmek için özel bir donanım mimarisi, gelişmiş bilgisayarlı görme algoritmaları ve gözlerinizin çevrenizdeki dünyayı doğal olarak nasıl gördüğünü modelleyen son teknoloji ürünü makine öğrenimini kullanır. Daha iyi kamera ve ekran çözünürlüğü, Meta Quest Pro'nun kameralarının Meta Quest 2'nin kameralarından dört kat daha fazla piksel yakalamasıyla görüntü kalitesinin artmasını sağlar. Ancak belki daha da önemlisi, görüntü tabanlı oluşturma, stereo geometri yeniden yapılandırması ve derinlik anlayışı, belirli bir odadaki sahneye göre nesnelerin konumunu belirler. Bu yeni algoritma yığını, Meta Quest Pro'nun oda geometrisinin özelliklerini tanımlamasına ve 3 boyutlu alanda nesnelerin konumunu belirlemesine olanak tanır. Yani stereoskopik renkli Geçiş ile görüntülerken masanızdaki kahve fincanına uzandığınızda, beyniniz fincanın elinizden, yanınızda duran kaleme göre daha uzakta olduğunu anlar.

Meta Bilgisayarlı Görme Mühendisliği Müdürü Ricardo Silveira Cabral, "Meta Quest Pro, gerçekçi derinliği yeniden oluşturmak için iki kamera görüntüsünü birleştiriyor; bu da renkli Geçiş kullanılarak oluşturulan karma gerçeklik deneyimlerinin insanlar için rahat olmasını sağlıyor" diye açıklıyor. "Ama aynı zamanda stereo doku ipuçları, kullanıcının beyninin gerisini halletmesine ve derinlik yeniden yapılandırması mükemmel olmadığında veya sistemin menzilinin dışında olduğunda bile derinlik çıkarımı yapmasına olanak tanıyor."

Unutmayın Oculus Bilgisi— bir tüketici VR cihazı için ilk bağımsız, tam özellikli "içten dışa" izleme sistemini mümkün kılan teknolojimiz mi? Belirli bir alanın gerçek zamanlı olarak yoğun bir 3 boyutlu temsilini üretmek için derinlik algılama yeteneklerini geliştirdik. Insight, kulaklığın uzaydaki konumunu belirlemek için bir odadaki yaklaşık 100 ilgi noktasını kullanırken, Meta Quest Pro'daki derinlik algılama çözümümüz, çeşitli doğal ve yapay aydınlatma koşulları altında beş metreye kadar kare başına 10,000'e kadar nokta üretir. Bu bilgiyi fiziksel dünyanın 3 boyutlu bir ağını oluşturmak için kullanırız ve bu çıktıyı birkaç karede birleştirerek alanın yoğun bir 3 boyutlu ve zamansal olarak kararlı bir temsilini oluştururuz. Bu ağ daha sonra fiziksel dünyanın görüntülerini üretmek için tahmine dayalı görüntülemeyle birlikte kullanılır. Bu, yeniden yapılandırmaların, kulaklığın sol ve sağ göz görünümlerine göre ayrı ayrı çarpıtıldığı anlamına gelir. Asenkron TimeWarp Oluşturma gecikmesini telafi etmek için kullanıcının göz konumlarını gelecekte birkaç milisaniye tahmin eden teknoloji.

Son olarak, renk eklemek tüm deneyimin daha gerçekçi görünmesini ve hissettirilmesini sağlar. Silveira Cabral, "Renkli kamera, deneyimi fiziksel dünyaya olabildiğince yakın hale getirmek amacıyla stereoskopik görüntüyü renklendirmek için kullanılıyor" diyor. "Bu mimarinin yanı sıra tüm üretim hattında yapılan optimizasyonlarla, mevcut tüm Meta Quest 2 oyunları ve gelecek MR uygulamaları için Meta Quest Pro'da stereoskopik renkli Geçişi, hiçbir ek hesaplama kaynağı olmadan varsayılan deneyim olarak sağlayabiliriz. Bu, Meta Quest 2'de Geçiş kullanan mevcut uygulamaların, kutudan çıktığı anda Meta Quest Pro'nun yeni stereoskopik renkli Geçiş teknolojisiyle çalışacağı anlamına geliyor."

Hepsini topladığınızda, Meta Quest Pro'nun stereoskopik renkli Geçişi, monoskopik çözümlere göre derinlik algısı ve daha az görsel bozulma ile daha rahat bir deneyim sağlar ve oda ölçeğinde kaliteli karma gerçeklik deneyimlerinin kilidini açar.

Sanal İçeriği Fiziksel Dünyayla Harmanlamak için Sahne Anlama

Bir parçası olarak tanıtıldı Varlık Platformu Connect 2021 sırasında, Sahne Anlama geliştiricilerin, kullanıcının ortamıyla zengin etkileşimlere olanak tanıyan karmaşık ve sahneye duyarlı MR deneyimlerini hızlı bir şekilde oluşturmasına olanak tanır.

Meta Ürün Müdürü Wei Lyu, "Karmaşıklığı en aza indirmek ve geliştiricilerin deneyimlerini ve işlerini geliştirmeye odaklanabilmelerini sağlamak için, bir sistem çözümü olarak Scene Understanding'i tanıttık" diyor.

• Sahne Modeli Geometrik ve anlamsal bilgilerden oluşan ortamın tek, kapsamlı, güncel ve sistem tarafından yönetilen bir temsilidir. Bir Sahne Modelinin temel unsurları Sabitleyicilerdir ve her Sabitleyici çeşitli bileşenlerle tutturulabilir. Örneğin, bir kullanıcının oturma odası zemin, tavan, duvarlar, masa ve kanepe gibi anlamsal etiketlere sahip bireysel Bağlantılar etrafında düzenlenir. Her birine ayrıca basit bir geometrik gösterim eklenmiştir: 2 boyutlu bir sınır veya 3 boyutlu bir sınırlayıcı kutu.
• Sahne Yakalama Kullanıcıların etrafta dolaşmasına ve oda mimarisini ve mobilyalarını yakalayarak bir Sahne Modeli oluşturmasına olanak tanıyan, sistem yönlendirmeli bir akıştır. Gelecekte hedefimiz, insanların çevrelerini manuel olarak yakalamasını gerektirmeyen, Sahne Yakalama'nın otomatik bir versiyonunu sunmaktır.
• Sahne API'sı içerik yerleştirme, fizik, gezinme vb. dahil olmak üzere çeşitli kullanım durumları için uygulamaların Sahne Modelindeki uzamsal bilgileri sorgulayabildiği ve bunlara erişebildiği arayüzdür. Sahne API'si ile geliştiriciler, sanal bir topun fiziksel yüzeylerden sekmesini sağlamak için Sahne Modelini kullanabilirler. gerçek oda veya fiziksel duvarları ölçeklendirebilen sanal bir robot.

Ray, "Scene Understanding, geliştiriciler için sürtünmeyi azaltıyor ve gerçek zamanlı kapanma ve çarpışma efektleriyle mümkün olduğunca inandırıcı ve sürükleyici MR deneyimleri oluşturmalarına olanak tanıyor" diyor.

Sanal Nesne Yerleştirme için Uzamsal Sabitleyiciler

Meta Ürün Müdürü Laura Onu, "Stereoskopik renkli Geçiş ve Sahne Anlama, MR deneyimlerinin fiziksel ve sanal dünyayı harmanlamasına olanak tanıyan ağır yükü üstleniyorsa, sabitleme yeteneklerimiz hepsini bir arada tutan bağ dokusunu sağlıyor" diyor.

Mekansal Çapalar geliştiricilerin birinci sınıf karma gerçeklik deneyimleri oluşturmaya başlamasına yardımcı olacak temel bir yetenektir. Bir uygulamanın, sanal bir nesnenin zaman içinde uzayda kalmasını sağlayan bir referans çerçevesi veya uzayda bir pin oluşturmasına olanak tanır. Uzamsal Bağlantılar sayesinde bir ürün tasarımcısı çeşitli 3 boyutlu şemaları yerinde sabitleyebilir. Yerçekimi Krokiveya bir grup arkadaş oyun dünyasını demo Ertesi gün aynı düzene dönüp oyunlarına devam edebilmeleri için masa yüzeylerine.

Mekansal Sabitleyiciler, zengin deneyimler oluşturmak ve oda ölçeğinde otomatik yerleştirme sağlamak için Sahne Modeli Sabitleyicileri (duvarlar, masa, zemin vb.) ile birlikte kullanılabilir. Kullanıcının odası hem oyun hem de üretkenlik için mekansal bir görselleştirme tuvaline dönüşür. Bir geliştirici sanal bir kapıyı fiziksel bir duvara sabitlemeyi seçebilir. Kullanıcı daha sonra onu açarak, kendi karakterleriyle tamamlanan ve daha sonra fiziksel alana girebilen tamamen sürükleyici bir sanal dünyayı ortaya çıkarabilir.

Onu, "Sahne Anlayışını Uzamsal Sabitleyicilerle birleştirerek, olasılıklarla dolu yeni bir dünya yaratmak için MR deneyimlerinizi kullanıcının ortamına harmanlayıp uyarlayabilirsiniz" dedi. "Yapabilirsiniz gizli ajan olmak kendi oturma odanıza sanal mobilyalar yerleştirin veya bir uzantı çiz senin evinde, fizik oyunları oluştur, ve dahası."

Ortak Konumlu Deneyimler için Paylaşılan Mekansal Bağlantı Noktaları

Son olarak şunu ekledik: Paylaşılan Uzamsal Çapalar Varlık Platformuna. Paylaşılan Uzamsal Bağlantılar, bir kişi tarafından oluşturulan bağlantıların aynı fiziksel alanda başkalarıyla paylaşılmasına olanak tanır. Bu, geliştiricilerin birden fazla kullanıcı için dünya çapında paylaşılan bir referans çerçevesi oluşturarak yerel çok oyunculu deneyimler oluşturmasına olanak tanır. Örneğin, iki veya daha fazla kişi aynı fiziksel masada oturabilir ve bunun üzerinde sanal bir masa oyunu oynayabilir. Buraya Tıkla daha fazla öğrenmek için.

Karma Gerçeklik için Kazanan Bir Kombinasyon

Gerçek, anlamlı MR deneyimleri sunmak için stereoskopik renkli Geçiş, Sahne Anlama, Uzamsal Sabitlemeler ve Paylaşılan Uzamsal Sabitlemelerin yanı sıra gerçek zamanlı kapanma ve çarpışma, nesne algılama ve aydınlatma bilgilerinin tek bir pakette birleştirilmesine ihtiyacınız var. Ve tüm bunların, performans maliyeti, bilgi işlem ve termaller gibi kısıtlamalar göz önünde bulundurularak bir araya getirilmesi gerekir. Ancak her şeyden önce konforlu bir deneyim sağlamak çok önemlidir.

Meta Ürün Müdürü Avinav Pashine, "Teknolojideki çoğu şeyde olduğu gibi, bazı ödünler de vardır" diye kabul ediyor. "Mevcut çözümümüz mükemmel olmasa da kullanıcı konforunu en üst düzeye çıkarırken bilgi işlemi koruyor ve bu sayede geliştirici araçlarına daha fazla derinlik ve genişlik sunabiliyoruz."

Bu sadece başlangıç. Meta Reality, yazılım güncellemeleri ve gelecekteki Meta Quest ürünlerinde sunulan donanım ilerlemeleri aracılığıyla gelişmeye devam edecek.

Silveira Cabral, "Meta Quest Pro, bu gelişen teknolojinin heyecan verici potansiyelini keşfeden birçok MR cihazından ilkidir" diye ekliyor. “Geliştiricilerle birlikte, bir VR başlığıyla neyin mümkün olduğunu yeniden tanımlayan ilgi çekici deneyimler geliştirirken öğrenmek istiyoruz. Bu hikaye henüz tamamlanmadı; bu sadece birinci sayfa.”