Praktyczny: prototyp zmiennoogniskowej rozdzielczości siatkówki firmy Meta

Na SIGGRAPH 2023 wypróbowałem prototyp badawczy Meta z rozdzielczością kątową zbliżoną do siatkówki, dynamicznym ogniskowaniem i dynamiczną korekcją zniekształceń.

Butterscotch Varifocal jest oparty na oryginalnym prototypie Butterscotch Meta ujawnił ostatni rok. Prototypy Butterscotch zapewniają rozdzielczość kątową 56 pikseli na stopień (PPD) twojego wzroku, niewiele mniej niż 60 pikseli na stopień, które są powszechnie akceptowane przez ludzkie oko. To prawie trzy razy więcej niż rozdzielczość kątowa w środku Quest Pro i dwukrotnie więcej niż w przypadku Bigscreen Beyond.

Badacze Meta nie osiągnęli jednak takiej rozdzielczości kątowej za pomocą żadnej przełomowej ani specjalistycznej technologii. Zestawy słuchawkowe Butterscotch wykorzystują gotowe wyświetlacze LCD o rozdzielczości 2880 × 2880, które w typowym zestawie VR zapewniają około 30 PPD, ale w połączeniu z obiektywami o około połowie pola widzenia. Celem jest pokazanie, jak rozdzielczość siatkówki może ostatecznie wpłynąć na przyszłe decyzje dotyczące priorytetu produktu i kompromisu. Celem prototypu nie jest proponowanie żadnej konkretnej nowej technologii umożliwiającej osiągnięcie rozdzielczości siatkówkowej w akceptowalnym polu widzenia.

Varjo stosuje podobne podejście, aby uzyskać rozdzielczość siatkówkową w jeszcze mniejszym polu widzenia w samym środku pola widzenia w swoich istniejących zestawach słuchawkowych dla firm za ponad 5000 dolarów, a następnie łączy je z wyświetlaczem peryferyjnym o znacznie niższej rozdzielczości kątowej.

Jak sama nazwa wskazuje, Butterscotch Varifocal to nie tylko demonstracja rozdzielczości siatkówki. Zawiera również technologię zmiennoogniskową z Meta 2018 Prototyp półkopuły.

W rzeczywistości wirtualnej każde oko ma osobną perspektywę, więc uzyskuje się rozbieżność stereo, ale to tylko jedna ze wskazówek, których mózg używa do określenia głębi. Wszystkie obecne na rynku zestawy słuchawkowe mają soczewki o stałej ogniskowej. Obraz jest ostry na stałą odległość, zwykle kilka metrów. Twoje oczy będą wskazywały (zbiegały się) w kierunku wirtualnych obiektów, ale w rzeczywistości nie mogły się skupić (dostosować) do wirtualnej odległości od nich. Nazywa się to konfliktem akomodacji i akomodacji i powoduje zmęczenie oczu oraz może powodować, że wirtualne obiekty z bliska wydają się niewyraźne.

Prototyp Half-Dome przedstawił rozwiązanie: śledź, na który wirtualny obiekt patrzysz, i szybko mechanicznie przesuwaj panele wyświetlacza do tyłu lub do przodu, aby dynamicznie dostosować ostrość do jego odległości. Butterscotch Varifocal zawiera te same elementy śledzące wzrok i mechaniczne siłowniki.

Rezultatem tego połączenia rozdzielczości kątowej zbliżonej do siatkówkowej i dynamicznej regulacji ostrości był widok do wirtualnego świata bez widocznej pikselacji i aliasingu, w którym mogłem dostrzec nawet najdrobniejsze szczegóły w najmniejszych obiektach i czytać tekst dowolnej wielkości. mógł czytać w świecie fizycznym. Wirtualne tablety i telefony wyświetlające artykuły z małym tekstem nie musiały nawet korzystać z warstw kompozytora. John Carmack wielokrotnie powtarza programistom, że są one niezbędne w obecnych zestawach słuchawkowych. Gęstość pikseli była tutaj tak wysoka, że ​​takie sztuczki nie są już potrzebne.

Czynnikiem ograniczającym rozpoznawanie drobnych szczegółów był teraz mój wzrok, a nie system wyświetlania zestawu słuchawkowego. Jest to sytuacja odwrotna do dzisiejszych zestawów słuchawkowych VR i było to kuszące spojrzenie na wizualną jakość, którą pewnego dnia zaoferuje konsumentom VR.

To był mój pierwszy raz, kiedy wypróbowałem zmiennoogniskowy zestaw słuchawkowy – bardzo niewiele osób spoza Meta ma – i mogłem go włączać i wyłączać za pomocą naciśnięcia przycisku. Po włączeniu wirtualne obiekty pozostawały ostre nawet wtedy, gdy były bardzo blisko moich oczu, do minimum 20 centymetrów. Ma to praktyczne zalety, ale zauważyłem jeszcze coś subtelniejszego, gdy włączona była zmiennoogniskowa. Właściwa ostrość sprawiła, że ​​wirtualny świat i znajdujące się w nim obiekty nagle wyglądały i wydawały się bardziej „prawdziwe”. W rzeczywistości niektóre obiekty demonstracyjne były tak szczegółowe, że posunąłbym się do stwierdzenia, że ​​​​czuły całkowicie real.

Zapytałem o to Douglasa Lanmana, dyrektora ds. badań nad systemami wyświetlania w Meta. Powiedział mi, że chociaż badacze Meta są świadomi tego efektu i omawiają go, subiektywne poczucie „rzeczywistości” jest znacznie trudniejsze do określenia i oceny niż inne aspekty pokazów.

Wystąpiło niewielkie opóźnienie między patrzeniem na obiekt a poruszaniem się wyświetlaczy w celu dostosowania ostrości, ale podobnie jak w przypadku rozdzielczości siatkówki, celem tego prototypu jest pokazanie, jak to jest zmiennoogniskowy, a nie powoływanie się na konkretną technologię do jego praktycznego dostarczania. Butterscotch Varifocal faktycznie wykorzystuje oryginalne siłowniki Half-Dome i pod koniec 2019 roku ujawniono Meta Half-Dome 2 z szybszymi i bardziej niezawodnymi siłownikami oraz Half-Dome 3 bez żadnych ruchomych części, zmieniające ostrość za pomocą przestrajalnych warstw soczewek.

Dynamiczna korekcja zniekształceń

Butterscotch Varifocal zawiera również trzecią technologię, której nie poświęcono tak wiele uwagi, ale jest również niezbędna do wizualnego przekonania VR: dynamiczna korekcja zniekształceń.

Oprócz imponującej rozdzielczości kątowej i dynamicznego ogniskowania zauważyłem również, że Butterscotch Varifocal zapewnia doskonałe podstawy optyczne, bez pływania źrenic i innych zniekształceń geometrycznych. Po demie odkryłem, że to dlatego, że miał dynamiczną korekcję zniekształceń.

Nowoczesne soczewki gogli VR powiększają wyświetlacz do stosunkowo szerokiego pola widzenia, ale skutkuje to geometrią zniekształcenie beczki. Jedną z kluczowych innowacji oryginalnych prototypów Palmera Luckeya było poprawienie tego w oprogramowaniu poprzez wyświetlanie obrazu z odwrotnym zniekształceniem na wyświetlaczu. Jednak zniekształcenie optyczne zmienia się nieznacznie w zależności od położenia oka względem obiektywu, a programowa korekcja zniekształceń jest przeznaczona tylko dla martwego punktu. Dynamiczna korekcja zniekształceń oznacza, że ​​system generuje nową korektę każdej klatki na podstawie pozycji oka, co jest możliwe dzięki śledzeniu ruchu gałek ocznych.

Powiedziano mi, że jest to technika niedroga obliczeniowo, więc zapytałem Lanmana, dlaczego nie jest używana w Quest Pro, skoro ona też ma śledzenie wzroku. Chociaż nie odpowiedział na to bezpośrednio, mówił o tym, jak ważne jest, aby sprzęt do śledzenia wzroku był wystarczająco dobry, aby dynamiczna korekcja zniekształceń działała dobrze, ponieważ musi mierzyć dokładną pozycję źrenicy w przestrzeni 3D, a nie tylko kierunek patrzenia . Warto zauważyć, że Quest Pro ma tylko jedną kamerę śledzącą skierowaną na każde oko, podczas gdy Butterscotch Varifocal ma dwie, podobnie jak Apple VisionPro.

Jak daleko jest siatkówka i zmiennoogniskowa?

W ubiegłym roku Meta opisał rozdzielczość siatkówki jako „na naszej mapie drogowej produktu”, więc po jakim czasie zobaczymy coś z tego w rzeczywistych produktach?

Lanman oczywiście nie odpowiedziałby, ponieważ jest „tylko badaczem”, ale wyraził sceptycyzm wobec złożoności podejścia opartego na wielu wyświetlaczach, takiego jak Varjo. Zakładając, że rozdzielczość siatkówkowa zostanie uzyskana dzięki surowej gęstości pikseli, osiągnięcie jej w centralnym widoku zestawów słuchawkowych ze standardowym polem widzenia wymagałoby wyświetlania około 6 10 na oko. W miarę poszerzania się pola widzenia wymagania te będą jeszcze wyższe – ponad 16 XNUMX na oko dla pełnego ludzkiego pola widzenia i do XNUMX XNUMX na oko dla rozdzielczości siatkówkowej w całym polu widzenia, a nie tylko w centrum.

Apple Vision Pro ma pojawić się w przyszłym roku z mikrowyświetlaczami OLED o rozdzielczości około 3.5 tys. niezwykle trudne w produkcji, z niską wydajnością, a tym samym kluczowym czynnikiem przyczyniającym się do jej ceny 3500 USD. Mimo to zapotrzebowanie rynku na takie mikrowyświetlacze o wysokiej rozdzielczości pojawia się dopiero teraz, a ponieważ firmy wyświetlające konkurują o lepsze techniki ich produkcji, uzasadnione jest oczekiwanie, że ceny spadną, produkcja wzrośnie, a rozdzielczość jeszcze wzrośnie z czasem .

Ale co ze zmiennoogniskowymi? W przemówieniu na początku 2020 r opisał Lanman Elektroniczne zmiennoogniskowe podejście Half-Dome 3 jako „prawie gotowe do najlepszego czasu”, na wyższym „Poziomie gotowości technologicznej” niż jakikolwiek poprzedni prototyp. Ostatni rok zasugerował Mark Zuckerberg zmiennoogniskowy może pojawić się „w drugiej połowie dekady”, czyli gdzieś między 2026 a 2029 rokiem.

Final Thoughts

Podczas ujawniania oryginalnego Butterscotch i Starburst (którego próbowaliśmy) w zeszłym roku Lanman opisał cel swojego zespołu jako jeden dzień dostarczenia systemu wyświetlania, który pomyślnie przejdzie „wizualny test Turinga”, co oznacza, że ​​ma się wrażenie, że patrzy się przez przezroczysty szklany wizjer, a nie w ogóle na wyświetlacz.

Butterscotch Varifocal nie zdałby w pełni takiego testu. W przeciwieństwie do Starburst, jego konwencjonalne wyświetlacze LCD nie są nawet w stanie zapewnić jasności, zakresu dynamiki ani kontrastu rzeczywistego świata. Ale może zapewnić szczegółowość i ostrość, i samo to było oszałamiające. To kolejne przypomnienie, że dzisiejsze gogle to dopiero początek VR, a przed tą technologią długa i obiecująca droga.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Motoryzacja / pojazdy elektryczne, Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• ChartPrime. Podnieś poziom swojej gry handlowej dzięki ChartPrime. Dostęp tutaj.
• Przesunięcia bloków. Modernizacja własności offsetu środowiskowego. Dostęp tutaj.
• Źródło: https://www.uploadvr.com/meta-butterscotch-varifocal-prototype-retinal-hands-on/