Film przedstawia podgląd śledzenia dłoni i wydajności okluzji Apple Vision Pro

Opublikowane ponownie przez Plato

Obserwuje: 0

Film przedstawia wgląd w wydajność śledzenia dłoni i okluzji Apple Vision Pro PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

Film opublikowany przez programistę Vision Pro wydaje się pokazywać aktualny poziom śledzenia dłoni i wydajności okluzji, do jakiego jest zdolny nowy zestaw słuchawkowy Apple.

Apple Vision Pro, ma zostać uruchomiony w ciągu najbliższych kilku miesięcy, będzie używać śledzenia dłoni jako podstawowej metody wprowadzania danych. Chociaż interakcje na poziomie systemu łączą śledzenie dłoni ze śledzeniem wzroku w celu uzyskania metody „patrz i dotknij”, programiści mogą również tworzyć aplikacje, które umożliwiają użytkownikom bezpośrednią interakcję z aplikacjami za pomocą rąk.

Śledzenie dłoni w Vision Pro można podzielić na dwie odrębne funkcje: „śledzenie dłoni” i „okluzja dłoni”.

Hand-tracking to szacunkowy model 3D dłoni, jej stawów i położenia opuszków palców. Model ten służy do określenia, kiedy przedmioty są dotykane, chwytane i wchodzi z nimi w interakcję.

Okluzja dłoni dotyczy sposobu, w jaki system nakłada Twoją prawdziwą rękę na zawartość wirtualną. Zamiast rysować na scenie trójwymiarowy model wirtualnej dłoni, Vision Pro wycina obraz Twoich prawdziwych dłoni, aby zamiast tego pokazać je w scenie. Takie postępowanie dodaje kolejną warstwę realizmu do wirtualnej zawartości, ponieważ możesz zobaczyć swoje własne, niepowtarzalne dłonie.

Deweloper tworzący dla Vision Pro korzystający z Unity opublikował film, który wyraźnie przedstawia zarówno śledzenie dłoni, jak i okluzję.

Na powyższym filmie prawdziwe dłonie pokazują działanie systemu okluzji, natomiast zielone kropki pokazują szacunkową pozycję dłoni w 3D.

Widzimy, że okluzja dłoni jest bardzo dobra, ale nie doskonała; gdy jest całkowicie otoczony treścią wirtualną i porusza się szybko, można zauważyć przycinanie krawędzi dłoni.

Tymczasem rzeczywista pozycja śledzenia dłoni pozostaje w tyle za okluzją dłoni, około 100–200 ms. Nie możemy jednak do końca określić prawdziwego opóźnienia śledzenia dłoni w Vision Pro, ponieważ mamy do porównania jedynie widok rąk śledzących okluzję (które same w sobie będą miały pewne opóźnienie w porównaniu z rzeczywistymi rękami).

W tym kontekście wideo pochodzi z rozmowy programistów Unity, w których stwierdzono, że ich wczesne eksperymenty z Vision Pro wykazały bardzo duże opóźnienia w śledzeniu dłoni, najwyraźniej w porównaniu z najnowszymi możliwościami śledzenia dłoni w Quest. Inni programiści Unity zgodzili się, że widzieli podobne opóźnienia na swoich własnych urządzeniach Vision Pro.

Jednak wideo, o którym mowa, umożliwia integrację śledzenia dłoni w aplikacji Unity, co oznacza, że na wydajność i opóźnienia śledzenia dłoni mogą mieć dodatkowe czynniki związane z Unity, które nie występują w przypadku korzystania z własnych narzędzi programistycznych Vision Pro firmy Apple. Biorąc pod uwagę, że zestaw słuchawkowy nie został jeszcze wprowadzony na rynek, a narzędzia te są wciąż w fazie rozwoju, możemy zauważyć dodatkowe ulepszenia, zanim zestaw słuchawkowy faktycznie trafi do sklepów.