Eye-Tracking ist ein Game Changer für XR, der weit über Foveated Rendering hinausgeht

Eye-Tracking – die Möglichkeit, die Blickrichtung eines Benutzers in einem VR-Headset schnell und präzise zu messen – wird oft im Zusammenhang mit Foveated Rendering diskutiert und wie es die Leistungsanforderungen von XR-Headsets reduzieren könnte. Und während foveated Rendering ein spannender Anwendungsfall für Eye-Tracking in AR- und VR-Headsets ist, bietet Eye-Tracking noch viel mehr.

Aktualisiert – 2. Mai 2023

Eye-Tracking wurde in Bezug auf XR schon seit vielen Jahren als eine weit entfernte Technologie diskutiert, aber die Hardware wird endlich zunehmend für Entwickler und Kunden verfügbar. PSVR 2 und Quest Pro sind neben Headsets wie Varjo Aero, Vive Pro Eye und anderen die bekanntesten Beispiele für Headsets mit integriertem Eye-Tracking.

Mit dieser Dynamik könnten wir sehen, dass Eye-Tracking in nur wenigen Jahren zum Standardbestandteil von XR-Headsets für Verbraucher wird. Wenn das passiert, gibt es eine Vielzahl von Funktionen, die die Technologie ermöglichen kann, um das Erlebnis drastisch zu verbessern.

Foveated-Rendering

Beginnen wir zunächst mit dem, den viele Menschen bereits kennen. Foveated Rendering zielt darauf ab, die Rechenleistung zu reduzieren, die für die Darstellung anspruchsvoller AR- und VR-Szenen erforderlich ist. Der Name kommt von der „Fovea“ – einer kleinen Grube in der Mitte der menschlichen Netzhaut, die dicht mit Fotorezeptoren gefüllt ist. Es ist die Fovea, die uns im Zentrum unseres Sichtfeldes hochauflösendes Sehen ermöglicht; Mittlerweile ist unser peripheres Sehvermögen tatsächlich sehr schlecht darin, Details und Farben wahrzunehmen, und ist besser auf das Erkennen von Bewegungen und Kontrasten als auf das Erkennen von Details eingestellt. Man kann es sich wie eine Kamera vorstellen, die einen großen Sensor mit nur wenigen Megapixeln und einen weiteren kleineren Sensor in der Mitte mit vielen Megapixeln hat.

Der Bereich Ihres Sehvermögens, in dem Sie sehr detailliert sehen können, ist tatsächlich viel kleiner als die meisten denken – nur wenige Grad in der Mitte Ihres Sichtfelds. Der Unterschied im Auflösungsvermögen zwischen der Fovea und dem Rest der Netzhaut ist so drastisch, dass Sie den Text auf dieser Seite ohne Ihre Fovea nicht erkennen könnten. Das können Sie leicht selbst erkennen: wenn Sie den Blick darauf richten fehlen uns die Worte. Wort und versuchen Sie, nur zwei Sätze unten zu lesen. Sie werden feststellen, dass es fast unmöglich ist, zu verstehen, was die Wörter sagen, obwohl Sie sehen können etwas Wörter ähneln. Der Grund dafür, dass Menschen die foveale Region ihres Sehvermögens überschätzen, scheint darin zu liegen, dass das Gehirn viele unbewusste Interpretationen und Vorhersagen durchführt, um ein Modell davon zu erstellen, wie wir glauben, dass die Welt ist.

Foveated Rendering zielt darauf ab, diese Eigenart unseres Sehens auszunutzen, indem es die virtuelle Szene nur in dem Bereich, den die Fovea sieht, in hoher Auflösung rendert und dann die Komplexität der Szene in unserem peripheren Sehvermögen, wo die Details ohnehin nicht aufgelöst werden können, drastisch reduziert . Auf diese Weise können wir den Großteil der Verarbeitungsleistung dort konzentrieren, wo sie am meisten zur Detailgenauigkeit beiträgt, und gleichzeitig an anderer Stelle Verarbeitungsressourcen einsparen. Das hört sich vielleicht nicht nach einer großen Sache an, aber mit zunehmender Bildschirmauflösung von XR-Headsets und zunehmendem Sichtfeld steigt auch die Leistung, die zum Rendern komplexer Szenen benötigt wird, schnell an.

Eye-Tracking kommt natürlich ins Spiel, weil wir jederzeit schnell und mit hoher Präzision wissen müssen, wo sich der Mittelpunkt des Blicks des Benutzers befindet, um ein foveiertes Rendering zu erzielen. Obwohl es schwierig ist, dies zu bewerkstelligen, ohne dass der Benutzer es bemerkt, ist es möglich und wurde bei neueren Headsets wie Quest Pro und PSVR 2 recht effektiv demonstriert.

Automatische Benutzererkennung und -anpassung

Neben der Bewegungserkennung kann Eye-Tracking auch als biometrische Identifikation eingesetzt werden. Das macht Eye-Tracking zu einem großartigen Kandidaten für mehrere Benutzerprofile über ein einziges Headset – wenn ich das Headset aufsetze, kann mich das System sofort als einzelnen Benutzer identifizieren und meine individuelle Umgebung, Inhaltsbibliothek, Spielfortschritt und Einstellungen aufrufen. Wenn ein Freund das Headset aufsetzt, kann das System geladen werden ihr Präferenzen und gespeicherte Daten.

Mit Eye-Tracking lässt sich auch der Augenabstand (IPD) präzise messen. Bei XR ist es wichtig, Ihren IPD zu kennen denn es ist erforderlich, die Linsen und Displays in die optimale Position für Komfort und visuelle Qualität zu bringen. Leider wissen viele Menschen verständlicherweise nicht, was ihr IPD aus dem Kopf geht.

Mit Eye-Tracking wäre es einfach, den IPD jedes Benutzers sofort zu messen und dann die Software des Headsets den Benutzer dabei zu unterstützen, den IPD des Headsets entsprechend anzupassen, oder Benutzer zu warnen, dass ihr IPD außerhalb des vom Headset unterstützten Bereichs liegt.

Bei fortschrittlicheren Headsets kann dieser Vorgang unsichtbar und automatisch ablaufen – der IPD kann unsichtbar gemessen werden, und das Headset kann über eine motorisierte IPD-Anpassung verfügen, die die Linsen automatisch in die richtige Position bewegt, ohne dass der Benutzer sich dessen bewusst sein muss auf dem Varjo Aero zum Beispiel.

Varifokale Displays

Die in heutigen VR-Headsets verwendeten optischen Systeme funktionieren recht gut, sind aber eigentlich recht einfach und unterstützen eine wichtige Funktion des menschlichen Sehens nicht: den dynamischen Fokus. Dies liegt daran, dass das Display in XR-Headsets immer den gleichen Abstand zu unseren Augen hat, auch wenn die stereoskopische Tiefe etwas anderes vermuten lässt. Dies führt zu einem Problem, das als Vergenz-Akkommodations-Konflikt bezeichnet wird. Wenn Sie etwas ausführlicher erfahren möchten, schauen Sie sich unsere Einführung unten an:

Als Lösung für dieses Problem werden Varifokal-Displays vorgeschlagen, die ihre Fokustiefe dynamisch ändern können. Es gibt eine Reihe von Ansätzen für varifokale Displays. Der einfachste davon ist vielleicht ein optisches System, bei dem das Display physisch vom Objektiv hin und her bewegt wird, um die Fokustiefe im Handumdrehen zu ändern.

Um eine solche gesteuerte Varifokalanzeige zu erreichen, ist Eye-Tracking erforderlich, da das System genau wissen muss, wohin der Benutzer in der Szene schaut. Indem das System von jedem Auge des Benutzers aus einen Pfad in die virtuelle Szene verfolgt, kann es den Punkt finden, an dem sich diese Pfade schneiden, und so die richtige Fokusebene festlegen, auf die der Benutzer blickt. Diese Informationen werden dann an das Display gesendet, um es entsprechend anzupassen und die Fokustiefe so einzustellen, dass sie mit der virtuellen Entfernung vom Auge des Benutzers zum Objekt übereinstimmt.

Eine gut implementierte Varifokalanzeige könnte nicht nur den Vergenz-Akkommodations-Konflikt beseitigen, sondern es Benutzern auch ermöglichen, sich auf virtuelle Objekte zu konzentrieren, die viel näher an ihnen liegen als bei vorhandenen Headsets.

Und lange bevor wir Varifokal-Displays in XR-Headsets einbauen, könnte Eye-Tracking zur Simulation der Schärfentiefe verwendet werden, was der Unschärfe von Objekten außerhalb der Fokusebene der Augen des Benutzers nahe kommen könnte.

Derzeit gibt es auf dem Markt kein großes Headset mit Gleitsichtfunktion, aber es gibt eins wachsende Zahl an Forschung und Entwicklung Ich versuche herauszufinden, wie wir die Funktion kompakt, zuverlässig und erschwinglich machen können.

Foveated-Displays

Während foveated Rendering darauf abzielt, die Rendering-Leistung besser zwischen dem Teil unseres Sehvermögens, in dem wir scharf sehen können, und unserem peripheren Sehvermögen mit geringen Details zu verteilen, kann etwas Ähnliches für die tatsächliche Pixelanzahl erreicht werden.

Anstatt nur die Details der Wiedergabe bestimmter Teile des Displays im Vergleich zu anderen zu ändern, handelt es sich bei foveierten Displays um solche, die physisch bewegt (oder in manchen Fällen „gelenkt“) werden, um im Blickfeld des Benutzers zu bleiben, egal wohin er schaut.

Foveated-Displays eröffnen die Möglichkeit, eine viel höhere Auflösung in AR- und VR-Headsets zu erreichen, ohne das Problem brutal zu lösen, indem wir versuchen, Pixel mit höherer Auflösung über unser gesamtes Sichtfeld zu stopfen. Dies ist nicht nur kostspielig, sondern stößt auch auf anspruchsvolle Leistungs- und Größenbeschränkungen, da sich die Anzahl der Pixel der Netzhautauflösung nähert. Stattdessen würden Foveated-Displays basierend auf Eye-Tracking-Daten ein kleineres, pixeldichtes Display dorthin verschieben, wo der Benutzer hinschaut. Dieser Ansatz könnte sogar zu größeren Sichtfeldern führen, als dies sonst mit einem einzelnen Flachdisplay möglich wäre.

Varjo ist ein Unternehmen, das an einem Foveated-Display-System arbeitet. Sie verwenden ein typisches Display, das ein weites Sichtfeld abdeckt (aber nicht sehr pixeldicht ist), und legen dann ein Mikrodisplay darüber, das viel pixeldichter ist. Die Kombination beider bedeutet, dass der Benutzer sowohl ein weites Sichtfeld für sein peripheres Sehen als auch einen Bereich mit sehr hoher Auflösung für sein foveales Sehen erhält.

Zugegeben, dieses foveierte Display ist immer noch statisch (der hochauflösende Bereich bleibt in der Mitte des Displays) und nicht dynamisch, aber das Unternehmen hat es getan Ich habe eine Reihe von Methoden zum Verschieben der Anzeige in Betracht gezogen um sicherzustellen, dass der hochauflösende Bereich immer im Mittelpunkt Ihres Blicks steht.

Fortsetzung auf Seite 2: Bessere soziale Avatare »

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoAiStream. Web3-Datenintelligenz. Wissen verstärkt. Hier zugreifen.
• Die Zukunft prägen mit Adryenn Ashley. Hier zugreifen.
• Quelle: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/