Практика: умные контактные линзы Mojo Vision продвинулись дальше, чем вы думаете

До недавнего времени у меня не было возможности лично увидеть новейшие умные контактные линзы Mojo Vision, и я признаю, что ожидал, что компании еще далеко до создания рабочей контактной линзы с чем-то большим, чем просто индикатор уведомлений или несколько статических пикселей. Просмотрев последний прототип компании, я был впечатлен, увидев гораздо более функциональный прототип, чем я ожидал.

Когда я вошел в Mojo Vision's демонстрационный набор на AWE 2022 в прошлом месяце мне вручили жесткую контактную линзу, которая, как я полагал, была макетом технологии, которую компания надеялась в конечном итоге уменьшить и поместить в линзу. Но нет… компания заявила, что это функциональный прототип, а все внутри объектива настоящее, работающее оборудование.

Компания сообщает мне, что этот последний прототип включает в себя «самый маленький в мире» дисплей MicroLED — размером 0.48 мм, с расстоянием между пикселями всего 1.8 микрона — процессор ARM, радио 5 ГГц, IMU (с акселерометром, гироскопом и магнитометром), «медицинский микробатареи класса», а также схему управления питанием с компонентами беспроводной подзарядки.

И хотя умная контактная линза Mojo Vision по-прежнему намного толще обычной контактной линзы, на прошлой неделе компания продемонстрировала, что этот прототип может работать в реальном человеческом глазу. используя генерального директора Mojo Vision Дрю Перкинса в качестве подопытного кролика.

И хотя это выглядит, ну… довольно жутко, когда на самом деле носится в глаза, компания говорит мне, что помимо того, что они сделают его тоньше, они покроют электронику косметическими радужками, чтобы в будущем он выглядел более естественно.

В AWE я не смог вставить контактную линзу в собственный глаз (будь проклят Ковид). Вместо этого компания прикрепила линзу к привязанной палке, которую я поднес к глазу, чтобы посмотреть сквозь нее.

Когда я это сделал, я был удивлен, увидев не просто несколько пикселей, а полноценный графический пользовательский интерфейс с читаемым текстом и элементами интерфейса. На данный момент все это монохромно-зеленый (используя способность человеческого глаза видеть зеленый лучше, чем любой другой цвет), но демонстрация ясно показывает, что амбиции Mojo Vision — это больше, чем просто несбыточная мечта.

Несмотря на то, что физический дисплей в самой линзе непрозрачен и находится прямо в центре вашего глаза, на самом деле вы не можете его увидеть, потому что он слишком мал и расположен слишком близко. Но вы можете видеть изображение, которое он проецирует.

По сравнению с любым HMD, существующим сегодня, умная контактная линза Mojo Vision особенно интересна, потому что она двигается. твоим глазом. Это означает, что сам дисплей, несмотря на очень маленькое поле зрения (15°), движется вместе с вашим зрением, когда вы смотрите вокруг. И он всегда четкий, куда бы вы ни посмотрели, потому что он всегда находится над вашей центральной ямкой (центральная часть сетчатки, которая видит больше всего деталей). По сути, это похоже на «встроенный» фовеальный рендеринг. Ограниченное поле зрения остается узким местом во многих случаях использования, но фактическое перемещение дисплея вместе с вашим глазом хотя бы частично смягчает ограничение.

Но как насчет ввода? Mojo Vision также постоянно работает над выяснением того, как пользователи будут взаимодействовать с устройством. Поскольку я не мог поместить линзу в свой глаз, компания вместо этого надела мне гарнитуру виртуальной реальности с отслеживанием взгляда, чтобы имитировать то, каково было бы использовать саму умную контактную линзу. Внутри гарнитуры я увидел примерно тот же интерфейс, что и через демо-контактную линзу, но теперь я мог взаимодействовать с устройством глазами.

Текущая реализация не ограничивает весь интерфейс небольшим полем зрения. Вместо этого ваш взгляд действует как своего рода «прожектор», который показывает более крупный интерфейс, когда вы двигаете глазами. Вы можете взаимодействовать с частями интерфейса, наводя взгляд на кнопку, чтобы делать такие вещи, как отображение текущей погоды или последних текстовых сообщений.

Это интересный и свободный от рук подход к интерфейсу HMD, хотя, по моему опыту, сами глаза не являются отличным сознательным устройством ввода, потому что большинство движений наших глаз контролируются подсознательно. При достаточной практике вполне возможно, что ручное управление взглядом для ввода станет таким же простым и плавным, как использование пальца для управления сенсорным экраном; в конечном счете, другая форма ввода может быть лучше, но это еще предстоит выяснить.

Этот интерфейс и подход к вводу, конечно, полностью зависят от высококачественного отслеживания взгляда. Поскольку мне не удалось надеть линзу для себя, у меня нет никаких указаний на то, что система отслеживания взгляда Mojo Vision справляется со своей задачей, но компания утверждает, что ее система отслеживания взгляда «на порядок точнее, чем сегодняшние ведущие [ XR] оптические системы слежения за глазами».

Теоретически это должно работать так, как они заявляют — в конце концов, что может быть лучше для измерения движения ваших глаз, чем то, что к ним физически прикреплено? На практике IMU устройства, по-видимому, так же подвержен дрейфу, как и любой другой, что может быть проблематично. Существует также вопрос экстраполяции и отделения движения головы пользователя от данных датчика, поступающих с устройства, закрепленного на глазу.

If отслеживание взгляда компании столь же точно (и точный), как они утверждают, это будет крупная победа, потому что это позволит устройству функционировать как подлинное AR контактные линзы, способные к иммерсивным впечатлениям, а не просто умный контактная линза для основного информационного дисплея. Mojo Vision утверждает, что ожидает, что их контактные линзы в конечном итоге смогут выполнять иммерсивную дополненную реальность, включая стереоскопический рендеринг с одним контактом в каждом глазу. В любом случае, AR не будет должным образом работать на устройстве, пока не будет достигнуто большее поле зрения, но это захватывающая возможность.

Итак, какова дорожная карта для того, чтобы вывести эту вещь на рынок? Mojo Vision заявляет, что полностью ожидает одобрения FDA, прежде чем они смогут продать его кому-либо, а это означает, что даже после того, как все будет работать с технической и функциональной точки зрения, им нужно будет провести клинические испытания. Что касается того, когда все это может быть завершено, компания сказала мне «не через год, но определенно [раньше, чем] через пять лет».