Дослідники Meta демонструють відстеження тіла Quest 2 без додаткових трекерів

Дослідники Meta продемонстрували відстеження тіла Quest 2 без додаткових трекерів.

Поточні системи віртуальної реальності постачаються з гарнітурою та контролерами, тому відстежуйте лише положення голови та рук. Положення ваших ліктів, тулуба та ніг можна оцінити за допомогою класу алгоритмів, які називаються зворотною кінематикою (IK), але це лише інколи точний для ліктів і рідко правильний для ніг. Існує занадто багато потенційних рішень для кожного заданого набору положень голови та рук.

Враховуючи обмеження ІК, деякі Сучасні додатки віртуальної реальності показують лише ваші руки, а багато хто показує лише верхню частину тіла. Комп’ютерні гарнітури, що використовують відстеження SteamVR, підтримують додаткові трекери, такі як Vive Tracker від HTC, але три, необхідні для відстеження тіла, коштують на північ від 350 доларів, тому це не підтримується в більшості ігор.

Але в Росії нова стаття під назвою QuestSim, дослідники Meta продемонстрували систему, керовану нейронною мережею, яка може оцінити правдоподібну позу всього тіла лише за допомогою даних відстеження Quest 2 та його контролерів. Не потрібні додаткові трекери чи зовнішні датчики.

Отриманий рух аватара досить точно збігається з реальним рухом користувача. Дослідники навіть стверджують, що результуюча точність і тремтіння перевершують зношені трекери IMU – пристрої лише з акселерометром і гіроскопом, такі як анонсований Pico 4. Фітнес ремінець Pico (Pico стверджує, що працює над власним алгоритмом машинного навчання).

Тим не менш, тут є заковика. Як видно на відео, ця система розроблена для встановлення пріоритетів створення правдоподібного повне тіло позуйте над тим, щоб руки аватара точно збігалися з положенням рук користувача. Затримка системи також становить 160 мс – більше 11 кадрів на 72 Гц. Враховуючи ці проблеми, QuestSim підійде лише для того, щоб бачити тіла аватарів інших людей, а не бачити власне тіло, дивлячись вниз.

Але все ж побачити повний рух тіла аватарів інших людей було б набагато краще, ніж часто критиковану безногу верхню частину нинішніх аватарів Мети. Отже, ця система чи щось подібне до Квесту 2?

Минулого тижня технічний директор Meta Ендрю Босуорт, безсумнівно, натякав на це. Коли запитав про стеження за ногами в Instagram «запитайте мене що завгодно» Босворт відповів:

«Так, нас багато висміювали через безногі аватари, і я вважаю, що це дуже чесно, і я вважаю, що це досить смішно.

Мати ноги на власному аватарі, які не збігаються з вашими справжніми ногами, дуже бентежить людей. Але, звичайно, ми можемо поставити ноги іншим людям, щоб ви могли бачити, і це вас зовсім не турбує.

Отже, ми працюємо над ногами, які виглядають природними для тих, хто є спостерігачем, тому що вони не знають, як насправді розташовані ваші справжні ноги, але, ймовірно, ви, дивлячись на власні ноги, нічого не побачите. Це наша поточна стратегія».

Хоча короткострокове рішення може не відповідати якості цього алгоритму. Дослідницькі роботи з машинного навчання зазвичай працюють на потужних графічних процесорах ПК із відносно низькою частотою кадрів. У документі не згадується продуктивність описаної системи, але вказано, що RTX 3080 використовується для навчання.

Відбувається щорічна подія Meta Connect AR/VR трохи більше ніж за 2 тижні, тому будь-яке оголошення про відстеження тіла, ймовірно, відбудеться під час нього.