메타 연구원들은 추가 추적기 없이 Quest 2 신체 추적을 시연했습니다.
현재 VR 시스템은 헤드셋과 고정 컨트롤러와 함께 제공되므로 머리와 손의 위치만 추적합니다. 팔꿈치, 몸통 및 다리의 위치는 IK(역운동학)라는 알고리즘 클래스를 사용하여 추정할 수 있지만 이는 단지 때때로 팔꿈치에는 정확하고 다리에는 거의 정확하지 않습니다. 주어진 머리 및 손 위치 세트에 대한 잠재적 솔루션이 너무 많습니다.
IK의 한계를 감안할 때 일부 오늘날 VR 앱은 손만 보여주고 많은 앱이 상체만 보여줍니다. SteamVR 추적을 사용하는 PC 헤드셋은 다음과 같은 착용된 추가 추적기를 지원합니다. HTC의 Vive 트래커, 그러나 신체 추적에 필요한 세 가지 비용은 350달러 북쪽이므로 대부분의 게임에서 지원되지 않습니다.
그러나에 QuestSim이라는 제목의 새로운 논문, Meta 연구원들은 Quest 2와 컨트롤러의 추적 데이터만으로 그럴듯한 전신 포즈를 추정할 수 있는 신경망으로 구동되는 시스템을 시연했습니다. 추가 추적기 또는 외부 센서가 필요하지 않습니다.
결과 아바타 모션은 사용자의 실제 모션과 상당히 가깝게 일치합니다. 연구원들은 결과 정확도와 지터가 마모된 IMU 추적기보다 우수하다고 주장합니다. Pico 4와 같이 가속도계와 자이로스코프만 있는 장치가 발표되었습니다 피코 피트니스 밴드 (Pico는 자체 기계 학습 알고리즘을 개발 중이라고 주장합니다.)
그러나, 여기에 캐치가있다. 영상에서 볼 수 있듯이 이 시스템은 그럴듯한 제작을 우선시하도록 설계되었습니다. 전신 아바타 손이 사용자 손의 정확한 위치와 일치하는지 확인하기 위해 포즈를 취합니다. 시스템의 지연 시간도 160ms로 11Hz에서 72프레임 이상입니다. 이러한 문제를 감안할 때 QuestSim은 아래를 볼 때 자신의 몸을 보지 않고 다른 사람의 아바타 몸을 보는 데에만 적합합니다.
그러나 여전히 다른 사람들의 아바타의 전신 모션을 보는 것이 메타의 현재 아바타의 종종 비판을 받는 다리 없는 상체보다 훨씬 바람직할 것입니다. 그렇다면 이 시스템이나 이와 유사한 것이 Quest 2에 나오나요?
Meta CTO인 Andrew Bosworth는 지난 주에 확실히 암시한 것 같습니다. 언제 Instagram에서 다리 추적에 대해 물었습니다. "무엇이든 물어보세요" 보스워스가 대답했다:
“예, 우리는 다리가 없는 아바타로 인해 많은 조롱을 받아왔습니다. 그리고 저는 그것이 매우 공정하다고 생각하고 그것이 꽤 재미있다고 생각합니다.
자신의 아바타에 실제 다리와 일치하지 않는 다리가 있는 것은 사람들에게 매우 당혹스러운 일입니다. 그러나 물론 우리는 당신이 볼 수 있는 다른 사람들에게 다리를 놓을 수 있으며, 그것은 당신을 전혀 괴롭히지 않습니다.
그래서 우리는 구경꾼인 누군가에게 자연스럽게 보이는 다리를 연구하고 있습니다. 왜냐하면 그들은 실제 다리가 실제로 어떻게 배치되어 있는지 알지 못하기 때문입니다. 하지만 아마도 당신이 자신의 다리를 볼 때 계속해서 아무것도 볼 수 없을 것입니다. 그것이 우리의 현재 전략입니다.”
그러나 단기 솔루션은 이 알고리즘과 동일한 품질이 아닐 수 있습니다. 기계 학습 연구 논문은 상대적으로 낮은 프레임 속도로 강력한 PC GPU에서 실행되는 경향이 있습니다. 이 문서는 설명된 시스템의 성능을 언급하지 않지만 RTX 3080이 교육에 사용되는 것으로 나열됩니다.
Meta Connect 연례 AR/VR 이벤트가 진행됩니다. 불과 2주만에, 그래서 신체 추적 발표가 그 동안 일어날 것입니다.
