Quest Pro의 얼굴 추적 기능은 Meta의 아바타를 보다 표현력 있게 만드는 데 신속하게 적용되지만 차세대 아바타는 이 새로운 기술의 이점을 훨씬 더 많이 누릴 수 있습니다.
Quest Pro의 큰 새 기능 중 하나는 내부 카메라를 사용하여 눈과 얼굴의 일부 움직임을 감지하는 얼굴 추적 시스템입니다. 보정이 필요 없는 머신 러닝 모델과 결합된 헤드셋은 보이는 것을 가져와 모든 아바타의 애니메이션을 구동할 수 있는 입력으로 바꿉니다.
주요 퀘스트 프로 적용 범위:
Quest Pro 공개 – 전체 사양, 가격 및 출시일
Quest Pro 실습 – 혼합 현실 헤드셋 시대의 시작
가까운 시일 내에 메타의 기존 아바타와 함께 사용할 예정입니다. 그리고 확실히 더 표현력이 뛰어나지만 여전히 다소 바보처럼 보입니다.
이것은 현재 메타 아바타 시스템이 이 수준의 얼굴 추적을 염두에 두고 구축되지 않았기 때문일 수 있습니다. 모델의 기본 애니메이션 프레임워크인 '리깅'은 작업에 적합하지 않은 것 같습니다. Quest Pro의 얼굴 추적 입력을 현재 시스템에 접목하는 것은 실제로 할 수 있는 일을 제대로 하지 못하고 있습니다.
운 좋게 Meta는 아바타가 Quest Pro의 얼굴 추적을 염두에 두고 설계되었을 때(그리고 헤드셋의 거의 모든 처리 능력이 렌더링에 전념할 때) 가능한 것을 보여주는 기술 데모를 구축했습니다.
[포함 된 콘텐츠]
예, 여전히 약간 흔들리지만 여기에서 보고 있는 모든 움직임은 사용자가 뺨을 부풀리거나 입을 한쪽에서 다른 쪽으로 움직이는 것과 같은 동일한 동작을 하는 사용자에 의해 구동됩니다. 전반적으로 불쾌한 골짜기로 들어가는 것을 피할 수 있다고 주장하는 얼굴의 훨씬 더 완전한 표현입니다.
나는 내 자신을 위해이 데모를 시도해야합니다 Quest Pro에 대한 최근 실습 거울을 보고 이 캐릭터(메타가 아우라라고 부름)로 등장한 곳. 특별한 보정 없이도 거울에 비친 얼굴이 내가 생각하는 내 얼굴로 만들 수 있는 모든 동작을 모방하는 것처럼 보인다는 사실에 깊은 인상을 받았습니다.
특히 피부의 디테일에 끌렸습니다. 눈을 가늘게 뜨고 코를 찡긋하면 주변 피부가 사실적으로 뭉쳐있는 것을 볼 수 있었고 눈썹을 올릴 때도 마찬가지였습니다. 입과 함께 움직이는 볼의 주름과 같은 이러한 미묘한 세부 사항은 이것이 단지 내 앞에 있는 대상이 아니라 그 뒤에 살아있는 것이 있다는 인상을 많이 줍니다.
표현이 실제로 보이는지 여부 me 내가 마스크 뒤에있을 때 또 다른 질문입니다. 이 아바타는 제 얼굴과 안 맞아서 뭐라고 말씀드리기 어렵습니다. 그러나 그 움직임은 최소한 그럴듯하게 현실적인 자연스럽고 사실적으로 느껴지는 가상 아바타를 향한 첫 번째 중요한 단계입니다.
Meta는 개발자들이 아바타에 얼굴 추적 입력을 어떻게 첨부했는지 볼 수 있도록 Aura 데모를 오픈 소스 프로젝트로 출시할 것이라고 말했습니다. 회사는 또한 개발자가 모든 아바타를 개별적으로 조정할 필요 없이 인간형 아바타 또는 동물이나 괴물과 같은 인간이 아닌 아바타를 구동하는 데 단일 도구 세트를 사용할 수 있다고 말합니다.
Meta는 개발자가 사람의 얼굴에 있는 다양한 근육의 움직임을 설명하기 위해 잘 알려진 시스템인 FACS에 해당하는 값을 사용하는 얼굴 추적 API를 탭할 수 있을 것이라고 말합니다.
이는 얼굴을 표현하는 효과적인 시스템일 뿐만 아니라 사용자에게 유용한 프라이버시 장벽을 형성합니다. Meta에 따르면 개발자는 실제로 사용자 얼굴의 원시 이미지에 액세스할 수 없습니다. 그 대신 그들은 "코를 찡그리거나 눈썹을 찌푸릴 때와 같이 일련의 일반적인 얼굴 움직임에 해당하는 일련의 XNUMX:XNUMX 값"을 얻습니다. "이러한 신호를 통해 개발자는 Face Tracking API에서 신호를 자신의 캐릭터 장비에 매핑할 때 플레이어의 원래 움직임의 의미론적 의미를 쉽게 보존할 수 있습니다. 캐릭터가 인간형이든 심지어 더 환상적인 것이든 상관없습니다."
Meta는 회사 자체가 내부 또는 외부 헤드셋의 카메라로 캡처한 이미지를 볼 수 없다고 주장합니다. 회사에 따르면 헤드셋에서 처리된 다음 클라우드나 개발자에게 전송되지 않고 즉시 삭제됩니다.
