손 추적은 2019 년 말에 Oculus Quest에서 처음 사용할 수있게되었습니다.이 새로운 입력 방법에 대한 열정으로 저는 다음 데모를 게시했습니다. 입체파 며칠 후 실험적인 손 추적 지원이 포함 된 SideQuest로. 말할 필요도없이이 초기 데모에는 몇 가지 결함이 있었고 기술의 한계를 실제로 고려하지 않았기 때문에 처음에 정식 릴리스에서 손 추적 지원을 생략하기로 결정했습니다. 입체파 Oculus Store에서 동료 개발자들의 작업에서 배운 교훈에 의지하여 최근에 출시하게 된 것을 만들기 위해서는 더 많은 개발이 필요했습니다. 입체파 손 추적 업데이트. 다음은 디자인 프로세스의 내부 모습입니다.
게스트 기사 토마스 반 보웰
Thomas는 현재 브뤼셀에 거주하는 벨기에-브라질 VR 개발자입니다. 그의 원래 배경은 건축에 있지만 현재 VR 작업은 다음과 같은 인디 게임에서 시작됩니다. 입체파 건축가 및 엔지니어를위한 엔터프라이즈 소프트웨어에 결의.
이 업데이트는 작년에 핸드 트래킹을 탐색해온 많은 다른 게임 및 개발자로부터 얻은 교훈을 기반으로합니다 (도난당한 애완 동물의 호기심 많은 이야기, 휴가 시뮬레이터, 루카 메피스토, 데니스 쿠 너트및 기타 여러).
이 기사에서는 다음과 같은 문제를 해결할 때 배운 몇 가지를 공유하고 싶습니다. 입체파 손 상호 작용.
정확한 상호 작용을위한 최적화
입체파 상호 작용은 작은 불규칙한 퍼즐 조각을 퍼즐 격자에 배치하는 것입니다. 즉, 손 추적 입력에 대한 주요 요구 사항은 조각을 집어 그리드에 배치하고 완성 된 퍼즐에서 조각을 정확하게 골라내는 데있어 정밀도였습니다. 이것은 손 입력과 관련된 대부분의 디자인 결정에 영향을 미쳤습니다.
고스트 핸즈
나는 일찍 결정했다 지원 손을 물리 기반으로 만드십시오. 대신 하나가 적극적으로 잡힐 때까지 조각을 통과하게하십시오.
이렇게하면 공중에서 퍼즐 조각을 잡으려고 할 때 떠 다니는 퍼즐 조각을 서투르게 밀어내는 것을 피할 수 있었지만, 더 중요한 것은 손가락을 집어 넣고 조각을 잡을 수 있기 때문에 전체 퍼즐의 중간에서 조각을 뽑는 것이 더 쉬워졌습니다. 어떻게 물리적으로 찾아 내야하는지 알아 내야합니다.
투명성으로 표시되는 손은 물리적이 아니므로 퍼즐 중간에서 조각을 쉽게 고를 수 있습니다.
연락 잡기
손바닥의 일반적인 상호 작용 영역을 확인하는 동안 손가락 핀치 또는 전체 손가락 관절 회전에 초점을 맞추는 것과 같이 개체를 잡고 놓으려는 사용자를 감지하는 몇 가지 접근 방식이 있습니다.
럭셔리 입체파 그러나 작고 불규칙한 퍼즐 조각, 정밀도 요구 사항을 가장 잘 처리하는 것처럼 보였던 접근 방식은 접촉 기반 접근 방식으로, 엄지와 인덱스가 같은 조각과 교차하자마자 조각이 잡히고 필요없이 작은 거리에 걸쳐 모입니다. 전체 핀치.
받는 유사 접근하다 도난당한 애완 동물의 호기심 많은 이야기, 그립이 시작 되 자마자 손가락이 제자리에 고정되어보다 안정된 그립감을 제공합니다. 조각은 잡는 동안 손의 뿌리 (손목)의 부모가됩니다. 이것은 가장 안정적인 트랙 조인트로 보이므로 안정적인 그립을 생성하고 조각이 잠긴 손가락과 정렬 상태를 유지하도록 보장합니다.
엄지와 색인이 교차하면 조각이 잡히고 약간 모입니다. 그런 다음 인덱스와 엄지의 회전이 제자리에 고정되어 안정적인 그립감을 제공합니다.
조각을 잡자마자 엄지 손가락과 인덱스 사이의 거리가 저장되고 해당 거리에 따라 릴리스 마진이 계산됩니다. 엄지와 검지가 그 여백을 넘어 벌리면 조각이 풀립니다.
몇 가지 보호 조치는 의도하지 않은 릴리스를 방지하기 위해 시도합니다. 추적 신뢰도가 특정 임계 값 미만일 때 릴리스를 확인하지 않고 추적 신뢰도가 회복 된 후 릴리스를 다시 확인할 때까지 여러 프레임을 기다립니다. 손가락은 실제로 놓기 전에 여러 프레임 동안 릴리스 마진을 넘어야합니다.
디버그 시각화 : 잡는 동안 손가락 끝 사이의 초기 잡기 거리가 저장됩니다 (외부 빨간색 원). 손가락 끝의 실제 위치가 특정 여백 (파란색 원)을 벗어나면 조각이 해제됩니다.
다음과 유사한 시스템도 있습니다. Vacation Simulator의 overgrab 방법. 조각을 잡을 때 햅틱 피드백이 없기 때문에 잡는 동안 손가락이 서로 더 가까이 표류하는 것은 드문 일이 아닙니다. 특정 임계 값 이상으로 닫히면 조각을 더 쉽게 풀 수 있도록 릴리스 마진이 조정됩니다.
직접 시도해보십시오. 게임 내에서 이러한 디버그 시각화를 보려면 '설정> 손 추적> 디버그 시각화'로 이동하여 '상호 작용 위젯'을 켜십시오.
디버그 시각화 : 특정 임계 값 (내부 빨간색 원)을 잡는 동안 손가락이 서로 드리프트하면 릴리스 여백이 다시 조정되어 조각이 "끈적"하지 않게 느껴집니다.
이 접근 방식의 한 가지 한계는 인덱스가 아닌 다른 손가락으로 잡는 것을 조금 더 어렵게 만든다는 것입니다. 이전 구현에서도 가운데 손가락과 엄지 손가락 사이를 잡을 수 있었지만, 이로 인해 플레이어가 특정 조각을 잡으려는 손가락을 평가하기가 어려웠 기 때문에 전체 퍼즐 그리드에서 조각을 잡을 때 종종 오탐이 발생했습니다.
잡기가 전체 손가락 핀치를 중심으로 회전한다면 이것은 문제가되지 않았을 것입니다. 그 결과 사용자 의도를 결정할 수있는보다 명확한 입력 바이너리가 생성되기 때문입니다 (덜 자연스러운 느낌의 잡는 포즈를 희생하면서).
중간 점 확인
검지와 엄지가 교차하는 부분을 확인하는 것 외에도 검지와 엄지 손가락 사이의 중간 지점에서 추가 확인이 수행됩니다.
이 중간 지점에 놓인 조각이 무엇이든 잡기 위해 우선 순위가 지정되어 플레이어가 전체 그리드에서 조각을 잡으려고 할 때 오탐을 방지하는 데 도움이됩니다.
아래 예에서 플레이어가 오른쪽 가장자리로 녹색 조각을 잡으려는 경우이 중간 점 확인을 수행하지 않으면 의도하지 않게 노란색 조각을 잡을 것입니다.
왼쪽 : 엄지 손가락, 검지, 손가락 끝 사이의 중간 점이 노란색 → 잡기 노란색입니다. 오른쪽 : 엄지와 색인은 노란색, 중간 지점은 녹색 → 녹색 잡기
퍼즐 잡기
퍼즐 잡는 것은 퍼즐 주변의 잡기 영역 내에서 전체 핀치를 수행하여 시작된다는 점을 제외하면 퍼즐 조각을 잡는 것과 유사합니다.
이 영역의 크기는 컨트롤러에서 손으로 전환 할 때 동적으로 증가합니다. 이렇게하면 좀 더 쉽게 잡을 수 있으며 그리드 자체가 아닌 그리드에서 실수로 조각을 잡을 가능성을 줄이는 데 도움이됩니다.
컨트롤러에서 손으로 전환하면 퍼즐 주변의 잡기 영역이 확장되어 잡기가 더 쉽습니다. 전체 핀치가 필요하지만 퍼즐을 잡는 것은 퍼즐 조각을 잡는 것과 유사합니다.
다이나믹 핸드 스무딩
Oculus Quest에서 제공하는 손 추적 데이터는 추적 신뢰도가 높은 경우에도 약간의 지터가있을 수 있습니다. 이것은 실제로 게임 플레이에도 영향을 미칠 수 있습니다. 퍼즐 그리드 나 긴 퍼즐 조각을 가장자리로 잡을 때 지터가 훨씬 더 눈에 띄기 때문에 그리드에 조각을 정확하게 배치하는 것이 더 어렵습니다.
추적 데이터를 스무딩하면보다 안정된 모양의 잡기를 만들 수 있지만 너무 많이 스무딩하면 손에 "지연"느낌이 들기 때문에 적당히 수행해야합니다. 이 균형을 맞추기 위해 손을 부드럽게 입체파 손이 무언가를 잡고 있는지 여부에 따라 동적으로 조정됩니다.
직접 시도해보세요. 손을 부드럽게하는 효과를 확인하려면 아래에서 해제 해보세요.
'설정> 핸드 트래킹> 핸드 스무딩'.
물체를 잡는 동안 손의 위치를 부드럽게하면 그립을보다 안정적으로 만들어 그리드에보다 정확하게 배치 할 수 있습니다.
버튼 누르기
내가 알아 차린 한 가지는 입체파 원래 손 추적 데모는 당시 지원되지 않았지만 대부분의 사람들이 버튼을 눌러 보았습니다. 따라서이 새로운 버전의 핸드 트래킹에 대한 나의 목표 중 하나는 버튼을 실제로 누를 수있게 만드는 것이 었습니다.
검지 손가락 끝에서 레이 캐스트가 버튼 뒤쪽의 충돌체에 부딪 힐 때 버튼을 가리킬 수 있습니다. 검지가 충돌체와 교차하면 프레스가 등록됩니다. 인덱스가 먼저 호버링하지 않고 충돌체와 교차하면 프레스가 등록되지 않습니다. 이렇게하면 손가락이 아래에서 위로 이동할 때 오탐을 방지 할 수 있습니다.
오탐을 방지하기 위해 몇 가지 추가 검사가 있습니다. 손가락이 버튼을 향하지 않거나 플레이어가 손가락을 눌렀을 때 손가락을 보지 않을 때 레이 캐스트가 비활성화됩니다.
직접 시도해보십시오. 게임 내에서이 디버그 시각화를 보려면 '설정> 손 추적> 시각화 디버그'로 이동하여 '상호 작용 위젯'을 켜십시오.
디버그 시각화 : 검지 팁의 레이 캐스트가 손가락이 버튼 위에 있는지 여부를 확인합니다. 오탐을 방지하기 위해 손가락이 버튼을 향하고 있지 않거나 플레이어가 손가락을 보지 않을 때 상호 작용이 비활성화됩니다.
상호 작용 안내
손 추적을위한 상호 작용을 구축 할 때의 주요 과제 중 하나는 눌려 지거나 누르지 않는 컨트롤러의 버튼과 달리 사람들이 동일한 결과를 기대하면서 손으로 상호 작용에 접근하려고 할 수있는 다양한 방법이 있다는 것입니다. .
다양한 사람들과 함께 플레이 테스트를하면 사람들이 그들에게 제시된 상호 작용에 어떻게 접근하고 있는지 배우는 데 도움이되며, 예상되는 제스처로 안내하는 상호 작용 신호를 구체화하는 데 도움이 될 수 있습니다. 플레이 테스트는 상호 작용 중복성을 추가하여 포착 할 수있는 일부 이상 값을 학습하는데도 도움이 될 수 있습니다.
상호 작용 단서
조각을 잡는 동안 몇 가지 단서가 있습니다. 사용자가 처음 조각 위에 마우스를 올려 놓으면 검지와 엄지 손가락이 해당 조각의 색상을 사용하여 잡을 수 있음을 표시하고 어떤 손가락이 그것을 잡을 수 있는지 신호를 보냅니다 (이전 작업에서 영감을 얻음). 루카 메피스토, Barrett Fox와 Martin Schubert). 조각은 또한 잡을 수 있음을 나타 내기 위해 강조 표시됩니다.
손끝이 단단해지며 조각의 하이라이트가 깜박이며 짧은 오디오 신호가 재생되는 등 몇 가지 신호도 그랩이 성공했는지를 나타냅니다.
손과 퍼즐 조각 가이드 모두에 다양한 단서가 있고 그랩 상호 작용을 확인합니다.
버튼에는 누를 수 있음을 나타내는 데 도움이되는 몇 가지 단서가 있습니다. 퍼즐 조각과 마찬가지로 버튼 위로 마우스를 가져 가면 검지 손가락 끝이 흰색으로 강조 표시되어 상호 작용할 수있는 손가락을 나타냅니다. 컨트롤러에서와 마찬가지로 버튼은 마우스를 올리면 바깥쪽으로 확장되지만 이번에는 확장 된 버튼을 실제로 누를 수 있습니다. 인덱스가 터치되면 손가락이 완전히 눌려 질 때까지 손가락을 따라 가며,이 지점에서 오디오 신호가 클릭을 확인합니다.
버튼 표면의 미묘한 그림자는 버튼에 대한 인덱스의 위치와 거리를 나타내며 프레스 상호 작용을 안내하는 데 도움이됩니다.
다양한 단서가 버튼과의 상호 작용을 안내합니다. 버튼을 가리키면 버튼이 바깥쪽으로 확장되고, 검지 손가락 끝이 강조 표시되고, 그림자가 팁이 상호 작용하는 위치를 표시하고, 버튼을 누르면 손가락을 따라갑니다.
상호 작용 중복
일부 사람들은 의도하지 않은 방식으로 일부 상호 작용에 접근 할 수 있으므로, 사람들이 상호 작용하는 데 손을 사용할 수있는 방법에 약간의 중복성을 추가하여 가능한 경우이를 고려하고 설명하는 것이 좋습니다. 상호 작용 단서는 여전히 의도 한 상호 작용으로 안내 할 수 있지만 중복성은 불필요한 중단을 방지하는 데 도움이 될 수 있습니다.
조각을 잡을 때 몇 명의 플레이 테스터는 손가락 끝을 사용하는 대신 처음에는 주먹을 만들어 조각을 잡으려고합니다. 충돌체가 손가락 끝이 아닌 전체 손가락을 덮도록함으로써 이러한 첫 번째 잡기의 상당한 양이 여전히 등록됩니다.
플레이 영역 주변에 많은 조각이 떠 다니는 경우 의도하지 않은 잡는 문제가 발생하기 때문에이 접근 방식은 여전히 약간의 개선이 필요합니다. 앞으로 더 나은 접근 방식은 전체 손가락 회전을 확인하여 대신 주먹을 잡는 것을 고려하는 것입니다.
잡기는 손가락 끝을 중심으로 설계되었지만 검지와 엄지 손가락의 충돌체가 손가락 전체를 덮어 다른 형태의 잡기를 잡는 데 도움이됩니다.
버튼을 누르면 버튼을 누르는 대신 꼬집는 플레이 테스터가 몇 명있었습니다. 부분적으로 이것은 게임을 시작하기 직전에 Oculus 홈 화면에서 버튼을 집는 방법을 이전에 배웠을 때 발생하는 것처럼 보였습니다.
이러한 이유로 버튼은 마우스를 가져 가면 손가락으로 클릭 할 수 있으며 강조 표시된 인덱스 및 그림자와 같은 신호가 결국 버튼을 누르도록 안내 할 것입니다.
버튼 위로 마우스를 이동하는 동안 핀치도 클릭으로 등록됩니다.
플레이어가 손을 사용할 때 처음 접하는 버튼에는 "Push to Start"라고 명시되어있어 사람들이 Oculus 홈 메뉴에서 들어온 후 핀치에서 밀기로 전환하는 데 도움이됩니다.
교육 제한
Quest의 손 추적의 품질은 작년에 비해 개선되었지만 여전히 한계가 있습니다. 이러한 한계에 대한 플레이어의 인식은 자신의 경험을 얼마나 잘인지하는 데 큰 영향을 미칠 수 있습니다.
입체파 Quest에서 현재 손 추적의 한계에 대해 플레이어에게 가르치는 몇 가지 방법을 구현합니다.
플레이어가 처음 손 추적으로 전환하면 (시작시 또는 게임 중반) 모달은 조명이 밝은 공간에서 플레이하고 손을 건너지 않는 것과 같은 몇 가지 모범 사례를 알려줍니다.
사용자가 손 추적으로 전환하면 모달이 제한 사항과 모범 사례를 알려줍니다. "Push to Start"지침은 신규 사용자에게이 게임에서 버튼을 자연스럽게 누를 수 있음을 알려주는 데 도움이됩니다.
대부분의 사람들은 이와 같은 모달을 즉시 무시하거나 지침을 빨리 잊어 버릴 가능성이 있으므로 경험 중에 문제가 발생할 수있는 이유를 알리는 것도 중요합니다.
In 입체파, 추적이 손실되면 손이 빨간색으로 바뀌어 신호를 보냅니다. 일부 플레이 테스트에서 사람들은 한 손을 무릎에 놓고 다른 손으로 플레이하며 랩 손이 얼어 붙은 것처럼 보이는 이유에 대해 의아해합니다. 이와 같은 경우를 알리는 데 도움이되도록 추적 손실이 지속되는 경우 손이 고정 된 이유를 명확하게 설명하는 메시지가 손에 표시됩니다. 특히 플레이어가 손을 교차하여 추적을 잃은 경우 메시지가 변경되어이를 수행하지 않도록 알립니다.
왼쪽 : 추적이 처음 손실되면 손이 빨간색으로 변합니다. 중간: 손실 추적이 지속되면 플레이어에게 무슨 일이 일어나고 있는지 알려주는 메시지가 표시됩니다. 오른쪽 : 가려진 손으로 인해 추적이 손실 된 경우에도 표시됩니다.
노련한 플레이어 나 한 손으로 플레이하는 것을 선호하는 플레이어의 경우이 기능은 Oculus 홈 메뉴의 동작과 더 비슷하게 추적을 잃을 때 손이 페이드 아웃되도록 설정에서 대체 할 수 있습니다.
빨간색 바늘과 경고 메시지는 손이 희미 해져 설정에서 대체 될 수 있습니다.
향후 연구
Quest의 핸드 트래킹에는 여전히 한계가 있습니다. 입체파 이에 대한 지원은 이미 두 번째 버전에 있지만 여전히 개선의 여지가 많습니다.
그럼에도 불구하고 이러한 새로운 입력 방법을 탐색하고 지원하기 시작하게되어 기쁩니다. 단기적으로는 이러한 경험을보다 쉽게 접근하고 새로운 VR 사용자와 공유하기 쉽게 만들 수 있다고 생각합니다.
Fabio Dela Antonio의 앱 Reality Mixer를 사용하여 iPhone에서 캡처 한 혼합 현실 영상은 향후 AR 헤드셋에서 Cubism을 재생하는 것이 어떨지에 대한 아이디어를 제공합니다.
장기적으로는 손 추적이 미래의 독립형 AR 장치에 대한 입력이 될 가능성이 높으므로 이번 업데이트가 AR 버전의 AR 버전을 향한 첫 번째 작은 단계가 될 수 있기를 바랍니다. 입체파.
Cubism의 핸드 트래킹 디자인을 재미있게 보셨다면 꼭 확인하세요. 더 넓은 게임의 디자인을 개관하는 Thomas의 이전 게스트 기사.
포스트 사례 연구 : 'Cubism'의 핸드 트래킹 뒤에 숨은 디자인 첫 번째 등장 VR로가는 길.
- '
- "
- &
- 2019
- 소개
- 절대
- 계정
- 추가
- 이미
- 이기는하지만
- 양
- 다른
- 앱
- 접근
- AR
- 아키텍처
- 지역
- 약
- 기사
- 오디오
- 가능
- 인식
- 배경
- 가
- BEST
- 모범 사례
- 비트
- 브뤼셀
- 빌드
- 건물
- 빌드
- 사례 연구
- 가지 경우
- 잡아라
- 과제
- 확인
- 확인하는 것이 좋다.
- 원
- 자세히
- 오는
- 자신
- 제어 장치
- Current
- 데이터
- 디자인
- 개발자
- 개발자
- 개발
- 디바이스
- DID
- 다른
- 거리
- 아래 (down)
- 드롭
- 초기의
- Edge
- 엔지니어
- Enterprise
- 엔터프라이즈 소프트웨어
- 예
- 외
- 확장하다
- 기대하는
- 경험
- 체험
- 확장
- 마주보고
- 페이드
- 특색
- 피드백
- 그림
- 먼저,
- 플래시
- 결함
- 양식
- 가득 찬
- 미래
- 경기
- Games
- 일반
- 점점
- 목표
- 가는
- 좋은
- 잡아요
- 초록색
- 그리드
- 손님
- 안내
- 가이드 라인
- 행복한
- 데
- 도움
- 도움이
- 높은
- 강조
- 홈
- 방법
- How To
- HTTPS
- 생각
- 영향
- 이행
- 중대한
- 증가
- 색인
- 영감
- 의도
- 의지
- 상호 작용
- iPhone
- 발행물
- 문제
- IT
- 그 자체
- 시작
- 진수
- 배우다
- 배운
- 지도
- 배운
- 고정
- 긴
- 찾고
- 제작
- 유튜브 영상을 만드는 것은
- 배우기
- 가장
- 움직임
- 자연의
- 기타
- 사람들
- 물리적
- 조각
- 연극
- 플레이어
- 플레이어
- 많은
- 가능한
- 키를 눌러
- 방법
- 생산
- 품질
- 탐구
- 빨리
- 현실
- 감소
- 등록된
- 공개
- 보도 자료
- 대체
- 필수
- 요구조건 니즈
- 결과
- 화면
- 잘 마른
- 세트
- 그림자
- 공유
- 짧은
- 비슷한
- 크기
- 작은
- So
- 소프트웨어
- 무언가
- 스페이스 버튼
- 구체적으로
- 독립
- 스타트
- 시작
- 주 정부
- 미국
- 훔친
- 저장
- 교육과정
- 성공한
- SUPPORT
- 지원
- 지원
- 표면
- 체계
- 교육
- Technology
- 을 통하여
- 시간
- 도움말
- 함께
- 상단
- 추적
- 투명도
- 업데이트
- 사용
- 사용자
- 심상
- vr
- 기다리다
- 뭐
- 여부
- 누구
- 이내
- 없이
- 작업
- 일
- year
- 유튜브