연구원은 이미지를 찍어 가상 세계, 사물 또는 사람을 만들기 위한 기준점으로 사용할 수 있습니다.
기업이 디지털 트윈을 통해 메타버스 존재를 탐색함에 따라 양식화된 3D 콘텐츠와 가상 세계를 빠르고 쉽게 구축하는 능력이 앞으로 더욱 중요해질 것입니다.
최근에 출판 됨 Cornell University 이 논문은 이러한 증가 추세를 탐구하고 기존 방법보다 더 빠른 속도로 다양한 동적 가상 장면을 생성하는 데 사용할 수 있는 양식화된 신경 복사장(SNeRF)을 생성하기 위한 솔루션을 개발했습니다.
연구팀은 다양한 참고 이미지를 활용하여 투 응우옌 푸옥, 펭 리우및 레이 샤오 다양한 가상 환경에서 사용할 수 있는 양식화된 3D 장면을 생성할 수 있었습니다. 예를 들어, VR 헤드셋을 착용하고 Pablo Picasso 그림과 같은 양식화된 렌즈를 통해 현실 세계가 어떻게 보이는지 보는 것을 상상해 보십시오.
이 프로세스를 통해 팀은 가상 개체를 빠르게 생성할 수 있을 뿐만 아니라 3D 개체 감지를 통해 실제 환경을 가상 세계의 일부로 활용할 수 있습니다.
연구팀이 같은 시점에서 서로 다른 시야 방향을 통해 같은 물체를 관찰할 수 있었다는 점에 주목하는 것이 중요합니다. 그렇지 않으면 횡단면 일관성이라고도 합니다. 이것은 VR에서 볼 때 몰입형 3D 효과를 만듭니다.
NeRF와 양식화 최적화 단계를 번갈아 가면서 연구팀은 이미지를 촬영하고 참조 스타일로 사용하여 해당 이미지의 양식화를 적용하는 방식으로 실제 환경, 물체 또는 사람을 재현할 수 있었습니다. 생성 프로세스의 속도를 높입니다.
"우리는 NeRF와 양식화 최적화 단계를 번갈아 가며 이 문제를 해결하기 위한 새로운 훈련 방법을 소개합니다." 팀이 말했다. “이러한 방법을 통해 하드웨어 메모리 용량을 최대한 활용하여 더 높은 해상도로 이미지를 생성하고 보다 표현력 있는 이미지 스타일 전송 방법을 채택할 수 있습니다. 우리의 실험은 우리의 방법이 실내, 실외 및 동적 장면을 포함한 광범위한 콘텐츠에 대해 양식화된 NeRF를 생성하고 교차 보기 일관성을 가진 고품질의 새로운 보기를 합성한다는 것을 보여줍니다.”
NeRF의 메모리 제한 때문에 연구원들은 더 많은 고화질 3D 이미지를 실시간처럼 느껴지는 속도로 어떻게 렌더링할 수 있는지에 대한 또 다른 문제를 해결해야 했습니다. 솔루션은 렌더링된 뷰의 루프를 만드는 것이었습니다. 이 루프는 반복할 때마다 스타일 지정 지점을 더 일관되게 대상으로 지정하고 더 세부적으로 이미지를 다시 빌드할 수 있었습니다.
이 기술은 아바타도 개선했습니다. 연구팀의 SNeRF 스타일 접근 방식을 통해 대화 중에 더 표현력이 뛰어난 아바타를 만들 수 있었습니다. 그 결과 이모티콘을 사용하거나 VR 컨트롤러의 버튼을 누르지 않고도 분노, 두려움, 흥분, 혼란과 같은 감정을 사실적으로 전달할 수 있는 동적 4D 아바타가 생성됩니다.
연구 작업은 계속 진행되지만 현재 팀은 환경과 아바타에 영향을 미치는 암시적 신경 표현을 사용하여 3D 장면 스타일화 방법을 개발할 수 있었습니다. 또한 교대 양식화 방법을 사용하는 접근 방식을 통해 하드웨어 메모리 기능을 최대한 활용하여 정적 및 동적 3D 장면을 모두 양식화할 수 있으므로 팀은 더 높은 해상도로 이미지를 생성하고 보다 표현력 있는 이미지 스타일 전송을 채택할 수 있습니다. VR에서의 방법.
세부 사항에 대해 자세히 알아보려면 해당 보고서에 액세스할 수 있습니다. 여기에서 지금 확인해 보세요..
이미지 크레디트: 코넬 대학교
