Quest 3 har nu indvendig og ydre kropssporing og MR-okklusion

Quest 3 har nu indvendig og ydre kropssporing og MR-okklusion

Tidsstempel: 14. december 2023 kl. 8:02

Quest 3-udviklere kan nu integrere tre store nye funktioner for at forbedre både virtuel og blandet virkelighed.

Inside-Out Body Tracking (IOBT) og Generative Legs var annonceret sammen med Quest 3 som kommer i december. Okklusion for blandet virkelighed via Depth API var tidligere et eksperimentelt indslag, hvilket betyder, at udviklere kunne teste det, men ikke kunne sende det i Quest Store eller App Lab builds.

Alle tre funktioner er nu tilgængelige som en del af v60 SDK for Unity og indbygget kode. I mellemtiden inkluderer v60 Unreal Engine-integrationen Depth API, men ikke IOBT eller Generative Legs.

Inside-Out Overkrop Tracking

Inside-Out Body Tracking (IOBT) bruger Quest 3's sidekameraer, som vender nedad, til at spore dit håndled, albuer, skulder og torso ved hjælp af avancerede computersynsalgoritmer.

IOBT forhindrer problemerne med invers kinematik (IK) estimerede arme, som ofte er forkerte og føles ubehagelige, fordi systemet bare foretager gæt ud fra placeringen af ​​dit hoved og dine hænder. Når udviklere integrerer IOBT, vil du se dine arme og toro i deres faktiske positioner – ikke et skøn.

Denne overkropsporing lader udviklere også forankre bevægelse af tommelfingeren til din kropsretning, ikke kun dit hoved eller dine hænder, og du kan udføre nye handlinger som at læne dig over en afsats og få dette show realistisk på din avatar.

AI Generative Ben

IOBT virker kun for din overkrop. Til din underkrop har Meta lanceret Generative Legs.

Generative Legs bruger en "banebrydende" AI-model til at estimere dine benpositioner - en teknologi, virksomheden har været forsket i årevis. 

På Quest 3 leverer Generative Legs et mere realistisk estimat end tidligere headsets takket være at bruge overkropsporing som input, men det virker også på Quest Pro og Quest 2 ved kun at bruge hoved og hænder.

Generative Legs-systemet er dog kun en estimator, og sporer ikke, så selvom det kan registrere hop og huk, opfanger det ikke mange faktiske bevægelser som at hæve dine knæ.

Tilsammen muliggør sporing af overkroppen indefra og ud og Generative Legs plausible helkroppe i VR, kaldet Full Body Synthesis, uden ekstern hardware.

Meta har tidligere annonceret, at Full Body Synthesis kommer til Supernatural, Swordsman VR og Drunken Bar Fight.

Dybde API til okklusion i blandet virkelighed

In vores Quest 3 anmeldelse vi kritiserede hårdt manglen på mixed reality dynamisk okklusion. Mens virtuelle objekter kan dukke op bag det rå Scene Mesh, der er genereret af rumopsætningsscanningen, vises de altid foran bevægelige objekter såsom dine arme og andre mennesker, selvom de er længere væk, hvilket ser skurrende og unaturligt ud.

Quest 3 har nu Inside-Out Body Tracking & MR Oklusion PlatoBlockchain Data Intelligence. Lodret søgning. Ai.
Grundlæggende beskrivelse af det generelle begreb om okklusion fra Meta.

Udviklere kunne allerede implementere dynamisk okklusion for dine hænder ved at bruge Hand Tracking mesh, men få gjorde det, fordi dette skærer af ved dit håndled, så resten af ​​din arm ikke er inkluderet.

Den nye Depth API giver udviklere et per-frame groft dybdekort genereret af headsettet fra dets synspunkt. Dette kan bruges til at implementere okklusion, både til objekter i bevægelse og til finere detaljer om statiske objekter, da disse muligvis ikke er blevet fanget i Scene Mesh.

Dynamisk okklusion skulle få blandet virkelighed på Quest 3 til at se mere naturligt ud. Headsettets dybdefølende opløsning er dog meget lav, så den ikke opfanger detaljer som mellemrummene mellem dine fingre, og du vil se et tomt hul rundt om objekternes kanter.

Dybdekortet foreslås også kun at blive udnyttet til 4 meter, hvorefter "nøjagtigheden falder betydeligt", så udviklere vil måske også bruge Scene Mesh til statisk okklusion.

Der er to måder, udviklere kan implementere okklusion på: hård og blød. Hard er stort set gratis, men har takkede kanter, mens Soft har en GPU-pris, men ser bedre ud. Ser man på Metas eksempelklip, er det svært at forestille sig, at nogen udvikler vil vælge Hard.

I begge tilfælde kræver okklusion dog at bruge Metas specielle okklusionsskyggere eller specifikt implementere det i dine brugerdefinerede shaders. Det er langt fra en et-klik-løsning og vil sandsynligvis være en betydelig indsats for udviklere at understøtte.

Ud over okklusion kunne udviklere også bruge Depth API til at implementere dybdebaserede visuelle effekter i blandet virkelighed, såsom tåge.

UploadVR-test Dybde API-okklusion.

Du kan finde dokumentationen vedr Sammenhold her og for Uvirkeligt her. Bemærk, at dokumentationen endnu ikke er blevet opdateret, så den afspejler den offentlige udgivelse.

Tidsstempel:

Mere fra UploadVR