Meta-forskere viste en opdatering af deres AI-drevne kropspositur.
Ud af æsken sporer nuværende VR-systemer kun positionen af dit hoved og dine hænder. Placeringen af dine albuer, torso og ben kan estimeres ved hjælp af en klasse af algoritmer kaldet invers kinematik (IK), men dette er kun nøjagtig nogle gange for albuer og sjældent korrekt for ben. Der er bare for mange potentielle løsninger for hvert givet sæt hoved- og håndpositioner. I betragtning af IK's begrænsninger viser nogle VR-apps i dag kun dine hænder, og mange giver dig kun en overkrop.
Smartphone-apps kan nu give VR kropssporing ved hjælp af computersyn, men dette kræver at du monterer din telefon i hjørnet og fungerer kun korrekt, når du står over for den. PC-headset, der bruger SteamVR-sporing, understøtter kropssporing af højere kvalitet via slidte ekstra trackere som f.eks HTCs Vive Tracker, men at købe nok af dem til kropssporing koster hundredvis af dollars, og hver skal opkræves.
Sidste år tre Meta-forskere viste QuestSim frem, en forstærkningslæringsmodel, der kan estimere en plausibel helkropspositur med kun sporingsdata fra Quest 2 og dets controllere. Ingen ekstra trackere eller eksterne sensorer er nødvendige. Den resulterende avatarbevægelse matcher brugerens virkelige bevægelse ret tæt. Forskerne hævdede endda, at den resulterende nøjagtighed og jitter er overlegen i forhold til slidte IMU-trackere - enheder med kun et accelerometer og gyroskop som f.eks. Sonys Mocopi.
Men en af de bedste tilfælde, hvor QuestSim fejlede, er, når brugeren interagerer med den virkelige verden, såsom når han sætter sig på en stol eller sofa. Håndtering af dette, især overgangen mellem siddende og stående, er afgørende for plausible fulde kroppe i social VR.
I et nyt papir kaldet QuestkonvolutSim, præsenterer de samme tre forskere og to andre en opdateret model, der stadig bruger den samme forstærkende læringstilgang, som tager højde for møbler og andre genstande i miljøet:
Som du kan se i videoen, er resultaterne ret imponerende. Forvent dog ikke, at QuestEnvSim kører på din Quest 2 på et tidspunkt. Ligesom med den originale QuestSim er der flere vigtige forbehold her.
For det første nævner papiret ikke køretidsydelsen af det beskrevne system. Maskinlæringsforskningsartikler har en tendens til at køre på kraftfulde pc-GPU'er ved relativt lav framerate, og det kan derfor være år, før dette kan køre effektivt i realtid.
For det andet blev de brugte møbler og genstande manuelt scannet og placeret i det virtuelle miljø. Mens Quest 3 kan måske være i stand af automatisk scanning af møbler via dens dybdesensor, har Quest 2 og Quest Pro ikke de afgørende sensordata.
Endelig er disse systemer designet til at producere en plausibel samlet kropsholdning, ikke matche den nøjagtige position af dine hænder. Systemets latency svarer også til mange frames i VR. Disse tilgange ville derfor ikke fungere godt til at se ned på din egen krop i VR, selvom de kunne køre i realtid.
Men alligevel, hvis man antager, at systemet i sidste ende kunne optimeres, ville det være langt at foretrække at se hele kroppens bevægelse af andres avatarer frem for de ofte kritiserede benløse overkroppe af Metas nuværende avatarer. Metas CTO Andrew Bosworth syntes at antyde, at dette ville være Metas endelige tilgang sidste år. Da jeg blev spurgt om bensporing i en Instagram "spørg mig om noget"-session Bosworth svarede:
"At have ben på din egen avatar, der ikke matcher dine rigtige ben, er meget foruroligende for folk. Men vi kan selvfølgelig sætte ben på andre mennesker, som du kan se, og det generer dig overhovedet ikke.
Så vi arbejder på ben, der ser naturlige ud for en, der er en tilskuer – fordi de ikke ved, hvordan dine rigtige ben faktisk er placeret – men sandsynligvis vil du, når du ser på dine egne ben, fortsat ikke se noget. Det er vores nuværende strategi.”
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://www.uploadvr.com/meta-ai-quest-body-estimation-environment-awareness/
- :har
- :er
- :ikke
- 200
- 2023
- a
- Om
- Konto
- nøjagtighed
- præcis
- faktisk
- AI-drevne
- algoritmer
- Alle
- også
- an
- ,
- Andrew
- Andrew Bosworth
- enhver
- noget
- tilgang
- tilgange
- apps
- ER
- AS
- At
- automatisk
- avatar
- avatars
- BE
- fordi
- mellem
- organer
- krop
- Kropssporing
- Boks
- men
- Købe
- by
- kaldet
- CAN
- tilfælde
- Formand
- opladet
- hævdede
- klasse
- nøje
- KOM
- computer
- Computer Vision
- indhold
- fortsæt
- Corner
- korrigere
- Omkostninger
- kunne
- Kursus
- afgørende
- CTO
- Nuværende
- data
- dybde
- beskrevet
- konstrueret
- Enheder
- Er ikke
- dollars
- Don
- Dont
- ned
- hver
- Edge
- indlejret
- nok
- Miljø
- Ækvivalent
- især
- skøn
- anslået
- Endog
- eventuel
- til sidst
- forvente
- ekstern
- ekstra
- vender
- mislykkedes
- retfærdigt
- langt
- Til
- fra
- fuld
- Giv
- given
- GPU'er
- hånd
- Håndtering
- hænder
- Have
- hoved
- headsets
- hjulpet
- link.
- højere
- Hvordan
- Men
- HTTPS
- Hundreder
- if
- vigtigt
- imponerende
- in
- interaktion
- ind
- IT
- ITS
- lige
- Kend
- Efternavn
- Sidste år
- Latency
- læring
- bensporing
- ben
- ligesom
- begrænsninger
- Se
- leder
- Lav
- maskine
- machine learning
- manuelt
- mange
- Match
- Kan..
- me
- Meta
- meta forskning
- meta vr
- model
- bevægelse
- Natural
- behov
- Ny
- ingen
- intet
- objekter
- of
- off
- tit
- on
- ONE
- kun
- optimeret
- or
- original
- Andet
- Andre
- vores
- egen
- Papir
- papirer
- PC
- Mennesker
- folks
- ydeevne
- måske
- telefon
- plato
- Platon Data Intelligence
- PlatoData
- plausibel
- Posevurdering
- position
- positionerede
- positioner
- potentiale
- vigtigste
- foretrækkes
- præsentere
- om
- sandsynligvis
- producere
- korrekt
- give
- sætte
- kvalitet
- Quest
- opdrag 2
- quest pro
- RE
- ægte
- virkelige verden
- realtid
- relativt
- Kræver
- forskning
- forskere
- resulterer
- Resultater
- Værelse
- Kør
- kører
- s
- samme
- scanning
- se
- se
- syntes
- sensorer
- Session
- sæt
- flere
- Vis
- viste
- SIGGRAPH
- Siddende
- Social
- social vr
- Løsninger
- nogle
- snart
- SteamVR
- Stadig
- Strategi
- sådan
- overlegen
- support
- systemet
- Systemer
- tager
- at
- deres
- Them
- Der.
- Disse
- de
- denne
- tre
- tid
- til
- i dag
- også
- spor
- trackers
- Sporing
- overgang
- to
- indtil
- Opdatering
- opdateret
- UploadVR
- anvendte
- Bruger
- ved brug af
- meget
- via
- video
- Virtual
- vision
- liv
- vr
- VR Apps
- VR Research
- we
- GODT
- var
- hvornår
- mens
- WHO
- vilje
- med
- uden
- Arbejde
- arbejder
- virker
- world
- ville
- år
- år
- Du
- Din
- youtube
- zephyrnet