I ricercatori di Meta hanno mostrato un aggiornamento della loro stima della posa del corpo basata sull’intelligenza artificiale.
Fuori dagli schemi, gli attuali sistemi VR tracciano solo la posizione della testa e delle mani. La posizione dei gomiti, del busto e delle gambe può essere stimata utilizzando una classe di algoritmi chiamati cinematica inversa (IK), ma questo è accurato solo a volte per i gomiti e raramente corretto per le gambe. Ci sono semplicemente troppe soluzioni potenziali per ogni dato insieme di posizioni della testa e delle mani. Date le limitazioni dell’IK, alcune app VR oggi mostrano solo le tue mani e molte ti danno solo la parte superiore del corpo.
Le app per smartphone ora possono fornire il tracciamento del corpo in realtà virtuale utilizzando la visione artificiale, ma ciò richiede il montaggio del telefono in un angolo e funziona correttamente solo quando sei di fronte. Le cuffie per PC che utilizzano il tracciamento SteamVR supportano il tracciamento del corpo di qualità superiore tramite tracker aggiuntivi indossati come Vive Tracker di HTC, ma acquistarne abbastanza per il tracciamento del corpo costa centinaia di dollari e ciascuno deve essere addebitato.
L'anno scorso tre ricercatori Meta ha mostrato QuestSim, un modello di apprendimento per rinforzo in grado di stimare una posa plausibile di tutto il corpo utilizzando solo i dati di tracciamento di Quest 2 e dei suoi controller. Non sono necessari tracker aggiuntivi o sensori esterni. Il movimento risultante dell'avatar corrisponde abbastanza fedelmente al movimento reale dell'utente. I ricercatori hanno anche affermato che la precisione e il jitter risultanti sono superiori rispetto ai tracker IMU indossati, dispositivi dotati solo di accelerometro e giroscopio come Mocopi di Sony.
Ma un caso limite in cui QuestSim ha fallito è quando l'utente interagisce con il mondo reale, ad esempio quando è seduto su una sedia o un divano. Gestire questo, in particolare la transizione da seduto a in piedi, è cruciale per corpi completi plausibili nella realtà virtuale sociale.
In un nuovo articolo chiamato ricercaInviluppoSim, gli stessi tre ricercatori e altri due presentano un modello aggiornato, utilizzando sempre lo stesso approccio di apprendimento per rinforzo, che tiene conto dei mobili e di altri oggetti nell'ambiente:
Come puoi vedere nel video, i risultati sono piuttosto impressionanti. Tuttavia, non aspettarti che QuestEnvSim venga eseguito presto sul tuo Quest 2. Come con l'originale QuestSim, ci sono diversi avvertimenti importanti qui.
In primo luogo, il documento non menziona le prestazioni di runtime del sistema descritto. I documenti di ricerca sull'apprendimento automatico tendono a funzionare su potenti GPU per PC con framerate relativamente basso, e quindi potrebbero passare anni prima che possa funzionare in modo performante in tempo reale.
In secondo luogo, i mobili e gli oggetti utilizzati sono stati scansionati manualmente e posizionati nell'ambiente virtuale. Mentre La Quest 3 potrebbe forse essere capace di scansionare automaticamente i mobili tramite il sensore di profondità, Quest 2 e Quest Pro non dispongono di dati cruciali del sensore.
Infine, questi sistemi sono progettati per produrre un’idea plausibile complessivo posa di tutto il corpo, non corrisponde alla posizione esatta delle mani. La latenza del sistema è anche l'equivalente di molti fotogrammi in VR. Questi approcci quindi non funzionerebbero bene per guardarti dall'alto in basso proprio corpo in VR anche se potessero funzionare in tempo reale.
Tuttavia, supponendo che il sistema possa eventualmente essere ottimizzato, vedere il movimento completo del corpo degli avatar di altre persone sarebbe di gran lunga preferibile alla parte superiore del corpo senza gambe, spesso criticata, degli attuali avatar di Meta. Il CTO di Meta, Andrew Bosworth, sembrava suggerire che questo sarebbe stato l'approccio finale di Meta l'anno scorso. Alla domanda sul monitoraggio delle gambe in una sessione di Instagram “chiedimi qualsiasi cosa”. Bosworth ha risposto:
“Avere gambe sul proprio avatar che non corrispondono alle gambe reali è molto sconcertante per le persone. Ma ovviamente possiamo mettere le gambe ad altre persone, come puoi vedere, e non ti dà alcun fastidio.
Quindi stiamo lavorando su gambe che sembrano naturali per qualcuno che è uno spettatore – perché non sanno come sono effettivamente posizionate le tue gambe vere – ma probabilmente quando guardi le tue gambe continuerai a non vedere nulla. Questa è la nostra strategia attuale".
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
- Fonte: https://www.uploadvr.com/meta-ai-quest-body-estimation-environment-awareness/
- :ha
- :È
- :non
- 200
- 2023
- a
- WRI
- Il mio account
- precisione
- preciso
- effettivamente
- AI-alimentato
- Algoritmi
- Tutti
- anche
- an
- ed
- Andrea
- Andrea Bosworth
- in qualsiasi
- nulla
- approccio
- approcci
- applicazioni
- SONO
- AS
- At
- automaticamente
- Avatar
- avatars
- BE
- perché
- fra
- corpi
- stile di vita
- Monitoraggio del corpo
- Scatola
- ma
- Acquisto
- by
- detto
- Materiale
- Custodie
- Chair
- carico
- rivendicato
- classe
- strettamente
- COM
- computer
- Visione computerizzata
- contenuto
- continua
- Angolo
- correggere
- Costi
- potuto
- Portata
- cruciale
- CTO
- Corrente
- dati
- profondità
- descritta
- progettato
- dispositivi
- non
- dollari
- don
- Dont
- giù
- ogni
- bordo
- incorporato
- abbastanza
- Ambiente
- Equivalente
- particolarmente
- stima
- stimato
- Anche
- eventuale
- alla fine
- attenderti
- esterno
- extra
- di fronte
- fallito
- abbastanza
- lontano
- Nel
- da
- pieno
- Dare
- dato
- GPU
- cura
- Manovrabilità
- Mani
- Avere
- capo
- auricolari
- aiutato
- qui
- superiore
- Come
- Tuttavia
- HTTPS
- centinaia
- if
- importante
- impressionante
- in
- si interagisce
- ai miglioramenti
- IT
- SUO
- ad appena
- Sapere
- Cognome
- L'anno scorso
- Latenza
- apprendimento
- tracciamento delle gambe
- gambe
- piace
- limiti
- Guarda
- cerca
- Basso
- macchina
- machine learning
- manualmente
- molti
- partita
- Maggio..
- me
- Meta
- metaricerca
- metavr
- modello
- movimento
- Naturale
- di applicazione
- New
- no
- Niente
- oggetti
- of
- MENO
- di frequente
- on
- ONE
- esclusivamente
- ottimizzati
- or
- i
- Altro
- Altri
- nostro
- proprio
- Carta
- documenti
- PC
- Persone
- persone
- performance
- Forse
- telefono
- Platone
- Platone Data Intelligence
- PlatoneDati
- plausibile
- Stima della posa
- posizione
- posizionato
- posizioni
- potenziale
- potente
- preferibile
- presenti
- Pro
- probabilmente
- produrre
- propriamente
- fornire
- metti
- qualità
- ricerca
- ricerca 2
- ricerca professionista
- RE
- di rose
- mondo reale
- tempo reale
- relativamente
- richiede
- riparazioni
- ricercatori
- risultante
- Risultati
- Prenotazione sale
- Correre
- running
- s
- stesso
- scansione
- vedere
- vedendo
- sembrava
- sensore
- Sessione
- set
- alcuni
- mostrare attraverso le sue creazioni
- ha mostrato
- SIGGRAPH
- Seduta
- Social
- sociale
- Soluzioni
- alcuni
- presto
- SteamVR
- Ancora
- Strategia
- tale
- superiore
- supporto
- sistema
- SISTEMI DI TRATTAMENTO
- prende
- che
- Il
- loro
- Li
- Là.
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- tre
- tempo
- a
- oggi
- pure
- pista
- Tracker
- Tracking
- transizione
- seconda
- fino a quando
- Aggiornanento
- aggiornato
- UploadVR
- utilizzato
- Utente
- utilizzando
- molto
- via
- Video
- virtuale
- visione
- vita
- vr
- App VR
- Ricerca VR
- we
- WELL
- sono stati
- quando
- while
- OMS
- volere
- con
- senza
- Lavora
- lavoro
- lavori
- mondo
- sarebbe
- anno
- anni
- Tu
- Trasferimento da aeroporto a Sharm
- youtube
- zefiro