Meta Research face ca căștile și ochelarii să recunoască mobilierul

Cel mai recent sistem de cercetare AI de la Meta face ca căștile și ochelarii să înțeleagă aspectul și mobilierul camerei tale.

denumit SceneScriptMeta spune că sistemul folosește aceeași tehnică de bază ca modelele de limbă mari (LLM), cu excepția faptului că, în loc să prezică următorul fragment de limbă, prezice elementele arhitecturale și de mobilier într-o captură de nor de puncte 3D de același tip pe care o captează deja căștile pentru a permite urmărirea pozițională independentă. .

Rezultatul este o serie de forme 3D primitive care reprezintă limitele de bază ale mobilierului sau elementului dat.

Quest 3 este capabil să genereze o plasă 3D brută a camerei dvs. și poate deduce pozițiile pereților, podelei și tavanului din această plasă 3D. Dar setul cu cască nu știe în prezent ce forme din această plasă reprezintă elemente mai specifice, cum ar fi uși, ferestre, mese, scaune și canapele. Căștile Quest le permit utilizatorilor să marcheze manual aceste obiecte ca simple cuboide dreptunghiulare, dacă doresc, dar deoarece acest lucru este opțional și dezvoltatorii dificili nu se pot baza pe utilizatorii care au făcut acest lucru.

Dacă o tehnologie precum SceneScript ar fi integrată în configurarea scenei de realitate mixtă a Quest 3, dezvoltatorii ar putea plasa automat conținut virtual pe sau în jurul elementelor specifice de mobilier. Ele ar putea înlocui doar ferestrele tale cu portaluri, sau scaunul cu un scaun virtual sau pot schimba canapeaua într-o poziție plină de nisip. Aceste lucruri sunt posibile astăzi, cerând utilizatorului să marcheze mobila manual sau, uneori, cu algoritmi manuali care interpretează rețeaua scenei, dar SceneScript ar putea să o facă fără întreruperi și automată.

Tehnologia precum SceneScript ar putea avea, de asemenea, un potențial imens pentru asistenții AI în căștile viitoare și eventualii săi ochelari AR. Meta dă exemplu de întrebări precum „Va încăpea acest birou în dormitorul meu?” sau „De câte vase de vopsea ar fi nevoie pentru a picta această cameră?”, precum și comenzi precum „Plasați [aplicația AR/MR] pe masa mare”.

Deocamdată, Meta descrie SceneScript doar ca cercetare, nu o actualizare a caracteristicilor produsului pe termen scurt. Deși această tehnologie poate veni în cele din urmă la Quest 3, nu există nicio sugestie că acest lucru se va întâmpla în curând.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.uploadvr.com/meta-scenescript-research/