Meta Research får hodesett og briller til å gjenkjenne møbler

Meta Research får hodesett og briller til å gjenkjenne møbler

Tidsstempel: 23. mars 2024 1:47
Meta Research får hodesett og briller til å gjenkjenne møbler PlatoBlockchain Data Intelligence. Vertikalt søk. Ai.

Metas nyeste AI-forskningssystem gjør at headset og briller forstår rommets layout og møbler.

kalt SceneScriptMeta sier at systemet utnytter den samme underliggende teknikken som store språkmodeller (LLMs), bortsett fra i stedet for å forutsi neste språkfragment, forutsier det arkitektoniske og møbelelementer i en 3D-punktskyfangst av samme type som hodesett allerede fanger for å muliggjøre frittstående posisjonssporing .

Utgangen er en serie primitive 3D-former som representerer de grunnleggende grensene for det gitte møblet eller elementet.

Metas SceneScript i aksjon

Quest 3 er i stand til å generere et rå 3D-nettverk av rommet ditt, og kan utlede plasseringen av veggene, gulvet og taket fra dette 3D-nettverket. Men hodesettet vet foreløpig ikke hvilke former i dette nettet som representerer mer spesifikke elementer som dører, vinduer, bord, stoler og sofaer. Quest-hodesett lar brukere markere disse objektene som enkle rektangulære kuboider manuelt hvis de vil, men siden dette er valgfritt og krevende kan utviklere ikke stole på at brukerne har gjort det.

Hvis en teknologi som SceneScript ble integrert i Quest 3s mixed reality sceneoppsett, kunne utviklere automatisk plassere virtuelt innhold på eller rundt spesifikke møbelelementer. De kan erstatte bare vinduene dine med portaler, eller stolen din med et virtuelt sete, eller endre sofaen din til en sandsekkposisjon. Disse tingene er mulig i dag ved å be brukeren merke møblene ut manuelt, eller noen ganger med manuelle algoritmer som tolker scenenettet, men SceneScript kan gjøre det sømløst og automatisk.

Metas SceneScript i aksjon

Teknologi som SceneScript kan også ha et stort potensial for AI-assistenter i fremtidige hodesett og sine eventuelle AR-briller. Meta gir eksempel på spørsmål som "Vil dette skrivebordet passe på soverommet mitt?" eller "Hvor mange potter med maling vil det ta for å male dette rommet?", samt kommandoer som "Plasser [AR/MR-appen] på det store bordet".

For nå beskriver Meta SceneScript utelukkende som forskning, ikke en kortsiktig produktfunksjonsoppdatering. Selv om denne teknologien til slutt kan komme til Quest 3, er det ingen antydning om at det skal skje med det første.

Tidstempel:

Mer fra UploadVR