Meta Research får headsets og briller til at genkende møbler

Meta Research får headsets og briller til at genkende møbler

Tidsstempel: 23. marts 2024 kl. 1
Meta Research Makes Headsets & Glasses Recognize Furniture PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Metas seneste AI-forskningssystem får headset og briller til at forstå dit værelses layout og møbler.

Kaldet SceneScriptMeta siger, at systemet udnytter den samme underliggende teknik som store sprogmodeller (LLM'er), bortset fra at i stedet for at forudsige det næste sprogfragment, forudsiger det arkitektoniske og møbelelementer inden for en 3D-punktskyoptagelse af samme slags, som headset allerede fanger for at muliggøre selvstændig positionssporing .

Outputtet er en række primitive 3D-former, der repræsenterer de grundlæggende grænser for det givne møbel eller element.

Metas SceneScript i aktion

Quest 3 er i stand til at generere et råt 3D-net af dit værelse og kan udlede placeringen af ​​dine vægge, gulv og loft fra dette 3D-net. Men headsettet ved i øjeblikket ikke, hvilke former i dette net, der repræsenterer mere specifikke elementer som døre, vinduer, borde, stole og sofaer. Quest headset lader brugere markere disse objekter som simple rektangulære cuboids manuelt, hvis de vil, men da dette er valgfrit og besværlige kan udviklere ikke stole på, at brugerne har gjort det.

Hvis en teknologi som SceneScript blev integreret i Quest 3's mixed reality scene-opsætning, kunne udviklere automatisk placere virtuelt indhold på eller omkring specifikke møbelelementer. De kunne erstatte blot dine vinduer med portaler, eller din stol med et virtuelt sæde, eller ændre din sofa til en sandsækket position. Disse ting er mulige i dag ved at bede brugeren om at markere møblerne manuelt, eller nogle gange med manuelle algoritmer, der fortolker scenenettet, men SceneScript kunne gøre det sømløst og automatisk.

Metas SceneScript i aktion

Teknologi som SceneScript kan også have et stort potentiale for AI-assistenter i fremtidige headset og dens eventuelle AR-briller. Meta giver et eksempel på spørgsmål som "Vil dette skrivebord passe ind i mit soveværelse?" eller "Hvor mange potter maling ville det tage at male dette rum?", samt kommandoer som "Placer [AR/MR-appen] på det store bord".

For nu beskriver Meta SceneScript udelukkende som forskning, ikke en kortsigtet produktfunktionsopdatering. Selvom denne teknologi i sidste ende kan komme til Quest 3, er der intet, der tyder på, at det vil ske snart.

Tidsstempel:

Mere fra UploadVR