Meta badania sprawiają, że zestawy słuchawkowe i okulary rozpoznają meble

Najnowszy system badawczy Meta firmy Meta sprawia, że ​​zestawy słuchawkowe i okulary rozpoznają układ i meble Twojego pokoju.

Powołani ScenariuszMeta twierdzi, że system wykorzystuje tę samą podstawową technikę, co duże modele językowe (LLM), z tą różnicą, że zamiast przewidywać następny fragment językowy, przewiduje elementy architektoniczne i meblarskie w ramach przechwytywania chmury punktów 3D tego samego rodzaju, co przechwytywane już przez zestawy słuchawkowe, aby umożliwić samodzielne śledzenie pozycji .

Wynikiem jest seria prymitywnych kształtów 3D, które reprezentują podstawowe granice danego mebla lub elementu.

Quest 3 jest w stanie wygenerować surową siatkę 3D Twojego pokoju i może wywnioskować położenie ścian, podłogi i sufitu na podstawie tej siatki 3D. Jednak zestaw słuchawkowy nie wie obecnie, które kształty w tej siatce reprezentują bardziej szczegółowe elementy, takie jak drzwi, okna, stoły, krzesła i sofy. Zestawy słuchawkowe Quest pozwalają użytkownikom ręcznie oznaczać te obiekty jako proste prostokątne prostopadłościany, jeśli chcą, ale ponieważ jest to opcjonalne i uciążliwe, programiści nie mogą polegać na tym, że użytkownicy to zrobili.

Jeśli technologia taka jak SceneScript zostałaby zintegrowana z konfiguracją sceny rzeczywistości mieszanej w Quest 3, programiści mogliby automatycznie umieszczać wirtualną zawartość na określonych elementach mebli lub wokół nich. Mogliby zastąpić same okna portalami, krzesło wirtualnym siedziskiem lub zmienić sofę w pozycję wypełnioną workami z piaskiem. Takie rzeczy są dziś możliwe, jeśli użytkownik poprosi użytkownika o ręczne oznaczenie mebli lub czasami za pomocą ręcznych algorytmów interpretujących siatkę sceny, ale SceneScript może sprawić, że będzie to płynne i automatyczne.

Technologie takie jak SceneScript mogą również mieć ogromny potencjał dla asystentów AI w przyszłych zestawach słuchawkowych i jego ewentualne okulary AR. Meta podaje przykład pytań typu „Czy to biurko zmieści się w mojej sypialni?” lub „Ile garnków z farbą potrzeba do pomalowania tego pokoju?”, a także polecenia takie jak „Połóż [aplikację AR/MR] na dużym stole”.

Na razie Meta opisuje SceneScript wyłącznie jako badania, a nie krótkoterminową aktualizację funkcji produktu. Chociaż technologia ta może ostatecznie zostać zastosowana w Zadaniu 3, nic nie wskazuje na to, aby miało to nastąpić w najbliższej przyszłości.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://www.uploadvr.com/meta-scenescript-research/