Meta เปิดตัวระบบความเป็นจริงผสม Meta Reality

การส่งผ่านสีสามมิติ การยึดเชิงพื้นที่ และการทำความเข้าใจฉากจะมอบประสบการณ์ความเป็นจริงผสมที่สมจริงยิ่งขึ้น

Sarthak Ray ผู้จัดการผลิตภัณฑ์ของ Meta กล่าวว่าความสามารถในการมองเห็นและโต้ตอบกับโลกรอบตัวคุณผ่านความเป็นจริงผสมเปิดโอกาสใหม่สำหรับ VR “คุณสามารถเล่นกับเพื่อน ๆ ในห้องเครื่องเดียวกันหรือประสบการณ์การทำงานที่รวมจอภาพเสมือนขนาดใหญ่เข้ากับเครื่องมือจริง และนี่คือก้าวไปสู่วิสัยทัศน์ระยะยาวของเราสำหรับความเป็นจริงเสริม”

ตรงกันข้ามกับความเชื่อที่ได้รับความนิยม ประสบการณ์ความเป็นจริงผสมจะมีประสิทธิภาพมากที่สุดหากอุปกรณ์ VR/AR สามารถผสมผสานระหว่างโลกจริงและโลกเสมือนจริงได้อย่างน่าเชื่อ ซึ่งหมายความว่าชุดหูฟังต้องทำมากกว่าแค่ให้ฟีดวิดีโอ 2D ตาม บล็อกโพสต์ล่าสุด on Oculus.คอม.

เพื่อเป็นการส่งเสริมความมุ่งมั่นในการพัฒนาเทคโนโลยี VR ที่ทันสมัย ​​Meta ได้ประกาศเปิดตัว Meta Reality ซึ่งเป็นระบบความเป็นจริงแบบผสมใหม่ที่นำเสนอมุมมองภายในของสิ่งที่นำไปสู่การสร้างประสบการณ์ที่ยอดเยี่ยม

การส่งผ่านสีสามมิติเพื่อการรับรู้เชิงพื้นที่

Meta ตระหนักถึงความสำคัญของเทคโนโลยีการส่งผ่านสีและเทคโนโลยี 3 มิติสามมิติ เมื่อพูดถึงการมอบประสบการณ์ความเป็นจริงผสมที่สะดวกสบายและสมจริง

“Meta Quest Pro รวมสองมุมมองของกล้องเพื่อสร้างความลึกที่เหมือนจริงขึ้นมาใหม่ ซึ่งทำให้มั่นใจได้ว่าประสบการณ์ความเป็นจริงผสมที่สร้างขึ้นโดยใช้สี Passthrough นั้นสะดวกสบายสำหรับผู้คน” Ricardo Silveira Cabral ผู้จัดการฝ่ายวิศวกรรม Meta Computer Vision อธิบาย “แต่นอกจากนี้ สัญญาณพื้นผิวแบบสเตอริโอยังช่วยให้สมองของผู้ใช้ทำส่วนที่เหลือและอนุมานความลึกได้ แม้ว่าการสร้างความลึกขึ้นใหม่จะไม่สมบูรณ์หรืออยู่นอกขอบเขตของระบบก็ตาม”

ตัวอย่างเช่น เมื่อใช้ Passthrough สมองของคุณจะเรียนรู้ว่าถ้วยกาแฟอยู่ห่างจากมือคุณพอๆ กับปากกาที่วางอยู่ข้างๆ คุณ

Oculus Insight ซึ่งสามารถจับจุดสนใจได้เพียง 100 จุดเพื่อระบุตำแหน่งของชุดหูฟังในห้อง เป็นเทคโนโลยีที่ให้ระบบติดตามแบบสแตนด์อโลนระบบแรกสำหรับอุปกรณ์ VR สำหรับผู้บริโภค ตั้งแต่นั้นเป็นต้นมาได้รับการอัปเกรดเพื่อให้สามารถตรวจจับเชิงลึกได้ สำหรับการเปรียบเทียบ Meta Quest Pro สามารถสร้างจุดสนใจได้มากถึง 10,000 จุดต่อวินาทีภายใต้สภาพแสงที่แตกต่างกัน ทำให้คุณสามารถสร้างการแสดง 3 มิติที่ดีขึ้นของพื้นที่ทางกายภาพของคุณแบบเรียลไทม์

ด้วยขั้นตอนนี้ Meta สามารถสร้างแบบจำลอง 3 มิติของโลกทางกายภาพที่ได้รับการปรับปรุงอย่างต่อเนื่อง จากนั้นคุณสามารถใช้ข้อมูลนี้เพื่อสร้างเฟรมเวิร์กการเรนเดอร์เชิงคาดการณ์ที่สามารถสร้างภาพสภาพแวดล้อมในโลกแห่งความเป็นจริงของคุณได้ เพื่อชดเชยเวลาแฝงของการเรนเดอร์ การสร้างใหม่จะถูกปรับให้เข้ากับมุมมองตาซ้ายและขวาของผู้ใช้ผ่าน TimeWarp แบบอะซิงโครนัส ขั้นตอนวิธี

จากข้อมูลของ Silveira Cabral การใช้กล้องสามมิติแบบสีช่วยให้ทีมงานสามารถตีความโลกแห่งความเป็นจริงได้สมจริงยิ่งขึ้น

ความเข้าใจในฉากสำหรับการผสมผสานเนื้อหาเสมือนจริงเข้ากับโลกทางกายภาพ

ส่วนประกอบ Scene Understanding ของแพลตฟอร์มการแสดงตนได้รับการแนะนำในระหว่างงาน Connect 2021 เทคโนโลยีนี้ช่วยให้นักพัฒนาสามารถสร้างประสบการณ์ความเป็นจริงผสมที่ซับซ้อนและรับรู้ถึงฉากต่างๆ Wei Lyu ผู้จัดการผลิตภัณฑ์ของ Meta Quest Pro กล่าวว่าส่วนประกอบ Scene Understanding ของบริษัทได้รับการออกแบบมาเพื่อช่วยให้นักพัฒนามุ่งเน้นไปที่การสร้างธุรกิจและประสบการณ์ของตน.

“เราแนะนำ Scene Understanding เป็นโซลูชันระบบ” Lyu กล่าว

ความเข้าใจในฉากแบ่งออกเป็นสามด้าน:

• โมเดลฉาก - การเป็นตัวแทนเดียว ครอบคลุม ทันสมัย ​​และได้รับการจัดการโดยระบบของสภาพแวดล้อมซึ่งประกอบด้วยข้อมูลทางเรขาคณิตและความหมาย องค์ประกอบพื้นฐานของโมเดลฉากคือจุดยึด Anchor แต่ละอันสามารถยึดติดกับส่วนประกอบต่างๆ ตัวอย่างเช่น ห้องนั่งเล่นของผู้ใช้ได้รับการจัดระเบียบตามจุดยึดแต่ละจุดด้วยป้ายกำกับความหมาย เช่น พื้น เพดาน ผนัง โต๊ะทำงาน และโซฟา ยึดจุดยึดด้วยการแสดงทางเรขาคณิตอย่างง่าย: ขอบเขต 2 มิติหรือกล่องขอบเขต 3 มิติ
• จับภาพฉาก – โฟลว์แนะนำโดยระบบที่ช่วยให้ผู้ใช้เดินไปรอบ ๆ และจับภาพสถาปัตยกรรมห้องและเฟอร์นิเจอร์เพื่อสร้างแบบจำลองฉาก ในอนาคต เป้าหมายคือการส่งมอบ Scene Capture เวอร์ชันอัตโนมัติที่ไม่ต้องใช้คนในการจับภาพสภาพแวดล้อมด้วยตนเอง
• ฉาก API – อินเทอร์เฟซที่แอพสามารถใช้เพื่อเข้าถึงข้อมูลเชิงพื้นที่ใน Scene Model สำหรับกรณีการใช้งานต่างๆ รวมถึงการจัดวางเนื้อหา ฟิสิกส์ การนำทาง ฯลฯ ด้วย Scene API นักพัฒนาสามารถใช้ Scene Model เพื่อให้ลูกบอลเสมือนกระเด็นออกจากพื้นผิวจริงใน ห้องจริงหรือหุ่นยนต์เสมือนจริงที่สามารถปรับขนาดผนังจริงได้

“การทำความเข้าใจฉากช่วยลดแรงเสียดทานสำหรับนักพัฒนา ช่วยให้พวกเขาสร้างประสบการณ์ MR ที่น่าเชื่อและดื่มด่ำมากที่สุดเท่าที่จะเป็นไปได้ด้วยการบดบังแบบเรียลไทม์และเอฟเฟกต์การชนกัน” Ray กล่าวเสริม

จุดยึดเชิงพื้นที่สำหรับการจัดวางวัตถุเสมือนจริง

นักพัฒนาสามารถสร้างประสบการณ์ความเป็นจริงผสมระดับเฟิร์สคลาสโดยใช้ Spatial Anchors ซึ่งเป็นความสามารถหลักของแพลตฟอร์ม Meta Quest Pro ตัวอย่างเช่น นักออกแบบผลิตภัณฑ์สามารถยึดโมเดล 3 มิติหลาย ๆ แบบในพื้นที่ทางกายภาพได้อย่างง่ายดายโดยใช้แพลตฟอร์มเช่น ร่างแรงโน้มถ่วง เพื่อสร้างสภาพแวดล้อมที่ราบรื่นสำหรับผลิตภัณฑ์ของตน

“หากการส่งผ่านสีแบบสามมิติและการเข้าใจฉากช่วยยกน้ำหนักเพื่อให้ประสบการณ์ MR ผสมผสานระหว่างโลกจริงและโลกเสมือนจริง ความสามารถในการยึดของเราจะมอบเนื้อเยื่อเกี่ยวพันที่ยึดทุกอย่างไว้ด้วยกัน” ลอร่า โอนู ผู้จัดการผลิตภัณฑ์ Meta กล่าว

สามารถใช้ Spatial Anchors ร่วมกับ Scene Model เพื่อสร้างสภาพแวดล้อมที่สมบูรณ์และอัตโนมัติสำหรับประสบการณ์และสถานการณ์ที่หลากหลาย ตัวอย่างเช่น คุณสามารถสร้างประตูเสมือนที่เชื่อมต่อกับผนังจริงได้ นี่จะเป็นก้าวสำคัญสำหรับบริษัทต่างๆ ที่กำลังมองหาเทคโนโลยี XR สำหรับโซลูชันระดับองค์กรในการจับคู่ดิจิทัล ระบบอัตโนมัติในคลังสินค้า และแม้แต่วิทยาการหุ่นยนต์

สำหรับตอนนี้ ดูเหมือนว่า Meta จะมุ่งเน้นไปที่ประสบการณ์ทางสังคมมากกว่า “ด้วยการรวมการทำความเข้าใจฉากเข้ากับจุดยึดเชิงพื้นที่ คุณสามารถผสมผสานและปรับประสบการณ์ MR ของคุณให้เข้ากับสภาพแวดล้อมของผู้ใช้เพื่อสร้างโลกใหม่ที่เต็มไปด้วยความเป็นไปได้” Onu กล่าวเสริม “คุณสามารถเป็นสายลับในห้องนั่งเล่นของคุณเองได้ วางเฟอร์นิเจอร์เสมือนจริงในห้องของคุณหรือร่างส่วนต่อขยายในบ้านของคุณ สร้างเกมฟิสิกส์ และอื่นๆ อีกมากมาย”

จุดยึดเชิงพื้นที่ที่ใช้ร่วมกันสำหรับประสบการณ์ที่อยู่ร่วมกัน

นอกจากนี้ Meta ยังได้เพิ่มฟีเจอร์ Shared Spatial Anchors ให้กับแพลตฟอร์มการแสดงตน สิ่งนี้ช่วยให้คุณสร้างประสบการณ์ผู้เล่นหลายคนในพื้นที่โดยการแบ่งปันจุดยึดของคุณกับผู้ใช้รายอื่นในพื้นที่เดียวกัน สิ่งนี้จะช่วยให้คุณและเพื่อนคนอื่น ๆ สามารถเล่นเกมกระดาน VR บนโต๊ะจริงได้ในลักษณะเดียวกัน เอียงห้า มอบประสบการณ์การเล่นเกมของพวกเขา

ชุดค่าผสมที่ชนะสำหรับความเป็นจริงผสม

การผสมผสานระหว่าง Spatial Anchors, Passthrough และ Scene Understanding สามารถช่วยสร้างสภาพแวดล้อมที่สมบูรณ์และโต้ตอบได้ ซึ่งได้รับการออกแบบให้ดูและให้ความรู้สึกเหมือนโลกจริง Avinav Pashine ผู้จัดการผลิตภัณฑ์ของ Meta Quest Pro กล่าวว่ามีการแลกเปลี่ยนมากมายที่เกี่ยวข้องกับการสร้างสภาพแวดล้อมความเป็นจริงผสมที่ยอดเยี่ยมและสะดวกสบายสำหรับผู้ใช้

อนาคตของ Meta Reality ยังคงพัฒนาอย่างต่อเนื่อง เนื่องจากบริษัทปรับปรุงแพลตฟอร์มอย่างต่อเนื่องผ่านการอัปเดตซอฟต์แวร์และนวัตกรรมฮาร์ดแวร์ที่จะส่งมอบในผลิตภัณฑ์รุ่นต่อไป Silveira Cabral ผู้จัดการผลิตภัณฑ์ของ Meta Quest Pro กล่าวว่าผลิตภัณฑ์แรกของบริษัทเป็นขั้นตอนสำคัญในวิวัฒนาการของ Meta Reality

“เราต้องการเรียนรู้ร่วมกับนักพัฒนาในขณะที่พวกเขาสร้างประสบการณ์ที่น่าสนใจซึ่งกำหนดนิยามใหม่ของสิ่งที่เป็นไปได้ด้วยชุดหูฟัง VR เรื่องนี้ยังไม่สมบูรณ์ - นี่เป็นเพียงหน้าหนึ่งเท่านั้น”

เครดิตภาพ: Meta