การติดตามด้วยสายตาเป็นตัวเปลี่ยนเกมสำหรับ XR ที่ไปไกลกว่าการแสดงผลแบบ Foveated

การติดตามการมอง—ความสามารถในการวัดทิศทางที่ผู้ใช้มองอย่างรวดเร็วและแม่นยำขณะอยู่ในชุดหูฟัง VR—มักถูกพูดถึงในบริบทของการเรนเดอร์แบบ foveated และวิธีที่สามารถลดข้อกำหนดด้านประสิทธิภาพของชุดหูฟัง XR และในขณะที่การเรนเดอร์แบบ foveated เป็นกรณีการใช้งานที่น่าตื่นเต้นสำหรับการติดตามดวงตาในชุดหูฟัง AR และ VR การติดตามด้วยสายตาจะนำมาซึ่งประโยชน์อีกมากมาย

อัปเดต – 2 พฤษภาคม 2023

การติดตามการมองได้รับการพูดถึงเกี่ยวกับ XR ในฐานะเทคโนโลยีระยะไกลเป็นเวลาหลายปี แต่ในที่สุดฮาร์ดแวร์ก็พร้อมใช้งานมากขึ้นสำหรับนักพัฒนาและลูกค้า PSVR 2 และ Quest Pro เป็นตัวอย่างที่เห็นได้ชัดเจนที่สุดของชุดหูฟังที่มีการติดตามการมองในตัว เช่นเดียวกับ Varjo Aero, Vive Pro Eye และอื่นๆ

ด้วยโมเมนตัมนี้ ในเวลาเพียงไม่กี่ปี เราอาจเห็นการติดตามการมองกลายเป็นส่วนมาตรฐานของชุดหูฟัง XR สำหรับผู้บริโภค เมื่อเป็นเช่นนั้น มีคุณสมบัติมากมายที่เทคโนโลยีสามารถเปิดใช้งานเพื่อปรับปรุงประสบการณ์ได้อย่างมาก

การแสดงผลแบบ Foveated

เริ่มกันที่ตัวที่หลายคนคุ้นเคยกันดีอยู่แล้ว การเรนเดอร์แบบ Foveated มีเป้าหมายเพื่อลดพลังในการคำนวณที่จำเป็นสำหรับการแสดงฉาก AR และ VR ที่ต้องใช้ทรัพยากรมาก ชื่อนี้ได้มาจาก 'โฟเวีย' ซึ่งเป็นหลุมขนาดเล็กที่อยู่ตรงกลางเรตินาของมนุษย์ซึ่งมีเซลล์รับแสงหนาแน่น มันเป็นตาที่ทำให้เรามีการมองเห็นความละเอียดสูงที่ศูนย์กลางของขอบเขตการมองเห็นของเรา ในขณะเดียวกัน การมองเห็นอุปกรณ์ต่อพ่วงของเรายังเก็บรายละเอียดและสีได้ไม่ดีนัก และได้รับการปรับให้จับการเคลื่อนไหวและคอนทราสต์ได้ดีกว่าการดูรายละเอียด คุณลองนึกถึงกล้องที่มีเซ็นเซอร์ขนาดใหญ่ที่มีพิกเซลเพียงไม่กี่เมกะพิกเซล และเซ็นเซอร์ขนาดเล็กอีกตัวที่อยู่ตรงกลางซึ่งมีเมกะพิกเซลจำนวนมาก

ขอบเขตของการมองเห็นของคุณซึ่งคุณสามารถเห็นรายละเอียดสูงนั้นจริง ๆ แล้วเล็กกว่าที่คนส่วนใหญ่คิดมาก—เพียงไม่กี่องศาจากศูนย์กลางของมุมมองของคุณ ความแตกต่างของกำลังแยกระหว่างรอยบุ๋มกับส่วนอื่นๆ ของเรตินานั้นแตกต่างกันอย่างมาก จนคุณไม่สามารถแยกแยะข้อความในหน้านี้ได้หากไม่มีรอยบุ๋มของคุณ คุณสามารถเห็นสิ่งนี้ได้ง่ายๆ ด้วยตัวคุณเอง: ถ้าคุณเพ่งสายตาไปที่ นี้ word แล้วลองอ่านแค่สองประโยคด้านล่าง คุณจะพบว่าแทบเป็นไปไม่ได้เลยที่จะแยกแยะออกว่าคำนั้นพูดว่าอะไร แม้ว่าคุณจะเห็น บางสิ่งบางอย่าง คำที่คล้ายกัน เหตุผลที่ผู้คนประเมินขอบเขตการมองเห็นสูงเกินไปนั้นเป็นเพราะสมองทำการตีความและทำนายโดยไม่รู้ตัวเพื่อสร้างแบบจำลองว่าเราเชื่อว่าโลกเป็นอย่างไร

การเรนเดอร์แบบ Foveated มีจุดมุ่งหมายเพื่อใช้ประโยชน์จากมุมมองนี้ของเราโดยการแสดงฉากเสมือนจริงด้วยความละเอียดสูงเฉพาะในพื้นที่ที่โฟเวียมองเห็น จากนั้นจึงลดความซับซ้อนของฉากลงอย่างมากในการมองรอบข้างโดยที่รายละเอียดไม่สามารถแก้ไขได้อยู่ดี . การทำเช่นนี้ช่วยให้เราสามารถโฟกัสไปที่พลังการประมวลผลส่วนใหญ่ซึ่งมีส่วนให้รายละเอียดมากที่สุด ในขณะที่ประหยัดทรัพยากรการประมวลผลในส่วนอื่น นั่นอาจฟังดูไม่ใช่เรื่องใหญ่ แต่เมื่อความละเอียดในการแสดงผลของชุดหูฟัง XR และขอบเขตการมองเห็นเพิ่มขึ้น พลังที่จำเป็นในการแสดงฉากที่ซับซ้อนก็เพิ่มขึ้นอย่างรวดเร็ว

แน่นอนว่าการติดตามการมองเข้ามามีบทบาทเพราะเราจำเป็นต้องรู้ว่าจุดศูนย์กลางของการจ้องมองของผู้ใช้นั้นอยู่ที่ใดตลอดเวลาอย่างรวดเร็วและมีความแม่นยำสูง เพื่อที่จะดึงการแสดงภาพที่เลื่อนออกไป แม้ว่าจะเป็นเรื่องยากที่จะดึงสิ่งนี้ออกโดยที่ผู้ใช้ไม่สังเกตเห็น แต่ก็เป็นไปได้และได้รับการพิสูจน์แล้วว่าค่อนข้างมีประสิทธิภาพในชุดหูฟังรุ่นล่าสุดอย่าง Quest Pro และ PSVR 2

การตรวจจับและปรับแต่งผู้ใช้อัตโนมัติ

นอกจากการตรวจจับการเคลื่อนไหวแล้ว การติดตามดวงตายังสามารถใช้เป็นตัวระบุไบโอเมตริกซ์ได้อีกด้วย นั่นทำให้การติดตามการมองเป็นตัวเลือกที่ยอดเยี่ยมสำหรับโปรไฟล์ผู้ใช้หลายคนในชุดหูฟังเดียว เมื่อฉันสวมชุดหูฟัง ระบบจะสามารถระบุตัวฉันได้ทันทีว่าเป็นผู้ใช้ที่ไม่ซ้ำใคร และเรียกใช้สภาพแวดล้อมที่กำหนดเอง ไลบรารีเนื้อหา ความคืบหน้าของเกม และการตั้งค่าของฉัน เมื่อเพื่อนใส่หูฟังระบบสามารถโหลดได้ ของพวกเขา ค่ากำหนดและข้อมูลที่บันทึกไว้

นอกจากนี้ยังสามารถใช้การติดตามดวงตาเพื่อวัด IPD (ระยะห่างระหว่างดวงตา) ได้อย่างแม่นยำ การรู้ว่า IPD ของคุณมีความสำคัญใน XR เนื่องจากจำเป็นต้องย้ายเลนส์และจอแสดงผลให้อยู่ในตำแหน่งที่เหมาะสมที่สุดสำหรับทั้งความสะดวกสบายและคุณภาพของภาพ น่าเสียดายที่หลายคนเข้าใจว่าไม่รู้ว่า IPD ของตนเองเป็นอย่างไร

ด้วยการติดตามการมอง การวัดค่า IPD ของผู้ใช้แต่ละคนจะเป็นเรื่องง่ายในทันที จากนั้นให้ซอฟต์แวร์ของชุดหูฟังช่วยผู้ใช้ในการปรับค่า IPD ของชุดหูฟังให้ตรงกัน หรือเตือนผู้ใช้ว่า IPD ของพวกเขาอยู่นอกช่วงที่ชุดหูฟังรองรับ

ในชุดหูฟังขั้นสูง กระบวนการนี้สามารถมองไม่เห็นและเป็นไปโดยอัตโนมัติ—สามารถวัด IPD ได้โดยมองไม่เห็น และชุดหูฟังสามารถปรับ IPD แบบใช้มอเตอร์ซึ่งจะย้ายเลนส์ไปยังตำแหน่งที่ถูกต้องโดยอัตโนมัติโดยที่ผู้ใช้ไม่จำเป็นต้องรับรู้ใดๆ เช่น ตัวอย่างเช่นบน Varjo Aero

การแสดง Varifocal

ระบบออปติคัลที่ใช้ในชุดหูฟัง VR ในปัจจุบันทำงานได้ดี แต่จริงๆ แล้วค่อนข้างเรียบง่ายและไม่รองรับการทำงานที่สำคัญของการมองเห็นของมนุษย์ นั่นก็คือไดนามิกโฟกัส เนื่องจากจอแสดงผลในชุดหูฟัง XR อยู่ห่างจากดวงตาของเราเป็นระยะทางเท่ากันเสมอ แม้ว่าความลึกของภาพสามมิติจะแสดงให้เห็นเป็นอย่างอื่นก็ตาม สิ่งนี้นำไปสู่ปัญหาที่เรียกว่าความขัดแย้งด้านที่พัก หากคุณต้องการเรียนรู้เชิงลึกเพิ่มเติม ลองดูไพรเมอร์ด้านล่าง:

การแสดง Varifocal ซึ่งสามารถเปลี่ยนความลึกของโฟกัสแบบไดนามิกได้เสนอเป็นวิธีแก้ปัญหานี้ มีหลายวิธีในการแสดงภาพแบบแปรผัน บางทีวิธีที่ง่ายที่สุดคือระบบออพติคอลที่จอแสดงผลถูกเลื่อนไปมาจากเลนส์เพื่อเปลี่ยนความลึกของโฟกัสในทันที

การจะแสดงผลแบบปรับโฟกัสได้นั้นจำเป็นต้องมีการติดตามด้วยสายตา เนื่องจากระบบจำเป็นต้องรู้อย่างแม่นยำว่าผู้ใช้กำลังมองหาจุดใดในฉาก ด้วยการติดตามเส้นทางไปยังฉากเสมือนจริงจากดวงตาของผู้ใช้แต่ละข้าง ระบบสามารถค้นหาจุดที่เส้นทางเหล่านั้นตัดกัน สร้างระนาบโฟกัสที่เหมาะสมที่ผู้ใช้กำลังมอง จากนั้นข้อมูลนี้จะถูกส่งไปยังจอแสดงผลเพื่อปรับตามนั้น โดยตั้งค่าความลึกโฟกัสให้ตรงกับระยะทางเสมือนจากตาของผู้ใช้ไปยังวัตถุ

การแสดงผลแบบ Varifocal ที่ใช้งานได้ดีไม่เพียงแต่สามารถขจัดข้อขัดแย้งด้านการมองเห็นเท่านั้น แต่ยังช่วยให้ผู้ใช้สามารถโฟกัสไปที่วัตถุเสมือนจริงที่อยู่ใกล้พวกเขามากกว่าในชุดหูฟังที่มีอยู่

และก่อนที่เราจะใส่จอแสดงผลแบบแปรผันลงในชุดหูฟัง XR สามารถใช้การติดตามดวงตาเพื่อจำลองระยะชัดลึกได้ ซึ่งอาจประมาณการเบลอของวัตถุที่อยู่นอกระนาบโฟกัสของดวงตาของผู้ใช้ได้

ณ ตอนนี้ ไม่มีชุดหูฟังหลักในตลาดที่มีความสามารถแบบปรับโฟกัสได้ แต่มี การเติบโตของการวิจัยและพัฒนา พยายามหาวิธีทำให้ความสามารถมีขนาดกะทัดรัด เชื่อถือได้ และราคาไม่แพง

แสดง Foveated

ในขณะที่การเรนเดอร์แบบ foveated มีจุดประสงค์เพื่อกระจายพลังการเรนเดอร์ระหว่างส่วนของการมองเห็นของเราที่เราสามารถมองเห็นได้อย่างชัดเจนและการมองเห็นรอบข้างที่มีรายละเอียดต่ำได้ดีขึ้น สิ่งที่คล้ายกันนี้สามารถทำได้สำหรับจำนวนพิกเซลจริง

แทนที่จะเปลี่ยนรายละเอียดการแสดงผลในบางส่วนของจอแสดงผลเทียบกับส่วนอื่น ๆ จอแสดงผลแบบโฟฟเวเอทคือจอแสดงผลที่เคลื่อนไหว (หรือในบางกรณี "บังคับทิศทาง") เพื่อให้อยู่หน้าสายตาของผู้ใช้ไม่ว่าจะมองจากที่ใด

จอแสดงผลแบบ Foveated เปิดประตูสู่การบรรลุความละเอียดสูงกว่ามากในชุดหูฟัง AR และ VR โดยไม่ต้องพยายามบังคับปัญหาด้วยการพยายามบีบอัดพิกเซลด้วยความละเอียดสูงกว่าในขอบเขตการมองเห็นทั้งหมดของเรา การทำเช่นนั้นไม่เพียงแต่มีค่าใช้จ่ายสูงเท่านั้น แต่ยังเผชิญกับข้อจำกัดด้านพลังงานและขนาดที่ท้าทาย เนื่องจากจำนวนพิกเซลเข้าใกล้ความละเอียดของจอประสาทตา แต่จอแสดงผลแบบ foveated จะย้ายจอแสดงผลขนาดเล็กที่มีพิกเซลหนาแน่นไปยังตำแหน่งใดก็ตามที่ผู้ใช้มองตามข้อมูลการติดตามด้วยตา วิธีการนี้อาจนำไปสู่ขอบเขตการมองเห็นที่สูงกว่าที่จะทำได้ด้วยจอภาพแบบแบนเดียว

Varjo เป็นบริษัทหนึ่งที่ทำงานเกี่ยวกับระบบแสดงผลแบบเลื่อน พวกเขาใช้จอแสดงผลทั่วไปที่ครอบคลุมขอบเขตการมองเห็นที่กว้าง (แต่พิกเซลไม่หนาแน่นมาก) จากนั้นจึงวางไมโครดิสเพลย์ที่มีพิกเซลหนาแน่นกว่าไว้ด้านบน การรวมกันของทั้งสองหมายความว่าผู้ใช้จะได้รับทั้งขอบเขตการมองเห็นที่กว้างสำหรับการมองเห็นรอบข้างและขอบเขตที่มีความละเอียดสูงมากสำหรับการมองเห็นจากระยะไกล

จริงอยู่ จอแสดงผล foveated นี้ยังคงเป็นแบบคงที่ (พื้นที่ความละเอียดสูงอยู่ตรงกลางของจอแสดงผล) แทนที่จะเป็นไดนามิก แต่บริษัทมี พิจารณาหลายวิธีในการเคลื่อนย้ายจอแสดงผล เพื่อให้แน่ใจว่าพื้นที่ความละเอียดสูงจะอยู่ที่ศูนย์กลางการจ้องมองของคุณเสมอ

ต่อในหน้า 2: อวตารทางสังคมที่ดีกว่า »

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
• การสร้างอนาคตโดย Adryenn Ashley เข้าถึงได้ที่นี่.
• ที่มา: https://www.roadtovr.com/why-eye-tracking-is-a-game-changer-for-vr-headsets-virtual-reality/