การสำรวจการโต้ตอบส่วนต่อประสานผู้ใช้ XR ใน 'Idea Engine'

เครื่องยนต์ไอเดีย ช่วยให้คุณสร้างและแบ่งปันประสบการณ์ VR และความเป็นจริงผสม การสร้างเครื่องมืออเนกประสงค์ดังกล่าวต้องใช้อินเทอร์เฟซผู้ใช้ที่ซับซ้อน ในบทความรับเชิญนี้ นักพัฒนา Brett Jackson แบ่งปันแนวทางของเขาในการโต้ตอบกับ UI

บทความรับเชิญโดย Brett Jackson

Brett Jackson พัฒนาโปรเจ็กต์ VR มาตั้งแต่ปี 2015 และเป็นผู้อำนวยการของบริษัทแห่งใหม่ในสหราชอาณาจักร เอ็กซ์82 บจก. ผลงานก่อนหน้านี้ของเขา ได้แก่ Dimensional (PC VR), Breath Tech (PC VR), Jigsaw 360 (PC VR และ VR บนมือถือ) และ 120Hz (SideQuest)

เป็นเรื่องปกติที่จะนำเสนอ UI ผ่านแผงโต้ตอบ 2 มิติใน XR ไม่ใช่โอกาสที่น่าตื่นเต้น แต่เป็นสิ่งที่คุ้นเคยและมีประสิทธิภาพ อย่างไรก็ตาม แม้ว่าเราจะยอมรับการบุกรุกแบบ 2 มิติเข้าสู่โลก XR ของเรา แต่ก็ยังมีข้อควรพิจารณาและโอกาสใหม่ๆ ที่จะหลุดพ้นจากกระบวนทัศน์ 2 มิติ

ฉันเริ่มเบื่อหน่ายอย่างรวดเร็วกับตัวชี้เลเซอร์ที่เกินจริงของการเคลื่อนไหวของมือบนแผงที่อยู่ไกลออกไป พร้อมด้วยเวกเตอร์เป้าหมายที่ไม่สอดคล้องกันและการตรวจจับการหยิกเป็นระยะ ความชอบของฉันคือการเข้าถึงและโต้ตอบกับโลก ฉันต้องการให้แผงอยู่ตรงหน้าฉันเพื่อที่ฉันจะได้วางตำแหน่งได้สะดวกและใช้งานได้เหมือนอุปกรณ์ในโลกแห่งความเป็นจริง

โครงการล่าสุดของฉัน เครื่องยนต์ไอเดียได้รับการพัฒนาโดยใช้ สเตอริโอคิทซึ่งเป็นไลบรารี OpenXR แบบโอเพ่นซอร์ส มีปรัชญาที่เน้นการใช้มือเป็นอันดับแรก และให้การสนับสนุนการติดตามมือที่พร้อมใช้งานทันที รวมถึงการสนับสนุนตัวควบคุม ช่วยให้สามารถสร้างหน้าต่างไดนามิกได้อย่างมีประสิทธิภาพพร้อมการควบคุม UI ทั่วไป มันเป็นเครื่องมือที่ยอดเยี่ยมสำหรับการสร้างโปรเจ็กต์ XR อย่างรวดเร็วและยังมีประโยชน์อื่นๆ อีกมากมาย

แผง

จุดเริ่มต้นของฉันคือแผง UI ที่เราสามารถคว้าได้ทุกจุด (ไม่ต้องหาที่จับหรือขอบพิเศษ) โดยมีออร่าที่สวยงามปรากฏขึ้นเมื่อเราอยู่ในระยะการจับ ตอนนี้เรามาเพิ่มข้อควรพิจารณาเกี่ยวกับ XR เพิ่มเติม

ใน XR เป็นเรื่องง่ายสำหรับผู้ใช้ที่จะอยู่หลังแผง UI แทนที่จะแสดง UI ด้านหลังที่ว่างเปล่าหรือกลับด้าน ฉันจะพลิก UI ไปทางด้านที่ผู้ใช้กำลังดูอยู่—เรียบง่าย ฟังดูเล็กน้อย แต่ก็คุ้มค่าที่จะพิจารณาสถานการณ์เฉพาะของ XR อีกวิธีหนึ่งคือหมุนแผงอัตโนมัติเพื่อหันหน้าเข้าหาผู้เล่นตลอดเวลา แต่จะทำให้ผู้ใช้ไม่สามารถควบคุมได้ ถ้าพวกเขาต้องการแผงในมุมแปลก ๆ ก็ปล่อยให้พวกเขาอาจมีเหตุผลที่ดี

แต่ละแผงควรเก็บไว้ให้มีขนาดเล็ก (ขนาดหน้า / ขนาดจอภาพ) เพื่อให้ผู้ใช้สามารถดูดซับเนื้อหาได้อย่างง่ายดายโดยไม่ต้องหันศีรษะ แต่ XR ทำให้เรามีพื้นที่เหลือเฟือ ฉันชอบมองหาโอกาสที่จะหลุดพ้นจากขอบเขตหน้า พื้นที่ที่เลื่อนได้ของฉันมีที่จับสำหรับจับและย้ายเนื้อหา ขณะที่ถูกดึง คุณจะเห็นมุมมองที่ขยายใหญ่ขึ้นของพื้นที่เนื้อหา และคุณสามารถลากและวางได้ในขณะที่อยู่ในโหมดนี้ ทำให้มีช่วงตำแหน่งที่มากขึ้น

ฉันแสดงคำแนะนำที่ด้านข้างของแผง โดยมีเส้นแสดงส่วนประกอบ UI ที่อธิบายไว้ ซึ่งจะช่วยลดจำนวนข้อความบนแผง ผู้ใช้สามารถวนดูเคล็ดลับและซ่อนเคล็ดลับที่พวกเขาคุ้นเคยได้

ในอีกโปรเจ็กต์หนึ่ง ฉันสร้างต้นแบบแผนภูมิแกนต์ 3 มิติที่เลื่อนออกจากหน้าในแนวนอนและจางหายไปในระยะไกล จุดสนใจหลักของผู้ใช้ยังคงอยู่ที่แผงกลางขนาดปกติ แต่ผู้ใช้สามารถเลือกใช้ในบริบทที่กว้างขึ้นได้

แม้ว่าแผงจะสะดวกและคุ้นเคย แต่เราไม่ควรรู้สึกถูกจำกัดด้วยขอบเขตของมัน และการมองหาวิธีที่จะแยกออกไปก็เป็นเรื่องสนุก

เมนู

StereoKit แนะนำให้ฉันรู้จักกับเมนูมือแบบรัศมี ซึ่งต่อมาฉันก็ได้ขยายเพิ่มเติม ฉันชอบไอเดียนี้เพราะคุณควบคุมมันด้วยมือเดียว จึงสะดวกและเข้าถึงได้ ฉันทำให้ระบบเมนูเดียวกันใช้งานได้ทั้งมือขวาและมือซ้าย และใช้วิธีการเดียวกันสำหรับเมนูป๊อปอัปบนแผงควบคุมเพื่อความสอดคล้องกัน

เมนูปริมาตรของฉันก้าวไปอีกขั้นและขับเคลื่อนด้วยความปรารถนาที่จะใช้มิติที่ 3 นั้นเป็นหลัก ฉันใช้มันเพื่อเลือกปลายทางการเทเลพอร์ต (พร้อมตัวชี้ไปยังปลายทางแต่ละแห่ง) และเลือกโหนดใกล้เคียงที่จะแก้ไข ฉันยังใช้มันสำหรับการป้อนข้อมูลด้วยคีย์บอร์ดเมื่อเรียกดูที่อยู่ metaverse นี่เป็นการทดลองที่ค่อนข้างมาก มีข้อดีตรงที่สัญลักษณ์ทั้งหมดอยู่ห่างจากจุดศูนย์กลางเท่ากัน และคุณจะเห็นข้อมูลที่คุณป้อนโดยไม่ต้องละสายตา (ปัญหาทั่วไปของคีย์บอร์ดเสมือน) ข้อเสียเปรียบคือผู้ใช้ไม่คุ้นเคย ดังนั้นฉันคาดว่าจะมีการต่อต้านอยู่บ้าง สังเกตว่าในวิดีโอ ตัวอักษรจะหมุนวนจากหน้าไปหลังตามลำดับตัวอักษร ดังนั้นในอีกสักครู่ ตำแหน่งก็จะคุ้นเคย

เร็วๆ นี้ คุณจะสามารถเพิ่มเมนูเช่นนี้ในโครงการ Idea Engine ของคุณเองได้

วิดเจ็ต 3 มิติ

เครื่องมือเลือกสีมอบโอกาสที่เหมาะสมในการทดสอบ โดยมีค่าสามค่า (เฉดสี ความอิ่มตัว และค่า) ที่สามารถแมปกับ 3 มิติได้ ในเครื่องมือเลือกสี 3 มิติของฉัน คุณสามารถเปลี่ยนค่าทั้งสามค่าพร้อมกันหรือตั้งค่าสี ความอิ่มตัวของสี หรือค่าทีละค่าก็ได้ ฉันรู้สึกว่าการโต้ตอบด้วยน่าสนใจมากกว่าแถบเลื่อนบนหน้า 2 มิติ

เช่นเดียวกับการเคลื่อนไหว ฉันต้องการเคลื่อนที่ในแบบ 3 มิติ ดังนั้นฉันจึงสร้างจอยสติ๊ก 3 มิติเพื่อการเคลื่อนไหวที่ราบรื่นด้วยมือ เพียงลากทรงกลมไปในทิศทางที่คุณต้องการเคลื่อนที่แล้วหมุนข้อมือเพื่อหมุนอย่างรวดเร็วหรือราบรื่น มันทำงานในโหมดเดินหรือบิน และสามารถปิดการหมุนได้หากผู้ใช้พบว่ามันมากเกินไปที่จะคิดทุกอย่างในการควบคุมเดียว ฉันยังคงสนับสนุนการเคลื่อนไหวโดยใช้คอนโทรลเลอร์แบบดั้งเดิม แต่การควบคุมด้วยมือเดียวนี้ทำซ้ำฟังก์ชันการทำงานของจอยสติ๊ก/ปุ่มหลายอัน และเป็นตัวอย่างที่น่าสนใจว่าการเคลื่อนไหวของมือ 3 มิติสามารถตอบสนองความต้องการในรูปแบบใหม่ได้อย่างไร

มือ

ในวิดีโอตัวอย่างทั้งหมดของฉัน คุณจะเห็นว่าฉันซ่อนมือของผู้ใช้ทันทีที่พวกเขาเริ่มโต้ตอบกับ UI นักพัฒนาหลายคนทุ่มเทความพยายามในการสร้างท่าหยิบจับอย่างระมัดระวังเพื่อวัตถุประสงค์ที่แตกต่างกัน ซึ่งดูเรียบร้อยดี แต่สำหรับฉัน มือที่จัดวางอย่างดีซึ่งไม่สะท้อนตำแหน่งมือของฉันเองนั้นรบกวนสมาธิมากกว่าการไม่มีมือเลย มืออาจเป็นสิ่งกีดขวางการมองเห็นได้เมื่อการโต้ตอบเริ่มต้นขึ้น

เมื่อปล่อยมือแล้ว ฉันยังมีอิสระที่จะรองรับหรือเคลื่อนไหวของมือเกินจริงได้โดยไม่มีความขัดแย้งทางสายตา ฉันลดการเคลื่อนไหวของมือในตัวเลือกสีเพื่อลดความไวและทำให้การเคลื่อนไหวของมือเกินจริงเมื่อเลื่อนเมื่อมีเนื้อหาจำนวนมาก

ข้อความ

แม้ว่า Idea Engine จะรองรับ Sketchfab เพื่อดาวน์โหลดโมเดล 3 มิติ, AI เพื่อสร้างรูปภาพ และการนำเข้ารูปภาพ/เสียง แต่ก็ยากที่จะเอาชนะความสะดวกและการเข้าถึงข้อความและคำพูดในการถ่ายทอดเรื่องราวที่ซับซ้อนได้ ด้วยเหตุนี้ ฉันต้องการการสนับสนุนข้อความที่เหมาะสมเพื่อให้ผู้ใช้สามารถรวมรูปแบบที่มีอยู่ทั้งหมดเพื่อบอกเล่าเรื่องราวของพวกเขาได้

โดยทั่วไปข้อความจะดูไม่สวยงามใน VR ดังนั้นฉันจึงจางหายไปเมื่อคุณเดินจากไปเพื่อลบสิ่งที่ไม่น่าดูออกและปิดแผงข้อความด้วย ผู้ใช้จะกระตือรือร้นที่จะสำรวจสภาพแวดล้อมมากกว่าอ่านข้อความ ดังนั้นฉันจึงมีตัวเลือกในการให้ผู้บรรยายอ่านข้อความบล็อกที่คุณพบโดยอัตโนมัติ

การป้อนข้อความถือเป็นเรื่องท้าทายหากไม่มีวิธีแก้ปัญหาที่ดี ฉันสร้างการป้อนข้อความสไตล์มือถือด้วยการรองรับการตัดและวางและการแบ่งหน้าอัตโนมัติโดยใช้แป้นพิมพ์เสมือนจริง เมื่อฉันทำเสร็จแล้ว ฉันคิดว่าไม่เป็นไร แต่ฉันไม่อยากพิมพ์ข้อความยาวๆ ใน XR จากนั้นฉันก็เพิ่มการรองรับเสียงเป็นข้อความ นั่นช่วยได้ แต่ฉันพบว่าฉันต้องแก้ไขอีกมากหลังจากเขียนตามคำบอก และยังช้ากว่าการใช้วิธีแบบเดิมอีกด้วย ตอนนี้ฉันอนุญาตให้ผู้ใช้เชื่อมต่อกับชุดหูฟังจากเบราว์เซอร์บนอุปกรณ์ใดๆ ก็ตามที่ตนเป็นเจ้าของและนำเข้าข้อความผ่านหน้าเว็บได้ ฉันใช้ทั้งสามเทคนิคเป็นประจำ โดยเบราว์เซอร์ใช้สำหรับการป้อนข้อความยาว

บทเรียนของฉันที่นี่คือคุณไม่จำเป็นต้องแก้ปัญหาทุกอย่างใน XR เสมอไป บางครั้งควรใช้อุปกรณ์ที่เหมาะสมกว่าแล้วนำเข้าผลลัพธ์

ลองดู

ตั้งแต่แผนที่ความคิดด้านการศึกษา ไปจนถึงเรื่องราวและเกมแบบโต้ตอบ คุณสามารถใช้ประโยชน์จากเนื้อหา CC และนำเข้ารูปภาพ เสียง และข้อความของคุณเองเพื่อสร้างแนวคิดของคุณได้ จากนั้น ทำให้เป็นจริงด้วยการเพิ่มสถานะ กิจกรรม และสคริปต์ระดับสูง แล้วแชร์บน X82 metaverse ของเรา เครื่องมือสำหรับผู้ใช้ปลายทางที่อัดแน่นไปด้วยฟีเจอร์เพื่อสำรวจความเป็นไปได้ของ XR

พื้นที่ public alpha พร้อมให้ดาวน์โหลดแล้วฟรีบน App Labเพื่อให้คุณสามารถมาลองใช้คุณสมบัติต่างๆ ที่พูดคุยกันและให้ข้อเสนอแนะกับเราได้

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.roadtovr.com/xr-interface-interactions-idea-engine-brett-jackson/