คู่มือสำหรับผู้เริ่มต้นโดยย่อเกี่ยวกับการออกแบบและพัฒนา Apple Vision Pro

คู่มือเริ่มต้นฉบับย่อสำหรับการออกแบบและพัฒนา Apple Vision Pro

Time Stamp: 21 มิถุนายน 2023 2:40 น.

Apple Vision Pro ได้นำแนวคิดใหม่ๆ มาสู่ตารางเกี่ยวกับวิธีการออกแบบ ควบคุม และสร้างแอพ XR ในบทความรับเชิญนี้ สเตอร์ลิง คริสปินเสนอแนวทางที่กระชับสำหรับสิ่งที่นักพัฒนา XR มือใหม่ควรคำนึงถึงเมื่อเข้าใกล้การพัฒนาแอพสำหรับ Apple Vision Pro

คู่มือสำหรับผู้เริ่มต้นโดยย่อเกี่ยวกับการออกแบบและพัฒนา Apple Vision Pro PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.บทความแขกโดย สเตอร์ลิง คริสปิน

สเตอร์ลิง คริสปินเป็นศิลปินและวิศวกรซอฟต์แวร์ที่มีประสบการณ์กว่าทศวรรษในอุตสาหกรรมคอมพิวเตอร์เชิงพื้นที่ งานของเขาครอบคลุมระหว่างการออกแบบผลิตภัณฑ์และการวิจัยและพัฒนาเทคโนโลยีใหม่ๆ ที่บริษัทต่างๆ เช่น Apple, Snap Inc และบริษัทสตาร์ทอัพด้านเทคโนโลยีอื่นๆ อีกหลายแห่งที่ทำงานเกี่ยวกับคอมพิวเตอร์แบบใช้ใบหน้า

หมายเหตุบรรณาธิการ: ผู้เขียนขอเตือนผู้อ่านว่าเขาไม่ใช่ตัวแทนของ Apple; ข้อมูลนี้เป็นความคิดเห็นส่วนบุคคลและไม่มีข้อมูลที่ไม่เปิดเผยต่อสาธารณะ นอกจากนี้ สามารถดูข้อมูลเพิ่มเติมเกี่ยวกับการพัฒนา Vision Pro ได้ใน วิดีโอ WWDC23 ของ Apple (เลือกตัวกรอง → visionOS)

คำแนะนำของฉันสำหรับการออกแบบและพัฒนาผลิตภัณฑ์สำหรับ Vision Pro อยู่ข้างหน้า บทความนี้ประกอบด้วยภาพรวมพื้นฐานของแพลตฟอร์ม เครื่องมือ พอร์ตแอป การออกแบบผลิตภัณฑ์ทั่วไป การสร้างต้นแบบ การออกแบบเชิงรับรู้ คำแนะนำทางธุรกิจ และอื่นๆ

ขององค์กร

แอพบน visionOS นั้นจัดอยู่ใน 'ฉาก' ซึ่งได้แก่ Windows, Volumes และ Spaces

Windows เป็นเวอร์ชันเชิงพื้นที่ของสิ่งที่คุณเห็นในคอมพิวเตอร์ทั่วไป เป็นสี่เหลี่ยมที่มีขอบเขตของเนื้อหาที่ผู้ใช้ล้อมรอบ หน้าต่างเหล่านี้อาจเป็นหน้าต่างจากแอพต่างๆ หรือหลายหน้าต่างจากแอพเดียว

ปริมาณคือสิ่งต่างๆ เช่น วัตถุ 3 มิติ หรือฉากโต้ตอบขนาดเล็ก เช่นเดียวกับแผนที่ 3 มิติหรือเกมเล็กๆ ที่ลอยอยู่ตรงหน้าคุณแทนที่จะดื่มด่ำอย่างเต็มที่

Spaces เป็นประสบการณ์ที่ดื่มด่ำอย่างเต็มที่โดยมองเห็นเพียงแอปเดียว นั่นอาจเต็มไปด้วย Windows และ Volumes มากมายจากแอปของคุณ หรือชอบเกม VR ที่ระบบหายไปและเนื้อหาทั้งหมดที่อยู่รอบตัวคุณ คุณอาจคิดว่า visionOS เป็นเหมือนพื้นที่ที่ใช้ร่วมกันซึ่งแอปต่างๆ อยู่ร่วมกันและคุณควบคุมได้น้อยลง ในขณะที่ Full Spaces ให้คุณควบคุมและดื่มด่ำได้มากที่สุด แต่ไม่ได้อยู่ร่วมกับแอปอื่นๆ Spaces มีสไตล์ที่ดื่มด่ำ: ผสมผสาน ก้าวหน้า และเต็มรูปแบบ ซึ่งกำหนดว่าคุณต้องการให้ผู้ใช้เห็นโลกจริงมากหรือน้อยเพียงใด

การป้อนข้อมูลของผู้ใช้

ผู้ใช้สามารถดู UI และบีบนิ้วได้เหมือนกับวิดีโอสาธิตของ Apple Vision Pro แต่คุณยังสามารถเอื้อมมือไปแตะที่หน้าต่างได้โดยตรง เหมือนกับว่ามันเป็น iPad ที่ลอยอยู่จริงๆ หรือใช้แทร็คแพดบลูทูธหรือตัวควบคุมวิดีโอเกม คุณยังสามารถดูและพูดในแถบค้นหาได้อีกด้วย นอกจากนี้ยังมีการควบคุมการหยุดนิ่งสำหรับการป้อนข้อมูลด้วยตาเท่านั้น แต่นั่นเป็นคุณสมบัติการเข้าถึงจริงๆ สำหรับแนวทางการพัฒนาแบบง่ายๆ แอปของคุณสามารถใช้เหตุการณ์เช่น TapGesture ได้ ในกรณีนี้ คุณไม่จำเป็นต้องกังวลว่าเหตุการณ์เหล่านี้เกิดขึ้นจากที่ใด

เสียงเชิงพื้นที่

Vision Pro มีระบบเสียงรอบทิศทางขั้นสูงที่ทำให้เสียงดูเหมือนอยู่ในห้องจริงๆ โดยพิจารณาจากขนาดและวัสดุในห้องของคุณ การใช้เสียงที่ละเอียดอ่อนสำหรับการโต้ตอบกับ UI และการใช้ประโยชน์จากการออกแบบเสียงเพื่อประสบการณ์ที่ดื่มด่ำจะมีความสำคัญอย่างยิ่ง อย่าลืมใช้หัวข้อนี้อย่างจริงจัง

พัฒนาการ

หากคุณต้องการสร้างบางสิ่งที่ทำงานระหว่าง Vision Pro, iPad และ iOS คุณจะต้องดำเนินการภายในระบบนิเวศของ Apple dev โดยใช้เครื่องมือเช่น XCode และ SwiftUI อย่างไรก็ตาม หากเป้าหมายของคุณคือการสร้างประสบการณ์ VR ที่ชวนดื่มด่ำอย่างเต็มที่สำหรับ Vision Pro ซึ่งใช้งานได้กับชุดหูฟังอื่นๆ เช่น Meta's Quest หรือ PlayStation VR คุณต้องใช้ Unity

เครื่องมือของ Apple

สำหรับระบบนิเวศของ Apple คุณจะใช้ SwiftUI เพื่อสร้าง UI ที่ผู้ใช้เห็นและเนื้อหาโดยรวมของแอปของคุณ RealityKit เป็นเอ็นจิ้นการเรนเดอร์ 3 มิติที่จัดการกับวัสดุ วัตถุ 3 มิติ และการจำลองแสง คุณจะใช้ ARKit เพื่อทำความเข้าใจฉากขั้นสูง เช่น ถ้าคุณต้องการให้ใครสักคนขว้างปาลูกดอกเสมือนจริงและให้มันชนกับกำแพงจริง หรือทำสิ่งขั้นสูงด้วยการติดตามด้วยมือ แต่คุณสมบัติ AR ที่สมบูรณ์เหล่านั้นมีให้ใช้งานใน Full Spaces เท่านั้น นอกจากนี้ยังมี Reality Composer Pro ซึ่งเป็นโปรแกรมแก้ไขเนื้อหา 3 มิติที่ให้คุณลากสิ่งต่าง ๆ ไปรอบ ๆ ฉาก 3 มิติและสร้าง Spaces หรือ Volumes ที่มีสื่อสมบูรณ์ มันเหมือนกับการไดเอท-ยูนิตี้ที่สร้างขึ้นมาโดยเฉพาะสำหรับสแต็คการพัฒนานี้

สิ่งที่ยอดเยี่ยมอย่างหนึ่งของ Reality Composer คือมันเต็มไปด้วยเนื้อหา วัสดุ และแอนิเมชั่นอยู่แล้ว ซึ่งช่วยให้นักพัฒนาที่ไม่ใช่ศิลปินสามารถสร้างบางสิ่งได้อย่างรวดเร็วและควรช่วยสร้างรูปลักษณ์และความรู้สึกที่เป็นหนึ่งเดียวให้กับทุกสิ่งที่สร้างขึ้นด้วยเครื่องมือนี้ ข้อดีและข้อเสียของการตัดสินใจผลิตภัณฑ์นั้น แต่โดยรวมแล้วน่าจะมีประโยชน์

แอป iOS ที่มีอยู่

หากคุณกำลังนำแอป iPad หรือ iOS มาใช้งาน แอปนั้นอาจใช้งานได้โดยไม่ได้แก้ไขเป็นหน้าต่างในพื้นที่ที่ใช้ร่วมกัน หากแอปของคุณรองรับทั้ง iPad และ iPhone ชุดหูฟังจะใช้เวอร์ชัน iPad

หากต้องการปรับแต่งแอป iOS ที่มีอยู่ของคุณให้ใช้ประโยชน์จากชุดหูฟังได้ดียิ่งขึ้น คุณสามารถใช้ Ornament API เพื่อสร้างเกาะลอยเล็กๆ ของ UI ข้างหน้าหรือนอกเหนือจากแอปของคุณ เพื่อให้รู้สึกว่ามีพื้นที่มากขึ้น แดกดัน หากแอปของคุณใช้คุณลักษณะ ARKit จำนวนมาก คุณอาจต้อง 'จินตนาการใหม่' อย่างมากเพื่อใช้งาน Vision Pro เนื่องจาก ARKit ได้รับการอัปเกรดมากสำหรับชุดหูฟัง

หากคุณตื่นเต้นกับการสร้างสิ่งใหม่ๆ สำหรับ Vision Pro ความเห็นส่วนตัวของฉันคือคุณควรจัดลำดับความสำคัญว่าแอปของคุณจะให้คุณค่ากับ iPad และ iOS ได้อย่างไร มิฉะนั้น คุณจะสูญเสียผู้ใช้หลายร้อยล้านคน

เอกภาพ

คุณสามารถสร้าง Vision Pro ด้วยเอนจิ้นเกม Unity ซึ่งเป็นหัวข้อใหญ่ อีกครั้ง คุณต้องใช้ Unity หากคุณกำลังสร้าง Vision Pro รวมถึงชุดหูฟัง Meta เช่น Quest หรือ PSVR 2

Unity รองรับการสร้าง Bounded Volumes สำหรับพื้นที่ที่ใช้ร่วมกันซึ่งมีอยู่ควบคู่ไปกับเนื้อหาดั้งเดิมของ Vision Pro และ Unbounded Volumes สำหรับเนื้อหาที่สมจริงซึ่งอาจใช้ประโยชน์จากคุณสมบัติ AR ขั้นสูง สุดท้าย คุณสามารถสร้างแอปที่เหมือน VR ได้มากขึ้น ซึ่งช่วยให้คุณควบคุมการเรนเดอร์ได้มากขึ้น แต่ดูเหมือนว่าจะขาดการสนับสนุนสำหรับความเข้าใจในฉากของ ARKit เช่น การตรวจจับเครื่องบิน แนวทางปริมาณช่วยให้ RealityKit ควบคุมการเรนเดอร์ได้มากขึ้น ดังนั้นคุณต้องใช้เครื่องมือ PolySpatial ของ Unity เพื่อแปลงวัสดุ เฉดสี และคุณสมบัติอื่นๆ

การรองรับ Unity สำหรับ Vision Pro รวมถึงการโต้ตอบมากมายที่คุณคาดว่าจะเห็นใน VR เช่น การเทเลพอร์ตไปยังตำแหน่งใหม่หรือหยิบและขว้างวัตถุเสมือนจริง

การออกแบบผลิตภัณฑ์

คุณสามารถสร้างแอปที่เหมือน iPad ที่แสดงเป็นหน้าต่างลอย ใช้การโต้ตอบเริ่มต้น และเรียกมันว่าวัน แต่อย่างที่ฉันได้กล่าวไปข้างต้น เนื้อหาสามารถมีอยู่ในขอบเขตกว้างๆ ของการดื่มด่ำ สถานที่ และใช้อินพุตที่หลากหลาย ดังนั้นช่วงของความเป็นไปได้เชิงผสมจึงล้นหลาม

หากคุณยังไม่ได้ใช้เวลา 100 ชั่วโมงใน VR ให้รีบทำภารกิจ 2 หรือ 3 ให้เร็วที่สุดและลองทำทุกอย่าง ไม่ว่าคุณจะเป็นนักออกแบบ ผู้จัดการผลิตภัณฑ์ หรือซีอีโอ คุณต้องได้รับภารกิจและใช้เวลา 100 ชั่วโมงใน VR เพื่อเริ่มเข้าใจภาษาของแอปเชิงพื้นที่

ฉันขอแนะนำให้เช็คเอาท์ ห้องปฏิบัติการฟิสิกส์มือ เป็นจุดเริ่มต้นและภาพรวมเพื่อทำความเข้าใจการโต้ตอบโดยตรง มีหลายสิ่งที่ละเอียดอ่อนที่พวกเขาทำซึ่งทำให้วัตถุเสมือนจริงมีความรู้สึกทางกายภาพ และ ยูทูบ วีอาร์ แอปที่เปิดตัวในปี 2019 มีลักษณะและความรู้สึกที่ค่อนข้างคล้ายกับแอป visionOS พื้นฐาน มันคุ้มค่าที่จะลองดู

จดบันทึกสิ่งที่ได้ผลและสิ่งที่ไม่ได้ผล

ถามตัวเองว่า: 'การออกแบบแอปใดที่สะดวกสบายหรือทำให้เมื่อยล้า', 'แอปใดใช้เวลาสนุกหรือให้คุณค่าได้เร็วที่สุด', 'อะไรที่ทำให้สับสนและสิ่งใดใช้งานง่าย', 'ประสบการณ์ใดที่คุณอยากรบกวนให้ทำมากกว่านี้ มากกว่าหนึ่งครั้ง' ซื่อสัตย์อย่างไร้ความปราณี เรียนรู้จากสิ่งที่ได้ทดลองมาให้มากที่สุด

คำแนะนำการออกแบบทั่วไป

ฉันขอแนะนำกระบวนการคิดการออกแบบสไตล์ IDEO อย่างยิ่ง ซึ่งใช้ได้กับการคำนวณเชิงพื้นที่ด้วย คุณควรลองดูถ้าคุณไม่คุ้นเคย มี ชุดออกแบบ ด้วยทรัพยากรและ วิดีโอนี้ ซึ่งในขณะที่ลงวันที่เป็นตัวอย่างที่ดีของกระบวนการ

เส้นทางสู่การคำนวณเชิงพื้นที่เป็นสุสานของแนวคิดยูโทเปียที่ล้มเหลว ผู้คนมักจะใช้เวลานานมากในการสร้างวิธีแก้ปัญหาที่ยิ่งใหญ่สำหรับปัญหาในจินตนาการของผู้ใช้ในจินตนาการ ฟังดูชัดเจน แต่คุณควรพยายามสร้างบางสิ่งให้เร็วที่สุดเท่าที่จะเป็นไปได้เพื่อเติมเต็มความต้องการที่แท้จริงของมนุษย์ จากนั้นปรับปรุงซ้ำแล้วซ้ำเล่าจากตรงนั้น

ดำเนินการต่อในหน้า 2: รูปแบบเชิงพื้นที่และการโต้ตอบ »

ประทับเวลา:

เพิ่มเติมจาก ถนนสู่ VR