Tech Demo แสดงพลังที่แท้จริงของ Quest Pro Face Tracking

ความสามารถในการติดตามใบหน้าของ Quest Pro จะถูกนำไปใช้อย่างรวดเร็วเพื่อทำให้อวาตาร์ของ Meta แสดงออกมากขึ้น แต่อวาตาร์รุ่นต่อไปจะได้รับประโยชน์มากขึ้นจากเทคโนโลยีใหม่นี้

คุณลักษณะใหม่ที่สำคัญอย่างหนึ่งของ Quest Pro คือระบบติดตามใบหน้าที่ใช้กล้องภายในเพื่อรับรู้การเคลื่อนไหวของดวงตาและบางส่วนของใบหน้าของคุณ เมื่อรวมกับโมเดลแมชชีนเลิร์นนิงที่ไม่ต้องสอบเทียบ ชุดหูฟังจะนำสิ่งที่เห็นและเปลี่ยนเป็นอินพุตที่สามารถขับเคลื่อนแอนิเมชันของอวาตาร์ใดก็ได้

ความครอบคลุมของ Key Quest Pro:

Quest Pro เปิดเผย – สเป็คเต็ม, ราคา, และวันวางจำหน่าย

Quest Pro Hands-on – รุ่งอรุณแห่งยุคอุปกรณ์สวมศีรษะความเป็นจริงผสม

การวิเคราะห์ทางเทคนิค Quest Pro – อะไรมีแนวโน้ม & อะไรที่ไม่ใช่

เปิดเผยคอนโทรลเลอร์ Touch Pro - เข้ากันได้กับ Quest 2

ในระยะเวลาอันใกล้ สิ่งนี้จะถูกนำไปใช้กับอวาตาร์ที่มีอยู่ของ Meta และในขณะที่มันทำให้พวกเขาแสดงออกมากขึ้นอย่างแน่นอน แต่ก็ยังดูค่อนข้างโง่เขลา

นี่น่าจะเป็นผลมาจากระบบ Meta avatar ปัจจุบันไม่ได้ถูกสร้างขึ้นโดยคำนึงถึงการติดตามใบหน้าในระดับนี้ 'rigging'—เฟรมเวิร์กแอนิเมชั่นพื้นฐานของโมเดล—ดูไม่เหมาะกับงานนัก อินพุตการติดตามใบหน้าของ Grafting Quest Pro เข้าสู่ระบบปัจจุบันไม่ได้ให้ความยุติธรรมกับสิ่งที่สามารถทำได้จริงๆ

โชคดีที่ Meta ได้สร้างการสาธิตเทคโนโลยีซึ่งแสดงให้เห็นว่าเป็นไปได้อย่างไรเมื่ออวาตาร์ได้รับการออกแบบโดยคำนึงถึงการติดตามใบหน้าของ Quest Pro (และเมื่อพลังการประมวลผลเกือบทั้งหมดของชุดหูฟังทุ่มเทให้กับการเรนเดอร์)

[เนื้อหาฝัง]

ใช่ มันยังสั่นอยู่บ้าง แต่ทุกการเคลื่อนไหวที่คุณเห็นที่นี่ ถูกขับเคลื่อนโดยผู้ใช้ที่ทำการเคลื่อนไหวแบบเดียวกัน ซึ่งรวมถึงสิ่งต่างๆ เช่น พองแก้มหรือขยับปากจากด้านหนึ่งไปอีกด้านหนึ่ง โดยรวมแล้วมันเป็นการแสดงใบหน้าที่สมบูรณ์กว่ามากซึ่งฉันเถียงว่าพยายามหลีกเลี่ยงการเข้าไปในหุบเขาลึกลับ

ฉันต้องลองเดโมนี้ด้วยตัวเองใน ภาคปฏิบัติล่าสุดกับ Quest Pro ที่ฉันมองเข้าไปในกระจกและปรากฏเป็นตัวละครตัวนี้ (ซึ่ง Meta เรียกว่า Aura) ฉันประทับใจมากที่แม้จะไม่มีการปรับเทียบพิเศษ ใบหน้าที่ฉันเห็นในกระจกก็ดูเหมือนจะเลียนแบบท่าทางใดๆ ที่ฉันคิดจะทำกับใบหน้า

ฉันถูกดึงดูดโดยเฉพาะอย่างยิ่งไปที่รายละเอียดในผิวหนัง ถ้าฉันเหล่และย่นจมูก ฉันก็สามารถเห็นผิวหนังรอบๆ ตัวมันรวมกันเป็นก้อนเหมือนจริง และสิ่งเดียวกันเมื่อฉันเลิกคิ้ว รายละเอียดเล็กๆ น้อยๆ เหล่านี้ เช่น รอยพับที่แก้มที่ขยับไปกับปาก ช่วยเพิ่มความประทับใจได้มากจริงๆ ว่านี่ไม่ใช่แค่วัตถุที่อยู่ตรงหน้าฉัน แต่เป็นบางสิ่งที่มีชีวิตอยู่เบื้องหลัง

ไม่ว่านิพจน์จะดูเหมือนจริงหรือไม่ me เมื่อฉันเป็นผู้อยู่เบื้องหลังหน้ากากก็เป็นอีกคำถามหนึ่ง เนื่องจากใบหน้าของอวาตาร์นี้ไม่ตรงกับของฉัน จึงพูดยากจริงๆ แต่การเคลื่อนไหวนั้นอย่างน้อย เป็นไปได้จริง เป็นก้าวแรกที่สำคัญในการสร้างอวาตาร์เสมือนจริงที่ให้ความรู้สึกเป็นธรรมชาติและน่าเชื่อ

Meta กล่าวว่าจะปล่อยตัวอย่าง Aura เป็นโครงการโอเพ่นซอร์สเพื่อให้นักพัฒนาสามารถดูว่าพวกเขาได้แนบอินพุตการติดตามใบหน้าเข้ากับอวตารอย่างไร บริษัท ยังกล่าวอีกว่านักพัฒนาจะสามารถใช้ชุดเครื่องมือชุดเดียวในการขับอวตารมนุษย์หรืออวาตาร์ที่ไม่ใช่มนุษย์ เช่น สัตว์หรือสัตว์ประหลาด โดยไม่ต้องปรับแต่งทุกอวาตาร์

Meta กล่าวว่านักพัฒนาจะสามารถแตะ API การติดตามใบหน้าที่ใช้ค่าที่สอดคล้องกับ FACS ซึ่งเป็นระบบที่รู้จักกันดีในการอธิบายการเคลื่อนไหวของกล้ามเนื้อต่างๆ ในใบหน้ามนุษย์

นี่เป็นระบบที่มีประสิทธิภาพไม่เพียง แต่สำหรับการแสดงใบหน้าเท่านั้น แต่ยังสร้างอุปสรรคด้านความเป็นส่วนตัวที่เป็นประโยชน์สำหรับผู้ใช้อีกด้วย ตาม Meta นักพัฒนาไม่สามารถเข้าถึงภาพดิบของใบหน้าของผู้ใช้ได้ Insead พวกเขาได้รับ "ชุดค่าศูนย์ต่อหนึ่งที่สอดคล้องกับชุดของการเคลื่อนไหวของใบหน้าทั่วไป เช่นเมื่อคุณขยี้จมูกหรือขมวดคิ้ว" Meta กล่าว “สัญญาณเหล่านี้ทำให้นักพัฒนาสามารถรักษาความหมายเชิงความหมายของการเคลื่อนไหวดั้งเดิมของผู้เล่นได้อย่างง่ายดายเมื่อทำแผนที่สัญญาณจาก Face Tracking API ไปยังอุปกรณ์ตัวละครของพวกเขาเอง ไม่ว่าตัวละครของพวกเขาจะเป็นแบบมนุษย์หรืออะไรที่แปลกประหลาดกว่านั้น”

Meta อ้างว่าแม้แต่บริษัทเองก็ไม่สามารถมองเห็นภาพที่ถ่ายโดยกล้องของชุดหูฟังได้ ทั้งภายในและภายนอก พวกเขาจะถูกประมวลผลบนชุดหูฟังแล้วลบทันทีตามที่บริษัทกำหนด โดยไม่เคยถูกส่งไปยังระบบคลาวด์หรือนักพัฒนาเลย