टेक डेमो क्वेस्ट प्रो फेस ट्रैकिंग की वास्तविक शक्ति दिखाता है

मेटा के अवतारों को अधिक अभिव्यंजक बनाने के लिए क्वेस्ट प्रो की फेस-ट्रैकिंग क्षमताओं का शीघ्रता से उपयोग किया जाएगा, लेकिन अगली पीढ़ी के अवतार नई तकनीक से बहुत अधिक लाभान्वित होंगे।

क्वेस्ट प्रो की बड़ी नई विशेषताओं में से एक फेस-ट्रैकिंग सिस्टम है जो आपकी आंखों और आपके चेहरे के कुछ हिस्सों की गति को समझने के लिए आंतरिक कैमरों का उपयोग करता है। कैलिब्रेशन-मुक्त मशीन लर्निंग मॉडल के साथ, हेडसेट जो देखता है उसे लेता है और इसे इनपुट में बदल देता है जो किसी भी अवतार के एनीमेशन को चला सकता है।

कुंजी क्वेस्ट प्रो कवरेज:

क्वेस्ट प्रो से पता चला - पूर्ण चश्मा, मूल्य और रिलीज की तारीख

क्वेस्ट प्रो हैंड्स-ऑन - द डॉन ऑफ़ द मिक्स्ड रियलिटी हेडसेट युग

क्वेस्ट प्रो तकनीकी विश्लेषण - क्या आशाजनक है और क्या नहीं

टच प्रो कंट्रोलर्स से पता चला - क्वेस्ट 2 के साथ भी संगत

निकट भविष्य में, इसे मेटा के मौजूदा अवतारों के साथ प्रयोग में लाया जाएगा। और जबकि यह निश्चित रूप से उन्हें अधिक अभिव्यंजक बनाता है, फिर भी वे कुछ नासमझ दिखते हैं।

यह वर्तमान मेटा अवतार सिस्टम का परिणाम है जो इस स्तर के फेस-ट्रैकिंग को ध्यान में रखकर नहीं बनाया जा रहा है। 'धांधली' - मॉडल का अंतर्निहित एनीमेशन ढांचा - कार्य के लिए बिल्कुल उपयुक्त नहीं लगता है। मौजूदा सिस्टम पर क्वेस्ट प्रो के फेस-ट्रैकिंग इनपुट का ग्राफ्टिंग वास्तव में उस चीज के साथ न्याय नहीं कर रहा है जो वास्तव में सक्षम है।

सौभाग्य से मेटा ने एक तकनीकी डेमो बनाया है जो दिखाता है कि क्या संभव है जब एक अवतार को क्वेस्ट प्रो के फेस-ट्रैकिंग को ध्यान में रखकर बनाया गया है (और जब हेडसेट की लगभग सभी प्रसंस्करण शक्ति इसे प्रस्तुत करने के लिए समर्पित है)।

[एम्बेडेड सामग्री]

हां, यह अभी भी थोड़ा अस्थिर है, लेकिन आप यहां जो भी हरकत देख रहे हैं, वह उपयोगकर्ता द्वारा समान गतियों से प्रेरित किया जा रहा है, जिसमें गालों को फुलाना या मुंह को एक तरफ से दूसरी तरफ ले जाना शामिल है। कुल मिलाकर यह एक ऐसे चेहरे का अधिक पूर्ण प्रतिनिधित्व है जिसके बारे में मैं तर्क दूंगा कि वह अलौकिक घाटी में प्रवेश करने से बचता है।

मुझे अपने लिए इस डेमो को my . में आज़माना है हाल ही में क्वेस्ट प्रो के साथ हाथ मिलाना जहां मैंने आईने में देखा और इस चरित्र के रूप में दिखाई दिया (जिसे मेटा ऑरा कहता है)। मैं वास्तव में प्रभावित होकर आया था, यहां तक ​​​​कि बिना किसी विशेष अंशांकन के, मैंने आईने में जो चेहरा देखा था, वह मेरे चेहरे के साथ जो भी गति बनाने के बारे में सोच सकता था, उसकी नकल कर रहा था।

मैं विशेष रूप से त्वचा में विस्तार के लिए तैयार था। अगर मैं अपनी नाक को निचोड़ता और निचोड़ता तो मैं देख सकता था कि उसके चारों ओर की त्वचा वास्तविक रूप से गुदगुदी हुई है, और वही चीज़ जब मैंने अपनी भौंह को ऊपर उठाया। ये सूक्ष्म विवरण, जैसे गालों में क्रीज मुंह से चलती है, वास्तव में इस धारणा में बहुत कुछ जोड़ती है कि यह सिर्फ मेरे सामने एक वस्तु नहीं है, बल्कि कुछ ऐसा है जिसके पीछे एक जीवित प्राणी है।

भाव वास्तव में दिखते हैं या नहीं me जब मैं नकाब के पीछे हूँ एक और सवाल है। चूंकि इस अवतार का चेहरा मुझसे मेल नहीं खाता, इसलिए यह कहना मुश्किल है। लेकिन यह कि आंदोलन कम से कम प्रशंसनीय यथार्थवादी आभासी अवतारों की ओर पहला महत्वपूर्ण कदम है जो स्वाभाविक और विश्वसनीय लगता है।

मेटा का कहना है कि यह ऑरा डेमो को एक ओपन सोर्स प्रोजेक्ट के रूप में जारी करेगा ताकि डेवलपर्स देख सकें कि उन्होंने अवतार में फेस-ट्रैकिंग इनपुट कैसे संलग्न किया है। कंपनी का यह भी कहना है कि डेवलपर्स ह्यूमनॉइड अवतार या जानवरों या राक्षसों जैसे गैर-मानव अवतारों को चलाने के लिए एकल टूलसेट का उपयोग करने में सक्षम होंगे, बिना प्रत्येक अवतार को व्यक्तिगत रूप से बदलने की आवश्यकता होगी।

मेटा का कहना है कि डेवलपर्स एक फेस-ट्रैकिंग एपीआई को टैप करने में सक्षम होंगे जो एफएसीएस के अनुरूप मूल्यों का उपयोग करता है, जो मानव चेहरे में विभिन्न मांसपेशियों की गति का वर्णन करने के लिए एक अच्छी तरह से मान्यता प्राप्त प्रणाली है।

यह न केवल चेहरों का प्रतिनिधित्व करने के लिए एक प्रभावी प्रणाली है, बल्कि यह उपयोगकर्ताओं के लिए एक उपयोगी गोपनीयता बाधा भी बनाती है। मेटा के अनुसार, डेवलपर्स वास्तव में उपयोगकर्ता के चेहरे की कच्ची छवियों तक पहुंच नहीं पा सकते हैं। इसके अंदर उन्हें "शून्य-से-एक मूल्यों की एक श्रृंखला मिलती है जो सामान्य चेहरे की गतिविधियों के एक सेट से मेल खाती है, जैसे कि जब आप अपनी नाक को खरोंचते हैं या अपनी भौहें घुमाते हैं," मेटा कहते हैं। "ये संकेत एक डेवलपर के लिए खिलाड़ी के मूल आंदोलन के अर्थ अर्थ को संरक्षित करना आसान बनाते हैं, जब फेस ट्रैकिंग एपीआई से अपने स्वयं के चरित्र रिग में संकेतों की मैपिंग करते हैं, चाहे उनका चरित्र ह्यूमनॉइड हो या कुछ अधिक काल्पनिक हो।"

मेटा का दावा है कि कंपनी खुद भी हेडसेट के कैमरों द्वारा खींची गई छवियों को आंतरिक या बाहरी नहीं देख सकती है। उन्हें हेडसेट पर संसाधित किया जाता है और फिर तुरंत हटा दिया जाता है, कंपनी के अनुसार, कभी भी क्लाउड या डेवलपर्स को भेजे बिना।