يمكن لهذه التكنولوجيا أن تحول العالم الحقيقي إلى فن حي

يمكن للباحثين التقاط صورة واستخدامها كنقطة مرجعية لإنشاء عالم افتراضي أو كائن أو شخص.

بينما تستكشف الشركات وجود تواجد metaverse من خلال التوأم الرقمي ، فإن القدرة على إنشاء محتوى ثلاثي الأبعاد منمق وعوالم افتراضية بسرعة وسهولة ستصبح أكثر أهمية للمضي قدمًا.

نشرت مؤخرا جامعة كورنيل استكشفت الورقة هذا الاتجاه المتنامي وطوّرت حلاً لإنتاج حقول إشعاع عصبي منمنمة (SNeRFs) يمكن استخدامها لإنشاء مجموعة واسعة من المشاهد الافتراضية الديناميكية بسرعات أعلى من الطرق التقليدية.

باستخدام صور مرجعية مختلفة ، قام فريق البحث من ثو نجوين فوك, فنغ ليوو لي شياو كانت قادرة على إنشاء مشاهد ثلاثية الأبعاد منمقة يمكن استخدامها في مجموعة متنوعة من البيئات الافتراضية. على سبيل المثال ، تخيل ارتداء سماعة رأس VR ومشاهدة كيف سيبدو العالم الحقيقي من خلال عدسة منمقة مثل لوحة بابلو بيكاسو.

تسمح هذه العملية للفريق ليس فقط بإنشاء كائنات افتراضية بسرعة ولكن أيضًا الاستفادة من بيئتهم الواقعية كجزء من العالم الافتراضي مع اكتشاف الكائنات ثلاثية الأبعاد. 

من المهم ملاحظة أن فريق البحث كان قادرًا أيضًا على ملاحظة نفس الكائن عبر اتجاهات عرض مختلفة في نفس وجهة النظر ، والمعروف باسم تناسق العرض المتقاطع. يؤدي هذا إلى إنشاء تأثير ثلاثي الأبعاد غامر عند مشاهدته في الواقع الافتراضي.

من خلال تبديل NeRF وخطوات تحسين الأسلوب ، تمكن فريق البحث من التقاط صورة واستخدامها كأسلوب مرجعي لإعادة إنشاء بيئة أو كائن أو شخص في العالم الواقعي بطريقة تتكيف مع أسلوب تلك الصورة ، وبالتالي تسريع عملية الإنشاء.

"نقدم طريقة تدريب جديدة لمعالجة هذه المشكلة من خلال التبديل بين خطوات تحسين الأسلوب وتحسين الأسلوب NeRF" قال الفريق. "تمكننا هذه الطريقة من الاستفادة الكاملة من سعة ذاكرة الأجهزة الخاصة بنا لإنشاء صور بدقة أعلى واعتماد أساليب نقل نمط صورة أكثر تعبيراً. تُظهر تجاربنا أن طريقتنا تنتج NeRFs منمنمة لمجموعة واسعة من المحتوى ، بما في ذلك المشاهد الداخلية والخارجية والديناميكية ، وتوليف طرق عرض جديدة عالية الجودة مع تناسق العرض المتقاطع. "

نظرًا لقيود الذاكرة في NeRF ، كان على الباحثين أيضًا حل مشكلة أخرى تتعلق بكيفية عرض المزيد من الصور ثلاثية الأبعاد عالية الدقة بمعدل سرعة بدت أقرب إلى الوقت الفعلي. كان الحل هو إنشاء حلقة من العروض المقدمة والتي تمكنت مع كل تكرار من استهداف نقاط الأسلوب بشكل أكثر اتساقًا مع كل مرة ثم إعادة بناء الصورة بمزيد من التفاصيل. 

كما حسنت التكنولوجيا الصور الرمزية. سمح نهج فريق البحث SNeRF المصمم بأسلوب منمق لهم بإنشاء صورة رمزية تكون أكثر تعبيرًا أثناء المحادثات. والنتيجة هي تجسيدات ديناميكية رباعية الأبعاد يمكنها نقل المشاعر بشكل واقعي مثل الغضب والخوف والإثارة والارتباك ، كل ذلك دون الحاجة إلى استخدام رمز تعبيري أو الضغط على زر على وحدة تحكم الواقع الافتراضي.

لا يزال العمل البحثي مستمرًا ، ولكن في الوقت الحالي ، كان الفريق قادرًا على تطوير طريقة لأسلوب المشهد ثلاثي الأبعاد باستخدام التمثيلات العصبية الضمنية التي أثرت على بيئتهم وصورهم الرمزية. بالإضافة إلى ذلك ، سمح نهجهم في استخدام طريقة الأسلوب البديل لهم بالاستفادة من الاستخدام الكامل لقدرة ذاكرة الأجهزة الخاصة بهم لتصميم المشاهد ثلاثية الأبعاد الثابتة والديناميكية ، مما يسمح للفريق بإنشاء صور بدقة أعلى واعتماد نقل نمط صورة أكثر تعبيراً طرق في الواقع الافتراضي. 

إذا كنت مهتمًا بالتعمق في التفاصيل ، فيمكنك الوصول إلى تقريرهم هنا.

حقوق الصورة: جامعة كورنيل