Bu Teknoloji Gerçek Dünyayı Yaşayan Sanata Dönüştürebilir

Araştırmacılar bir görüntü alabilir ve onu sanal bir dünya, nesne veya kişi yaratmak için referans noktası olarak kullanabilirler.

Şirketler bir dijital ikiz aracılığıyla metaverse varlığına sahip olmayı keşfettikçe, stilize edilmiş 3D içeriği ve sanal dünyaları hızlı ve kolay bir şekilde oluşturma yeteneği yalnızca ileriye doğru daha önemli hale gelecektir.

Son zamanlarda yayınlanan Cornell University kağıt bu büyüyen eğilimi araştırdı ve geleneksel yöntemlerden daha yüksek hızlarda çok çeşitli dinamik sanal sahneler oluşturmak için kullanılabilecek stilize nöral parlaklık alanları (SNeRF'ler) üretmek için bir çözüm geliştirdi.

Araştırma ekibi, çeşitli referans görüntüleri kullanarak Per Nguyen-Phuoc, Feng Liu, ve Lei Xiao çeşitli sanal ortamlarda kullanılabilecek stilize 3B sahneler oluşturabildiler. Örneğin, bir VR gözlüğü taktığınızı ve gerçek dünyanın Pablo Picasso tablosu gibi stilize edilmiş bir mercekten nasıl görüneceğini gördüğünüzü hayal edin.

Bu süreç, ekibin yalnızca hızlı bir şekilde sanal nesneler oluşturmasını değil, aynı zamanda 3D nesne algılama ile sanal dünyanın bir parçası olarak gerçek dünya ortamlarını kullanmasını sağlar. 

Araştırma ekibinin aynı nesneyi aynı bakış açısında farklı bakış yönleriyle gözlemleyebildiğini, aksi takdirde çapraz bakış tutarlılığı olarak da bilindiğini belirtmek önemlidir. Bu, VR'de görüntülendiğinde sürükleyici bir 3D efekti yaratır.

Araştırma ekibi, NeRF ve stilizasyon optimizasyon adımlarını değiştirerek, bir görüntü alıp onu referans stili olarak kullanabildi ve ardından gerçek dünyadaki bir ortamı, nesneyi veya kişiyi bu görüntünün stilizasyonunu uyarlayacak şekilde yeniden yarattı. oluşturma sürecini hızlandırır.

"NeRF ve stilizasyon optimizasyon adımlarını değiştirerek bu sorunu çözmek için yeni bir eğitim yöntemi sunuyoruz." dedi ekip. “Böyle bir yöntem, hem daha yüksek çözünürlükte görüntüler oluşturmak hem de daha etkileyici görüntü stili aktarım yöntemlerini benimsemek için donanım belleği kapasitemizi tam olarak kullanmamızı sağlıyor. Deneylerimiz, yöntemimizin iç mekan, dış mekan ve dinamik sahneler dahil olmak üzere geniş bir içerik yelpazesi için stilize edilmiş NeRF'ler ürettiğini ve çapraz görünüm tutarlılığı ile yüksek kaliteli yeni görünümleri sentezlediğini gösteriyor."

NeRF'nin bellek sınırlamaları nedeniyle, araştırmacılar daha çok gerçek zamanlı gibi hissettiren bir hızda daha yüksek tanımlı 3D görüntüleri nasıl oluşturabileceklerine dair başka bir sorunu da çözmek zorunda kaldılar. Çözüm, her yinelemede stilizasyon noktalarını her geçişte daha tutarlı bir şekilde hedefleyebilen ve ardından görüntüyü daha ayrıntılı olarak yeniden oluşturabilen bir işlenmiş görünüm döngüsü oluşturmaktı. 

Teknoloji ayrıca avatarları da geliştirdi. Araştırma ekibinin SNeRF stilize yaklaşımı, konuşmalar sırasında daha anlamlı bir avatar oluşturmalarına izin verdi. Sonuç, öfke, korku, heyecan ve kafa karışıklığı gibi duyguları bir emoji kullanmak veya bir VR kontrol cihazında bir düğmeye basmak zorunda kalmadan gerçekçi bir şekilde aktarabilen dinamik 4D avatarlardır.

Araştırma çalışmaları hala devam ediyor, ancak şu anda ekip, çevrelerini ve avatarlarını etkileyen örtük sinirsel temsilleri kullanarak 3B sahne stilizasyonu için bir yöntem geliştirebildi. Ek olarak, alternatif bir stilizasyon yöntemi kullanma yaklaşımları, hem statik hem de dinamik 3D sahneleri stilize etmek için donanım belleği yeteneklerinin tam kullanımından yararlanmalarına olanak tanıyarak ekibin daha yüksek çözünürlükte görüntüler oluşturmasına ve daha etkileyici bir görüntü stili aktarımı benimsemesine olanak sağladı. VR'deki yöntemler. 

Ayrıntıların derinliklerine inmekle ilgileniyorsanız, raporlarına erişebilirsiniz. okuyun.

Resim Kredisi: Cornell Üniversitesi