Diese Technologie kann die reale Welt in lebendige Kunst verwandeln

Forscher können ein Bild aufnehmen und es als Bezugspunkt verwenden, um eine virtuelle Welt, ein Objekt oder eine Person zu erstellen.

Da Unternehmen eine Metaverse-Präsenz durch einen digitalen Zwilling erwägen, wird die Fähigkeit, schnell und einfach stilisierte 3D-Inhalte und virtuelle Welten aufzubauen, in Zukunft immer wichtiger.

Μία πρόσφατα δημοσιευμένη Cornell University paper untersuchte diesen wachsenden Trend und entwickelte eine Lösung zur Erzeugung stilisierter neuraler Strahlungsfelder (SNeRFs), die verwendet werden kann, um eine breite Palette dynamischer virtueller Szenen mit höherer Geschwindigkeit als mit herkömmlichen Methoden zu erstellen.

Anhand verschiedener Referenzbilder hat das Forschungsteam von Do Nguyen-Phuoc, Feng Liu und Lei Xiao konnten stilisierte 3D-Szenen generieren, die in einer Vielzahl von virtuellen Umgebungen verwendet werden konnten. Stellen Sie sich zum Beispiel vor, ein VR-Headset aufzusetzen und zu sehen, wie die reale Welt durch eine stilisierte Linse wie ein Gemälde von Pablo Picasso aussehen würde.

Dieser Prozess ermöglicht es dem Team, nicht nur schnell virtuelle Objekte zu erstellen, sondern auch ihre reale Umgebung als Teil der virtuellen Welt mit 3D-Objekterkennung zu nutzen. 

Es ist wichtig anzumerken, dass das Forschungsteam auch in der Lage war, dasselbe Objekt aus verschiedenen Blickrichtungen am selben Blickwinkel zu beobachten, was auch als Cross-View-Konsistenz bezeichnet wird. Dadurch entsteht bei der Betrachtung in VR ein immersiver 3D-Effekt.

Durch Abwechseln der NeRF- und Stilisierungsoptimierungsschritte war das Forschungsteam in der Lage, ein Bild zu nehmen und es als Referenzstil zu verwenden, um dann eine reale Umgebung, ein Objekt oder eine Person so nachzubilden, dass die Stilisierung dieses Bildes angepasst wird Beschleunigung des Erstellungsprozesses.

„Wir führen eine neue Trainingsmethode ein, um dieses Problem anzugehen, indem wir die Schritte zur NeRF- und Stilisierungsoptimierung abwechseln“, sagte die Mannschaft. „Ein solches Verfahren ermöglicht es uns, unsere Hardware-Speicherkapazität voll auszunutzen, um sowohl Bilder mit höherer Auflösung zu erzeugen als auch ausdrucksstärkere Übertragungsmethoden für Bildstile anzuwenden. Unsere Experimente zeigen, dass unsere Methode stilisierte NeRFs für ein breites Spektrum an Inhalten erzeugt, darunter Innen-, Außen- und dynamische Szenen, und qualitativ hochwertige neuartige Ansichten mit Cross-View-Konsistenz synthetisiert.“

Aufgrund der Speicherbeschränkungen von NeRF mussten die Forscher auch ein weiteres Problem lösen, wie sie hochauflösendere 3D-Bilder mit einer Geschwindigkeit rendern konnten, die sich eher wie Echtzeit anfühlte. Die Lösung bestand darin, eine Schleife von gerenderten Ansichten zu erstellen, die mit jeder Iteration in der Lage war, Stilisierungspunkte bei jedem Durchlauf konsistenter anzuvisieren und dann das Bild mit mehr Details neu aufzubauen. 

Die Technologie verbesserte auch Avatare. Der stilisierte SNeRF-Ansatz des Forschungsteams ermöglichte es ihnen, einen Avatar zu erstellen, der bei Gesprächen ausdrucksstärker war. Das Ergebnis sind dynamische 4D-Avatare, die Emotionen wie Wut, Angst, Aufregung und Verwirrung realistisch vermitteln können, ohne dass ein Emoji verwendet oder eine Taste auf einem VR-Controller gedrückt werden muss.

Die Forschungsarbeit dauert noch an, aber im Moment war das Team in der Lage, eine Methode zur Stilisierung von 3D-Szenen zu entwickeln, die implizite neuronale Repräsentationen verwendet, die sich auf ihre Umgebung und ihre Avatare auswirken. Darüber hinaus ermöglichte ihr Ansatz, eine alternierende Stilisierungsmethode zu verwenden, die volle Nutzung ihrer Hardwarespeicherkapazität, um sowohl statische als auch dynamische 3D-Szenen zu stilisieren, sodass das Team Bilder mit höherer Auflösung erzeugen und eine ausdrucksstärkere Bildstilübertragung vornehmen konnte Methoden in VR. 

Wenn Sie daran interessiert sind, tief in die Details einzutauchen, können Sie auf ihren Bericht zugreifen hier.

Bildnachweis: Cornell University