Deze technologie kan de echte wereld in levende kunst veranderen

Onderzoekers kunnen een afbeelding nemen en deze als referentiepunt gebruiken om een ​​virtuele wereld, object of persoon te creëren.

Terwijl bedrijven onderzoeken of ze een metaverse aanwezigheid hebben via een digitale tweeling, zal de mogelijkheid om snel en eenvoudig gestileerde 3D-inhoud en virtuele werelden te bouwen alleen maar belangrijker worden in de toekomst.

Een recent gepubliceerd Cornell University paper onderzocht deze groeiende trend en ontwikkelde een oplossing voor het produceren van gestileerde neurale stralingsvelden (SNeRF's) die kunnen worden gebruikt om een ​​breed scala aan dynamische virtuele scènes te creëren met hogere snelheden dan traditionele methoden.

Met behulp van verschillende referentiebeelden heeft het onderzoeksteam van Do Nguyen-Phuoc, Feng Liu en Lei Xiao waren in staat om gestileerde 3D-scènes te genereren die in verschillende virtuele omgevingen konden worden gebruikt. Stel je bijvoorbeeld voor dat je een VR-headset opzet en ziet hoe de echte wereld eruit zou zien door een gestileerde lens zoals een schilderij van Pablo Picasso.

Met dit proces kan het team niet alleen snel virtuele objecten maken, maar ook hun echte omgeving gebruiken als onderdeel van de virtuele wereld met 3D-objectdetectie. 

Het is belangrijk op te merken dat het onderzoeksteam hetzelfde object ook via verschillende kijkrichtingen op hetzelfde gezichtspunt kon observeren, ook wel cross-view-consistentie genoemd. Dit creëert een meeslepend 3D-effect wanneer bekeken in VR.

Door de NeRF- en stileringsoptimalisatiestappen af ​​te wisselen, kon het onderzoeksteam een ​​afbeelding nemen en deze als referentiestijl gebruiken om vervolgens een echte omgeving, object of persoon opnieuw te creëren op een manier die de stilering van die afbeelding aanpast, waardoor het creatieproces versnellen.

"We introduceren een nieuwe trainingsmethode om dit probleem aan te pakken door de optimalisatiestappen voor NeRF en stilering af te wisselen", zei het team. “Een dergelijke methode stelt ons in staat volledig gebruik te maken van onze hardwaregeheugencapaciteit om zowel afbeeldingen met een hogere resolutie te genereren als meer expressieve overdrachtsmethoden voor beeldstijlen toe te passen. Onze experimenten laten zien dat onze methode gestileerde NeRF's produceert voor een breed scala aan inhoud, waaronder binnen-, buiten- en dynamische scènes, en hoogwaardige nieuwe weergaven synthetiseert met consistentie over de verschillende weergaven."

Vanwege de geheugenbeperkingen van NeRF moesten de onderzoekers ook een ander probleem oplossen: hoe ze meer hi-def 3D-beelden konden maken met een snelheid die meer als realtime aanvoelde. De oplossing was om een ​​lus van gerenderde weergaven te creëren die bij elke iteratie in staat waren om stileringspunten consistenter te targeten bij elke passage en vervolgens de afbeelding met meer detail opnieuw op te bouwen. 

De technologie verbeterde ook avatars. Dankzij de gestileerde SNeRF-aanpak van het onderzoeksteam konden ze een avatar creëren die expressiever was tijdens gesprekken. Het resultaat zijn dynamische 4D-avatars die emoties zoals woede, angst, opwinding en verwarring realistisch kunnen overbrengen, allemaal zonder een emoji te gebruiken of op een knop op een VR-controller te drukken.

Het onderzoekswerk gaat nog steeds door, maar op dit moment was het team in staat om een ​​methode te ontwikkelen voor 3D-scènestilering met behulp van impliciete neurale representaties die hun omgeving en hun avatars beïnvloedden. Bovendien konden ze dankzij hun benadering van het gebruik van een afwisselende stileringsmethode profiteren van het volledige gebruik van hun hardwaregeheugen om zowel statische als dynamische 3D-scènes te stileren, waardoor het team afbeeldingen met een hogere resolutie kon genereren en een expressievere overdracht van de beeldstijl kon toepassen. methoden in VR. 

Als je diep in de details wilt graven, kun je hun rapport openen hier.

Afbeelding tegoed: Cornell University