Αυτή η τεχνολογία μπορεί να μετατρέψει τον πραγματικό κόσμο σε ζωντανή τέχνη

Οι ερευνητές μπορούν να τραβήξουν μια εικόνα και να τη χρησιμοποιήσουν ως σημείο αναφοράς για να δημιουργήσουν έναν εικονικό κόσμο, αντικείμενο ή άτομο.

Καθώς οι εταιρείες εξερευνούν την ύπαρξη μιας μετασύνδεσης παρουσίας μέσω ενός ψηφιακού δίδυμου, η δυνατότητα γρήγορης και εύκολης δημιουργίας στυλιζαρισμένου τρισδιάστατου περιεχομένου και εικονικών κόσμων θα γίνει πιο σημαντική προχωρώντας.

Πρόσφατα δημοσιευμένο Πανεπιστήμιο του Cornell Το χαρτί διερεύνησε αυτήν την αυξανόμενη τάση και ανέπτυξε μια λύση για την παραγωγή στυλιζαρισμένων πεδίων νευρικής ακτινοβολίας (SNeRFs) που μπορούν να χρησιμοποιηθούν για τη δημιουργία ενός ευρέος φάσματος δυναμικών εικονικών σκηνών με μεγαλύτερες ταχύτητες από τις παραδοσιακές μεθόδους.

Χρησιμοποιώντας διάφορες εικόνες αναφοράς, η ερευνητική ομάδα του Thu Nguyen-Phuoc, Φενγκ Λιου, να Λέι Σιάο μπόρεσαν να δημιουργήσουν στυλιζαρισμένες τρισδιάστατες σκηνές που θα μπορούσαν να χρησιμοποιηθούν σε διάφορα εικονικά περιβάλλοντα. Για παράδειγμα, φανταστείτε να φοράτε ένα σετ μικροφώνου-ακουστικού εικονικής πραγματικότητας και να βλέπετε πώς θα φαινόταν ο πραγματικός κόσμος μέσα από έναν στυλιζαρισμένο φακό, όπως ένας πίνακας του Πάμπλο Πικάσο.

Αυτή η διαδικασία επιτρέπει στην ομάδα όχι μόνο να δημιουργεί γρήγορα εικονικά αντικείμενα, αλλά να χρησιμοποιεί το πραγματικό περιβάλλον τους ως μέρος του εικονικού κόσμου με τρισδιάστατη ανίχνευση αντικειμένων. 

Είναι σημαντικό να σημειωθεί ότι η ερευνητική ομάδα μπόρεσε επίσης να παρατηρήσει το ίδιο αντικείμενο μέσω διαφορετικών κατευθύνσεων θέασης στην ίδια οπτική γωνία, αλλιώς γνωστή ως συνοχή διασταύρωσης. Αυτό δημιουργεί ένα καθηλωτικό εφέ 3D όταν προβάλλεται σε VR.

Με την εναλλαγή των βημάτων NeRF και βελτιστοποίησης στυλιζαρίσματος, η ερευνητική ομάδα μπόρεσε να τραβήξει μια εικόνα και να τη χρησιμοποιήσει ως στυλ αναφοράς για να αναδημιουργήσει στη συνέχεια ένα πραγματικό περιβάλλον, αντικείμενο ή άτομο με τρόπο που να προσαρμόζει τη στυλοποίηση αυτής της εικόνας. επιτάχυνση της διαδικασίας δημιουργίας.

"Εισάγουμε μια νέα μέθοδο εκπαίδευσης για την αντιμετώπιση αυτού του προβλήματος εναλλάσσοντας τα βήματα NeRF και βελτιστοποίησης στυλιζαρίσματος." είπε η ομάδα. «Μια τέτοια μέθοδος μας δίνει τη δυνατότητα να χρησιμοποιούμε πλήρως τη χωρητικότητα της μνήμης υλικού μας για να δημιουργήσουμε εικόνες σε υψηλότερη ανάλυση και να υιοθετήσουμε πιο εκφραστικές μεθόδους μεταφοράς στυλ εικόνας. Τα πειράματά μας δείχνουν ότι η μέθοδός μας παράγει στυλιζαρισμένα NeRF για ένα ευρύ φάσμα περιεχομένου, συμπεριλαμβανομένων εσωτερικών, εξωτερικών και δυναμικών σκηνών, και συνθέτει καινοτόμες προβολές υψηλής ποιότητας με συνέπεια διασταυρούμενης προβολής».

Λόγω των περιορισμών μνήμης του NeRF, οι ερευνητές έπρεπε επίσης να λύσουν ένα άλλο πρόβλημα σχετικά με το πώς θα μπορούσαν να αποδώσουν περισσότερες τρισδιάστατες εικόνες υψηλής ευκρίνειας με ρυθμό ταχύτητας που μοιάζει περισσότερο σε πραγματικό χρόνο. Η λύση ήταν να δημιουργηθεί ένας βρόχος αποδιδόμενων προβολών που με κάθε επανάληψη ήταν σε θέση να στοχεύουν σημεία στυλιζαρίσματος με μεγαλύτερη συνέπεια σε κάθε πέρασμα και στη συνέχεια να ξαναχτίσουν την εικόνα με περισσότερες λεπτομέρειες. 

Η τεχνολογία βελτίωσε επίσης τα avatars. Η στυλιζαρισμένη προσέγγιση SNeRF της ερευνητικής ομάδας τους επέτρεψε να δημιουργήσουν ένα avatar που ήταν πιο εκφραστικό κατά τη διάρκεια των συνομιλιών. Το αποτέλεσμα είναι δυναμικά 4D avatar που μπορούν να μεταφέρουν ρεαλιστικά συναισθήματα όπως θυμό, φόβο, ενθουσιασμό και σύγχυση, όλα αυτά χωρίς να χρειάζεται να χρησιμοποιήσετε ένα emoji ή να πατήσετε ένα κουμπί σε ένα χειριστήριο VR.

Η ερευνητική εργασία συνεχίζεται ακόμα, αλλά αυτή τη στιγμή η ομάδα μπόρεσε να αναπτύξει μια μέθοδο για τη διαμόρφωση τρισδιάστατων σκηνών χρησιμοποιώντας έμμεσες νευρικές αναπαραστάσεις που επηρέασαν το περιβάλλον και τα είδωλά τους. Επιπλέον, η προσέγγισή τους στη χρήση μιας μεθόδου εναλλασσόμενου στυλιζαρίσματος τους επέτρεψε να επωφεληθούν από την πλήρη χρήση της ικανότητας μνήμης υλικού για να σχηματοποιήσουν στατικές και δυναμικές σκηνές 3D, επιτρέποντας στην ομάδα να δημιουργήσει εικόνες σε υψηλότερη ανάλυση και να υιοθετήσει μια πιο εκφραστική μεταφορά στυλ εικόνας μεθόδους σε VR. 

Εάν ενδιαφέρεστε να εμβαθύνετε στις λεπτομέρειες, μπορείτε να αποκτήσετε πρόσβαση στην αναφορά τους εδώ.

Πίστωση εικόνας: Πανεπιστήμιο Cornell