Χρήση τεχνητής νοημοσύνης για τη δημιουργία σχεδίων τρισδιάστατων μοντέλων

Πολλοί ψηφιακοί καλλιτέχνες, αρχιτέκτονες, μηχανικοί και προγραμματιστές παιχνιδιών σήμερα βασίζονται σε τρισδιάστατα μοντέλα. Ωστόσο, η δημιουργία αυτών των ψηφιακών αντικειμένων είναι συχνά μια χρονοβόρα, απαιτούμενη διαδικασία. Νέα μοντέλα τεχνητής νοημοσύνης (AI) μπορεί να δώσουν λύση.

Η τέχνη που δημιουργείται από την τεχνητή νοημοσύνη έχει αποκτήσει μεγάλη φήμη τελευταία, αν και κυρίως με τη μορφή 2D εικόνων. Τώρα, αρκετές εταιρείες έχουν ανακοινώσει λογισμικό μηχανικής εκμάθησης που μπορεί να πάει ένα βήμα παραπέρα, μετατρέποντας κείμενο αναφοράς ή εικόνες σε τρισδιάστατα σχέδια.

Generative AI Today

Τον Σεπτέμβριο του 2022, η Google αποκάλυψε ένα μοντέλο κειμένου σε 3D ονομάζεται DreamFusion. Αυτός ο αλγόριθμος βασίζεται σε έναν προηγούμενο που ονομάζεται Dream Fields, που κυκλοφόρησε το 2021, στον οποίο οι ερευνητές εκπαιδεύτηκαν σε μια βιβλιοθήκη τρισδιάστατων μοντέλων με ετικέτες κειμένου. Το DreamFusion, ωστόσο, δεν χρειάζεται υπάρχοντα τρισδιάστατα μοντέλα για να κατανοήσει τα αιτήματά σας, καθιστώντας το πολύ πιο πρακτικό.

Δύο μήνες αργότερα, ο γίγαντας των καρτών γραφικών Nvidia κυκλοφόρησε ένα παρόμοιο μοντέλο. Το λογισμικό τους, που ονομάζεται Magic3D, είναι σχεδόν πανομοιότυπο από εξωτερική προοπτική. Πληκτρολογείτε μια περιγραφή του τρισδιάστατου μοντέλου που θέλετε και ο αλγόριθμος θα αποδώσει μία. Ωστόσο, η λύση της Nvidia ισχυρίζεται ότι είναι διπλάσια ταχύτερη.

Το τρίτο σημαντικό 3D Generative AI που θα βρείτε σήμερα προέρχεται από το OpenAI, τους κατασκευαστές του ChatGPT και του Dall-E. Αυτό το μοντέλο, Point-E, δημιουργεί επίσης τρισδιάστατες αποδόσεις από το κείμενο, αλλά μπορεί να το κάνει τόσο λίγο όσο ένα έως δύο λεπτά σε μία μόνο GPU.

"Το Point-E δημιουργεί τρισδιάστατες αποδόσεις από ένα κείμενο σε μόλις ένα έως δύο λεπτά σε μία μόνο GPU." 

Πώς λειτουργούν τα τρισδιάστατα μοντέλα παραγωγής

Ενώ και οι τρεις μεγάλες λύσεις τεχνητής νοημοσύνης που δημιουργούν τρισδιάστατα μοντέλα σήμερα έχουν μοναδικά πλεονεκτήματα και συγκεκριμένες προσεγγίσεις, ακολουθούν την ίδια γενική διαδικασία. Ακολουθεί μια πιο προσεκτική ματιά στο πώς λειτουργούν αυτοί οι αλγόριθμοι.

Εκπαίδευση της τεχνητής νοημοσύνης στις αναφορές

Οι πρώτες προσεγγίσεις σε αυτό το είδος AI, όπως το Dream Fields, τους εκπαίδευσαν σε τρισδιάστατα μοντέλα και τις ετικέτες κειμένου τους. Ωστόσο, αυτό δεν τους αφήνει πολλά δεδομένα εκπαίδευσης, περιορίζοντας το πεδίο εφαρμογής τους. Γι' αυτό τα νεότερα μοντέλα μαθαίνουν να δημιουργούν τρισδιάστατα μοντέλα από εικόνες 3D με ετικέτα.

Η σημερινή τεχνητή νοημοσύνη που δημιουργεί τρισδιάστατα μοντέλα ξεκινά ως αλγόριθμοι κειμένου σε εικόνα. Κατά συνέπεια, το πρώτο στάδιο στην εκπαίδευση είναι το να του ταΐζεις με 3D εικόνες, όπως μια εικόνα ενός σκύλου με το συνοδευτικό κείμενο «σκύλος». Αυτά τα δεδομένα είναι πολύ πιο προσβάσιμα, με τη φιλοξενία μόνο του ImageNet περισσότερο από το εκατομμύριο 14 εικόνες με ετικέτα, επομένως είναι ένας καλύτερος τρόπος να εκπαιδεύσετε την τεχνητή νοημοσύνη.

Σε λίγο, θα πρέπει να έχετε ένα μοντέλο που να μπορεί να συσχετίσει τις 2D εικόνες με τις περιγραφές κειμένου με αρκετά μεγάλη ακρίβεια. Στη συνέχεια, μπορείτε να προχωρήσετε στη διδασκαλία του να τα μετατρέπει σε τρισδιάστατες αποδόσεις.

«Η τεχνητή νοημοσύνη που δημιουργεί τρισδιάστατα μοντέλα ξεκινά ως αλγόριθμοι κειμένου σε εικόνα». 

Παρεμβολή

Το επόμενο βήμα στη δημιουργία τρισδιάστατων μοντέλων με AI είναι μια παρεμβολή. Αυτή είναι η διαδικασία συνδυασμού πολλαπλών εικόνων 3D του ίδιου θέματος από διαφορετικές γωνίες για την παραγωγή μιας τρισδιάστατης έκδοσης.

Η υποκείμενη τεχνολογία που επιτρέπει αυτή τη διαδικασία είναι ένα πεδίο νευρικής ακτινοβολίας (NeRF). Τα NeRF είναι νευρωνικά δίκτυα που εξετάζουν πολλαπλές όψεις ενός αντικειμένου και καθορίζουν πού υπάρχει κάθε γωνία θέασης στο διάστημα. Στη συνέχεια, μπορούν να τα ενώσουν, εξομαλύνοντας τις περιοχές όπου επικαλύπτονται διαφορετικές απόψεις για να δημιουργήσουν ένα συνεκτικό τρισδιάστατο μοντέλο.

Παραδοσιακά, τα NeRF λειτουργούν χρησιμοποιώντας φωτογραφίες ενός αντικειμένου από πολλές γωνίες. Σε ένα μοντέλο κειμένου σε 3D, ωστόσο, δημιουργούν τις δικές τους 2D εικόνες από διάφορες γωνίες πριν τις συνδυάσουν. Όπως μπορείτε να περιμένετε, αυτή είναι μια εξαιρετικά περίπλοκη διαδικασία, αλλά οι πρόσφατες εξελίξεις την έχουν κάνει πολύ πιο γρήγορη.

Βελτιστοποίηση τρισδιάστατων μοντέλων

Το προϊόν που θα λάβετε από ένα πέρασμα μέσω ενός από αυτά τα NeRF θα είναι πιθανότατα χαμηλής ανάλυσης και ενδέχεται να περιέχει σφάλματα. Κατά συνέπεια, είναι σημαντικό να καθαρίσετε και να βελτιστοποιήσετε τυχόν τρισδιάστατα μοντέλα που βγαίνουν μετά τη διαδικασία παρεμβολής.

Ορισμένες λύσεις τεχνητής νοημοσύνης σήμερα, όπως το DreamFusion της Google, θα περάσουν την απόδοση μέσω πολλών διαδικασιών παρεμβολής για την αφαίρεση του θορύβου και τη βελτίωση της ανάλυσης. Χρήσεις Magic3D της Nvidia ένα δεύτερο μοντέλο διάχυσης που μειώνει το θόρυβο και τον τελειοποιεί σύμφωνα με το αρχικό 2D για να αυξήσει την ανάλυσή του.

Ακόμη και μετά από αυτήν τη βελτιστοποίηση, ίσως χρειαστεί να καθαρίσετε τα μοντέλα. Γι' αυτό αυτές οι λύσεις τα παρουσιάζουν ως ένα ρυθμιζόμενο αρχείο που μπορείτε να επεξεργαστείτε για να αλλάξετε την ανάλυση, το σχήμα, το χρώμα, τον φωτισμό και άλλους παράγοντες.

Περιορισμοί και δυνατότητες

Ακριβώς όπως τα συστήματα οικιακού αυτοματισμού κάνουν την ασφάλεια πιο βολική και προσιτή, η αυτοματοποίηση της δημιουργίας τρισδιάστατων εικόνων μπορεί να βελτιστοποιήσει πολλές ροές εργασίας. Οι καλλιτέχνες θα μπορούσαν να αναπτύξουν παιχνίδια ή δημιουργήστε ψηφιακές σκηνές πολύ πιο γρήγορα όταν πρόκειται για ταινίες, καθώς δεν θα ξόδευαν τόσο πολύ χρόνο στη δημιουργία μοντέλων. Τα χρονοδιαγράμματα κατασκευής θα μπορούσαν επίσης να μειωθούν καθώς οι αρχιτέκτονες δημιουργούν τρισδιάστατα σχέδια σε λιγότερο χρόνο.

Ωστόσο, αυτοί οι αλγόριθμοι εξακολουθούν να φέρουν ορισμένες ανησυχίες. Η τέχνη που δημιουργείται από την τεχνητή νοημοσύνη στο σύνολό της έχει δεχθεί πυρκαγιά επειδή η δουλειά ορισμένων καλλιτεχνών εμφανίστηκε σε σύνολα δεδομένων εκπαίδευσης χωρίς την άδειά τους, ανοίγοντας την πόρτα στα πνευματικά δικαιώματα και τις ηθικές περιπλοκές. Άλλοι φοβούνται ότι αυτά τα εργαλεία μπορεί να απειλήσουν την απασχόληση και τις πληρωμές για ανθρώπους καλλιτέχνες.

Καθώς η τέχνη της τεχνητής νοημοσύνης μεγαλώνει, οι εταιρείες που την κατασκευάζουν και τη χρησιμοποιούν θα πρέπει να εξετάσουν αυτές τις επιπλοκές. Με μια στοχαστική, ανθρωποκεντρική προσέγγιση, ωστόσο, αυτά τα μοντέλα θα μπορούσαν να αποτελέσουν επαναστατικά εργαλεία για να βοηθήσουν τους καλλιτέχνες να εργαστούν και όχι να τα αντικαταστήσουν.

"Η αυτόματη δημιουργία τρισδιάστατων εικόνων μπορεί να βελτιστοποιήσει πολλές ροές εργασίας." 

Η τεχνητή νοημοσύνη μπορεί να φέρει επανάσταση στην τρισδιάστατη απόδοση

Η τεχνητή νοημοσύνη πέρασε από τη δημιουργία εικόνων 2D στην απόδοση μοντέλων 3D σε σχετικά σύντομο χρονικό διάστημα. Αυτό το βήμα προς τα εμπρός ανοίγει την πόρτα σε ένα εντυπωσιακό φάσμα δυνατοτήτων, εφόσον οι επιστήμονες δεδομένων και οι τελικοί χρήστες προσεγγίζουν προσεκτικά την τεχνολογία.

Ενώ βρίσκεται ακόμη στα αρχικά της στάδια, η δημιουργία μοντέλων 3D AI θα μπορούσε να φέρει επανάσταση στην ψηφιακή τέχνη και σχεδιασμό. Ως αποτέλεσμα, οι βιομηχανίες από την αρχιτεκτονική μέχρι τη δημιουργία ταινιών θα μπορούσαν να γίνουν πιο αποτελεσματικές.

Επίσης, διαβάστε Οι μηχανές θα γίνουν πιο καλλιτεχνικοί από τους ανθρώπους