Μια επανάσταση στα γραφικά υπολογιστών φέρνει την τρισδιάστατη σύλληψη της πραγματικότητας στις μάζες

Μια επανάσταση στα γραφικά υπολογιστών φέρνει την τρισδιάστατη σύλληψη της πραγματικότητας στις μάζες

Χρονική σήμανση: 6 Νοεμβρίου 2023 10:23 π.μ.
Μια επανάσταση στα γραφικά υπολογιστών φέρνει την τρισδιάστατη σύλληψη της πραγματικότητας στις μάζες Η ευφυΐα δεδομένων PlatoBlockchain. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Ως πολεμικό όπλο, η καταστροφή χώρων πολιτιστικής κληρονομιάς είναι α κοινή μέθοδος από ένοπλους εισβολείς για να στερήσουν μια κοινότητα από τη διακριτή της ταυτότητα. Δεν ήταν έκπληξη τότε, τον Φεβρουάριο του 2022, καθώς τα ρωσικά στρατεύματα εισέβαλαν στην Ουκρανία, που οι ιστορικοί και οι ειδικοί της πολιτιστικής κληρονομιάς προετοιμάστηκαν για την επερχόμενη καταστροφή. Μέχρι στιγμής στον πόλεμο Ρωσίας-Ουκρανίας, η UNESCO έχει επιβεβαίωσε ζημιές σε εκατοντάδες θρησκευτικά και ιστορικά κτίρια και δεκάδες δημόσια μνημεία, βιβλιοθήκες και μουσεία.

Ενώ οι νέες τεχνολογίες όπως drones χαμηλού κόστους, 3D εκτύπωση, να ιδιωτικό δορυφορικό internet μπορεί να δημιουργεί ένα σαφώς πεδίο μάχης του 21ου αιώνα που δεν είναι εξοικειωμένο με τους συμβατικούς στρατούς, ένα άλλο σύνολο τεχνολογιών δημιουργεί νέες δυνατότητες στους αρχειοφύλακες των πολιτών εκτός πρώτης γραμμής για τη διατήρηση των ουκρανικών τοποθεσιών πολιτιστικής κληρονομιάς.

Backup Ουκρανία, ένα έργο συνεργασίας μεταξύ της Εθνικής Επιτροπής της Δανίας της UNESCO και της Polycam, ένα εργαλείο δημιουργίας 3D, επιτρέπει σε οποιονδήποτε διαθέτει μόνο τηλέφωνο να σαρώνει και να καταγράφει υψηλής ποιότητας, λεπτομερή και φωτορεαλιστικά μοντέλα 3D μνημείων πολιτιστικής κληρονομιάς, κάτι που είναι δυνατό μόνο με ακριβά και επαχθείς εξοπλισμός μόλις πριν από λίγα χρόνια.

Το Backup Ukraine είναι μια αξιοσημείωτη έκφραση της εκπληκτικής ταχύτητας με την οποία προχωρούν οι τεχνολογίες τρισδιάστατης λήψης και γραφικών, σύμφωνα με τον Bilawal Sidhu, τεχνολόγο, άγγελο επενδυτή και πρώην διευθυντή προϊόντων της Google που εργάστηκε σε τρισδιάστατους χάρτες και AR/VR.

«Οι τεχνολογίες αποτύπωσης πραγματικότητας βρίσκονται σε μια εκπληκτική εκθετική καμπύλη εκδημοκρατισμού», μου εξήγησε σε μια συνέντευξη για Κέντρο μοναδικότητας.

Σύμφωνα με τον Sidhu, η δημιουργία 3D στοιχείων ήταν δυνατή, αλλά μόνο με ακριβά εργαλεία όπως κάμερες DSLR, σαρωτές lidar και ακριβές άδειες λογισμικού. Ως παράδειγμα, ανέφερε το έργο του CyArk, ένας μη κερδοσκοπικός οργανισμός που ιδρύθηκε πριν από δύο δεκαετίες με στόχο τη χρήση τεχνολογίας 3D καταγραφής επαγγελματικής ποιότητας για τη διατήρηση της πολιτιστικής κληρονομιάς σε όλο τον κόσμο.

«Αυτό που είναι τρελό, και αυτό που έχει αλλάξει, είναι ότι σήμερα μπορώ να τα κάνω όλα αυτά με το iPhone στην τσέπη σου», λέει.

Στη συζήτησή μας, ο Sidhu παρουσίασε τρεις διακριτές αλλά αλληλένδετες τάσεις τεχνολογίας που οδηγούν αυτήν την πρόοδο. Πρώτον, είναι η πτώση του κόστους των ειδών καμερών και αισθητήρων που μπορούν να καταγράψουν ένα αντικείμενο ή χώρο. Το δεύτερο είναι ένας καταρράκτης νέων τεχνικών που κάνουν χρήση της τεχνητής νοημοσύνης για την κατασκευή τελικών 3D στοιχείων. Και τρίτον είναι ο πολλαπλασιασμός της υπολογιστικής ισχύος, που οφείλεται σε μεγάλο βαθμό από GPU, ικανές να αποδίδουν αντικείμενα έντασης γραφικών σε συσκευές ευρέως διαθέσιμες στους καταναλωτές.

Οι σαρωτές Lidar είναι ένα παράδειγμα της βελτίωσης της τιμής-απόδοσης των αισθητήρων. Πρώτα διαδόθηκε ως οι ογκώδεις αισθητήρες περιστροφής πάνω από αυτόνομα οχήματα, και με τιμή σε δεκάδες χιλιάδες δολάρια, το lidar έκανε το ντεμπούτο του στην τεχνολογία των καταναλωτών στα iPhone 12 Pro και Pro Max το 2020. Η δυνατότητα σάρωσης ενός χώρου με τον ίδιο τρόπο που τα αυτοκίνητα χωρίς οδηγό βλέπουν τον κόσμο σήμαινε ότι ξαφνικά οποιοσδήποτε μπορούσε γρήγορα και φθηνά δημιουργούν λεπτομερή 3D στοιχεία. Αυτό, ωστόσο, ήταν ακόμα διαθέσιμο μόνο στους πλουσιότερους πελάτες της Apple.

Ένα από τα πιο σημαντικά σημεία καμπής του κλάδου συνέβη την ίδια χρονιά όταν ερευνητές της Google εισήγαγε πεδία νευρικής ακτινοβολίας, που συνήθως αναφέρονται ως NeRFs.

Αυτή η προσέγγιση χρησιμοποιεί μηχανική μάθηση για να κατασκευάστε ένα αξιόπιστο τρισδιάστατο μοντέλο ενός αντικειμένου ή χώρου από δισδιάστατες εικόνες ή βίντεο. Το νευρωνικό δίκτυο «παραισθάνεται» πώς θα εμφανιζόταν μια πλήρης τρισδιάστατη σκηνή, σύμφωνα με τον Sidhu. Είναι μια λύση για την «προβολή σύνθεσης», μια πρόκληση γραφικών υπολογιστή που επιδιώκει να επιτρέψει σε κάποιον να δει ένα χώρο από οποιαδήποτε οπτική γωνία από λίγες μόνο εικόνες πηγής.

«Έτσι αυτό το πράγμα προέκυψε και όλοι συνειδητοποίησαν ότι έχουμε τώρα σύνθεση όψης αιχμής που λειτουργεί άψογα για όλα τα πράγματα με τα οποία η φωτογραμμετρία δυσκολεύτηκε πολύ, όπως η διαφάνεια, η ημιδιαφάνεια και η ανακλαστικότητα. Αυτό είναι κάπως τρελό», προσθέτει.

Η κοινότητα της υπολογιστικής όρασης διοχέτευσε τον ενθουσιασμό της σε εμπορικές εφαρμογές. Στην Google, ο Sidhu και η ομάδα του εξερεύνησαν χρησιμοποιώντας την τεχνολογία για καθηλωτική θέα, μια τρισδιάστατη έκδοση των Χαρτών Google. Για τον μέσο χρήστη, η εξάπλωση των φιλικών προς τον καταναλωτή εφαρμογών όπως Luma AI και άλλα σήμαιναν ότι οποιοσδήποτε με μόνο μια κάμερα smartphone μπορούσε να δημιουργήσει φωτορεαλιστικά 3D στοιχεία. Η δημιουργία τρισδιάστατου περιεχομένου υψηλής ποιότητας δεν περιοριζόταν πλέον στην ελίτ lidar της Apple.

Τώρα, μια άλλη δυνητικά ακόμη πιο υποσχόμενη μέθοδος επίλυσης σύνθεσης όψεων κερδίζει την προσοχή ανταγωνιζόμενος αυτόν τον πρώιμο ενθουσιασμό του NeRF. Γκαουσιανό πιτσίλισμα είναι μια τεχνική απόδοσης που μιμείται τον τρόπο Τα τρίγωνα χρησιμοποιούνται για παραδοσιακά τρισδιάστατα στοιχεία, αλλά αντί για τρίγωνα, είναι μια «χρωματική πιτσιλιά» που εκφράζεται μέσω μιας μαθηματικής συνάρτησης γνωστής ως γκαουσιάν. Καθώς περισσότερα gaussian στρώνονται μεταξύ τους, γίνεται ορατό ένα εξαιρετικά λεπτομερές και ανάγλυφο στοιχείο 3D. Η ταχύτητα υιοθέτησης για πιτσιλίσματα είναι εκπληκτική για παρακολούθηση.

Έχουν περάσει μόνο λίγοι μήνες αλλά demos πλημμυρίζουν το X και τόσο το Luma AI όσο και το Polycam προσφέρουν εργαλεία για τη δημιουργία gaussian splats. Άλλοι προγραμματιστές εργάζονται ήδη για τρόπους ενσωμάτωσής τους σε παραδοσιακές μηχανές παιχνιδιών όπως το Unity και το Unreal. Τα Splat κερδίζουν επίσης την προσοχή από την παραδοσιακή βιομηχανία γραφικών υπολογιστών, καθώς η ταχύτητα απόδοσης τους είναι μεγαλύτερη από τα NeRF και μπορούν να επεξεργαστούν με τρόπους ήδη γνωστούς στους 3D καλλιτέχνες. (Τα NeRF δεν το επιτρέπουν, δεδομένου ότι δημιουργούνται από ένα μη αποκρυπτογραφημένο νευρωνικό δίκτυο.)

Για μια εξαιρετική εξήγηση για το πώς λειτουργεί το gaussian splatting και γιατί δημιουργεί buzz, δείτε αυτό το βίντεο από το Sidhu.

[Ενσωματωμένο περιεχόμενο]

Ανεξάρτητα από τις λεπτομέρειες, για τους καταναλωτές, είμαστε αναμφισβήτητα σε μια στιγμή όπου ένα τηλέφωνο μπορεί να δημιουργήσει στοιχεία 3D διαμετρήματος Χόλιγουντ που πριν από λίγο καιρό μόνο καλά εξοπλισμένες ομάδες παραγωγής μπορούσαν να παράγουν.

Αλλά γιατί η δημιουργία 3D έχει σημασία;

Για να εκτιμήσουμε τη στροφή προς το τρισδιάστατο περιεχόμενο, αξίζει να σημειωθεί ότι το τεχνολογικό τοπίο προσανατολίζεται προς ένα μέλλον «χωρικών υπολογιστών». Ενώ οι υπερβολικά χρησιμοποιούμενοι όροι όπως το metaverse μπορεί να τραβήξουν τα μάτια, το υποκείμενο πνεύμα είναι η αναγνώριση ότι τα τρισδιάστατα περιβάλλοντα, όπως αυτά που χρησιμοποιούνται στα βιντεοπαιχνίδια, οι εικονικοί κόσμοι και τα ψηφιακά δίδυμα έχουν μεγάλο ρόλο να παίξουν στο μέλλον μας. Τα τρισδιάστατα στοιχεία, όπως αυτά που παράγονται από τα NeRF και το splatting, πρόκειται να γίνουν το περιεχόμενο με το οποίο θα ασχοληθούμε στο μέλλον.

Σε αυτό το πλαίσιο, μια μεγάλης κλίμακας φιλοδοξία είναι η ελπίδα για έναν πραγματικό χρόνο τρισδιάστατος χάρτης του κόσμου. Ενώ ήταν διαθέσιμα εργαλεία για τη δημιουργία στατικών τρισδιάστατων χαρτών, η πρόκληση παραμένει η εύρεση τρόπων διατήρησης αυτών των χαρτών σε έναν συνεχώς μεταβαλλόμενο κόσμο.

«Υπάρχει η κατασκευή του μοντέλου του κόσμου και μετά υπάρχει η διατήρηση αυτού του μοντέλου του κόσμου. Με αυτές τις μεθόδους για τις οποίες μιλάμε, νομίζω ότι μπορεί επιτέλους να έχουμε την τεχνολογία για να λύσουμε το πρόβλημα «διατήρησης του μοντέλου» μέσω του crowdsourcing», λέει ο Sidhu.

Έργα όπως το Immersive View της Google είναι καλά πρώιμα παραδείγματα των επιπτώσεων αυτού του καταναλωτή. Αν και δεν θα εικάζε πότε θα ήταν τελικά δυνατό, ο Sidhu συμφώνησε ότι κάποια στιγμή θα υπάρξει η τεχνολογία που θα επέτρεπε σε έναν χρήστη στο VR να περπατήσει οπουδήποτε στη Γη με μια συναρπαστική εμπειρία σε πραγματικό χρόνο για το τι συμβαίνει εκεί. . Αυτός ο τύπος τεχνολογίας θα διαχυθεί επίσης στις προσπάθειες βασισμένη σε avatar «τηλεμεταφορά», εξ αποστάσεως συναντήσεις και άλλες κοινωνικές συγκεντρώσεις.

Ένας άλλος λόγος για να είστε ενθουσιασμένοι, λέει ο Sidhu, είναι η σύλληψη 3D μνήμης. Η Apple, για παράδειγμα, κλίνει σε μεγάλο βαθμό τρισδιάστατη φωτογραφία και βίντεο για τα ακουστικά μικτής πραγματικότητας Vision Pro. Για παράδειγμα, ο Sidhu μου είπε ότι πρόσφατα δημιούργησε ένα υψηλής ποιότητας αντίγραφο του σπιτιού των γονιών του πριν μετακομίσουν. Θα μπορούσε στη συνέχεια να τους δώσει την εμπειρία να περπατήσουν μέσα σε αυτό χρησιμοποιώντας εικονική πραγματικότητα.

«Το να έχεις αυτό το σπλαχνικό συναίσθημα της επιστροφής εκεί είναι τόσο δυνατό. Αυτός είναι ο λόγος για τον οποίο είμαι τόσο θετικός για την Apple, γιατί αν καρφώσουν αυτή τη μορφή 3D μέσων, εκεί τα πράγματα μπορούν να γίνουν συναρπαστικά για τους απλούς ανθρώπους.

Από την τέχνη των σπηλαίων μέχρι τις ελαιογραφίες, η παρόρμηση να διατηρήσουμε πτυχές της αισθητηριακής μας εμπειρίας είναι βαθιά ανθρώπινη. Ακριβώς όπως κάποτε η φωτογραφία ασχολήθηκε με τις νεκρές φύσεις ως μέσο διατήρησης, τα εργαλεία δημιουργίας 3D φαίνονται έτοιμα να αντικαταστήσουν τη μακροχρόνια σχέση μας με τις εικόνες και το βίντεο 2D.

Ωστόσο, όπως η φωτογραφία μπορεί να ελπίζει ότι θα καταγράψει μόνο ένα κλάσμα μιας στιγμής στο χρόνο, τα τρισδιάστατα μοντέλα δεν μπορούν να αντικαταστήσουν πλήρως τη σχέση μας με τον φυσικό κόσμο. Ωστόσο, για όσους βιώνουν τη φρίκη του πολέμου στην Ουκρανία, ίσως αυτές είναι ευπρόσδεκτες εξελίξεις που προσφέρουν έναν πιο καθηλωτικό τρόπο διατήρησης αυτού που δεν μπορεί ποτέ να αντικατασταθεί πραγματικά.

Image Credit: Βιμ Τόρμπινς / Unsplash 

Σφραγίδα ώρας:

Περισσότερα από Κέντρο μοναδικότητας