Una rivoluzione nella grafica computerizzata sta portando alle masse la cattura della realtà 3D

Una rivoluzione nella grafica computerizzata sta portando alle masse la cattura della realtà 3D

Timestamp: 6 novembre 2023 10:23 AM
Una rivoluzione nella computer grafica sta portando l'acquisizione della realtà 3D alle masse PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Come arma di guerra, distruggere i siti del patrimonio culturale è un metodo comune da invasori armati per privare una comunità della propria identità distinta. Non è stata una sorpresa quindi, nel febbraio del 2022, quando le truppe russe hanno invaso l’Ucraina, che storici e specialisti del patrimonio culturale si siano preparati all’imminente distruzione. Finora nella guerra Russia-Ucraina l'UNESCO ha confermato danni a centinaia di edifici religiosi e storici e dozzine di monumenti pubblici, biblioteche e musei.

Mentre le nuove tecnologie piacciono droni a basso costo, stampa 3De internet satellitare privato potrebbe creare un campo di battaglia del 21° secolo sconosciuto agli eserciti convenzionali, un altro insieme di tecnologie sta creando nuove possibilità per gli archivisti cittadini in prima linea per preservare i siti del patrimonio ucraino.

Sostieni l'Ucraina, un progetto di collaborazione tra la Commissione nazionale danese dell'UNESCO e Polycam, uno strumento di creazione 3D, consente a chiunque sia dotato solo di un telefono di scansionare e acquisire modelli 3D di siti storici di alta qualità, dettagliati e fotorealistici, cosa possibile solo con costi costosi e onerosi. attrezzature solo pochi anni fa.

Backup Ukraine è un'espressione notevole della straordinaria velocità con cui le tecnologie di acquisizione e grafica 3D stanno progredendo, secondo Bilawal Sidhu, un tecnologo, angel investor ed ex product manager di Google che ha lavorato su mappe 3D e AR/VR.

“Le tecnologie di acquisizione della realtà si trovano su una sbalorditiva curva esponenziale di democratizzazione”, mi ha spiegato in un’intervista per Hub di singolarità.

Secondo Sidhu, generare risorse 3D era possibile, ma solo con strumenti costosi come fotocamere DSLR, scanner Lidar e licenze software costose. Ad esempio, ha citato il lavoro di CyArk, un'organizzazione no-profit fondata due decenni fa con l'obiettivo di utilizzare la tecnologia di acquisizione 3D di livello professionale per preservare il patrimonio culturale in tutto il mondo.

"La cosa folle, e ciò che è cambiato, è che oggi posso fare tutto questo con l'iPhone in tasca", dice.

Nella nostra discussione, Sidhu ha delineato tre tendenze tecnologiche distinte ma correlate che stanno guidando questo progresso. Il primo è una riduzione dei costi dei tipi di telecamere e sensori in grado di catturare un oggetto o uno spazio. La seconda è una serie di nuove tecniche che utilizzano l’intelligenza artificiale per costruire risorse 3D finite. E il terzo è la proliferazione della potenza di calcolo, in gran parte guidata dalle GPU, in grado di riprodurre oggetti ad alta intensità grafica su dispositivi ampiamente disponibili ai consumatori.

Gli scanner Lidar sono un esempio del miglioramento del rapporto prezzo-prestazioni nei sensori. Inizialmente resi popolari come ingombranti sensori rotanti sulla parte superiore dei veicoli autonomi e valutati nel prezzo decine di migliaia di dollari, lidar ha fatto il suo debutto nella tecnologia consumer su iPhone 12 Pro e Pro Max nel 2020. La capacità di scansionare uno spazio nello stesso modo in cui le auto senza conducente vedono il mondo ha fatto sì che all'improvviso chiunque potesse rapidamente ed a basso costo generare risorse 3D dettagliate. Questo, tuttavia, era ancora disponibile solo per i clienti Apple più ricchi.

Uno dei punti di svolta più importanti del settore si è verificato quello stesso anno quando i ricercatori di Google introdotto campi di radianza neurale, comunemente indicati come NeRF.

Questo approccio utilizza l'apprendimento automatico per costruire un modello 3D credibile di un oggetto o di uno spazio da immagini o video 2D. Secondo Sidhu, la rete neurale “allucina” come apparirebbe una scena 3D completa. È una soluzione alla “sintesi visiva”, una sfida di computer grafica che cerca di consentire a qualcuno di vedere uno spazio da qualsiasi punto di vista partendo solo da poche immagini sorgente.

“Quindi quella cosa è venuta fuori e tutti si sono resi conto che ora abbiamo una sintesi visiva all'avanguardia che funziona brillantemente per tutte le cose con cui la fotogrammetria ha avuto difficoltà, come trasparenza, traslucenza e riflettività. Questo è un po’ pazzesco”, aggiunge.

La comunità della visione artificiale ha incanalato il proprio entusiasmo verso applicazioni commerciali. Presso Google, Sidhu e il suo team hanno esplorato l'utilizzo della tecnologia per visione immersiva, una versione 3D di Google Maps. Per l'utente medio, la diffusione di applicazioni consumer-friendly come Luma ai e altri significavano che chiunque avesse solo la fotocamera di uno smartphone poteva realizzare risorse 3D fotorealistiche. La creazione di contenuti 3D di alta qualità non era più limitata all'élite lidar di Apple.

Ora, un altro metodo potenzialmente ancora più promettente per risolvere la sintesi della vista sta guadagnando attenzione, rivaleggiando con l’entusiasmo iniziale del NeRF. Splatting gaussiano è una tecnica di rendering che imita il modo i triangoli vengono utilizzati per le risorse 3D tradizionali, ma invece dei triangoli, è uno “splat” di colore espresso attraverso una funzione matematica nota come gaussiana. Man mano che più gaussiane vengono sovrapposte, diventa visibile una risorsa 3D altamente dettagliata e strutturata. La velocità di adozione dello splatting è sorprendente da guardare.

Sono passati solo pochi mesi ma demos stanno inondando X e sia Luma AI che Polycam offrono strumenti per generare simboli gaussiani. Altri sviluppatori stanno già lavorando su come integrarli nei motori di gioco tradizionali come Unity e Unreal. Gli simboli stanno guadagnando attenzione anche dal tradizionale settore della computer grafica poiché la loro velocità di rendering è più veloce dei NeRF e possono essere modificati in modi già familiari agli artisti 3D. (I NeRF non lo consentono poiché sono generati da una rete neurale indecifrabile.)

Per un'ottima spiegazione su come funziona lo splatting gaussiano e perché sta generando buzz, guarda questo video di Sidhu.

[Contenuto incorporato]

Indipendentemente dai dettagli, per i consumatori siamo decisamente in un momento in cui un telefono può generare risorse 3D di calibro hollywoodiano che non molto tempo fa solo team di produzione ben attrezzati potevano produrre.

Ma perché la creazione 3D è così importante?

Per apprezzare lo spostamento verso i contenuti 3D, vale la pena notare che il panorama tecnologico si sta orientando verso un futuro di “calcolo spaziale”. Sebbene termini abusati come metaverso possano attirare l’attenzione, lo spirito di fondo è il riconoscimento che gli ambienti 3D, come quelli utilizzati nei videogiochi, nei mondi virtuali e nei gemelli digitali, hanno un ruolo importante da svolgere nel nostro futuro. Risorse 3D come quelle prodotte da NeRF e splatting sono destinate a diventare i contenuti con cui ci occuperemo in futuro.

In questo contesto, un’ambizione su larga scala è la speranza di un futuro in tempo reale Mappa 3D del mondo. Sebbene siano disponibili strumenti per generare mappe 3D statiche, la sfida rimane trovare modi per mantenere tali mappe aggiornate con un mondo in continua evoluzione.

“C'è la costruzione del modello del mondo, e poi c'è il mantenimento di quel modello del mondo. Con questi metodi di cui stiamo parlando, penso che potremmo finalmente avere la tecnologia per risolvere il problema del “mantenimento del modello” attraverso il crowdsourcing”, afferma Sidhu.

Progetti come Immersive View di Google sono buoni primi esempi delle implicazioni di tutto ciò per i consumatori. Anche se non ha ipotizzato quando ciò potrebbe essere possibile, Sidhu ha concordato che ad un certo punto esisterà la tecnologia che consentirà a un utente in realtà virtuale di camminare ovunque sulla Terra con un'esperienza coinvolgente in tempo reale di ciò che sta accadendo lì. . Questo tipo di tecnologia si ripercuoterà anche sugli sforzi compiuti nel settore "teletrasporto" basato su avatar”, riunioni remote e altri incontri sociali.

Un altro motivo per essere entusiasti, afferma Sidhu, è l'acquisizione della memoria 3D. Apple, ad esempio, si sta appoggiando fortemente Foto e video 3D per il visore per realtà mista Vision Pro. Ad esempio, Sidhu mi ha detto di aver recentemente creato una replica di alta qualità della casa dei suoi genitori prima che se ne andassero. Potrebbe quindi offrire loro l'esperienza di camminare al suo interno utilizzando la realtà virtuale.

“Avere quella sensazione viscerale di essere tornato lì è così potente. Questo è il motivo per cui sono così ottimista nei confronti di Apple, perché se riescono a realizzare questo formato multimediale 3D, è lì che le cose possono diventare interessanti per la gente normale.

Dall'arte rupestre ai dipinti ad olio, l'impulso a preservare aspetti della nostra esperienza sensoriale è profondamente umano. Proprio come una volta la fotografia si è affermata nelle nature morte come mezzo di conservazione, gli strumenti di creazione 3D sembrano pronti a sostituire la nostra relazione di lunga data con immagini e video 2D.

Tuttavia, proprio come la fotografia può sperare di catturare solo una frazione di un momento nel tempo, i modelli 3D non possono sostituire completamente il nostro rapporto con il mondo fisico. Tuttavia, per coloro che vivono gli orrori della guerra in Ucraina, forse questi sono sviluppi positivi che offrono un modo più coinvolgente per preservare ciò che non potrà mai veramente essere sostituito.

Immagine di credito: Wim Torbeyns / Unsplash 

Timestamp:

Di più da Hub di singolarità