O revoluție în grafica computerizată aduce în masă captarea realității 3D

O revoluție în grafica computerizată aduce în masă captarea realității 3D

Marca temporală: 6 noiembrie 2023, ora 10:23
A Revolution in Computer Graphics Is Bringing 3D Reality Capture to the Masses PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Ca armă de război, distrugerea siturilor de patrimoniu cultural este a metoda comuna de invadatori înarmați pentru a priva o comunitate de identitatea lor distinctă. Nu a fost o surpriză atunci, în februarie 2022, când trupele ruse au intrat în Ucraina, că istoricii și specialiștii în patrimoniul cultural s-au pregătit pentru distrugerea viitoare. Până acum, în războiul Rusia-Ucraina, UNESCO a făcut-o confirmat deteriorarea a sute de clădiri religioase și istorice și a zeci de monumente publice, biblioteci și muzee.

În timp ce noile tehnologii ca drone low-cost, 3D imprimare, și internet privat prin satelit ar putea crea un câmp de luptă distinct al secolului 21 necunoscut armatelor convenționale, un alt set de tehnologii creează noi posibilități pentru arhiviștii cetățeni din prima linie de a păstra siturile de patrimoniu ucrainean.

Faceți rezervă pentru Ucraina, un proiect de colaborare între Comisia Națională Daneză UNESCO și Polycam, un instrument de creație 3D, permite oricărei persoane echipate doar cu un telefon să scaneze și să captureze modele 3D de înaltă calitate, detaliate și fotorealiste ale siturilor de patrimoniu, ceva posibil doar cu costuri costisitoare și împovărătoare. echipament cu doar câțiva ani în urmă.

Backup Ukraine este o expresie notabilă a vitezei uimitoare cu care tehnologiile de captare și grafică 3D progresează, potrivit Bilawal Sidhu, un tehnolog, investitor înger și fost manager de produs Google care a lucrat la hărți 3D și AR/VR.

„Tehnologiile de captare a realității se află pe o curbă exponențială uluitoare a democratizării”, mi-a explicat el într-un interviu pentru Singularity Hub.

Potrivit Sidhu, generarea de active 3D a fost posibilă, dar numai cu instrumente scumpe, cum ar fi camere DSLR, scanere lidar și licențe software costisitoare. Ca exemplu, a citat lucrarea lui CyArk, o organizație non-profit fondată în urmă cu două decenii cu scopul de a folosi tehnologia de captare 3D de calitate profesională pentru a păstra moștenirea culturală din întreaga lume.

„Ceea ce este o nebunie și ceea ce s-a schimbat este că astăzi pot face toate astea cu iPhone-ul în buzunar”, spune el.

În discuția noastră, Sidhu a prezentat trei tendințe tehnologice distincte, dar interconectate, care conduc acest progres. În primul rând, este o scădere a costului tipurilor de camere și senzori care pot captura un obiect sau spațiu. În al doilea rând este o cascadă de noi tehnici care folosesc inteligența artificială pentru a construi active 3D finite. Și în al treilea rând este proliferarea puterii de calcul, în mare măsură condusă de GPU-uri, capabile să redea obiecte cu grafică intensivă pe dispozitive disponibile pe scară largă pentru consumatori.

Scanerele Lidar sunt un exemplu de îmbunătățire a prețului-performanță a senzorilor. Inițial popularizați ca senzori voluminosi de rotire deasupra vehiculelor autonome și au prețul în zeci de mii de dolari, lidar și-a făcut debutul în domeniul tehnologiei de consum pe iPhone 12 Pro și Pro Max în 2020. Capacitatea de a scana un spațiu în același mod în care mașinile fără șofer văd lumea a însemnat că dintr-o dată oricine ar putea să fie rapid și ieftin. generați active 3D detaliate. Totuși, acesta era încă disponibil doar pentru cei mai bogați clienți Apple.

Unul dintre cele mai importante momente de cotitură din industrie a avut loc în același an, când cercetătorii de la Google introdus câmpuri de radiație neurale, denumite în mod obișnuit NeRF-uri.

Această abordare folosește învățarea automată pentru construiți un model 3D credibil al unui obiect sau spațiu din imagini sau videoclipuri 2D. Rețeaua neuronală „halucinează” modul în care ar apărea o scenă 3D completă, potrivit Sidhu. Este o soluție pentru „sinteza de vizualizare”, o provocare de grafică pe computer care încearcă să permită cuiva să vadă un spațiu din orice punct de vedere din doar câteva imagini sursă.

„Așa că a apărut acel lucru și toată lumea și-a dat seama că acum avem o sinteză de vedere de ultimă generație, care funcționează genial pentru toate lucrurile pe care fotogrammetria a avut dificultăți, cum ar fi transparența, transluciditatea și reflectivitate. Este un fel de nebunie”, adaugă el.

Comunitatea de viziune computerizată și-a canalizat entuziasmul în aplicații comerciale. La Google, Sidhu și echipa sa au explorat utilizarea tehnologiei pentru vedere captivantă, o versiune 3D a Google Maps. Pentru utilizatorul obișnuit, răspândirea aplicațiilor prietenoase pentru consumatori, cum ar fi Luma AI iar altele au însemnat că oricine are doar o cameră pentru smartphone ar putea realiza elemente 3D fotorealiste. Crearea de conținut 3D de înaltă calitate nu a mai fost limitată la elita lidar a Apple.

Acum, o altă metodă, potențial și mai promițătoare de rezolvare a sintezei vederilor, atrage atenția, rivalizând cu entuziasmul NeRF timpuriu. stropire gaussiană este o tehnică de redare care imită modul triunghiurile sunt folosite pentru elementele 3D tradiționale, dar în loc de triunghiuri, este o „splat” de culoare exprimată printr-o funcție matematică cunoscută sub numele de gaussian. Pe măsură ce mai mulți gaussiani sunt stratificați împreună, un material 3D foarte detaliat și texturat devine vizibil. Viteza de adoptare a splattingului este uimitoare de urmărit.

Au trecut doar câteva luni dar demo-uri inundă X și atât Luma AI, cât și Polycam oferă instrumente pentru a genera splat-uri gaussiene. Alți dezvoltatori lucrează deja la modalități de integrare a acestora în motoarele de jocuri tradiționale precum Unity și Unreal. Splaturile câștigă, de asemenea, atenția din industria tradițională a graficii pe computer, deoarece viteza lor de randare este mai rapidă decât NeRF-urile și pot fi editate în moduri deja familiare artiștilor 3D. (NeRF-urile nu permit acest lucru, deoarece sunt generate de o rețea neuronală indescifrabilă.)

For a great explanation for how gaussian splatting works and why it’s generating buzz, see this video from Sidhu.

[Conținutul încorporat]

Indiferent de detalii, pentru consumatori, ne aflăm hotărât într-un moment în care un telefon poate genera active 3D de calibru Hollywood pe care nu cu mult timp în urmă doar echipele de producție bine echipate le puteau produce.

Dar de ce contează deloc creația 3D?

Pentru a aprecia trecerea către conținutul 3D, merită remarcat că peisajul tehnologic se orientează către un viitor al „computingului spațial”. În timp ce termeni suprautilizați, cum ar fi metaversul, ar putea atrage privirea, spiritul de bază este o recunoaștere a faptului că mediile 3D, precum cele folosite în jocurile video, lumi virtuale și gemenii digitali au un rol important în viitorul nostru. Activele 3D precum cele produse de NeRF și splatting sunt pe cale să devină conținutul cu care ne vom implica în viitor.

În acest context, o ambiție pe scară largă este speranța pentru un timp real Harta 3D a lumii. Deși au fost disponibile instrumente pentru generarea de hărți statice 3D, provocarea rămâne să găsești modalități de a menține aceste hărți la curent cu o lume în continuă schimbare.

„Este construirea modelului lumii și apoi menținerea acestui model al lumii. Cu aceste metode despre care vorbim, cred că am putea avea în sfârșit tehnologia pentru a rezolva problema „menținerii modelului” prin intermediul crowdsourcing”, spune Sidhu.

Proiecte precum Immersive View de la Google sunt bune exemple timpurii ale implicațiilor pentru consumatori ale acestui lucru. Deși nu ar specula când ar putea fi posibil în cele din urmă, Sidhu a fost de acord că, la un moment dat, va exista tehnologia care ar permite unui utilizator în VR să se plimbe oriunde pe Pământ cu o experiență captivantă în timp real a ceea ce se întâmplă acolo. . Acest tip de tehnologie se va răspândi și în eforturile în „teleportare” bazată pe avatar”, întâlniri la distanță și alte adunări sociale.

Un alt motiv pentru a fi entuziasmat, spune Sidhu, este capturarea memoriei 3D. Apple, de exemplu, se sprijină foarte mult în Foto și video 3D pentru căștile lor de realitate mixtă Vision Pro. De exemplu, Sidhu mi-a spus că a creat recent o replică de înaltă calitate a casei părinților săi înainte ca aceștia să se mute. Apoi le-ar putea oferi experiența de a merge în interiorul ei folosind realitatea virtuală.

„A avea acel sentiment visceral de a fi înapoi acolo este atât de puternic. Acesta este motivul pentru care sunt atât de optimist cu Apple, pentru că dacă reușesc acest format media 3D, acolo lucrurile pot deveni interesante pentru oamenii obișnuiți.”

De la arta rupestră la picturile în ulei, impulsul de a păstra aspecte ale experienței noastre senzoriale este profund uman. Așa cum fotografia s-a implicat cândva în națiunile moarte ca mijloc de conservare, instrumentele de creație 3D par gata să înlocuiască afacerea noastră de lungă durată cu imagini și videoclipuri 2D.

Totuși, așa cum fotografia poate spera să surprindă doar o fracțiune de moment în timp, modelele 3D nu pot înlocui pe deplin relația noastră cu lumea fizică. Totuși, pentru cei care se confruntă cu ororile războiului în Ucraina, poate că acestea sunt evoluții binevenite care oferă o modalitate mai captivantă de a păstra ceea ce nu poate fi niciodată înlocuit cu adevărat.

Credit imagine: Wim Torbeyns / Unsplash 

Timestamp-ul:

Mai mult de la Singularity Hub