Revolucija v računalniški grafiki množicam prinaša zajemanje 3D resničnosti

Revolucija v računalniški grafiki množicam prinaša zajemanje 3D resničnosti

Časovni žig: 6. november 2023 10:23
A Revolution in Computer Graphics Is Bringing 3D Reality Capture to the Masses PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Kot vojno orožje je uničevanje objektov kulturne dediščine a običajna metoda oboroženih napadalcev, da skupnosti odvzamejo njeno posebno identiteto. Potem ni bilo presenečenje, februarja 2022, ko so ruske čete vdrle v Ukrajino, da so se zgodovinarji in strokovnjaki za kulturno dediščino pripravili na prihajajoče uničenje. Doslej je v rusko-ukrajinski vojni UNESCO potrjena škoda na stotine verskih in zgodovinskih zgradb ter na desetine javnih spomenikov, knjižnic in muzejev.

Medtem ko so nove tehnologije všeč nizkocenovnih dronov, 3D tiskanjein zasebni satelitski internet morda ustvarja izrazito bojišče 21. stoletja, ki ga konvencionalne vojske ne poznajo, drug niz tehnologij ustvarja nove možnosti za državljane arhivarje izven bojnih črt, da ohranijo kraje ukrajinske dediščine.

Rezervna kopija Ukrajine, skupni projekt med dansko nacionalno komisijo UNESCO in Polycamom, orodjem za ustvarjanje 3D, omogoča vsakomur, ki ima samo telefon, skeniranje in zajemanje visokokakovostnih, podrobnih in fotorealističnih 3D modelov območij dediščine, kar je mogoče le z dragim in obremenjujočim opremo pred nekaj leti.

Po besedah ​​Bilawala Sidhuja, tehnologa, angelskega investitorja in nekdanjega Googlovega produktnega vodje, ki je delal na 3D-zemljevidih ​​in AR/VR, je Backup Ukraine opazen izraz osupljive hitrosti, s katero napredujeta 3D-zajem in grafične tehnologije.

"Tehnologije zajemanja resničnosti so na osupljivi eksponentni krivulji demokratizacije," mi je pojasnil v intervjuju za Središče singularnosti.

Po mnenju Sidhuja je bilo ustvarjanje 3D sredstev mogoče, vendar le z dragimi orodji, kot so kamere DSLR, lidar skenerji in drage programske licence. Kot primer je navedel delo CyArk, neprofitna organizacija, ustanovljena pred dvema desetletjema z namenom uporabe profesionalne tehnologije 3D zajemanja za ohranjanje kulturne dediščine po vsem svetu.

»Kar je noro in kar se je spremenilo, je to, da lahko danes vse to počnem z iPhonom v tvojem žepu,« pravi.

V naši razpravi je Sidhu predstavil tri različne, a medsebojno povezane tehnološke trende, ki poganjajo ta napredek. Prvi je padec stroškov vrst kamer in senzorjev, ki lahko zajamejo predmet ali prostor. Drugi je kaskada novih tehnik, ki uporabljajo umetno inteligenco za izdelavo končnih 3D sredstev. In tretjič, širjenje računalniške moči, ki jo v veliki meri poganjajo grafični procesorji, ki lahko upodabljajo grafično intenzivne objekte na napravah, ki so široko dostopne potrošnikom.

Lidar skenerji so primer izboljšanja cene in zmogljivosti senzorjev. Prvič populariziran kot zajetni vrteči se senzorji na vrhu avtonomnih vozil in ocenjen na ceno več deset tisoč dolarjev, je lidar leta 12 prvič predstavil potrošniško tehnologijo na napravah iPhone 2020 Pro in Pro Max. Zmožnost skeniranja prostora na enak način, kot avtomobili brez voznika vidijo svet, je pomenila, da lahko nenadoma kdorkoli hitro in poceni ustvariti podrobna sredstva 3D. To pa je bilo še vedno na voljo le najbogatejšim kupcem Appla.

Ena najbolj pomembnih prelomnic v industriji se je zgodila istega leta, ko so raziskovalci pri Googlu Uvedeno polja živčnega sevanja, običajno imenovana NeRF.

Ta pristop uporablja strojno učenje za sestavite verodostojen 3D model predmeta ali prostora iz 2D slik ali videa. Sidhu pravi, da nevronska mreža "halucinira", kako bi se pojavila popolna 3D scena. To je rešitev za »sintezo pogleda«, izziv računalniške grafike, ki skuša omogočiti nekomu, da vidi prostor s katerega koli zornega kota iz le nekaj izvornih slik.

»Ta stvar se je pojavila in vsi so spoznali, da imamo zdaj najsodobnejšo sintezo pogleda, ki odlično deluje za vse stvari, s katerimi je imela fotogrametrija težave, kot so prosojnost, prosojnost in odbojnost. To je nekako noro,« dodaja.

Skupnost računalniškega vida je svoje navdušenje usmerila v komercialne aplikacije. Pri Googlu sta Sidhu in njegova ekipa raziskovala uporabo tehnologije za impresiven pogled, 3D različico Google Zemljevidov. Za povprečnega uporabnika je širjenje uporabniku prijaznih aplikacij, kot je Luma AI in drugi so pomenili, da lahko vsak, ki ima samo kamero pametnega telefona, ustvari fotorealistična 3D sredstva. Ustvarjanje visokokakovostnih 3D vsebin ni bilo več omejeno na Applovo lidarsko elito.

Druga potencialno še bolj obetavna metoda reševanja sinteze pogledov je pritegovanje pozornosti, ki tekmuje z zgodnjim vznemirjenjem NeRF. Gaussovo razprševanje je tehnika upodabljanja, ki posnema pot trikotniki se uporabljajo za tradicionalna 3D sredstva, toda namesto trikotnikov je to "vložek" barve, izražen z matematično funkcijo, znano kot gaussov. Ko je več gaussov zloženih skupaj, postane viden zelo podroben in teksturiran 3D-sredstvo. Hitrost sprejemanja splattinga je osupljiva.

Minilo je le nekaj mesecev, vendar demos preplavljajo X, Luma AI in Polycam pa ponujata orodja za ustvarjanje gaussovih splatov. Drugi razvijalci že delajo na načinih njihove integracije v tradicionalne igralne motorje, kot sta Unity in Unreal. Splats prav tako pridobivajo pozornost tradicionalne industrije računalniške grafike, saj je njihova hitrost upodabljanja hitrejša od NeRF in jih je mogoče urejati na načine, ki jih 3D umetniki že poznajo. (NeRF-ji tega ne dovoljujejo, saj jih ustvarja nevronska mreža, ki jih ni mogoče razbrati.)

For a great explanation for how gaussian splatting works and why it’s generating buzz, see this video from Sidhu.

[Vgrajeni vsebina]

Ne glede na podrobnosti smo za potrošnike nedvomno v trenutku, ko lahko telefon ustvari 3D sredstva hollywoodskega kalibra, ki so jih še nedolgo nazaj lahko proizvedle le dobro opremljene produkcijske ekipe.

Toda zakaj je 3D ustvarjanje sploh pomembno?

Da bi cenili premik k 3D-vsebinam, je vredno omeniti, da se tehnološka pokrajina usmerja v prihodnost »prostorskega računalništva«. Medtem ko lahko preveč uporabljeni izrazi, kot je metaverse, pritegnejo oči, je osnovni duh spoznanje, da imajo 3D okolja, kot so tista, ki se uporabljajo v video igrah, virtualnih svetovih in digitalnih dvojčkih, pomembno vlogo v naši prihodnosti. 3D sredstva, kot so tista, ki jih proizvajajo NeRFs in splatting, so pripravljena postati vsebina, s katero se bomo ukvarjali v prihodnosti.

V tem kontekstu je obsežna ambicija upanje za realni čas 3D zemljevid sveta. Medtem ko so bila na voljo orodja za ustvarjanje statičnih 3D zemljevidov, ostaja izziv iskanje načinov, kako te zemljevide ohranjati posodobljene z nenehno spreminjajočim se svetom.

»Tu je izgradnja modela sveta in potem je tu še vzdrževanje tega modela sveta. S temi metodami, o katerih govorimo, mislim, da bi lahko končno imeli tehnologijo za rešitev problema 'vzdrževanja modela' s pomočjo množičnega izvajanja,« pravi Sidhu.

Projekti, kot je Googlov Immersive View, so dobri zgodnji primeri posledic tega za potrošnike. Čeprav ne bi špekuliral, kdaj bo to sčasoma mogoče, se je Sidhu strinjal, da bo na neki točki obstajala tehnologija, ki bo uporabniku v VR omogočila, da se sprehodi kjerkoli na Zemlji s sprotno, poglobljeno izkušnjo tega, kar se tam dogaja. . Tovrstna tehnologija se bo prelila tudi v prizadevanja v »teleportacija« na osnovi avatarja,« srečanja na daljavo in druga družabna srečanja.

Še en razlog za navdušenje, pravi Sidhu, je zajem 3D spomina. Apple se na primer močno nagiba k temu 3D fotografija in video za slušalke mešane resničnosti Vision Pro. Kot primer mi je Sidhu povedal, da je pred kratkim ustvaril visokokakovostno repliko hiše svojih staršev, preden so se odselili. Nato jim je lahko ponudil izkušnjo hoje v njej z uporabo virtualne resničnosti.

»Imeti tisti visceralni občutek, da sem spet tam, je tako močan. Zato sem tako optimističen glede Applea, kajti če bodo dosegli ta 3D-medijski format, lahko tam stvari postanejo vznemirljive za navadne ljudi.«

Od jamske umetnosti do oljnih slik je impulz po ohranitvi vidikov naše čutne izkušnje globoko človeški. Tako kot se je fotografija nekoč vmešala v tihožitja kot sredstvo za ohranjanje, se zdi, da bodo orodja za ustvarjanje 3D izpodrinila našo dolgoletno afero z 2D slikami in videoposnetki.

Toda tako kot lahko fotografija upa le, da bo ujela delček trenutka v času, 3D modeli ne morejo v celoti nadomestiti našega odnosa do fizičnega sveta. Kljub temu so za tiste, ki doživljajo grozote vojne v Ukrajini, morda to dobrodošli dogodki, ki ponujajo bolj poglobljen način za ohranitev tega, česar nikoli ni mogoče zares nadomestiti.

Kreditno slike: Wim Torbeyns / Unsplash 

Časovni žig:

Več od Središče singularnosti