Arvutigraafika revolutsioon toob 3D-reaalsuse jäädvustamise massideni

Arvutigraafika revolutsioon toob 3D-reaalsuse jäädvustamise massideni

Ajatempel: 6. november 2023 10:23
Arvutigraafika revolutsioon toob 3D-reaalsuse jäädvustamise masside PlatoBlockchaini andmeanalüüsi. Vertikaalne otsing. Ai.

Sõjarelvana on pärandkultuuriobjektide hävitamine a levinud meetod relvastatud sissetungijate poolt, et kogukond ära võtta nende erilisest identiteedist. Siis, 2022. aasta veebruaris, kui Vene väed Ukrainasse tungisid, polnud üllatav, et ajaloolased ja kultuuripärandi spetsialistid valmistusid eelseisvaks hävinguks. Seni Venemaa-Ukraina sõjas on UNESCO seda teinud kinnitatud kahju sadadele religioossetele ja ajaloolistele hoonetele ning kümnetele avalikele monumentidele, raamatukogudele ja muuseumidele.

Kuigi uued tehnoloogiad nagu odavad droonid, 3D trükkimineja privaatne satelliit-internet võib luua selgelt 21. sajandi lahinguvälja, mis on tavaarmeedele võõras, teine ​​​​tehnoloogiate kogum loob kodanike arhivaaridele uusi võimalusi Ukraina pärandi säilitamiseks väljaspool rindejoont.

Varundus Ukraina, Taani UNESCO riikliku komisjoni ja 3D-loometööriista Polycam koostööprojekt, mis võimaldab kõigil, kellel on ainult telefon, skannida ja jäädvustada pärandipaikade kvaliteetseid, üksikasjalikke ja fotorealistlikke 3D-mudeleid, mis on võimalik ainult kallite ja koormavate vahenditega. seadmed vaid paar aastat tagasi.

3D-kaartide ja AR/VR-i kallal töötanud endise Google'i tootejuhi Bilawal Sidhu sõnul väljendab Backup Ukraine hämmastavat kiirust, millega 3D-hõive ja graafikatehnoloogiad arenevad.

"Reaalsuse püüdmise tehnoloogiad on hämmastaval eksponentsiaalsel demokratiseerumiskõveral," selgitas ta mulle antud intervjuus. Singulaarsuse keskus.

Sidhu sõnul oli 3D-varade loomine olnud võimalik, kuid ainult kallite tööriistadega, nagu DSLR-kaamerad, lidari skannerid ja kallid tarkvaralitsentsid. Näitena tõi ta töö CyArk, mittetulundusühing, mis asutati kaks aastakümmet tagasi eesmärgiga kasutada professionaalset 3D-hõivetehnoloogiat kultuuripärandi säilitamiseks kogu maailmas.

"Mis on hullumeelne ja mis on muutunud, on see, et täna saan seda kõike teha, kui iPhone on taskus," ütleb ta.

Meie arutelus tõi Sidhu välja kolm erinevat, kuid omavahel seotud tehnoloogiasuunda, mis seda edusamme juhivad. Esiteks on objekti või ruumi jäädvustamiseks mõeldud kaamerate ja andurite kulude langus. Teiseks on uute tehnikate kaskaad, mis kasutavad tehisintellekti valmis 3D-varade ehitamiseks. Ja kolmandaks on arvutusvõimsuse levik, mida suuresti juhivad GPU-d, mis on võimelised tarbijatele laialdaselt kättesaadavates seadmetes renderdama graafikamahukaid objekte.

Lidari skannerid on näide andurite hinna ja kvaliteedi paranemisest. Esmakordselt populariseeriti autonoomsete sõidukite peal olevate suuremahuliste pöörlemisanduritena ja nende hind on kümneid tuhandeid dollareid, lidar tegi oma tarbijatehnoloogilise debüüdi iPhone 12 Pro ja Pro Maxi puhul 2020. aastal. Võimalus skannida ruumi samamoodi, nagu juhita autod maailma näevad, tähendas, et äkki sai igaüks kiiresti ja odavalt luua üksikasjalikke 3D-varasid. See oli siiski saadaval ainult Apple'i jõukamatele klientidele.

Üks tööstuse kõige mõjuvamaid pöördepunkte toimus samal aastal, kui Google'i teadlased sisse närvikiirguse väljad, mida tavaliselt nimetatakse NeRF-ideks.

See lähenemisviis kasutab masinõpet konstrueerida 3D-piltide või video põhjal objektist või ruumist usaldusväärne 2D-mudel. Sidhu sõnul "hallutsineerib" närvivõrk, kuidas täielik 3D-stseen välja näeb. See on lahendus "vaate sünteesile", arvutigraafika väljakutsele, mille eesmärk on võimaldada kellelgi näha ruumi mis tahes vaatenurgast vaid mõne lähtepildi alusel.

"Nii see asi tuli välja ja kõik mõistsid, et meil on nüüd tipptasemel vaatesüntees, mis töötab suurepäraselt kõigi asjade puhul, millel fotogrammomeetria on olnud raske läbipaistvuse, läbipaistvuse ja peegeldusega. See on omamoodi hull,” lisab ta.

Arvutinägemise kogukond suunas oma põnevuse kommertsrakendustesse. Google'is uurisid Sidhu ja tema meeskond selle tehnoloogia kasutamist kaasahaarav vaade, Google Mapsi 3D-versioon. Tavakasutajale meeldib tarbijasõbralike rakenduste levik Luma AI ja teised tähendasid, et igaüks, kellel on ainult nutitelefoni kaamera, saab teha fotorealistlikke 3D-varasid. Kvaliteetse 3D-sisu loomine ei piirdunud enam ainult Apple'i lidar-eliidiga.

Nüüd pälvib tähelepanu veel üks potentsiaalselt veelgi paljutõotavam vaatesünteesi lahendamise meetod, mis konkureerib varase NeRF-i põnevusega. Gaussi laigud on renderdustehnika, mis jäljendab viisi kolmnurki kasutatakse traditsiooniliste 3D-varade jaoks, kuid kolmnurkade asemel on see värvimärk, mida väljendatakse Gaussi funktsioonina tuntud matemaatilise funktsiooni kaudu. Kui rohkem gaussi kihte on kokku pandud, muutub nähtavaks väga detailne ja tekstureeritud 3D-vara. Splattingi kasutuselevõtu kiirus on hämmastav.

Sellest on vaid paar kuud möödas, aga demod ujutavad X üle ning nii Luma AI kui ka Polycam pakuvad tööriistu Gaussi tähiste genereerimiseks. Teised arendajad töötavad juba nende integreerimiseks traditsioonilistesse mängumootoritesse, nagu Unity ja Unreal. Tähised pälvivad tähelepanu ka traditsioonilises arvutigraafikatööstuses, kuna nende renderduskiirus on NeRF-idest kiirem ja neid saab redigeerida 3D-kunstnikele juba tuttaval viisil. (NeRF-id ei luba seda, kuna need on loodud dešifreerimata närvivõrgu poolt.)

Sellest Sidhu videost leiate suurepärast selgitust Gaussi splatting toimimise ja selle kohta, miks see suminat tekitab.

[Varjatud sisu]

Üksikasjadest hoolimata oleme tarbijate jaoks otsustavalt hetkel, kus telefon suudab genereerida Hollywoodi kaliibriga 3D-varasid, mida veel ammu suutsid toota ainult hästi varustatud tootmismeeskonnad.

Aga miks on 3D loomine üldse oluline?

Et mõista nihet 3D-sisu suunas, tasub märkida, et tehnoloogiamaastik on orienteeritud "ruumilise andmetöötluse" tulevikule. Ehkki ülekasutatud terminid, nagu metaversum, võivad tekitada pilkupüüdeid, on selle aluseks tõdemus, et 3D-keskkonnad, nagu videomängudes, virtuaalmaailmades ja digitaalsetes kaksikutes kasutatavad keskkonnad, mängivad meie tulevikus suurt rolli. 3D-varad, nagu need, mida toodavad NeRF-id ja splatting, on valmis saama sisuks, millega me tulevikus tegeleme.

Selles kontekstis on laiaulatuslik ambitsioon reaalajas lootus 3D maailma kaart. Kuigi tööriistad staatiliste 3D-kaartide loomiseks on saadaval, on endiselt väljakutseks leida viise, kuidas neid kaarte pidevalt muutuvas maailmas ajakohasena hoida.

"Seal on maailmamudeli ehitamine ja siis selle maailmamudeli säilitamine. Nende meetodite abil, millest me räägime, arvan, et meil võib lõpuks olla tehnika, et lahendada mudeli säilitamise probleem ühishanke kaudu, ”ütleb Sidhu.

Sellised projektid nagu Google'i Immersive View on head näited selle mõjust tarbijatele. Kuigi ta ei spekuleerinud, millal see lõpuks võimalikuks võib saada, nõustus Sidhu, et mingil hetkel on tehnoloogia olemas, mis võimaldab VR-i kasutajal kõikjal Maa peal ringi jalutada, saades seal toimuvast reaalajas kaasahaarava kogemuse. . Seda tüüpi tehnoloogia mõjutab ka jõupingutusi avataripõhine "teleportatsioon”, kaugkoosolekud ja muud seltskondlikud koosviibimised.

Teine põhjus põnevil olemiseks, ütleb Sidhu, on 3D-mälu jäädvustamine. Näiteks Apple kaldub tugevalt sellele 3D foto ja video nende Vision Pro segareaalsusega peakomplekti jaoks. Näiteks ütles Sidhu mulle, et lõi hiljuti oma vanemate maja kvaliteetse koopia, enne kui nad välja kolisid. Seejärel võiks ta anda neile virtuaalse reaalsuse abil selle sees kõndimise kogemuse.

"See vistseraalne tunne seal tagasi olla on nii võimas. See on põhjus, miks ma olen Apple'i suhtes nii innukas, sest kui nad selle 3D-meediumivormingu naelutavad, võivad asjad tavaliste inimeste jaoks põnevaks minna.

Koopakunstist õlimaalideni on meie sensoorse kogemuse aspektide säilitamise impulss sügavalt inimlik. Nii nagu fotograafia kasutas kunagi säilitamisvahendina natüürmorte, näivad 3D-loometööriistad olevat valmis tõrjuma välja meie pikaajalise suhte 2D-piltide ja videotega.

Kuid nii nagu fotograafia saab alati loota jäädvustada vaid murdosa hetkest, ei saa 3D-mudelid täielikult asendada meie suhet füüsilise maailmaga. Sellegipoolest võivad need Ukraina sõjakoledusi kogejate jaoks olla teretulnud arengud, mis pakuvad kaasahaaravamat viisi, kuidas säilitada seda, mida ei saa kunagi tõeliselt asendada.

Image Credit: Wim Torbeyns / Unsplash 

Ajatempel:

Veel alates Singulaarsuse keskus