Tietokonegrafiikan vallankumous tuo 3D-todellisuuden vangitsemisen massoihin

Tietokonegrafiikan vallankumous tuo 3D-todellisuuden vangitsemisen massoihin

Aikaleima: 6. marraskuuta 2023 10
Tietokonegrafiikan vallankumous tuo 3D-todellisuuden kaappauksen massoihin PlatoBlockchain-tietoälyyn. Pystysuuntainen haku. Ai.

Sodan aseena kulttuuriperintökohteiden tuhoaminen on a yleinen menetelmä aseelliset hyökkääjät riistävät yhteisöltä heidän erillisen identiteettinsä. Ei ollut yllätys silloin, helmikuussa 2022, kun venäläiset joukot pyyhkäisivät Ukrainaan, että historioitsijat ja kulttuuriperinnön asiantuntijat valmistautuivat tulevaan tuhoon. Tähän mennessä Venäjän ja Ukrainan sodassa UNESCO on tehnyt vahvistettu vaurioita sadoille uskonnollisille ja historiallisille rakennuksille ja kymmenille julkisille monumenteille, kirjastoille ja museoille.

Vaikka uudet tekniikat pitävät edullisia droneja, 3D tulostusja yksityinen satelliitti-internet saattaa luoda selkeästi 21-luvun taistelukentän, joka ei ole perinteisille armeijille tuttu, ja toinen teknologiasarja luo uusia mahdollisuuksia kansalaisarkistonhoitajille rintaman ulkopuolella suojella Ukrainan kulttuuriperintökohteita.

Varmuuskopioi Ukraina, Tanskan Unescon kansallisen komission ja Polycam, 3D-luontityökalu, yhteistyöprojekti, jonka avulla kuka tahansa, jolla on pelkkä puhelin, voi skannata ja kaapata korkealaatuisia, yksityiskohtaisia ​​ja fotorealistisia 3D-malleja perintökohteista, mikä on mahdollista vain kalliilla ja työläillä. laitteita vain muutama vuosi sitten.

3D-karttojen ja AR/VR:n parissa työskennellyt tekniikan, enkelisijoittajan ja entisen Googlen tuotepäällikön Bilawal Sidhun mukaan Backup Ukraine on merkittävä ilmaus 3D-kaappaus- ja grafiikkatekniikoiden hämmästyttävästä nopeudesta.

"Todellisuuden kaappausteknologiat ovat hämmästyttävällä eksponentiaalisella demokratisoitumiskäyrällä", hän selitti minulle haastattelussa. Singulaarisuus Hub.

Sidhun mukaan 3D-resurssien luominen oli mahdollista, mutta vain kalliilla työkaluilla, kuten DSLR-kameroilla, lidar-skannereilla ja kalliilla ohjelmistolisensseillä. Esimerkkinä hän mainitsi työn CyArk, voittoa tavoittelematon yritys, joka perustettiin kaksi vuosikymmentä sitten ja jonka tavoitteena on käyttää ammattitason 3D-tallennustekniikkaa kulttuuriperinnön säilyttämiseen ympäri maailmaa.

"Mikä on hullua ja mikä on muuttunut, on tänään, että voin tehdä kaiken tämän iPhonella taskussasi", hän sanoo.

Keskustelussamme Sidhu esitti kolme erillistä, mutta toisiinsa liittyvää teknologiatrendiä, jotka ohjaavat tätä kehitystä. Ensimmäinen on sellaisten kameroiden ja antureiden kustannusten lasku, jotka voivat kaapata kohteen tai tilan. Toinen on sarja uusia tekniikoita, jotka käyttävät tekoälyä valmiiden 3D-resurssien rakentamiseen. Ja kolmas on laskentatehon lisääntyminen, jota suurelta osin ohjaavat GPU:t, jotka pystyvät renderöimään grafiikkaintensiivisiä objekteja laitteissa, jotka ovat laajasti kuluttajien saatavilla.

Lidar-skannerit ovat esimerkki antureiden hinta-suorituskyvyn parantamisesta. Ensimmäistä kertaa suosituksi tuli isoina pyörivinä antureina autonomisten ajoneuvojen päällä ja hinnoiteltu vuonna kymmeniä tuhansia dollareita, lidar teki kuluttajateknologiadebyyttinsä iPhone 12 Prossa ja Pro Maxissa vuonna 2020. Mahdollisuus skannata tilaa samalla tavalla kuin kuljettajattomat autot näkevät maailman tarkoitti, että yhtäkkiä kuka tahansa pystyi nopeasti ja edullisesti luoda yksityiskohtaisia ​​3D-resursseja. Tämä oli kuitenkin edelleen vain rikkaimpien Apple-asiakkaiden saatavilla.

Yksi alan merkittävimmistä käännekohdista tapahtui samana vuonna, kun Googlen tutkijat käyttöön hermosäteilykentät, joita kutsutaan yleisesti NeRF:iksi.

Tämä lähestymistapa käyttää koneoppimista rakentaa 3D-kuvista tai videoista luotettava 2D-malli esineestä tai tilasta. Sidhun mukaan hermoverkko "hallusinoi", miltä täydellinen 3D-kohtaus näyttäisi. Se on ratkaisu "näkymäsynteesiin", tietokonegrafiikkahaasteeseen, jonka avulla joku voi nähdä tilan mistä tahansa näkökulmasta vain muutamasta lähdekuvasta.

”Joten tuo asia tuli esille ja kaikki ymmärsivät, että meillä on nyt huippuluokan näkymäsynteesi, joka toimii loistavasti kaikissa asioissa, joilla fotogrammetrialla on ollut vaikeuksia, kuten läpinäkyvyys, läpikuultavuus ja heijastavuus. Tämä on jotenkin hullua, hän lisää.

Tietokonenäköyhteisö kanavoi jännityksensä kaupallisiin sovelluksiin. Googlella Sidhu ja hänen tiiminsä tutkivat teknologian käyttöä Kattava näkymä, Google Mapsin 3D-versio. Keskivertokäyttäjälle kuluttajaystävällisten sovellusten leviäminen, kuten Luma AI ja muut tarkoittivat, että kuka tahansa, jolla on pelkkä älypuhelimen kamera, pystyi tekemään fotorealistisia 3D-objekteja. Korkealaatuisen 3D-sisällön luominen ei enää rajoittunut Applen lidar-eliittiin.

Nyt toinen potentiaalisesti vielä lupaavampi menetelmä näkymäsynteesin ratkaisemiseksi ansaitsee huomiota, joka kilpailee varhaisen NeRF- jännityksen kanssa. Gaussin roiskeet on renderöintitekniikka, joka jäljittelee tapaa kolmioita käytetään perinteisissä 3D-aineistoissa, mutta kolmioiden sijaan se on "värimerkki", joka ilmaistaan ​​matemaattisella funktiolla, joka tunnetaan Gaussin funktiona. Mitä enemmän gaussialaisia ​​kerrostetaan yhteen, erittäin yksityiskohtainen ja teksturoitu 3D-sisältö tulee näkyviin. Splattingin käyttöönoton nopeus on hämmästyttävää.

Siitä on vasta muutama kuukausi, mutta demot tulvii X:ää, ja sekä Luma AI että Polycam tarjoavat työkaluja Gaussin merkkien luomiseen. Muut kehittäjät etsivät jo tapoja integroida ne perinteisiin pelimoottoreihin, kuten Unity ja Unreal. Splatit saavat huomiota myös perinteiseltä tietokonegrafiikkateollisuudelta, sillä niiden renderöintinopeus on nopeampi kuin NeRF:ien ja niitä voidaan muokata 3D-taiteilijoille jo tutuilla tavoilla. (NeRF:t eivät salli tätä, koska ne on luotu salaamattoman hermoverkon avulla.)

Tästä Sidhun videosta saat loistavan selityksen Gauss-splattingin toiminnasta ja siitä, miksi se synnyttää ääniä.

[Upotetun sisällön]

Yksityiskohdista huolimatta olemme kuluttajien kannalta selvästi hetkessä, jossa puhelin voi tuottaa Hollywood-kaliiperia 3D-resursseja, joita ei kauan sitten vain hyvin varustetut tuotantotiimit pystyivät tuottamaan.

Mutta miksi 3D-luomalla on ylipäätään väliä?

Jotta voisimme arvostaa siirtymistä kohti 3D-sisältöä, on syytä huomata, että teknologiamaailma on suuntautunut kohti "tilatietotekniikan" tulevaisuutta. Vaikka liian käytetyt termit, kuten metaversumi, saattavat herättää silmiä, taustalla oleva henki on tunnustus, että 3D-ympäristöillä, kuten videopeleissä, virtuaalimaailmoissa ja digitaalisissa kaksosissa, on suuri rooli tulevaisuudessamme. 3D-resurssit, kuten NeRF:ien ja splattingin tuottamat resurssit, ovat valmiita olemaan sisältö, jota käytämme tulevaisuudessa.

Tässä yhteydessä laajamittainen kunnianhimo on toivo reaaliaikaisuudesta 3D maailmankartta. Vaikka työkaluja staattisten 3D-karttojen luomiseen on ollut saatavilla, haasteena on edelleen löytää tapoja pitää nämä kartat ajan tasalla jatkuvasti muuttuvassa maailmassa.

”On olemassa maailmanmallin rakentaminen ja sitten sen maailmanmallin ylläpitäminen. Näillä menetelmillä, joista puhumme, uskon, että meillä saattaa vihdoin olla tekniikka ratkaista "mallin ylläpito" -ongelma joukkoistamisen avulla", Sidhu sanoo.

Projektit, kuten Googlen Immersive View, ovat hyviä varhaisia ​​esimerkkejä tämän kuluttajien vaikutuksista. Vaikka hän ei spekuloinutkaan, milloin se voisi lopulta olla mahdollista, Sidhu myönsi, että jossain vaiheessa tulee olemaan tekniikka, jonka avulla VR-käyttäjä voi kävellä missä tahansa maan päällä ja kokea reaaliaikaisen, mukaansatempaavan kokemuksen siitä, mitä siellä tapahtuu. . Tämäntyyppinen tekniikka tulee myös vaikuttamaan ponnisteluihin avatar-pohjainen "teleportaatio”, etäkokoukset ja muut sosiaaliset kokoontumiset.

Toinen syy olla innostunut, Sidhu sanoo, on 3D-muistin kaappaus. Esimerkiksi Apple on tukeutunut voimakkaasti 3D valokuva ja video heidän Vision Pro -sekoitetun todellisuuden kuulokkeilleen. Esimerkkinä Sidhu kertoi minulle, että hän loi äskettäin korkealaatuisen kopion vanhempiensa talosta ennen kuin he muuttivat pois. Hän voisi sitten antaa heille kokemuksen kävellä sen sisällä virtuaalitodellisuuden avulla.

”Se viskeraalinen tunne olla takaisin siellä on niin voimakasta. Tästä syystä olen niin innokas Applen suhteen, koska jos he nauhoittavat tämän 3D-mediamuodon, siellä asiat voivat olla jännittäviä tavallisille ihmisille.

Luolataiteesta öljymaalauksiin impulssi säilyttää aistikokemuksemme piirteet on syvästi inhimillinen. Aivan kuten valokuvaus aikoinaan painoi asetelmia säilyttämiskeinona, 3D-luontityökalut näyttävät olevan valmiita syrjäyttämään pitkäaikaisen suhdettamme 2D-kuviin ja -videoihin.

Mutta aivan kuten valokuvaus voi koskaan toivoa vangitsevansa hetken murto-osan, 3D-mallit eivät voi täysin korvata suhdettamme fyysiseen maailmaan. Silti niille, jotka kokevat sodan kauhuja Ukrainassa, nämä ovat ehkä tervetulleita kehityskulkuja, jotka tarjoavat mukaansatempaavamman tavan säilyttää se, mitä ei koskaan todellakaan voida korvata.

Kuva pistetilanne: Wim Torbeyns / Unsplash 

Aikaleima:

Lisää aiheesta Singulaarisuus Hub