En revolution inden for computergrafik bringer 3D Reality Capture til masserne

En revolution inden for computergrafik bringer 3D Reality Capture til masserne

Tidsstempel: 6. november 2023 kl. 10
En revolution inden for computergrafik bringer 3D Reality Capture til masserne PlatoBlockchain Data Intelligence. Lodret søgning. Ai.

Som et krigsvåben er ødelæggelse af kulturarvssteder en almindelig metode af væbnede angribere for at fratage et samfund deres særskilte identitet. Det var da ingen overraskelse, i februar 2022, da russiske tropper fejede ind i Ukraine, at historikere og kulturarvsspecialister forberedte sig på den kommende ødelæggelse. Hidtil i Rusland-Ukraine-krigen har UNESCO bekræftet skader på hundredvis af religiøse og historiske bygninger og snesevis af offentlige monumenter, biblioteker og museer.

Mens nye teknologier som billige droner, 3D udskrivningog privat satellit internet kan skabe en udpræget slagmark fra det 21. århundrede, der ikke er kendt for konventionelle hære, skaber et andet sæt teknologier nye muligheder for borgerarkivarer uden for frontlinjen for at bevare ukrainske kulturarvssteder.

Backup Ukraine, et samarbejdsprojekt mellem den danske UNESCO Nationalkommission og Polycam, et 3D-skabelsesværktøj, gør det muligt for alle, der kun er udstyret med en telefon, at scanne og fange højkvalitets, detaljerede og fotorealistiske 3D-modeller af kulturarvssteder, noget kun muligt med dyrt og byrdefuldt udstyr for få år siden.

Backup Ukraine er et bemærkelsesværdigt udtryk for den fantastiske hastighed, hvormed 3D-optagelse og grafikteknologier udvikler sig, ifølge Bilawal Sidhu, en teknolog, engleinvestor og tidligere Google-produktchef, der arbejdede på 3D-kort og AR/VR.

"Reality capture-teknologier er på en svimlende eksponentiel demokratiseringskurve," forklarede han mig i et interview for Singularitet Hub.

Ifølge Sidhu havde det været muligt at generere 3D-aktiver, men kun med dyre værktøjer som DSLR-kameraer, lidar-scannere og dyre softwarelicenser. Som eksempel nævnte han arbejdet med CyArk, en non-profit, der blev grundlagt for to årtier siden med det formål at bruge professionel 3D-optagelsesteknologi til at bevare kulturarven rundt om i verden.

"Det, der er sindssygt, og det, der har ændret sig, er, at jeg i dag kan gøre alt det med iPhonen i lommen," siger han.

I vores diskussion fremlagde Sidhu tre distinkte, men indbyrdes forbundne teknologitendenser, der driver disse fremskridt. For det første er der et fald i omkostningerne for den slags kameraer og sensorer, der kan fange et objekt eller et rum. For det andet er en kaskade af nye teknikker, der gør brug af kunstig intelligens til at konstruere færdige 3D-aktiver. Og for det tredje er udbredelsen af ​​computerkraft, hovedsageligt drevet af GPU'er, der er i stand til at gengive grafikintensive objekter på enheder bredt tilgængelige for forbrugerne.

Lidar-scannere er et eksempel på pris-ydelsesforbedringer i sensorer. Først populær som de voluminøse roterende sensorer oven på autonome køretøjer og prissat i titusinder af dollars, fik lidar sin forbrugerteknologiske debut på iPhone 12 Pro og Pro Max i 2020. Evnen til at scanne et rum på samme måde som førerløse biler ser verden betød, at alle pludselig kunne hurtigt og billigt generere detaljerede 3D-aktiver. Dette var dog stadig kun tilgængeligt for de rigeste Apple-kunder.

Et af branchens mest konsekvente vendepunkter indtraf samme år, da forskere hos Google introduceret neurale udstrålingsfelter, almindeligvis omtalt som NeRF'er.

Denne tilgang bruger maskinlæring til konstruere en troværdig 3D-model af et objekt eller rum ud fra 2D-billeder eller video. Det neurale netværk "hallucinerer", hvordan en fuld 3D-scene ville se ud, ifølge Sidhu. Det er en løsning på "se syntese", en computergrafikudfordring, der søger at give nogen mulighed for at se et rum fra ethvert synspunkt fra kun nogle få kildebilleder.

"Så den ting kom frem, og alle indså, at vi nu har en avanceret visningssyntese, der fungerer glimrende til alle de ting, fotogrammetri har haft svært ved med som gennemsigtighed, gennemsigtighed og reflektivitet. Det her er lidt vanvittigt,” tilføjer han.

Computervision-samfundet kanaliserede deres begejstring til kommercielle applikationer. Hos Google udforskede Sidhu og hans team at bruge teknologien til fordybende udsigt, en 3D-version af Google Maps. For den gennemsnitlige bruger, udbredelsen af ​​forbrugervenlige applikationer som Luma AI og andre betød, at alle med blot et smartphone-kamera kunne lave fotorealistiske 3D-aktiver. Oprettelsen af ​​3D-indhold af høj kvalitet var ikke længere begrænset til Apples lidar-elite.

Nu får en anden potentielt endnu mere lovende metode til at løse synssyntese opmærksomhed, der konkurrerer med den tidlige NeRF-spænding. Gaussisk sprøjt er en gengivelsesteknik, der efterligner vejen trekanter bruges til traditionelle 3D-aktiver, men i stedet for trekanter er det en "splat" af farve udtrykt gennem en matematisk funktion kendt som en gaussian. Efterhånden som flere gaussere lægges sammen, bliver et meget detaljeret og tekstureret 3D-aktiv synligt. Hastigheden af ​​adoption til splatting er forbløffende at se.

Det er kun et par måneder siden, men demoer oversvømmer X, og både Luma AI og Polycam tilbyder værktøjer til at generere gaussiske streger. Andre udviklere arbejder allerede på måder at integrere dem i traditionelle spilmotorer som Unity og Unreal. Splats vinder også opmærksomhed fra den traditionelle computergrafikindustri, da deres gengivelseshastighed er hurtigere end NeRF'er, og de kan redigeres på måder, som allerede er kendt for 3D-kunstnere. (NeRF'er tillader ikke dette, da de er genereret af et uoverskueligt neuralt net.)

For en god forklaring på, hvordan gaussisk sprøjt virker, og hvorfor det genererer buzz, se denne video fra Sidhu.

[Indlejret indhold]

Uanset detaljerne er vi for forbrugerne bestemt i et øjeblik, hvor en telefon kan generere 3D-aktiver i Hollywood-kaliber, som for ikke længe siden kun veludstyrede produktionshold kunne producere.

Men hvorfor betyder 3D-skabelse overhovedet noget?

For at værdsætte skiftet mod 3D-indhold er det værd at bemærke, at teknologilandskabet orienterer sig mod en fremtid med "spatial computing". Mens overbrugte termer som metaverset kan trække øjnene, er den underliggende ånd en erkendelse af, at 3D-miljøer, som dem der bruges i videospil, virtuelle verdener og digitale tvillinger har en stor rolle at spille i vores fremtid. 3D-aktiver som dem, der produceres af NeRF'er og splatting, er klar til at blive det indhold, vi vil engagere os i i fremtiden.

Inden for denne sammenhæng er en storstilet ambition håbet om en realtid 3D-kort over verden. Selvom værktøjer til at generere statiske 3D-kort har været tilgængelige, er udfordringen stadig at finde måder at holde disse kort opdaterede med en verden i konstant forandring.

"Der er bygningen af ​​verdensmodel, og så er der opretholdelse af den model af verden. Med disse metoder, vi taler om, tror jeg, at vi måske endelig har teknologien til at løse 'vedligeholdelse af modellen'-problemet gennem crowdsourcing,” siger Sidhu.

Projekter som Googles Immersive View er gode tidlige eksempler på forbrugernes implikationer af dette. Selvom han ikke ville spekulere i, hvornår det i sidste ende kunne være muligt, var Sidhu enig i, at på et tidspunkt vil teknologien eksistere, som vil give en bruger i VR mulighed for at gå rundt hvor som helst på Jorden med en real-time, fordybende oplevelse af, hvad der sker der . Denne type teknologi vil også smitte af på indsatsen avatar-baseret "teleportation,” fjernmøder og andre sociale sammenkomster.

En anden grund til at være begejstret, siger Sidhu, er 3D-hukommelsesoptagelse. Apple hælder for eksempel meget til 3D foto og video for deres Vision Pro mixed reality headset. Som et eksempel fortalte Sidhu mig, at han for nylig lavede en kopi af høj kvalitet af sine forældres hus, før de flyttede ud. Han kunne så give dem oplevelsen af ​​at gå inde i den ved hjælp af virtual reality.

"At have den viscerale følelse af at være tilbage der er så kraftfuldt. Det er derfor, jeg er så bullish på Apple, for hvis de sætter skub i dette 3D-medieformat, er det dér, tingene kan blive spændende for almindelige mennesker."

Fra hulekunst til oliemalerier er impulsen til at bevare aspekter af vores sanseoplevelse dybt menneskelig. Ligesom fotografering engang har været med i stilleben som et middel til bevarelse, ser 3D-skabelsesværktøjer ud til at fortrænge vores mangeårige affære med 2D-billeder og -video.

Men ligesom fotografering kun kan håbe på at fange en brøkdel af et øjeblik i tid, kan 3D-modeller ikke fuldt ud erstatte vores forhold til den fysiske verden. Alligevel, for dem, der oplever krigens rædsler i Ukraine, er disse måske velkomne udviklinger, der tilbyder en mere fordybende måde at bevare det, der aldrig rigtigt kan erstattes.

Billede Credit: Wim Torbeyns / Unsplash 

Tidsstempel:

Mere fra Singularitet Hub