En revolution inom datorgrafik ger 3D Reality Capture till massorna

En revolution inom datorgrafik ger 3D Reality Capture till massorna

Tidsstämpel: 6 november 2023 10:23
En revolution inom datorgrafik ger 3D Reality Capture till massorna PlatoBlockchain Data Intelligence. Vertikal sökning. Ai.

Som ett krigsvapen är förstörelse av kulturarv en vanlig metod av beväpnade inkräktare för att beröva en gemenskap deras distinkta identitet. Det var ingen överraskning då, i februari 2022, när ryska trupper svepte in i Ukraina, att historiker och kulturarvsspecialister rustade sig för den kommande förstörelsen. Hittills i Ryssland-Ukraina-kriget har UNESCO bekräftade skada på hundratals religiösa och historiska byggnader och dussintals offentliga monument, bibliotek och museer.

Medan ny teknik som billiga drönare, 3D tryckningoch privat satellit internet kan skapa ett utpräglat 21-tals slagfält som inte är känt för konventionella arméer, skapar en annan uppsättning teknologier nya möjligheter för medborgararkivarier utanför frontlinjen att bevara ukrainska kulturarv.

Säkerhetskopiera Ukraina, ett samarbetsprojekt mellan den danska UNESCO National Commission och Polycam, ett 3D-skapande verktyg, gör det möjligt för alla som är utrustade med endast en telefon att skanna och fånga högkvalitativa, detaljerade och fotorealistiska 3D-modeller av kulturarv, något som bara är möjligt med dyra och betungande utrustning för bara några år sedan.

Backup Ukraine är ett anmärkningsvärt uttryck för den otroliga hastighet med vilken 3D-infångning och grafikteknik utvecklas, enligt Bilawal Sidhu, en teknolog, ängelinvesterare och tidigare Google-produktchef som arbetade med 3D-kartor och AR/VR.

"Reality capture-teknologier befinner sig på en häpnadsväckande exponentiell demokratiseringskurva," förklarade han för mig i en intervju för Singularity Hub.

Enligt Sidhu hade det varit möjligt att skapa 3D-tillgångar, men bara med dyra verktyg som DSLR-kameror, lidar-skannrar och dyra programvarulicenser. Som exempel nämnde han arbetet med CyArk, en ideell organisation som grundades för två decennier sedan med syftet att använda professionell 3D-fångstteknik för att bevara kulturarvet runt om i världen.

"Det som är galet och det som har förändrats är att jag idag kan göra allt det där med iPhonen i fickan", säger han.

I vår diskussion lade Sidhu fram tre distinkta men ändå relaterade teknologitrender som driver fram dessa framsteg. För det första är kostnadsminskningen för de typer av kameror och sensorer som kan fånga ett objekt eller utrymme. För det andra är en kaskad av nya tekniker som använder artificiell intelligens för att konstruera färdiga 3D-tillgångar. Och för det tredje är spridningen av datorkraft, till stor del driven av GPU:er, som kan göra grafikintensiva objekt på enheter allmänt tillgängliga för konsumenter.

Lidar-skannrar är ett exempel på pris- och prestandaförbättringar för sensorer. Först populär som de skrymmande snurrande sensorerna ovanpå autonoma fordon, och prissatta i tiotusentals dollar, gjorde lidar sin konsumenttekniska debut på iPhone 12 Pro och Pro Max 2020. Möjligheten att skanna ett utrymme på samma sätt som förarlösa bilar ser världen innebar att alla plötsligt kunde snabbt och billigt generera detaljerade 3D-tillgångar. Detta var dock fortfarande bara tillgängligt för de rikaste Apple-kunderna.

En av branschens mest följdriktiga vändpunkter inträffade samma år när forskare på Google introducerade neurala strålningsfält, vanligtvis kallade NeRFs.

Detta tillvägagångssätt använder maskininlärning för att konstruera en trovärdig 3D-modell av ett objekt eller utrymme från 2D-bilder eller video. Det neurala nätverket "hallucinerar" hur en fullständig 3D-scen skulle se ut, enligt Sidhu. Det är en lösning på "visa syntes", en datorgrafikutmaning som försöker låta någon se ett utrymme från vilken synvinkel som helst från endast ett fåtal källbilder.

"Så den saken kom ut och alla insåg att vi nu har den senaste vysyntesen som fungerar utmärkt för allt som fotogrammetri har haft svårt med som transparens, genomskinlighet och reflektivitet. Det här är lite galet, tillägger han.

Computer vision community kanaliserade sin spänning till kommersiella tillämpningar. På Google utforskade Sidhu och hans team att använda tekniken för uppslukande utsikt, en 3D-version av Google Maps. För den genomsnittliga användaren, spridningen av konsumentvänliga applikationer som Luma AI och andra innebar att vem som helst med bara en smartphonekamera kunde göra fotorealistiska 3D-tillgångar. Skapandet av högkvalitativt 3D-innehåll var inte längre begränsat till Apples lidar-elit.

Nu får en annan potentiellt ännu mer lovande metod för att lösa synsyntes uppmärksamhet som konkurrerar med den tidiga NeRF-spänningen. Gaussiskt stänk är en renderingsteknik som efterliknar sättet trianglar används för traditionella 3D-tillgångar, men istället för trianglar är det en "splat" av färg uttryckt genom en matematisk funktion känd som en gaussian. När fler gausser läggs ihop, blir en mycket detaljerad och strukturerad 3D-tillgång synlig. Hastigheten för användning för splatter är fantastisk att se.

Det har bara gått några månader men demos översvämmar X, och både Luma AI och Polycam erbjuder verktyg för att generera gaussiska fläckar. Andra utvecklare arbetar redan på sätt att integrera dem i traditionella spelmotorer som Unity och Unreal. Splats får också uppmärksamhet från den traditionella datorgrafiska industrin eftersom deras renderingshastighet är snabbare än NeRFs, och de kan redigeras på sätt som redan är bekanta för 3D-artister. (NeRFs tillåter inte detta eftersom de genereras av ett otydligt neuralt nät.)

För en bra förklaring till hur gaussisk stänk fungerar och varför det genererar buzz, se den här videon från Sidhu.

[Inbäddat innehåll]

Oavsett detaljerna, för konsumenter, är vi definitivt i ett ögonblick där en telefon kan generera Hollywood-kaliber 3D-tillgångar som inte så länge sedan bara välutrustade produktionsteam kunde producera.

Men varför spelar 3D-skapande ens någon roll?

För att uppskatta förändringen mot 3D-innehåll är det värt att notera att tekniklandskapet orienterar mot en framtid av "spatial computing". Även om överanvända termer som metaversen kan dra ögonrullar, är den underliggande andan ett erkännande av att 3D-miljöer, som de som används i videospel, virtuella världar och digitala tvillingar har en stor roll att spela i vår framtid. 3D-tillgångar som de som produceras av NeRFs och splatting är redo att bli det innehåll vi kommer att engagera oss med i framtiden.

Inom detta sammanhang är en storskalig ambition hoppet om en realtid 3D-karta över världen. Även om verktyg för att generera statiska 3D-kartor har funnits, är utmaningen fortfarande att hitta sätt att hålla dessa kartor aktuella med en ständigt föränderlig värld.

"Det är byggandet av världens modell, och sedan finns det att upprätthålla den modellen av världen. Med de här metoderna vi pratar om tror jag att vi äntligen kan ha tekniken för att lösa problemet med att "underhålla modellen" genom crowdsourcing, säger Sidhu.

Projekt som Googles Immersive View är goda tidiga exempel på konsumenternas konsekvenser av detta. Även om han inte skulle spekulera när det så småningom kan vara möjligt, gick Sidhu med på att någon gång kommer tekniken att finnas som skulle göra det möjligt för en användare i VR att gå runt var som helst på jorden med en uppslukande upplevelse i realtid av vad som händer där . Denna typ av teknik kommer också att spela in i ansträngningar inom avatarbaserad "teleportation”, fjärrmöten och andra sociala sammankomster.

En annan anledning att vara upphetsad, säger Sidhu, är 3D-minnesfångst. Apple, till exempel, lutar sig mycket mot 3D-foto och video för deras Vision Pro mixed reality-headset. Som ett exempel berättade Sidhu att han nyligen skapade en högkvalitativ kopia av sina föräldrars hus innan de flyttade ut. Han kunde sedan ge dem upplevelsen av att gå inuti den med hjälp av virtuell verklighet.

"Att ha den där inre känslan av att vara tillbaka där är så kraftfullt. Det är därför jag är så hausseartad på Apple, för om de naglar det här 3D-medieformatet, det är där saker och ting kan bli spännande för vanliga människor.”

Från grottkonst till oljemålningar, impulsen att bevara aspekter av vår sinnesupplevelse är djupt mänsklig. Precis som fotografi en gång i tiden växte in på stilleben som ett sätt att bevara, verkar 3D-skapande verktyg redo att ersätta vår långvariga affär med 2D-bilder och video.

Men precis som fotografi bara kan hoppas på att fånga en bråkdel av ett ögonblick i tiden, kan 3D-modeller inte helt ersätta vårt förhållande till den fysiska världen. Ändå, för dem som upplever krigets fasor i Ukraina, kanske dessa är välkomna utvecklingar som erbjuder ett mer uppslukande sätt att bevara det som aldrig riktigt kan ersättas.

Image Credit: Wim Torbeyns / Unsplash 

Tidsstämpel:

Mer från Singularity Hub