A számítógépes grafika forradalma tömegekhez juttatja el a 3D valóságrögzítést

A számítógépes grafika forradalma tömegekhez juttatja el a 3D valóságrögzítést

Időbélyeg: 6. november 2023. 10:23
A Revolution in Computer Graphics Is Bringing 3D Reality Capture to the Masses PlatoBlockchain Data Intelligence. Vertical Search. Ai.

A kulturális örökségi helyszínek lerombolása háborús fegyverként a közös módszer fegyveres betolakodók által, hogy megfosszon egy közösséget sajátos identitásától. Nem volt meglepő akkor, 2022 februárjában, amikor az orosz csapatok bevonultak Ukrajnába, hogy a történészek és a kulturális örökség szakértői felkészültek a közelgő pusztításra. Az orosz-ukrán háborúban eddig az UNESCO megerősített vallási és történelmi épületek százainak, valamint több tucatnyi köztéri műemléknek, könyvtárnak és múzeumnak okozott kárt.

Míg az új technológiák, mint pl olcsó drónok, 3D nyomtatásés privát műholdas internet századi csatateret hoznak létre, amelyet a hagyományos hadseregek nem ismernek, egy másik technológiai csoport pedig új lehetőségeket teremt a frontvonalon kívüli állampolgári levéltárosok számára az ukrán örökség megőrzésében.

Backup Ukrajna, a dán UNESCO Nemzeti Bizottság és a Polycam, egy 3D-s készítőeszköz együttműködési projektje, amely lehetővé teszi, hogy bárki, akinek csak telefonja van, kiváló minőségű, részletes és fotorealisztikus 3D-s modelleket szkenneljen és rögzítsen örökségterületekről, ami csak drága és megterhelő költséggel lehetséges. felszerelést néhány évvel ezelőtt.

Bilawal Sidhu technológus, angyalbefektető és egykori Google termékmenedzser szerint, aki 3D térképeken és AR/VR-en dolgozott, a Backup Ukraine figyelemre méltó kifejezése annak a lenyűgöző sebességnek, amellyel a 3D-rögzítési és grafikai technológiák fejlődnek.

„A valóságrögzítési technológiák a demokratizálódás elképesztő exponenciális görbéjén vannak” – magyarázta nekem egy interjúban. Singularity Hub.

Sidhu szerint lehetséges volt 3D-s eszközök létrehozása, de csak olyan drága eszközökkel, mint a DSLR fényképezőgépek, lidar szkennerek és drága szoftverlicencek. Példaként a munkáját hozta fel CyArk, egy non-profit szervezet, amelyet két évtizede alapítottak azzal a céllal, hogy professzionális minőségű 3D-s rögzítési technológiát alkalmazzanak a kulturális örökség megőrzésére szerte a világon.

„Ami őrültség, és ami megváltozott, az az, hogy ma mindezt megtehetem az iPhone-nal a zsebedben” – mondja.

Beszélgetésünk során Sidhu három különálló, mégis egymással összefüggő technológiai irányzatot vázolt fel, amelyek ezt a fejlődést hajtják. Az első a tárgy vagy tér rögzítésére alkalmas kamerák és érzékelők költségének csökkenése. A második az új technikák kaszkádja, amelyek mesterséges intelligenciát használnak kész 3D-s eszközök létrehozására. A harmadik pedig a számítási teljesítmény elterjedése, amelyet nagyrészt a GPU-k vezérelnek, amelyek képesek grafikus igényű objektumok megjelenítésére a fogyasztók számára széles körben elérhető eszközökön.

A Lidar szkennerek példák az érzékelők ár-teljesítmény-javítására. Először terjedelmes, forgó érzékelőkként népszerűsítették az autonóm járművek tetején, és az árat a tízezer dollárt, a lidar 12-ban debütált a fogyasztói technológiában az iPhone 2020 Pro és Pro Max készülékeken. Az a képesség, hogy a teret úgy pásztázzák, ahogyan a vezető nélküli autók látják a világot, azt jelentette, hogy hirtelen bárki gyorsan és olcsón részletes 3D-s eszközöket generál. Ez azonban továbbra is csak a leggazdagabb Apple-ügyfelek számára volt elérhető.

Az iparág egyik legkövetkezményesebb fordulópontja ugyanabban az évben történt, amikor a Google kutatói Bevezetett idegi sugárzási mezők, amelyeket általában NeRF-nek neveznek.

Ez a megközelítés a gépi tanulást használja 3D képekből vagy videókból készítsen hiteles 2D-s modellt egy tárgyról vagy térről. Sidhu szerint a neurális hálózat „hallucinálja”, hogyan fog megjelenni egy teljes 3D-s jelenet. Megoldás a „szintézis megtekintésére”, egy számítógépes grafikai kihívásra, amely arra törekszik, hogy valaki csak néhány forrásképből lásson egy teret bármilyen szempontból.

„Tehát ez a dolog megjelent, és mindenki rájött, hogy most a legmodernebb nézetszintézissel rendelkezünk, amely kiválóan működik minden olyan dologhoz, amelyet a fotogrammetria nehezen viselt, mint például az átlátszóság, az áttetszőség és a tükröződés. Ez egyfajta őrültség” – teszi hozzá.

A számítógépes látás közösség izgalmát kereskedelmi alkalmazásokba irányította. A Google-nál Sidhu és csapata felfedezte a technológia használatát magával ragadó kilátás, a Google Térkép 3D-s verziója. Az átlagfelhasználó számára a fogyasztóbarát alkalmazások terjedése tetszik Luma AI mások pedig azt jelentették, hogy bárki, akinek csak okostelefonja van, fotórealisztikus 3D-s eszközöket készíthet. A kiváló minőségű 3D-s tartalmak létrehozása már nem korlátozódott az Apple lidar-elitjére.

A nézetszintézis megoldásának egy másik, potenciálisan még ígéretesebb módszere most a korai NeRF izgalmával vetekedő figyelmet érdemel. Gauss fröccs egy olyan renderelési technika, amely utánozza az utat háromszögeket használnak a hagyományos 3D-s eszközökhöz, de a háromszögek helyett ez egy „színjelzés”, amelyet egy Gauss-ként ismert matematikai függvény fejez ki. Ahogy egyre több Gauss réteg kerül egymásba, egy rendkívül részletes és texturált 3D-s eszköz válik láthatóvá. Lenyűgöző a splatting alkalmazásának sebessége.

Csak néhány hónap telt el, de demók elárasztják az X-et, és mind a Luma AI, mind a Polycam eszközöket kínál Gauss-splat generálásához. Más fejlesztők már dolgoznak azon, hogyan integrálják őket olyan hagyományos játékmotorokba, mint a Unity és az Unreal. A táblák a hagyományos számítógépes grafikai iparban is felkeltik a figyelmet, mivel a renderelési sebességük gyorsabb, mint a NeRF-eknél, és a 3D művészek számára már megszokott módon szerkeszthetők. (A NeRF-ek ezt nem teszik lehetővé, mivel egy megfejthetetlen neurális háló generálja őket.)

For a great explanation for how gaussian splatting works and why it’s generating buzz, see this video from Sidhu.

[Beágyazott tartalmat]

A részletektől függetlenül a fogyasztók számára határozottan abban a pillanatban vagyunk, amikor egy telefon olyan hollywoodi kaliberű 3D-s eszközöket tud előállítani, amilyeneket nem régen csak jól felszerelt produkciós csapatok tudtak előállítani.

De miért számít egyáltalán a 3D-s alkotás?

A 3D-s tartalom felé történő elmozdulás értékeléséhez érdemes megjegyezni, hogy a technológiai környezet a „térbeli számítástechnika” jövője felé orientálódik. Míg a túlzottan használt kifejezések, mint a metaverzum, szemforgatást vonhatnak maguk után, a mögöttes szellem annak felismerése, hogy a 3D-s környezeteknek, mint például a videojátékokban, a virtuális világokban és a digitális ikreknél, nagy szerepük van a jövőnkben. Az olyan 3D-eszközök, mint amilyenek a NeRF-ek és a splatting által előállítottak, olyan tartalommá válhatnak, amellyel a jövőben foglalkozni fogunk.

Ebben az összefüggésben egy nagyszabású ambíció a valós idejű remény 3D-s világtérkép. Noha rendelkezésre álltak statikus 3D-s térképek készítésére szolgáló eszközök, továbbra is kihívást jelent megtalálni azokat a módokat, amelyekkel ezeket a térképeket naprakészen lehet tartani a folyamatosan változó világban.

„Ott van a világmodell felépítése, majd a világmodell fenntartása. Ezekkel a módszerekkel, amelyekről beszélünk, úgy gondolom, hogy végre meglesz a technológiánk a „modell fenntartása” probléma megoldására a crowdsourcing segítségével” – mondja Sidhu.

Az olyan projektek, mint a Google Immersive View, jó korai példák ennek fogyasztói vonatkozásaira. Bár nem találgat, hogy ez végül mikor lehetséges, Sidhu egyetértett azzal, hogy valamikor létezni fog az a technológia, amely lehetővé teszi a VR-felhasználók számára, hogy a Föld bármely pontján bejárhassanak, és valós idejű, magával ragadó élményben legyenek az ott zajló események. . Ez a fajta technológia az erőfeszítésekbe is behatol avatár alapú „teleportáció”, távoli találkozók és egyéb társasági összejövetelek.

Egy másik ok az izgatottságra, mondja Sidhu, a 3D memóriarögzítés. Az Apple például erősen hajlik rá 3D fotó és videó a Vision Pro vegyes valóságú fejhallgatójukhoz. Példaként, Sidhu elmesélte, hogy nemrégiben elkészítette a szülei házának kiváló minőségű másolatát, mielőtt elköltöztek volna. Ezután átadhatná nekik azt az élményt, hogy a virtuális valóság segítségével sétálhatnak benne.

„Annyira erős az a zsigeri érzés, hogy újra ott vagyok. Ez az oka annak, hogy annyira hűvös vagyok az Apple-lel kapcsolatban, mert ha rátalálnak erre a 3D-s médiaformátumra, akkor a hétköznapi emberek számára a dolgok izgalmassá válhatnak.”

A barlangművészettől az olajfestményekig az érzékszervi tapasztalataink megőrzésére irányuló késztetés mélyen emberi. Ahogyan a fényképezés egykor a csendéletek konzerválásának eszköze volt, úgy tűnik, hogy a 3D-s alkotási eszközök alkalmasak arra, hogy kiszorítsák a 2D-s képek és videók iránti régóta fennálló kapcsolatunkat.

De ahogy a fotózás csak egy pillanat töredékének megörökítésében reménykedhet, a 3D-s modellek sem pótolhatják teljes mértékben a fizikai világhoz való viszonyunkat. Mindazonáltal azok számára, akik átélik az ukrajnai háború borzalmait, ezek talán örvendetes fejlemények, amelyek magával ragadóbb módot kínálnak arra, hogy megőrizzék azt, amit valójában soha nem lehet pótolni.

Kép: Wim Torbeyns / Unsplash 

Időbélyeg:

Még több Singularity Hub