Eine Revolution in der Computergrafik macht die 3D-Realitätserfassung für die breite Masse zugänglich

Eine Revolution in der Computergrafik macht die 3D-Realitätserfassung für die breite Masse zugänglich

Zeitstempel: 6. November 2023, 10:23 Uhr
Eine Revolution in der Computergrafik macht die 3D-Realitätserfassung für die breite Masse zugänglich. PlatoBlockchain Data Intelligence. Vertikale Suche. Ai.

Als Kriegswaffe ist die Zerstörung von Kulturerbestätten eine Gängige Methode durch bewaffnete Eindringlinge, um einer Gemeinschaft ihre eindeutige Identität zu entziehen. Als russische Truppen im Februar 2022 in die Ukraine einmarschierten, war es keine Überraschung, dass sich Historiker und Kulturerbespezialisten auf die bevorstehende Zerstörung vorbereiteten. Bisher hat die UNESCO im Russland-Ukraine-Krieg dies getan bestätigt Schäden an Hunderten von religiösen und historischen Gebäuden und Dutzenden von öffentlichen Denkmälern, Bibliotheken und Museen.

Während neue Technologien mögen kostengünstige Drohnen, 3D Druck und privates Satelliteninternet Möglicherweise entsteht ein Schlachtfeld des 21. Jahrhunderts, mit dem konventionelle Armeen nicht vertraut sind. Eine andere Reihe von Technologien eröffnet Bürgerarchivaren abseits der Front neue Möglichkeiten, ukrainische Kulturerbestätten zu bewahren.

Backup-Ukraine, ein Gemeinschaftsprojekt zwischen der dänischen UNESCO-Nationalkommission und Polycam, einem 3D-Erstellungstool, ermöglicht es jedem, der nur über ein Telefon verfügt, hochwertige, detaillierte und fotorealistische 3D-Modelle von Kulturdenkmälern zu scannen und zu erfassen, was nur mit teurem und aufwändigem Aufwand möglich ist Ausrüstung erst vor ein paar Jahren.

Laut Bilawal Sidhu, einem Technologen, Angel-Investor und ehemaligen Google-Produktmanager, der an 3D-Karten und AR/VR gearbeitet hat, ist Backup Ukraine ein bemerkenswerter Ausdruck der atemberaubenden Geschwindigkeit, mit der 3D-Erfassungs- und Grafiktechnologien voranschreiten.

„Reality-Capture-Technologien befinden sich auf einer atemberaubenden exponentiellen Demokratisierungskurve“, erklärte er mir in einem Interview für Singularity Hub.

Laut Sidhu war die Generierung von 3D-Assets möglich, allerdings nur mit teuren Werkzeugen wie DSLR-Kameras, Lidar-Scannern und teuren Softwarelizenzen. Als Beispiel nannte er die Arbeit von CyArk, eine gemeinnützige Organisation, die vor zwei Jahrzehnten mit dem Ziel gegründet wurde, mithilfe professioneller 3D-Erfassungstechnologie das kulturelle Erbe auf der ganzen Welt zu bewahren.

„Was verrückt ist und was sich geändert hat, ist, dass ich heute all das mit dem iPhone in der Tasche machen kann“, sagt er.

In unserer Diskussion stellte Sidhu drei unterschiedliche, aber miteinander verbundene Technologietrends dar, die diesen Fortschritt vorantreiben. Erstens sinken die Kosten für die Art von Kameras und Sensoren, die ein Objekt oder einen Raum erfassen können. Zweitens gibt es eine Kaskade neuer Techniken, die künstliche Intelligenz nutzen, um fertige 3D-Assets zu erstellen. Und drittens gibt es die zunehmende Rechenleistung, die größtenteils durch GPUs vorangetrieben wird und in der Lage ist, grafikintensive Objekte auf Geräten darzustellen, die den Verbrauchern allgemein zur Verfügung stehen.

Lidar-Scanner sind ein Beispiel für die Preis-Leistungs-Verbesserung bei Sensoren. Zuerst populär gemacht als die sperrigen rotierenden Sensoren auf dem Dach autonomer Fahrzeuge und zu einem Preis von ca Zehntausende DollarIm Jahr 12 feierte Lidar sein Consumer-Tech-Debüt auf dem iPhone 2020 Pro und Pro Max. Die Möglichkeit, einen Raum auf die gleiche Weise zu scannen, wie selbstfahrende Autos die Welt sehen, bedeutete, dass plötzlich jeder schnell und kostengünstig damit umgehen konnte Generieren Sie detaillierte 3D-Assets. Dies stand jedoch weiterhin nur den wohlhabendsten Apple-Kunden zur Verfügung.

Einer der folgenreichsten Wendepunkte der Branche ereignete sich im selben Jahr, als Forscher bei Google arbeiteten eingeführt neuronale Strahlungsfelder, allgemein als NeRFs bezeichnet.

Dieser Ansatz nutzt maschinelles Lernen, um Erstellen Sie aus 3D-Bildern oder Videos ein glaubwürdiges 2D-Modell eines Objekts oder Raums. Laut Sidhu „halluziniert“ das neuronale Netzwerk, wie eine vollständige 3D-Szene aussehen würde. Es handelt sich um eine Lösung für die „Ansichtssynthese“, eine Computergrafik-Herausforderung, die es jemandem ermöglichen soll, einen Raum aus jedem Blickwinkel aus nur wenigen Quellbildern zu betrachten.

„Also kam das Ding auf den Markt und allen wurde klar, dass wir jetzt über eine hochmoderne Ansichtssynthese verfügen, die bei all den Dingen, mit denen die Photogrammetrie bisher Schwierigkeiten hatte, wie Transparenz, Transluzenz und Reflexionsvermögen, hervorragend funktioniert. Das ist irgendwie verrückt“, fügt er hinzu.

Die Computer-Vision-Community kanalisierte ihre Begeisterung in kommerzielle Anwendungen. Bei Google erkundeten Sidhu und sein Team den Einsatz der Technologie für immersive Ansicht, eine 3D-Version von Google Maps. Für den durchschnittlichen Benutzer ist die Verbreitung verbraucherfreundlicher Anwendungen wie Luma KI und andere bedeuteten, dass jeder, der nur über eine Smartphone-Kamera verfügte, fotorealistische 3D-Assets erstellen konnte. Die Erstellung hochwertiger 3D-Inhalte war nicht mehr auf Apples Lidar-Elite beschränkt.

Jetzt erregt eine weitere, möglicherweise noch vielversprechendere Methode zur Lösung der Ansichtssynthese Aufmerksamkeit, die mit der frühen NeRF-Aufregung konkurrieren kann. Gaußsches Splatting ist eine Rendering-Technik, die den Weg nachahmt Dreiecke werden für herkömmliche 3D-Assets verwendet, aber anstelle von Dreiecken handelt es sich um einen „Farbklecks“, der durch eine mathematische Funktion ausgedrückt wird, die als Gaußsche Funktion bekannt ist. Je mehr Gaußsche Schichten übereinander gelegt werden, desto mehr wird ein hochdetailliertes und strukturiertes 3D-Asset sichtbar. Die Geschwindigkeit, mit der sich Splatting durchsetzt, ist atemberaubend anzusehen.

Es sind aber erst ein paar Monate vergangen Demos überschwemmen X, und sowohl Luma AI als auch Polycam bieten Tools zum Generieren von Gaußschen Splats an. Andere Entwickler arbeiten bereits an Möglichkeiten, sie in traditionelle Spiele-Engines wie Unity und Unreal zu integrieren. Splats erregen auch in der traditionellen Computergrafikbranche Aufmerksamkeit, da ihre Rendering-Geschwindigkeit schneller ist als die von NeRFs und sie auf eine Weise bearbeitet werden können, die 3D-Künstlern bereits vertraut ist. (NeRFs erlauben dies nicht, da sie von einem nicht entzifferbaren neuronalen Netz generiert werden.)

Eine großartige Erklärung, wie Gaussian Splatting funktioniert und warum es für Aufsehen sorgt, finden Sie in diesem Video von Sidhu.

[Eingebetteten Inhalt]

Unabhängig von den Details befinden wir uns für Verbraucher eindeutig in einem Moment, in dem ein Telefon 3D-Assets auf Hollywood-Niveau erzeugen kann, die vor nicht allzu langer Zeit nur gut ausgerüstete Produktionsteams produzieren konnten.

Aber warum ist die 3D-Erstellung überhaupt wichtig?

Um die Verlagerung hin zu 3D-Inhalten zu würdigen, ist es erwähnenswert, dass sich die Technologielandschaft auf eine Zukunft des „Spatial Computing“ ausrichtet. Auch wenn überstrapazierte Begriffe wie „Metaversum“ Augenrollen hervorrufen könnten, liegt der Grundgedanke in der Erkenntnis, dass 3D-Umgebungen, wie sie in Videospielen, virtuellen Welten und digitalen Zwillingen verwendet werden, in unserer Zukunft eine große Rolle spielen werden. 3D-Assets, wie sie von NeRFs und Splatting produziert werden, sind auf dem besten Weg, die Inhalte zu werden, mit denen wir uns in Zukunft beschäftigen werden.

In diesem Zusammenhang ist ein groß angelegter Ehrgeiz die Hoffnung auf eine Echtzeit 3D-Karte der Welt. Obwohl Tools zur Erstellung statischer 3D-Karten verfügbar sind, besteht die Herausforderung weiterhin darin, Wege zu finden, diese Karten angesichts einer sich ständig verändernden Welt auf dem neuesten Stand zu halten.

„Es gibt den Aufbau des Weltmodells und dann die Aufrechterhaltung dieses Weltmodells. Ich denke, dass wir mit diesen Methoden, über die wir sprechen, endlich über die Technologie verfügen könnten, um das Problem der „Aufrechterhaltung des Modells“ durch Crowdsourcing zu lösen“, sagt Sidhu.

Projekte wie Immersive View von Google sind gute frühe Beispiele für die Auswirkungen auf den Verbraucher. Obwohl er nicht spekulieren wollte, wann dies irgendwann möglich sein könnte, stimmte Sidhu zu, dass irgendwann die Technologie existieren wird, die es einem Benutzer in VR ermöglichen würde, überall auf der Erde umherzulaufen und in Echtzeit ein immersives Erlebnis dessen zu haben, was dort passiert . Diese Art von Technologie wird sich auch auf die Bemühungen auswirken Avatar-basierte „Teleportation“.”, Remote-Meetings und andere gesellschaftliche Zusammenkünfte.

Ein weiterer Grund zur Aufregung, sagt Sidhu, ist die 3D-Erinnerungserfassung. Apple zum Beispiel lehnt sich stark an 3D-Foto und Video für ihr Vision Pro Mixed-Reality-Headset. Als Beispiel erzählte mir Sidhu, dass er kürzlich vor ihrem Auszug eine hochwertige Nachbildung des Hauses seiner Eltern erstellt habe. Anschließend könnte er ihnen mithilfe der virtuellen Realität die Erfahrung vermitteln, darin herumzulaufen.

„Das viszerale Gefühl, wieder dort zu sein, ist so kraftvoll. Deshalb bin ich so optimistisch in Bezug auf Apple, denn wenn sie dieses 3D-Medienformat auf den Punkt bringen, kann es für normale Leute spannend werden.“

Von Höhlenkunst bis hin zu Ölgemälden ist der Drang, Aspekte unserer Sinneserfahrung zu bewahren, zutiefst menschlich. So wie die Fotografie einst Stillleben als Mittel zur Konservierung eroberte, scheinen 3D-Erstellungswerkzeuge bereit zu sein, unsere langjährige Leidenschaft für 2D-Bilder und -Videos zu verdrängen.

Doch ebenso wie die Fotografie immer nur hoffen kann, einen Bruchteil eines Augenblicks einzufangen, können 3D-Modelle unsere Beziehung zur physischen Welt nicht vollständig ersetzen. Dennoch sind dies für diejenigen, die die Schrecken des Krieges in der Ukraine erlebt haben, vielleicht willkommene Entwicklungen, die eine umfassendere Möglichkeit bieten, das zu bewahren, was nie wirklich ersetzt werden kann.

Bild-Kredit: Wim Torbeyns / Unsplash 

Zeitstempel:

Mehr von Singularity Hub