コンピュータ グラフィックスの革命により、3D リアリティ キャプチャが大衆に提供されています

コンピュータ グラフィックスの革命により、3D リアリティ キャプチャが大衆に提供されています

タイムスタンプ：6年2023月10日23:XNUMX AM
コンピューター グラフィックスの革命により、3D リアリティ キャプチャが大衆に導入されています PlatoBlockchain データ インテリジェンス。垂直検索。あい。

戦争の手段として、文化遺産を破壊することは危険な行為です。 一般的な方法 武装した侵略者によってコミュニティからその明確なアイデンティティを奪われること。 2022 年 XNUMX 月、ロシア軍がウクライナに侵攻したとき、歴史家や文化遺産の専門家が来たるべき破壊に備えたのも不思議ではありませんでした。 ロシア・ウクライナ戦争において、ユネスコはこれまでのところ、 確認された 数百の宗教的および歴史的建造物、数十の公共記念碑、図書館、博物館が被害を受けました。

新しいテクノロジーのようなものがある一方で、 低コストのドローン, 3D印刷, プライベート衛星インターネット 従来の軍隊にはなじみのない、明らかに21世紀の戦場を作り出しているかもしれないが、別の一連のテクノロジーは、前線を離れた市民アーキビストにウクライナの遺産を保存する新たな可能性を生み出している。

バックアップウクライナは、デンマークのユネスコ国内委員会と 3D 作成ツールである Polycam との共同プロジェクトであり、携帯電話だけを持っている人なら誰でも、高品質で詳細なフォトリアリスティックな遺跡の 3D モデルをスキャンしてキャプチャできるようになります。これは、高価で手間のかかる方法でのみ可能です。ほんの数年前の装備。

技術者でエンジェル投資家であり、3D マップと AR/VR に携わった元 Google プロダクト マネージャーの Bilawal Sidhu 氏によると、Backup Ukraine は 3D キャプチャおよびグラフィックス技術の驚くべきスピードの進歩を顕著に表しているという。

「リアリティ キャプチャ テクノロジーは民主化の驚くべき指数関数的な曲線を描いています」と彼はインタビューで私に説明しました。 特異点ハブ.

Sidhu 氏によると、3D アセットの生成はこれまでも可能でしたが、DSLR カメラ、LIDAR スキャナー、高価なソフトウェア ライセンスなどの高価なツールが必要でした。 一例として彼は次のような作品を挙げた。 サイアークは、プロフェッショナル グレードの 3D キャプチャ テクノロジーを使用して世界中の文化遺産を保存することを目的として、XNUMX 年前に設立された非営利団体です。

「非常識なこと、そして変わったことは、今日ではポケットの中にある iPhone ですべてのことができるようになったことです」と彼は言います。

私たちのディスカッションの中で、シドゥ氏は、この進歩を推進する 3 つの異なる、しかし相互に関連するテクノロジー トレンドについて説明しました。 XNUMX つ目は、物体や空間を撮影できる種類のカメラやセンサーのコストの低下です。 XNUMX つ目は、人工知能を利用して完成した XNUMXD アセットを構築する新しい技術のカスケードです。 そして XNUMX つ目は、主に GPU によって駆動されるコンピューティング能力の普及であり、消費者が広く利用できるデバイス上でグラフィックスを多用するオブジェクトをレンダリングできるようになります。

LiDAR スキャナは、センサーの価格性能比の向上の一例です。 最初は自動運転車の上に搭載された大型の回転センサーとして普及し、価格は 数万ドル、LiDAR は、12 年に iPhone 2020 Pro および Pro Max で消費者向け技術デビューを果たしました。自動運転車が世界を見るのと同じ方法で空間をスキャンできるということは、突然誰もが迅速かつ安価にできるようになることを意味しました。 詳細な 3D アセットを生成します。 ただし、これは依然として Apple の最も裕福な顧客のみが利用できるものでした。

業界で最も重大な転換点の XNUMX つは、同じ年に Google の研究者が訪れたときに起こりました。 導入 神経放射輝度フィールド、一般に NeRF と呼ばれます。

このアプローチでは、機械学習を使用して、 3D 写真やビデオから物体や空間の信頼できる 2D モデルを構築する。 シドゥ氏によると、ニューラル ネットワークは完全な 3D シーンがどのように表示されるかを「幻覚」させます。 これは、わずか数枚のソース画像から任意の視点から空間を見ることを可能にするコンピュータ グラフィックスの課題である「ビュー合成」に対する解決策です。

「それで、それが世に出て、透明性、半透明性、反射率など、写真測量が苦労してきたすべてのものに対して見事に機能する最先端のビュー合成が実現したことに誰もが気づきました。 これはちょっとクレイジーだ」と彼は付け加えた。

コンピューター ビジョン コミュニティは、その興奮を商用アプリケーションに注ぎ込みました。 Google では、Sidhu と彼のチームがこのテクノロジーを次の目的で使用することを検討しました。 没入型ビュー, Google マップの 3D バージョン。 平均的なユーザーにとって、次のような消費者向けアプリケーションの普及 ルマ AI などは、スマートフォンのカメラさえあれば誰でもフォトリアルな 3D アセットを作成できることを意味していました。 高品質の 3D コンテンツの作成は、もはや Apple の Lidar-Elite に限定されなくなりました。

現在、ビュー合成を解決する別の潜在的にさらに有望な方法が、初期の NeRF の興奮に匹敵する注目を集めています。 ガウス スプラッティング の方法を模倣するレンダリング技術です。 三角形は従来の 3D アセットに使用されますただし、三角形の代わりに、ガウス関数として知られる数学関数を通じて表現される色の「飛び散り」です。 より多くのガウスが重ねられると、非常に詳細でテクスチャーのある 3D アセットが表示されます。スプラッティングの採用のスピードは驚くべきものです。

まだ数ヶ月しか経ってないけど、 デモ は X にフラッディングしており、Luma AI と Polycam は両方ともガウス スプラットを生成するツールを提供しています。 他の開発者は、Unity や Unreal などの従来のゲーム エンジンにそれらを統合する方法にすでに取り組んでいます。 Splat は、NeRF よりもレンダリング速度が速く、3D アーティストがすでに慣れ親しんでいる方法で編集できるため、従来のコンピューター グラフィックス業界からも注目を集めています。 (NeRF は解読不能なニューラル ネットワークによって生成されるため、これを許可しません。)

ガウス スプラッティングがどのように機能するか、またそれが話題を呼んでいる理由についての詳しい説明については、Sidhu のこのビデオを参照してください。

[埋め込まれたコンテンツ]

詳細はともかく、消費者にとっては、少し前までは設備の整った制作チームのみが制作できたハリウッド級の 3D アセットを携帯電話で生成できる時代が到来していることは間違いありません。

しかし、そもそも 3D 作成がなぜ重要なのでしょうか?

3D コンテンツへの移行を理解するには、テクノロジーの状況が「空間コンピューティング」の未来を目指していることに注目する価値があります。 メタバースのような使い古された用語は目を丸くするかもしれませんが、根底にある精神は、ビデオ ゲーム、仮想世界、デジタル ツインで使用されるような 3D 環境が私たちの将来において大きな役割を果たすという認識です。 NeRF やスプラッティングによって生成されたもののような 3D アセットは、将来的に私たちが取り組むコンテンツになる予定です。

この文脈において、大規模な野心はリアルタイムの実現への希望です。 3D 世界地図。 静的な 3D マップを生成するツールは利用可能ですが、絶えず変化する世界に合わせてこれらのマップを最新の状態に保つ方法を見つけるという課題は依然として残っています。

「世界のモデルを構築することがあり、次にその世界のモデルを維持することもあります。 私たちが話しているこれらの方法により、クラウドソーシングを通じて「モデルの維持」の問題を解決する技術がついに手に入るかもしれないと思います」とシドゥ氏は言います。

Google の Immersive View のようなプロジェクトは、これが消費者に与える影響を示す初期の良い例です。 シドゥ氏は、それが最終的にいつ可能になるかについては推測はしなかったが、ある時点で、VR 内のユーザーが地球上のどこにいても歩き回り、そこで何が起こっているのかをリアルタイムで没入型体験できる技術が存在するだろうということに同意した。 。 この種のテクノロジーは、次の分野の取り組みにも波及するでしょう。 アバターベースの「テレポート」」、リモート会議、その他の懇親会。

シドゥ氏によれば、興奮するもう 3 つの理由は XNUMXD メモリのキャプチャです。 たとえば、Apple は次のような分野に大きく傾いています。 3D写真とビデオ Vision Pro 複合現実ヘッドセットの場合。 一例として、シドゥさんは最近、引っ越し前に両親の家の高品質なレプリカを作成したと語った。 そして、仮想現実を使ってその中を歩く体験を彼らに提供できるのです。

「あの場所に戻ってきたという直感的な感覚はとても力強いものです。 これが、私が Apple に対して非常に強気な理由です。なぜなら、Apple がこの 3D メディア形式に成功すれば、そこが一般の人々にとってエキサイティングな出来事になる可能性があるからです。」

洞窟壁画から油絵まで、私たちの感覚体験の側面を保存したいという衝動は、非常に人間的なものです。 かつて写真が保存手段として静物画に力を入れていたように、3D 作成ツールは私たちの長年の関係を 2D 画像やビデオに置き換える準備ができているようです。

しかし、写真が時間のほんの一部を捉えることしか期待できないのと同じように、3D モデルは私たちの物理世界との関係を完全に置き換えることはできません。 それでも、ウクライナで戦争の恐怖を体験している人々にとって、これらは、決して取り替えられないものを保存するためのより没入型の方法を提供する歓迎すべき開発かもしれない。

画像のクレジット： ウィム・トービンス / Unsplash 

タイムスタンプ：

より多くの 特異点ハブ