Wykorzystanie sztucznej inteligencji do generowania projektów modeli 3D

Wielu cyfrowych artystów, architektów, inżynierów i twórców gier polega obecnie na modelach 3D. Jednak tworzenie tych obiektów cyfrowych jest często czasochłonnym i zaangażowanym procesem. Rozwiązaniem mogą być nowe modele sztucznej inteligencji (AI).

Sztuka generowana przez sztuczną inteligencję zyskała ostatnio duży rozgłos, choć głównie w postaci obrazów 2D. Teraz kilka firm ogłosiło oprogramowanie do uczenia maszynowego, które może pójść o krok dalej, przekształcając tekst referencyjny lub obrazy w projekty 3D.

Generatywna sztuczna inteligencja dzisiaj

We wrześniu 2022 r. Google zaprezentował model zamiany tekstu na 3D o nazwie DreamFusion. Algorytm ten opiera się na poprzednim o nazwie Dream Fields, wydanym w 2021 r., w którym naukowcy szkolili się na bibliotece modeli 3D z etykietami tekstowymi. Jednak DreamFusion nie potrzebuje istniejących modeli 3D, aby zrozumieć Twoje wymagania, co czyni go znacznie bardziej praktycznym.

Dwa miesiące później gigant kart graficznych Nvidia wypuścił podobny model. Ich oprogramowanie, nazwane Magic3D, jest niemal identyczne z perspektywy zewnętrznej. Wpisujesz opis żądanego modelu 3D, a algorytm go wyrenderuje. Jednak rozwiązanie Nvidii twierdzi, że jest dwa razy szybsze.

Trzecia główna generatywna sztuczna inteligencja 3D, którą znajdziesz dzisiaj, pochodzi od OpenAI, twórców ChatGPT i Dall-E. Ten model, Point-E, tworzy również renderingi 3D z tekstu, ale może to zrobić w zaledwie od jednej do dwóch minut na jednym GPU.

„Point-E tworzy renderingi 3D z tekstu w ciągu zaledwie jednej do dwóch minut na jednym GPU”. 

Jak działają modele generatywne 3D

Chociaż wszystkie trzy duże rozwiązania sztucznej inteligencji do generowania modeli 3D mają dziś wyjątkowe zalety i specyficzne podejście, podlegają one temu samemu ogólnemu procesowi. Oto bliższe spojrzenie na działanie tych algorytmów.

Szkolenie sztucznej inteligencji w oparciu o referencje

Wczesne podejścia do tego rodzaju sztucznej inteligencji, takie jak Dream Fields, szkoliły ich w zakresie modeli 3D i ich etykiet tekstowych. Nie pozostawia im to jednak zbyt wielu danych treningowych, co ogranicza ich zakres. Dlatego nowsze modele uczą się zamiast tego generować modele 3D z oznaczonych obrazów 2D.

Dzisiejsza sztuczna inteligencja generująca modele 3D zaczyna się od algorytmów zamiany tekstu na obraz. W związku z tym pierwszym etapem szkolenia jest karmienie go oznaczonymi obrazami 2D, takimi jak zdjęcie psa z towarzyszącym mu tekstem „pies”. Te dane są znacznie bardziej dostępne dzięki samemu hostingowi ImageNet ponad 14 milionów oznaczonych obrazów, więc jest to lepszy sposób trenowania sztucznej inteligencji.

Wkrótce powinieneś mieć model, który może dość dokładnie powiązać obrazy 2D z opisami tekstowymi. Następnie możesz przejść do nauki, aby przekształcić je w renderingi 3D.

„Sztuczna inteligencja generująca modele 3D zaczyna się od algorytmów zamiany tekstu na obraz”. 

Interpolacja

Kolejnym krokiem w generowaniu modeli 3D za pomocą sztucznej inteligencji jest interpolacja. Jest to proces łączenia wielu obrazów 2D tego samego obiektu pod różnymi kątami w celu uzyskania wersji 3D.

Podstawową technologią, która umożliwia ten proces, jest neuronowe pole promieniowania (NeRF). NeRF to sieci neuronowe, które analizują wiele widoków obiektu i określają, gdzie w przestrzeni istnieje każdy kąt widzenia. Następnie mogą je złożyć, wygładzając obszary, w których nakładają się różne widoki, aby stworzyć spójny model 3D.

Tradycyjnie NeRF działają przy użyciu zdjęć obiektu pod różnymi kątami. Jednak w modelu text-to-3D generują własne obrazy 2D pod różnymi kątami przed ich połączeniem. Jak można się spodziewać, jest to niezwykle złożony proces, ale ostatnie postępy znacznie go przyspieszyły.

Optymalizacja modeli 3D

Produkt, który otrzymasz po jednym przejściu przez jeden z tych NeRF, będzie prawdopodobnie miał niską rozdzielczość i może zawierać błędy. W związku z tym ważne jest, aby oczyścić i zoptymalizować wszelkie modele 3D, które pojawiają się po procesie interpolacji.

Niektóre rozwiązania sztucznej inteligencji, takie jak DreamFusion firmy Google, przepuszczają renderowanie przez kilka procesów interpolacji w celu usunięcia szumów i poprawy rozdzielczości. Zastosowania Magic3D firmy Nvidia drugi model dyfuzyjny który redukuje szum i udoskonala go zgodnie z oryginalnym 2D, aby podnieść jego rozdzielczość.

Nawet po tej optymalizacji może być konieczne wyczyszczenie modeli. Dlatego te rozwiązania przedstawiają je jako regulowany plik, który można edytować, aby zmienić ich rozdzielczość, kształt, kolor, oświetlenie i inne czynniki.

Ograniczenia i możliwości

Tak jak systemy automatyki domowej sprawiają, że bezpieczeństwo jest wygodniejsze i bardziej dostępne, tak automatyzacja generowania obrazów 3D może usprawnić wiele przepływów pracy. Artyści mogliby tworzyć gry lub tworzyć cyfrowe sceny znacznie szybciej jeśli chodzi o filmy, ponieważ nie poświęciliby tyle czasu na tworzenie modeli. Terminy budowy również mogą się skrócić, ponieważ architekci generują plany 3D w krótszym czasie.

Algorytmy te nadal budzą jednak pewne obawy. Sztuka generowana przez sztuczną inteligencję jako całość znalazła się pod ostrzałem, ponieważ prace niektórych artystów pojawiły się w zbiorach danych szkoleniowych bez ich zgody, otwierając drzwi do praw autorskich i komplikacji etycznych. Inni obawiają się, że narzędzia te mogą zagrozić zatrudnieniu i zarobkom artystów.

W miarę rozwoju sztuki sztucznej inteligencji firmy, które ją tworzą i wykorzystują, będą musiały wziąć pod uwagę te komplikacje. Jednak przy przemyślanym, skoncentrowanym na człowieku podejściu modele te mogą być rewolucyjnymi narzędziami pomagającymi artystom w pracy, a nie zastępującymi ich.

„Automatyzacja generowania obrazów 3D może usprawnić wiele przepływów pracy”. 

Sztuczna inteligencja może zrewolucjonizować renderowanie 3D

Sztuczna inteligencja przeszła od generowania obrazów 2D do renderowania modeli 3D w stosunkowo krótkim czasie. Ten krok naprzód otwiera drzwi do imponującego zakresu możliwości, o ile analitycy danych i użytkownicy końcowi ostrożnie podejdą do technologii.

Generowanie modeli 3D AI, choć wciąż znajduje się na wczesnym etapie, może zrewolucjonizować sztukę cyfrową i projektowanie. W rezultacie branże, od architektury po produkcję filmową, mogą stać się bardziej wydajne.

Przeczytaj także Czy maszyny staną się bardziej artystyczne niż ludzie?