오늘날 많은 디지털 아티스트, 건축가, 엔지니어 및 게임 개발자는 3D 모델에 의존합니다. 그러나 이러한 디지털 개체를 만드는 것은 종종 시간이 많이 걸리고 복잡한 프로세스입니다. 새로운 인공 지능(AI) 모델이 솔루션을 제공할 수 있습니다.
AI로 생성된 예술은 대부분 2D 이미지의 형태이지만 최근 많은 악명을 얻었습니다. 이제 여러 회사에서 한 단계 더 나아가 참조 텍스트나 그림을 3D 디자인으로 변환할 수 있는 기계 학습 소프트웨어를 발표했습니다.
오늘날의 생성 AI
2022년 XNUMX월 Google은 텍스트 투 3D 모델 공개 드림퓨전이라고 합니다. 이 알고리즘은 2021년에 출시된 Dream Fields라는 이전 알고리즘을 기반으로 하며, 연구원들은 텍스트 레이블이 있는 3D 모델 라이브러리에서 훈련했습니다. 그러나 DreamFusion은 귀하의 요청을 이해하기 위해 기존 3D 모델이 필요하지 않으므로 훨씬 더 실용적입니다.
두 달 후 그래픽 카드 대기업인 Nvidia가 유사한 모델을 출시했습니다. Magic3D라고 불리는 그들의 소프트웨어는 외부 관점에서 거의 동일합니다. 원하는 3D 모델에 대한 설명을 입력하면 알고리즘이 렌더링합니다. 그러나 Nvidia의 솔루션은 두 배 빠르다고 주장합니다.
오늘 보게 될 세 번째 주요 3D 생성 AI는 ChatGPT 및 Dall-E의 제조사인 OpenAI에서 제공합니다. 이 모델인 Point-E도 텍스트에서 3D 렌더링을 생성하지만 XNUMX~XNUMX분 단일 GPU에서.
"Point-E는 단일 GPU에서 3~XNUMX분 만에 텍스트에서 XNUMXD 렌더링을 생성합니다."
3D 생성 모델의 작동 방식
오늘날 3개의 대형 XNUMXD 모델 생성 AI 솔루션은 모두 고유한 장점과 구체적인 접근 방식을 가지고 있지만 동일한 일반 프로세스를 따릅니다. 다음은 이러한 알고리즘이 작동하는 방식을 자세히 살펴보는 것입니다.
참조에 대한 AI 교육
Dream Fields와 같은 이러한 종류의 AI에 대한 초기 접근 방식은 3D 모델과 텍스트 레이블에 대해 교육했습니다. 그러나 이로 인해 훈련 데이터가 많지 않아 범위가 제한됩니다. 그렇기 때문에 최신 모델은 대신 레이블이 지정된 3D 이미지에서 2D 모델을 생성하는 방법을 배웁니다.
오늘날의 3D 모델 생성 AI는 텍스트-이미지 알고리즘으로 시작됩니다. 결과적으로 훈련의 첫 번째 단계는 "개"라는 텍스트가 있는 개 그림과 같은 레이블이 붙은 2D 이미지를 공급하는 것입니다. 이 데이터는 ImageNet 단독 호스팅으로 훨씬 더 쉽게 액세스할 수 있습니다. 백만 14 이상 레이블이 지정된 이미지이므로 AI를 훈련하는 더 좋은 방법입니다.
머지않아 2D 이미지를 텍스트 설명과 상당히 정확하게 연결할 수 있는 모델을 갖게 될 것입니다. 그런 다음 이를 3D 렌더링으로 전환하도록 교육할 수 있습니다.
“3D 모델 생성 AI는 텍스트-이미지 알고리즘으로 시작합니다.”
보간법
AI로 3D 모델을 생성하는 다음 단계는 보간입니다. 2D 버전을 생성하기 위해 서로 다른 각도에서 동일한 피사체의 여러 3D 이미지를 결합하는 프로세스입니다.
이 프로세스를 가능하게 하는 기본 기술은 신경 복사 필드(NeRF)입니다. NeRF는 객체의 여러 뷰를 보고 각 시야각이 공간에 존재하는 위치를 결정하는 신경망입니다. 그런 다음 서로 다른 보기가 겹치는 영역을 매끄럽게 만들어 응집력 있는 3D 모델을 생성할 수 있습니다.
전통적으로 NeRF는 여러 각도에서 물체의 사진을 사용하여 작동합니다. 그러나 text-to-3D 모델에서는 결합하기 전에 다양한 각도에서 자체 2D 이미지를 생성합니다. 예상할 수 있듯이 이것은 매우 복잡한 프로세스이지만 최근의 발전으로 훨씬 빨라졌습니다.
3D 모델 최적화
이러한 NeRF 중 하나를 통과하여 얻을 수 있는 제품은 해상도가 낮고 오류가 있을 수 있습니다. 결과적으로 보간 프로세스 후에 나오는 3D 모델을 정리하고 최적화하는 것이 중요합니다.
오늘날 Google의 DreamFusion과 같은 일부 AI 솔루션은 노이즈를 제거하고 해상도를 개선하기 위해 여러 보간 프로세스를 통해 렌더링을 전달합니다. Nvidia의 Magic3D 사용 두 번째 확산 모델 노이즈를 줄이고 원본 2D에 따라 미세 조정하여 해상도를 높입니다.
이 최적화 후에도 모델을 정리해야 할 수 있습니다. 그렇기 때문에 이러한 솔루션은 해상도, 모양, 색상, 조명 및 기타 요인을 변경하기 위해 편집할 수 있는 조정 가능한 파일로 제공합니다.
한계와 가능성
홈 자동화 시스템이 보안을 보다 편리하고 접근 가능하게 만드는 것처럼 자동화된 3D 이미지 생성은 많은 워크플로를 간소화할 수 있습니다. 아티스트는 게임을 개발하거나 디지털 장면을 훨씬 더 빠르게 생성 영화의 경우 모델 생성에 많은 시간을 할애하지 않기 때문입니다. 건축가가 더 짧은 시간에 3D 청사진을 생성하므로 건설 일정도 단축될 수 있습니다.
그러나 이러한 알고리즘에는 여전히 몇 가지 문제가 있습니다. AI로 생성된 예술 전체가 불타올랐습니다. 일부 예술가의 작품이 허가 없이 훈련 데이터 세트에 등장하여 저작권 및 윤리적 문제의 문을 열었기 때문입니다. 다른 사람들은 이러한 도구가 인간 예술가의 고용과 지불을 위협할 수 있다고 두려워합니다.
AI 예술이 성장함에 따라 이를 구축하고 사용하는 회사는 이러한 합병증을 고려해야 합니다. 그러나 사려 깊고 인간 중심적인 접근 방식을 통해 이러한 모델은 아티스트가 작업을 수행하는 데 도움이 되는 혁신적인 도구가 될 수 있지만 이를 대체할 수는 없습니다.
"3D 이미지 생성을 자동화하면 많은 워크플로우를 간소화할 수 있습니다."
인공 지능은 3D 렌더링을 혁신할 수 있습니다.
AI는 비교적 짧은 기간에 2D 이미지 생성에서 3D 모델 렌더링으로 이동했습니다. 이 단계는 데이터 과학자와 최종 사용자가 기술에 신중하게 접근하는 한 인상적인 가능성의 문을 열어줍니다.
아직 초기 단계에 있지만 AI 3D 모델 생성은 디지털 아트와 디자인에 혁명을 일으킬 수 있습니다. 그 결과 건축에서 영화 제작에 이르는 산업이 더 효율적이 될 수 있습니다.
