Sử dụng trí tuệ nhân tạo để tạo thiết kế mô hình 3D

Nhiều nghệ sĩ kỹ thuật số, kiến ​​trúc sư, kỹ sư và nhà phát triển trò chơi ngày nay dựa vào các mô hình 3D. Tuy nhiên, việc tạo ra các đối tượng kỹ thuật số này thường là một quá trình phức tạp và tốn nhiều thời gian. Các mô hình trí tuệ nhân tạo (AI) mới có thể cung cấp một giải pháp.

Nghệ thuật do AI tạo ra gần đây đã trở nên nổi tiếng, mặc dù chủ yếu ở dạng hình ảnh 2D. Giờ đây, một số công ty đã công bố phần mềm học máy có thể tiến thêm một bước, biến văn bản hoặc hình ảnh tham khảo thành thiết kế 3D.

Trí tuệ nhân tạo ngày nay

Vào tháng 2022 năm XNUMX, Google công bố mô hình chuyển văn bản thành 3D được gọi là DreamFusion. Thuật toán này được xây dựng dựa trên thuật toán trước đó có tên là Trường mơ ước, được phát hành vào năm 2021, trong đó các nhà nghiên cứu đã đào tạo về thư viện mô hình 3D có nhãn văn bản. Tuy nhiên, DreamFusion không cần các mô hình 3D hiện có để hiểu các yêu cầu của bạn, khiến nó trở nên thiết thực hơn nhiều.

Hai tháng sau, gã khổng lồ card đồ họa Nvidia tung ra một mẫu tương tự. Phần mềm của họ, được đặt tên là Magic3D, gần như giống hệt nhau từ góc nhìn bên ngoài. Bạn nhập mô tả mô hình 3D mà bạn muốn và thuật toán sẽ hiển thị mô hình đó. Tuy nhiên, giải pháp của Nvidia tuyên bố là nhanh gấp đôi.

Trí tuệ nhân tạo 3D lớn thứ ba mà bạn sẽ tìm thấy ngày nay đến từ OpenAI, nhà sản xuất ChatGPT và Dall-E. Mô hình này, Point-E, cũng tạo ra các kết xuất 3D từ văn bản nhưng có thể làm như vậy chỉ trong một đến hai phút trên một GPU duy nhất.

“Point-E tạo kết xuất 3D từ văn bản chỉ trong vòng một đến hai phút trên một GPU.” 

Cách hoạt động của các mô hình tạo 3D

Mặc dù cả ba giải pháp AI tạo mô hình 3D lớn hiện nay đều có những lợi thế riêng và cách tiếp cận cụ thể, nhưng chúng đều tuân theo cùng một quy trình chung. Dưới đây là một cái nhìn sâu hơn về cách các thuật toán này hoạt động.

Đào tạo AI về tài liệu tham khảo

Những cách tiếp cận ban đầu với loại AI này, như Dream Fields, đã đào tạo chúng về các mô hình 3D và nhãn văn bản của chúng. Tuy nhiên, điều này không để lại cho họ nhiều dữ liệu đào tạo, giới hạn phạm vi của họ. Đó là lý do tại sao các mô hình mới hơn học cách tạo mô hình 3D từ hình ảnh 2D được gắn nhãn.

AI tạo mô hình 3D ngày nay bắt đầu dưới dạng thuật toán chuyển văn bản thành hình ảnh. Do đó, giai đoạn đầu tiên trong quá trình huấn luyện một người là cho nó ăn những hình ảnh 2D có nhãn, chẳng hạn như hình ảnh một con chó với dòng chữ “con chó” đi kèm. Dữ liệu này dễ truy cập hơn rất nhiều, chỉ với dịch vụ lưu trữ ImageNet hơn 14 triệu hình ảnh được gắn nhãn, vì vậy đó là cách tốt hơn để đào tạo AI.

Chẳng bao lâu nữa, bạn sẽ có một mô hình có thể liên kết hình ảnh 2D với các mô tả văn bản khá chính xác. Sau đó, bạn có thể chuyển sang hướng dẫn nó biến chúng thành kết xuất 3D.

“AI tạo mô hình 3D bắt đầu dưới dạng thuật toán chuyển văn bản thành hình ảnh.” 

Phép nội suy

Bước tiếp theo trong việc tạo mô hình 3D bằng AI là phép nội suy. Đây là quá trình kết hợp nhiều hình ảnh 2D của cùng một chủ đề từ các góc độ khác nhau để tạo ra phiên bản 3D.

Công nghệ cơ bản cho phép quá trình này là trường bức xạ thần kinh (NeRF). NeRF là các mạng thần kinh xem xét nhiều góc nhìn của một đối tượng và xác định vị trí tồn tại của từng góc nhìn trong không gian. Sau đó, họ có thể ghép chúng lại với nhau, làm phẳng các khu vực có các chế độ xem khác nhau chồng lên nhau để tạo ra một mô hình 3D gắn kết.

Theo truyền thống, NeRF hoạt động bằng cách sử dụng ảnh của một đối tượng từ nhiều góc độ. Tuy nhiên, trong mô hình chuyển văn bản thành 3D, chúng tạo ra hình ảnh 2D của riêng chúng từ nhiều góc độ khác nhau trước khi kết hợp chúng. Như bạn có thể mong đợi, đây là một quá trình cực kỳ phức tạp, nhưng những tiến bộ gần đây đã giúp quá trình này diễn ra nhanh hơn nhiều.

Tối ưu hóa mô hình 3D

Sản phẩm bạn sẽ nhận được từ một lần chuyển qua một trong những NeRF này có thể sẽ có độ phân giải thấp và có thể có lỗi. Do đó, điều quan trọng là phải dọn sạch và tối ưu hóa bất kỳ mô hình 3D nào xuất hiện sau quá trình nội suy.

Một số giải pháp AI ngày nay, chẳng hạn như DreamFusion của Google, sẽ chuyển kết xuất thông qua một số quy trình nội suy để loại bỏ nhiễu và cải thiện độ phân giải. Sử dụng Magic3D của Nvidia mô hình khuếch tán thứ hai giúp giảm nhiễu và tinh chỉnh nó theo 2D gốc để nâng cao độ phân giải của nó.

Ngay cả sau khi tối ưu hóa này, bạn có thể phải dọn sạch các mô hình. Đó là lý do tại sao các giải pháp này trình bày chúng dưới dạng một tệp có thể điều chỉnh mà bạn có thể chỉnh sửa để thay đổi độ phân giải, hình dạng, màu sắc, ánh sáng và các yếu tố khác của chúng.

Hạn chế và khả năng

Giống như hệ thống tự động hóa gia đình giúp bảo mật thuận tiện và dễ tiếp cận hơn, việc tự động tạo hình ảnh 3D có thể hợp lý hóa nhiều quy trình công việc. Các nghệ sĩ có thể phát triển trò chơi hoặc tạo cảnh kỹ thuật số nhanh hơn nhiều khi nói đến điện ảnh, vì họ sẽ không dành nhiều thời gian cho việc tạo mô hình. Các mốc thời gian xây dựng cũng có thể rút ngắn khi các kiến ​​trúc sư tạo ra các bản thiết kế 3D trong thời gian ngắn hơn.

Tuy nhiên, các thuật toán này vẫn mang một số lo ngại. Toàn bộ tác phẩm nghệ thuật do AI tạo ra đã bị chỉ trích vì tác phẩm của một số nghệ sĩ đã xuất hiện trong bộ dữ liệu đào tạo mà không có sự cho phép của họ, mở ra cơ hội cho các rắc rối về bản quyền và đạo đức. Những người khác sợ rằng những công cụ này có thể đe dọa việc làm và trả lương cho các nghệ sĩ con người.

Khi nghệ thuật AI phát triển, các công ty xây dựng và sử dụng nó sẽ phải xem xét những phức tạp này. Tuy nhiên, với cách tiếp cận chu đáo, lấy con người làm trung tâm, những mô hình này có thể là công cụ mang tính cách mạng để giúp các nghệ sĩ làm việc chứ không phải thay thế họ.

“Tự động tạo hình ảnh 3D có thể hợp lý hóa nhiều quy trình công việc.” 

Trí tuệ nhân tạo có thể cách mạng hóa kết xuất 3D

AI đã chuyển từ tạo hình ảnh 2D sang hiển thị mô hình 3D trong một khoảng thời gian tương đối ngắn. Bước tiến này mở ra cơ hội cho một loạt khả năng ấn tượng miễn là các nhà khoa học dữ liệu và người dùng cuối tiếp cận công nghệ một cách cẩn thận.

Mặc dù vẫn còn ở giai đoạn đầu, việc tạo mô hình AI 3D có thể cách mạng hóa thiết kế và nghệ thuật kỹ thuật số. Kết quả là các ngành từ kiến ​​trúc đến làm phim có thể trở nên hiệu quả hơn.

Ngoài ra, đọc Liệu máy móc có trở nên nghệ thuật hơn con người không