การใช้ปัญญาประดิษฐ์เพื่อสร้างการออกแบบโมเดล 3 มิติ

ศิลปินดิจิทัล สถาปนิก วิศวกร และนักพัฒนาเกมจำนวนมากในปัจจุบันพึ่งพาโมเดล 3 มิติ อย่างไรก็ตาม การสร้างวัตถุดิจิทัลเหล่านี้มักใช้เวลานานและเป็นกระบวนการที่เกี่ยวข้อง โมเดลปัญญาประดิษฐ์ (AI) ใหม่อาจช่วยแก้ปัญหาได้

งานศิลปะที่สร้างโดย AI ได้รับความอื้อฉาวมากมายเมื่อเร็ว ๆ นี้ แม้ว่าส่วนใหญ่จะอยู่ในรูปของภาพ 2 มิติ ขณะนี้ หลายๆ บริษัทได้ประกาศซอฟต์แวร์แมชชีนเลิร์นนิงที่สามารถก้าวไปอีกขั้น โดยเปลี่ยนข้อความอ้างอิงหรือรูปภาพให้เป็นการออกแบบ 3 มิติ

เจเนอเรทีฟเอไอวันนี้

ในเดือนกันยายน 2022 Google เปิดตัวโมเดล text-to-3D เรียกว่า DreamFusion อัลกอริทึมนี้สร้างขึ้นจากรุ่นก่อนหน้าที่เรียกว่า Dream Fields ซึ่งเปิดตัวในปี 2021 ซึ่งนักวิจัยได้ฝึกฝนในไลบรารีโมเดล 3 มิติพร้อมป้ายข้อความ อย่างไรก็ตาม DreamFusion ไม่ต้องการโมเดล 3 มิติที่มีอยู่เพื่อทำความเข้าใจคำขอของคุณ ทำให้ใช้งานได้จริงมากขึ้น

สองเดือนต่อมา Nvidia ยักษ์ใหญ่ด้านกราฟิกการ์ดได้เปิดตัวรุ่นที่คล้ายกัน ซอฟต์แวร์ของพวกเขาที่เรียกว่า Magic3D เกือบจะเหมือนกันเมื่อมองจากภายนอก คุณพิมพ์คำอธิบายของโมเดล 3 มิติที่คุณต้องการ แล้วอัลกอริทึมจะแสดงผล อย่างไรก็ตาม โซลูชันของ Nvidia อ้างว่าเร็วกว่าสองเท่า

AI กำเนิด 3 มิติหลักตัวที่สามที่คุณจะพบในวันนี้มาจาก OpenAI ผู้สร้าง ChatGPT และ Dall-E โมเดล Point-E นี้ยังสร้างการเรนเดอร์ 3 มิติจากข้อความ แต่สามารถทำได้โดยใช้เวลาเพียงน้อยนิด หนึ่งถึงสองนาที บน GPU ตัวเดียว

“Point-E สร้างการเรนเดอร์ 3 มิติจากข้อความในเวลาเพียง XNUMX-XNUMX นาทีบน GPU ตัวเดียว” 

โมเดลเจเนอเรทีฟ 3 มิติทำงานอย่างไร

แม้ว่าโซลูชัน AI ที่สร้างแบบจำลอง 3 มิติขนาดใหญ่ทั้งสามในปัจจุบันมีข้อดีและแนวทางเฉพาะที่ไม่เหมือนใคร แต่พวกเขาก็ปฏิบัติตามกระบวนการทั่วไปที่เหมือนกัน ต่อไปนี้คือวิธีการทำงานของอัลกอริทึมเหล่านี้

ฝึกอบรม AI เกี่ยวกับการอ้างอิง

แนวทางแรกๆ ของ AI ประเภทนี้ เช่น Dream Fields ฝึกฝนพวกเขาเกี่ยวกับโมเดล 3 มิติและป้ายข้อความ อย่างไรก็ตาม สิ่งนี้ไม่ได้ทำให้พวกเขามีข้อมูลการฝึกอบรมมากนัก เป็นการจำกัดขอบเขตของพวกเขา นั่นเป็นเหตุผลที่รุ่นใหม่กว่าเรียนรู้ที่จะสร้างแบบจำลอง 3 มิติจากภาพ 2 มิติที่มีป้ายกำกับแทน

AI ที่สร้างโมเดล 3 มิติในปัจจุบันเริ่มต้นจากอัลกอริทึมข้อความเป็นรูปภาพ ดังนั้น ขั้นตอนแรกในการฝึกคือการป้อนภาพ 2 มิติที่มีป้ายกำกับ เช่น ภาพสุนัขที่มีข้อความว่า "สุนัข" ข้อมูลนี้สามารถเข้าถึงได้มากขึ้นด้วยโฮสติ้ง ImageNet เพียงอย่างเดียว มากกว่า 14 ล้าน รูปภาพที่มีป้ายกำกับ ดังนั้นมันจึงเป็นวิธีที่ดีกว่าในการฝึก AI

อีกไม่นาน คุณควรมีโมเดลที่สามารถเชื่อมโยงภาพ 2 มิติกับคำอธิบายข้อความได้ค่อนข้างแม่นยำ จากนั้นคุณสามารถสอนต่อเพื่อเปลี่ยนสิ่งเหล่านั้นให้เป็นการแสดงผล 3 มิติ

“AI ที่สร้างโมเดล 3 มิติเริ่มต้นจากอัลกอริทึมการแปลงข้อความเป็นรูปภาพ” 

การแก้ไข

ขั้นตอนต่อไปในการสร้างโมเดล 3 มิติด้วย AI คือการแก้ไข นี่คือกระบวนการรวมภาพ 2 มิติหลายภาพในเรื่องเดียวกันจากมุมต่างๆ เพื่อสร้างเวอร์ชัน 3 มิติ

เทคโนโลยีพื้นฐานที่ช่วยให้กระบวนการนี้คือ Neural Radiance Field (NeRF) NeRF เป็นโครงข่ายประสาทเทียมที่ดูหลายมุมมองของวัตถุและกำหนดว่าแต่ละมุมการมองอยู่ที่ใดในอวกาศ จากนั้นพวกเขาสามารถปะติดปะต่อเข้าด้วยกัน ปรับพื้นที่ที่มุมมองต่างๆ ทับซ้อนกันให้เรียบเพื่อสร้างโมเดล 3 มิติที่เหนียวแน่น

ตามเนื้อผ้า NeRF ทำงานโดยใช้ภาพถ่ายของวัตถุจากหลายมุม อย่างไรก็ตาม ในโมเดล text-to-3D พวกเขาสร้างภาพ 2D ของตัวเองจากมุมต่างๆ ก่อนที่จะรวมเข้าด้วยกัน อย่างที่คุณคาดไว้ นี่เป็นกระบวนการที่ซับซ้อนอย่างมาก แต่ความก้าวหน้าล่าสุดทำให้เร็วขึ้นมาก

การเพิ่มประสิทธิภาพโมเดล 3 มิติ

ผลิตภัณฑ์ที่คุณจะได้รับจาก NeRF เหล่านี้แบบครั้งเดียวจะมีความละเอียดต่ำและอาจมีข้อผิดพลาด ดังนั้น สิ่งสำคัญคือต้องทำความสะอาดและเพิ่มประสิทธิภาพโมเดล 3 มิติใดๆ ที่ออกมาหลังจากกระบวนการแก้ไข

โซลูชัน AI บางอย่างในปัจจุบัน เช่น DreamFusion ของ Google จะผ่านการเรนเดอร์ผ่านกระบวนการแก้ไขหลายขั้นตอนเพื่อขจัดสัญญาณรบกวนและปรับปรุงความละเอียด ใช้ Magic3D ของ Nvidia แบบจำลองการแพร่กระจายที่สอง ที่ลดสัญญาณรบกวนและปรับแต่งตามต้นฉบับ 2D เพื่อเพิ่มความละเอียด

แม้หลังจากการเพิ่มประสิทธิภาพนี้ คุณอาจต้องล้างข้อมูลแบบจำลอง นั่นเป็นเหตุผลที่โซลูชันเหล่านี้แสดงเป็นไฟล์ที่ปรับเปลี่ยนได้ ซึ่งคุณสามารถแก้ไขเพื่อเปลี่ยนความละเอียด รูปร่าง สี แสง และปัจจัยอื่นๆ ได้

ข้อจำกัดและความเป็นไปได้

เช่นเดียวกับระบบโฮมออโตเมชั่นทำให้การรักษาความปลอดภัยสะดวกและเข้าถึงได้มากขึ้น การสร้างภาพ 3 มิติอัตโนมัติทำให้เวิร์กโฟลว์หลายขั้นตอนคล่องตัวขึ้น ศิลปินสามารถพัฒนาเกมหรือ สร้างฉากดิจิตอลได้เร็วขึ้นมาก เมื่อพูดถึงภาพยนตร์ เนื่องจากพวกเขาจะไม่ใช้เวลามากนักในการสร้างแบบจำลอง ระยะเวลาการก่อสร้างอาจสั้นลงเนื่องจากสถาปนิกสร้างพิมพ์เขียว 3 มิติโดยใช้เวลาน้อยลง

อย่างไรก็ตาม อัลกอริทึมเหล่านี้ยังคงมีข้อกังวลอยู่บ้าง งานศิลปะที่สร้างโดย AI โดยรวมถูกโจมตีเนื่องจากผลงานของศิลปินบางคนปรากฏในชุดข้อมูลการฝึกอบรมโดยไม่ได้รับอนุญาต ซึ่งเป็นการเปิดประตูสู่ปัญหาด้านลิขสิทธิ์และจริยธรรม บางคนกลัวว่าเครื่องมือเหล่านี้อาจคุกคามการจ้างงานและค่าจ้างสำหรับศิลปินที่เป็นมนุษย์

เมื่อศิลปะ AI เติบโตขึ้น บริษัทที่สร้างและใช้งานจะต้องคำนึงถึงความยุ่งยากเหล่านี้ ด้วยวิธีการที่รอบคอบและคำนึงถึงมนุษย์เป็นศูนย์กลาง โมเดลเหล่านี้อาจเป็นเครื่องมือปฏิวัติที่ช่วยให้ศิลปินทำงาน ไม่ใช่มาแทนที่

“การสร้างภาพ 3 มิติแบบอัตโนมัติทำให้เวิร์กโฟลว์หลายขั้นตอนคล่องตัวขึ้น” 

ปัญญาประดิษฐ์สามารถปฏิวัติการเรนเดอร์ 3 มิติ

AI เปลี่ยนจากการสร้างภาพ 2 มิติเป็นการแสดงแบบจำลอง 3 มิติในระยะเวลาอันสั้น การก้าวไปข้างหน้านี้เป็นการเปิดประตูสู่ความเป็นไปได้ที่น่าประทับใจ ตราบใดที่นักวิทยาศาสตร์ข้อมูลและผู้ใช้ปลายทางเข้าถึงเทคโนโลยีอย่างระมัดระวัง

ในขณะที่ยังอยู่ในช่วงเริ่มต้น การสร้างแบบจำลอง AI 3 มิติสามารถปฏิวัติศิลปะดิจิทัลและการออกแบบได้ ส่งผลให้อุตสาหกรรมตั้งแต่สถาปัตยกรรมไปจนถึงการสร้างภาพยนตร์มีประสิทธิภาพมากขึ้น

นอกจากนี้อ่าน เครื่องจักรจะกลายเป็นศิลปะมากกว่ามนุษย์หรือไม่