เทคโนโลยีนี้สามารถเปลี่ยนโลกแห่งความเป็นจริงให้กลายเป็นศิลปะที่มีชีวิตได้

นักวิจัยสามารถถ่ายภาพและใช้เป็นจุดอ้างอิงเพื่อสร้างโลก วัตถุ หรือบุคคลเสมือนจริง

ในขณะที่บริษัทต่างๆ สำรวจการมี metaverse ผ่านคู่ดิจิทัล ความสามารถในการสร้างเนื้อหา 3 มิติที่มีสไตล์และโลกเสมือนจริงอย่างรวดเร็วและง่ายดายจะมีความสำคัญมากขึ้นในการก้าวไปข้างหน้า

เผยแพร่เมื่อเร็ว ๆ นี้ มหาวิทยาลัยคอร์เนล กระดาษได้สำรวจแนวโน้มที่กำลังเติบโตนี้ และพัฒนาโซลูชันสำหรับการผลิตช่องแสงนิวรัลเรเดียนซ์ (SNeRFs) ที่เก๋ไก๋ ที่สามารถใช้สร้างฉากเสมือนจริงไดนามิกที่หลากหลายด้วยความเร็วที่มากกว่าวิธีการแบบเดิม

โดยใช้ภาพอ้างอิงต่างๆ ทีมวิจัยของ ทูเหงียน-เฟื้อก, เฟิงหลิวและ เล่ยเสี่ยว สามารถสร้างฉาก 3 มิติที่มีสไตล์ซึ่งสามารถใช้ได้ในสภาพแวดล้อมเสมือนจริงที่หลากหลาย ตัวอย่างเช่น ลองจินตนาการว่าสวมชุดหูฟัง VR และดูว่าโลกแห่งความจริงจะมองผ่านเลนส์ที่มีสไตล์ เช่น ภาพวาดของ Pablo Picasso อย่างไร

กระบวนการนี้ช่วยให้ทีมงานไม่เพียงแต่สร้างวัตถุเสมือนจริงได้อย่างรวดเร็ว แต่ยังใช้ประโยชน์จากสภาพแวดล้อมในโลกแห่งความเป็นจริงเสมือนเป็นส่วนหนึ่งของโลกเสมือนจริงด้วยการตรวจจับวัตถุ 3 มิติ 

สิ่งสำคัญคือต้องสังเกตว่าทีมวิจัยยังสามารถสังเกตวัตถุเดียวกันผ่านทิศทางการมองที่แตกต่างกันในมุมมองเดียวกัน หรือที่เรียกว่าความสอดคล้องข้ามมุมมอง สิ่งนี้จะสร้างเอฟเฟกต์ 3D ที่สมจริงเมื่อดูใน VR

ทีมวิจัยสามารถถ่ายภาพและใช้เป็นสไตล์อ้างอิงเพื่อสร้างสภาพแวดล้อม วัตถุ หรือบุคคลในโลกแห่งความเป็นจริงโดยปรับเปลี่ยนสไตล์ของภาพนั้นด้วยการสลับขั้นตอนของ NeRF และการปรับแต่งการจัดรูปแบบให้เหมาะสม เร่งกระบวนการสร้าง

"เราแนะนำวิธีการฝึกอบรมแบบใหม่เพื่อแก้ไขปัญหานี้โดยสลับขั้นตอนการปรับให้เหมาะสมของ NeRF และการจัดรูปแบบให้เหมาะสม" ทีมงานกล่าว “วิธีการดังกล่าวช่วยให้เราสามารถใช้ความจุของหน่วยความจำฮาร์ดแวร์ของเราอย่างเต็มที่เพื่อสร้างภาพที่ความละเอียดสูงขึ้นและใช้วิธีการถ่ายโอนรูปแบบภาพที่แสดงออกมากขึ้น การทดลองของเราแสดงให้เห็นว่าวิธีการของเราสร้าง NeRF ที่มีสไตล์สำหรับเนื้อหาที่หลากหลาย รวมถึงฉากในร่ม กลางแจ้ง และไดนามิก และสังเคราะห์มุมมองใหม่คุณภาพสูงด้วยความสอดคล้องข้ามมุมมอง"

เนื่องจากข้อจำกัดด้านหน่วยความจำของ NeRF นักวิจัยจึงต้องแก้ปัญหาอื่นว่าพวกเขาสามารถแสดงภาพ 3 มิติที่มีความละเอียดสูงขึ้นด้วยอัตราความเร็วที่ให้ความรู้สึกเหมือนเรียลไทม์มากขึ้นได้อย่างไร วิธีแก้ปัญหาคือสร้างมุมมองการแสดงผลแบบวนซ้ำ ซึ่งการวนซ้ำแต่ละครั้งสามารถกำหนดเป้าหมายจุดการจัดรูปแบบได้อย่างสม่ำเสมอมากขึ้นในแต่ละครั้ง และจากนั้นสร้างภาพใหม่ที่มีรายละเอียดมากขึ้น 

เทคโนโลยียังปรับปรุงอวตาร วิธีการที่เก๋ไก๋ SNeRF ของทีมวิจัยช่วยให้พวกเขาสร้างอวาตาร์ที่แสดงออกมากขึ้นในระหว่างการสนทนา ผลลัพธ์ที่ได้คืออวาตาร์ 4D แบบไดนามิกที่สามารถถ่ายทอดอารมณ์ต่างๆ เช่น ความโกรธ ความกลัว ความตื่นเต้น และความสับสนได้สมจริง โดยไม่ต้องใช้อีโมจิหรือกดปุ่มบนตัวควบคุม VR

งานวิจัยยังคงดำเนินต่อไป แต่ในขณะนี้ ทีมงานสามารถพัฒนาวิธีการจัดรูปแบบฉาก 3 มิติ โดยใช้การแสดงแทนทางประสาทโดยปริยายที่ส่งผลต่อสภาพแวดล้อมและอวตารของพวกมัน นอกจากนี้ แนวทางของพวกเขาในการใช้วิธีการกำหนดสไตล์แบบสลับกันทำให้พวกเขาใช้ประโยชน์จากความสามารถหน่วยความจำฮาร์ดแวร์อย่างเต็มที่เพื่อจัดรูปแบบฉาก 3 มิติทั้งแบบคงที่และแบบไดนามิก ทำให้ทีมสามารถสร้างภาพที่ความละเอียดสูงขึ้นและใช้การถ่ายโอนสไตล์ภาพที่แสดงออกมากขึ้น วิธีการใน VR 

หากคุณสนใจที่จะเจาะลึกในรายละเอียด คุณสามารถเข้าถึงรายงานของพวกเขาได้ โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม.

เครดิตภาพ: มหาวิทยาลัยคอร์เนล